From 62589b2b8899ecb1f75c29c8c996fd041712f2dc Mon Sep 17 00:00:00 2001 From: ModelHub XC Date: Fri, 22 May 2026 11:03:18 +0800 Subject: [PATCH] =?UTF-8?q?=E5=88=9D=E5=A7=8B=E5=8C=96=E9=A1=B9=E7=9B=AE?= =?UTF-8?q?=EF=BC=8C=E7=94=B1ModelHub=20XC=E7=A4=BE=E5=8C=BA=E6=8F=90?= =?UTF-8?q?=E4=BE=9B=E6=A8=A1=E5=9E=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Model: Cartik/BastiAI-2-Instruct Source: Original Platform --- .gitattributes | 39 + README.md | 11 + added_tokens.json | 24 + config.json | 28 + generation_config.json | 10 + llmtf_eval/daru_treewayabstractive.jsonl | 9321 + .../daru_treewayabstractive_params.jsonl | 54 + .../daru_treewayabstractive_total.jsonl | 8 + llmtf_eval/daru_treewayextractive.jsonl | 3 + .../daru_treewayextractive_params.jsonl | 54 + llmtf_eval/daru_treewayextractive_total.jsonl | 7 + llmtf_eval/darumeru_MultiQ.jsonl | 57066 ++++++ llmtf_eval/darumeru_MultiQ_params.jsonl | 54 + llmtf_eval/darumeru_MultiQ_total.jsonl | 8 + llmtf_eval/darumeru_PARus.jsonl | 8200 + llmtf_eval/darumeru_PARus_params.jsonl | 54 + llmtf_eval/darumeru_PARus_total.jsonl | 7 + llmtf_eval/darumeru_RCB.jsonl | 9680 + llmtf_eval/darumeru_RCB_params.jsonl | 54 + llmtf_eval/darumeru_RCB_total.jsonl | 8 + llmtf_eval/darumeru_RWSD.jsonl | 7956 + llmtf_eval/darumeru_RWSD_params.jsonl | 54 + llmtf_eval/darumeru_RWSD_total.jsonl | 7 + llmtf_eval/darumeru_cp_para_ru.jsonl | 18976 ++ llmtf_eval/darumeru_cp_para_ru_params.jsonl | 54 + llmtf_eval/darumeru_cp_para_ru_total.jsonl | 9 + llmtf_eval/darumeru_ruOpenBookQA.jsonl | 104760 ++++++++++ llmtf_eval/darumeru_ruOpenBookQA_params.jsonl | 54 + llmtf_eval/darumeru_ruOpenBookQA_total.jsonl | 8 + llmtf_eval/darumeru_ruWorldTree.jsonl | 5040 + llmtf_eval/darumeru_ruWorldTree_params.jsonl | 54 + llmtf_eval/darumeru_ruWorldTree_total.jsonl | 8 + llmtf_eval/evaluation_log.txt | 251 + llmtf_eval/evaluation_results.txt | 2 + llmtf_eval/nlpcoreteam_enMMLU.jsonl | 3 + llmtf_eval/nlpcoreteam_enMMLU_params.jsonl | 54 + llmtf_eval/nlpcoreteam_enMMLU_total.jsonl | 7 + llmtf_eval/nlpcoreteam_ruMMLU.jsonl | 3 + llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl | 54 + llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl | 7 + merges.txt | 146820 +++++++++++++++ model-00001-of-00002.safetensors | 3 + model-00002-of-00002.safetensors | 3 + model.safetensors.index.json | 441 + special_tokens_map.json | 38 + tokenizer.json | 3 + tokenizer_config.json | 207 + vocab.json | 1 + 48 files changed, 369567 insertions(+) create mode 100644 .gitattributes create mode 100644 README.md create mode 100644 added_tokens.json create mode 100644 config.json create mode 100644 generation_config.json create mode 100644 llmtf_eval/daru_treewayabstractive.jsonl create mode 100644 llmtf_eval/daru_treewayabstractive_params.jsonl create mode 100644 llmtf_eval/daru_treewayabstractive_total.jsonl create mode 100644 llmtf_eval/daru_treewayextractive.jsonl create mode 100644 llmtf_eval/daru_treewayextractive_params.jsonl create mode 100644 llmtf_eval/daru_treewayextractive_total.jsonl create mode 100644 llmtf_eval/darumeru_MultiQ.jsonl create mode 100644 llmtf_eval/darumeru_MultiQ_params.jsonl create mode 100644 llmtf_eval/darumeru_MultiQ_total.jsonl create mode 100644 llmtf_eval/darumeru_PARus.jsonl create mode 100644 llmtf_eval/darumeru_PARus_params.jsonl create mode 100644 llmtf_eval/darumeru_PARus_total.jsonl create mode 100644 llmtf_eval/darumeru_RCB.jsonl create mode 100644 llmtf_eval/darumeru_RCB_params.jsonl create mode 100644 llmtf_eval/darumeru_RCB_total.jsonl create mode 100644 llmtf_eval/darumeru_RWSD.jsonl create mode 100644 llmtf_eval/darumeru_RWSD_params.jsonl create mode 100644 llmtf_eval/darumeru_RWSD_total.jsonl create mode 100644 llmtf_eval/darumeru_cp_para_ru.jsonl create mode 100644 llmtf_eval/darumeru_cp_para_ru_params.jsonl create mode 100644 llmtf_eval/darumeru_cp_para_ru_total.jsonl create mode 100644 llmtf_eval/darumeru_ruOpenBookQA.jsonl create mode 100644 llmtf_eval/darumeru_ruOpenBookQA_params.jsonl create mode 100644 llmtf_eval/darumeru_ruOpenBookQA_total.jsonl create mode 100644 llmtf_eval/darumeru_ruWorldTree.jsonl create mode 100644 llmtf_eval/darumeru_ruWorldTree_params.jsonl create mode 100644 llmtf_eval/darumeru_ruWorldTree_total.jsonl create mode 100644 llmtf_eval/evaluation_log.txt create mode 100644 llmtf_eval/evaluation_results.txt create mode 100644 llmtf_eval/nlpcoreteam_enMMLU.jsonl create mode 100644 llmtf_eval/nlpcoreteam_enMMLU_params.jsonl create mode 100644 llmtf_eval/nlpcoreteam_enMMLU_total.jsonl create mode 100644 llmtf_eval/nlpcoreteam_ruMMLU.jsonl create mode 100644 llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl create mode 100644 llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl create mode 100644 merges.txt create mode 100644 model-00001-of-00002.safetensors create mode 100644 model-00002-of-00002.safetensors create mode 100644 model.safetensors.index.json create mode 100644 special_tokens_map.json create mode 100644 tokenizer.json create mode 100644 tokenizer_config.json create mode 100644 vocab.json diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..93d704a --- /dev/null +++ b/.gitattributes @@ -0,0 +1,39 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +llmtf_eval/daru_treewayextractive.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/nlpcoreteam_enMMLU.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/nlpcoreteam_ruMMLU.jsonl filter=lfs diff=lfs merge=lfs -text +tokenizer.json filter=lfs diff=lfs merge=lfs -text diff --git a/README.md b/README.md new file mode 100644 index 0000000..e027d53 --- /dev/null +++ b/README.md @@ -0,0 +1,11 @@ +--- +datasets: +- Cartik/learn-bastiai-dataset +language: +- ru +pipeline_tag: text-generation +base_model: +- Qwen/Qwen2.5-3B-Instruct +--- + +BastiAI 2 \ No newline at end of file diff --git a/added_tokens.json b/added_tokens.json new file mode 100644 index 0000000..88828d3 --- /dev/null +++ b/added_tokens.json @@ -0,0 +1,24 @@ +{ + "": 147090, + "": 147089, + "<|box_end|>": 147081, + "<|box_start|>": 147080, + "<|endoftext|>": 147075, + "<|file_sep|>": 147096, + "<|fim_middle|>": 147092, + "<|fim_pad|>": 147094, + "<|fim_prefix|>": 147091, + "<|fim_suffix|>": 147093, + "<|im_end|>": 147077, + "<|im_start|>": 147076, + "<|image_pad|>": 147087, + "<|object_ref_end|>": 147079, + "<|object_ref_start|>": 147078, + "<|quad_end|>": 147083, + "<|quad_start|>": 147082, + "<|repo_name|>": 147095, + "<|video_pad|>": 147088, + "<|vision_end|>": 147085, + "<|vision_pad|>": 147086, + "<|vision_start|>": 147084 +} diff --git a/config.json b/config.json new file mode 100644 index 0000000..0660b33 --- /dev/null +++ b/config.json @@ -0,0 +1,28 @@ +{ + "_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75/kto2", + "architectures": [ + "Qwen2ForCausalLM" + ], + "attention_dropout": 0.0, + "eos_token_id": 147077, + "hidden_act": "silu", + "hidden_size": 2048, + "initializer_range": 0.02, + "intermediate_size": 11008, + "max_position_embeddings": 32768, + "max_window_layers": 70, + "model_type": "qwen2", + "num_attention_heads": 16, + "num_hidden_layers": 36, + "num_key_value_heads": 2, + "rms_norm_eps": 1e-06, + "rope_scaling": null, + "rope_theta": 1000000.0, + "sliding_window": null, + "tie_word_embeddings": true, + "torch_dtype": "bfloat16", + "transformers_version": "4.45.2", + "use_cache": true, + "use_sliding_window": false, + "vocab_size": 147097 +} diff --git a/generation_config.json b/generation_config.json new file mode 100644 index 0000000..1d61efb --- /dev/null +++ b/generation_config.json @@ -0,0 +1,10 @@ +{ + "do_sample": true, + "eos_token_id": 147077, + "pad_token_id": 151643, + "repetition_penalty": 1.05, + "temperature": 0.7, + "top_k": 20, + "top_p": 0.8, + "transformers_version": "4.45.2" +} diff --git a/llmtf_eval/daru_treewayabstractive.jsonl b/llmtf_eval/daru_treewayabstractive.jsonl new file mode 100644 index 0000000..72f6966 --- /dev/null +++ b/llmtf_eval/daru_treewayabstractive.jsonl @@ -0,0 +1,9321 @@ +{ + "metric": { + "rouge1": 0.4426229508196721, + "rouge2": 0.15 + }, + "predict": " Федеральная антимонопольная служба закрыла дело о злоупотреблениях со стороны операторов мобильной связи «большой тройки» (МТС, «Вымпелком», «Мегафон»), связанных с навязыванием дополнительных услуг без согласия абонентов. В результате, операторам удалось избежать штрафов, связанных с нарушением закона «О защите конкуренции». ФАС предложила нововведение в виде двух лицевых счетов для абонентов, что может усложнить использование дополнительных услуг, но операторы считают, что это соответствует интересам пользователей и развитию социально-полезных сервисов.", + "sample": { + "src_sents": [ + "Федеральная антимонопольная служба ( ФАС ) закрыла дело о коротких номерах, возбужденное в отношении операторов «большой тройки» МТС , «Вымпелкома» и «Мегафона».", + "Дело против «большой тройки» завело УФАС по Санкт-Петербургу весной прошлого года.", + "В конце октября оно было передано в федеральное ведомство.", + "В ФАС поступали жалобы от абонентов, согласно которым операторы списывали деньги с их счетов за услуги, на которые они не подписывались.", + "Операторы объясняли недовольство пользователей тем, что оказание некоторых услуг может быть включено в абонентский договор.", + "Но в ФАС настаивали, что такая практика противоречит закону «О защите конкуренции», который запрещает навязывание клиентам любых услуг.", + "В итоге дело закрыто после устранения нарушений, отчиталась ФАС.", + "Закрытие дела позволило «тройке» избежать оборотных штрафов.", + "В случае причастности операторам пришлось бы заплатить 1—1,5% выручки от сервисов, предоставленных без разрешения абонентов за весь период нарушения.", + "«Среди аргументов возня с бумагами и несовершенство механизма личного кабинета. Есть риск взлома», — объясняет Пиков.", + "Теперь на обсуждение операторов вынесено предложение о создании двух лицевых счетов на каждого абонента.", + "Предполагается, что один из них будет предназначен для оплаты только связи, второй — при внесении наличных пользователем для оплаты услуг.", + "В «Вымпелкоме» считают, что предложение ведомства серьезно усложнит для абонентов процесс пользования допуслугами.", + "«При этом операторы уже закончили внедрение мер согласно предупреждению ФАС», — отмечают в компании.", + "По мнению представителей оператора, законодательство в этой сфере должно обеспечивать свободный и удобный доступ пользователей ко всем телеком-услугам.", + "«Уже действующие законодательные требования к контент-сервисам и операторам, а также недавние предписания ФАС позволяют обеспечить оптимальный баланс между безопасным доступом к контенту и развитием социально-полезных сервисов», — констатирует оператор." + ], + "summary_sents": [ + "Антимонопольная служба закрыла дело о коротких номерах в отношении сотовых операторов «большой тройки».", + "Компании избежали оборотных штрафов, устранив нарушения.", + "Реорганизация работы сервисов продолжится.", + "В Роскомнадзоре планируют обсудить с операторами создание двух лицевых счетов на каждого абонента — один для связи, другой для дополнительных услуг.", + "Предложение ведомства усложнит для абонентов процесс пользования услугами, настаивают участники рынка." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6, + 7, + 8, + 10, + 11, + 12 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Федеральная антимонопольная служба ( ФАС ) закрыла дело о коротких номерах, возбужденное в отношении операторов «большой тройки» МТС , «Вымпелкома» и «Мегафона». Дело против «большой тройки» завело УФАС по Санкт-Петербургу весной прошлого года. В конце октября оно было передано в федеральное ведомство. В ФАС поступали жалобы от абонентов, согласно которым операторы списывали деньги с их счетов за услуги, на которые они не подписывались. Операторы объясняли недовольство пользователей тем, что оказание некоторых услуг может быть включено в абонентский договор. Но в ФАС настаивали, что такая практика противоречит закону «О защите конкуренции», который запрещает навязывание клиентам любых услуг. В итоге дело закрыто после устранения нарушений, отчиталась ФАС. Закрытие дела позволило «тройке» избежать оборотных штрафов. В случае причастности операторам пришлось бы заплатить 1—1,5% выручки от сервисов, предоставленных без разрешения абонентов за весь период нарушения. «Среди аргументов возня с бумагами и несовершенство механизма личного кабинета. Есть риск взлома», — объясняет Пиков. Теперь на обсуждение операторов вынесено предложение о создании двух лицевых счетов на каждого абонента. Предполагается, что один из них будет предназначен для оплаты только связи, второй — при внесении наличных пользователем для оплаты услуг. В «Вымпелкоме» считают, что предложение ведомства серьезно усложнит для абонентов процесс пользования допуслугами. «При этом операторы уже закончили внедрение мер согласно предупреждению ФАС», — отмечают в компании. По мнению представителей оператора, законодательство в этой сфере должно обеспечивать свободный и удобный доступ пользователей ко всем телеком-услугам. «Уже действующие законодательные требования к контент-сервисам и операторам, а также недавние предписания ФАС позволяют обеспечить оптимальный баланс между безопасным доступом к контенту и развитием социально-полезных сервисов», — констатирует оператор.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 431, + "generated_len": [ + 123 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4423076923076923, + "rouge2": 0.13725490196078433 + }, + "predict": " Борис Моисеев, заслуженный артист России, опроверг слухи о своем предсмертном состоянии, подчеркнув, что его состояние в целом стабильно и он ведет активный образ жизни. Музыкант выразил благодарность за поддержку со стороны близких, включая Аллу Пугачеву, и отметил, что продолжает поддерживать связи с семьей и друзьями, несмотря на частые слухи о его состоянии здоровья.", + "sample": { + "src_sents": [ + "Заслуженный артист России Борис Моисеев опроверг многочисленные слухи о собственном предсмертном состоянии.", + "Перенесший в декабре 2010 года инсульт певец признался, что ему очень обидно читать заголовки о своем здоровье или бедственном положении.", + "По словам музыканта, это происходят регулярно — раз в два-три месяца.", + "«Когда, видимо, не хватает хайпа или рейтинга, меня начинают тормошить, и, как правило, все одно и то же.", + "Меня как-то спросили: «Борис Михайлович, вы уже написали завещание?».", + "Вместе с тем артист признался, что не чувствует себя в связи с этим удрученным или поникшим.", + "«Я ощущаю себя нормальным человеком, в целом веду достаточно активный образ жизни. Встаю каждое утро, как на работу, иду в туалет, принимаю душ, чищу зубы, бреюсь, укладываю волосы, сажусь завтракать. Все, как было всегда. Ничего не изменилось, кроме одного: раньше после завтрака я выезжал обычно на гастроли, а теперь сажусь за компьютер», — поделился исполнитель хита «Голубая луна».", + "Моисеев признался, что его все же нельзя назвать «упертым домоседом», поскольку он продолжает общаться с близкими друзьями.", + "Также музыкант отметил, что поддерживает отношения с семьей брата, который живет в Канаде, и рассказал о недавнем звонке Аллы Пугачевой.", + "«Волнуется тоже за меня. Говорит: «Рада, что у тебя все хорошо, потому что периодически читаю всякую чушь про тебя, надо было услышать твой голос, удостовериться, что у тебя все хорошо, ты умница, ты молодец, мы тебя любим». Передала привет от Кристины из Америки», — поделился певец." + ], + "summary_sents": [ + "Российский певец Борис Моисеев отреагировал на слухи о своем предсмертном состоянии и бедственном положении.", + "Артист, несмотря на самоизоляцию, продолжает вести привычный ему образ жизни, получает авторские от своих песен и общается со старыми друзьями.", + "Однако, по словам музыканта, ему очень обидно читать негативные новости о себе, которые регулярно появляются в сети." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 6, + 7 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Заслуженный артист России Борис Моисеев опроверг многочисленные слухи о собственном предсмертном состоянии. Перенесший в декабре 2010 года инсульт певец признался, что ему очень обидно читать заголовки о своем здоровье или бедственном положении. По словам музыканта, это происходят регулярно — раз в два-три месяца. «Когда, видимо, не хватает хайпа или рейтинга, меня начинают тормошить, и, как правило, все одно и то же. Меня как-то спросили: «Борис Михайлович, вы уже написали завещание?». Вместе с тем артист признался, что не чувствует себя в связи с этим удрученным или поникшим. «Я ощущаю себя нормальным человеком, в целом веду достаточно активный образ жизни. Встаю каждое утро, как на работу, иду в туалет, принимаю душ, чищу зубы, бреюсь, укладываю волосы, сажусь завтракать. Все, как было всегда. Ничего не изменилось, кроме одного: раньше после завтрака я выезжал обычно на гастроли, а теперь сажусь за компьютер», — поделился исполнитель хита «Голубая луна». Моисеев признался, что его все же нельзя назвать «упертым домоседом», поскольку он продолжает общаться с близкими друзьями. Также музыкант отметил, что поддерживает отношения с семьей брата, который живет в Канаде, и рассказал о недавнем звонке Аллы Пугачевой. «Волнуется тоже за меня. Говорит: «Рада, что у тебя все хорошо, потому что периодически читаю всякую чушь про тебя, надо было услышать твой голос, удостовериться, что у тебя все хорошо, ты умница, ты молодец, мы тебя любим». Передала привет от Кристины из Америки», — поделился певец.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 380, + "generated_len": [ + 123 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.21874999999999997, + "rouge2": 0.047619047619047616 + }, + "predict": " Правительство России в 2011-2015 годах запустило программу «Патриотическое воспитание граждан Российской Федерации», нацеленной на формирование позитивного отношения к военной службе и патриотизма среди молодежи. Программа предусматривает выделение 777,2 млн рублей, из которых 596,75 млн из федерального бюджета и 180,45 млн из внебюджетных источников. В рамках программы планируется финансирование научных исследований и творческих работ молодых ученых в области патриотизма, а также проведение конкурсов среди педагогов для совершенствования патриотического воспитания в системе образования.", + "sample": { + "src_sents": [ + "Правительство России обнародовало программу «Патриотическое воспитание граждан Российской Федерации на 2011—2015 годы».", + "Как указано в программе, патриотизм должен стать «нравственной основой активной жизненной позиции граждан».", + "Одной из целей документа названо «формирование позитивного отношения общества к военной службе» и «положительной мотивации» у молодых людей на призыв и службу в армии.", + "На реализацию программы уйдет 777,2 млн рублей.", + "Из них 596,75 млн рублей будет выделено из федерального бюджета, еще 180,45 млн власти собираются получить из «внебюджетных источников», в том числе фондов творческих союзов, организаций культуры, спортивных и других организаций, участвующих в патриотическом воспитании.", + "Разработать его и внести в Госдуму должны до 2012 года.", + "Пока же, до выхода закона, госорганы должны создавать «современную творческую молодежь — патриотов России».", + "На научно-исследовательские и творческих работы молодых ученых в области патриотизма государство собирается тратить 3 млн рублей каждые два года, на конкурсы курсовых и дипломов, «связанных с героическим прошлым России, важнейшими событиями в жизни народа», — по 2 млн в каждый год программы.", + "Минобрнауки должно организовывать семинары на тему «Пути совершенствования патриотического воспитания в условиях модернизации системы образования» и проводить конкурсы среди педагогов." + ], + "summary_sents": [ + "Обнародована программа патриотического воспитания россиян на 2011—2015 годы, на реализацию которой будет потрачено почти 800 млн рублей.", + "Как ожидают авторы, она искоренит экстремизм отдельных групп граждан, повысит духовность россиян и обеспечит им политстабильность — в основном, при помощи новых музеев, конференций и конкурсов.", + "Кроме того, будет принят закон «О патриотическом воспитании граждан России»." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 3, + 5 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Правительство России обнародовало программу «Патриотическое воспитание граждан Российской Федерации на 2011—2015 годы». Как указано в программе, патриотизм должен стать «нравственной основой активной жизненной позиции граждан». Одной из целей документа названо «формирование позитивного отношения общества к военной службе» и «положительной мотивации» у молодых людей на призыв и службу в армии. На реализацию программы уйдет 777,2 млн рублей. Из них 596,75 млн рублей будет выделено из федерального бюджета, еще 180,45 млн власти собираются получить из «внебюджетных источников», в том числе фондов творческих союзов, организаций культуры, спортивных и других организаций, участвующих в патриотическом воспитании. Разработать его и внести в Госдуму должны до 2012 года. Пока же, до выхода закона, госорганы должны создавать «современную творческую молодежь — патриотов России». На научно-исследовательские и творческих работы молодых ученых в области патриотизма государство собирается тратить 3 млн рублей каждые два года, на конкурсы курсовых и дипломов, «связанных с героическим прошлым России, важнейшими событиями в жизни народа», — по 2 млн в каждый год программы. Минобрнауки должно организовывать семинары на тему «Пути совершенствования патриотического воспитания в условиях модернизации системы образования» и проводить конкурсы среди педагогов.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 313, + "generated_len": [ + 123 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2736842105263158, + "rouge2": 0.06451612903225808 + }, + "predict": " В разгар локаута в НБА, Андрей Кириленко, готовящийся к Евробаскету-2011, рассматривается в качестве потенциального игрока для испанской команды «Реал Мадрид», предлагая €4 млн за сезон. В то же время, турецкий клуб «Бешикташ» проявляет особую активность в поиске звезд НБА для своих команд, включая и женскую женскую Евробаскету. Эти действия свидетельствуют о растущем интересе европейских клубов к баскетболистам НБА, особенно в период приостановки регулярного чемпионата.", + "sample": { + "src_sents": [ + "Локаут в НБА только начался, а первые ласточки уже устремились в Европу.", + "По сообщению испанской газеты Marca, представители Андрея Кириленко предложили услуги российского баскетболиста мадридскому «Реалу», запросив €4 млн за сезон.", + "Сам Андрей , который собирается выступить в составе сборной России на Евробаскете-2011 в Литве, эту информацию не комментирует.", + "Хотя несколько дней назад говорил о том, что выступления в испанской лиге в период локаута будут ему интересны.", + "Специально оговорено, что в случае возобновления регулярного чемпионата НБА Уимс сможет вернуться в «Рэпторс».", + "Эти опции включают в контракт практически все представители НБА, соглашающиеся осчастливить своей игрой европейские клубы.", + "Наибольшую активность в охоте на звезд НБА проявляет стамбульский «Бешикташ».", + "Президент турецкого клуба, похоже, является фанатом баскетбола.", + "Еще до начала женского Евробаскета турки договорились с Илоной Корстин.", + "Мужская же команда «Бешикташа», которая даже в Евролиге не играет, собирается стать своеобразным филиалом НБА." + ], + "summary_sents": [ + "Агенты Андрея Кириленко на время объявленного в НБА локаута пытаются пристроить чемпиона Европы 2007 года в мадридский «Реал».", + "Наибольшую активность в погоне за звездами сильнейшей баскетбольной лиги проявляет стамбульский «Бешикташ»." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 6 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Локаут в НБА только начался, а первые ласточки уже устремились в Европу. По сообщению испанской газеты Marca, представители Андрея Кириленко предложили услуги российского баскетболиста мадридскому «Реалу», запросив €4 млн за сезон. Сам Андрей , который собирается выступить в составе сборной России на Евробаскете-2011 в Литве, эту информацию не комментирует. Хотя несколько дней назад говорил о том, что выступления в испанской лиге в период локаута будут ему интересны. Специально оговорено, что в случае возобновления регулярного чемпионата НБА Уимс сможет вернуться в «Рэпторс». Эти опции включают в контракт практически все представители НБА, соглашающиеся осчастливить своей игрой европейские клубы. Наибольшую активность в охоте на звезд НБА проявляет стамбульский «Бешикташ». Президент турецкого клуба, похоже, является фанатом баскетбола. Еще до начала женского Евробаскета турки договорились с Илоной Корстин. Мужская же команда «Бешикташа», которая даже в Евролиге не играет, собирается стать своеобразным филиалом НБА.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 254, + "generated_len": [ + 123 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.30088495575221236, + "rouge2": 0.018018018018018014 + }, + "predict": " В Москве и области в последние дни февраля и начале марта ожидается настоящая весенняя погода с теплым днем до +8°С, облачностью и иногда гололедицей. Ветер юго-западный, атмосферное давление ниже нормы. В воскресенье, 1 марта, температура в Москве достигнет +6°С, а в области до +7°С днем, с небольшим дождем ночью. Прогноз благоприятен для начала рабочей недели.", + "sample": { + "src_sents": [ + "В Москве и области в последние дни февраля и первую неделю долгожданного марта ожидается самая настоящая весенняя погода — ветер, дующий с юга, ясное небо, лишь иногда сменяющиеся тучами, температура до +8°С, — все это прогнозируют метеорологи центра «Фобос».", + "В пятницу, 28 февраля, дневная температура в столице может достичь отметки в +4°С, а ночью — опуститься лишь до -2°С. При этом в течение всего дня на улице будет облачно с прояснениями, и лишь в позднее время суток из-за небольшого минуса землю покроет слабая гололедица.", + "По области воздух днем прогреется и вовсе до +5°С, зато ночью в Подмосковье резко похолодает аж до -6°С. Помимо осадков, оставит столицу в покое и сильный ветер.", + "Как в Москве, так и в области он будет юго-западным: днем — до 3-8 м/с, а ночью – до 1-6 м/с. Атмосферное давление метеорологи обещают ниже нормы — 735 мм рт. ст. В последний день зимы, 29 февраля, погода тоже не разочарует жителей столицы.", + "Они, согласно прогнозам синоптиков, проводят зиму при прогретом воздухе до +3°С. Временами пройдут осадки в виде небольшого снега, но на смену будет приходить солнце.", + "Ночью в столицу опять придет переменная облачность, но уже без осадков — термометр покажет до -5°С. В области дневная температура воздуха остановится на отметке в +4°С, а ночью — снова опустится до -6°С. Ветер будет юго-западным: днем – порывистым, до 5-10 м/с, а ночью — до 1-6 м/с. Атмосферное давление повысится до 742 мм рт. ст. В воскресенье, 1 марта, весна порадует горожан сухой погодой и обилием солнца — днем температура в Москве достигнет показателя в +6°С. Ночью ожидается местами небольшой дождь и до +3°С. В области погодные условия будут не менее благоприятными: до +7°С – днем, и лишь +5°С – ночью.", + "Синоптики отмечают, что такие показатели термометра, как правило, соответствуют больше концу марта, а не его началу.", + "После этого даем тесту отдохнуть 15-20 мин и выпекаем.", + "По такому рецепту может получиться около 30 блинчиков, так что хватит и на начало рабочей недели — а именно 2 марта." + ], + "summary_sents": [ + "На будущей неделе синоптики пообещали москвичам и жителям Подмосковья температуру воздуха, соответствующую концу марта.", + "В пятницу дневной воздух в городе прогреется до +4°С, а уже к выходным до +6°С — при этом редкие осадки будут сменяться солнцем.", + "В первую неделю марта температура достигнет и вовсе +8°С — вплоть до 8 марта в столице будет стоять настоящая весна." + ], + "support_labels": [ + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 1, + 5, + 6 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Москве и области в последние дни февраля и первую неделю долгожданного марта ожидается самая настоящая весенняя погода — ветер, дующий с юга, ясное небо, лишь иногда сменяющиеся тучами, температура до +8°С, — все это прогнозируют метеорологи центра «Фобос». В пятницу, 28 февраля, дневная температура в столице может достичь отметки в +4°С, а ночью — опуститься лишь до -2°С. При этом в течение всего дня на улице будет облачно с прояснениями, и лишь в позднее время суток из-за небольшого минуса землю покроет слабая гололедица. По области воздух днем прогреется и вовсе до +5°С, зато ночью в Подмосковье резко похолодает аж до -6°С. Помимо осадков, оставит столицу в покое и сильный ветер. Как в Москве, так и в области он будет юго-западным: днем — до 3-8 м/с, а ночью – до 1-6 м/с. Атмосферное давление метеорологи обещают ниже нормы — 735 мм рт. ст. В последний день зимы, 29 февраля, погода тоже не разочарует жителей столицы. Они, согласно прогнозам синоптиков, проводят зиму при прогретом воздухе до +3°С. Временами пройдут осадки в виде небольшого снега, но на смену будет приходить солнце. Ночью в столицу опять придет переменная облачность, но уже без осадков — термометр покажет до -5°С. В области дневная температура воздуха остановится на отметке в +4°С, а ночью — снова опустится до -6°С. Ветер будет юго-западным: днем – порывистым, до 5-10 м/с, а ночью — до 1-6 м/с. Атмосферное давление повысится до 742 мм рт. ст. В воскресенье, 1 марта, весна порадует горожан сухой погодой и обилием солнца — днем температура в Москве достигнет показателя в +6°С. Ночью ожидается местами небольшой дождь и до +3°С. В области погодные условия будут не менее благоприятными: до +7°С – днем, и лишь +5°С – ночью. Синоптики отмечают, что такие показатели термометра, как правило, соответствуют больше концу марта, а не его началу. После этого даем тесту отдохнуть 15-20 мин и выпекаем. По такому рецепту может получиться около 30 блинчиков, так что хватит и на начало рабочей недели — а именно 2 марта.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 573, + "generated_len": [ + 123 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3275862068965517, + "rouge2": 0.14035087719298245 + }, + "predict": " Федеральный регулятор США NCUA обвиняет банки J.P. Morgan Chase и Royal Bank of Scotland в причастности к финансовым кризису 2008 года, в результате которого пять кредитных союзов США потеряли более $3 млрд на спекулятивных ипотечных бумагах. Регулятор намерен привлечь к ответственности не только банки, но и андеррайтеров и посредников, нарушивших законы и предоставивших недостоверную информацию. Этот процесс может привести к значительному сокращению объемов финансовых услуг на рынке, учитывая снижение доверия к рискованным активам.", + "sample": { + "src_sents": [ + "Федеральный регулятор США — Национальное управление кредитных союзов (NCUA) — хочет привлечь к ответственности за финансовый кризис банки J.P. Morgan Chase и Royal Bank of Scotland ( RBS ).", + "Как утверждает NCUA, эти банки втянули пять кредитных союзов в США в покупку ипотечных кредитов, позднее оказавшихся «плохими», на общую сумму $3 млрд.", + "Коллапс пяти крупнейших союзов повлек за собой проблемы во всем секторе, «итогом стал жесточайший финансовый кризис во всей истории кредитных союзов», отметил председатель NCUA Дебби Мац.", + "«Мы надеемся, что все звенья цепи понесут ответственность, включая андеррайтеров и посредников», — заявил он. — объединение физических и юридических лиц, создаваемое для аккумулирования денежных средств и взаимного кредитования.", + "Одна из наиболее распространенных финансовых структур.", + "На сегодняшний день насчитывается порядка 7000 к. с. Банки предоставляли «недостоверную информацию о существенных фактах или скрывали их», нарушая федеральное законодательство и законы отдельных штатов, выяснило NCUA после года расследований.", + "J.P. Morgan обвиняется в продаже некачественных долгов всем пяти обанкротившимся союзам: U.S. Central Corporate C.U., Members United Corporate C.U., Southwest Corporate C.U., Constitution Corporate C.U. и Western Corporate C.U. Всего с нарушениями информирования клиентов было продано бумаг сумму $213 млн.", + "RBS обвиняется в обмане только U.S. Central, недостоверные сведения касались облигаций на $138 млн.", + "В ноябре 2006 года U.S. Central Corporate Credit Union купил у RBS пакет ипотечных бумаг на сумму $120,8 млн.", + "Уже через месяц пакет потерял в цене $206 тыс. из-за неплатежеспособности заемщиков.", + "В течение второго месяца потери раздулись до $1,3 млн, на третий месяц — до $16 млн.", + "Через полгода цена пакета упала на $26 млн, через год — на $105,9 млн, в десять раз превысив просчитанные возможные потери в $11,6 млн.", + "В марте 2009 года NCUA было вынуждено взять кредитный союз под свою опеку.", + "В сентябре 2010 года управление решило ликвидировать союз.", + "Порядка 40 кредитных союзов в США обанкротились с начала 2009 года, большинство оставшихся понесли потери.", + "Потери кредитных союзов оцениваются NCUA в $50 млрд.", + "NCUA намерено подать иски к еще 8 банкам и инвесткомпаниям, аккумулировавшим «плохие» ипотечные бумаги и продававшим их кредитным союзам.", + "Следующий иск грозит Goldman Sachs, знают источники.", + "«Кризис носил системный характер, – считает аналитик ИФ «Олма» Антон Старцев. – Проблема не в том, что отдельный банк взял на себя слишком большие риски, проблема в том, что повышенные риски были характерны для финансового сектора в целом, отчасти это недосмотр регулятора».", + "«Если сейчас банки будут отвечать за действия, совершенные в предкризисные или кризисные годы, то будут осторожнее впредь».", + "«По мере разгребания завалов финансового кризиса снижается интерес к рискованным бумагам, которые до кризиса преподносились практически как надежные активы. Общим итогом будет снижение объема финансовых услуг на рынке», – считает замначальника информационно-аналитического отдела «Пробизнесбанка» Валерий Пивень." + ], + "summary_sents": [ + "Власти США нашли виновных в финансовом кризисе.", + "Федеральный регулятор выяснил, что J.P. Morgan и Royal bank of Scotland предоставляли заведомо неверную информацию об ипотечных облигациях, цена которых впоследствии рухнула.", + "Риски оказались недооценены в десятки раз.", + "Следующим ответчиком может стать Goldman Sachs." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 10, + 11, + 17 + ], + "category": "financial" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Федеральный регулятор США — Национальное управление кредитных союзов (NCUA) — хочет привлечь к ответственности за финансовый кризис банки J.P. Morgan Chase и Royal Bank of Scotland ( RBS ). Как утверждает NCUA, эти банки втянули пять кредитных союзов в США в покупку ипотечных кредитов, позднее оказавшихся «плохими», на общую сумму $3 млрд. Коллапс пяти крупнейших союзов повлек за собой проблемы во всем секторе, «итогом стал жесточайший финансовый кризис во всей истории кредитных союзов», отметил председатель NCUA Дебби Мац. «Мы надеемся, что все звенья цепи понесут ответственность, включая андеррайтеров и посредников», — заявил он. — объединение физических и юридических лиц, создаваемое для аккумулирования денежных средств и взаимного кредитования. Одна из наиболее распространенных финансовых структур. На сегодняшний день насчитывается порядка 7000 к. с. Банки предоставляли «недостоверную информацию о существенных фактах или скрывали их», нарушая федеральное законодательство и законы отдельных штатов, выяснило NCUA после года расследований. J.P. Morgan обвиняется в продаже некачественных долгов всем пяти обанкротившимся союзам: U.S. Central Corporate C.U., Members United Corporate C.U., Southwest Corporate C.U., Constitution Corporate C.U. и Western Corporate C.U. Всего с нарушениями информирования клиентов было продано бумаг сумму $213 млн. RBS обвиняется в обмане только U.S. Central, недостоверные сведения касались облигаций на $138 млн. В ноябре 2006 года U.S. Central Corporate Credit Union купил у RBS пакет ипотечных бумаг на сумму $120,8 млн. Уже через месяц пакет потерял в цене $206 тыс. из-за неплатежеспособности заемщиков. В течение второго месяца потери раздулись до $1,3 млн, на третий месяц — до $16 млн. Через полгода цена пакета упала на $26 млн, через год — на $105,9 млн, в десять раз превысив просчитанные возможные потери в $11,6 млн. В марте 2009 года NCUA было вынуждено взять кредитный союз под свою опеку. В сентябре 2010 года управление решило ликвидировать союз. Порядка 40 кредитных союзов в США обанкротились с начала 2009 года, большинство оставшихся понесли потери. Потери кредитных союзов оцениваются NCUA в $50 млрд. NCUA намерено подать иски к еще 8 банкам и инвесткомпаниям, аккумулировавшим «плохие» ипотечные бумаги и продававшим их кредитным союзам. Следующий иск грозит Goldman Sachs, знают источники. «Кризис носил системный характер, – считает аналитик ИФ «Олма» Антон Старцев. – Проблема не в том, что отдельный банк взял на себя слишком большие риски, проблема в том, что повышенные риски были характерны для финансового сектора в целом, отчасти это недосмотр регулятора». «Если сейчас банки будут отвечать за действия, совершенные в предкризисные или кризисные годы, то будут осторожнее впредь». «По мере разгребания завалов финансового кризиса снижается интерес к рискованным бумагам, которые до кризиса преподносились практически как надежные активы. Общим итогом будет снижение объема финансовых услуг на рынке», – считает замначальника информационно-аналитического отдела «Пробизнесбанка» Валерий Пивень.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 775, + "generated_len": [ + 123 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4477611940298507, + "rouge2": 0.1212121212121212 + }, + "predict": " Январь 2018 года показал значительный рост ипотечного рынка в России, увеличившись в два раза по сравнению с аналогичными показателями 2017 года. Этот рост связан с отложенным спросом, сформировавшимся в конце 2017 года, и снижением ипотечных ставок, стимулированных смягчением денежно-кредитной политики Центробанка. Снижение ставок и ожидания дальнейшего снижения ипотечных ставок, а также доступность ипотеки для более дорогих сегментов рынка, способствуют активному развитию ипотечного рынка в России.", + "sample": { + "src_sents": [ + "Январь этого года показал рост рынка ипотеки в России более чем в два раза по сравнению с прошлогодними результатами.", + "За первый месяц 2018 года было выдано 78,2 тысячи ипотечных кредитов на сумму 148,5 млрд рублей, свидетельствует статистика Центробанка.", + "Год назад ипотеку оформили 40,2 тысячи заемщиков на сумму в 71,3 млрд рублей.", + "Напомним, что по итогам прошлого года был установлен исторический рекорд по объему выданных ипотечных кредитов.", + "Всего за 2017 год банки оформили ипотеки более чем на 2 трлн рублей.", + "Рост выдачи ипотечных кредитов в нынешнем январе связан прежде всего с отложенным спросом, который сформировался в конце 2017-го года.", + "В Сбербанке сегодняшнюю ситуацию связали с заданным трендом на рынке еще с сентября прошлого года.", + "Если посмотреть на данные Банка России, то средневзвешенная ставка за первый осенний месяц прошлого года снизилась с 10,59% до 10,05%, а уже в следующем месяце опустилась ниже 10%.", + "Снижению ставок способствует смягчение денежно-кредитной политики ЦБ.", + "По словам Ольги Кузнецовой, снижение регулятором ключевой ставки и ожидание последующего уменьшения ставок банками продолжает оставаться одним из драйверов ипотечного рынка.", + "«Полагаем, что общее снижение ипотечных ставок продолжится и составит за год 1,25-1,5%», — отметила член правления банка «ДельтаКредит» Ирина Асланова.", + "К концу года ипотека может выдаваться по ставкам от 8%.", + "Кроме того, ипотека стала активно развиваться и в более дорогом сегменте.", + "Директор по маркетингу ГК Insigma Ольга Нарт говорит, что если ранее на жилье класса премиум основным финансовым инструментом для покупки квартиры считалась только рассрочка, то теперь некоторые клиенты предпочитают ипотеку.", + "Доля ипотечных сделок в некоторых проектах жилья премиального класса, по ее оценке, достигает 20% от общего объема сделок.", + "С учетом того, что ставки снизились, покупатели иногда предпочитают взять ипотеку, чтобы единовременно не выводить крупные суммы денег из бизнеса.", + "Некоторые выбирают этот инструмент, так как более гибко могут выбрать сумму первоначального взноса и срок погашения кредита, другие используют возможность увеличения бюджета покупки за счет кредитных средств, а, следовательно, и улучшают характеристики приобретаемого жилья." + ], + "summary_sents": [ + "Рынок ипотеки ударно начал 2018 год.", + "В январе российские банки выдали в два раза больше ипотечных кредитов по сравнению с аналогичным периодом 2017 года.", + "По мнению участников рынка, это эффект отложенного в конце прошлого года спроса.", + "Кроме того, продолжают снижаться ставки по кредитам — как из-за смягчения политики ЦБ, так и из-за усиливающейся на рынке конкуренции.", + "Риелторы отмечают рост спроса на ипотеку даже в премиум-сегменте." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 8, + 10, + 11, + 13, + 14 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Январь этого года показал рост рынка ипотеки в России более чем в два раза по сравнению с прошлогодними результатами. За первый месяц 2018 года было выдано 78,2 тысячи ипотечных кредитов на сумму 148,5 млрд рублей, свидетельствует статистика Центробанка. Год назад ипотеку оформили 40,2 тысячи заемщиков на сумму в 71,3 млрд рублей. Напомним, что по итогам прошлого года был установлен исторический рекорд по объему выданных ипотечных кредитов. Всего за 2017 год банки оформили ипотеки более чем на 2 трлн рублей. Рост выдачи ипотечных кредитов в нынешнем январе связан прежде всего с отложенным спросом, который сформировался в конце 2017-го года. В Сбербанке сегодняшнюю ситуацию связали с заданным трендом на рынке еще с сентября прошлого года. Если посмотреть на данные Банка России, то средневзвешенная ставка за первый осенний месяц прошлого года снизилась с 10,59% до 10,05%, а уже в следующем месяце опустилась ниже 10%. Снижению ставок способствует смягчение денежно-кредитной политики ЦБ. По словам Ольги Кузнецовой, снижение регулятором ключевой ставки и ожидание последующего уменьшения ставок банками продолжает оставаться одним из драйверов ипотечного рынка. «Полагаем, что общее снижение ипотечных ставок продолжится и составит за год 1,25-1,5%», — отметила член правления банка «ДельтаКредит» Ирина Асланова. К концу года ипотека может выдаваться по ставкам от 8%. Кроме того, ипотека стала активно развиваться и в более дорогом сегменте. Директор по маркетингу ГК Insigma Ольга Нарт говорит, что если ранее на жилье класса премиум основным финансовым инструментом для покупки квартиры считалась только рассрочка, то теперь некоторые клиенты предпочитают ипотеку. Доля ипотечных сделок в некоторых проектах жилья премиального класса, по ее оценке, достигает 20% от общего объема сделок. С учетом того, что ставки снизились, покупатели иногда предпочитают взять ипотеку, чтобы единовременно не выводить крупные суммы денег из бизнеса. Некоторые выбирают этот инструмент, так как более гибко могут выбрать сумму первоначального взноса и срок погашения кредита, другие используют возможность увеличения бюджета покупки за счет кредитных средств, а, следовательно, и улучшают характеристики приобретаемого жилья.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 533, + "generated_len": [ + 123 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5046728971962616, + "rouge2": 0.26666666666666666 + }, + "predict": " Новая российская гиперзвуковая противокорабельная ракета «Циркон», разработанная ОАО «Военно-промышленная корпорация «НПО машиностроения», достигла восьми скоростей звука в ходе испытаний. Её универсальные пусковые установки могут использоваться для ракет «Калибр» и «Оникс». Британские СМИ предсказывают, что «Циркон» может существенно изменить баланс сил в мире, став угрозой для британских авианосцев и авиации.", + "sample": { + "src_sents": [ + "Новая российская гиперзвуковая противокорабельная ракета «Циркон», разрабатываемая подмосковным ОАО «Военно-промышленная корпорация «НПО машиностроения», на недавних испытаниях достигла восьми скоростей звука.", + "Об этом сообщает ТАСС со ссылкой на источник в оборонно-промышленном комплексе.", + "«В ходе испытаний ракеты было подтверждено, что ее скорость на марше достигает 8 Махов (число, учитывающее зависимость величины скорости звука от высоты полета)», — сказал собеседник, не уточнив, когда и с какой платформы был проведен запуск ракеты.", + "По словам специалиста, ракеты «Циркон», могут запускаться из универсальных пусковых установок 3С14, которые также используются для ракет «Калибр» и «Оникс».", + "Официального подтверждения данной информации о таких испытательных результатах ракеты на данный момент нет.", + "В конце марта нынешнего года британские СМИ активно обсуждали характеристики «Циркона».", + "Журналисты указывали, что это оружие несет в себе угрозу для флота Великобритании и может изменить баланс сил в мире, сообщает РИА «Новости».", + "Так, издание Mirror писало, что новая ракета способна уничтожить самые современные корабли британского флота «одним ударом».", + "«Эксперты опасаются, что ракета «Циркон» может одним ударом пустить ко дну два новых британских авианосца стоимостью шесть миллиардов фунтов. Так как у флота Великобритании нет средств для защиты кораблей от таких ракет, авианосцам придется держаться вне зоны их досягаемости — речь идет о сотнях километров. Самолетам не хватит топлива преодолевать такие расстояния, а раз они бесполезны, значит, и в самом авианосном ударном соединении нет смысла», — говорилось в статье.", + "Daily Mail , в свою очередь, предупреждало, что ракета способна развивать скорость до 7,4 тыс. километров в час — в шесть раз быстрее скорости звука.", + "«Современные средства противоракетной обороны британского ВМФ способны сбивать снаряды, которые движутся со скоростью не выше 3,7 тыс. километров в час, а значит, они бесполезны против «Циркона». Неудержимая российская ракета может стать настоящей катастрофой для британских авианосцев», — приводилось пояснение в статье.", + "Daily Star же называло «Циркон» ракетой, которая может «изменить баланс сил».", + "«Эту смертоносную ракету можно запустить с суши, моря и с подводной лодки. Она преодолеет 250 километров за две с половиной минуты, а это быстрее, чем скорость снайперской пули», — заявлялось в статье." + ], + "summary_sents": [ + "Источники СМИ в оборонно-промышленном комплексе сообщили о том, что новая российская гиперзвуковая противокорабельная ракета «Циркон» на испытаниях достигла восьми скоростей звука.", + "Ранее британские СМИ писали, что это российское оружие несет в себе угрозу для флота Великобритании и может изменить баланс сил в мире, а также что ракета способна уничтожить самые современные корабли британского флота «одним ударом»." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 7, + 8 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Новая российская гиперзвуковая противокорабельная ракета «Циркон», разрабатываемая подмосковным ОАО «Военно-промышленная корпорация «НПО машиностроения», на недавних испытаниях достигла восьми скоростей звука. Об этом сообщает ТАСС со ссылкой на источник в оборонно-промышленном комплексе. «В ходе испытаний ракеты было подтверждено, что ее скорость на марше достигает 8 Махов (число, учитывающее зависимость величины скорости звука от высоты полета)», — сказал собеседник, не уточнив, когда и с какой платформы был проведен запуск ракеты. По словам специалиста, ракеты «Циркон», могут запускаться из универсальных пусковых установок 3С14, которые также используются для ракет «Калибр» и «Оникс». Официального подтверждения данной информации о таких испытательных результатах ракеты на данный момент нет. В конце марта нынешнего года британские СМИ активно обсуждали характеристики «Циркона». Журналисты указывали, что это оружие несет в себе угрозу для флота Великобритании и может изменить баланс сил в мире, сообщает РИА «Новости». Так, издание Mirror писало, что новая ракета способна уничтожить самые современные корабли британского флота «одним ударом». «Эксперты опасаются, что ракета «Циркон» может одним ударом пустить ко дну два новых британских авианосца стоимостью шесть миллиардов фунтов. Так как у флота Великобритании нет средств для защиты кораблей от таких ракет, авианосцам придется держаться вне зоны их досягаемости — речь идет о сотнях километров. Самолетам не хватит топлива преодолевать такие расстояния, а раз они бесполезны, значит, и в самом авианосном ударном соединении нет смысла», — говорилось в статье. Daily Mail , в свою очередь, предупреждало, что ракета способна развивать скорость до 7,4 тыс. километров в час — в шесть раз быстрее скорости звука. «Современные средства противоракетной обороны британского ВМФ способны сбивать снаряды, которые движутся со скоростью не выше 3,7 тыс. километров в час, а значит, они бесполезны против «Циркона». Неудержимая российская ракета может стать настоящей катастрофой для британских авианосцев», — приводилось пояснение в статье. Daily Star же называло «Циркон» ракетой, которая может «изменить баланс сил». «Эту смертоносную ракету можно запустить с суши, моря и с подводной лодки. Она преодолеет 250 километров за две с половиной минуты, а это быстрее, чем скорость снайперской пули», — заявлялось в статье.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 532, + "generated_len": [ + 123 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2947368421052632, + "rouge2": 0.12903225806451613 + }, + "predict": " Sony представила два новых смартфона — Xperia T2 Ultra и Xperia E1. Xperia T2 Ultra — более мощный, но более дорогой, чем Xperia Z Ultra, с улучшенным экраном и поддержкой LTE, но без защиты от влаги. Xperia E1 — бюджетный смартфон с 4-дюймовым экраном, двухъядерным процессором и расширенными музыкальными функциями, включая ClearAudio+ и Shake-to-shuffle. Оба устройства предлагают расширенные музыкальные возможности, включая фирменные алгоритмы обработки звука и специальную кнопку WALKMAN.", + "sample": { + "src_sents": [ + "Xperia T2 Ultra стал вторым фаблетом компании Sony после вышедшего в 2013 году Xperia Z Ultra.", + "В отличие от топового Z Ultra новый фаблет относится к средней ценовой категории и оснащен менее мощным процессором — 1.4 GHz Qualcomm MSM8928 Quad Core.", + "T2 Ultra тоже имеет фирменный TRILUMINOS-экран, но с более низким, чем у Z Ultra, разрешением — 720x1080 против 1920x1080.", + "Еще одно отличие нового фаблета от Z Ultra — отсутствие защиты от влаги и пыли.", + "T2 Ultra поддерживает российские сотовые сети четвертого поколения (LTE) и получил качественную 13-мегапиксельную камеру.", + "Xperia T2 Ultra будет доступен в трех цветах (белый, черный и фиолетовый).", + "Одновременно с Xperia T2 Ultra на рынке появится и двухсимочная версия — Xperia T2 Ultra dual.", + "Второй из представленных девайсов, бюджетный смартфон Xperia E1, тоже появится в двух версиях, стандартной и двухсимочной.", + "Этот смартфон имеет более скромные технические характеристики по сравнению с T2 Ultra — 4-дюймовый экран WVGA (800x480), двухъядерный процессор 1,2 ГГц, 512 МБ оперативной памяти и 4 ГБ встроенной памяти.", + "Sony позиционирует его как недорогой молодежный смартфон с расширенным музыкальным функционалом.", + "В какой-то степени это возрождение концепции музыкальных смартфонов Sony Ericsson Walkman.", + "Xperia E1 оснащен очень громким динамиком 100 дБ и использует фирменные алгоритмы обработки звука: ClearAudio+ — оптимизация частотного баланса, xLOUD-алгоритм, увеличивающий громкость аудиозаписей Из других музыкальных опций смартфона отметим Shake-to-shuffle — переключение треков при встряхивании смартфона и специальную кнопку WALKMAN, предназначенную для управления музыкальным плеером." + ], + "summary_sents": [ + "Компания Sony представила бюджетный смартфон Xperia E1 с дополнительным музыкальным функционалом и шестидюймовый фаблет Xperia T2 Ultra.", + "Оба устройства ориентированы на развивающиеся рынки." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 5, + 7 + ], + "category": "tech" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Xperia T2 Ultra стал вторым фаблетом компании Sony после вышедшего в 2013 году Xperia Z Ultra. В отличие от топового Z Ultra новый фаблет относится к средней ценовой категории и оснащен менее мощным процессором — 1.4 GHz Qualcomm MSM8928 Quad Core. T2 Ultra тоже имеет фирменный TRILUMINOS-экран, но с более низким, чем у Z Ultra, разрешением — 720x1080 против 1920x1080. Еще одно отличие нового фаблета от Z Ultra — отсутствие защиты от влаги и пыли. T2 Ultra поддерживает российские сотовые сети четвертого поколения (LTE) и получил качественную 13-мегапиксельную камеру. Xperia T2 Ultra будет доступен в трех цветах (белый, черный и фиолетовый). Одновременно с Xperia T2 Ultra на рынке появится и двухсимочная версия — Xperia T2 Ultra dual. Второй из представленных девайсов, бюджетный смартфон Xperia E1, тоже появится в двух версиях, стандартной и двухсимочной. Этот смартфон имеет более скромные технические характеристики по сравнению с T2 Ultra — 4-дюймовый экран WVGA (800x480), двухъядерный процессор 1,2 ГГц, 512 МБ оперативной памяти и 4 ГБ встроенной памяти. Sony позиционирует его как недорогой молодежный смартфон с расширенным музыкальным функционалом. В какой-то степени это возрождение концепции музыкальных смартфонов Sony Ericsson Walkman. Xperia E1 оснащен очень громким динамиком 100 дБ и использует фирменные алгоритмы обработки звука: ClearAudio+ — оптимизация частотного баланса, xLOUD-алгоритм, увеличивающий громкость аудиозаписей Из других музыкальных опций смартфона отметим Shake-to-shuffle — переключение треков при встряхивании смартфона и специальную кнопку WALKMAN, предназначенную для управления музыкальным плеером.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 448, + "generated_len": [ + 120 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4031007751937985, + "rouge2": 0.15748031496062992 + }, + "predict": " Зампред Совета безопасности России Дмитрий Медведев выразил уверенность, что после пандемии коронавируса глобальный мир станет «безусловно другим», несмотря на продолжительность закрытия рынков и сужение глобализма. Медведев акцентирует необходимость формирования новой модели поведения для государств и компаний, подчеркивая, что пока никто не знает, какой именно она будет. Он также обращает внимание на необходимость поддержки отраслей, понесших значительные потери из-за пандемии, и изменение существующих механизмов поддержки в связи с развивающимся экономическим кризисом.", + "sample": { + "src_sents": [ + "После пандемии коронавируса глобальный мир хотя и останется, станет «безусловно другим», уверен зампред Совбеза России Дмитрий Медведев.", + "«Рынки, скорее всего, будут закрытыми и суженными еще достаточно долго, но это не означает, что с глобализмом как с определенным движением последних лет покончено. Глобальный мир останется, но он безусловно станет другим», — отметил он во время онлайн-конференции Startup Village.", + "Медведев добавил, что «мир изменился, изменился радикально и, скорее всего, изменился навсегда».", + "По его словам, государства и компании должны будут предпринять шаги для формирования модели поведения, которая будет использоваться после окончания распространения инфекции.", + "«Всем государствам и всем компаниям придется предпринять еще огромное количество усилий для того, чтобы сформировать эту новую модель поведения», — полагает зампред Совбеза России.", + "При этом, как отметил Медведев, пока никто не понимает, какой конкретно будет эта модель.", + "Российский чиновник признался, что ему «жаль тех совершенно обычных времен, в которых мы все находились еще четыре месяца назад, когда жизнь была прежней».", + "«С другой стороны, нынешняя ситуация создает и дополнительные возможности, которыми мы все должны воспользоваться», — считает он.", + "По мнению Медведева, этот процесс будет идти и дальше, так как уже произошли определенные нарушения в отлаженной системе.", + "В качестве подтверждения своих слов Медведев напомнил про падение мирового ВВП на 3%, что составляет порядка $9 трлн.", + "«Цифры колоссальные, восполнить их будет очень и очень сложно», — предупредил замглавы Совбеза.", + "В связи с этим власти должны поддержать те отрасли, которые понесли наибольшие потери из-за пандемии коронавируса.", + "По его словам, разработанных на сегодняшний день механизмов недостаточно, так как пандемия продолжается развиваться, а вслед за ней происходит и развитие «экономического кризиса, общий объем утрат мы до конца не понимаем».", + "Поэтому, уверен Медведев, властям необходимо будет изменить уже существующие механизмы поддержки в зависимости от складывающейся ситуации.", + "Во время онлайн-конференции зампред Совбеза сделал вывод, что сейчас реалиями современной жизни стали трудности, которые возникают, если человек не зарегистрирован на каком-либо сайте или не пользуется каким-то определенным приложением, например, по доставке." + ], + "summary_sents": [ + "Зампред Совбеза России Дмитрий Медведев обратил внимание на «радикальные изменения» мира в связи с пандемией коронавируса.", + "В частности, он отметил пострадавшую экономику всех стран и падение мирового ВВП на 3%, что равно примерно $9 трлн.", + "В то же время Медведев подчеркнул, что государствам и компаниям по окончании распространения инфекции придется создать новую модель поведения, однако пока неизвестно, какую." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 4, + 5, + 9, + 10 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: После пандемии коронавируса глобальный мир хотя и останется, станет «безусловно другим», уверен зампред Совбеза России Дмитрий Медведев. «Рынки, скорее всего, будут закрытыми и суженными еще достаточно долго, но это не означает, что с глобализмом как с определенным движением последних лет покончено. Глобальный мир останется, но он безусловно станет другим», — отметил он во время онлайн-конференции Startup Village. Медведев добавил, что «мир изменился, изменился радикально и, скорее всего, изменился навсегда». По его словам, государства и компании должны будут предпринять шаги для формирования модели поведения, которая будет использоваться после окончания распространения инфекции. «Всем государствам и всем компаниям придется предпринять еще огромное количество усилий для того, чтобы сформировать эту новую модель поведения», — полагает зампред Совбеза России. При этом, как отметил Медведев, пока никто не понимает, какой конкретно будет эта модель. Российский чиновник признался, что ему «жаль тех совершенно обычных времен, в которых мы все находились еще четыре месяца назад, когда жизнь была прежней». «С другой стороны, нынешняя ситуация создает и дополнительные возможности, которыми мы все должны воспользоваться», — считает он. По мнению Медведева, этот процесс будет идти и дальше, так как уже произошли определенные нарушения в отлаженной системе. В качестве подтверждения своих слов Медведев напомнил про падение мирового ВВП на 3%, что составляет порядка $9 трлн. «Цифры колоссальные, восполнить их будет очень и очень сложно», — предупредил замглавы Совбеза. В связи с этим власти должны поддержать те отрасли, которые понесли наибольшие потери из-за пандемии коронавируса. По его словам, разработанных на сегодняшний день механизмов недостаточно, так как пандемия продолжается развиваться, а вслед за ней происходит и развитие «экономического кризиса, общий объем утрат мы до конца не понимаем». Поэтому, уверен Медведев, властям необходимо будет изменить уже существующие механизмы поддержки в зависимости от складывающейся ситуации. Во время онлайн-конференции зампред Совбеза сделал вывод, что сейчас реалиями современной жизни стали трудности, которые возникают, если человек не зарегистрирован на каком-либо сайте или не пользуется каким-то определенным приложением, например, по доставке.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 478, + "generated_len": [ + 120 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.37837837837837845, + "rouge2": 0.09174311926605504 + }, + "predict": " В Нью-Йорке раскрыта крупнейшая в истории США махинация с поддельными банковскими картами, в результате которого арестованы 86 человек, а 25 находятся в розыске. Банда, именуемая «Swiper», использовала сложные схемы для кражи данных клиентов банков, ресторанов и магазинов, включая россиян. Они создавали карты-дублики, используя технологии, и продавали их покупателям, которые приобретали дорогие товары. Полиция установила, что преступный бизнес позволял участникам жить на широкую ногу, включая использование дорогих автомобилей и отелей.", + "sample": { + "src_sents": [ + "В Нью-Йорке раскрыта крупнейшая в истории США махинация с поддельными банковскими картами.", + "Об этом на пресс-конференции официально объявили представители полиции города.", + "Полиция арестовала 86 человек, им предъявлены обвинения; еще 25 находятся в розыске.", + "За 16 месяцев наблюдения банда потратила $13 млн с чужих счетов.", + "Обвинение включает в себя 784 преступных эпизода.", + "«Swiper», или «крадущий», — так полицейские называли свою операцию.", + "«Эти воры имели невообразимые знания о том, как использовать карточные технологии, — сообщил The Wall street Journal комиссар полиции Нью-Йорка Раймонд Келли. — Схемы, которые используются, действительно ошеломляют».", + "«Это крупнейшее мошенничество с кредитными картами в истории США, задуманное, безусловно, самым изощренным способом, с которым когда-либо сталкивались службы борьбы с организованной преступностью», — сообщил The New York Post представитель полиции Ричард Браун.", + "Они плотно работали с сотрудниками банков, ресторанов и магазинов, которые передавали им информацию о покупателях — фамилии, реквизиты и идентификационные номера.", + "Таким образом, к преступникам попадали данные не только американцев, но иностранных гостей города.", + "По словам представителей полиции, наряду с жителями США, Ливии, Ливана и Китая жертвами мошенников стали также россияне.", + "Получив персональные данные, лидеры пяти групп использовали некие технологии, чтобы создать карту-дублер.", + "В некоторых случаях мошенники даже полностью копировали логотип банка, а также создавали водительские права, чтобы подтвердить свою личность.", + "Затем карты передавались «покупателям», которые приобретали в магазинах дорогие вещи — бытовую технику, ноутбуки, автомобили класса люкс и ювелирные украшения.", + "Полиция установила, что преступный бизнес давал мошенникам возможность жить на широкую ногу: они останавливались в пятизвездочных отелях, фрахтовали частные самолеты и брали напрокат лимузины.", + "Время от времени преступники скатывались до более традиционных грабежей.", + "Одна из групп была задержана во время попытки украсть груз авиакомпании Lufthansa.", + "Членам банды стало известно, что в самолет в нью-йоркском аэропорту им. Джона Кеннеди будет загружена большая партия ноутбуков Apple MacBook Pro стоимостью в $1 млн." + ], + "summary_sents": [ + "Полиция Нью-Йорка арестовала мошенников, cкупавших по поддельным кредитным картам дорогие товары на миллионы долларов.", + "Преступники использовали данные реальных людей — американцев и иностранцев, в том числе россиян.", + "В полиции говорят, что это крупнейшая в истории страны махинация с «пластиком»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 3, + 7, + 10, + 13 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Нью-Йорке раскрыта крупнейшая в истории США махинация с поддельными банковскими картами. Об этом на пресс-конференции официально объявили представители полиции города. Полиция арестовала 86 человек, им предъявлены обвинения; еще 25 находятся в розыске. За 16 месяцев наблюдения банда потратила $13 млн с чужих счетов. Обвинение включает в себя 784 преступных эпизода. «Swiper», или «крадущий», — так полицейские называли свою операцию. «Эти воры имели невообразимые знания о том, как использовать карточные технологии, — сообщил The Wall street Journal комиссар полиции Нью-Йорка Раймонд Келли. — Схемы, которые используются, действительно ошеломляют». «Это крупнейшее мошенничество с кредитными картами в истории США, задуманное, безусловно, самым изощренным способом, с которым когда-либо сталкивались службы борьбы с организованной преступностью», — сообщил The New York Post представитель полиции Ричард Браун. Они плотно работали с сотрудниками банков, ресторанов и магазинов, которые передавали им информацию о покупателях — фамилии, реквизиты и идентификационные номера. Таким образом, к преступникам попадали данные не только американцев, но иностранных гостей города. По словам представителей полиции, наряду с жителями США, Ливии, Ливана и Китая жертвами мошенников стали также россияне. Получив персональные данные, лидеры пяти групп использовали некие технологии, чтобы создать карту-дублер. В некоторых случаях мошенники даже полностью копировали логотип банка, а также создавали водительские права, чтобы подтвердить свою личность. Затем карты передавались «покупателям», которые приобретали в магазинах дорогие вещи — бытовую технику, ноутбуки, автомобили класса люкс и ювелирные украшения. Полиция установила, что преступный бизнес давал мошенникам возможность жить на широкую ногу: они останавливались в пятизвездочных отелях, фрахтовали частные самолеты и брали напрокат лимузины. Время от времени преступники скатывались до более традиционных грабежей. Одна из групп была задержана во время попытки украсть груз авиакомпании Lufthansa. Членам банды стало известно, что в самолет в нью-йоркском аэропорту им. Джона Кеннеди будет загружена большая партия ноутбуков Apple MacBook Pro стоимостью в $1 млн.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 499, + "generated_len": [ + 120 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3243243243243243, + "rouge2": 0.11009174311926606 + }, + "predict": " Российский предприниматель Александр Лебедев решил отложить продажу своих акций авиакомпании «Аэрофлот», заключившихся в 2009 году по цене $1,6 млрд. По состоянию на текущий момент стоимость компании составляет около $2,2 млрд, что делает сделку менее выгодной для Лебедева, чем изначально предполагалось. Эксперты рынка и Минэкономразвития считают, что акции «Аэрофлота» могут дорожать из-за роста бизнеса, однако, учитывая корпоративные процедуры и международные стандарты финотчетности, вероятность успешной продажи акций в условиях рынка остается низкой.", + "sample": { + "src_sents": [ + "Российский предприниматель Александр Лебедев решил отложить продажу своих акций «Аэрофлота», сообщает агентство Bloomberg.", + "Еще в 2009 году «Аэрофлот» и Лебедев заключили контракт на продажу авиакомпании 25,8% пакета ее акций, принадлежащих бизнесмену.", + "В договоре указывалось, что компания была оценена в $1,6 млрд.", + "Текущая стоимость «Аэрофлота» составляет порядка $2,2 млрд. «Я не хочу продавать акции компании по сниженной цене. Я просто этого не сделаю», – сказал Лебедев в интервью агентству.", + "Выкуп акций у Лебедева напрямую был связан со сделкой «Аэрофлота» и «Ростехнологий».", + "За свой пакет в ИФК Лебедев хотел получить 5,3 млрд рублей.", + "Всего же от продажи акций «Аэрофлота» и ИФК Лебедев выручит около $600 млн. «Дело в том, что в Минэкономразвитии посчитали стоимость акций ИФК завышенной, и за время согласование цены выросла стоимость акций «Аэрофлота»», — говорит Пантелеев.", + "Эксперты рынка уверены – акции «Аэрофлота» будут дорожать, ведь бизнес авиакомпании растет.", + "По международным стандартам финотчетности (МСФО), она выросла в 3,6 раза, до $86 млн. «Но, даже несмотря на рост акций, Лебедеву, желающему выйти из бизнеса, вряд ли удастся продать свою долю дороже», — говорит Пантелеев.", + "Когда речь идет об акциях национального перевозчика, сложно рассчитывать, что сделка будет проходить по биржевым правилам. «Аэрофлот» уже одобрил сумму сделки и вряд ли будет заново ее пересматривать: слишком много корпоративных процедур придется проводить», — подытоживает Пантелеев." + ], + "summary_sents": [ + "Частный акционер «Аэрофлота» Александр Лебедев решил отложить продажу акций авиакомпании.", + "За время, пока сделка утверждается, цена акций выросла, и Лебедев хочет за свою долю больше денег.", + "Впрочем, по мнению экспертов, пересматривать сумму сделки в «Аэрофлоте» вряд ли будут." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 3, + 6, + 9 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Российский предприниматель Александр Лебедев решил отложить продажу своих акций «Аэрофлота», сообщает агентство Bloomberg. Еще в 2009 году «Аэрофлот» и Лебедев заключили контракт на продажу авиакомпании 25,8% пакета ее акций, принадлежащих бизнесмену. В договоре указывалось, что компания была оценена в $1,6 млрд. Текущая стоимость «Аэрофлота» составляет порядка $2,2 млрд. «Я не хочу продавать акции компании по сниженной цене. Я просто этого не сделаю», – сказал Лебедев в интервью агентству. Выкуп акций у Лебедева напрямую был связан со сделкой «Аэрофлота» и «Ростехнологий». За свой пакет в ИФК Лебедев хотел получить 5,3 млрд рублей. Всего же от продажи акций «Аэрофлота» и ИФК Лебедев выручит около $600 млн. «Дело в том, что в Минэкономразвитии посчитали стоимость акций ИФК завышенной, и за время согласование цены выросла стоимость акций «Аэрофлота»», — говорит Пантелеев. Эксперты рынка уверены – акции «Аэрофлота» будут дорожать, ведь бизнес авиакомпании растет. По международным стандартам финотчетности (МСФО), она выросла в 3,6 раза, до $86 млн. «Но, даже несмотря на рост акций, Лебедеву, желающему выйти из бизнеса, вряд ли удастся продать свою долю дороже», — говорит Пантелеев. Когда речь идет об акциях национального перевозчика, сложно рассчитывать, что сделка будет проходить по биржевым правилам. «Аэрофлот» уже одобрил сумму сделки и вряд ли будет заново ее пересматривать: слишком много корпоративных процедур придется проводить», — подытоживает Пантелеев.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 378, + "generated_len": [ + 120 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.37383177570093457, + "rouge2": 0.17142857142857143 + }, + "predict": " Международная группа ученых из США, Канады и Германии представила инновационный метод биолюминесцентной визуализации для изучения распространения SARS-CoV-2 в организме мышей и роли антитела в борьбе с вирусом. Результаты исследования показали, что антитела с эффективными антиген-связывающими и эффекторными функциями обеспечивают лучшую защиту от инфекции. Этот подход может быть использован для более глубокого понимания патогенеза COVID-19 и разработки новых противовирусных средств.", + "sample": { + "src_sents": [ + "Изучая влияние SARS-CoV-2 на организм, исследователи обычно опираются на симптоматические проявления или результаты вскрытия.", + "Международная группа исследователей из США, Канады и Германии придумала, как изучить распространение SARS-CoV-2 в организме мышей, а также то, как антитела борются с вирусом.", + "Подробнее об этом они рассказали в статье в журнале Immunity.", + "Биолюминесцентная визуализация — технология, основанная на внедрении в организм с помощью генетического редактирования или вирусного вектора ДНК, отвечающей за выработку способных к свечению белков.", + "«Впервые мы смогли визуализировать распространение SARS-CoV-2 в живом животном в режиме реального времени, и, что важно, определить места, на которые должны воздействовать антитела, чтобы остановить прогрессирование инфекции», — говорит инфекционист Прити Кумар из Йельской школы медицины, одна из авторов исследования.", + "SARS-CoV-2-нейтрализующие моноклональные антитела — перспективное средство для лечения Covid-19, отмечают исследователи, но до конца механизмы их работы и возможные побочные эффекты не изучены.", + "У антител есть две основные функции — антиген-связывающая и эффекторная.", + "Эффекторная функция подразумевает тот или иной иммунный ответ, когда иммунная система атакует и уничтожает зараженные клетки.", + "«Антитела - это полифункциональные молекулы, обладающие несколькими свойствами, — поясняет соавтор работы Андрес Финци. — В этом исследовании мы показали, что их способность «звать на помощь» другие клетки иммунной системы и уничтожать инфицированные клетки необходима для обеспечения оптимальной защиты».", + "<2> Антитела, неспособные привлекать Т-лимфоциты и другие «клетки-убийцы», менее эффективны в борьбе с инфекцией, отмечают исследователи.", + "«В целом, наше исследование демонстрирует полезность подхода, основанного на биолюминисцентной визуализации, для изучения патогенеза SARS-CoV-2 и выявления эффективных противовирусных терапий для быстрого перевода в клиническую практику у людей», — заключают авторы работы.", + "Исследователи надеются, что их опыт будет полезен в дальнейшем изучении распространения SARS-CoV-2 и других инфекций, а также в поиске новых способов лечения." + ], + "summary_sents": [ + "Заснять в реальном времени, как SARS-CoV-2 распространяется в организме и поражает органы, удалось международной группе ученых.", + "Также они выяснили, насколько эффективны могут быть в борьбе с инфекцией вводимые в организм антитела.", + "Новые открытия пригодятся в поиске наиболее эффективной терапии против COVID-19." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 4, + 5, + 9, + 10 + ], + "category": "science" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Изучая влияние SARS-CoV-2 на организм, исследователи обычно опираются на симптоматические проявления или результаты вскрытия. Международная группа исследователей из США, Канады и Германии придумала, как изучить распространение SARS-CoV-2 в организме мышей, а также то, как антитела борются с вирусом. Подробнее об этом они рассказали в статье в журнале Immunity. Биолюминесцентная визуализация — технология, основанная на внедрении в организм с помощью генетического редактирования или вирусного вектора ДНК, отвечающей за выработку способных к свечению белков. «Впервые мы смогли визуализировать распространение SARS-CoV-2 в живом животном в режиме реального времени, и, что важно, определить места, на которые должны воздействовать антитела, чтобы остановить прогрессирование инфекции», — говорит инфекционист Прити Кумар из Йельской школы медицины, одна из авторов исследования. SARS-CoV-2-нейтрализующие моноклональные антитела — перспективное средство для лечения Covid-19, отмечают исследователи, но до конца механизмы их работы и возможные побочные эффекты не изучены. У антител есть две основные функции — антиген-связывающая и эффекторная. Эффекторная функция подразумевает тот или иной иммунный ответ, когда иммунная система атакует и уничтожает зараженные клетки. «Антитела - это полифункциональные молекулы, обладающие несколькими свойствами, — поясняет соавтор работы Андрес Финци. — В этом исследовании мы показали, что их способность «звать на помощь» другие клетки иммунной системы и уничтожать инфицированные клетки необходима для обеспечения оптимальной защиты». <2> Антитела, неспособные привлекать Т-лимфоциты и другие «клетки-убийцы», менее эффективны в борьбе с инфекцией, отмечают исследователи. «В целом, наше исследование демонстрирует полезность подхода, основанного на биолюминисцентной визуализации, для изучения патогенеза SARS-CoV-2 и выявления эффективных противовирусных терапий для быстрого перевода в клиническую практику у людей», — заключают авторы работы. Исследователи надеются, что их опыт будет полезен в дальнейшем изучении распространения SARS-CoV-2 и других инфекций, а также в поиске новых способов лечения.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 496, + "generated_len": [ + 120 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.1758241758241758, + "rouge2": 0.0 + }, + "predict": " Активность избирателей в выборах в России достигла рекордных показателей, несмотря на снижение доверия к действующей политической системе. Граждане осознают, что Государственная дума не является органом реальной власти, а механизмы и процедуры в стране были изменены для запутывания избирателей. Однако, несмотря на это, россияне требуют изменений и обновления, что противоречит политике продления действующей власти. Люди недовольны коррупцией, несправедливостью и бесправием, и требуют радикальных изменений, которые не предлагаются сверху.", + "sample": { + "src_sents": [ + "По всем признакам, интерес к выборам сейчас выше, чем когда-либо за последние десять лет, и на участки придет больше избирателей, чем обычно. Может быть, и заметно больше.", + "За этой активностью вовсе не стоит какой-то всплеск доверия к нынешней политической системе.", + "Наоборот, доверие безостановочно снижается.", + "Идя голосовать, гражданин России прекрасно понимает, что Государственная дума вовсе не орган реальной власти , а все политические механизмы и процедуры в путинскую эру были перемонтированы, чтобы запутать избирателя, ослабить его роль и исказить его волю.", + "Но те, кто собирается на участки, исходят из того, что мнение, которое они там выскажут, не потребует таких уж усилий для расшифровки.", + "Рядовые россияне изменились за двенадцать лет.", + "Но для перемен они явно созрели и требуют их все громче.", + "А сверху не предлагают ничего другого, кроме продления действующей власти на много, много лет вперед.", + "Никакого обновления, никаких изменений. Как было — так будет.", + "Но для избирателей навязываемый сверху застой — это именно то, чем они сыты по горло.", + "Люди не хотят терпеть коррупцию, которая именно в путинскую эпоху превратилась в универсальный способ функционирования всей государственной машины.", + "Они не хотят терпеть несправедливость и неравенство.", + "Их возмущает не только невероятный разрыв между бедными и богатыми, но, может быть, еще сильнее бесправие рядовых людей перед феодализированной чиновно-олигархической верхушкой." + ], + "summary_sents": [ + "После долгого перерыва выборы снова имеют значение.", + "Граждан не устраивает застой, который им навязывают сверху, и в воскресенье они намерены ясно об этом сказать." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 7, + 8, + 9 + ], + "category": "comments" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: По всем признакам, интерес к выборам сейчас выше, чем когда-либо за последние десять лет, и на участки придет больше избирателей, чем обычно. Может быть, и заметно больше. За этой активностью вовсе не стоит какой-то всплеск доверия к нынешней политической системе. Наоборот, доверие безостановочно снижается. Идя голосовать, гражданин России прекрасно понимает, что Государственная дума вовсе не орган реальной власти , а все политические механизмы и процедуры в путинскую эру были перемонтированы, чтобы запутать избирателя, ослабить его роль и исказить его волю. Но те, кто собирается на участки, исходят из того, что мнение, которое они там выскажут, не потребует таких уж усилий для расшифровки. Рядовые россияне изменились за двенадцать лет. Но для перемен они явно созрели и требуют их все громче. А сверху не предлагают ничего другого, кроме продления действующей власти на много, много лет вперед. Никакого обновления, никаких изменений. Как было — так будет. Но для избирателей навязываемый сверху застой — это именно то, чем они сыты по горло. Люди не хотят терпеть коррупцию, которая именно в путинскую эпоху превратилась в универсальный способ функционирования всей государственной машины. Они не хотят терпеть несправедливость и неравенство. Их возмущает не только невероятный разрыв между бедными и богатыми, но, может быть, еще сильнее бесправие рядовых людей перед феодализированной чиновно-олигархической верхушкой.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 330, + "generated_len": [ + 120 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5294117647058824, + "rouge2": 0.22 + }, + "predict": " Владимир Зеленский назначил Владимира Юрьевича Ельченко новым послом Украины в США, сменив его на посту постоянного представителя в ООН и посла на Ямайке. Ельченко — опытный дипломат с 30-летним стажем, ранее посол в Москве, но отозванный из-за ухудшившихся российско-украинских отношений. Новый посол известен своей антироссийской риторикой и регулярными выступлениями против постпреда РФ при ООН Василия Небензи.", + "sample": { + "src_sents": [ + "Президент Украины Владимир Зеленский назначил нового украинского посла в Вашингтоне.", + "«Назначить Ельченко Владимира Юрьевича чрезвычайным и полномочным послом Украины в Соединенных Штатах Америки», — говорится в документе.", + "Ельченко занимал до этого должность постоянного представителя Украины при ООН , а также по совместительству был послом страны на Ямайке.", + "Другим указом Зеленский освободил его от этих обязанностей.", + "Его преемник Ельченко — карьерный дипломат, начавший службу в МИД СССР еще в 1981 году.", + "После распада Советского Союза, с 1997 по 2001 год он был постпредом Украины при ООН.", + "Примечательно, что с лета 2010 по начало зимы 2015 года он был послом Украины в Москве.", + "Однако после ухудшения российско-украинских отношений на фоне воссоединения Крыма с Россией Ельченко отозвали.", + "Новый посол Украины в США известен своей антироссийской риторикой.", + "Он — регулярный оппонент постпреда РФ при ООН Василия Небензи.", + "К примеру, Ельченко в январе 2019 года говорил, что в Совете безопасности ООН следует поэтапно отменить право вето из-за «агрессии со стороны России».", + "Кроме того, Ельченко регулярно вносил на рассмотрение Генассамблеи ООН проекты резолюций по вопросу «милитаризации Крыма»." + ], + "summary_sents": [ + "Новым послом Украины в США стал экс-постпред страны при ООН Владимир Ельченко, также ранее занимавший пост посла на Ямайке.", + "В начале десятых годов он был украинским послом в Москве, но из-за присоединения Крыма к России и ухудшения двусторонних отношений был отозван." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 6, + 7 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Президент Украины Владимир Зеленский назначил нового украинского посла в Вашингтоне. «Назначить Ельченко Владимира Юрьевича чрезвычайным и полномочным послом Украины в Соединенных Штатах Америки», — говорится в документе. Ельченко занимал до этого должность постоянного представителя Украины при ООН , а также по совместительству был послом страны на Ямайке. Другим указом Зеленский освободил его от этих обязанностей. Его преемник Ельченко — карьерный дипломат, начавший службу в МИД СССР еще в 1981 году. После распада Советского Союза, с 1997 по 2001 год он был постпредом Украины при ООН. Примечательно, что с лета 2010 по начало зимы 2015 года он был послом Украины в Москве. Однако после ухудшения российско-украинских отношений на фоне воссоединения Крыма с Россией Ельченко отозвали. Новый посол Украины в США известен своей антироссийской риторикой. Он — регулярный оппонент постпреда РФ при ООН Василия Небензи. К примеру, Ельченко в январе 2019 года говорил, что в Совете безопасности ООН следует поэтапно отменить право вето из-за «агрессии со стороны России». Кроме того, Ельченко регулярно вносил на рассмотрение Генассамблеи ООН проекты резолюций по вопросу «милитаризации Крыма».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 293, + "generated_len": [ + 120 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2962962962962962, + "rouge2": 0.12658227848101267 + }, + "predict": " В понедельник ГУ МВД по Москве завершило расследование дела экс-советника Координационного совета генеральных прокуроров СНГ Замира Абдукеримова, обвинив его в нарушении правил дорожного движения, повлекшем смерть человека, и оставлении в опасности. Прокуратура рассмотрит дело, после чего оно будет передано в суд. Расследование продлилось более полугода из-за сложных экспертиз и задержания Абдукеримова только 30 января.", + "sample": { + "src_sents": [ + "В понедельник пресс-служба ГУ МВД по Москве сообщила о завершении следственных действий по делу экс-советника секретариата Координационного совета генеральных прокуроров (КСГП) СНГ Замира Абдукеримова.", + "Ему предъявлено обвинение по ч. 3 ст. 264 УК РФ (нарушение правил дорожного движения, повлекшее по неосторожности смерть человека) и ст. 125 УК РФ (оставление в опасности).", + "Как пояснила «Газете.Ru» официальный представитель Главного следственного управления ГУ МВД Елена Молотилкина, перед тем, как дело отправят на утверждение в прокуратуру , с ним предстоит ознакомиться обвиняемому и его адвокатам.", + "«Поэтому сейчас я бы не хотела озвучивать, что заявляли на следствии сам Абдулкеримов и другие фигуранты. Как только прокуратура направит дело в суд, мы сможем развернуто дать ответы на все вопросы», — заявила она.", + "По словам Молотилкиной, расследование продлилось более полугода, так как по делу было назначено несколько сложных экспертиз.", + "«Было много разных следственных действий, сыграло роль и то, что самого Абдулкеримова задержали только 30 января, — добавила она. — В целом его вина, на наш взгляд, наглядно подтверждается собранными материалами»." + ], + "summary_sents": [ + "Завершено следствие по делу экс-сотрудника прокурорского органа стран СНГ Замира Абдулкеримова.", + "Его обвиняют в совершении смертельного ДТП и оставлении в опасности сбитой им женщины." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В понедельник пресс-служба ГУ МВД по Москве сообщила о завершении следственных действий по делу экс-советника секретариата Координационного совета генеральных прокуроров (КСГП) СНГ Замира Абдукеримова. Ему предъявлено обвинение по ч. 3 ст. 264 УК РФ (нарушение правил дорожного движения, повлекшее по неосторожности смерть человека) и ст. 125 УК РФ (оставление в опасности). Как пояснила «Газете.Ru» официальный представитель Главного следственного управления ГУ МВД Елена Молотилкина, перед тем, как дело отправят на утверждение в прокуратуру , с ним предстоит ознакомиться обвиняемому и его адвокатам. «Поэтому сейчас я бы не хотела озвучивать, что заявляли на следствии сам Абдулкеримов и другие фигуранты. Как только прокуратура направит дело в суд, мы сможем развернуто дать ответы на все вопросы», — заявила она. По словам Молотилкиной, расследование продлилось более полугода, так как по делу было назначено несколько сложных экспертиз. «Было много разных следственных действий, сыграло роль и то, что самого Абдулкеримова задержали только 30 января, — добавила она. — В целом его вина, на наш взгляд, наглядно подтверждается собранными материалами».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 301, + "generated_len": [ + 120 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4, + "rouge2": 0.23655913978494622 + }, + "predict": " Президент Финляндии Саули Ниинистё заявил, что Россия не представляет угрозы для Финляндии и уважает её позицию. Однако, в ответ на заявление Владимира Путина о росте военной мощи у границ России, Ниинистё подтвердил важность присутствия войск НАТО в Прибалтике и Польше для поддержания стабильности в регионе.", + "sample": { + "src_sents": [ + "Президент Финляндии Саули Ниинистё заявил в разговоре с немецким изданием Frankfurter Allgemeine, что не считает Россию «угрозой» для своей страны.", + "Он отметил, что у Москвы нет причин нападать на финнов.", + "Ниинистё подчеркнул также, что российские власти «уважают позицию Хельсинки», и существующие между двумя государствами разногласия не являются значительным препятствием для поддержания и улучшения контактов.", + "«Россия знает, какая у нас позиция, и не пытается ее поменять. Она знает, что мы можем быть очень упертыми. Но и в таких случаях поддерживать отношения с Россией отнюдь не трудно», — заявил президент.", + "Финский лидер также добавил, что страны Прибалтики напрасно опасаются «войны с Россией», поскольку у российской стороны агрессивных намерений нет, сообщает ФАН.", + "Несмотря на эти заявления, уже 13 сентября Ниинистё заявил, что присутствие вооруженных сил стран НАТО в Прибалтике и Польше имеет большое значение.", + "И хотя Финляндия не является членом Североатлантического альянса, присутствие войск НАТО в Европе важно для Хельсинки, добавил он.", + "В день встречи Ниинистё с Путиным официальный представитель НАТО Оана Лунгеску заявила, что действия альянса в Восточной Европе являются «оборонительными» и не угрожают безопасности России.", + "Так она ответила на слова российского лидера Владимира Путина, несколькими часами ранее указавшего на увеличение количества военной техники и контингента у границ России." + ], + "summary_sents": [ + "Президент Финляндии Саули Ниинистё не видит угрозы со стороны России.", + "Он подчеркнул, что у РФ нет никаких причин нападать на финнов.", + "Кроме того, Ниинистё заявил, что Россия не намерена атаковать страны Прибалтики и им нечего бояться.", + "Тем не менее, ранее он отмечал важность присутствия войск НАТО на территориях этих стран." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 4, + 5 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Президент Финляндии Саули Ниинистё заявил в разговоре с немецким изданием Frankfurter Allgemeine, что не считает Россию «угрозой» для своей страны. Он отметил, что у Москвы нет причин нападать на финнов. Ниинистё подчеркнул также, что российские власти «уважают позицию Хельсинки», и существующие между двумя государствами разногласия не являются значительным препятствием для поддержания и улучшения контактов. «Россия знает, какая у нас позиция, и не пытается ее поменять. Она знает, что мы можем быть очень упертыми. Но и в таких случаях поддерживать отношения с Россией отнюдь не трудно», — заявил президент. Финский лидер также добавил, что страны Прибалтики напрасно опасаются «войны с Россией», поскольку у российской стороны агрессивных намерений нет, сообщает ФАН. Несмотря на эти заявления, уже 13 сентября Ниинистё заявил, что присутствие вооруженных сил стран НАТО в Прибалтике и Польше имеет большое значение. И хотя Финляндия не является членом Североатлантического альянса, присутствие войск НАТО в Европе важно для Хельсинки, добавил он. В день встречи Ниинистё с Путиным официальный представитель НАТО Оана Лунгеску заявила, что действия альянса в Восточной Европе являются «оборонительными» и не угрожают безопасности России. Так она ответила на слова российского лидера Владимира Путина, несколькими часами ранее указавшего на увеличение количества военной техники и контингента у границ России.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 318, + "generated_len": [ + 175 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5531914893617023, + "rouge2": 0.28260869565217395 + }, + "predict": " Мосгорсуд вынес приговор двум лидерам «курганской» организованной преступной группировки, обвинившимся в убийствах и покушениях. Дмитрий Лесняков получил 25 лет колонии строгого режима, а Дмитрий Задков — 13 лет. Присяжные признали их виновными, но посчитали недоказанными некоторые эпизоды. Защита намерена обжаловать приговор, указывая на процессуальные нарушения и отсутствие фактического руководства бандой.", + "sample": { + "src_sents": [ + "В четверг Мосгорсуд вынес приговор двум членам «курганской» ОПГ — 34-летнему Дмитрию Леснякову и 31-летнему Дмитрию Задкову. Заседание началось около 15.00.", + "Увидев операторов с камерами, подсудимые отвернулись и до конца слушания сидели, глядя в стену.", + "Зрителям были видны лишь капюшон Леснякова, который он натянул на голову, и затылок Задкова с собранными в хвост волосами.", + "Как установило следствие, Задков вошел в «курганскую» ОПГ, орудовавшую в Московском регионе, в 2002 году.", + "В тот год в Москве был убит лидер группировки Михаил Пуртов, и в 2003 году руководить бандой стал уроженец Ростова-на-Дону Лесняков.", + "На прошлой неделе присяжные признали подсудимых виновными в инкриминируемых им преступлениях, посчитав недоказанными лишь некоторые эпизоды.", + "Лесняков получил от заседателей снисхождение по эпизоду покушения на Романенко, а Задков по убийству Бугаенко — собственно за участие в банде.", + "В ходе прений гособвинитель Мария Семененко просила суд приговорить Леснякова к пожизненному заключению, а Задкова отправить за решетку на 19 лет.", + "В итоге в четверг судья приговорила Леснякова к 25 годам колонии строгого режима , а Задков получил 13 лет.", + "Защита намерена обжаловать приговор.", + "«Была масса процессуальных нарушений, — сказал он. — Все права защиты были нарушены. Я считаю, что он никакой бандой не руководил».", + "Всего, по некоторым данным, на счету у банды около 20 убийств." + ], + "summary_sents": [ + "Лидер «курганской» преступной группировки Дмитрий Лесняков избежал пожизненного заключения.", + "За убийства и покушения он был осужден на 25 лет лишения свободы.", + "Второго члена банды Дмитрия Задкова суд отправил в колонию строгого режима на 13 лет.", + "Защита намерена обжаловать приговор, ссылаясь на многочисленные процессуальные нарушения." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 8, + 9, + 10 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В четверг Мосгорсуд вынес приговор двум членам «курганской» ОПГ — 34-летнему Дмитрию Леснякову и 31-летнему Дмитрию Задкову. Заседание началось около 15.00. Увидев операторов с камерами, подсудимые отвернулись и до конца слушания сидели, глядя в стену. Зрителям были видны лишь капюшон Леснякова, который он натянул на голову, и затылок Задкова с собранными в хвост волосами. Как установило следствие, Задков вошел в «курганскую» ОПГ, орудовавшую в Московском регионе, в 2002 году. В тот год в Москве был убит лидер группировки Михаил Пуртов, и в 2003 году руководить бандой стал уроженец Ростова-на-Дону Лесняков. На прошлой неделе присяжные признали подсудимых виновными в инкриминируемых им преступлениях, посчитав недоказанными лишь некоторые эпизоды. Лесняков получил от заседателей снисхождение по эпизоду покушения на Романенко, а Задков по убийству Бугаенко — собственно за участие в банде. В ходе прений гособвинитель Мария Семененко просила суд приговорить Леснякова к пожизненному заключению, а Задкова отправить за решетку на 19 лет. В итоге в четверг судья приговорила Леснякова к 25 годам колонии строгого режима , а Задков получил 13 лет. Защита намерена обжаловать приговор. «Была масса процессуальных нарушений, — сказал он. — Все права защиты были нарушены. Я считаю, что он никакой бандой не руководил». Всего, по некоторым данным, на счету у банды около 20 убийств.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 394, + "generated_len": [ + 175 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3829787234042553, + "rouge2": 0.08695652173913043 + }, + "predict": " Александр Овечкин в матче «Вашингтона Кэпиталз» против «Лос-Анджелес Кингз» в НХЛ демонстрирует феноменальный хет-трик, превращая матч в настоящую драму, и тем самым становится лидером снайперов лиги. Этот матч демонстрирует, как Овечкин продолжает прогрессировать, несмотря на свои 34 года, и как его достижения приближаются к рекордам легендарных игроков.", + "sample": { + "src_sents": [ + "Александр Овечкин единолично превратил рядовой матч НХЛ, в котором «Вашингтон Кэпиталз» дома принимал «Лос-Анджелес Кингз», в настоящую драму.", + "Here's what @KgriggsPhoto caught on video of Samsonov's close shave.", + "HC Todd Reirden says he took the Ovechkin shot, \"to the head.\"", + "Samsonov was taken off as a precaution, get checked by doctors.", + "#ALLCAPS #GoKingsGo pic.twitter.com/8KVAfrHHaS Однако везение «Вашингтона» быстро закончилось: вскоре Джефф Картер получил шайбу в районе левого круга вбрасывания и с острого угла открыл счет, словно никакого Холбти в воротах не было.", + "Jeff Carter snipes on past Braden Holtby to give the LA Kings a 1-0 lead on the road #GoKingsGo pic.twitter.com/08r0zB5Fwp Происходящее отдавало сюрреализмом, поскольку «Лос-Анджелес» переживает серьезный кризис и занимает последнее, 15-е место в Западной конференции, в то время как «Вашингтон» постоянно идет среди лидеров Востока.", + "Ответный гол «Кэпиталз» на этом фоне выглядел нелогичным, однако высокий класс исполнителей сделал свое дело: получив шанс в контратаке, они не подвели.", + "Go Johnny Go! pic.twitter.com/lbppnWeINg Этот гол мог вернуть уверенность «Вашингтону», однако никакого куража команда не поймала и продолжила действовать в прежнем ключе.", + "Неудивительно, что с такой игрой «столичные» пропустили от аутсайдеров вторую шайбу, причем случилось это на 51-й минуте, когда до конца матча оставалось всего ничего.", + "«Кингз» буквально задавили хозяев площадки в их собственной зоне, Дрю Даути закинул шайбу на угол пятака, а Картер выкатился из-за ворот и оформил дубль — 2:1.", + "Drew Doughty just picked up his 495th career point to make him the highest-scoring defenseman in LA Kings history #GoKingsGo pic.twitter.com/VEAyRIIv2E За восемь с половиной минут до конца матча «Вашингтон» повис на волоске — проиграть на своей арене одной из худших команд НХЛ было бы непростительно.", + "А за шесть минут до конца стала твориться магия — Овечкин проснулся.", + "Не нанеся ни одного броска по воротам до этого момента, российский нападающий внезапно разразился одним из самых быстрых хет-триков в истории «Вашингтона».", + "One shot, one goal! pic.twitter.com/lWC7r14X6N Уже спустя 1 минуту 10 секунд Александр Великий праздновал дубль.", + "Россиянину хватило этого, чтобы молниеносно подлететь к снаряду и добить его в ворота — 3:2. Ovi with the late game heroics!!!!", + "Овечкин с удовольствием воспользовался этим, оформив свой четвертый хет-трик в этом сезоне, — раньше у него никогда не было больше трех.", + "Похоже, 34-летний нападающий продолжает прогрессировать с каждым годом, словно в истории Бенджамина Баттона.", + "THROW YER HATS!!! pic.twitter.com/R7l5cTkjkq Благодаря этому хет-трику Овечкин вырвался на первое место в гонке снайперов НХЛ, а ведь не так давно казалось, что Давид Пастрняк своего лидерства уже не упустит.", + "Вопреки всем прогнозам у Александра Великого теперь 40 голов, а у форварда «Бостон Брюинз» — 38, и россиянин имеет все шансы снова взять «Морис Ришар Трофи» — приз лучшему голеадору регулярного чемпионата, который доставался ему шесть раз за последние семь лет.", + "В активе россиянина — 698 голов, а у легендарного канадца — 708.", + "Главной же целью капитана «Вашингтона» остается вечный рекорд Уэйна Гретцки — 894 шайбы, — и эти амбиции уже не кажутся чрезмерными." + ], + "summary_sents": [ + "Александр Овечкин оформил один из самых быстрых хет-триков в истории и принес «Вашингтон Кэпиталз» волевую победу над «Лос-Анджелес Кингз».", + "Всего за восемь минут до конца матча «столичные» уступали в счете, но россиянин перевернул игру и вышел на первое место в гонке снайперов НХЛ." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 10, + 12, + 17 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Александр Овечкин единолично превратил рядовой матч НХЛ, в котором «Вашингтон Кэпиталз» дома принимал «Лос-Анджелес Кингз», в настоящую драму. Here's what @KgriggsPhoto caught on video of Samsonov's close shave. HC Todd Reirden says he took the Ovechkin shot, \"to the head.\" Samsonov was taken off as a precaution, get checked by doctors. #ALLCAPS #GoKingsGo pic.twitter.com/8KVAfrHHaS Однако везение «Вашингтона» быстро закончилось: вскоре Джефф Картер получил шайбу в районе левого круга вбрасывания и с острого угла открыл счет, словно никакого Холбти в воротах не было. Jeff Carter snipes on past Braden Holtby to give the LA Kings a 1-0 lead on the road #GoKingsGo pic.twitter.com/08r0zB5Fwp Происходящее отдавало сюрреализмом, поскольку «Лос-Анджелес» переживает серьезный кризис и занимает последнее, 15-е место в Западной конференции, в то время как «Вашингтон» постоянно идет среди лидеров Востока. Ответный гол «Кэпиталз» на этом фоне выглядел нелогичным, однако высокий класс исполнителей сделал свое дело: получив шанс в контратаке, они не подвели. Go Johnny Go! pic.twitter.com/lbppnWeINg Этот гол мог вернуть уверенность «Вашингтону», однако никакого куража команда не поймала и продолжила действовать в прежнем ключе. Неудивительно, что с такой игрой «столичные» пропустили от аутсайдеров вторую шайбу, причем случилось это на 51-й минуте, когда до конца матча оставалось всего ничего. «Кингз» буквально задавили хозяев площадки в их собственной зоне, Дрю Даути закинул шайбу на угол пятака, а Картер выкатился из-за ворот и оформил дубль — 2:1. Drew Doughty just picked up his 495th career point to make him the highest-scoring defenseman in LA Kings history #GoKingsGo pic.twitter.com/VEAyRIIv2E За восемь с половиной минут до конца матча «Вашингтон» повис на волоске — проиграть на своей арене одной из худших команд НХЛ было бы непростительно. А за шесть минут до конца стала твориться магия — Овечкин проснулся. Не нанеся ни одного броска по воротам до этого момента, российский нападающий внезапно разразился одним из самых быстрых хет-триков в истории «Вашингтона». One shot, one goal! pic.twitter.com/lWC7r14X6N Уже спустя 1 минуту 10 секунд Александр Великий праздновал дубль. Россиянину хватило этого, чтобы молниеносно подлететь к снаряду и добить его в ворота — 3:2. Ovi with the late game heroics!!!! Овечкин с удовольствием воспользовался этим, оформив свой четвертый хет-трик в этом сезоне, — раньше у него никогда не было больше трех. Похоже, 34-летний нападающий продолжает прогрессировать с каждым годом, словно в истории Бенджамина Баттона. THROW YER HATS!!! pic.twitter.com/R7l5cTkjkq Благодаря этому хет-трику Овечкин вырвался на первое место в гонке снайперов НХЛ, а ведь не так давно казалось, что Давид Пастрняк своего лидерства уже не упустит. Вопреки всем прогнозам у Александра Великого теперь 40 голов, а у форварда «Бостон Брюинз» — 38, и россиянин имеет все шансы снова взять «Морис Ришар Трофи» — приз лучшему голеадору регулярного чемпионата, который доставался ему шесть раз за последние семь лет. В активе россиянина — 698 голов, а у легендарного канадца — 708. Главной же целью капитана «Вашингтона» остается вечный рекорд Уэйна Гретцки — 894 шайбы, — и эти амбиции уже не кажутся чрезмерными.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 887, + "generated_len": [ + 175 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3148148148148148, + "rouge2": 0.07547169811320756 + }, + "predict": " В Киеве активисты устроили митинг, требуя наказания полицейских, застреливших 5-летнего мальчика в Переяслав-Хмельницком. Прокуратура изменила статью обвинения с умышленного нанесения тяжелых телесных повреждений на умышленное убийство. Подозреваемые арестованы, но министр внутренних дел Арсений Аваков не извинился и не сделал заявления. Президент Владимир Зеленский пообещал, что виновные будут наказаны, несмотря на его заявление о том, что не будет смягчения наказания.", + "sample": { + "src_sents": [ + "В Киеве рядом с зданием министерства внутренних дел Украины возмущенные активисты устроили митинг и потребовали наказать полицейских, которые застрелили 5-летнего мальчика в городе Переяслав-Хмельницкий.", + "Кроме того, участники акции потребовали отставки министра внутренних дел Украины Арсена Авакова.", + "Как сообщает «Украинская правда», сначала у здания министерства собрались около 100 митингующих и более десятка журналистов.", + "Со временем количество участников увеличилось до 150 человек.", + "Активисты собирали людей через социальные сети.", + "В это время пострадавший мальчик гулял в том же месте с другими детьми.", + "По словам очевидцев, родители нашли своего сына на улице с разбитой головой и сначала подумали, что ребенок ударился головой о бордюр.", + "Врачи поставили пострадавшему предварительный диагноз «открытая черепно-мозговая травма».", + "Малыша срочно прооперировали, несколько дней он находился в очень тяжелом состоянии на аппарате искусственного дыхания.", + "После смерти ребенка Киевская областная прокуратура изменила статью уголовного производства с умышленного нанесения тяжких телесных повреждений на умышленное убийство.", + "После сообщений о том, что пятилетний ребенок попал в больницу с тяжелой травмой головы, местные полицейские заявили, что ребенок сам упал на асфальт.", + "Однако после того, как медики диагностировали у пострадавшего огнестрельное ранение головы, правоохранители снова осмотрели место инцидента и обнаружили там гильзы от патронов, стаканчики и банки.", + "Подозреваемые — старший сержант Владимир Петровец и лейтенант Иван Приходько — задержаны и помещены в изолятор временного содержания.", + "Ранее в МВД Украины сообщили, что они не «способствуют следствию».", + "«Прежде всего хочу выразить глубокое соболезнование родным Кирилла. Это ужасная трагедия. Как папа – даже не могу представить горе и отчаяние родителей от потери ребенка. В то же время, как руководитель Национальной полиции – уверяю, что мы максимально будем содействовать расследованию этой трагедии. Такие действия несовместимы с присягой и достоинством полицейского. Мы рассчитываем на самое жесткое наказание для виновных», – заявил глава Национальной полиции Сергей Князев.", + "Между тем некоторых украинцев возмутило поведение министра Арсена Авакова, который не извинился за подчиненных и до сих пор не сделал никакого заявления по факту убийства мальчика полицейскими.", + "Однако президент Украины Владимир Зеленский пообещал, что виновные будут строго наказаны.", + "«Конечно, ничто в мире не может утешить родных и близких [погибшего]. Но я — как президент и как отец — хочу заверить, что сделаю все, чтобы виновные были наказаны по справедливости. Никакого смягчения. Никакой попытки замять это дело. Эта трагедия должна стать уроком», — написал глава государства в фейсбуке." + ], + "summary_sents": [ + "В Киеве под зданием МВД прошел митинг, участники которого потребовали от министра внутренних дел Арсена Авакова уйти в отставку.", + "Активисты возмущены, что глава ведомства до сих пор не сделал никакого заявления после смерти пятилетнего мальчика, которого застрелили в голову пьяные полицейские.", + "Митингующие также потребовали жестко наказать виновных." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 15 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Киеве рядом с зданием министерства внутренних дел Украины возмущенные активисты устроили митинг и потребовали наказать полицейских, которые застрелили 5-летнего мальчика в городе Переяслав-Хмельницкий. Кроме того, участники акции потребовали отставки министра внутренних дел Украины Арсена Авакова. Как сообщает «Украинская правда», сначала у здания министерства собрались около 100 митингующих и более десятка журналистов. Со временем количество участников увеличилось до 150 человек. Активисты собирали людей через социальные сети. В это время пострадавший мальчик гулял в том же месте с другими детьми. По словам очевидцев, родители нашли своего сына на улице с разбитой головой и сначала подумали, что ребенок ударился головой о бордюр. Врачи поставили пострадавшему предварительный диагноз «открытая черепно-мозговая травма». Малыша срочно прооперировали, несколько дней он находился в очень тяжелом состоянии на аппарате искусственного дыхания. После смерти ребенка Киевская областная прокуратура изменила статью уголовного производства с умышленного нанесения тяжких телесных повреждений на умышленное убийство. После сообщений о том, что пятилетний ребенок попал в больницу с тяжелой травмой головы, местные полицейские заявили, что ребенок сам упал на асфальт. Однако после того, как медики диагностировали у пострадавшего огнестрельное ранение головы, правоохранители снова осмотрели место инцидента и обнаружили там гильзы от патронов, стаканчики и банки. Подозреваемые — старший сержант Владимир Петровец и лейтенант Иван Приходько — задержаны и помещены в изолятор временного содержания. Ранее в МВД Украины сообщили, что они не «способствуют следствию». «Прежде всего хочу выразить глубокое соболезнование родным Кирилла. Это ужасная трагедия. Как папа – даже не могу представить горе и отчаяние родителей от потери ребенка. В то же время, как руководитель Национальной полиции – уверяю, что мы максимально будем содействовать расследованию этой трагедии. Такие действия несовместимы с присягой и достоинством полицейского. Мы рассчитываем на самое жесткое наказание для виновных», – заявил глава Национальной полиции Сергей Князев. Между тем некоторых украинцев возмутило поведение министра Арсена Авакова, который не извинился за подчиненных и до сих пор не сделал никакого заявления по факту убийства мальчика полицейскими. Однако президент Украины Владимир Зеленский пообещал, что виновные будут строго наказаны. «Конечно, ничто в мире не может утешить родных и близких [погибшего]. Но я — как президент и как отец — хочу заверить, что сделаю все, чтобы виновные были наказаны по справедливости. Никакого смягчения. Никакой попытки замять это дело. Эта трагедия должна стать уроком», — написал глава государства в фейсбуке.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 570, + "generated_len": [ + 175 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.18823529411764706, + "rouge2": 0.0963855421686747 + }, + "predict": " Оба фильма, представленные на Берлинском кинофестивале, привлекают внимание благодаря звездному составу и качеству актёрского ансамбля, что делает их успешными на уровне десяти менее известных картин. Пресс-конференция перед фильмом Ларса фон Триера, отмеченная его вызывающим поведением и позой с футболкой, символизирующей его изгнание из Канн, стала одной из самых обсуждаемых событий фестиваля.", + "sample": { + "src_sents": [ + "Оба фильма объединяет не только вынесение за рамки конкурса, но и — немаловажное для Берлинале — количество и качество задействованных в них звезд: внимание прессы и публики две такие премьеры обеспечивают не хуже десяти фильмов поменьше.", + "На пресс-конференцию Клуни и компании было не пробиться — пришлось перекрывать лестницу.", + "Те, кто не попал внутрь, стояли и смотрели прямую трансляцию на площади перед фестивальным дворцом. Режиссер Ларс фон Триер.", + "Фотография: Reuters Пресс-конференция перед фильмом Ларса фон Триера вновь (как и в случае с представлением его «Меланхолии» в Каннах три года назад, на котором режиссер смутил публику разговорами о понимании чувств Гитлера) стала самой обсуждаемой — несмотря на то, что сам режиссер на нее не явился.", + "Зато он позировал перед фотографами в черной футболке с Золотой пальмовой ветвью и надписью «Persona non grata», напоминающей о выдворении из Канн в 2011-м." + ], + "summary_sents": [ + "На Берлинском кинофестивале прошли премьеры «Охотников за сокровищами» Джорджа Клуни, а также режиссерской версии «Нимфоманки.", + "Том I» Ларса фон Триера — на этой неделе фильм выходит в российский прокат в несколько урезанном виде." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 0 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Оба фильма объединяет не только вынесение за рамки конкурса, но и — немаловажное для Берлинале — количество и качество задействованных в них звезд: внимание прессы и публики две такие премьеры обеспечивают не хуже десяти фильмов поменьше. На пресс-конференцию Клуни и компании было не пробиться — пришлось перекрывать лестницу. Те, кто не попал внутрь, стояли и смотрели прямую трансляцию на площади перед фестивальным дворцом. Режиссер Ларс фон Триер. Фотография: Reuters Пресс-конференция перед фильмом Ларса фон Триера вновь (как и в случае с представлением его «Меланхолии» в Каннах три года назад, на котором режиссер смутил публику разговорами о понимании чувств Гитлера) стала самой обсуждаемой — несмотря на то, что сам режиссер на нее не явился. Зато он позировал перед фотографами в черной футболке с Золотой пальмовой ветвью и надписью «Persona non grata», напоминающей о выдворении из Канн в 2011-м.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 238, + "generated_len": [ + 175 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2095238095238095, + "rouge2": 0.01941747572815534 + }, + "predict": " В результате атаки на иракские авиабазы «Балад», расположенных в 80 км от Багдада, пострадали четыре военнослужащих, включая двух офицеров. В числе жертв оказались и американские военнослужащие, хотя информация о их пострадавших не предоставлена. В результате удара были выпущены восемь ракет «Катюша». Ситуация на Ближнем Востоке обострилась после гибели генерала Касема Сулеймани, командующего иранскими силами специального назначения «Аль-Кудс». Однако, по данным агентства Reuters, не было сообщений о новых обострениях в отношениях между США и Ираном.", + "sample": { + "src_sents": [ + "Порядка четырех военнослужащих Ирака, в том числе два офицера, пострадали при атаке на авиабазы «Балад», расположенные в 80 км севернее столицы страны — Багдада.", + "Об этом сообщает агентство Reuters, ссылаясь на два источника среди военных.", + "Отмечается, что на военных базах также располагается американский персонал.", + "О пострадавших со стороны США информации нет.", + "По данным собеседников агентства, по военным объектам было выпущено восемь ракет «Катюша».", + "При этом агентство не указывает, кто может стоять за атакой.", + "Кроме того, не было упоминаний об усилении напряженности в отношениях между Соединенными Штатами и Ираном.", + "Ситуация на Ближнем Востоке обострилась из-за гибели командующего иранскими силами специального назначения «Аль-Кудс» Корпуса стражей исламской революции (КСИР, элитные части иранских ВС) генерала Касема Сулеймани." + ], + "summary_sents": [ + "Иракские военные базы, которые используются также США, подверглись обстрелу.", + "В результате ракетной атаки пострадали четверо военных Ирака, из них двое офицеров.", + "Пока не сообщается, были ли раненые среди американских военных." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2, + 3 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Порядка четырех военнослужащих Ирака, в том числе два офицера, пострадали при атаке на авиабазы «Балад», расположенные в 80 км севернее столицы страны — Багдада. Об этом сообщает агентство Reuters, ссылаясь на два источника среди военных. Отмечается, что на военных базах также располагается американский персонал. О пострадавших со стороны США информации нет. По данным собеседников агентства, по военным объектам было выпущено восемь ракет «Катюша». При этом агентство не указывает, кто может стоять за атакой. Кроме того, не было упоминаний об усилении напряженности в отношениях между Соединенными Штатами и Ираном. Ситуация на Ближнем Востоке обострилась из-за гибели командующего иранскими силами специального назначения «Аль-Кудс» Корпуса стражей исламской революции (КСИР, элитные части иранских ВС) генерала Касема Сулеймани.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 208, + "generated_len": [ + 175 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.16279069767441862, + "rouge2": 0.023529411764705885 + }, + "predict": " В США, особенно в правых кругах, обеспокоены «теневым баном» в социальных сетях, проводимым Facebook, Twitter и Instagram. Республиканцы, включая Джим Джордан, обвиняют эти платформы в дискриминации против консерваторов. В ходе антимонопольных слушаний 2021 года представители ИТ-гигантов утверждали, что их цель — борьба с троллями, а не с определёнными политическими партиями. В ответ на это, пользователи и ИТ-компании создали альтернативные платформы, такие как Gab, Brighteon и Parler, которые обещают свободу слова. Однако, как отмечают в России, действия американских компаний не только нарушают национальные законы, но и распространяются за пределы США, блокируя аккаунты государственных органов и СМИ. В российском обществе, где цензура также запрещена, требование уважать закон и не допускать цензуры в интернете является ключевым требованием.", + "sample": { + "src_sents": [ + "Тревогу по поводу так называемого «теневого бана», устроенного Facebook, Twitter и Instagram, забила еще в 2018 году Республиканская партия США.", + "Воспользовавшись все тем же Twitter, он написал следующее: «Twitter «скрывает публикации» известных республиканцев. Нехорошо. Мы изучим эту дискриминационную и незаконную практику! Много жалоб».", + "Так или иначе, борьба с предвзятой модерацией, проводимой популярными соцсетями, стала центральной частью риторики именно американского правого крыла.", + "В ходе антимонопольных слушаний по делу ИТ-гигантов, которые прошли в США в июле, республиканец Джим Джордан заявил: «Бигтех стремится подавить консерваторов. Это не подозрение, это не догадка, это факт».", + "В свою очередь, один из ИТ-гигантов, Twitter, заявил Vice, что его цель заключалась не в том, чтобы специально ограничивать одну из партий, а в том, чтобы «бороться с активностью троллей» и сделать более заметными пользователей, которые вносят свой вклад в «здоровый диалог».", + "Несмотря на возмущение Джордана за два последние года теневой бан стал восприниматься многими американскими пользователями как данность.", + "Сам же американский ИТ-рынок разразился созданием множества альтернативных социальных сетей, каждая из которых обещала быть «самой свободной».", + "Первой из тех, кто набрал популярность на этой почве, стала соцсеть Gab.", + "Gab на протяжении всего своего существования заявляла, что стремится обеспечить настоящую свободу слова.", + "Один из наиболее заметных инцидентов, связанных с использованием этой платформы – публикация на ней манифеста насилия перед убийством 11 человек во время массового расстрела синагоги «Древо жизни» в Питтсбурге. Вскоре у Gab появились конкуренты.", + "Один из них, Brighteon, созданный как альтернатива YouTube, выдвинул лозунг, призывающий пользователей смотреть на их площадке документальные фильмы, запрещенные к показу на крупных онлайн-платформах.", + "Позже была создана социальная сеть Parler, которая в своей витиевато написанной «Декларации независимости» заявила: «Они манипулируют своими платформами, чтобы скрыть информацию. Они обманывают пользователей. Они стали помощниками, а часто и лидерами злобной мафии, занимающейся бойкотированием людей за непопулярные высказывания. Эта мафия удобно поселилась в онлайн-сообществе и затыкает каждого, кто осмеливается с ней не соглашаться».", + "Действия американских техногигантов, которые привели к появлению неконтролируемых онлайн-площадок, наводненных сомнительными борцами за правду, безусловно, является внутренней кухней самих Соединенных Штатов.", + "Совсем другое дело – распространение порочных методов и инструментов онлайн-цензуры уже за пределы границ США.", + "Жертвами «теневого бана» и предвзятой модерации регулярно становятся аккаунты государственных учреждений, к примеру, правительства Венгрии и федерального управления связи Швейцарии, и средств массовой информации, как это случилось с российскими Russia Today , РИА «Новости» и «Царьград», без объяснения причин удаленного видеохостингом YouTube.", + "Необоснованные блокировки и проблема ущемления права пользователей на свободу слова и получения информации сегодня достаточно широко обсуждаются в российском обществе.", + "Несмотря на то, что в этой громкой дискуссии слышны разные голоса, большинство мнений совпадает - в российском информационном пространстве должны исполняться требования законодательства нашей страны.", + "А закон прямо запрещает цензуру во всех её проявлениях.", + "В таком контексте, требовать от американских техногигантов уважать закон и исполнять его тождественно защите национальных цифровых интересов." + ], + "summary_sents": [ + "Особые подходы в модерации и различные ограничения доступа, маркировки неугодных аккаунтов, блокировки и удаления аккаунтов пользователей и организаций – подобным поведением глобальных интернет-платформ уже трудно удивить кого-либо в России.", + "Порядком более любопытным оказывается тот факт, что американский «бигтех» прежде, чем сделать онлайн-цензуру оружием глобального геополитического противостояния, обкатал ее механизмы у себя на родине." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 3, + 5, + 14 + ], + "category": "tech" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Тревогу по поводу так называемого «теневого бана», устроенного Facebook, Twitter и Instagram, забила еще в 2018 году Республиканская партия США. Воспользовавшись все тем же Twitter, он написал следующее: «Twitter «скрывает публикации» известных республиканцев. Нехорошо. Мы изучим эту дискриминационную и незаконную практику! Много жалоб». Так или иначе, борьба с предвзятой модерацией, проводимой популярными соцсетями, стала центральной частью риторики именно американского правого крыла. В ходе антимонопольных слушаний по делу ИТ-гигантов, которые прошли в США в июле, республиканец Джим Джордан заявил: «Бигтех стремится подавить консерваторов. Это не подозрение, это не догадка, это факт». В свою очередь, один из ИТ-гигантов, Twitter, заявил Vice, что его цель заключалась не в том, чтобы специально ограничивать одну из партий, а в том, чтобы «бороться с активностью троллей» и сделать более заметными пользователей, которые вносят свой вклад в «здоровый диалог». Несмотря на возмущение Джордана за два последние года теневой бан стал восприниматься многими американскими пользователями как данность. Сам же американский ИТ-рынок разразился созданием множества альтернативных социальных сетей, каждая из которых обещала быть «самой свободной». Первой из тех, кто набрал популярность на этой почве, стала соцсеть Gab. Gab на протяжении всего своего существования заявляла, что стремится обеспечить настоящую свободу слова. Один из наиболее заметных инцидентов, связанных с использованием этой платформы – публикация на ней манифеста насилия перед убийством 11 человек во время массового расстрела синагоги «Древо жизни» в Питтсбурге. Вскоре у Gab появились конкуренты. Один из них, Brighteon, созданный как альтернатива YouTube, выдвинул лозунг, призывающий пользователей смотреть на их площадке документальные фильмы, запрещенные к показу на крупных онлайн-платформах. Позже была создана социальная сеть Parler, которая в своей витиевато написанной «Декларации независимости» заявила: «Они манипулируют своими платформами, чтобы скрыть информацию. Они обманывают пользователей. Они стали помощниками, а часто и лидерами злобной мафии, занимающейся бойкотированием людей за непопулярные высказывания. Эта мафия удобно поселилась в онлайн-сообществе и затыкает каждого, кто осмеливается с ней не соглашаться». Действия американских техногигантов, которые привели к появлению неконтролируемых онлайн-площадок, наводненных сомнительными борцами за правду, безусловно, является внутренней кухней самих Соединенных Штатов. Совсем другое дело – распространение порочных методов и инструментов онлайн-цензуры уже за пределы границ США. Жертвами «теневого бана» и предвзятой модерации регулярно становятся аккаунты государственных учреждений, к примеру, правительства Венгрии и федерального управления связи Швейцарии, и средств массовой информации, как это случилось с российскими Russia Today , РИА «Новости» и «Царьград», без объяснения причин удаленного видеохостингом YouTube. Необоснованные блокировки и проблема ущемления права пользователей на свободу слова и получения информации сегодня достаточно широко обсуждаются в российском обществе. Несмотря на то, что в этой громкой дискуссии слышны разные голоса, большинство мнений совпадает - в российском информационном пространстве должны исполняться требования законодательства нашей страны. А закон прямо запрещает цензуру во всех её проявлениях. В таком контексте, требовать от американских техногигантов уважать закон и исполнять его тождественно защите национальных цифровых интересов.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 757, + "generated_len": [ + 175 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.32116788321167883, + "rouge2": 0.07407407407407408 + }, + "predict": " Антон Макаров, 20-летний рядовой, обвиняется в убийстве и хищении оружия, после чего был арестован на два месяца. Суд оправдал обвинение, несмотря на заявления о его вспыльчивости и недисциплинированности. Вдова убитого офицера и педагоги утверждают, что Макаров был подвержен дедовщине в армии, что могло повлиять на его поведение. Этот случай вызвал шок среди сослуживцев и преподавателей, подчеркивая сложность проблем, с которыми сталкиваются молодые люди в армии.", + "sample": { + "src_sents": [ + "Расстрелявший трех сослуживцев Антон Макаров просил Воронежский гарнизонный военный суд о домашнем аресте.", + "Однако в итоге суд удовлетворил иск прокурора и следователя, отправив срочника в СИЗО на два месяца, сообщается на сайте суда.", + "20-летнего рядового обвиняют в совершении преступлений по п. «а» ч. 2 ст. 105 УК РФ «Убийство» и п. «б» ч. 4 ст. 226 УК РФ «Хищение либо вымогательство оружия, боеприпасов, взрывчатых веществ и взрывных устройств».", + "Трагедия произошла 9 ноября — в 5.30 того дня рядовой во время суточного наряда на военном аэродроме «Балтимор» напал с топором на офицера, завладел его оружием, после чего выстрелил в троих сослуживцев.", + "По предварительным данным, одного из них — Нинаила Акталиева — обвиняемый убил, пока тот спал, сообщает Telegram-канал «Baza».", + "А другим прикрывался во время расстрела, пишет ТАСС со ссылкой на суд.", + "Педагоги заявили, что обвиняемый был вспыльчивым, недисциплинированным и иногда чрезмерно агрессивным.", + "Однокурсники рядового также описывают его как «странного» и нервного молодого человека.", + "«Может словесно быкануть, если заденешь его. Он паренек вроде смышленый, но с какой-то подковыркой, особенностью. Над ним могли иногда прикалываться, и если обычные парни понимают, что это шутки, и особо не реагируют, то он мог завестись», — рассказал бывший однокурсник Макарова по Воронежскому институту МВД Вячеслав Лысенков изданию «Lenta.Ru».", + "«От того, что произошло в части, — мы с ребятами в шоке. Я еще общаюсь с теми, кто учится в МВД, — все просто в шоке. Мне кажется, Антона надо было довести, чтобы так крышу сорвало», — сказал Лысенков.", + "Об этом «Газете.Ru» рассказал бывший одногруппник военнослужащего.", + "«Он был своеобразный человек, немного странный. Не очень хорошо свои эмоции контролировал. Несколько раз кидался на однокурсников. Вот из-за последнего раза его и отчислили, потом в армию пошел», — отметил приятель злоумышленника.", + "«Насчет травли не могу сказать, но конфликты были, точных причин не помню уже. Когда мы жили в казармах, он жил отдельно ото всех, а остальные — по восемь человек жили. Учился не очень хорошо», — пояснил он.", + "«В основном он был тихим, закрытым, но очень часто срывался. С учителями не поладил или с одноклассниками, оценку не ту поставили, на контрольной не дали списать — из-за этого мог вспылить. Такое часто было. Родители у него вроде есть, но жил с бабушкой и дедушкой», — сказал знакомый рядового «Life Shot».", + "Между тем сама бабушка солдата-срочника Елена считает, что вспыльчивость ее внука обусловлена исключительно дедовщиной в армии — ранее он таким не был, уверила родственница Telegram-канал «Mash».", + "«Он заказал купить ему сгущенки, туалетной бумаги.", + "На вопрос: «У тебя разве этого нет?» — он отвечал: «У меня отобрали», — сказала женщина.", + "Также молодой человек жаловался на наряды вне графика, вспоминает бабушка.", + "Из-за этого рядовой обижался на мать, отмечает бабушка — отца он не знал, а девушки у него не было." + ], + "summary_sents": [ + "20-летнего солдата-срочника Антона Макарова, расстрелявшего троих сослуживцев в военной части под Воронежем, арестовали на два месяца.", + "На заседании выяснилось, что во время расправы он прикрывался одним из военнослужащих, а еще одного убил, пока тот спал.", + "Бабушка солдата уверяет, что на преступление он пошел из-за дедовщины — якобы у парня отбирали продукты и ставили в наряды вне графика.", + "Между тем все знакомые срочника называют его конфликтным и вспыльчивым человеком." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 4, + 5, + 6, + 7, + 11, + 13, + 14, + 15, + 16, + 17 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Расстрелявший трех сослуживцев Антон Макаров просил Воронежский гарнизонный военный суд о домашнем аресте. Однако в итоге суд удовлетворил иск прокурора и следователя, отправив срочника в СИЗО на два месяца, сообщается на сайте суда. 20-летнего рядового обвиняют в совершении преступлений по п. «а» ч. 2 ст. 105 УК РФ «Убийство» и п. «б» ч. 4 ст. 226 УК РФ «Хищение либо вымогательство оружия, боеприпасов, взрывчатых веществ и взрывных устройств». Трагедия произошла 9 ноября — в 5.30 того дня рядовой во время суточного наряда на военном аэродроме «Балтимор» напал с топором на офицера, завладел его оружием, после чего выстрелил в троих сослуживцев. По предварительным данным, одного из них — Нинаила Акталиева — обвиняемый убил, пока тот спал, сообщает Telegram-канал «Baza». А другим прикрывался во время расстрела, пишет ТАСС со ссылкой на суд. Педагоги заявили, что обвиняемый был вспыльчивым, недисциплинированным и иногда чрезмерно агрессивным. Однокурсники рядового также описывают его как «странного» и нервного молодого человека. «Может словесно быкануть, если заденешь его. Он паренек вроде смышленый, но с какой-то подковыркой, особенностью. Над ним могли иногда прикалываться, и если обычные парни понимают, что это шутки, и особо не реагируют, то он мог завестись», — рассказал бывший однокурсник Макарова по Воронежскому институту МВД Вячеслав Лысенков изданию «Lenta.Ru». «От того, что произошло в части, — мы с ребятами в шоке. Я еще общаюсь с теми, кто учится в МВД, — все просто в шоке. Мне кажется, Антона надо было довести, чтобы так крышу сорвало», — сказал Лысенков. Об этом «Газете.Ru» рассказал бывший одногруппник военнослужащего. «Он был своеобразный человек, немного странный. Не очень хорошо свои эмоции контролировал. Несколько раз кидался на однокурсников. Вот из-за последнего раза его и отчислили, потом в армию пошел», — отметил приятель злоумышленника. «Насчет травли не могу сказать, но конфликты были, точных причин не помню уже. Когда мы жили в казармах, он жил отдельно ото всех, а остальные — по восемь человек жили. Учился не очень хорошо», — пояснил он. «В основном он был тихим, закрытым, но очень часто срывался. С учителями не поладил или с одноклассниками, оценку не ту поставили, на контрольной не дали списать — из-за этого мог вспылить. Такое часто было. Родители у него вроде есть, но жил с бабушкой и дедушкой», — сказал знакомый рядового «Life Shot». Между тем сама бабушка солдата-срочника Елена считает, что вспыльчивость ее внука обусловлена исключительно дедовщиной в армии — ранее он таким не был, уверила родственница Telegram-канал «Mash». «Он заказал купить ему сгущенки, туалетной бумаги. На вопрос: «У тебя разве этого нет?» — он отвечал: «У меня отобрали», — сказала женщина. Также молодой человек жаловался на наряды вне графика, вспоминает бабушка. Из-за этого рядовой обижался на мать, отмечает бабушка — отца он не знал, а девушки у него не было.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 778, + "generated_len": [ + 175 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3111111111111111, + "rouge2": 0.04511278195488722 + }, + "predict": " Российские железные дороги (РЖД) приостановили продажу билетов на поезда дальнего следования с 26 октября 2012 года, в связи с законопроектом о переходе на «зимнее» время с 28 октября. В случае утверждения законопроекта, РЖД должны скорректировать все графики движения поездов, включая пригородные и грузовые. Продажа билетов может быть возобновлена после согласования с законодательным собранием, но с опасностью для транспортной системы из-за возможных транспортных проблем. В связи с этим, многие эксперты и компании, включая авиаперевозчики, предупреждают о возможном коллапсе в случае отмены «зимнего» времени.", + "sample": { + "src_sents": [ + "Российские железные дороги ( РЖД ) закрыли продажу билетов на поезда дальнего следования отправлением с 26 октября 2012 года.", + "Решение принято на следующий день после того, как в Госдуму был внесен законопроект о переходе на «зимнее» время с 28 октября этого года.", + "Если законодательное собрание утвердит инициативу о переводе стрелок часов на один час назад, потребуется корректировка расписаний и графиков движения всех типов поездов – дальнего следования, пригородных и грузовых, пояснили в компании.", + "«Работа ведется в максимально сжатые сроки, и об открытии продаж билетов пассажиры будут своевременно проинформированы», — сообщили в РЖД.", + "На каком этапе прохождения законопроекта в Госдуме продажи билетов могут быть возобновлены, в компании сказать затруднились.", + "И депутат надеется, что лишней скоропалительности не будет: необходимо успеть придумать механизмы решения возможных транспортных проблем (как в случае с РЖД) путем совместной работы представителей отрасли и депутатов.", + "«Лучше отказаться от продажи билетов сегодня, чем допустить коллапс после 28 октября», — говорит гендиректор Infranews Алексей Безбородов.", + "РЖД продают билеты за 45 суток до отправления, то есть часть билетов на период до 3 ноября уже продана.", + "«Коллапс будет», — уверен сотрудник одной из российских авиакомпаний, поясняя, что глубина продаж авиабилетов значительно больше, чем у РЖД.", + "И в конце октября Россия впервые за 30 лет не стала переходить на «зимнее» время.", + "Но тогда проблемы у РЖД возникли из-за аналогичной попытки отменить «зимнее» время на Украине." + ], + "summary_sents": [ + "Из-за неопределенности в вопросе перехода на зимнее время РЖД не продают билеты с отправлением после 26 октября.", + "Если Госдума переведет стрелки на час назад уже этой осенью, не избежать коллапса с авиаперевозками, предупреждают в отрасли.", + "Решение об изменении времени необходимо продумать вместе с представителями отраслей, согласны в комитете Госдумы по транспорту." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 8 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Российские железные дороги ( РЖД ) закрыли продажу билетов на поезда дальнего следования отправлением с 26 октября 2012 года. Решение принято на следующий день после того, как в Госдуму был внесен законопроект о переходе на «зимнее» время с 28 октября этого года. Если законодательное собрание утвердит инициативу о переводе стрелок часов на один час назад, потребуется корректировка расписаний и графиков движения всех типов поездов – дальнего следования, пригородных и грузовых, пояснили в компании. «Работа ведется в максимально сжатые сроки, и об открытии продаж билетов пассажиры будут своевременно проинформированы», — сообщили в РЖД. На каком этапе прохождения законопроекта в Госдуме продажи билетов могут быть возобновлены, в компании сказать затруднились. И депутат надеется, что лишней скоропалительности не будет: необходимо успеть придумать механизмы решения возможных транспортных проблем (как в случае с РЖД) путем совместной работы представителей отрасли и депутатов. «Лучше отказаться от продажи билетов сегодня, чем допустить коллапс после 28 октября», — говорит гендиректор Infranews Алексей Безбородов. РЖД продают билеты за 45 суток до отправления, то есть часть билетов на период до 3 ноября уже продана. «Коллапс будет», — уверен сотрудник одной из российских авиакомпаний, поясняя, что глубина продаж авиабилетов значительно больше, чем у РЖД. И в конце октября Россия впервые за 30 лет не стала переходить на «зимнее» время. Но тогда проблемы у РЖД возникли из-за аналогичной попытки отменить «зимнее» время на Украине.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 361, + "generated_len": [ + 153 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.32653061224489793, + "rouge2": 0.0625 + }, + "predict": " Россия разрабатывает спутниковые системы, способные к точному маневрированию и ремонту, что потенциально может привести к блокировке работы других космических аппаратов. Это вызывает обеспокоенность в США, которые считают подобные разработки угрозой для своих спутников. В ответ на это, США заявили о необходимости создания космических войск для защиты своих спутников от угроз со стороны России и Китая.", + "sample": { + "src_sents": [ + "Россия развивает программу создания «спутников-убийц», которые могут заблокировать работу других космических аппаратов, говорится в материале американского издания National Interest.", + "Автор напоминает, что чуть ранее помощник государственного секретаря Соединенных Штатов Илем Поблет в ходе совещания по вопросам разоружения в Женеве обвинила Москву в запуске таких спутников.", + "При этом Москва отвергла все обвинения, подчеркнув, что речь идет о спутниках-инспекторах, которые разработаны для обнаружения неполадок в работе других аппаратов, передает ФАН.", + "«Обе версии имеют право на существование, поскольку такие спутники, обладающие способностью к точному маневрированию и механизмами для ремонта, могут выводить из строя другие космические аппараты», — поясняется в материале.", + "Помимо этого, NI приводит информацию (оговариваясь, что она является неподтвержденной), что Россия начиная с 2013 года запустила четыре спутника-инспектора, которые могут совершать точечные маневры.", + "Двумя неделями ранее Госдеп назвал «ненормальным» поведение запущенного Россией в октябре прошлого года спутника-инспектора.", + "«В октябре прошлого года министерство обороны РФ запустило космический объект, который, как они утверждают, был «спутником-инспектором». Но его поведение на орбите было несоответствующим чему-либо видимому ранее: от инспекции на орбите до способностей обеспечения ситуационной ориентации в космосе, включая другие действия российских инспекционных спутников», — указали в дипломатическом ведомстве.", + "Тогда же глава Пентагона Джеймс Мэттис заявил, что США нуждаются в космических войсках для защиты своих спутников от России и Китая.", + "Военный уточнил, что США не планируют размещать оружие в космосе." + ], + "summary_sents": [ + "Американские СМИ утверждают, что Россия развивает программу создания «спутников-убийц», которые могут заблокировать работу других космических аппаратов.", + "Ранее Госдеп назвал «ненормальным» поведение запущенного Россией в октябре прошлого года спутника-инспектора.", + "В Москве это заявление назвали «политической пургой», указав, на аналогичное поведение американских спутников." + ], + "support_labels": [ + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 0, + 6 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Россия развивает программу создания «спутников-убийц», которые могут заблокировать работу других космических аппаратов, говорится в материале американского издания National Interest. Автор напоминает, что чуть ранее помощник государственного секретаря Соединенных Штатов Илем Поблет в ходе совещания по вопросам разоружения в Женеве обвинила Москву в запуске таких спутников. При этом Москва отвергла все обвинения, подчеркнув, что речь идет о спутниках-инспекторах, которые разработаны для обнаружения неполадок в работе других аппаратов, передает ФАН. «Обе версии имеют право на существование, поскольку такие спутники, обладающие способностью к точному маневрированию и механизмами для ремонта, могут выводить из строя другие космические аппараты», — поясняется в материале. Помимо этого, NI приводит информацию (оговариваясь, что она является неподтвержденной), что Россия начиная с 2013 года запустила четыре спутника-инспектора, которые могут совершать точечные маневры. Двумя неделями ранее Госдеп назвал «ненормальным» поведение запущенного Россией в октябре прошлого года спутника-инспектора. «В октябре прошлого года министерство обороны РФ запустило космический объект, который, как они утверждают, был «спутником-инспектором». Но его поведение на орбите было несоответствующим чему-либо видимому ранее: от инспекции на орбите до способностей обеспечения ситуационной ориентации в космосе, включая другие действия российских инспекционных спутников», — указали в дипломатическом ведомстве. Тогда же глава Пентагона Джеймс Мэттис заявил, что США нуждаются в космических войсках для защиты своих спутников от России и Китая. Военный уточнил, что США не планируют размещать оружие в космосе.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 365, + "generated_len": [ + 153 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.14754098360655737, + "rouge2": 0.0 + }, + "predict": " За четверг рубль значительно укрепился, благодаря снижению доллара и евро на Московской бирже и в мировом валютном пространстве. Это связано с заявлениями представителей Европейского центрального банка о возможности предоставления банковской лицензии Европейскому стабилизационному фонду и обещаниями Марио Драги защитить евро. В результате, стоимость фьючерсов на нефть и рост индексов европейских рынков также способствовали укреплению рубля. Однако эксперты предупреждают о возможном резком падении курса рубля в связи с ожиданием данных по ВВП США и снижением ликвидности на финансовых площадках.", + "sample": { + "src_sents": [ + "За четверг рубль значительно восстановил свои позиции.", + "Если в среду в первую половину дня доллар вплотную приблизился к отметке 33 рубля, то в 11.30 следующего дня средневзвешенное значение доллара составило 32,62 рубля, а к 18.30 мск американская валюта на Московской бирже опустилась до 32,28 рубля.", + "На рынке forex евро дорожает к доллару: пара торгуется у отметки 1,2290.", + "«Доллар был сильно перекуплен на многих рынках, особенно к единой валюте. Евро торговался вблизи двухлетних минимумов, и слишком много позиций было открыто на продажу. Так долго продолжаться не может, поэтому трейдеры воспользовались заявлениями представителей Европейского центрального банка ( ЕЦБ ) и зафиксировали прибыль», — объясняет финансовый аналитик FxPro Александр Купцикевич.", + "Накануне член совета ЕЦБ Эвальд Новотны сообщил, что европолитики обсуждают возможность предоставить Европейскому стабилизационному фонду (European Stability Mechanism — ESM) банковскую лицензию: это позволит ESM брать кредиты у ЕЦБ для финансовой поддержки проблемных стран еврозоны.", + "Поддержало евро и сделанное в четверг заявление президента ЕЦБ Марио Драги о том, что у регулятора есть множество инструментов, чтобы защитить евро.", + "«Драги пообещал сделать все необходимое для спасения евро, в распоряжении ЕЦБ как минимум три опции — вновь начать покупать облигации периферийных стран, продолжить снижение ключевой ставки, предоставить европейским антикризисным фондам банковской лицензии», — говорит аналитик « Allianz Росно Управление Активами» Ариэл Черный.", + "«Трейдеры восприняли это как сигнал к продаже защитных активов и покупке рисковых, которые заметно подешевели в последние дни», — добавляет Купцикевич.", + "Стоимость фьючерсов на североморскую Brent, на основании которой определяется цена российской нефти, выросла на 1,68% — до $106,13 за баррель.", + "Американская WTI подорожала на 1,51% — до $90,31 за баррель.", + "К 18.30 британский FTSE 100 поднялся на 1,59%, германский DAX — на 2,40%, французский CAC 40 — на 3,66%.", + "«Всплеск позитивного настроения и рост стоимости нефти отразился и на российском рынке — рубль резко укрепляется», — говорит ведущий аналитик департамента аналитики и риск-менеджмента UFS Investment Company Алексей Козлов.", + "Но резкие колебания на валютном рынке сохранятся, уверены эксперты.", + "«В пятницу выйдут данные по ВВП США во II квартале: от того, насколько сильно замедлилась американская экономика, и будет зависеть динамика рынков в ближайшее время», — объясняет Козлов, добавляя, что рубль на фоне страхов может снова упасть.", + "«Летом важные новости могут вызвать значительную волатильность, так как снижается ликвидность на площадках. Слишком мало игроков, и все смотрят в одну сторону», — говорит Купцикевич." + ], + "summary_sents": [ + "К вечеру четверга доллар потерял 70 копеек после взлета до 33 рублей накануне.", + "Готовность Европейского центробанка любыми способами поддерживать единую валюту вернула инвесторам интерес к рисковым активам, среди которых и рубль.", + "Но доллар может вернуться к высоким значениям после публикации данных об экономике США." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 6, + 7, + 13 + ], + "category": "financial" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: За четверг рубль значительно восстановил свои позиции. Если в среду в первую половину дня доллар вплотную приблизился к отметке 33 рубля, то в 11.30 следующего дня средневзвешенное значение доллара составило 32,62 рубля, а к 18.30 мск американская валюта на Московской бирже опустилась до 32,28 рубля. На рынке forex евро дорожает к доллару: пара торгуется у отметки 1,2290. «Доллар был сильно перекуплен на многих рынках, особенно к единой валюте. Евро торговался вблизи двухлетних минимумов, и слишком много позиций было открыто на продажу. Так долго продолжаться не может, поэтому трейдеры воспользовались заявлениями представителей Европейского центрального банка ( ЕЦБ ) и зафиксировали прибыль», — объясняет финансовый аналитик FxPro Александр Купцикевич. Накануне член совета ЕЦБ Эвальд Новотны сообщил, что европолитики обсуждают возможность предоставить Европейскому стабилизационному фонду (European Stability Mechanism — ESM) банковскую лицензию: это позволит ESM брать кредиты у ЕЦБ для финансовой поддержки проблемных стран еврозоны. Поддержало евро и сделанное в четверг заявление президента ЕЦБ Марио Драги о том, что у регулятора есть множество инструментов, чтобы защитить евро. «Драги пообещал сделать все необходимое для спасения евро, в распоряжении ЕЦБ как минимум три опции — вновь начать покупать облигации периферийных стран, продолжить снижение ключевой ставки, предоставить европейским антикризисным фондам банковской лицензии», — говорит аналитик « Allianz Росно Управление Активами» Ариэл Черный. «Трейдеры восприняли это как сигнал к продаже защитных активов и покупке рисковых, которые заметно подешевели в последние дни», — добавляет Купцикевич. Стоимость фьючерсов на североморскую Brent, на основании которой определяется цена российской нефти, выросла на 1,68% — до $106,13 за баррель. Американская WTI подорожала на 1,51% — до $90,31 за баррель. К 18.30 британский FTSE 100 поднялся на 1,59%, германский DAX — на 2,40%, французский CAC 40 — на 3,66%. «Всплеск позитивного настроения и рост стоимости нефти отразился и на российском рынке — рубль резко укрепляется», — говорит ведущий аналитик департамента аналитики и риск-менеджмента UFS Investment Company Алексей Козлов. Но резкие колебания на валютном рынке сохранятся, уверены эксперты. «В пятницу выйдут данные по ВВП США во II квартале: от того, насколько сильно замедлилась американская экономика, и будет зависеть динамика рынков в ближайшее время», — объясняет Козлов, добавляя, что рубль на фоне страхов может снова упасть. «Летом важные новости могут вызвать значительную волатильность, так как снижается ликвидность на площадках. Слишком мало игроков, и все смотрят в одну сторону», — говорит Купцикевич.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 659, + "generated_len": [ + 153 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4274809160305343, + "rouge2": 0.1395348837209302 + }, + "predict": " В Краснодарском крае суд назначил жене «краснодарского каннибала» Наталье Бакшеевой 12 лет лишения свободы в колонии общего режима и 2 года ограничения свободы. Муж, Дмитрий, также приговорен к 12 годам лишения свободы за убийство. Оба отрицают каннибализм, хотя полиция нашла части тела погибшей женщины в лесу. В ходе расследования выяснилось, что оба были подвергнуты психиатрической экспертизе, и оба признаны вменяемыми.", + "sample": { + "src_sents": [ + "Государственное обвинение попросило суд назначить жене «краснодарского каннибала» Наталье Бакшеевой 12 лет лишения свободы в колонии общего режима.", + "Источник в правоохранительных структурах Краснодарского края сообщил РИА «Новости» , что прокурор также потребовал приговорить ее к полутора годам ограничения свободы вдобавок к тюремному сроку.", + "Прения стороны защиты и приговор назначены на 27 февраля.", + "В начале февраля представитель прокуратуры Краснодарского края сообщил, что коллегия присяжных из 12 человек признала Бакшееву виновной, отметив, что снисхождения при назначении наказания та не заслуживает.", + "Муж Бакшеевой Дмитрий ждет суда в специальном лечебном учреждении, поскольку болеет туберкулезом в открытой форме и не может находиться в СИЗО.", + "Добавим, что у мужчины имеется судимость за грабеж и автоугон, но в данный момент она погашена.", + "В отношении обоих была проведена психиатрическая экспертиза, причем женщина сама инициировала соответствующую проверку для себя. Оба признаны вменяемыми.", + "Наталья Бакшеева обвиняется в подстрекательстве к убийству, а ее муж, соответственно, в убийстве.", + "«После распития спиртных напитков произошел конфликт на почве ревности, была предъявлена претензия со стороны супруги, вследствие чего человек (ее муж) нанес ножевые ранения, повлекшие смерть гражданки В. Ее личность установлена», — рассказал руководитель регионального главка СК Вадим Бугаенко.", + "Сами «каннибалы» отрицают, что ели человеческое мясо.", + "Как сообщает RT со ссылкой на членов ОНК Краснодарского края Виктора Беликова и Сергея Левушкана, «в ходе беседы с правозащитниками Бакшеев заявил, что никогда не занимался каннибализмом. Он утверждает, что причастен только к одному эпизоду, за который и был задержан».", + "Жена Бакшеева также отрицает, что практиковала каннибализм, и не считает себя виновной.", + "Полиции Дмитрий Бакшеев сначала рассказал, что нашел части тела женщины 8 сентября в лесопарке, положил их в рюкзак и отнес домой.", + "Снимки, сделанные впоследствии с останками женщины, и вообще свои действия он объяснить не смог, сказав, что «совершил глупость», сообщают местные СМИ." + ], + "summary_sents": [ + "Жене «краснодарского каннибала» Наталье Бакшеевой сторона обвинения попросила суд назначить 12 лет в колонии и полтора года ограничения свободы.", + "Женщина обвиняется в подстрекательстве к убийству.", + "По версии следствия, она подговорила своего мужа убить случайную знакомую, с которой у нее возник конфликт на почве ревности.", + "После этого супруг расчленил ее тело, сделал селфи с некоторыми его частями и стал хранить останки погибшей в соляном растворе дома.", + "Сами обвиняемые отрицают, что занимались каннибализмом." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 7, + 8, + 9, + 10, + 11 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Государственное обвинение попросило суд назначить жене «краснодарского каннибала» Наталье Бакшеевой 12 лет лишения свободы в колонии общего режима. Источник в правоохранительных структурах Краснодарского края сообщил РИА «Новости» , что прокурор также потребовал приговорить ее к полутора годам ограничения свободы вдобавок к тюремному сроку. Прения стороны защиты и приговор назначены на 27 февраля. В начале февраля представитель прокуратуры Краснодарского края сообщил, что коллегия присяжных из 12 человек признала Бакшееву виновной, отметив, что снисхождения при назначении наказания та не заслуживает. Муж Бакшеевой Дмитрий ждет суда в специальном лечебном учреждении, поскольку болеет туберкулезом в открытой форме и не может находиться в СИЗО. Добавим, что у мужчины имеется судимость за грабеж и автоугон, но в данный момент она погашена. В отношении обоих была проведена психиатрическая экспертиза, причем женщина сама инициировала соответствующую проверку для себя. Оба признаны вменяемыми. Наталья Бакшеева обвиняется в подстрекательстве к убийству, а ее муж, соответственно, в убийстве. «После распития спиртных напитков произошел конфликт на почве ревности, была предъявлена претензия со стороны супруги, вследствие чего человек (ее муж) нанес ножевые ранения, повлекшие смерть гражданки В. Ее личность установлена», — рассказал руководитель регионального главка СК Вадим Бугаенко. Сами «каннибалы» отрицают, что ели человеческое мясо. Как сообщает RT со ссылкой на членов ОНК Краснодарского края Виктора Беликова и Сергея Левушкана, «в ходе беседы с правозащитниками Бакшеев заявил, что никогда не занимался каннибализмом. Он утверждает, что причастен только к одному эпизоду, за который и был задержан». Жена Бакшеева также отрицает, что практиковала каннибализм, и не считает себя виновной. Полиции Дмитрий Бакшеев сначала рассказал, что нашел части тела женщины 8 сентября в лесопарке, положил их в рюкзак и отнес домой. Снимки, сделанные впоследствии с останками женщины, и вообще свои действия он объяснить не смог, сказав, что «совершил глупость», сообщают местные СМИ.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 478, + "generated_len": [ + 153 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.1724137931034483, + "rouge2": 0.052631578947368425 + }, + "predict": " Российская балерина Анастасия Волочкова стала жертвой финансовых аферистов, которые безосновательно списали с её банковской карты 192,5 тыс. руб. В результате Волочкова оказалась без средств на оплату коммунальных услуг и уход за отцом-инвалидом, страдающим от хронических заболеваний. Она обвиняет в этом судебных приставов, которые не отвечают на звонки, и утверждает, что дело связано с судебным процессом, который якобы был подстроен против неё. Волочкова выражает возмущение и разочарование в том, как нечестные люди могут использовать пандемию для наживы, и подчеркивает, что никогда не стремилась к карьере через интимные отношения с влиятельными мужчинами.", + "sample": { + "src_sents": [ + "Российская балерина Анастасия Волочкова сообщила, что стала жертвой аферистов.", + "У бывшей примы Большого театра с банковской карты было списано в общей сложности 192,5 тыс. руб. 22 апреля знаменитость стала получать уведомления о списании средств.", + "В сообщениях также было написано, что за разъяснениями следует обращаться к судебному приставу.", + "«Однако судебные приставы на мои звонки не отвечают. Это безобразие! — рассказала Волочкова kp.ru. — У меня не было никаких долгов и судов. Журналисты постоянно следят за мной, сразу бы вскрылось, если бы за мной числился какой-то долг».", + "По словам артистки, ее помощник обнаружил на сайте приставов, что в 2017 году на нее подал в суд некое ООО «Тонус-клуб».", + "«Якобы это списание в его пользу. Хотя я ничего про этот суд не знаю. Видимо, аферисты орудуют. Оставили меня без денег в период пандемии. На карте были отложены деньги на продукты, я хотела заказать еду на период самоизоляции», — продолжила она.", + "Волочкова пожаловалась, что теперь у нее нет средств на оплату коммунальных услуг и на расходы, связанные с болезнью отца-инвалида, который нуждается в постоянном лечении и уходе.", + "«Куда теперь идти, кому жаловаться...На что теперь жить? На время пандемии все закрыто, но аферисты даже в такое непростое время наживаются на честных людях», — заключила звезда.", + "Балерина также отметила, что даже если бы ее сердце в тот момент было свободно, она бы никогда даже не подумала о том, что свою карьеру можно построить «через постель» влиятельного мужчины.", + "По словам Волочковой, Вазиев якобы «постоянно вызывал ее в кабинет для «личных бесед»." + ], + "summary_sents": [ + "Бывшая прима Большого театра Анастасия Волочкова осталась без средств к существованию.", + "По словам артистки, аферисты списали с ее банковского счета около 200 тысяч рублей." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 6, + 7 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Российская балерина Анастасия Волочкова сообщила, что стала жертвой аферистов. У бывшей примы Большого театра с банковской карты было списано в общей сложности 192,5 тыс. руб. 22 апреля знаменитость стала получать уведомления о списании средств. В сообщениях также было написано, что за разъяснениями следует обращаться к судебному приставу. «Однако судебные приставы на мои звонки не отвечают. Это безобразие! — рассказала Волочкова kp.ru. — У меня не было никаких долгов и судов. Журналисты постоянно следят за мной, сразу бы вскрылось, если бы за мной числился какой-то долг». По словам артистки, ее помощник обнаружил на сайте приставов, что в 2017 году на нее подал в суд некое ООО «Тонус-клуб». «Якобы это списание в его пользу. Хотя я ничего про этот суд не знаю. Видимо, аферисты орудуют. Оставили меня без денег в период пандемии. На карте были отложены деньги на продукты, я хотела заказать еду на период самоизоляции», — продолжила она. Волочкова пожаловалась, что теперь у нее нет средств на оплату коммунальных услуг и на расходы, связанные с болезнью отца-инвалида, который нуждается в постоянном лечении и уходе. «Куда теперь идти, кому жаловаться...На что теперь жить? На время пандемии все закрыто, но аферисты даже в такое непростое время наживаются на честных людях», — заключила звезда. Балерина также отметила, что даже если бы ее сердце в тот момент было свободно, она бы никогда даже не подумала о том, что свою карьеру можно построить «через постель» влиятельного мужчины. По словам Волочковой, Вазиев якобы «постоянно вызывал ее в кабинет для «личных бесед».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 416, + "generated_len": [ + 153 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3013698630136986, + "rouge2": 0.06944444444444445 + }, + "predict": " В России, особенно в Сибири и на Дальнем Востоке, продолжаются лесные пожары, а в Московской области — дым от пала травы. Чиновники критикуют подготовку к пожароопасному сезону, начавшуюся только недавно. Президент Дмитрий Медведев, выступая на совещании в Горках, обрушился на правительство, обвинив его в недостаточном реагировании на ситуацию и требуя более активной работы по тушению пожаров. Также он выразил недовольство, что в Московской области уже чувствуется запах гари, включая от тлеющих торфяников. Вице-премьер Виктор Зубков и глава Рослесхоза Виктор Масляков были вынуждены подтвердить, что работы по обработке торфяников должны были начаться в прошлом году, а не в текущем.", + "sample": { + "src_sents": [ + "В Сибири и на Дальнем Востоке продолжают бушевать лесные пожары.", + "В Подмосковье стоит дым от пала травы.", + "Чиновники на разных уровнях начинают критиковать подготовку к пожароопасному сезону: она должна была вестись в течение года, а фактически началась только недавно.", + "В среду президент начал распекать правительство: Дмитрий Медведев заявил, что ответственные министерства и ведомства до сих пор «не начали реальную работу».", + "«Вспыхнет все, просто как сено...» — сказал президент и заявил, что если правительство выпустит ситуацию из-под контроля, оно само отправится «торфяники тушить».", + "«Считайте, что это такая встряска и последнее предупреждение по этому поводу. Надо все процедуры не только завершить, но и начать работу, а не докладывать мне о том, что в соответствии с таким-то законом Минфин выделил деньги», — отчитывал он чиновников на совещании в Горках.", + "Медведев выразил недоумение, что в Подмосковье уже чувствуется запах гари — в том числе и от тлеющих торфяников.", + "Ответственный в правительстве за пожары в лесах вице-премьер Виктор Зубков тут же доложил, что на конец апреля в Подмосковье «обработано 9% торфяников».", + "«Если 9% всего обработано, значит, люди не просто так пишут, — процитировало Медведева РИА «Новости». — Все эти работы нужно было развернуть в прошлом году, и, если бы потребовались дополнительные деньги, Минфин никуда бы не делся».", + "Фразу «надо было сделать раньше» президент сказал несколько раз — и Зубкову, и главе Рослесхоза Виктору Маслякову , и губернатору Подмосковья Борису Громову." + ], + "summary_sents": [ + "Россия не готова к пожароопасному сезону: слишком поздно началась профилактика лесных пожаров, заявил президент.", + "Дмитрий Медведев пригрозил: если что, члены правительства будут тушить торфяники собственноручно.", + "В МЧС и Рослесхозе с президентом согласны: проблемы с пожарной безопасностью решаются только по мере поступления, а лесное законодательство отстало от жизни." + ], + "support_labels": [ + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 3, + 4, + 5 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Сибири и на Дальнем Востоке продолжают бушевать лесные пожары. В Подмосковье стоит дым от пала травы. Чиновники на разных уровнях начинают критиковать подготовку к пожароопасному сезону: она должна была вестись в течение года, а фактически началась только недавно. В среду президент начал распекать правительство: Дмитрий Медведев заявил, что ответственные министерства и ведомства до сих пор «не начали реальную работу». «Вспыхнет все, просто как сено...» — сказал президент и заявил, что если правительство выпустит ситуацию из-под контроля, оно само отправится «торфяники тушить». «Считайте, что это такая встряска и последнее предупреждение по этому поводу. Надо все процедуры не только завершить, но и начать работу, а не докладывать мне о том, что в соответствии с таким-то законом Минфин выделил деньги», — отчитывал он чиновников на совещании в Горках. Медведев выразил недоумение, что в Подмосковье уже чувствуется запах гари — в том числе и от тлеющих торфяников. Ответственный в правительстве за пожары в лесах вице-премьер Виктор Зубков тут же доложил, что на конец апреля в Подмосковье «обработано 9% торфяников». «Если 9% всего обработано, значит, люди не просто так пишут, — процитировало Медведева РИА «Новости». — Все эти работы нужно было развернуть в прошлом году, и, если бы потребовались дополнительные деньги, Минфин никуда бы не делся». Фразу «надо было сделать раньше» президент сказал несколько раз — и Зубкову, и главе Рослесхоза Виктору Маслякову , и губернатору Подмосковья Борису Громову.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 378, + "generated_len": [ + 153 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.39655172413793105, + "rouge2": 0.08771929824561403 + }, + "predict": " Европейская комиссия ввела обязательную дактилоскопию для получения шенгенских виз, чтобы ускорить процесс выдачи и упростить проверку документов. Новая система VIS, объединяющая биометрические данные и анкетные данные, будет внедрена в консульствах стран Ближнего Востока, Персидского залива и Северной Африки. Ввод этой системы планируется к 2014 году, с целью повышения прозрачности и упрощения процедуры получения виз.", + "sample": { + "src_sents": [ + "Вскоре для получения шенгенской визы граждане третьих стран должны будут в обязательном порядке проходить процедуру дактилоскопии.", + "Как сообщается на сайте Еврокомиссии , новые требования связаны с заработавшей накануне в 25 странах, входящих в «шенген», Единой визовой информационной системой (VIS), в которой будут собраны не только отпечатки пальцев соискателей, но и их цифровые фотографии, а также анкетные данные, информация о ранее выданных визах.", + "По словам еврокомиссара по внутренней политике Сесилии Мальмстрем, система VIS позволит гражданам третьих стран быстрее получать визы в «шенген»: сотрудникам консульских служб будет проще проверять документы, которые граждане сдают для получения разрешения на въезд в «шенген».", + "Как сообщается на сайте Еврокомиссии, благодаря использованию биометрических данных (в частности, отпечатков пальцев и цифрового фото) выдача виз соискателям ускорится.", + "«Иностранцы, желающие посетить ЕС, только выиграют от новых, более прозрачных правил», — заявила Мальмстрем: проверить информацию о добросовестном гражданине работникам консульств будет гораздо проще.", + "Первыми сдавать отпечатки пальцев начнут граждане стран Северной Африки — Алжира, Египта, Ливии, Марокко, Туниса и Мавритании, консульства в этих странах первыми подключают к VIS.", + "Затем единая информационная система заработает в консульствах шенгенских стран на Ближнем Востоке (в Израиле, Иордании, Ливане и Сирии), после этого к ней подключат страны Персидского залива (Афганистан, Бахрейн, Иран, Ирак, Кувейт, Оман, Катар, Саудовскую Аравию, Объединенные Арабские Эмираты и Йемен).", + "По планам ЕС, система заработает по всему миру, в том числе и в России, в течение двух лет, то есть к 2014 году.", + "Как отмечают представители Еврокомиссии, процедура сбора отпечатков пальцев будет «простой, быстрой и ненавязчивой».", + "Помещать пальцы на поверхность цифрового сканера заявителю придется раз в пять лет.", + "Затем гражданин сможет спокойно подавать документы на выдачу визы, отпечатки его пальцев консульство будет брать из базы данных." + ], + "summary_sents": [ + "Для получения шенгенской визы нужно будет сдавать отпечатки пальцев.", + "Консульские правила изменяются из-за введения единой информационной системы — VIS, которая начала работать со вторника.", + "Как говорят в Еврокомиссии, использование биометрических данных ускорит процедуру выдачи виз.", + "Правда, пока россияне будут получать визы по-старому: сначала к системе подключат консульства Северной Африки, Ближнего Востока и Азии.", + "Повсеместно же система заработает через два года." + ], + "support_labels": [ + "YES", + "NO", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 3, + 5, + 6, + 7 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Вскоре для получения шенгенской визы граждане третьих стран должны будут в обязательном порядке проходить процедуру дактилоскопии. Как сообщается на сайте Еврокомиссии , новые требования связаны с заработавшей накануне в 25 странах, входящих в «шенген», Единой визовой информационной системой (VIS), в которой будут собраны не только отпечатки пальцев соискателей, но и их цифровые фотографии, а также анкетные данные, информация о ранее выданных визах. По словам еврокомиссара по внутренней политике Сесилии Мальмстрем, система VIS позволит гражданам третьих стран быстрее получать визы в «шенген»: сотрудникам консульских служб будет проще проверять документы, которые граждане сдают для получения разрешения на въезд в «шенген». Как сообщается на сайте Еврокомиссии, благодаря использованию биометрических данных (в частности, отпечатков пальцев и цифрового фото) выдача виз соискателям ускорится. «Иностранцы, желающие посетить ЕС, только выиграют от новых, более прозрачных правил», — заявила Мальмстрем: проверить информацию о добросовестном гражданине работникам консульств будет гораздо проще. Первыми сдавать отпечатки пальцев начнут граждане стран Северной Африки — Алжира, Египта, Ливии, Марокко, Туниса и Мавритании, консульства в этих странах первыми подключают к VIS. Затем единая информационная система заработает в консульствах шенгенских стран на Ближнем Востоке (в Израиле, Иордании, Ливане и Сирии), после этого к ней подключат страны Персидского залива (Афганистан, Бахрейн, Иран, Ирак, Кувейт, Оман, Катар, Саудовскую Аравию, Объединенные Арабские Эмираты и Йемен). По планам ЕС, система заработает по всему миру, в том числе и в России, в течение двух лет, то есть к 2014 году. Как отмечают представители Еврокомиссии, процедура сбора отпечатков пальцев будет «простой, быстрой и ненавязчивой». Помещать пальцы на поверхность цифрового сканера заявителю придется раз в пять лет. Затем гражданин сможет спокойно подавать документы на выдачу визы, отпечатки его пальцев консульство будет брать из базы данных.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 484, + "generated_len": [ + 153 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.47058823529411764, + "rouge2": 0.12048192771084339 + }, + "predict": " Народная артистка РСФСР Надежда Бабкина, находившаяся в состоянии сознания и на пути к выздоровлению, опровергает слухи о COVID-19 и сообщает, что в настоящее время находится в реанимации с подключенным аппаратом ИВЛ из-за двусторонней полисегментарной пневмонии.", + "sample": { + "src_sents": [ + "Народная артистка РСФСР Надежда Бабкина находится в сознании и идет на поправку.", + "Об этом РИА «Новости» рассказал исполнительный директор ее театра «Русская песня» Антон Собянин.", + "При этом накануне, 14 марта, в СМИ появились слухи о том, что 70-летняя исполнительница, попавшая в больницу с пневмонией, якобы на самом деле еще не пришла в себя.", + "Согласно Starhit , у нее была диагностирована «внебольничная двусторонняя полисегментарная пневмония, вызванная коронавирусом».", + "Вместе с тем представители Бабкиной информацию об обнаружении у нее COVID-19 опровергают.", + "Источник также отмечал, что сознание певицы периодически проясняется, «она реагирует на элементарные вопросы, выполняет команды врачей, но с персоналом общается исключительно жестами».", + "По словам инсайдера, в больнице другой возможности общаться с ней просто нет — якобы уже почти две недели исполнительница подключена к аппарату ИВЛ." + ], + "summary_sents": [ + "Директор театра «Русская песня» Антон Собянин рассказал о текущем состоянии народной артистки Надежды Бабкиной.", + "По его словам, певица находится в сознании и идет на поправку.", + "Ранее в СМИ появились слухи, что эстрадная исполнительница якобы все еще не пришла в себя и до сих пор подключена к аппарату ИВЛ." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Народная артистка РСФСР Надежда Бабкина находится в сознании и идет на поправку. Об этом РИА «Новости» рассказал исполнительный директор ее театра «Русская песня» Антон Собянин. При этом накануне, 14 марта, в СМИ появились слухи о том, что 70-летняя исполнительница, попавшая в больницу с пневмонией, якобы на самом деле еще не пришла в себя. Согласно Starhit , у нее была диагностирована «внебольничная двусторонняя полисегментарная пневмония, вызванная коронавирусом». Вместе с тем представители Бабкиной информацию об обнаружении у нее COVID-19 опровергают. Источник также отмечал, что сознание певицы периодически проясняется, «она реагирует на элементарные вопросы, выполняет команды врачей, но с персоналом общается исключительно жестами». По словам инсайдера, в больнице другой возможности общаться с ней просто нет — якобы уже почти две недели исполнительница подключена к аппарату ИВЛ.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 230, + "generated_len": [ + 153 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3157894736842105, + "rouge2": 0.15053763440860216 + }, + "predict": " Прокурор требует оправдать пятерых из 28 обвиняемых в убийстве российского посла Андрея Карлова в Турции в 2016 году, остальные обвиняются в причастности к террористической организации. Суд назначило первое заседание 8 января 2018 года, где следствие предполагает, что бывший госслужащий Шахин Согют отдал приказ на убийство. Подсудимые отрицают свою вину. Следующее заседание по делу запланировано на 31 марта.", + "sample": { + "src_sents": [ + "Прокурор требует оправдать пятерых из 28 фигурантов дела об убийстве российского посла в Турции Андрея Карлова , передает РИА «Новости».", + "Остальных сторона обвинения считает виновными.", + "Их требуют приговорить к различным срокам: восьмерых — к пожизненному заключению, пятерых других подсудимых к 15 годам тюрьмы за причастность к террористической организации.", + "Убийство российского представителя в Турции произошло 19 декабря 2016 года.", + "Дипломата застрелили на открытии фотовыставки «Россия от Калининграда до Камчатки глазами путешественника» в Центре современного искусства в Анкаре.", + "Следующее заседание по делу об убийстве посла назначено на 31 марта.", + "Первое заседание по делу об убийстве российского посла прошло 8 января 2018 года в Анкаре.", + "Вместе с тем, следствие считает, что бывший госслужащий Шахин Согют якобы лично отдал распоряжение непосредственному исполнителю убить российского дипломата.", + "Все подсудимые отрицают свою причастность к преступлению." + ], + "summary_sents": [ + "В Анкаре прошли слушания по делу об убийстве российского посла Андрея Карлова.", + "В четверг прокурор потребовал освободить пятерых фигурантов дела из 28-ми.", + "Остальным же, по мнению турецкой прокуратуры, должны быть назначены различные сроки заключения вплоть до пожизненного." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 6 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Прокурор требует оправдать пятерых из 28 фигурантов дела об убийстве российского посла в Турции Андрея Карлова , передает РИА «Новости». Остальных сторона обвинения считает виновными. Их требуют приговорить к различным срокам: восьмерых — к пожизненному заключению, пятерых других подсудимых к 15 годам тюрьмы за причастность к террористической организации. Убийство российского представителя в Турции произошло 19 декабря 2016 года. Дипломата застрелили на открытии фотовыставки «Россия от Калининграда до Камчатки глазами путешественника» в Центре современного искусства в Анкаре. Следующее заседание по делу об убийстве посла назначено на 31 марта. Первое заседание по делу об убийстве российского посла прошло 8 января 2018 года в Анкаре. Вместе с тем, следствие считает, что бывший госслужащий Шахин Согют якобы лично отдал распоряжение непосредственному исполнителю убить российского дипломата. Все подсудимые отрицают свою причастность к преступлению.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 244, + "generated_len": [ + 182 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.46551724137931033, + "rouge2": 0.14035087719298245 + }, + "predict": " Верховный суд России отменил оправдательный приговор по делу атомной субмарины «Нерпа», возвращая Дмитрия Лаврентьева и Дмитрия Гробова на скамью подсудимых в Тихоокеанском флотском военном суде. Прокуратура обосновала отмену, указав на процессуальные ошибки защиты и ненадлежащее расследование, что привело к изменению вердикта присяжных. Оба обвиняемых обвиняются в причинении вреда в ходе военных испытаний, включая непреднамеренное включение системы пожаротушения, что повлекло за собой серьезные последствия.", + "sample": { + "src_sents": [ + "Верховный суд России отменил оправдательный приговор по делу атомной субмарины «Нерпа».", + "Таким образом, после четырех лет следствия, суда и вердикта присяжных о невиновности командир подлодки Дмитрий Лаврентьев и старшина Дмитрий Гробов вновь окажутся на скамье подсудимых в Тихоокеанском флотском военном суде (ТОФ).", + "«Военная коллегия Верховного суда Российской Федерации удовлетворила кассационное представление военной прокуратуры Тихоокеанского флота по уголовному делу в отношении бывшего командира атомной подводной лодки К-152 гвардии капитана I ранга Дмитрия Лаврентьева и бывшего трюмного машиниста этой же АПЛ старшины I статьи Дмитрия Гробова», — говорится в сообщении военной прокуратуры Тихоокеанского флота.", + "В качестве аргументов прокуратура указывала на процессуальные ошибки, допущенные в ходе суда, которые оказали влияние на присяжных заседателей, пояснил «Газете.Ru» дежурный прокурор ТОФ.", + "В четверг Верховный суд отправил дело Лаврентьева и Гробова в тот же Тихоокеанский флотский военный суд на новое судебное рассмотрение с новым составом присяжных, подтвердил «Газете.Ru» руководитель пресс-службы ВС Павел Одинцов.", + "Поводом для отмены оправдательного приговора послужили ошибки, допущенные стороной защиты: всего в ходе процесса суд сделал стороне защиты около 50 замечаний, пояснил Одинцов.", + "«По мнению Военной коллегии Верховного суда, в ходе судебного заседания стороной защиты допускались неоднократные нарушения процессуального закона, связанные с выяснением обстоятельств, не подлежащих исследованию в присутствии присяжных заседателей», — уточнил Одинцов.", + "Трюмному машинисту Дмитрию Гробову инкриминировалась часть 2 ст. 109 (причинение смерти по неосторожности вследствие ненадлежащего исполнения лицом своих профессиональных обязанностей) и части 2 ст. 118 УК (причинение тяжкого вреда здоровью по неосторожности вследствие ненадлежащего исполнения профессиональных обязанностей).", + "Его командиру Дмитрию Лаврентьеву в вину вменяли пункт «в» части 3 ст. 286 УК РФ (превышение должностных полномочий с причинением тяжких последствий).", + "По версии следствия, 8 ноября 2008 года Гробов во время ходовых испытаний субмарины в Японском море «из любопытства» включил систему пожаротушения ЛОХ (лодочная объемная химическая)." + ], + "summary_sents": [ + "В Тихоокеанский военный суд возвращено уголовное дело о ЧП на атомной подлодке «Нерпа», в ходе которого 20 человек погибли и 21 пострадал.", + "Верховный суд признал незаконным оправдательный приговор матросу Дмитрию Гробову, включившему систему пожаротушения, и командиру субмарины Дмитрию Лаврентьеву, который не объяснил матросу, как вести себя на лодке.", + "Причиной отмены стали ошибки адвокатов." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 3, + 4, + 5, + 6 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Верховный суд России отменил оправдательный приговор по делу атомной субмарины «Нерпа». Таким образом, после четырех лет следствия, суда и вердикта присяжных о невиновности командир подлодки Дмитрий Лаврентьев и старшина Дмитрий Гробов вновь окажутся на скамье подсудимых в Тихоокеанском флотском военном суде (ТОФ). «Военная коллегия Верховного суда Российской Федерации удовлетворила кассационное представление военной прокуратуры Тихоокеанского флота по уголовному делу в отношении бывшего командира атомной подводной лодки К-152 гвардии капитана I ранга Дмитрия Лаврентьева и бывшего трюмного машиниста этой же АПЛ старшины I статьи Дмитрия Гробова», — говорится в сообщении военной прокуратуры Тихоокеанского флота. В качестве аргументов прокуратура указывала на процессуальные ошибки, допущенные в ходе суда, которые оказали влияние на присяжных заседателей, пояснил «Газете.Ru» дежурный прокурор ТОФ. В четверг Верховный суд отправил дело Лаврентьева и Гробова в тот же Тихоокеанский флотский военный суд на новое судебное рассмотрение с новым составом присяжных, подтвердил «Газете.Ru» руководитель пресс-службы ВС Павел Одинцов. Поводом для отмены оправдательного приговора послужили ошибки, допущенные стороной защиты: всего в ходе процесса суд сделал стороне защиты около 50 замечаний, пояснил Одинцов. «По мнению Военной коллегии Верховного суда, в ходе судебного заседания стороной защиты допускались неоднократные нарушения процессуального закона, связанные с выяснением обстоятельств, не подлежащих исследованию в присутствии присяжных заседателей», — уточнил Одинцов. Трюмному машинисту Дмитрию Гробову инкриминировалась часть 2 ст. 109 (причинение смерти по неосторожности вследствие ненадлежащего исполнения лицом своих профессиональных обязанностей) и части 2 ст. 118 УК (причинение тяжкого вреда здоровью по неосторожности вследствие ненадлежащего исполнения профессиональных обязанностей). Его командиру Дмитрию Лаврентьеву в вину вменяли пункт «в» части 3 ст. 286 УК РФ (превышение должностных полномочий с причинением тяжких последствий). По версии следствия, 8 ноября 2008 года Гробов во время ходовых испытаний субмарины в Японском море «из любопытства» включил систему пожаротушения ЛОХ (лодочная объемная химическая).<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 515, + "generated_len": [ + 182 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.33333333333333337, + "rouge2": 0.04878048780487805 + }, + "predict": " В Киеве задержаны двое россиян, подозреваемых в подготовке серии тяжких преступлений, сотрудничавших с российскими спецслужбами и участвовавших в военных конфликтах. Украина готовится к принудительному выдворению задержанных за пределы страны. В январе 2019 года аналогичный случай произошел с украинцем, работавшим в сфере пассажирских перевозок и завербованным СБУ для сбора данных о военных объектах в Крыму.", + "sample": { + "src_sents": [ + "Двое граждан Российской Федерации были задержаны в Киеве национальной полицией Украины.", + "«Оперативники управления стратегических расследований получили информацию о том, что в столицу прибыли граждане Российской Федерации, которые планируют серию тяжких преступлений», — отмечается в заявлении пресс-службы украинской нацполиции.", + "Правоохранительные органы Украины утверждают, что задержанные россияне состояли в неких «вооруженных формированиях», сотрудничали с российскими спецслужбами и принимали участие в военных конфликтах «на территории разных стран».", + "Сейчас Украина готовит материалы для принудительного выдворения задержанных за пределы страны.", + "В январе 2019 года сотрудники УФСБ России по Воронежской области задержали и выдворили из России украинца, который по заданию СБУ собирал данные о военных объектах и передвижении техники в Крыму, говорится в сообщении пресс-службы УФСБ по Крыму.", + "Отмечается, что гражданин Украины Леонид Каплун работал в сфере пассажирских перевозок.", + "Украинские спецслужбы завербовали его, когда он проходил пограничный контроль в пункте пропуска «Каланчак» (Украина), сообщили в ФСБ." + ], + "summary_sents": [ + "Нацполиция Украины задержала в Киеве двух россиян по подозрению в планировании преступлений.", + "Задержанные, по словам представителей украинских правоохранительных органов, работали на спецслужбы РФ и «участвовали в военных конфликтах» за границей." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Двое граждан Российской Федерации были задержаны в Киеве национальной полицией Украины. «Оперативники управления стратегических расследований получили информацию о том, что в столицу прибыли граждане Российской Федерации, которые планируют серию тяжких преступлений», — отмечается в заявлении пресс-службы украинской нацполиции. Правоохранительные органы Украины утверждают, что задержанные россияне состояли в неких «вооруженных формированиях», сотрудничали с российскими спецслужбами и принимали участие в военных конфликтах «на территории разных стран». Сейчас Украина готовит материалы для принудительного выдворения задержанных за пределы страны. В январе 2019 года сотрудники УФСБ России по Воронежской области задержали и выдворили из России украинца, который по заданию СБУ собирал данные о военных объектах и передвижении техники в Крыму, говорится в сообщении пресс-службы УФСБ по Крыму. Отмечается, что гражданин Украины Леонид Каплун работал в сфере пассажирских перевозок. Украинские спецслужбы завербовали его, когда он проходил пограничный контроль в пункте пропуска «Каланчак» (Украина), сообщили в ФСБ.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 244, + "generated_len": [ + 182 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3302752293577982, + "rouge2": 0.14953271028037382 + }, + "predict": " Вертолётостроительный холдинг «Вертолеты России» 15 декабря 2011 года начал размещение дополнительных акций по открытой подписке, планируя привлечь до $900 млн. Совет директоров определил цену размещения на уровне $31,58 за акцию, что позволяет оценить бизнес компании в $3,9 млрд. Холдинг имеет экспортный потенциал, благодаря инновациям в конструкторских бюро Камова и Миля, и может привлечь стратегические инвесторы, включая американскую корпорацию Sikorsky.", + "sample": { + "src_sents": [ + "Вертолетостроительный холдинг «Вертолеты России» 15 декабря 2011 года начал размещение дополнительных акций по открытой подписке, сообщает компания.", + "Объем размещения составляет 28,5 млн акций, или 30% уставного капитала.", + "Накануне совет директоров «Вертолетов России» определил цену размещения на уровне $31,58 за акцию.", + "Исходя из оценки, компания может привлечь до $900 млн, бизнес оценивается в $3,9 млрд.", + "Совет директоров также одобрил договор с Deutsche Bank , который назначит депозитарий для учреждения и обслуживания программы глобальных депозитарных расписок (GDR) на акции компании.", + "Руслан Пухов , руководитель Центра анализа стратегий и технологий , напоминает об экспортном потенциале «Вертолетов России».", + "«Спрос на их технику устойчив, у компании есть проекты, рассчитанные на будущее, и инновационный потенциал — конструкторские бюро Камова и Миля», — заметил он, подчеркнув, что потенциальными покупателями могут выступить зарубежные конкурирующие компании и инвестфонды Ближнего Востока.", + "Покупателем нынешней допэмиссии может выступить стратегический инвестор, согласен Краевский.", + "В феврале сообщалось, что в капитал российского холдинга может войти американская корпорация Sikorsky, напоминает эксперт." + ], + "summary_sents": [ + "«Вертолеты России» начали допэмиссию в объеме 30% уставного капитала.", + "Компания рассчитывает привлечь до $900 млн, оценивая бизнес в $3,9 млрд.", + "Это на 40% больше оценки, которая называлась в апреле, когда компания заявила о планах выйти на IPO.", + "Эксперты не исключают, что допэмиссия проводится в интересах стратегического инвестора." + ], + "support_labels": [ + "YES", + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 1, + 3, + 7 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Вертолетостроительный холдинг «Вертолеты России» 15 декабря 2011 года начал размещение дополнительных акций по открытой подписке, сообщает компания. Объем размещения составляет 28,5 млн акций, или 30% уставного капитала. Накануне совет директоров «Вертолетов России» определил цену размещения на уровне $31,58 за акцию. Исходя из оценки, компания может привлечь до $900 млн, бизнес оценивается в $3,9 млрд. Совет директоров также одобрил договор с Deutsche Bank , который назначит депозитарий для учреждения и обслуживания программы глобальных депозитарных расписок (GDR) на акции компании. Руслан Пухов , руководитель Центра анализа стратегий и технологий , напоминает об экспортном потенциале «Вертолетов России». «Спрос на их технику устойчив, у компании есть проекты, рассчитанные на будущее, и инновационный потенциал — конструкторские бюро Камова и Миля», — заметил он, подчеркнув, что потенциальными покупателями могут выступить зарубежные конкурирующие компании и инвестфонды Ближнего Востока. Покупателем нынешней допэмиссии может выступить стратегический инвестор, согласен Краевский. В феврале сообщалось, что в капитал российского холдинга может войти американская корпорация Sikorsky, напоминает эксперт.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 291, + "generated_len": [ + 182 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3559322033898305, + "rouge2": 0.05172413793103449 + }, + "predict": " Премьер-министр Украины Денис Шмыгаль столкнулся с провалом программы правительства в парламенте, где абсолютное большинство депутатов от правящей партии «Слуга народа» не поддержали его план. Основной причиной неудачи стало несоответствие программы макрофинансовой поддержки МВФ с планами правительства, а также недовольство внутри фракции «Слуга народа» из-за подписания меморандума с Международным валютным фондом. Ситуация усугубилась из-за несогласия некоторых членов партии с позицией президента Владимира Зеленского, что привело к возможному отстранению правительства.", + "sample": { + "src_sents": [ + "Правительство премьер-министра Украины Дениса Шмыгаля осталось без гарантии неприкосновенности после того, как программа кабмина второй раз подряд не набрала необходимое количество голосов со стороны депутатов Верховной рады.", + "В пользу постановления о поддержке высказались 207 из 450 парламентариев, для утверждения плана правительства не хватило лишь 19 голосов.", + "В этот раз кабмин Шмыгаля представил доработанную программу, которая должна была закрепить курс Украины на членство в Евросоюзе и НАТО , да и в целом была основана на предвыборных обещаниях президента Владимира Зеленского и правящей партии «Слуга народа».", + "Главный упор премьер обещал делать на развитии оборонной отрасли и экспортного потенциала Украины.", + "Однако депутаты указали, что новая программа макрофинансовой поддержки МВФ «практически делает невозможным выполнение программы правительства».", + "Дело в том, что меморандум между Украиной и Международным валютным фондом содержит ограничения монетарного и фискального характера, что мешает реализации плана украинского кабмина Впрочем, наиболее интересным стал не факт очередного провального голосования для кабмина, а роль в нем депутатов от «Слуги народа» — обладающей абсолютным большинством в Раде.", + "Из 248 парламентариев в поддержку правительства Шмыгаля выступили только 176 представителей большинства.", + "Остальные фактически проигнорировали голосование.", + "При этом в преддверии заседания Зеленский провел видеоконференцию со своей фракцией, на которой призвал депутатов поддержать план кабмина, пишет «Страна.ua» со ссылкой на источник в партии.", + "Президент указывал, что каждый министр уже написал заявление об отставке, так что они не держаться за свои места.", + "Часть его собственной партии отказался верить главе государства, тем самым сорвав голосование и оставив кабмин в подвешенном состоянии — в любой момент он может быть отправлен в отставку.", + "«Одна заключается в том, что часть правящей партии не увидела каких-либо позитивных перспектив в том, как начало работу новое правительство вместе с премьер-министром.", + "Свою роль также сыграло подписание меморандума с Международным валютным фондом, которое вызвало критику даже внутри фракции «Слуга народа», — пояснил эксперт.", + "Вторая же причина более интересна, так как связана с двумя группами внутри «Слуги народа».", + "Михаил Погребинский также не видит программу правительства главной причиной текущей ситуации.", + "По его словам, одним из ключевых факторов является общая слабость Владимира Зеленского как президента, что провоцирует нелояльность в «Слуге народа».", + "В качестве примера проявления слабости со стороны Зеленского Погребинский приводит недавний инцидент с предъявлением подозрения экс-президенту Украины Петру Порошенко.", + "Политика объявили подозреваемым по делу о превышении служебных полномочий, выразившемся в давлении на главу Службы военной разведки при назначении Сергея Семочко в качестве первого заместителя председателя СВР.", + "Подозрение Порошенко попытались вручить представители генпрокурора во время допроса экс-президента в здании Госбюро расследований." + ], + "summary_sents": [ + "Депутаты Верховной рады отказались поддержать программу правительства Украины.", + "Это создает возможности для преждевременной отставки кабинета министров.", + "Сопротивление оказали депутаты из партии Владимира Зеленского «Слуга народа», хотя президент открыто требовал от них поддержки плана.", + "Эксперт считает, что причина «бунта» кроется в расколе внутри партии, вызванном слабостью президентской власти." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 6, + 7, + 8, + 10, + 13, + 14, + 15 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Правительство премьер-министра Украины Дениса Шмыгаля осталось без гарантии неприкосновенности после того, как программа кабмина второй раз подряд не набрала необходимое количество голосов со стороны депутатов Верховной рады. В пользу постановления о поддержке высказались 207 из 450 парламентариев, для утверждения плана правительства не хватило лишь 19 голосов. В этот раз кабмин Шмыгаля представил доработанную программу, которая должна была закрепить курс Украины на членство в Евросоюзе и НАТО , да и в целом была основана на предвыборных обещаниях президента Владимира Зеленского и правящей партии «Слуга народа». Главный упор премьер обещал делать на развитии оборонной отрасли и экспортного потенциала Украины. Однако депутаты указали, что новая программа макрофинансовой поддержки МВФ «практически делает невозможным выполнение программы правительства». Дело в том, что меморандум между Украиной и Международным валютным фондом содержит ограничения монетарного и фискального характера, что мешает реализации плана украинского кабмина Впрочем, наиболее интересным стал не факт очередного провального голосования для кабмина, а роль в нем депутатов от «Слуги народа» — обладающей абсолютным большинством в Раде. Из 248 парламентариев в поддержку правительства Шмыгаля выступили только 176 представителей большинства. Остальные фактически проигнорировали голосование. При этом в преддверии заседания Зеленский провел видеоконференцию со своей фракцией, на которой призвал депутатов поддержать план кабмина, пишет «Страна.ua» со ссылкой на источник в партии. Президент указывал, что каждый министр уже написал заявление об отставке, так что они не держаться за свои места. Часть его собственной партии отказался верить главе государства, тем самым сорвав голосование и оставив кабмин в подвешенном состоянии — в любой момент он может быть отправлен в отставку. «Одна заключается в том, что часть правящей партии не увидела каких-либо позитивных перспектив в том, как начало работу новое правительство вместе с премьер-министром. Свою роль также сыграло подписание меморандума с Международным валютным фондом, которое вызвало критику даже внутри фракции «Слуга народа», — пояснил эксперт. Вторая же причина более интересна, так как связана с двумя группами внутри «Слуги народа». Михаил Погребинский также не видит программу правительства главной причиной текущей ситуации. По его словам, одним из ключевых факторов является общая слабость Владимира Зеленского как президента, что провоцирует нелояльность в «Слуге народа». В качестве примера проявления слабости со стороны Зеленского Погребинский приводит недавний инцидент с предъявлением подозрения экс-президенту Украины Петру Порошенко. Политика объявили подозреваемым по делу о превышении служебных полномочий, выразившемся в давлении на главу Службы военной разведки при назначении Сергея Семочко в качестве первого заместителя председателя СВР. Подозрение Порошенко попытались вручить представители генпрокурора во время допроса экс-президента в здании Госбюро расследований.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 612, + "generated_len": [ + 182 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3448275862068966, + "rouge2": 0.11188811188811187 + }, + "predict": " Виталий Коваль покидает минское «Динамо» и подписывает контракт с мытищинским «Атлантом». В ближайшее время «Атлант» распустит словецкого вратаря Ян Лашака и нападающего Джеффа Хэмилтона, а также расторгнет контракт с форвардом Денисом Казионовым. В Омске на Мемориале Виктора Блинова прошли матчи регулярного чемпионата КХЛ, где «Барыс» победил «Металлурга» со счётом 3:1. В другом матче «Сибирь» разгромила «Амур» со счётом 4:1. В трансферном рынке отмечаются переход защитника «Спартака» Александра Беркутова в ЦСКА и начало выплаты зарплат «Ладе» за прошлый сезон. Также опубликован состав сборной России на международный турнир в Швеции, где россияне сыграют с командами Швеции, Финляндии и Чехии.", + "sample": { + "src_sents": [ + "Неожиданный переход совершил голкипер сборной Белоруссии Виталий Коваль , покинувший минское «Динамо» и объявившийся в мытищинском «Атланте», с которым в четверг должен подписать контракт.", + "«Виталий однозначно покидает Минск. Утром жду его в Москве, где он поставит подпись под уже готовым контрактом с «Атлантом». Руководство которого, как и мы, просто ожидало, когда вратарь появится в базе КХЛ в статусе неограниченно свободного игрока в связи с досрочным расторжением «Динамо» контракта», — заявил «Прессболу» агент Коваля Вячеслав Махренский.", + "В ближайшее время «Атлант» покинет словацкий голкипер Ян Лашак , а также нападающий Джефф Хэмилтон.", + "Уже расторгнут контракт с форвардом Денисом Казионовым.", + "В среду в Омске на Мемориале Виктора Блинова были сыграны очередные матчи.", + "В первой встрече дня встречались новокузнецкий «Металлург» и астанинский «Барыс».", + "С самого начала матча хоккеисты казахстанского клуба бросились в атаку и уже на третьей минуте встречи открыли счёт.", + "После этого в первой двадцатиминутке у «Металлурга» было несколько неплохих моментов для взятия ворот соперников, но ни один из них так и не увенчался успехом.", + "«Барыс» же свой момент использовал – в конце периода в результате контратаки Боченски удачно сыграл на добивании и увеличил отрыв.", + "В конце периода «Металлург» прижал соперника к воротам, однако так и не смог сравнять счёт.", + "В начале периода новокузнечане удалялись три раза подряд, и в итоге астанинцы сумели воспользоваться численным преимуществом, забросив в ворота «Металлурга» третью шайбу. Гол на счету Андрея Гаврилина.", + "После этого хоккеистам «Металлурга» так и не удалось всколыхнуть сетку ворот «Барыса» — финальная сирена зафиксировала победу клуба из Казахстана со счётом 3:1.", + "В другом матче турнира встречались «Сибирь», которая до этого в Омске разгромила новокузнецкий «Металлург» (6:0), и хабаровский «Амур» , в предыдущих встречах сначала уступивший команде из Новокузнецка (2:3), а потом и хозяевам соревнований — «Авангарду» (2:3).", + "Обе команды активно начали встречу, но постепенно преимущество стало переходить к сибирякам.", + "Новосибирская команда создала в первые 10 минут не мало моментов у ворот Яна Дани, но канадец справлялся с бросками соперников.", + "Однако на 14-й минуте «Сибирь» всё-таки открыла счёт — отличился финский форвард Вилле Ниеминен, реализовавший численное преимущество.", + "«Амур» сдаваться вовсе не собирался, и спустя пять минут сам грамотно сыграл в большинстве – счёт после передачи Алексея Копейкина сравнял Денис Шемелин.", + "Сначала на 40-й минуте встречи голом отметился Юнас Энлунд, а в середине третьей двадцатиминутки шайбу забросил латвийский защитник «Сибири» Георгий Пуяц.", + "Из новостей трансферного рынка стоит выделить переход защитника «Спартака» Александр Беркутов перешёл в стан заклятых конкурентов красно-белых – ЦСКА, сообщает официальный сайт армейцев.", + "Произошло знаменательное событие и в Тольятти – «Лада», наконец, начала выплачивать задолженности по зарплате перед игроками за предыдущий сезон.", + "Также в среду главный тренер молодёжной сборной России Валерий Брагин огласил состав команды на международный «Турнир четырёх стран» в шведском Ничепинге, который пройдёт с пятницы по воскресенье.", + "Соперниками россиян станут команды их сверстников из Швеции, Финляндии и Чехии." + ], + "summary_sents": [ + "В третий день Мемориала Блинова в Омске «Барыс» обыграл новокузнецкий «Металлург» со счётом 3:1, а «Сибирь» с тем же счётом одержала победу над «Амуром».", + "Защитник «Спартака» Александр Беркутов перешел в ЦСКА, голкипер Виталий Коваль — в «Атлант», а «Лада» начала выплачивать задолженности хоккеистам по зарплате." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 5, + 11, + 12, + 17, + 18, + 19 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Неожиданный переход совершил голкипер сборной Белоруссии Виталий Коваль , покинувший минское «Динамо» и объявившийся в мытищинском «Атланте», с которым в четверг должен подписать контракт. «Виталий однозначно покидает Минск. Утром жду его в Москве, где он поставит подпись под уже готовым контрактом с «Атлантом». Руководство которого, как и мы, просто ожидало, когда вратарь появится в базе КХЛ в статусе неограниченно свободного игрока в связи с досрочным расторжением «Динамо» контракта», — заявил «Прессболу» агент Коваля Вячеслав Махренский. В ближайшее время «Атлант» покинет словацкий голкипер Ян Лашак , а также нападающий Джефф Хэмилтон. Уже расторгнут контракт с форвардом Денисом Казионовым. В среду в Омске на Мемориале Виктора Блинова были сыграны очередные матчи. В первой встрече дня встречались новокузнецкий «Металлург» и астанинский «Барыс». С самого начала матча хоккеисты казахстанского клуба бросились в атаку и уже на третьей минуте встречи открыли счёт. После этого в первой двадцатиминутке у «Металлурга» было несколько неплохих моментов для взятия ворот соперников, но ни один из них так и не увенчался успехом. «Барыс» же свой момент использовал – в конце периода в результате контратаки Боченски удачно сыграл на добивании и увеличил отрыв. В конце периода «Металлург» прижал соперника к воротам, однако так и не смог сравнять счёт. В начале периода новокузнечане удалялись три раза подряд, и в итоге астанинцы сумели воспользоваться численным преимуществом, забросив в ворота «Металлурга» третью шайбу. Гол на счету Андрея Гаврилина. После этого хоккеистам «Металлурга» так и не удалось всколыхнуть сетку ворот «Барыса» — финальная сирена зафиксировала победу клуба из Казахстана со счётом 3:1. В другом матче турнира встречались «Сибирь», которая до этого в Омске разгромила новокузнецкий «Металлург» (6:0), и хабаровский «Амур» , в предыдущих встречах сначала уступивший команде из Новокузнецка (2:3), а потом и хозяевам соревнований — «Авангарду» (2:3). Обе команды активно начали встречу, но постепенно преимущество стало переходить к сибирякам. Новосибирская команда создала в первые 10 минут не мало моментов у ворот Яна Дани, но канадец справлялся с бросками соперников. Однако на 14-й минуте «Сибирь» всё-таки открыла счёт — отличился финский форвард Вилле Ниеминен, реализовавший численное преимущество. «Амур» сдаваться вовсе не собирался, и спустя пять минут сам грамотно сыграл в большинстве – счёт после передачи Алексея Копейкина сравнял Денис Шемелин. Сначала на 40-й минуте встречи голом отметился Юнас Энлунд, а в середине третьей двадцатиминутки шайбу забросил латвийский защитник «Сибири» Георгий Пуяц. Из новостей трансферного рынка стоит выделить переход защитника «Спартака» Александр Беркутов перешёл в стан заклятых конкурентов красно-белых – ЦСКА, сообщает официальный сайт армейцев. Произошло знаменательное событие и в Тольятти – «Лада», наконец, начала выплачивать задолженности по зарплате перед игроками за предыдущий сезон. Также в среду главный тренер молодёжной сборной России Валерий Брагин огласил состав команды на международный «Турнир четырёх стран» в шведском Ничепинге, который пройдёт с пятницы по воскресенье. Соперниками россиян станут команды их сверстников из Швеции, Финляндии и Чехии.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 803, + "generated_len": [ + 182 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2702702702702703, + "rouge2": 0.0684931506849315 + }, + "predict": " Корпорация BitTorrent, управляющая крупнейшим файлообменником в мире, сообщила о росте числа пользователей своих программ BitTorrent Mainline и uTorrent до 150 млн человек в месяц, что на 50% больше, чем годом ранее. uTorrent за последние три года увеличился в 4 раза, достигнув 132 млн пользователей. BitTorrent, стартовавшая с 28 млн пользователей в декабре 2008 года, продолжает укреплять свою позицию в мире интернета, поддерживая партнерские отношения с российскими и словацкими компаниями. Компании-владельцы торрент-трекеров обещают удалять файлы по требованию правообладателей, но это не мешает проведению презентации на выставке CES в Лас-Вегасе. По данным BitTorrent, персональные медиафайлы становятся все более популярными, и пиринговые технологии являются наиболее быстрым способом отправки больших файлов.", + "sample": { + "src_sents": [ + "Число пользователей BitTorrent Mainline и uTorrent — программ, обеспечивающих передачу файлов в интернете, — достигло 150 млн человек в месяц, сообщила корпорация BitTorrent, управляющая одним из крупнейших файлообменников в мире.", + "Обе программы увеличили пользовательскую базу более чем на 50% по сравнению с прошлым годом.", + "Число ежемесячных пользователей uTorrent за последние три года выросло более чем в четыре раза.", + "BitTorrent стартовал с 28 млн пользователей в декабре 2008 года, набрав в прошлом месяце 132 млн пользователей.", + "«Это знаменует собой удивительную веху для нашей компании, и мы хотим поблагодарить наших постоянных пользователей и партнеров за их поддержку, — приводит портал TorrentFreak слова исполнительного директора BitTorrent Эрика Клинкера. — Наш протокол и программы-клиенты стали одними из самых распространенных технологий в истории интернета».", + "Владельцы торрент-трекеров отвечают, что готовы удалять файлы по требованию правообладателей.", + "Споры с правообладателями не помешали BitTorrent провести презентацию на выставке электроники CES в Лас-Вегасе.", + "Среди партнеров BitTorrent в этом проекте российская компания BBK Electronics и словацкая Antik Technology, а также Dune HD и AirTies.", + "«Персональные медиафайлы становятся все больше, поскольку разрешение записывающих устройств увеличилось, — цитирует Market Watch главу по развитию BitTorrent Шахи Ганема. — Пиринговые технологии являются самым быстрым способом отправки больших файлов»." + ], + "summary_sents": [ + "Суды с правообладателями не смогли приостановить развитие торрентов.", + "Ежемесячная аудитория популярных торрент-клиентов достигла 150 млн пользователей и растет на 50% в год, отчиталась корпорация BitTorrent.", + "В планах владельцев торрентов — выход с собственным брендом на рынок телевизоров ." + ], + "support_labels": [ + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 0, + 1, + 6 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Число пользователей BitTorrent Mainline и uTorrent — программ, обеспечивающих передачу файлов в интернете, — достигло 150 млн человек в месяц, сообщила корпорация BitTorrent, управляющая одним из крупнейших файлообменников в мире. Обе программы увеличили пользовательскую базу более чем на 50% по сравнению с прошлым годом. Число ежемесячных пользователей uTorrent за последние три года выросло более чем в четыре раза. BitTorrent стартовал с 28 млн пользователей в декабре 2008 года, набрав в прошлом месяце 132 млн пользователей. «Это знаменует собой удивительную веху для нашей компании, и мы хотим поблагодарить наших постоянных пользователей и партнеров за их поддержку, — приводит портал TorrentFreak слова исполнительного директора BitTorrent Эрика Клинкера. — Наш протокол и программы-клиенты стали одними из самых распространенных технологий в истории интернета». Владельцы торрент-трекеров отвечают, что готовы удалять файлы по требованию правообладателей. Споры с правообладателями не помешали BitTorrent провести презентацию на выставке электроники CES в Лас-Вегасе. Среди партнеров BitTorrent в этом проекте российская компания BBK Electronics и словацкая Antik Technology, а также Dune HD и AirTies. «Персональные медиафайлы становятся все больше, поскольку разрешение записывающих устройств увеличилось, — цитирует Market Watch главу по развитию BitTorrent Шахи Ганема. — Пиринговые технологии являются самым быстрым способом отправки больших файлов».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 329, + "generated_len": [ + 182 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.44000000000000006, + "rouge2": 0.163265306122449 + }, + "predict": " В городе Керман на церемонии прощания с командующим Корпуса стражей исламской революции Касемом Сулеймани, который был убит США 3 января в Багдаде, погибли 40 человек, а 213 пострадали из-за давки. Операция США против Сулеймани была связана с нападением на американское посольство в Багдаде 31 декабря 2019 года. Погребение Сулеймани было перенесено из-за большого числа участников, прибывших со всей провинции.", + "sample": { + "src_sents": [ + "На церемонии прощания с командующим силами специального назначения «Аль-Кудс» Корпуса стражей исламской революции (КСИР, элитные части ВС Ирана) Касемом Сулеймани , которая проходила в городе Керман, погибли 40 человек, до 213 пострадали, сообщает агентство Fars со ссылкой на главу Организации экстренной помощи Ирана Пирхосейна Куливанда.", + "Причиной давки, как объясняют в медицинских службах, стало слишком большое число участников: попрощаться с Сулеймани приехали люди со всей провинции.", + "Из-за сложившихся обстоятельств захоронение Сулеймани было перенесено.", + "Точное время мероприятия пока не объявлено.", + "США провели операцию против Сулеймани в ночь на 3 января в районе международного аэропорта Багдада.", + "В Вашингтоне их считают причастными к организации нападения на американское посольство в Багдаде 31 декабря 2019 года.", + "В этот день перед диппредставительством началась массовая акция протеста против атаки ВВС США по позициям шиитских ополченцев в Ираке и Сирии." + ], + "summary_sents": [ + "40 человек погибли и до 213 пострадали в давке на церемонии прощания с убитым в ходе спецоперации США иранским генералом Касемом Сулеймани, передают СМИ.", + "В результате было решено перенести время погребения Сулеймани.", + "Похороны проходят в его родном городе Керман." + ], + "support_labels": [ + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 0, + 2 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: На церемонии прощания с командующим силами специального назначения «Аль-Кудс» Корпуса стражей исламской революции (КСИР, элитные части ВС Ирана) Касемом Сулеймани , которая проходила в городе Керман, погибли 40 человек, до 213 пострадали, сообщает агентство Fars со ссылкой на главу Организации экстренной помощи Ирана Пирхосейна Куливанда. Причиной давки, как объясняют в медицинских службах, стало слишком большое число участников: попрощаться с Сулеймани приехали люди со всей провинции. Из-за сложившихся обстоятельств захоронение Сулеймани было перенесено. Точное время мероприятия пока не объявлено. США провели операцию против Сулеймани в ночь на 3 января в районе международного аэропорта Багдада. В Вашингтоне их считают причастными к организации нападения на американское посольство в Багдаде 31 декабря 2019 года. В этот день перед диппредставительством началась массовая акция протеста против атаки ВВС США по позициям шиитских ополченцев в Ираке и Сирии.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 240, + "generated_len": [ + 182 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.25609756097560976, + "rouge2": 0.024691358024691357 + }, + "predict": " Решение Илона Маска возобновить работу на фабриках Tesla в разгар пандемии COVID-19 привело к значительному росту числа заболевших среди сотрудников и временных контрактов. Несмотря на принятые меры по борьбе с инфекцией, включая установку мобильных станций для мытья рук и температурных сканеров, некоторые сотрудники и эксперты указывают на недостаточное соблюдение рекомендаций по маскированию и социальной дистанции. Вице-президент Tesla по безопасности и здравоохранению, в свою очередь, заявил, что официальные данные о заболевших могут быть завышены из-за ложноположительных тестов. Это вызвало недовольство среди сотрудников и общественности, которые критикуют политику компании в отношении контроля и предотвращения распространения коронавируса.", + "sample": { + "src_sents": [ + "Решение Илона Маска возобновить производство на фабриках Tesla в мае, вопреки карантину, а также его халатное отношение к пандемии ударило по сотрудникам компании.", + "Как сообщает портал Electrek со ссылкой на внутренние документы компании, в последние две недели количество заразившихся сотрудников компании, а также тех, кто находился с ними в тесном контакте, резко увеличилось.", + "Так, если верить утечке, свыше 130 работников Tesla получили положительные результаты при тестировании на коронавирус.", + "Кроме того, есть данные о паре десятков заболевших, являющихся временными сотрудниками, либо подрядчиками компании.", + "При этом количество «пострадавших» от COVID-19 внутри Tesla превысило 1550 человек.", + "К «пострадавшим» относятся те сотрудники, которые могли находиться в контакте с коллегами, у которых впоследствии был выявлен коронавирус.", + "Производитель электрокаров принял ряд мер, чтобы не допустить распространения коронавируса на своих объектах — в том числе установил мобильные станции для мытья рук и температурные сканеры.", + "Кроме того, сотрудники обязаны носить маски и соблюдать социальную дистанцию.", + "Однако некоторые сотрудники утверждают, что на фабриках соблюдаются не все рекомендации.", + "Это связано, в том числе, со спецификой работы Tesla — сотрудники цехов не могут целый день носить маску, как предписывает регламент, а также тщательно чистить все общие инструменты после использования, так как это существенно замедляет их работу.", + "Даже сам генеральный директор Tesla Илон Маск во время посещения фабрики в июне был замечен без маски на лице.", + "В начале июля Илон Маск выдвинул теорию о том, что официальные цифры касательно заболевших COVID-19 в США нельзя считать верными из-за вероятности ложноположительных тестов, которые тоже входят в статистику.", + "Пользователи соцсетей остались недовольны выводами главы Tesla, напомнив ему, что все его предыдущие прогнозы относительно коронавируса оказались неправдой." + ], + "summary_sents": [ + "Более 130 сотрудников Tesla заразились коронавирусом с момента открытия заводов компании в мае, сообщает портал Electrek со ссылкой на внутреннюю документацию бренда.", + "Кроме того, количество работников, имевших контакт с заболевшими, достигло 1550 человек, резко увеличившись за последние две недели.", + "Сотрудники компании утверждают, что на фабриках не соблюдаются все необходимые меры безопасности — даже глава Tesla Илон Маск был замечен на одном из объектов без маски на лице." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 4, + 5, + 8, + 10 + ], + "category": "tech" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Решение Илона Маска возобновить производство на фабриках Tesla в мае, вопреки карантину, а также его халатное отношение к пандемии ударило по сотрудникам компании. Как сообщает портал Electrek со ссылкой на внутренние документы компании, в последние две недели количество заразившихся сотрудников компании, а также тех, кто находился с ними в тесном контакте, резко увеличилось. Так, если верить утечке, свыше 130 работников Tesla получили положительные результаты при тестировании на коронавирус. Кроме того, есть данные о паре десятков заболевших, являющихся временными сотрудниками, либо подрядчиками компании. При этом количество «пострадавших» от COVID-19 внутри Tesla превысило 1550 человек. К «пострадавшим» относятся те сотрудники, которые могли находиться в контакте с коллегами, у которых впоследствии был выявлен коронавирус. Производитель электрокаров принял ряд мер, чтобы не допустить распространения коронавируса на своих объектах — в том числе установил мобильные станции для мытья рук и температурные сканеры. Кроме того, сотрудники обязаны носить маски и соблюдать социальную дистанцию. Однако некоторые сотрудники утверждают, что на фабриках соблюдаются не все рекомендации. Это связано, в том числе, со спецификой работы Tesla — сотрудники цехов не могут целый день носить маску, как предписывает регламент, а также тщательно чистить все общие инструменты после использования, так как это существенно замедляет их работу. Даже сам генеральный директор Tesla Илон Маск во время посещения фабрики в июне был замечен без маски на лице. В начале июля Илон Маск выдвинул теорию о том, что официальные цифры касательно заболевших COVID-19 в США нельзя считать верными из-за вероятности ложноположительных тестов, которые тоже входят в статистику. Пользователи соцсетей остались недовольны выводами главы Tesla, напомнив ему, что все его предыдущие прогнозы относительно коронавируса оказались неправдой.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 416, + "generated_len": [ + 145 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4065040650406504, + "rouge2": 0.2479338842975206 + }, + "predict": " Жители деревни Гуидор на северо-западе Ирландии Конор Макклори и Софи Каррэн нашли на берегу Атлантического океана капсулу времени, выброшенную с российского атомного ледокола «50 лет Победы» в 2018 году. Внутри капсулы находились письма, пивные крышки, пробки от вина, значки и меню команды ледокола. Экспедиция к Северному полюсу собрала «посылку» и высадила капсулу в ледяном покрове, но лед растаял быстрее, чем ожидалось. Макклори и Каррэн собираются перевести и остальные тексты, написанные на русском языке, в капсуле.", + "sample": { + "src_sents": [ + "Жители деревни Гуидор на северо-западе Ирландии Конор Макклори и Софи Каррэн, увлекающиеся серфингом, нашли на берегу Атлантического океана капсулу времени, сброшенную с российского атомного ледокола «50 лет Победы» в 2018 году. Об этом сообщает Donegal Daily.", + "Мужчина не сразу определил, что именно попало в его руки.", + "Сначала Макклори подумал, что это стальная труба корабля.", + "А увидев на предмете гравировку, решил, что это бомба.", + "Когда же Макклори заметил дату, то предположил, что нашел урну с чьим-то прахом.", + "«Я позвонил приятелю, у которого есть русский друг, и он перевел мне текст. Он сказал, что это капсула времени, и я должен ее открыть», — рассказал Макклори.", + "Внутри находились письма от команды, пивные крышки, пробки от вина, значки и меню с корабля.", + "Некоторые письма были на английском языке.", + "Собрать «посылку» решили два года назад участники экспедиции к Северному полюсу.", + "Ледокол берет пассажиров в 14-дневные путешествия.", + "Выяснилось, что капсулу поместили в ледник во время путешествия, высадившись на вертолете.", + "Однако лед растаял быстрее, чем ожидалось. Это удивило Светлану.", + "Согласно подсчету Макклори, за два года в море капсула преодолела примерно 3,8 тыс. км к берегам Ирландии.", + "В одном из писем на английском языке высказывался прогноз, что капсулу обнаружат, когда льда на Северном полюсе больше не останется.", + "В тексте также говорилось о необходимости заботиться о планете.", + "Теперь Макклори намерен перевести и остальные тексты, написанные на русском." + ], + "summary_sents": [ + "Капсулу времени с российского атомного ледокола «50 лет Победы» нашли ирландские серферы на побережье Атлантики.", + "Россияне спрятали металлический цилиндр во время экспедиции к Северному полюсу в 2018 году.", + "Однако ледник растаял быстрее, чем ожидалось.", + "За два года капсула проплыла почти 4 тыс. км по направлению к Ирландии." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 8, + 11, + 12 + ], + "category": "science" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Жители деревни Гуидор на северо-западе Ирландии Конор Макклори и Софи Каррэн, увлекающиеся серфингом, нашли на берегу Атлантического океана капсулу времени, сброшенную с российского атомного ледокола «50 лет Победы» в 2018 году. Об этом сообщает Donegal Daily. Мужчина не сразу определил, что именно попало в его руки. Сначала Макклори подумал, что это стальная труба корабля. А увидев на предмете гравировку, решил, что это бомба. Когда же Макклори заметил дату, то предположил, что нашел урну с чьим-то прахом. «Я позвонил приятелю, у которого есть русский друг, и он перевел мне текст. Он сказал, что это капсула времени, и я должен ее открыть», — рассказал Макклори. Внутри находились письма от команды, пивные крышки, пробки от вина, значки и меню с корабля. Некоторые письма были на английском языке. Собрать «посылку» решили два года назад участники экспедиции к Северному полюсу. Ледокол берет пассажиров в 14-дневные путешествия. Выяснилось, что капсулу поместили в ледник во время путешествия, высадившись на вертолете. Однако лед растаял быстрее, чем ожидалось. Это удивило Светлану. Согласно подсчету Макклори, за два года в море капсула преодолела примерно 3,8 тыс. км к берегам Ирландии. В одном из писем на английском языке высказывался прогноз, что капсулу обнаружат, когда льда на Северном полюсе больше не останется. В тексте также говорилось о необходимости заботиться о планете. Теперь Макклори намерен перевести и остальные тексты, написанные на русском.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 383, + "generated_len": [ + 145 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.34188034188034183, + "rouge2": 0.1391304347826087 + }, + "predict": " Honda отзывает 693 497 автомобилей из-за дефектов пружин клапана в двигателе, включая компактвэны Freed и хетчбэки Fit, с 2007 по 2009 годы. Ремонт обойдется в 3,28 млрд иен ($39 млн), что составляет примерно $232 на каждый автомобиль. В России не затронуты машины под названием Jazz. Дефекты могут вызвать посторонние шумы или отказ двигателя. Ранее компания отзывала автомобили из-за проблем с фарами и подушками безопасности. General Motors также объявил о необходимости ремонта 44 000 своих автомобилей.", + "sample": { + "src_sents": [ + "Компания Honda отзывает по всему миру 693 497 автомобилей из-за дефектов пружин клапана холостого хода в двигателе.", + "Как сообщает Reuters, сервисная кампания затронет автомобили Fit, Freed и City.", + "В частности, в группу риска попали компактвэны Freed, изготовленные с середины мая 2008 года по конец ноября 2009 года и хетчбэки Fit, произведенные с сентября 2007 года до середины ноября 2009 года.", + "В России хетчбэки Honda Fit продаются под именем Jazz, однако, как сообщили «Газете.Ru» в представительстве компании, официально проданные на территории нашей страны машины этой модели не попадают под действие данной сервисной кампании.", + "Неисправность пружин в двигателе автомобилей Honda может проявиться со временем необычными посторонними шумами, в худшем случае – мотор может заглохнуть и не запуститься, поясняет Nikkei.", + "Нынешние ремонты только в Японии обойдутся компании примерно в 3,28 млрд иен ($39 млн) – примерно по $232 на каждый автомобиль.", + "Ранее в декабре японская компания объявила отзыв 1,35 млн малолитражек Fit для ремонта проводки в фарах головного света.", + "Большая часть отзывов затронет Японию (735 тыс. единиц).", + "В Европе было отозвано 385 тысяч автомобилей, а в США 143 тысячи.", + "В 2008-2009 годах по этой причине были отозваны около 510 тысяч автомобилей, а в 2010 году – еще 380 тысяч.", + "При этом на ремонт каждой из них пришлось потратить около $67.", + "Потенциально опасными подушками оснащались Honda Accord, Civic, кроссоверы CR-V, минивэны Odyssey, а также Acura TL, изготовленные в 2001–2002 годах.", + "При срабатывании в подушках безопасности создавалось избыточное давление, в результате чего подушка могла лопнуть, а водитель – быть травмирован.", + "Представители Honda говорили тогда об 11 пострадавших.", + "Нынешние потенциальные дефекты в двигателях Fit, Freed и City, к авариям и травмам не приводили.", + "Также о необходимости ремонта 44 тысяч своих машин накануне заявил концерн General Motors." + ], + "summary_sents": [ + "Honda отзовет по всему миру окло 700 тысяч малолитражек из-за дефектов детали двигателя.", + "Неисправность пружины может привести к посторонним шумам при работе мотора и его затрудненному запуску.", + "Ранее автопроизводитель отзывал автомобили из-за возможных проблем с подушками безопасности." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 4, + 9, + 10, + 11 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Компания Honda отзывает по всему миру 693 497 автомобилей из-за дефектов пружин клапана холостого хода в двигателе. Как сообщает Reuters, сервисная кампания затронет автомобили Fit, Freed и City. В частности, в группу риска попали компактвэны Freed, изготовленные с середины мая 2008 года по конец ноября 2009 года и хетчбэки Fit, произведенные с сентября 2007 года до середины ноября 2009 года. В России хетчбэки Honda Fit продаются под именем Jazz, однако, как сообщили «Газете.Ru» в представительстве компании, официально проданные на территории нашей страны машины этой модели не попадают под действие данной сервисной кампании. Неисправность пружин в двигателе автомобилей Honda может проявиться со временем необычными посторонними шумами, в худшем случае – мотор может заглохнуть и не запуститься, поясняет Nikkei. Нынешние ремонты только в Японии обойдутся компании примерно в 3,28 млрд иен ($39 млн) – примерно по $232 на каждый автомобиль. Ранее в декабре японская компания объявила отзыв 1,35 млн малолитражек Fit для ремонта проводки в фарах головного света. Большая часть отзывов затронет Японию (735 тыс. единиц). В Европе было отозвано 385 тысяч автомобилей, а в США 143 тысячи. В 2008-2009 годах по этой причине были отозваны около 510 тысяч автомобилей, а в 2010 году – еще 380 тысяч. При этом на ремонт каждой из них пришлось потратить около $67. Потенциально опасными подушками оснащались Honda Accord, Civic, кроссоверы CR-V, минивэны Odyssey, а также Acura TL, изготовленные в 2001–2002 годах. При срабатывании в подушках безопасности создавалось избыточное давление, в результате чего подушка могла лопнуть, а водитель – быть травмирован. Представители Honda говорили тогда об 11 пострадавших. Нынешние потенциальные дефекты в двигателях Fit, Freed и City, к авариям и травмам не приводили. Также о необходимости ремонта 44 тысяч своих машин накануне заявил концерн General Motors.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 531, + "generated_len": [ + 145 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.366412213740458, + "rouge2": 0.13953488372093023 + }, + "predict": " Сергей Валяев, главный тренер украинского клуба «Металлист 1925», был уволен из-за превышения полномочий и попыток создания конфликтной атмосферы среди футболистов и сотрудников команды. Официальной причиной увольнения стала несоответствие этическим и профессиональным качествам, пренебрежение к чести и достоинству игроков и работников клуба. В апреле Валяев был приглашен в команду, однако через четыре месяца его отстранение стало результатом его действий, направленных на подрыв команды и конфликт с руководством. Этот случай вызвал интерес к появившимся кротовым норам на домашнем стадионе «Металлист», где «горняки» также известны как «кроты».", + "sample": { + "src_sents": [ + "Главный тренер украинского клуба «Металлист 1925» Сергей Валяев лишился своего поста спустя четыре месяца работы в команде.", + "Любопытно, что 39-летний специалист был уволен не из-за плохих результатов харьковчан, а из-за того, что превысил свои полномочия и, по мнению руководства желто-синих, якобы намеревался создать конфликтную атмосферу среди футболистов и работников команды.", + "Официальной причиной увольнения тренера называется «несоответствие этическим и профессиональным качествам, пренебрежение к чести и достоинству футболистов и работников клуба».", + "Об отстранении Валяева от исполнения обязанностей сообщил генеральный директор «Металлиста» Владимир Линке, который сам же и пригласил украинского тренера в команду в мае этого года.", + "«Беру на себя всю ответственность за мою рекомендацию Сергея Валяева и назначение его на должность главного тренера нашего клуба. Это моя личная ошибка, поскольку я не мог представить, что взвешенный, спокойный и толерантный человек, хорошо работавший в нашей команде «Металлист Юниор», получив все полномочия и власть руководителя, превратится в грубую, непоследовательную, бессистемную личность. На все желания Сергея Валяева наш клуб отвечал должным образом, несмотря на существенные расходы, и делал все для обеспечения его комфортной работы. К большому сожалению, Сергей Валяев прибегнул к интригам, конфликтам почти со всеми сотрудниками, созданию различных группировок в командной среде, пренебрежении к ветеранам и ведущим игрокам, оскорблениям и безосновательным обвинениям, особенно тех, кто сделал личный значительный вклад в создание команды и ее победы. Болельщикам, всем неравнодушным и любителям футбола — мои глубокие извинения», — цитирует генерального директора желто-синих пресс-служба клуба.", + "Примечательно, что Валяев намекнул на разногласия с функционерами еще месяц назад.", + "— «Газета.Ru») «Металлист 1925» — СК «Днепр-1», в котором харьковчане потерпели поражение со счетом 0:2, Валяев выразил беспокойство по поводу своего положения в клубе.", + "«Сегодня была боевая, хорошая игра. Но, скорее всего, я напишу заявление об увольнении, потому что есть моменты футбольные, а есть нефутбольные. Я их понять не могу. У меня земля уходит из-под ног. Я так не могу работать. Футболисты молодцы — им честь и хвала. Я им очень благодарен, проявили характер. Но мне, честно говоря, в таких условиях работать сложно, с такой «поддержкой», как у меня, очень трудно. Перед матчем в Луцке я хотел написать заявление об увольнении, решил взять паузу, но вижу, что отношение ко мне не меняется. Буду разговаривать с руководством, стоит ли мне занимать должность тренера. Я профессионал, я привык выполнять свою работу хорошо, вкладывать душу, здоровье и эмоции. Я думаю, вы сегодня видели мои эмоции на стадионе. Поэтому я хочу, чтобы меня уважали. Со стороны некоторых людей уважения нет. Я собираюсь спросить: нужен ли я здесь? Я парень гордый, я могу пойти на компромисс, но, простите, есть вещи, которые принять и понять не могу», — сказал Валяев еще 11 августа.", + "На фоне этих подковерных игр забавно выглядит новость о появившихся кротах на домашнем стадионе харьковского клуба.", + "Перед матчем #ШахтерХоффенхайм на ОСК «Металлист» в Харькове появились кротовьи норы в районе углового флажка северной трибуны. pic.twitter.com/acX9PMyB5M 19 сентября «горняки», у которых также имеется символичное прозвище «кроты», в Харькове примут немецкий «Хоффенхайм» в рамках 1-го тура группового этапа Лиги чемпионов.", + "Ознакомиться с другими новостями, материалами и статистикой вы можете на странице украинского футбола , а также в группах отдела спорта в социальных сетях Facebook и «Вконтакте» ." + ], + "summary_sents": [ + "Руководство украинского футбольного клуба «Металлист 1925» со скандалом уволило Сергея Валяева с поста главного тренера спустя четыре месяца после назначения.", + "39-летнего специалиста обвинили в оскорблении чести и достоинства футболистов и сотрудников клуба.", + "В ответ тренер заявил, что он «парень гордый» и требует к себе уважения." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2, + 7 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Главный тренер украинского клуба «Металлист 1925» Сергей Валяев лишился своего поста спустя четыре месяца работы в команде. Любопытно, что 39-летний специалист был уволен не из-за плохих результатов харьковчан, а из-за того, что превысил свои полномочия и, по мнению руководства желто-синих, якобы намеревался создать конфликтную атмосферу среди футболистов и работников команды. Официальной причиной увольнения тренера называется «несоответствие этическим и профессиональным качествам, пренебрежение к чести и достоинству футболистов и работников клуба». Об отстранении Валяева от исполнения обязанностей сообщил генеральный директор «Металлиста» Владимир Линке, который сам же и пригласил украинского тренера в команду в мае этого года. «Беру на себя всю ответственность за мою рекомендацию Сергея Валяева и назначение его на должность главного тренера нашего клуба. Это моя личная ошибка, поскольку я не мог представить, что взвешенный, спокойный и толерантный человек, хорошо работавший в нашей команде «Металлист Юниор», получив все полномочия и власть руководителя, превратится в грубую, непоследовательную, бессистемную личность. На все желания Сергея Валяева наш клуб отвечал должным образом, несмотря на существенные расходы, и делал все для обеспечения его комфортной работы. К большому сожалению, Сергей Валяев прибегнул к интригам, конфликтам почти со всеми сотрудниками, созданию различных группировок в командной среде, пренебрежении к ветеранам и ведущим игрокам, оскорблениям и безосновательным обвинениям, особенно тех, кто сделал личный значительный вклад в создание команды и ее победы. Болельщикам, всем неравнодушным и любителям футбола — мои глубокие извинения», — цитирует генерального директора желто-синих пресс-служба клуба. Примечательно, что Валяев намекнул на разногласия с функционерами еще месяц назад. — «Газета.Ru») «Металлист 1925» — СК «Днепр-1», в котором харьковчане потерпели поражение со счетом 0:2, Валяев выразил беспокойство по поводу своего положения в клубе. «Сегодня была боевая, хорошая игра. Но, скорее всего, я напишу заявление об увольнении, потому что есть моменты футбольные, а есть нефутбольные. Я их понять не могу. У меня земля уходит из-под ног. Я так не могу работать. Футболисты молодцы — им честь и хвала. Я им очень благодарен, проявили характер. Но мне, честно говоря, в таких условиях работать сложно, с такой «поддержкой», как у меня, очень трудно. Перед матчем в Луцке я хотел написать заявление об увольнении, решил взять паузу, но вижу, что отношение ко мне не меняется. Буду разговаривать с руководством, стоит ли мне занимать должность тренера. Я профессионал, я привык выполнять свою работу хорошо, вкладывать душу, здоровье и эмоции. Я думаю, вы сегодня видели мои эмоции на стадионе. Поэтому я хочу, чтобы меня уважали. Со стороны некоторых людей уважения нет. Я собираюсь спросить: нужен ли я здесь? Я парень гордый, я могу пойти на компромисс, но, простите, есть вещи, которые принять и понять не могу», — сказал Валяев еще 11 августа. На фоне этих подковерных игр забавно выглядит новость о появившихся кротах на домашнем стадионе харьковского клуба. Перед матчем #ШахтерХоффенхайм на ОСК «Металлист» в Харькове появились кротовьи норы в районе углового флажка северной трибуны. pic.twitter.com/acX9PMyB5M 19 сентября «горняки», у которых также имеется символичное прозвище «кроты», в Харькове примут немецкий «Хоффенхайм» в рамках 1-го тура группового этапа Лиги чемпионов. Ознакомиться с другими новостями, материалами и статистикой вы можете на странице украинского футбола , а также в группах отдела спорта в социальных сетях Facebook и «Вконтакте» .<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 862, + "generated_len": [ + 145 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2602739726027397, + "rouge2": 0.041666666666666664 + }, + "predict": " Президент Украины Петр Порошенко заявил о повышении ценности украинского гражданства в индексе Henley & Partners, что связано с открытием безвизового режима для украинцев в ЕС. Однако его слова вызвали критику в социальных сетях, особенно из-за критики в адрес его политики по отношению к экономике и армии страны. Также были высказаны сомнения в подлинности заявлений о рождении ребенка в США, что вызвало неоднозначную реакцию общественности. В интервью бывший партнер Порошенко Александр Онищенко подтвердил, что режим Порошенко более коррупционный, чем власть Януковича, и выразил недовольство своей позиции в администрации.", + "sample": { + "src_sents": [ + "«Ценность украинского паспорта выросла на 20 позиций в индексе гражданств мира компании Henley & Partners», — заявил Порошенко в своем твиттере в конце прошлой недели.", + "«Эксперты международного рейтинга отметили скачок увеличения ценности украинского гражданства за последний год благодаря открытию границ ЕС для украинцев», — написал президент Украины.", + "Не успел написать это в своем микроблоге, как сразу ему в ответ посыпались скептические ответы рядовых граждан.", + "«Поднимайте уровень жизни, а не рейтинг паспорта», — написал @VitaliiA5.", + "«А до вымирания населения Украины никому никакого дела», — возмутился @toralex46.", + "«Я не понимаю, какая заслуга Порошенко в введении безвиза?— написал @volduma. — Он делал все, чтобы извратить реформы. Людей, которые действительно что-то делали, выгоняли из Украины. Если бы не Порошенко, то ВВП Украины ежегодно рос на десять процентов минимум».", + "Роды жены одного из самых патриотичных украинских министров вызвали неоднозначную реакцию общественности.", + "По их мнению, слова Омеляна расходятся с его делами, ведь рождение ребенка в Соединенных Штатах наверняка связано с желанием получить гражданство именного этого государства, а не Украины.", + "Заявление Порошенко про ценность украинского паспорта также прозвучало насмешкой на фоне сообщений в прессе о том, что жителям Закарпатья уже выдано около 100 тыс. венгерских паспортов.", + "Второе заявление Порошенко, вызвавшее насмешки, связано с состоянием украинской армии.", + "«За последние четыре года нам удалось не просто возродить армию, а превратить ВСУ в одну из самых эффективных армий в Европе, — заявил президент Украины. — Очередное подтверждение этому — участие наших десантников в прохождении курса контрштурмовых действий в Польше, где наши военные показали лучшие результаты».", + "Ряд наблюдателей связывают повышенную публичную активность главы государства с попыткой сменить повестку дня, в которой в последнее время все чаще доминируют коррупционные обвинения в адрес Порошенко.", + "Именно в ней в воскресенье появилось пространное интервью бывшего партнера Порошенко Александра Онищенко , который повторил свой тезис о том, что режим Порошенко еще более коррупционный, чем власть Януковича.", + "«Порошенко хочет не одну только половину, он хочет получить все. У меня была с ним договоренность: оставь в покое меня и мой бизнес, позволь зарабатывать деньги, тогда я открыто и легально буду поддерживать твою политику», — пояснил Онищенко.", + "«Я инвестировал практически все свои деньги, выполняя его задания. Как только я собрал все газовые компании под одной крышей, Порошенко решил от меня избавиться и изгнать из страны. Это была новая бизнес-модель Порошенко. Он уже не хотел покупать предприятия, а хотел получать мзду за крышевание», — отметил беглый партнер президента Украины." + ], + "summary_sents": [ + "Петр Порошенко вновь выступил с заявлениями, которые застали врасплох украинский народ.", + "Первое касается ценности украинского паспорта, второе — Вооруженных сил Украины.", + "Простые граждане страны недоумевают, на чем основаны выводы, к которым приходит президент Украины.", + "Эксперты полагают, что Порошенко, возможно, просто пытается переключить внимание народа с коррупционных разоблачений, с которыми в украинских и мировых СМИ выступает его бывший бизнес-партнер." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 3, + 4, + 5, + 10, + 11 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: «Ценность украинского паспорта выросла на 20 позиций в индексе гражданств мира компании Henley & Partners», — заявил Порошенко в своем твиттере в конце прошлой недели. «Эксперты международного рейтинга отметили скачок увеличения ценности украинского гражданства за последний год благодаря открытию границ ЕС для украинцев», — написал президент Украины. Не успел написать это в своем микроблоге, как сразу ему в ответ посыпались скептические ответы рядовых граждан. «Поднимайте уровень жизни, а не рейтинг паспорта», — написал @VitaliiA5. «А до вымирания населения Украины никому никакого дела», — возмутился @toralex46. «Я не понимаю, какая заслуга Порошенко в введении безвиза?— написал @volduma. — Он делал все, чтобы извратить реформы. Людей, которые действительно что-то делали, выгоняли из Украины. Если бы не Порошенко, то ВВП Украины ежегодно рос на десять процентов минимум». Роды жены одного из самых патриотичных украинских министров вызвали неоднозначную реакцию общественности. По их мнению, слова Омеляна расходятся с его делами, ведь рождение ребенка в Соединенных Штатах наверняка связано с желанием получить гражданство именного этого государства, а не Украины. Заявление Порошенко про ценность украинского паспорта также прозвучало насмешкой на фоне сообщений в прессе о том, что жителям Закарпатья уже выдано около 100 тыс. венгерских паспортов. Второе заявление Порошенко, вызвавшее насмешки, связано с состоянием украинской армии. «За последние четыре года нам удалось не просто возродить армию, а превратить ВСУ в одну из самых эффективных армий в Европе, — заявил президент Украины. — Очередное подтверждение этому — участие наших десантников в прохождении курса контрштурмовых действий в Польше, где наши военные показали лучшие результаты». Ряд наблюдателей связывают повышенную публичную активность главы государства с попыткой сменить повестку дня, в которой в последнее время все чаще доминируют коррупционные обвинения в адрес Порошенко. Именно в ней в воскресенье появилось пространное интервью бывшего партнера Порошенко Александра Онищенко , который повторил свой тезис о том, что режим Порошенко еще более коррупционный, чем власть Януковича. «Порошенко хочет не одну только половину, он хочет получить все. У меня была с ним договоренность: оставь в покое меня и мой бизнес, позволь зарабатывать деньги, тогда я открыто и легально буду поддерживать твою политику», — пояснил Онищенко. «Я инвестировал практически все свои деньги, выполняя его задания. Как только я собрал все газовые компании под одной крышей, Порошенко решил от меня избавиться и изгнать из страны. Это была новая бизнес-модель Порошенко. Он уже не хотел покупать предприятия, а хотел получать мзду за крышевание», — отметил беглый партнер президента Украины.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 595, + "generated_len": [ + 145 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2926829268292683, + "rouge2": 0.17500000000000002 + }, + "predict": " Писатель Дмитрий Стародубцев арестован по обвинению в растлении несовершеннолетней, что стало возможным после обращения 23-летней москвички, которая рассказала о 13-летнем растлении в 2010 году. Расследование показало, что Стародубцев действовал не один, а с сообщником, который не был раскрыт. В настоящее время суд рассматривает только два эпизода его преступлений.", + "sample": { + "src_sents": [ + "Писатель и журналист Дмитрий Стародубцев арестован по обвинению в растлении несовершеннолетней.", + "«Суд удовлетворил ходатайство следствия и избрал в отношении Стародубцева меру пресечения в виде заключения под стражу», — сказал собеседник ТАСС , уточнив, что ему вменяется пункт «а» части 3 статьи 132 УК РФ («Насильственные действия сексуального характера, совершенные в отношении несовершеннолетнего лица»).", + "Писатель был арестован поздно вечером в четверг, 15 октября.", + "Согласно источнику сайта kp.ru в правоохранительных органах, это не первое растление Стародубцевым ребенка.", + "Собеседник предполагает, что при написании эротических произведений (таких, как роман «В поисках оргазма») он вдохновлялся педофилией.", + "«Расследование началось после обращения в полицию 23-летней жительницы Москвы. Она заявила, что 10 лет назад ее неоднократно насиловал сожитель матери Дмитрий Стародубцев. Тогда девочке было всего 13 лет», — сообщил источник.", + "Он добавил, что на протяжении нескольких лет писатель действовал не один, а с другом, чье имя правоохранительные органы не раскрывают.", + "По версии источника, в течение нескольких лет двое мужчин заводили отношения с матерями-одиночками и завоевывали их доверие.", + "«В социальных сетях они искали женщин, которые одни воспитывают дочек школьного возраста. Знакомились, начинали совместную жизнь и занимались растлением детей», — утверждает инсайдер.", + "На сегодняшний день суд рассматривает только два эпизода уголовного дела." + ], + "summary_sents": [ + "Литератора Дмитрия Стародубцева арестовали по обвинению в насилии над несовершеннолетней девочкой.", + "Согласно источнику из следствия, 23-летняя москвичка обвинила автора романа «В поисках оргазма» в неоднократном насилии над ней 10 лет назад." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Писатель и журналист Дмитрий Стародубцев арестован по обвинению в растлении несовершеннолетней. «Суд удовлетворил ходатайство следствия и избрал в отношении Стародубцева меру пресечения в виде заключения под стражу», — сказал собеседник ТАСС , уточнив, что ему вменяется пункт «а» части 3 статьи 132 УК РФ («Насильственные действия сексуального характера, совершенные в отношении несовершеннолетнего лица»). Писатель был арестован поздно вечером в четверг, 15 октября. Согласно источнику сайта kp.ru в правоохранительных органах, это не первое растление Стародубцевым ребенка. Собеседник предполагает, что при написании эротических произведений (таких, как роман «В поисках оргазма») он вдохновлялся педофилией. «Расследование началось после обращения в полицию 23-летней жительницы Москвы. Она заявила, что 10 лет назад ее неоднократно насиловал сожитель матери Дмитрий Стародубцев. Тогда девочке было всего 13 лет», — сообщил источник. Он добавил, что на протяжении нескольких лет писатель действовал не один, а с другом, чье имя правоохранительные органы не раскрывают. По версии источника, в течение нескольких лет двое мужчин заводили отношения с матерями-одиночками и завоевывали их доверие. «В социальных сетях они искали женщин, которые одни воспитывают дочек школьного возраста. Знакомились, начинали совместную жизнь и занимались растлением детей», — утверждает инсайдер. На сегодняшний день суд рассматривает только два эпизода уголовного дела.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 341, + "generated_len": [ + 145 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.23423423423423423, + "rouge2": 0.07339449541284404 + }, + "predict": " В 2012 году ипотечные кредиты в России составили 904,6 млрд руб., что составляет 611 487 кредитов. Прогноз АИЖК на 2013 год — 1 трлн руб. В начале 2013 года ипотека стала более доступной в Москве и Московской области, где 40% сделок были с привлечением заемных средств, что на 10% выше, чем в 2012 году. Сбербанк России снизил процентные ставки по ипотечным продуктам на 1%, что стало результатом двух предыдущих повышений в 2012 году.", + "sample": { + "src_sents": [ + "По данным Агентства по ипотечному жилищному кредитованию (АИЖК), за 11 месяцев 2012 года было выдано 611 487 ипотечных кредитов на общую сумму 904,6 млрд руб., а прогноз АИЖК по выдачам займов за весь прошлый год составляет 1 трлн руб.", + "По подсчетам риэлторов, сейчас все больше желающих купить квартиру с привлечением заемных средств.", + "В начале 2013 года в Москве и Московской области, по данным компании «МИЭЛЬ-Брокеридж», количество сделок с привлечением ипотеки составляет примерно 40% от общего числа.", + "Этот показатель на 10% выше, чем в 2012 году.", + "При этом в Москве доля кредитных средств, как отмечают эксперты компании, возросла, а в области, напротив, уменьшилась.", + "В начале этого года Сбербанк России, который является лидером по выдаче ипотечных кредитов, заявил о понижении процентной ставки по всем ипотечным продуктам на 1%.", + "Напомним, что во втором полугодии 2012 года Сбербанк дважды повышал ставки по ипотеке в среднем на 1%." + ], + "summary_sents": [ + "Покупатели квартир готовы все больше одалживать у банков – при этом участники рынка предполагают, что ставки по ипотечным кредитам будут только увеличиваться.", + "Тот факт, что Сбербанк снизил ставки по ипотеке на 1%, никак не отразится на рынке." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 1, + 2 + ], + "category": "realty" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: По данным Агентства по ипотечному жилищному кредитованию (АИЖК), за 11 месяцев 2012 года было выдано 611 487 ипотечных кредитов на общую сумму 904,6 млрд руб., а прогноз АИЖК по выдачам займов за весь прошлый год составляет 1 трлн руб. По подсчетам риэлторов, сейчас все больше желающих купить квартиру с привлечением заемных средств. В начале 2013 года в Москве и Московской области, по данным компании «МИЭЛЬ-Брокеридж», количество сделок с привлечением ипотеки составляет примерно 40% от общего числа. Этот показатель на 10% выше, чем в 2012 году. При этом в Москве доля кредитных средств, как отмечают эксперты компании, возросла, а в области, напротив, уменьшилась. В начале этого года Сбербанк России, который является лидером по выдаче ипотечных кредитов, заявил о понижении процентной ставки по всем ипотечным продуктам на 1%. Напомним, что во втором полугодии 2012 года Сбербанк дважды повышал ставки по ипотеке в среднем на 1%.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 289, + "generated_len": [ + 145 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.19801980198019803, + "rouge2": 0.0202020202020202 + }, + "predict": " Семнадцатилетний Майкл Малхоллен Дюма на пляже Флориды оказался под угрозой заражения личинками круглых червей — анкилостомозом. Волдыри на его ногах и ягодицах заставили семью обратиться к врачу, который диагностировал заболевание. Майкл получил лечение за $1500, включая стафилококковую инфекцию, вызванную загрязнением. Мать подростка опубликовала фотографии, призывая к осторожности и молитве о выздоровлении сына. Этот случай напоминает о важности соблюдения гигиены на пляже и необходимости надевать обувь, чтобы избежать заражения паразитами, включая улитками.", + "sample": { + "src_sents": [ + "Семнадцатилетний американец Майкл Малхоллен Дюма отдыхал на одном из пляжей Флориды.", + "Когда он вернулся, на его ступнях были несколько маленьких красных волдырей, которые его мать Келли приняла за укусы комаров или клещей.", + "Спустя несколько дней, однако, волдыри появились на задней поверхности ног, а потом и на ягодицах.", + "Зудящая сыпь заставила семью обратиться к врачу.", + "Оказалось, что под кожей подростка поселились паразиты.", + "Врач обнаружил у Майкла симптомы заражения личинками круглых червей — анкилостомоза.", + "Возбудитель анкилостомоза — паразитические круглые черви из рода Ancylostoma.", + "Взрослые анкилостомы оседают преимущественно в двенадцатиперстной кишке, присасываются к слизистой оболочке, повреждают ее и питаются кровью.", + "Личинки червей содержатся в фекалиях зараженных людей и животных.", + "Заразиться ими можно просто пройдя по земле или песку, на которые они попали. Майкл не просто гулял по пляжу.", + "Он закопался в песок целиком, по самую шею.", + "Майкл оказался заражен животными анкилостомами.", + "Майклу пришлось лечить еще и стафилококковую инфекцию, занесенную при заражении.", + "Его мать опубликовала на фейсбуке фотографии ног подростка, пораженные червями и сообщив стоимость лечения — оно обошлось почти в $1500.", + "«Никогда не закапывайтесь в песок и не позволяйте своим детям это делать! — Написала она. — Я просто показываю несколько фотографий, потому что это очень тревожно. Пожалуйста, пожалуйста помолитесь о его исцелении. И вы можете свободно делиться этой записью и предупреждать других людей. В департаменте здравоохранения Помпано-Бич нам сказали: «Все знают, что на пляже надо надевать обувь, чтобы не подцепить паразитов». Я заверила их, что не все!».", + "Под кожей могут поселиться не только черви, но и улитки.", + "Это произошло с 11-летним мальчиком из Лос-Анджелеса." + ], + "summary_sents": [ + "Паразитические черви поселились под кожей американского подростка, который закопался в песок на пляже.", + "Врачи предупреждают — песок может содержать яйца опасных паразитов, поэтому даже ходить по нему без обуви небезопасно." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 4, + 10, + 14 + ], + "category": "science" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Семнадцатилетний американец Майкл Малхоллен Дюма отдыхал на одном из пляжей Флориды. Когда он вернулся, на его ступнях были несколько маленьких красных волдырей, которые его мать Келли приняла за укусы комаров или клещей. Спустя несколько дней, однако, волдыри появились на задней поверхности ног, а потом и на ягодицах. Зудящая сыпь заставила семью обратиться к врачу. Оказалось, что под кожей подростка поселились паразиты. Врач обнаружил у Майкла симптомы заражения личинками круглых червей — анкилостомоза. Возбудитель анкилостомоза — паразитические круглые черви из рода Ancylostoma. Взрослые анкилостомы оседают преимущественно в двенадцатиперстной кишке, присасываются к слизистой оболочке, повреждают ее и питаются кровью. Личинки червей содержатся в фекалиях зараженных людей и животных. Заразиться ими можно просто пройдя по земле или песку, на которые они попали. Майкл не просто гулял по пляжу. Он закопался в песок целиком, по самую шею. Майкл оказался заражен животными анкилостомами. Майклу пришлось лечить еще и стафилококковую инфекцию, занесенную при заражении. Его мать опубликовала на фейсбуке фотографии ног подростка, пораженные червями и сообщив стоимость лечения — оно обошлось почти в $1500. «Никогда не закапывайтесь в песок и не позволяйте своим детям это делать! — Написала она. — Я просто показываю несколько фотографий, потому что это очень тревожно. Пожалуйста, пожалуйста помолитесь о его исцелении. И вы можете свободно делиться этой записью и предупреждать других людей. В департаменте здравоохранения Помпано-Бич нам сказали: «Все знают, что на пляже надо надевать обувь, чтобы не подцепить паразитов». Я заверила их, что не все!». Под кожей могут поселиться не только черви, но и улитки. Это произошло с 11-летним мальчиком из Лос-Анджелеса.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 476, + "generated_len": [ + 145 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.33557046979865773, + "rouge2": 0.09523809523809525 + }, + "predict": " В Крыму, особенно в районе Феодосии, возникают многокилометровые пробки из-за интенсивного потока отдыхающих и грузовиков, не справляющихся с местными дорогами. После открытия нового моста и «Тавриды» ситуация не улучшится до 2020 года, когда появится железнодорожное сообщение. Вице-премьер Республики Крым Виталий Нахлупин предложил план по разгрузке участка дороги, включая установку временных знаков и зон для объезда. Однако многие автомобилисты самостоятельно ищут альтернативные маршруты, что не всегда приводит к улучшению времени в пути. Эксперт Петр Шкуматов считает, что даже в сжатые сроки исправить ситуацию не удастся.", + "sample": { + "src_sents": [ + "Многие автомобилисты жалуются в соцсетях на многокилометровые пробки в Крыму отмечая, что они портят хорошее впечатление, которое создала поездка в Крым по новому мосту.", + "Причина образования затора в интенсивном потоке отдыхающих и фур, с которыми местные дороги просто не справляются.", + "Однако даже после завершения новой трассы «Таврида» полностью избавиться от пробок не получится.", + "По всей вероятности, это удастся только в 2020 году, когда будет открыто железнодорожное сообщение по Крымскому мосту, что позволит переправлять большую часть грузов именно по железной дороге и не загружать трассы фурами.", + "После того, как на ситуацию в районе Феодосии отреагировали федеральные СМИ, комментировать неприятную ситуацию пришлось и руководству республики.", + "В связи со сложившейся ситуацией глава Крыма Сергей Аксенов в течение недели поручил предоставить план о ликвидации самой проблемной автомобильной пробки, которая образуется неподалеку от Феодосии с началом курортного сезона.", + "«Мы с муниципальными властями, с ГИБДД проводили совместную работу, определяли, какие сделать зоны, какие запрещающие знаки поставить, как ограничить повороты, потому что там есть ряд точек, где происходит скопление автотранспорта, включая железнодорожный переезд. Буквально завтра, во вторник, еще раз для журналистов вице-премьер Республики Крым Виталий Нахлупин озвучит план, согласованный с ГИБДД. В течение одной недели должны быть предприняты шаги, которые позволят разгрузить там ситуацию», – рассказал Аксёнов «Крыминформу».", + "Еще до начала курортного сезона министр курортов и туризма республики Вадим Волченко на заседании регионального правительства 22 мая рассказал об альтернативных вариантах объезда возможных пробок, которые возникли из-за строительных работ.", + "Первый вариант объезда Феодосии проходит по маршруту село Батальное – Каменское – Владиславовка – Первомайское.", + "Кроме того, автотуристам, которые планируют поездку на западное побережье полуострова – в Саки, Евпаторию, Черноморское или Раздольное – рекомендуется воспользоваться объездом по Джанкойской трассе, минуя симферопольское направление.", + "Для того, чтобы автомобилисты не заблудились в поиске объезда, планировалось установить соответствующие дорожные указатели и знаки туристской навигации.", + "Кроме того, власти республики договорились с «Яндексом» , чтобы в картах при построении маршрута в приоритете указывались маршруты объезда пробок.", + "Между тем, многие автомобилисты самостоятельно ищут пути объезда глухих пробок в надежде пораньше доехать до долгожданного моря.", + "«Ехали с семьей в Феодосию по новому мосту. От Крымского моста до Приморского дорога заняла 6 часов. Сразу после моста навигатор пророчил нам 6 ч 45 мин в пути. Удалось свернуть у СНТ Парус на грунтовку и 45 минут сэкономить. Сейчас пробка в Приморском с 7:30 и до 20:45», — рассказывает Владимир «Kafanews».", + "Также впечатлениями от поездки поделились и те, кто едeт в Крым на общественном транспорте.", + "«Ехали с семьей на отдых к родне из Ростова-на-Дону в Феодосию, ехали на автобусе. Мост произвел впечатление, но дальнейшая дорога его полностью убила. Особенно участок от Приморского до Феодосии: скорость автобуса не больше 10 км/час. Автобус опоздал на 3 часа, и родня, которая встречала нас на автовокзале, уже вся извелась и перегрелась на солнце», — рассказала Тамара.", + "Известный автоэксперт Петр Шкуматов , не раз приезжавший Крым на автомобиле и хорошо знакомый с дорожной ситуацией на полуострове, уверен, что исправить ситуацию за неделю у местных чиновников все равно не получится." + ], + "summary_sents": [ + "Глава Крыма Сергей Аксенов поручил за неделю ликвидировать многокилометровые пробки в районе Феодосии, где автомобилистам на узких дорогах приходится часами стоять на жаре.", + "Ранее власти предполагали, что этот участок дороги станет проблемным с началом курортного сезона и еще в мае предлагали пути объезда.", + "Пока же автомобилисты самостоятельно ищут пути объезда и ждут завершения строительства трассы «Таврида» и начала железнодорожного сообщения по Крымскому мосту." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 3, + 5, + 7, + 12 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Многие автомобилисты жалуются в соцсетях на многокилометровые пробки в Крыму отмечая, что они портят хорошее впечатление, которое создала поездка в Крым по новому мосту. Причина образования затора в интенсивном потоке отдыхающих и фур, с которыми местные дороги просто не справляются. Однако даже после завершения новой трассы «Таврида» полностью избавиться от пробок не получится. По всей вероятности, это удастся только в 2020 году, когда будет открыто железнодорожное сообщение по Крымскому мосту, что позволит переправлять большую часть грузов именно по железной дороге и не загружать трассы фурами. После того, как на ситуацию в районе Феодосии отреагировали федеральные СМИ, комментировать неприятную ситуацию пришлось и руководству республики. В связи со сложившейся ситуацией глава Крыма Сергей Аксенов в течение недели поручил предоставить план о ликвидации самой проблемной автомобильной пробки, которая образуется неподалеку от Феодосии с началом курортного сезона. «Мы с муниципальными властями, с ГИБДД проводили совместную работу, определяли, какие сделать зоны, какие запрещающие знаки поставить, как ограничить повороты, потому что там есть ряд точек, где происходит скопление автотранспорта, включая железнодорожный переезд. Буквально завтра, во вторник, еще раз для журналистов вице-премьер Республики Крым Виталий Нахлупин озвучит план, согласованный с ГИБДД. В течение одной недели должны быть предприняты шаги, которые позволят разгрузить там ситуацию», – рассказал Аксёнов «Крыминформу». Еще до начала курортного сезона министр курортов и туризма республики Вадим Волченко на заседании регионального правительства 22 мая рассказал об альтернативных вариантах объезда возможных пробок, которые возникли из-за строительных работ. Первый вариант объезда Феодосии проходит по маршруту село Батальное – Каменское – Владиславовка – Первомайское. Кроме того, автотуристам, которые планируют поездку на западное побережье полуострова – в Саки, Евпаторию, Черноморское или Раздольное – рекомендуется воспользоваться объездом по Джанкойской трассе, минуя симферопольское направление. Для того, чтобы автомобилисты не заблудились в поиске объезда, планировалось установить соответствующие дорожные указатели и знаки туристской навигации. Кроме того, власти республики договорились с «Яндексом» , чтобы в картах при построении маршрута в приоритете указывались маршруты объезда пробок. Между тем, многие автомобилисты самостоятельно ищут пути объезда глухих пробок в надежде пораньше доехать до долгожданного моря. «Ехали с семьей в Феодосию по новому мосту. От Крымского моста до Приморского дорога заняла 6 часов. Сразу после моста навигатор пророчил нам 6 ч 45 мин в пути. Удалось свернуть у СНТ Парус на грунтовку и 45 минут сэкономить. Сейчас пробка в Приморском с 7:30 и до 20:45», — рассказывает Владимир «Kafanews». Также впечатлениями от поездки поделились и те, кто едeт в Крым на общественном транспорте. «Ехали с семьей на отдых к родне из Ростова-на-Дону в Феодосию, ехали на автобусе. Мост произвел впечатление, но дальнейшая дорога его полностью убила. Особенно участок от Приморского до Феодосии: скорость автобуса не больше 10 км/час. Автобус опоздал на 3 часа, и родня, которая встречала нас на автовокзале, уже вся извелась и перегрелась на солнце», — рассказала Тамара. Известный автоэксперт Петр Шкуматов , не раз приезжавший Крым на автомобиле и хорошо знакомый с дорожной ситуацией на полуострове, уверен, что исправить ситуацию за неделю у местных чиновников все равно не получится.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 798, + "generated_len": [ + 138 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.14705882352941177, + "rouge2": 0.06060606060606061 + }, + "predict": " Калифорнийский Университет Чепмена опубликовал исследование, систематизировав основные страхи американской нации, включая ядерное оружие КНДР, высокие цены на здравоохранение, бедность и загрязнение окружающей среды. Исследование выявило новые страхи, такие как загрязнение вод океанов, реформы здравоохранения Трампа и коррупция среди государственных деятелей, а также опасение экстремистских групп и угрозы национальной безопасности.", + "sample": { + "src_sents": [ + "Калифорнийский Университет Чепмена (США) опубликовал исследование, в котором систематизировал основные страхи американской нации.", + "В ходе опроса сотрудники университета опрашивали респондентов, прося их назвать 80 различных страхов из разных категорий — касающихся правительства, окружающей среды, здоровья, природных катаклизмов, финансов, а также страха публичных выступлений, страха пауков, высоты и т.д.", + "Это исследование стало четвертым в своем роде, в 2017 году к прежнему набору страхов исследователи добавили новую напасть — страх экстремизма.", + "Для оценки страхов в масштабе нации эксперты провели опрос 1207 респондентов из различных слоев общества и поделили все страхи на четыре категории: персональные страхи, природные катаклизмы, сверхъестественные страхи и боязнь экстремистских проявлений.", + "Так выглядит топ-10 страхов американцев: 10.", + "Загрязнение воздуха (44.9%) — серьезная проблема во многих густонаселенных районах земного шара.", + "9. Ядерное оружие КНДР (47,5%) — проблема, которая особенно остро встала в последний год.", + "6. Высокие цены на здравоохранение (48.4%).", + "Вопросы снижения стоимости здравоохранения часто являются элементом предвыборной программы политиков. 5. Бедность в будущем (50.2%). 4. Загрязнение воды (50.4%).", + "3. Загрязнение вод океанов, рек и озер (53.1% — новый страх).", + "2. Реформа системы здравоохранения Трампа (55.3% — новый страх).", + "1. Коррупция среди государственных деятелей (74,5% — главный страх 2015 и 2016 года).", + "Американцы испытывают страх перед исламскими экстремистами и сторонниками господства белой расы, которые несут угрозу национальной безопасности.", + "Эти группы вызывают особое опасение среди американцев, за ними следуют агрессивные группы, выступающие против иммиграции, различные патриотические и леворадикальные движения и объединения, выступающие против абортов." + ], + "summary_sents": [ + "Коррупция, ракеты Ким Чен Ина и загрязнение воды — ученые составили список наиболее сильных страхов американцев в 2017 году." + ], + "support_labels": [ + "YES" + ], + "extractive_summary": [ + 6, + 8, + 11 + ], + "category": "science" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Калифорнийский Университет Чепмена (США) опубликовал исследование, в котором систематизировал основные страхи американской нации. В ходе опроса сотрудники университета опрашивали респондентов, прося их назвать 80 различных страхов из разных категорий — касающихся правительства, окружающей среды, здоровья, природных катаклизмов, финансов, а также страха публичных выступлений, страха пауков, высоты и т.д. Это исследование стало четвертым в своем роде, в 2017 году к прежнему набору страхов исследователи добавили новую напасть — страх экстремизма. Для оценки страхов в масштабе нации эксперты провели опрос 1207 респондентов из различных слоев общества и поделили все страхи на четыре категории: персональные страхи, природные катаклизмы, сверхъестественные страхи и боязнь экстремистских проявлений. Так выглядит топ-10 страхов американцев: 10. Загрязнение воздуха (44.9%) — серьезная проблема во многих густонаселенных районах земного шара. 9. Ядерное оружие КНДР (47,5%) — проблема, которая особенно остро встала в последний год. 6. Высокие цены на здравоохранение (48.4%). Вопросы снижения стоимости здравоохранения часто являются элементом предвыборной программы политиков. 5. Бедность в будущем (50.2%). 4. Загрязнение воды (50.4%). 3. Загрязнение вод океанов, рек и озер (53.1% — новый страх). 2. Реформа системы здравоохранения Трампа (55.3% — новый страх). 1. Коррупция среди государственных деятелей (74,5% — главный страх 2015 и 2016 года). Американцы испытывают страх перед исламскими экстремистами и сторонниками господства белой расы, которые несут угрозу национальной безопасности. Эти группы вызывают особое опасение среди американцев, за ними следуют агрессивные группы, выступающие против иммиграции, различные патриотические и леворадикальные движения и объединения, выступающие против абортов.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 449, + "generated_len": [ + 138 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.35000000000000003, + "rouge2": 0.15384615384615385 + }, + "predict": " Около 40 тыс. жителей Луганской Народной Республики получили российские паспорта, что стало возможным благодаря упрощенной процедуре, установленной Владимиром Путиным. Более 60 тыс. человек также выразили желание получить российское гражданство. Киев негативно оценил эти действия, считая их вмешательством в суверенные права Украины.", + "sample": { + "src_sents": [ + "Около 40 тыс. жителей Луганской народной республики (ЛНР) получили российские паспорта.", + "«Порядка 40 тыс. [жителей ЛНР] уже стали счастливыми обладателями паспортов Российской Федерации», — сообщил он в ходе церемонии открытия нового отделения миграционной службы в Луганске.", + "Он также отметил, что еще более 60 тыс. человек также хотят получить гражданство РФ в упрощенном порядке.", + "Как сообщал ранее министр внутренних дел ЛНР Игорь Корнет , уже более 36 тыс. человек получили паспорта России в упрощенном порядке.", + "24 апреля российский президент Владимир Путин подписал указ, упрощающий получение российского гражданства гражданам самопровозглашенных Донецкой и Луганской народных республик (ДНР и ЛНР).", + "Киев негативно отреагировал на действия российской стороны.", + "Решение Москвы украинский МИД назвал «нескрываемым вмешательством во внутренние дела Украины» как независимого и суверенного государства." + ], + "summary_sents": [ + "Почти 40 тыс. жителей ЛНР вступили в российское гражданство, еще более 60 тыс. ожидают получения паспортов РФ, сообщили в МВД самопровозглашенной республики.", + "Указ, позволяющий жителям отдельных регионов Донбасса становиться гражданами России в упрощенном порядке, Владимир Путин подписал в апреле." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 4 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Около 40 тыс. жителей Луганской народной республики (ЛНР) получили российские паспорта. «Порядка 40 тыс. [жителей ЛНР] уже стали счастливыми обладателями паспортов Российской Федерации», — сообщил он в ходе церемонии открытия нового отделения миграционной службы в Луганске. Он также отметил, что еще более 60 тыс. человек также хотят получить гражданство РФ в упрощенном порядке. Как сообщал ранее министр внутренних дел ЛНР Игорь Корнет , уже более 36 тыс. человек получили паспорта России в упрощенном порядке. 24 апреля российский президент Владимир Путин подписал указ, упрощающий получение российского гражданства гражданам самопровозглашенных Донецкой и Луганской народных республик (ДНР и ЛНР). Киев негативно отреагировал на действия российской стороны. Решение Москвы украинский МИД назвал «нескрываемым вмешательством во внутренние дела Украины» как независимого и суверенного государства.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 211, + "generated_len": [ + 138 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.346938775510204, + "rouge2": 0.125 + }, + "predict": " Британские военные выразили недовольство, когда их истребители были подняты для сопровождения российских самолетов над Балтийским морем, что вызвало недоумение у читателей. Некоторые призывали эстонские ВВС к действиям, другие указывали на право российских самолетов патрулировать свою морскую границу. Эти инциденты произошли 14 и 15 мая, когда британские истребители сопровождали два российских Су-27 и Ил-22.", + "sample": { + "src_sents": [ + "Британцы высказали недовольство тем, что истребители ВВС Великобритании были подняты для сопровождения российских военных самолетов над Балтийским морем, о чем ранее сообщало издание Daily Mail.", + "Многие читатели выразили недоумение, почему британская авиация, находясь на территории чужого государства на огромном расстоянии от Соединенного Королевства, занимается подобными операциями, передает РИА «Новости».", + "Другие комментаторы призвали эстонские ВВС заниматься перехватом российских истребителей.", + "Также некоторые пользователи напомнили, что российские самолеты имеют право патрулировать свою морскую границу, передает ФАН.", + "Искомые инциденты произошли 14 и 15 мая.", + "Оба раза британские истребители сопровождали два российских истребителя Су-27, которые летели вместе с так называемым воздушным командным пунктом Ил-22." + ], + "summary_sents": [ + "Перехват истребителями Typhoon ВВС Великобритании двух российских самолетов Су-27 и одного Ил-22 около побережья Балтийского моря вызвал критику британцев.", + "Жители Британии выразили недоумение, почему авиация их страны, находясь на территории чужого государства на огромном расстоянии от Соединенного Королевства, занимается подобными операциями." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Британцы высказали недовольство тем, что истребители ВВС Великобритании были подняты для сопровождения российских военных самолетов над Балтийским морем, о чем ранее сообщало издание Daily Mail. Многие читатели выразили недоумение, почему британская авиация, находясь на территории чужого государства на огромном расстоянии от Соединенного Королевства, занимается подобными операциями, передает РИА «Новости». Другие комментаторы призвали эстонские ВВС заниматься перехватом российских истребителей. Также некоторые пользователи напомнили, что российские самолеты имеют право патрулировать свою морскую границу, передает ФАН. Искомые инциденты произошли 14 и 15 мая. Оба раза британские истребители сопровождали два российских истребителя Су-27, которые летели вместе с так называемым воздушным командным пунктом Ил-22.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 179, + "generated_len": [ + 138 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3779527559055118, + "rouge2": 0.128 + }, + "predict": " В Санкт-Петербурге 16-летний подросток был арестован по обвинению в убийстве 46-летнего отчима, произошедшего в ночь на 12 января. По предварительной информации, конфликт возник из-за ссоры, в ходе которой подросток ударил отчима ножом в шею. Отмечается, что юноша был пьян на момент преступления. Этот случай является не первым в России, когда подростки используют оружие в конфликтах с взрослыми родственниками. В 2019 году аналогичный инцидент произошел в Воронеже, где 16-летний подросток зарезал отчима за защиту матери.", + "sample": { + "src_sents": [ + "В Санкт-Петербурге 16-летний подросток задержан по подозрению в убийстве 46-летнего отчима.", + "По данным СМИ, трагедия произошла в ночь на 12 января в одном из домов на 12-й линии Васильевского острова.", + "«По предварительной информации молодой человек ударил отчима ножом в шею в ходе внезапно возникшей ссоры», — рассказали kp.ru в МВД по Санкт-Петербургу.", + "Отмечается, что по неподтвержденным данным на момент совершения преступления юноша был пьян.", + "Мужчина, получивший удар ножом, скончался на месте.", + "«Находясь в алкогольном состоянии, супруг «учил» сына, как жить, и на почве этого они ругались. Когда он был трезвым, то все нормально, а когда пьяный, то не то что агрессивным — говорил сыну, что тот ведет неправильный образ жизни», — рассказала петербурженка.", + "Это не первый случай, когда подростки берутся за оружие в конфликте со взрослыми родственниками.", + "20 октября 2019 года в Воронеже 16-летний подросток, защищая мать, зарезал 35-летнего отчима." + ], + "summary_sents": [ + "В Санкт-Петербурге 16-летний подросток подозревается в жестоком убийстве отчима.", + "По данным СМИ, он ударил мужчину ножом в шею в ходе ссоры, будучи в состоянии алкогольного опьянения.", + "От полученных травм отчим школьника скончался на месте.", + "Мать мальчика рассказала, что погибший часто выпивал и ругался с ее сыном." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2, + 3, + 4, + 5 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Санкт-Петербурге 16-летний подросток задержан по подозрению в убийстве 46-летнего отчима. По данным СМИ, трагедия произошла в ночь на 12 января в одном из домов на 12-й линии Васильевского острова. «По предварительной информации молодой человек ударил отчима ножом в шею в ходе внезапно возникшей ссоры», — рассказали kp.ru в МВД по Санкт-Петербургу. Отмечается, что по неподтвержденным данным на момент совершения преступления юноша был пьян. Мужчина, получивший удар ножом, скончался на месте. «Находясь в алкогольном состоянии, супруг «учил» сына, как жить, и на почве этого они ругались. Когда он был трезвым, то все нормально, а когда пьяный, то не то что агрессивным — говорил сыну, что тот ведет неправильный образ жизни», — рассказала петербурженка. Это не первый случай, когда подростки берутся за оружие в конфликте со взрослыми родственниками. 20 октября 2019 года в Воронеже 16-летний подросток, защищая мать, зарезал 35-летнего отчима.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 267, + "generated_len": [ + 138 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.32967032967032966, + "rouge2": 0.1348314606741573 + }, + "predict": " Андрей Аршавин и его супруга Алиса Казьмина столкнулись с новыми сложностями в процессе развода, где адвокат Аршавина Виктория Савицкая и защитник Казьминой Александр Добровинский обсуждают, с кем будет жить их дочь Есения. В сравнении с другим экс-игроком «Зенита» Александром Кержаковым, у которого также решается вопрос о проживании сына Артема, Аршавин намерен добиться решения, согласно которому дочь будет проживать с ним.", + "sample": { + "src_sents": [ + "Бракоразводный процесс между бывшим полузащитником петербургского «Зенита» Андреем Аршавин ым и его супругой Алисой Казьминой обрастает новыми сложностями и новыми подробностями.", + "26 февраля в судебном участке №97 Санкт-Петербурга состоялось первое слушание, на котором сами участники дела не присутствовали.", + "Вместо них на заседании выступили их адвокаты.", + "Защиту экс-капитана сборной России представила Виктория Савицкая, а интересы его жены защищали Александр Добровинский , Марина Дубровская и Ирина Бултакова.", + "Однако на заседании не было вынесено вердикта, а дело было перенесено в районный суд города Красное село.", + "По его словам, Аршавин намерен добиться судейского решения, согласно которому дочь Есения будет проживать с ним.", + "Интересно, что высказываясь о данном процессе, Добровинский привел в сравнение дело еще одного экс-игрока «Зенита» и сборной России Александра Кержакова , который также находится на этапе развода со своей супругой Миланой Тюльпановой.", + "Между парой решается вопрос о том, с кем будет жить их сын Артем, который на данный момент проживает с матерью.", + "«Обычно полузащитники и нападающие «Зенита» настаивают на том, чтобы дети жили с ними!» — заявил адвокат, добавив, что Аршавин несмотря на то, что желает оставить ребенка у себя, свою дочь не навещает совсем." + ], + "summary_sents": [ + "Экс-капитан сборной России Андрей Аршавин продолжает судиться со своей женой Алисой Казьминой.", + "Пара находится в бракоразводном процессе, а футболист намерен добиться того, чтобы их дочь Есения осталась с ним." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Бракоразводный процесс между бывшим полузащитником петербургского «Зенита» Андреем Аршавин ым и его супругой Алисой Казьминой обрастает новыми сложностями и новыми подробностями. 26 февраля в судебном участке №97 Санкт-Петербурга состоялось первое слушание, на котором сами участники дела не присутствовали. Вместо них на заседании выступили их адвокаты. Защиту экс-капитана сборной России представила Виктория Савицкая, а интересы его жены защищали Александр Добровинский , Марина Дубровская и Ирина Бултакова. Однако на заседании не было вынесено вердикта, а дело было перенесено в районный суд города Красное село. По его словам, Аршавин намерен добиться судейского решения, согласно которому дочь Есения будет проживать с ним. Интересно, что высказываясь о данном процессе, Добровинский привел в сравнение дело еще одного экс-игрока «Зенита» и сборной России Александра Кержакова , который также находится на этапе развода со своей супругой Миланой Тюльпановой. Между парой решается вопрос о том, с кем будет жить их сын Артем, который на данный момент проживает с матерью. «Обычно полузащитники и нападающие «Зенита» настаивают на том, чтобы дети жили с ними!» — заявил адвокат, добавив, что Аршавин несмотря на то, что желает оставить ребенка у себя, свою дочь не навещает совсем.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 322, + "generated_len": [ + 138 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.224, + "rouge2": 0.04878048780487806 + }, + "predict": " Эдуард Иванов, защитник, родился 25 апреля 1938 года и стал выдающимся хоккеистом, выиграв четыре чемпионата мира и четыре чемпионата СССР. Он начал свою карьеру в московском клубе «Химик», где тренировался у Николая Эпштейна, и затем перешел в ЦСКА, где стал регулярным участником сборной СССР. Иванов известен своими выдающимися физическими данными и способностью к быстрому передвижению на льду, что позволило ему стать игроком первого звена в составе сборной и в паре с Александром Рагулиным. После завершения карьеры, Иванов работал в ДЮСШ ЦСКА и в ветеранском движении, продолжая оказывать влияние на развитие отечественного хоккея.", + "sample": { + "src_sents": [ + "Эдуард Иванов вырос в рабочей семье, а хоккеем начал заниматься на стадионе «Юных пионеров» у Владимира Блинкова.", + "В 50-е команды мастеров также тренировались на открытых аренах и играли там не только один матч в сезоне, громко называемый «Зимней классикой».", + "На СЮПе была тренировочная база московской команды «Химик», детища легендарного тренера Николая Эпштейна.", + "В «Химик» и пригласили 17-летнего паренька, отличавшегося великолепными физическими данными.", + "После того как «Химик» перебазировался в Воскресенск, коренной москвич Иванов сохранил верность столице.", + "В ЦСКА Иванова звали долго и настойчиво, но все время получали отказ.", + "Рулевой того еще, советского, ЦСКА и один из тренеров сборной СССР мог кого угодно убедить перейти в свою команду.", + "Родился 25 апреля 1938 года Заслуженный мастер спорта СССР Защитник Выступал за команды: «Химик», Москва/Воскресенск (1955-1957), «Крылья Советов», Москва (1957-1962), ЦСКА (1962-1967), СКА МВО, Калинин (1967-1970) Чемпион Олимпийских игр 1964 года Четырехкратный чемпион мира (1963-1965, 1967) Четырехкратный чемпион СССР (1963-1966) После завершения карьеры работал в СКА МВО, отвечая за формирование игровых команд на первенствах Вооруженных Сил С 1979 по 1988 годы – начальник ДЮСШ ЦСКА В 90-е годы работал заместителем президента ветеранского движения армейского клуба Александра Рагулина После перехода в ЦСКА Иванов стал регулярно попадать в состав сборной, хотя и в «Крыльях» был к этому готов.", + "Именно Тарасову принадлежит точное и емкое определение хоккейных талантов защитника: «Штангистского телосложения, с конькобежной скоростью, много забивающий».", + "Иванов мог выдерживать сумасшедшие тарасовские нагрузки на сборах и практически сразу же стал игроком первого звена.", + "В паре с ним в защите играл Александр Рагулин , а в нападении – Константин Локтев, Вениамин Александров и Александр Альметов.", + "Каждое имя – легенда отечественного хоккея." + ], + "summary_sents": [ + "В воскресенье ушел из жизни прославленный хоккеист сборной СССР Эдуард Иванов.", + "В составе национальной команды этот защитник стал чемпионом Олимпиады-1964 и четырехкратным чемпионом мира, а в рядах ЦСКА – четырехкратным чемпионом страны." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 7 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Эдуард Иванов вырос в рабочей семье, а хоккеем начал заниматься на стадионе «Юных пионеров» у Владимира Блинкова. В 50-е команды мастеров также тренировались на открытых аренах и играли там не только один матч в сезоне, громко называемый «Зимней классикой». На СЮПе была тренировочная база московской команды «Химик», детища легендарного тренера Николая Эпштейна. В «Химик» и пригласили 17-летнего паренька, отличавшегося великолепными физическими данными. После того как «Химик» перебазировался в Воскресенск, коренной москвич Иванов сохранил верность столице. В ЦСКА Иванова звали долго и настойчиво, но все время получали отказ. Рулевой того еще, советского, ЦСКА и один из тренеров сборной СССР мог кого угодно убедить перейти в свою команду. Родился 25 апреля 1938 года Заслуженный мастер спорта СССР Защитник Выступал за команды: «Химик», Москва/Воскресенск (1955-1957), «Крылья Советов», Москва (1957-1962), ЦСКА (1962-1967), СКА МВО, Калинин (1967-1970) Чемпион Олимпийских игр 1964 года Четырехкратный чемпион мира (1963-1965, 1967) Четырехкратный чемпион СССР (1963-1966) После завершения карьеры работал в СКА МВО, отвечая за формирование игровых команд на первенствах Вооруженных Сил С 1979 по 1988 годы – начальник ДЮСШ ЦСКА В 90-е годы работал заместителем президента ветеранского движения армейского клуба Александра Рагулина После перехода в ЦСКА Иванов стал регулярно попадать в состав сборной, хотя и в «Крыльях» был к этому готов. Именно Тарасову принадлежит точное и емкое определение хоккейных талантов защитника: «Штангистского телосложения, с конькобежной скоростью, много забивающий». Иванов мог выдерживать сумасшедшие тарасовские нагрузки на сборах и практически сразу же стал игроком первого звена. В паре с ним в защите играл Александр Рагулин , а в нападении – Константин Локтев, Вениамин Александров и Александр Альметов. Каждое имя – легенда отечественного хоккея.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 519, + "generated_len": [ + 138 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.1839080459770115, + "rouge2": 0.023529411764705882 + }, + "predict": " В Москве и европейской части России ожидаются сложные погодные условия с циклонами, вызывающими неустойчивую погоду, дожди, перепады температур и атмосферное давление. В начале недели ожидается прохладное и облачное небо, с последующим потеплением и грозами. В конце недели и в начале следующей недели ожидается арктический воздух, что приведет к резкому понижению температуры и снижению атмосферного давления.", + "sample": { + "src_sents": [ + "Москву ждет уже напомнившая о себе осень.", + "Напротив, как сообщили «Газете.Ru» в центре «Фобос» , европейская часть России остается во власти циклонических вихрей, а это значит, что погода в городе будет неустойчивая, с частыми дождями, перепадами давления и температуры.", + "В пятницу днем Москва будет во власти прохладного воздуха.", + "В небе образуются поля кучевых облаков, которые превратятся в дождевые и ограничат прогрев до +17…+19º С. Уже в субботу в центральные области России устремится новый циклон.", + "Температура +15…+17º С, на юго-востоке до +20º С. На северо-западе Подмосковья холодная воздушная масса прогреется не выше +14…+16º С. В воскресенье по мере ухода циклона город окажется в его холодной тыловой части.", + "В ночь на понедельник термометры покажут +7…+12º С, днем +12…+17º С. Во вторник облаков станет поменьше, поэтому ночь окажется прохладнее — +4…+9º С, а днем на улице потеплеет до +15…+20º С. Это повышение температуры долгим не будет, потому что в середине следующей недели ожидается новый циклон с юго-запада.", + "В среду, 1 сентября, он затянет небо плотными облаками, принесет дожди на берега Москвы-реки, усилится восточный ветер до 7—12 м/с, и температура днем понизится до +10…+15º С. В четверг из-за попадания в теплую часть циклона станет чуть теплее — +14…+19º С. Пройдут кратковременные дожди и последние в сезоне грозы.", + "Днем будет не выше +12…+17º С, а в выходные, когда ожидается вторжение арктического воздуха в тыловую часть циклона, ночные температуры составят +2...+7º С, а дневные +10…+15º С. Атмосферное давление при такой погоде будет изменчивым, со скачками в 6—8 мм рт. ст. на общем пониженном фоне В субботу оно понизится до 735 мм рт. ст. В воскресенье поднимется до 742 мм, рост продолжится в понедельник и ко вторнику выйдет в норму — 747 мм рт. ст. Со среды вновь начнет падать до 741 мм рт. ст. и лишь к выходным вырастет до нормы." + ], + "summary_sents": [ + "В Москву приходит осень.", + "В городе всю неделю будут идти дожди, местами с грозами.", + "По ночам на улице похолодает до +2...+7º С, а отметку +20º С термометры покажут только один раз." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 4, + 5, + 7 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Москву ждет уже напомнившая о себе осень. Напротив, как сообщили «Газете.Ru» в центре «Фобос» , европейская часть России остается во власти циклонических вихрей, а это значит, что погода в городе будет неустойчивая, с частыми дождями, перепадами давления и температуры. В пятницу днем Москва будет во власти прохладного воздуха. В небе образуются поля кучевых облаков, которые превратятся в дождевые и ограничат прогрев до +17…+19º С. Уже в субботу в центральные области России устремится новый циклон. Температура +15…+17º С, на юго-востоке до +20º С. На северо-западе Подмосковья холодная воздушная масса прогреется не выше +14…+16º С. В воскресенье по мере ухода циклона город окажется в его холодной тыловой части. В ночь на понедельник термометры покажут +7…+12º С, днем +12…+17º С. Во вторник облаков станет поменьше, поэтому ночь окажется прохладнее — +4…+9º С, а днем на улице потеплеет до +15…+20º С. Это повышение температуры долгим не будет, потому что в середине следующей недели ожидается новый циклон с юго-запада. В среду, 1 сентября, он затянет небо плотными облаками, принесет дожди на берега Москвы-реки, усилится восточный ветер до 7—12 м/с, и температура днем понизится до +10…+15º С. В четверг из-за попадания в теплую часть циклона станет чуть теплее — +14…+19º С. Пройдут кратковременные дожди и последние в сезоне грозы. Днем будет не выше +12…+17º С, а в выходные, когда ожидается вторжение арктического воздуха в тыловую часть циклона, ночные температуры составят +2...+7º С, а дневные +10…+15º С. Атмосферное давление при такой погоде будет изменчивым, со скачками в 6—8 мм рт. ст. на общем пониженном фоне В субботу оно понизится до 735 мм рт. ст. В воскресенье поднимется до 742 мм, рост продолжится в понедельник и ко вторнику выйдет в норму — 747 мм рт. ст. Со среды вновь начнет падать до 741 мм рт. ст. и лишь к выходным вырастет до нормы.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 575, + "generated_len": [ + 138 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.39285714285714285, + "rouge2": 0.16363636363636364 + }, + "predict": " Актриса Анна Калашникова поделилась, что Анастасия Заворотнюк, звезда сериала «Моя прекрасная няня», значительно улучшила свое состояние после длительного лечения тяжелой онкологической болезнью. По словам Калашникова, улучшение состояния актрисы связано с поддержкой близких, молитвы поклонников и позитивной энергией. Хотя полное выздоровление пока не объявлено, позитивная динамика в состоянии Заворотнюк позволяет надеяться на благополучный исход. Анна подчеркивает, что Заворотнюк стала более позитивной и радостной после болезни, и мечтает о возвращении к съемкам после реабилитации.", + "sample": { + "src_sents": [ + "Актриса Анна Калашникова поделилась новостями о состоянии здоровья звезды сериала «Моя прекрасная няня» Анастасии Заворотнюк , которая уже больше года борется с тяжелым онкологическим заболеванием.", + "По словам Калашниковой, в окружении актрисы уже давно обсуждают улучшение состояния Заворотнюк.", + "«Она может разговаривать, гулять. Конечно, Настя несколько изменилась внешне. Но, слава богу, она жива», — сказала Калашникова.", + "Артистка отметила, что ее знаменитой коллеге стало лучше не только благодаря самым передовым достижениям медицины.", + "По ее мнению, выздоровлению способствовали молитвы близких и поклонников.", + "«Если вы помните, близкие даже устраивали коллективную молитву. Это очень правильно: положительная энергия творит чудеса, — сказала Калашникова в интервью порталу «Собеседник». — Сколько раз мы слышали подобные истории. Настя — очень добрый, светлый и позитивный человек. Мне всегда нравилось с ней общаться: от нее исходит свет. Я знаю, что многие поклонники регулярно ходили в храмы, заказывали ей сорокоусты о здравии. Я тоже так делаю регулярно. С божьей помощью Настя пошла на поправку».", + "По мнению актрисы, говорить о полном выздоровлении Заворотнюк пока преждевременно, однако позитивная динамика в ее состоянии позволяет рассчитывать на благополучный исход.", + "«Мы все надеемся, что Настя сможет победить болезнь. Потому что она нужна всем: и близким, и коллегам, и поклонникам. Насколько мне известно, сама Настя настроена оптимистично. После болезни она изменилась: стала радоваться каждому дню! И это правильно», — добавила Калашникова.", + "Она в настоящий момент выглядит не так, как прежде, и в связи с этим не хочет принимать посетителей, пояснила Калашникова.", + "Учитывая анамнез актрисы, она находится в группе риска и ей следует избегать контактов с посторонними людьми.", + "Все прогулки актрисы проходят в сопровождении помощников: близкие опасаются, что артистку могут начать преследовать папарацци ради сенсационных фотографий.", + "Актриса мечтает, что после реабилитации сможет вновь приступить к съемкам в кино и на телевидении, сообщают СМИ." + ], + "summary_sents": [ + "Коллега актрисы Анастасии Заворотнюк Анна Калашникова рассказала, что звезда сериала «Моя прекрасная няня» идет на поправку и строит планы по возвращению к работе.", + "В настоящий момент Заворотнюк беспокоит изменившаяся после болезни и лечения внешность, а также угроза заболеть COVID-19." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 6, + 8, + 9, + 11 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Актриса Анна Калашникова поделилась новостями о состоянии здоровья звезды сериала «Моя прекрасная няня» Анастасии Заворотнюк , которая уже больше года борется с тяжелым онкологическим заболеванием. По словам Калашниковой, в окружении актрисы уже давно обсуждают улучшение состояния Заворотнюк. «Она может разговаривать, гулять. Конечно, Настя несколько изменилась внешне. Но, слава богу, она жива», — сказала Калашникова. Артистка отметила, что ее знаменитой коллеге стало лучше не только благодаря самым передовым достижениям медицины. По ее мнению, выздоровлению способствовали молитвы близких и поклонников. «Если вы помните, близкие даже устраивали коллективную молитву. Это очень правильно: положительная энергия творит чудеса, — сказала Калашникова в интервью порталу «Собеседник». — Сколько раз мы слышали подобные истории. Настя — очень добрый, светлый и позитивный человек. Мне всегда нравилось с ней общаться: от нее исходит свет. Я знаю, что многие поклонники регулярно ходили в храмы, заказывали ей сорокоусты о здравии. Я тоже так делаю регулярно. С божьей помощью Настя пошла на поправку». По мнению актрисы, говорить о полном выздоровлении Заворотнюк пока преждевременно, однако позитивная динамика в ее состоянии позволяет рассчитывать на благополучный исход. «Мы все надеемся, что Настя сможет победить болезнь. Потому что она нужна всем: и близким, и коллегам, и поклонникам. Насколько мне известно, сама Настя настроена оптимистично. После болезни она изменилась: стала радоваться каждому дню! И это правильно», — добавила Калашникова. Она в настоящий момент выглядит не так, как прежде, и в связи с этим не хочет принимать посетителей, пояснила Калашникова. Учитывая анамнез актрисы, она находится в группе риска и ей следует избегать контактов с посторонними людьми. Все прогулки актрисы проходят в сопровождении помощников: близкие опасаются, что артистку могут начать преследовать папарацци ради сенсационных фотографий. Актриса мечтает, что после реабилитации сможет вновь приступить к съемкам в кино и на телевидении, сообщают СМИ.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 461, + "generated_len": [ + 146 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.34615384615384615, + "rouge2": 0.19607843137254902 + }, + "predict": " Следователи задержали генерал-лейтенанта Михаила Музраева по делу о покушении на губернатора Андрея Бочарова в Волгоградской области. Операция проводилась совместно с ФСБ, и обвинение касается покушения на убийство и поджога. В деле также фигурируют другие члены преступной группировки, включая одного, скрывающегося в США.", + "sample": { + "src_sents": [ + "Следователи задержали генерал-лейтенанта Михаила Музраева , который в течение семи лет был главой управления СК по Волгоградской области, по делу о покушении на губернатора Андрея Бочарова , передает ТАСС со ссылкой на правоохранительные органы.", + "В комментарии агентству официальный представитель СК РФ Светлана Петренко не называла фамилию задержанного.", + "Она отметила, что операция была проведена совместно с ФСБ.", + "О том, что задержали именно генерал-лейтенанта юстиции, ТАСС сообщили осведомленные источники.", + "Кроме того, эту информацию подтвердили в Центре общественных связей (ЦОС) ФСБ России.", + "Ранее по делу о поджоге правоохранители задержали криминального авторитета Евгения Ремезова. Произошло это 23 мая в Москве.", + "Следователи считают, что он поручил совершить преступление своим доверенным лицам, которые являлись членами возглавляемой им преступной группы.", + "По данным следствия, покушение на губернатора области и членов его семьи произошло ночью 16 ноября 2016 года.", + "К нему во двор пробрались несколько человек, один из которых попытался поджечь стену дома при помощи легковоспламеняющейся жидкости.", + "По факту произошедшего сотрудники регионально СК завели уголовные дела по части 2 статьи 167 («Умышленное повреждение чужого имущества путем поджога») и части 3 статьи 30 и части 105 («Покушение на убийство двух и более лиц, в том числе в связи с осуществлением лицом служебной деятельности») УК РФ.", + "Правоохранители смогли установить пять человек, причастных к покушению.", + "Троих из них задержали в 2017 году.", + "По информации ФСБ, на которую ссылается ТАСС, один из пяти подозреваемых скрылся в США, где отбывает наказание за преступление, совершенное на территории Штатов." + ], + "summary_sents": [ + "Правоохранители задержали экс-главу регионального управления СК по Волгоградской области Михаила Музраева по делу о покушении на губернатора региона Андрея Бочарова.", + "Ранее по тому же уголовному делу был задержан местный бизнесмен, известный в узких кругах как криминальный авторитет Евгений Ремезов.", + "Его арест продлится до 21 июля.", + "Покушение на главу области произошло в 2016 году, когда несколько человек пытались поджечь его дом." + ], + "support_labels": [ + "YES", + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 7, + 8 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Следователи задержали генерал-лейтенанта Михаила Музраева , который в течение семи лет был главой управления СК по Волгоградской области, по делу о покушении на губернатора Андрея Бочарова , передает ТАСС со ссылкой на правоохранительные органы. В комментарии агентству официальный представитель СК РФ Светлана Петренко не называла фамилию задержанного. Она отметила, что операция была проведена совместно с ФСБ. О том, что задержали именно генерал-лейтенанта юстиции, ТАСС сообщили осведомленные источники. Кроме того, эту информацию подтвердили в Центре общественных связей (ЦОС) ФСБ России. Ранее по делу о поджоге правоохранители задержали криминального авторитета Евгения Ремезова. Произошло это 23 мая в Москве. Следователи считают, что он поручил совершить преступление своим доверенным лицам, которые являлись членами возглавляемой им преступной группы. По данным следствия, покушение на губернатора области и членов его семьи произошло ночью 16 ноября 2016 года. К нему во двор пробрались несколько человек, один из которых попытался поджечь стену дома при помощи легковоспламеняющейся жидкости. По факту произошедшего сотрудники регионально СК завели уголовные дела по части 2 статьи 167 («Умышленное повреждение чужого имущества путем поджога») и части 3 статьи 30 и части 105 («Покушение на убийство двух и более лиц, в том числе в связи с осуществлением лицом служебной деятельности») УК РФ. Правоохранители смогли установить пять человек, причастных к покушению. Троих из них задержали в 2017 году. По информации ФСБ, на которую ссылается ТАСС, один из пяти подозреваемых скрылся в США, где отбывает наказание за преступление, совершенное на территории Штатов.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 389, + "generated_len": [ + 146 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.36363636363636365, + "rouge2": 0.18518518518518517 + }, + "predict": " Всемирное антидопинговое агентство (WADA) поддержало решение Международного олимпийского комитета (МОК) о пожизненном отстранении российских лыжников Александра Легкова и Евгения Белова от Олимпийских игр 2014 года и аннулировании их результатов. WADA и МОК выразили надежду на завершение расследований по 26 российским спортсменам и укрепление антидопинговых правил. Решение принято в результате расследования комиссии Освальда, перепроверившей допинг-пробы российских атлетов, и работы комиссии Шмида, занимающейся выявлением причастности российского государства к нарушению антидопинговых правил.", + "sample": { + "src_sents": [ + "Всемирное антидопинговое агентство ( WADA ) выступило с поддержкой решения Международного олимпийского комитета (МОК) о пожизненном отстранении российских лыжников Александра Легкова и Евгения Белов а от Олимпийских игр и аннулировании их результатах в Сочи-2014.", + "WADA опубликовало на своем сайте пресс-релиз в котором процитированы слова генерального директора организации Оливера Нигли и главы агентства Крейга Риди.", + "«Мы воодушевлены выводами комиссии Освальда. В дополнение к найденному профессором Маклареном, обнародованные результаты являются мощным сигналом атлетам и прочим о том, что даже годы спустя свидетельства могут быть найдены и, в свою очередь, они могут спровоцировать ужесточение антидопинговых правил», — заявил Нигли.", + "Глава организации Риди выразил надежду, что расследование по всем 26 российским спортсменам будет завершено вовремя.", + "«WADA рассчитывает, что комиссия Освальда вовремя завершит расследования дел всех 26 спортсменов из России, а также рассчитываем на своевременное завершение работы комиссии Шмида, которая выясняет причастность российских государственных институтов к допинговым махинациям. Мы уверены, что результаты этих процессов станут бесценными в деле борьбы за чистоту спорта», — сказал Риди.", + "Такое суровое постановление комитет принял вследствие расследования специально комиссии Освальда, занимающейся перепроверкой допинг-проб российских атлетов, чьи имена фигурируют в докладе комиссии WADA под руководством профессора Макларена.", + "Вторая комиссия МОК под руководством Шмида расследует причастность российского государства к нарушению антидопинговых правил и пока еще не представила результаты своей работы.", + "В декабре прошлого года Международная федерация лыжных видов спорта отстранила на неопределенный срок сразу шесть российских лыжников и лыжниц: Легкова, Белова, Алексея Петухова , Максима Вылегжанина , Юлию Иванову и Евгению Шаповалову." + ], + "summary_sents": [ + "Всемирное антидопинговое агентство поддержало Медународный олимпийский комитет в решении пожизненно отстранить и аннулировать результаты Олимпиады в Сочи российских лыжников Александра Легкова и Евгения Белова.", + "Глава агентства Крейг Риди также выразил надежду, что данный прецедент послужит в благо борьбы с допингом." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 4 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Всемирное антидопинговое агентство ( WADA ) выступило с поддержкой решения Международного олимпийского комитета (МОК) о пожизненном отстранении российских лыжников Александра Легкова и Евгения Белов а от Олимпийских игр и аннулировании их результатах в Сочи-2014. WADA опубликовало на своем сайте пресс-релиз в котором процитированы слова генерального директора организации Оливера Нигли и главы агентства Крейга Риди. «Мы воодушевлены выводами комиссии Освальда. В дополнение к найденному профессором Маклареном, обнародованные результаты являются мощным сигналом атлетам и прочим о том, что даже годы спустя свидетельства могут быть найдены и, в свою очередь, они могут спровоцировать ужесточение антидопинговых правил», — заявил Нигли. Глава организации Риди выразил надежду, что расследование по всем 26 российским спортсменам будет завершено вовремя. «WADA рассчитывает, что комиссия Освальда вовремя завершит расследования дел всех 26 спортсменов из России, а также рассчитываем на своевременное завершение работы комиссии Шмида, которая выясняет причастность российских государственных институтов к допинговым махинациям. Мы уверены, что результаты этих процессов станут бесценными в деле борьбы за чистоту спорта», — сказал Риди. Такое суровое постановление комитет принял вследствие расследования специально комиссии Освальда, занимающейся перепроверкой допинг-проб российских атлетов, чьи имена фигурируют в докладе комиссии WADA под руководством профессора Макларена. Вторая комиссия МОК под руководством Шмида расследует причастность российского государства к нарушению антидопинговых правил и пока еще не представила результаты своей работы. В декабре прошлого года Международная федерация лыжных видов спорта отстранила на неопределенный срок сразу шесть российских лыжников и лыжниц: Легкова, Белова, Алексея Петухова , Максима Вылегжанина , Юлию Иванову и Евгению Шаповалову.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 425, + "generated_len": [ + 146 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3205128205128205, + "rouge2": 0.12987012987012989 + }, + "predict": " Бывший судья Дмитрий Малых, ранее осужденный за дисциплинарный проступок, обвиняется в нападении на сотрудников аэропорта Иркутска в октябре 2011 года, когда он находился в состоянии алкогольного опьянения. В ходе конфликта он применил насилие в отношении представителей власти, включая полицию, и оскорбил их. Прокуратура возбудила уголовное дело по статьям 318 (применение насилия в отношении представителя власти) и 319 (оскорбление представителя власти) УК РФ. В 2010 году Малых был досрочно лишен полномочий судьи из-за инцидента с задержанием в аэропорту. В ходе расследования были получены показания свидетелей и видеоматериалы, подтверждающие его агрессивное поведение.", + "sample": { + "src_sents": [ + "Председатель Следственного комитета (СК) Александр Бастрыкин возбудил уголовное дело в отношении бывшего судьи Дмитрия Малых за нападение на полицейских в аэропорту Иркутска еще осенью позапрошлого года.", + "Теперь, как сообщили в СК, экс-судья Киренского районного суда Иркутской области обвиняется по ч. 1 и 2 ст. 318 УК (применение насилия в отношении представителя власти) и ст. 319 УК (оскорбление представителя власти).", + "Инцидент с участием Малых, более десяти лет работавшего судьей, произошел 31 октября 2011 года.", + "По данным портала «Право.Ru», он возвращался как раз с семинара в Иркутском областном суде.", + "В аэропорт Иркутска, по словам свидетелей, судья прибыл «в состоянии алкогольного опьянения».", + "Кроме того, в ответ на замечания стал хамить сотрудникам аэропорта, которые отстранили его от полета.", + "Свидетелями противостояния судьи и стражей порядка стали продавцы павильонов, пассажиры и работники аэропорта.", + "По версии следствия, при прохождении досмотра он стал «выражаться грубой нецензурной бранью» в присутствии пассажиров и работников службы безопасности аэропорта.", + "Полицейские потребовали, чтобы мужчина прекратил хамить окружающим, однако Малых обругал и стражей порядка и даже «уронил одного из них на пол», а о лицо другого затушил зажженную сигарету.", + "Сейчас дело о нападении Малых на полицейских находится в производстве следователя Восточно-Сибирского следственного управления СК на транспорте.", + "Еще год назад квалификационная коллегия судей Иркутской области досрочно прекратила полномочия Малых «в связи с совершением им дисциплинарного проступка».", + "Давая письменные пояснения квалификационной коллегии, Малых указал, что 31 октября у него не были назначены судебные заседания, а потому он употребил «50 г спиртного, так как боится летать».", + "Более того, по его словам, это полицейские, зная, что он является судьей, напали на него в комнате для курения и удерживали его более двух часов, что Малых расценивает как «провокацию с целью дискредитации судебной системы в целом, так и его как судьи в частности».", + "Полицейский Александр Поличев, который в день происшествия был начальником смены по досмотру, подтвердил перед коллегией аморальное поведение Малых.", + "«Он мне сказал, что служил в штурмовой бригаде и сейчас нанесет мне удар в лицо, а в результате потушил сигарету о мою щеку», — рассказал полицейский.", + "Потом, когда подошла сотрудница полиции Григоренко, то, по словам Поличева, уволенный судья «сделал ей подсечку», она «упала и заплакала, а мы вызвали подмогу, и затем произошел захват».", + "Члены коллегии также просмотрели видео с камер наблюдения в зоне досмотра аэропорта: на них Малых размахивал руками.", + "В письменных показаниях свидетелей утверждалось даже, что «судья угрожал сотрудницам аэропорта изнасилованием».", + "Надо сказать, после инцидента Малых даже написал заявление на полицейских следователю, но в возбуждении дела отказали." + ], + "summary_sents": [ + "Председатель Следственного комитета Алесксандр Бастрыкин возбудил уголовное дело в отношении бывшего судьи Дмитрия Малых за нападение на полицейских в аэропорту Иркутска осенью позапрошлого года.", + "Тогда, по версии следствия, пьяный судья нахамил сотрудникам аэропорта, сбил с ног женщину-полицейского и потушил сигарету о ее коллегу, угрожая им увольнением.", + "На квалификационной коллегии дебошир утверждал, что это полицейские напали на него «с целью дискредитации судебной системы в целом»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 8, + 12, + 14, + 15 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Председатель Следственного комитета (СК) Александр Бастрыкин возбудил уголовное дело в отношении бывшего судьи Дмитрия Малых за нападение на полицейских в аэропорту Иркутска еще осенью позапрошлого года. Теперь, как сообщили в СК, экс-судья Киренского районного суда Иркутской области обвиняется по ч. 1 и 2 ст. 318 УК (применение насилия в отношении представителя власти) и ст. 319 УК (оскорбление представителя власти). Инцидент с участием Малых, более десяти лет работавшего судьей, произошел 31 октября 2011 года. По данным портала «Право.Ru», он возвращался как раз с семинара в Иркутском областном суде. В аэропорт Иркутска, по словам свидетелей, судья прибыл «в состоянии алкогольного опьянения». Кроме того, в ответ на замечания стал хамить сотрудникам аэропорта, которые отстранили его от полета. Свидетелями противостояния судьи и стражей порядка стали продавцы павильонов, пассажиры и работники аэропорта. По версии следствия, при прохождении досмотра он стал «выражаться грубой нецензурной бранью» в присутствии пассажиров и работников службы безопасности аэропорта. Полицейские потребовали, чтобы мужчина прекратил хамить окружающим, однако Малых обругал и стражей порядка и даже «уронил одного из них на пол», а о лицо другого затушил зажженную сигарету. Сейчас дело о нападении Малых на полицейских находится в производстве следователя Восточно-Сибирского следственного управления СК на транспорте. Еще год назад квалификационная коллегия судей Иркутской области досрочно прекратила полномочия Малых «в связи с совершением им дисциплинарного проступка». Давая письменные пояснения квалификационной коллегии, Малых указал, что 31 октября у него не были назначены судебные заседания, а потому он употребил «50 г спиртного, так как боится летать». Более того, по его словам, это полицейские, зная, что он является судьей, напали на него в комнате для курения и удерживали его более двух часов, что Малых расценивает как «провокацию с целью дискредитации судебной системы в целом, так и его как судьи в частности». Полицейский Александр Поличев, который в день происшествия был начальником смены по досмотру, подтвердил перед коллегией аморальное поведение Малых. «Он мне сказал, что служил в штурмовой бригаде и сейчас нанесет мне удар в лицо, а в результате потушил сигарету о мою щеку», — рассказал полицейский. Потом, когда подошла сотрудница полиции Григоренко, то, по словам Поличева, уволенный судья «сделал ей подсечку», она «упала и заплакала, а мы вызвали подмогу, и затем произошел захват». Члены коллегии также просмотрели видео с камер наблюдения в зоне досмотра аэропорта: на них Малых размахивал руками. В письменных показаниях свидетелей утверждалось даже, что «судья угрожал сотрудницам аэропорта изнасилованием». Надо сказать, после инцидента Малых даже написал заявление на полицейских следователю, но в возбуждении дела отказали.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 669, + "generated_len": [ + 146 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.41441441441441434, + "rouge2": 0.12844036697247704 + }, + "predict": " 90-летний итальянский композитор Эннио Морриконе опроверг слухи о негативном интервью с немецким журналистом из журнала Playboy, в котором якобы критиковал режиссера Квентина Тарантино, называя его «кретином». Морриконе утверждает, что никогда не говорил негативных слов о Тарантино и его работах, считая его великим режиссером с индивидуальностью и смелостью. Он выразил свою благодарность Тарантино за возможность работать над музыкой к его фильмам, а также выразил недовольство его практикой воровства в работе над фильмами.", + "sample": { + "src_sents": [ + "Итальянский композитор, аранжировщик и дирижер Эннио Морриконе заявил, что не давал интервью немецкой редакции журнала Playboy, в котором якобы подверг критике режиссера Квентина Тарантино, назвав кинематографиста «кретином».", + "«Я никогда не говорил каких-либо негативных слов в адрес Американской киноакадемии, Квентина Тарантино и его фильмов. И уж точно никогда не считал его ленты мусором. Теперь речь идет о гражданском или уголовном иске», — сказал Морриконе, которому на днях исполнилось 90 лет.", + "Он также подчеркнул, что считает Тарантино великим режиссером, обладающим смелостью и огромной индивидуальностью.", + "«Я считаю Тарантино великим режиссером, очень люблю работать с ним и наши отношения в целом, которые мы строили эти долгие годы.", + "И я очень ценю наше сотрудничество, принесшее мне «Оскар», — это, безусловно, один из величайших дней в моей карьере.", + "Буду вечно благодарен Квентину за возможность сочинять музыку к его творениям, — передает слова итальянца The Hollywood Reporter.", + "Согласно композитору, в Playboy не просто переврали его слова: он даже никогда не встречался с журналистом из Германии, автором скандального интервью.", + "«Я просто в ярости, — признался Эннио изданию Repubblica. — Я не понимаю, как подобное могло произойти в мире журналистики. Этим утром мой друг Джузеппе Торнаторе позвонил, рассказал обо всем и порядком меня ошеломил».", + "В ходе общения с журналистами Эннио якобы раскритиковал Тарантино, назвав режиссера «кретином» и обвинив того в воровстве.", + "«Бывает, что он звонит тебе внезапно и просит показать готовую музыку к фильму в ближайшие несколько дней. Но это невозможно — и лично меня это очень сильно бесит. Я больше не хочу с ним работать, о чем сказал Квентину во время нашего последнего разговора, — якобы заявил итальянец в интервью. — Он только и может, что красть у других, лишь переосмысливая идеи. В его работах нет ничего оригинального. Так что его нельзя сравнивать с настоящими голливудскими звездами — Джоном Хьюстоном, Альфредом Хичкоком или Билли Уайлдером. Вот они были классными. А фильмы Тарантино я смотреть не могу, так как они являются мусором»." + ], + "summary_sents": [ + "Композитор Эннио Морриконе обвинил во лжи немецкую редакцию журнала Playboy, опубликовавшую интервью 90-летнего итальянца, в котором он якобы раскритиковал режиссера Квентина Тарантино, назвав того «кретином».", + "По словам двукратного обладателя премии «Оскар», он даже не встречался с журналистом издания." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 6 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Итальянский композитор, аранжировщик и дирижер Эннио Морриконе заявил, что не давал интервью немецкой редакции журнала Playboy, в котором якобы подверг критике режиссера Квентина Тарантино, назвав кинематографиста «кретином». «Я никогда не говорил каких-либо негативных слов в адрес Американской киноакадемии, Квентина Тарантино и его фильмов. И уж точно никогда не считал его ленты мусором. Теперь речь идет о гражданском или уголовном иске», — сказал Морриконе, которому на днях исполнилось 90 лет. Он также подчеркнул, что считает Тарантино великим режиссером, обладающим смелостью и огромной индивидуальностью. «Я считаю Тарантино великим режиссером, очень люблю работать с ним и наши отношения в целом, которые мы строили эти долгие годы. И я очень ценю наше сотрудничество, принесшее мне «Оскар», — это, безусловно, один из величайших дней в моей карьере. Буду вечно благодарен Квентину за возможность сочинять музыку к его творениям, — передает слова итальянца The Hollywood Reporter. Согласно композитору, в Playboy не просто переврали его слова: он даже никогда не встречался с журналистом из Германии, автором скандального интервью. «Я просто в ярости, — признался Эннио изданию Repubblica. — Я не понимаю, как подобное могло произойти в мире журналистики. Этим утром мой друг Джузеппе Торнаторе позвонил, рассказал обо всем и порядком меня ошеломил». В ходе общения с журналистами Эннио якобы раскритиковал Тарантино, назвав режиссера «кретином» и обвинив того в воровстве. «Бывает, что он звонит тебе внезапно и просит показать готовую музыку к фильму в ближайшие несколько дней. Но это невозможно — и лично меня это очень сильно бесит. Я больше не хочу с ним работать, о чем сказал Квентину во время нашего последнего разговора, — якобы заявил итальянец в интервью. — Он только и может, что красть у других, лишь переосмысливая идеи. В его работах нет ничего оригинального. Так что его нельзя сравнивать с настоящими голливудскими звездами — Джоном Хьюстоном, Альфредом Хичкоком или Билли Уайлдером. Вот они были классными. А фильмы Тарантино я смотреть не могу, так как они являются мусором».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 506, + "generated_len": [ + 146 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.23333333333333336, + "rouge2": 0.06779661016949153 + }, + "predict": " В российской армии планируют ввести контроль над морально-политическим состоянием (МПС) личного состава с помощью социологических центров, созданных в каждом военном округе. Цель — выявлять низкий уровень МПС и наказывать командиров за это. В ходе специальных анкетирования, проводимых в частях, выявляются проблемы личного состава и отношение гражданского населения к армии в зоне боевых действий. Этот подход призван улучшить безопасность и дисциплину в вооруженных силах, особенно после ЧП в Забайкалье, где низкий уровень МПС мог стать причиной трагедии.", + "sample": { + "src_sents": [ + "В российской армии начнут контролировать настроение и поведение солдат и офицеров, сообщили «Известиям» источники в Минобороны.", + "Они уточнили, что для этого в каждом военном округе создадут социологические центры.", + "Если их сотрудники обнаружат в какой-то из частей низкий уровень морально-политического состояния (МПС) личного состава, наказывать за это будут командиров.", + "Социологические центры будут находиться в подчинении Главного военно-политического управления (ГлавВоенПУР) и комплектоваться из офицеров, имеющих профильное образование.", + "Они должны будут создавать новые методики оценки микроклимата в частях и соединениях в мирное и военное время.", + "Кроме того, военные будут составлять соцопросы и определять темы для фокус-групп.", + "Как объяснил изданию доцент РЭУ имени Плеханова, полковник Александр Перенджиев , задачей военных социологов будет выяснить настроения внутри воинских частей и подразделений и определить, как к армии относится гражданское население в районе, где идут боевые действия.", + "По словам главного редактора журнала «Арсенал Отечества» Виктора Мураховского, в ближайшее время в войсках начнут проводить специальное анкетирование, методики которого разработали ранее, но использовали не на постоянной основе.", + "Спецанкета состоит из более чем десяти вопросов: про питание, сон, стрессы, специфические проблемы, с которыми можно столкнуться в боевой обстановке.", + "Результаты анкетирования обрабатывает специальная компьютерная программа, а затем выдается единый интегральный показатель — «оценка МПС».", + "Как указали в статье, в мирное время низкий уровень МПС военнослужащих сказывается на количестве происшествий и преступлений в частях.", + "В ходе смотров офицеры и солдаты могут сообщить проверяющему о тех или иных недостатках, но на практике этим правом пользуются далеко не все военнослужащие.", + "Журналисты указали, что в мирное время низкий показатель МПС может стать причиной для увольнения командира части.", + "Обсуждение этого вопроса активизировалось на фоне произошедшего 25 октября ЧП в воинской части в Забайкалье.", + "Во время смены караула военнослужащий должен был разрядить автомат, но вместо этого вставил в него магазин и начал стрелять из табельного оружия по сослуживцам.", + "В результате стрельбы погибли восемь человек.", + "Еще двое были ранены, но сейчас их жизни вне опасности.", + "Срочника задержали, причем, по информации издания Baza, он сразу сдался спецназу.", + "Как сообщили журналисты, находящаяся на военной базе группа «Антитеррор» экипировалась в тот момент, когда прозвучали первые выстрелы." + ], + "summary_sents": [ + "Настроение и моральное состояние российских военнослужащих будут контролировать офицеры с профильным образованием, сообщили источники в Минобороны.", + "Бойцы будут проходить специальное анкетирование, которое поможет заранее выявить существующие проблемы в воинской части.", + "Такая информация появилась на фоне ЧП в Забайкалье, где солдат расстрелял своих сослуживцев." + ], + "support_labels": [ + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 7, + 13, + 14 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В российской армии начнут контролировать настроение и поведение солдат и офицеров, сообщили «Известиям» источники в Минобороны. Они уточнили, что для этого в каждом военном округе создадут социологические центры. Если их сотрудники обнаружат в какой-то из частей низкий уровень морально-политического состояния (МПС) личного состава, наказывать за это будут командиров. Социологические центры будут находиться в подчинении Главного военно-политического управления (ГлавВоенПУР) и комплектоваться из офицеров, имеющих профильное образование. Они должны будут создавать новые методики оценки микроклимата в частях и соединениях в мирное и военное время. Кроме того, военные будут составлять соцопросы и определять темы для фокус-групп. Как объяснил изданию доцент РЭУ имени Плеханова, полковник Александр Перенджиев , задачей военных социологов будет выяснить настроения внутри воинских частей и подразделений и определить, как к армии относится гражданское население в районе, где идут боевые действия. По словам главного редактора журнала «Арсенал Отечества» Виктора Мураховского, в ближайшее время в войсках начнут проводить специальное анкетирование, методики которого разработали ранее, но использовали не на постоянной основе. Спецанкета состоит из более чем десяти вопросов: про питание, сон, стрессы, специфические проблемы, с которыми можно столкнуться в боевой обстановке. Результаты анкетирования обрабатывает специальная компьютерная программа, а затем выдается единый интегральный показатель — «оценка МПС». Как указали в статье, в мирное время низкий уровень МПС военнослужащих сказывается на количестве происшествий и преступлений в частях. В ходе смотров офицеры и солдаты могут сообщить проверяющему о тех или иных недостатках, но на практике этим правом пользуются далеко не все военнослужащие. Журналисты указали, что в мирное время низкий показатель МПС может стать причиной для увольнения командира части. Обсуждение этого вопроса активизировалось на фоне произошедшего 25 октября ЧП в воинской части в Забайкалье. Во время смены караула военнослужащий должен был разрядить автомат, но вместо этого вставил в него магазин и начал стрелять из табельного оружия по сослуживцам. В результате стрельбы погибли восемь человек. Еще двое были ранены, но сейчас их жизни вне опасности. Срочника задержали, причем, по информации издания Baza, он сразу сдался спецназу. Как сообщили журналисты, находящаяся на военной базе группа «Антитеррор» экипировалась в тот момент, когда прозвучали первые выстрелы.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 516, + "generated_len": [ + 146 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.32380952380952377, + "rouge2": 0.05825242718446602 + }, + "predict": " Министр здравоохранения Вероника Скворцова рекомендовала закупить французский самолет Falcon 7X для Федерального медико-биологического агентства (ФМБА) вместо российского SSJ100, из-за проблем с обслуживанием и управлением SSJ100. Ситуация с SSJ100 ухудшилась после аварии в Шереметьево, что негативно сказалось на репутации российского авиапрома. Финансовые потери и репутация, связанные с SSJ100, указывают на проблемы в создании конкурентоспособной продукции в России.", + "sample": { + "src_sents": [ + "Французский самолет Falcon 7X предпочтительнее, чем российский SSJ100, считает министр здравоохранения Вероника Скворцова , сообщает принадлежащее Григорию Березкину РБК.", + "Чиновница попросила правительство купить самолет Falcon для Федерального медико-биологическое агентства (ФМБА), подотчетного Минздрав у.", + "Причина такого решения — необходимость проведения агентством санитарно-авиационной эвакуации.", + "Выбор в пользу Falcon пал, поскольку этот самолет дешевле и больше подходит по характеристикам для работы ФМБА.", + "Планируется закупка одного самолета.", + "Между тем судьба самолета SSJ100 складывается в последнее время не слишком удачно.", + "Одной из главных проблем самолета стало постпродажное обслуживание.", + "Кроме того, страны, закупившие самолет, жаловались на то, что у лайнера проблемы с управлением механизации крыла, не всегда корректно работает шасси, случаются перебои в работе системы ГЛОНАСС.", + "После произошедшей в начале мая аварии в Шереметьево , когда при экстренной посадке SSJ-100 загорелся и погиб 41 человек, «дурная» репутация российского лайнера стала по-настоящему народной: авиакомпании массово стали сообщать обо всех сбоях и задержках рейсов с участием SSJ-100, а некоторые пассажиры стали отказываться летать на таких лайнерах.", + "История самолета Sukhoi SuperJet указывает на трудности России в создании конкурентоспособной продукции, писало ранее издание Financial Times.", + "Потраченные $2 млрд на новый самолет обернулись серьезными репутационными потерями для российского авиапрома.", + "Российская экономика не стимулирует создание глобальных конкурентоспособных компаний мирового уровня, что наглядно демонстрирует история самолета Sukhoi SuperJet 100, сообщало издание.", + "Как отмечал эксперт Московского центра Карнеги Андрей Мовчан , российское правительство «стимулирует спрос, но не конкуренцию».", + "В итоге тратятся средства на создание неконкурентной, но дорогой продукции и создаются условия, вынуждающие потребителей ее приобретать." + ], + "summary_sents": [ + "Минздрав выбрал в качестве самолета санитарной авиации французский Falcon 7X, а не российский SSJ100.", + "Он дешевле и лучше подходит по характеристикам, считает глава министерства Вероника Скворцова.", + "Российскому лайнеру вообще не везет.", + "Потраченные на его создание $2 млрд обернулись серьезными репутационными потерями для нашего авиапрома, указывают западные СМИ." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 3, + 5, + 10 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Французский самолет Falcon 7X предпочтительнее, чем российский SSJ100, считает министр здравоохранения Вероника Скворцова , сообщает принадлежащее Григорию Березкину РБК. Чиновница попросила правительство купить самолет Falcon для Федерального медико-биологическое агентства (ФМБА), подотчетного Минздрав у. Причина такого решения — необходимость проведения агентством санитарно-авиационной эвакуации. Выбор в пользу Falcon пал, поскольку этот самолет дешевле и больше подходит по характеристикам для работы ФМБА. Планируется закупка одного самолета. Между тем судьба самолета SSJ100 складывается в последнее время не слишком удачно. Одной из главных проблем самолета стало постпродажное обслуживание. Кроме того, страны, закупившие самолет, жаловались на то, что у лайнера проблемы с управлением механизации крыла, не всегда корректно работает шасси, случаются перебои в работе системы ГЛОНАСС. После произошедшей в начале мая аварии в Шереметьево , когда при экстренной посадке SSJ-100 загорелся и погиб 41 человек, «дурная» репутация российского лайнера стала по-настоящему народной: авиакомпании массово стали сообщать обо всех сбоях и задержках рейсов с участием SSJ-100, а некоторые пассажиры стали отказываться летать на таких лайнерах. История самолета Sukhoi SuperJet указывает на трудности России в создании конкурентоспособной продукции, писало ранее издание Financial Times. Потраченные $2 млрд на новый самолет обернулись серьезными репутационными потерями для российского авиапрома. Российская экономика не стимулирует создание глобальных конкурентоспособных компаний мирового уровня, что наглядно демонстрирует история самолета Sukhoi SuperJet 100, сообщало издание. Как отмечал эксперт Московского центра Карнеги Андрей Мовчан , российское правительство «стимулирует спрос, но не конкуренцию». В итоге тратятся средства на создание неконкурентной, но дорогой продукции и создаются условия, вынуждающие потребителей ее приобретать.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 427, + "generated_len": [ + 146 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5346534653465348, + "rouge2": 0.2828282828282829 + }, + "predict": " Президенты России и Турции Владимир Путин и Реджеп Тайип Эрдоган провели телефонную беседу, обсудив ситуацию в сирийском Идлибе, где обострилась напряженность. Лидеры подчеркнули важность выполнения сочинского соглашения и выразили обеспокоенность по поводу экстремистских группировок. Также они подтвердили приверженность достигнутым договоренностям по Сирии и выразили обеспокоенность агрессивными действиями в регионе.", + "sample": { + "src_sents": [ + "Президент России Владимир Путин провел телефонную беседу со своим турецким коллегой Реджепом Тайипом Эрдоганом.", + "Лидеры обсудили ситуацию в сирийском Идлибе, где в последнее время серьезно обострилась ситуация. Как сообщает администрация главы Турции, президенты отметили важность выполнения сочинского соглашения. »", + "Эрдоган заявил о необходимости сдерживания сирийского режима в Идлибе и предотвращении там гуманитарного кризиса. Наш президент также отметил, что урегулирование в Идлибе должно проходить на основе полного выполнения сочинского соглашения», — цитирует сообщение администрации президента Турции РИА «Новости».", + "Также два лидера подтвердили приверженность всем ранее достигнутым договоренностям по Сирии, добавили в Анкаре.", + "Россия и Турция осенью 2018 года подписали в Сочи меморандум по стабилизации ситуации в Идлибе.", + "В Кремле сообщают, что Путин в разговоре с Эрдоганом выразил серьезную обеспокоенность агрессивными действиями экстремистских группировок в Идлибе и обозначил необходимость безусловного уважения суверенитета и территориальной целостности Сирии.", + "Как ранее отмечал президент Турции, происходящие в сирийской провинции события можно назвать войной.", + "Ситуация в Идлибе ухудшилась еще в январе, когда Россия и Турция попытались установить в провинции режим тишины." + ], + "summary_sents": [ + "Владимир Путин и Реджеп Тайип Эрдоган провели телефонную беседу в связи с эскалацией напряженности в сирийском Идлибе.", + "Президент России выразил серьезную обеспокоенность агрессивными действиями экстремистских группировок в Идлибе и обозначил, что нужно уважать суверенитет и территориальную целостность Сирии.", + "Турецкий лидер же, по чьей инициативе состоялся разговор, заявил о необходимости сдерживания «сирийского режима»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 5 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Президент России Владимир Путин провел телефонную беседу со своим турецким коллегой Реджепом Тайипом Эрдоганом. Лидеры обсудили ситуацию в сирийском Идлибе, где в последнее время серьезно обострилась ситуация. Как сообщает администрация главы Турции, президенты отметили важность выполнения сочинского соглашения. » Эрдоган заявил о необходимости сдерживания сирийского режима в Идлибе и предотвращении там гуманитарного кризиса. Наш президент также отметил, что урегулирование в Идлибе должно проходить на основе полного выполнения сочинского соглашения», — цитирует сообщение администрации президента Турции РИА «Новости». Также два лидера подтвердили приверженность всем ранее достигнутым договоренностям по Сирии, добавили в Анкаре. Россия и Турция осенью 2018 года подписали в Сочи меморандум по стабилизации ситуации в Идлибе. В Кремле сообщают, что Путин в разговоре с Эрдоганом выразил серьезную обеспокоенность агрессивными действиями экстремистских группировок в Идлибе и обозначил необходимость безусловного уважения суверенитета и территориальной целостности Сирии. Как ранее отмечал президент Турции, происходящие в сирийской провинции события можно назвать войной. Ситуация в Идлибе ухудшилась еще в январе, когда Россия и Турция попытались установить в провинции режим тишины.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 279, + "generated_len": [ + 146 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.28395061728395066, + "rouge2": 0.1125 + }, + "predict": " Forbes опубликовал рейтинг самых богатых женщин России, где Елена Батурина, супруга Юрия Лужкова, занимает первое место с состоянием $1,2 млрд. Татьяна Бакальчук, генеральный директор Wildberries, и Татьяна Ковальчук также входят в топ-5, каждая с состоянием около $600 млн. Этот рейтинг впервые включает две обладательницы миллиардного состояния. В социальных сетях набирает популярность флешмоб #оналидер, призванный подчеркнуть важность женского лидерства для успешного развития страны. Наталья Касперская, глава InfoWatch, подчеркивает, что успех в бизнесе зависит от личных качеств, таких как упорство и желание не опускать руки, независимо от пола. Ольга Ускова, основатель «Когнитивные технологий», предупреждает о сложности пути к лидерству для женщин, но подчеркивает, что это делает путь более захватывающим.", + "sample": { + "src_sents": [ + "В четверг журнал Forbes опубликовал новый рейтинг самых богатых женщин России.", + "Елена Батурина , жена бывшего мэра Москвы Юрия Лужкова , осталась во главе списка.", + "Основательница «Интеко», одной из крупнейших девелоперских компаний столицы, обладает состоянием в $1,2 млрд.", + "Вторую позицию в рейтинге сохранила генеральный директор интернет-магазина одежды Wildberries Татьяна Бакальчук ($1 млрд).", + "Год назад вторая в России женщина-миллиардер впервые вошла в список богатейших людей России с состоянием $600 млн.", + "На третьем месте — Татьяна Ковальчук ($600 млн).", + "В пятерку рейтинга также вошли Елена Рыболовлева ($600 млн), бывшая жена миллиардера, владельца и президента французского футбольного клуба «Монако» Дмитрия Рыболовлева , и Ольга Белявцева ($550 млн), бывший акционер завода «Лебедянский».", + "Журнал отмечает, что впервые в истории в рейтинге богатейших российских женщин оказалось сразу две обладательницы миллиардного состояния.", + "В соцсетях в течение последних дней набирает популярность флешмоб #оналидер: известные всей стране женщины пишут о том, как важно женское лидерство для того, чтобы страна успешно и гармонично развивалась.", + "Да, женщинам сложнее, когда нужно быть жесткими, гнуть свою линию, соглашается Наталья Касперская , глава группы компаний InfoWatch.", + "«Я никакой карьеры никогда не делала. Не было у меня плана делать карьеру. Было желание заработать немного денег для семьи. Это — хороший, сильный мотиватор. И в конце 90-х, во времена когда «Лаборатория Касперского» осваивала практически незанятый рынок, в 2007, когда я «приняла» компанию InfoWatch, и сейчас, — написала она на своей странице в фейсбуке. — Несмотря на то, что львиную долю успеха в любом бизнесе определяют внешние обстоятельства, удача или умение оказаться в нужном месте в нужное время, личный настрой на победу, упертость, желание разобраться в чем-то и способность никогда не опускать руки, значат не меньше. Потому что если не делать и не пытаться, вряд ли удача тебе улыбнется. И это касается не только мужчин. Женщин — даже в большей степени».", + "Основатель компании «Когнитивные технологии» Ольга Ускова предупреждает, что путь женщины к лидерству далеко не всегда усыпан розами, но оттого он и более захватывающий." + ], + "summary_sents": [ + "В интернете в последние дни набирает популярность хэштег #оналидер.", + "Известные всей России женщины рассказывают в соцсетях о своем участии в деловой жизни страны , политике, сфере общественных отношений.", + "На этом фоне в четверг журнал Forbes опубликовал рейтинг самых богатых женщин страны, и впервые в истории в этом списке оказались сразу две обладательницы миллиардного состояния." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 7, + 8 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В четверг журнал Forbes опубликовал новый рейтинг самых богатых женщин России. Елена Батурина , жена бывшего мэра Москвы Юрия Лужкова , осталась во главе списка. Основательница «Интеко», одной из крупнейших девелоперских компаний столицы, обладает состоянием в $1,2 млрд. Вторую позицию в рейтинге сохранила генеральный директор интернет-магазина одежды Wildberries Татьяна Бакальчук ($1 млрд). Год назад вторая в России женщина-миллиардер впервые вошла в список богатейших людей России с состоянием $600 млн. На третьем месте — Татьяна Ковальчук ($600 млн). В пятерку рейтинга также вошли Елена Рыболовлева ($600 млн), бывшая жена миллиардера, владельца и президента французского футбольного клуба «Монако» Дмитрия Рыболовлева , и Ольга Белявцева ($550 млн), бывший акционер завода «Лебедянский». Журнал отмечает, что впервые в истории в рейтинге богатейших российских женщин оказалось сразу две обладательницы миллиардного состояния. В соцсетях в течение последних дней набирает популярность флешмоб #оналидер: известные всей стране женщины пишут о том, как важно женское лидерство для того, чтобы страна успешно и гармонично развивалась. Да, женщинам сложнее, когда нужно быть жесткими, гнуть свою линию, соглашается Наталья Касперская , глава группы компаний InfoWatch. «Я никакой карьеры никогда не делала. Не было у меня плана делать карьеру. Было желание заработать немного денег для семьи. Это — хороший, сильный мотиватор. И в конце 90-х, во времена когда «Лаборатория Касперского» осваивала практически незанятый рынок, в 2007, когда я «приняла» компанию InfoWatch, и сейчас, — написала она на своей странице в фейсбуке. — Несмотря на то, что львиную долю успеха в любом бизнесе определяют внешние обстоятельства, удача или умение оказаться в нужном месте в нужное время, личный настрой на победу, упертость, желание разобраться в чем-то и способность никогда не опускать руки, значат не меньше. Потому что если не делать и не пытаться, вряд ли удача тебе улыбнется. И это касается не только мужчин. Женщин — даже в большей степени». Основатель компании «Когнитивные технологии» Ольга Ускова предупреждает, что путь женщины к лидерству далеко не всегда усыпан розами, но оттого он и более захватывающий.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 521, + "generated_len": [ + 170 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2903225806451613, + "rouge2": 0.06557377049180328 + }, + "predict": " Глава российской делегации в Организации по безопасности и сотрудничеству в Европе (ОБСЕ) Константин Гаврилов критиковал Украину за лживую риторику в отношении военных действий на востоке Украины, призывая к профессиональному обсуждению и осуждению кровавой карательной операции против населения Донбасса. Гаврилов также выразил поддержку мирного урегулирования конфликта и обратился к Европейскому суду по правам человека с межгосударственной жалобой на нарушения прав человека в Украине, включая гибель людей во время Евромайдана и антитеррористической операции в Донбассе.", + "sample": { + "src_sents": [ + "«Необдуманные высказывания о якобы концентрации Вооруженных сил России в приграничных районах используются представителями Украины на ФСОБ как ширма для продолжающейся в течение семи лет «необычной военной деятельности» в Донбассе с привлечением до 60 тысяч украинских военнослужащих», — сказал глава российской делегации в ОБСЕ Константин Гаврилов на пленарном заседании.", + "«Если делегация Украины будет и в дальнейшем придерживаться лживой, безответственной риторики, то профессионального обсуждения не получится, а еженедельные инсинуации южных соседей их западные спонсоры продолжат выслушивать без участия российской делегации», — предупредил Гаврилов.", + "В то же время он напомнил про действия «Киева против населения Донбасса».", + "Дипломат заявил, что Россия осуждает эту «кровопролитную карательную операцию» и выступает за мирное урегулирование конфликта на юго-востоке Украины.", + "Между Россией и Украиной в Европе идет противостояние и в юридической плоскости.", + "В пресс-службе Генеральной прокуратуры России 22 июля сообщили, что Москва обратилась в Европейский суд по правам человека (ЕСПЧ) с межгосударственной жалобой.", + "Сославшись на 33 статью Конвенции о защите прав человека и основных свобод, Россия перечислил несколько случаев нарушения прав человека на Украине.", + "Российская сторона возложила на соседнее государство ответственность за гибель людей во время Евромайдана, пожар в одесском Доме профсоюзов, антитеррористическую операцию в Донбассе, катастрофу рейса MH17.", + "Также Москва обвинила Киев в ущемлении прав русскоговорящего населения, преследовании журналистов, похищении людей.", + "Такое мнение выразил советник главы офиса президента Украины Михаил Подоляк.", + "В свою очередь, глава МИД Украины Дмитрий Кулеба предсказал неудачу жалобы." + ], + "summary_sents": [ + "Глава российской делегации на форуме ОБСЕ по безопасности Константин Гаврилов предупредил, что в случае продолжения «лживой риторики» со стороны Украины Россия покинет форум.", + "В частности, дипломат имел в виду заявления о развертывании российских войск у украинских границ.", + "У Москвы к Киеву накопились и другие претензии, которые вылились в иск в ЕСПЧ." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 6, + 7, + 8 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: «Необдуманные высказывания о якобы концентрации Вооруженных сил России в приграничных районах используются представителями Украины на ФСОБ как ширма для продолжающейся в течение семи лет «необычной военной деятельности» в Донбассе с привлечением до 60 тысяч украинских военнослужащих», — сказал глава российской делегации в ОБСЕ Константин Гаврилов на пленарном заседании. «Если делегация Украины будет и в дальнейшем придерживаться лживой, безответственной риторики, то профессионального обсуждения не получится, а еженедельные инсинуации южных соседей их западные спонсоры продолжат выслушивать без участия российской делегации», — предупредил Гаврилов. В то же время он напомнил про действия «Киева против населения Донбасса». Дипломат заявил, что Россия осуждает эту «кровопролитную карательную операцию» и выступает за мирное урегулирование конфликта на юго-востоке Украины. Между Россией и Украиной в Европе идет противостояние и в юридической плоскости. В пресс-службе Генеральной прокуратуры России 22 июля сообщили, что Москва обратилась в Европейский суд по правам человека (ЕСПЧ) с межгосударственной жалобой. Сославшись на 33 статью Конвенции о защите прав человека и основных свобод, Россия перечислил несколько случаев нарушения прав человека на Украине. Российская сторона возложила на соседнее государство ответственность за гибель людей во время Евромайдана, пожар в одесском Доме профсоюзов, антитеррористическую операцию в Донбассе, катастрофу рейса MH17. Также Москва обвинила Киев в ущемлении прав русскоговорящего населения, преследовании журналистов, похищении людей. Такое мнение выразил советник главы офиса президента Украины Михаил Подоляк. В свою очередь, глава МИД Украины Дмитрий Кулеба предсказал неудачу жалобы.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 384, + "generated_len": [ + 170 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3148148148148148, + "rouge2": 0.09433962264150944 + }, + "predict": " Заместитель пресс-секретаря Белого дома Карин Жан-Пьер подтвердила, что США поддерживают вступление Украины в НАТО в связи с эскалацией напряженности с Россией. Однако, при этом, США подчеркивают, что готовность Украины к членству в альянсе и ее способность к усилению НАТО являются ключевыми факторами. В Киеве, однако, советуют не акцентировать внимание на этом вопросе, а сосредоточиться на реформах и укреплении внутренней стабильности.", + "sample": { + "src_sents": [ + "США держат дверь «открытой» для вступления Украины в НАТО в связи с недавней эскалацией напряженности в отношениях с Россией, заявила журналистам на «борту №1» заместитель пресс-секретаря Белого дома Карин Жан-Пьер.", + "«Администрация [президента США Джо] Байдена привержена обеспечению принципа отрытых дверей в НАТО для кандидатов, которые готовы к этому, а также в силах выполнять обязательства членов и вносить свой вклад в безопасность в евроатлантическом регионе», — сказала Жан-Пьер.", + "По ее словам, «Соединенные Штаты поддерживают усилия Украины по продвижению реформ верховенства закона и экономического роста, а также неприкосновенность ее границы и ее пограничной борьбы против российской агрессии».", + "В свою очередь, после этих заявлений журналисты потребовали у Жан-Пьер разъяснений по поводу позиции США относительно членства именно Украины в НАТО.", + "На это представитель администрации президента США ответила: «Да», но снова уточнила, что определяющими факторами являются готовность страны к членству в Альянсе и ее способность усилить НАТО.", + "Интересно также и то, что приезжавшая с Блинкеном в Киев его заместитель по политическим вопросам Виктория Нуланд на встрече с руководителями фракций Верховной рады посоветовала Киеву не слишком часто упоминать про свое североатлантическое стремление, пишет украинское издание Strana.Ua.", + "На встрече присутствовали спикер Рады Дмитрий Разумков , глава парламентской фракции «Слуга народа» Давид Арахамия , глава «Европейской солидарности» Петр Порошенко , глава «Батькивщины» Юлия Тимошенко , сопредседатель «Оппозиционной платформы — за жизнь» Юрий Бойко и представитель «Голоса» Андрей Осадчук.", + "«Ответный сигнал от Нуланд: по НАТО тему не педалируйте, занимайтесь реформами, вывеска вам ничего не даст», — рассказал источник издания.", + "Зеленский несколько дней назад ясно дал понять, что хочет серьезных действий от НАТО: «четкого сигнала о европейской и евроатлантической перспективе» Украины.", + "При этом, советник руководителя офиса президента Украины Михаил Подоляк уверяет, что США активно поддерживают государственную и общественную трансформацию республики, которая обеспечит полноценное присоединение страны к Евросоюзу и НАТО.", + "Он также назвал Вашингтон «союзником» Киева и заявил, что во время визита Блинкена «украинская сторона услышала очень важные вещи»." + ], + "summary_sents": [ + "«Двери в НАТО всегда открыты» — так представитель администрации президента США Карин Жан-Пьер ответила на прямой вопрос журналистов о том, будет ли Вашингтон поддерживать членство Украины в Альянсе.", + "С другой стороны, заместитель госсекретаря США по политическим вопросам Виктория Нуланд посоветовала Киеву «не педалировать тему НАТО»." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 6, + 7 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: США держат дверь «открытой» для вступления Украины в НАТО в связи с недавней эскалацией напряженности в отношениях с Россией, заявила журналистам на «борту №1» заместитель пресс-секретаря Белого дома Карин Жан-Пьер. «Администрация [президента США Джо] Байдена привержена обеспечению принципа отрытых дверей в НАТО для кандидатов, которые готовы к этому, а также в силах выполнять обязательства членов и вносить свой вклад в безопасность в евроатлантическом регионе», — сказала Жан-Пьер. По ее словам, «Соединенные Штаты поддерживают усилия Украины по продвижению реформ верховенства закона и экономического роста, а также неприкосновенность ее границы и ее пограничной борьбы против российской агрессии». В свою очередь, после этих заявлений журналисты потребовали у Жан-Пьер разъяснений по поводу позиции США относительно членства именно Украины в НАТО. На это представитель администрации президента США ответила: «Да», но снова уточнила, что определяющими факторами являются готовность страны к членству в Альянсе и ее способность усилить НАТО. Интересно также и то, что приезжавшая с Блинкеном в Киев его заместитель по политическим вопросам Виктория Нуланд на встрече с руководителями фракций Верховной рады посоветовала Киеву не слишком часто упоминать про свое североатлантическое стремление, пишет украинское издание Strana.Ua. На встрече присутствовали спикер Рады Дмитрий Разумков , глава парламентской фракции «Слуга народа» Давид Арахамия , глава «Европейской солидарности» Петр Порошенко , глава «Батькивщины» Юлия Тимошенко , сопредседатель «Оппозиционной платформы — за жизнь» Юрий Бойко и представитель «Голоса» Андрей Осадчук. «Ответный сигнал от Нуланд: по НАТО тему не педалируйте, занимайтесь реформами, вывеска вам ничего не даст», — рассказал источник издания. Зеленский несколько дней назад ясно дал понять, что хочет серьезных действий от НАТО: «четкого сигнала о европейской и евроатлантической перспективе» Украины. При этом, советник руководителя офиса президента Украины Михаил Подоляк уверяет, что США активно поддерживают государственную и общественную трансформацию республики, которая обеспечит полноценное присоединение страны к Евросоюзу и НАТО. Он также назвал Вашингтон «союзником» Киева и заявил, что во время визита Блинкена «украинская сторона услышала очень важные вещи».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 511, + "generated_len": [ + 170 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.44897959183673464, + "rouge2": 0.14583333333333334 + }, + "predict": " ФСБ в Малокарачаевском районе и городах Дагестана пресечена деятельность двух ячеек международного экстремистского религиозного объединения «Ат-Такфир Валь-Хиджра», насчитывавшей более 20 человек. В ходе обысков изъято оружие, литература и материалы экстремистского характера. Сотрудники ФСБ провели задержание одного из лидеров ячейки, который заявил о том, что экстремистскую книгу нашел на улице. В преддверии теракта в Московском регионе ФСБ предотвратило его.", + "sample": { + "src_sents": [ + "«В Малокарачаевском районе КЧР и в городах Махачкала, Каспийск и Избербаш Дагестана пресечена деятельность двух ячеек международного экстремистского религиозного объединения «Ат-Такфир Валь-Хиджра (организация запрещена в России)» [запрещено в РФ — «Газета.Ru»] общей численностью более 20 человек», — говорится в пресс-релизе спецслужбы.", + "В Федеральной службе безопасности отметили, что «такфириты» пропагандировали радикальную идеологию и вербовали сторонников.", + "Они, по данным ведомства, призывали «верующих отвергать светские законы и институты гражданского общества, а также выступали за создание на территории Северного Кавказа теократического исламского государства (организация запрещена в России) — халифата».", + "Во время обысков правоохранители изъяли три гранаты с боевыми запалами, три пистолета ПМ, патроны различных калибров, обрез охотничьего ружья и холодное оружие.", + "Сотрудники ФСБ изъяли 190 экземпляров псевдорелигиозной литературы, пять рукописных текстов с записями лекций радикальных проповедников, передает ТАСС.", + "По информации агентства, были обнаружены также шесть тетрадей с финансовой отчетностью, большое количество флеш-накопителей и компакт-дисков, которые содержали материалы экстремистского характера.", + "Спецслужба также показала видео задержания злоумышленников.", + "Один из них заявил сотрудникам ФСБ, что экстремистскую книгу нашел на улице: «Вот, смотри, вот эту книгу я тоже нашел на улице».", + "На видео показан и спор оперативника и задержанного.", + "Правоохранитель утверждает, что распространение экстремистской идеологии приведет к хаосу, но его оппонент с ним не соглашается.", + "Он считает, что «не будет хаоса, наоборот, порядок будет».", + "Накануне сотрудники ФСБ предотвратили теракт в Московском регионе." + ], + "summary_sents": [ + "Сотрудники ФСБ пресекли деятельность двух экстремистских ячеек в Карачаево-Черкесии и Дагестане.", + "По данным спецслужбы, боевики вербовали людей для создания халифата.", + "У злоумышленников обнаружили оружие и экстремистские книги.", + "Один из задержанных утверждал, что запрещенную литературу нашел на улице." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 3, + 4, + 7 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: «В Малокарачаевском районе КЧР и в городах Махачкала, Каспийск и Избербаш Дагестана пресечена деятельность двух ячеек международного экстремистского религиозного объединения «Ат-Такфир Валь-Хиджра (организация запрещена в России)» [запрещено в РФ — «Газета.Ru»] общей численностью более 20 человек», — говорится в пресс-релизе спецслужбы. В Федеральной службе безопасности отметили, что «такфириты» пропагандировали радикальную идеологию и вербовали сторонников. Они, по данным ведомства, призывали «верующих отвергать светские законы и институты гражданского общества, а также выступали за создание на территории Северного Кавказа теократического исламского государства (организация запрещена в России) — халифата». Во время обысков правоохранители изъяли три гранаты с боевыми запалами, три пистолета ПМ, патроны различных калибров, обрез охотничьего ружья и холодное оружие. Сотрудники ФСБ изъяли 190 экземпляров псевдорелигиозной литературы, пять рукописных текстов с записями лекций радикальных проповедников, передает ТАСС. По информации агентства, были обнаружены также шесть тетрадей с финансовой отчетностью, большое количество флеш-накопителей и компакт-дисков, которые содержали материалы экстремистского характера. Спецслужба также показала видео задержания злоумышленников. Один из них заявил сотрудникам ФСБ, что экстремистскую книгу нашел на улице: «Вот, смотри, вот эту книгу я тоже нашел на улице». На видео показан и спор оперативника и задержанного. Правоохранитель утверждает, что распространение экстремистской идеологии приведет к хаосу, но его оппонент с ним не соглашается. Он считает, что «не будет хаоса, наоборот, порядок будет». Накануне сотрудники ФСБ предотвратили теракт в Московском регионе.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 406, + "generated_len": [ + 170 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.24719101123595505, + "rouge2": 0.06896551724137931 + }, + "predict": " В португальском деле о пропаже трехлетней девочки Мэдлин Макканн, расследуемом в Европе, подозреваемым в причастности к преступлению является известный педофил, 43-летний Кристиан Брюкнер. Расследование сталкивается с недостатком улик для предъявления новых обвинений, что может привести к его освобождению по УДО. Возможные новые доказательства, включая спутниковые снимки и архивные данные, могут помочь в расследовании и пролить свет на возможные другие преступления Брюкнера.", + "sample": { + "src_sents": [ + "В громком деле о таинственном исчезновении в Португалии британской трехлетней девочки Мэдлин Макканн, за которым вот уже неделю снова следит вся Европа, каждый день вырисовываются все новые подробности.", + "Неделю назад выяснилось, что главным подозреваемым в похищении трехлетней девочки с португальского курорта Прая-да-Луш в 2007 году является известный правоохранительным органам Германии педофил, 43-летний Кристиан Брюкнер , который в настоящее время отбывает срок за другое преступление. Об этом сообщила немецкая полиция.", + "Теперь правоохранительные органы сразу нескольких стран пытаются установить причастность Брюкнера к другим аналогичным преступлениям прошлых лет на их территории.", + "И, похоже, за Брюкнером может тянуться целый шлейф убийств детей и не только.", + "Впрочем, следствие указывает, что свидетельств, достаточных для предъявления ему новых обвинений, недостаточно.", + "«На данный момент не хватает свидетельств для его обвинения. У нас есть хорошо подкрепленное подозрение, но его уровень ниже достаточного для того, чтобы предоставить его суду», — добавил прокурор.", + "В связи с этим многие опасаются, что за недостаточностью улик подозреваемый может избежать ответственности – совсем скоро подходит срок, когда по немецким законам он может быть освобожден по УДО.", + "За недостаточностью свидетельств на помощь следствию могут прийти новые научные достижения, позволяющие пролить свет на ранее считавшиеся нераскрываемыми тяжкие преступления.", + "Помочь доказать вину Брюкнера могут и архивные спутниковые снимки курорта Прая-да-Луш, в котором произошло преступление.", + "Уже известно, что подозреваемый жил в этом городке примерно в то же время и перемещался на стареньком туристическом фургоне VW Westfalia с характерным желтым боком.", + "Испанский расследователь Эриберто Гонсалес обнаружил в архивах NASA спутниковый снимок похожего автомобиля рядом с предполагаемым полузаброшенным домом, где ранее проживал Брюкнер.", + "Снимок был сделан спустя несколько дней после пропажи трехлетней девочки.", + "Известно, что на момент похищения девочки за Брюкнером числился и второй автомобиль — Jaguar XJR6 с немецкими номерами.", + "4 мая, на следующий день после похищения, Брюкнер перерегистрировал его на чужое имя, а сам автомобиль остался в Португалии." + ], + "summary_sents": [ + "Фургон предполагаемого убийцы девочки Мэдлин Макканн в Португалии оказался на спутниковом снимке неподалеку от места преступления.", + "Чтобы доказать вину немецкого педофила, возможно, потребуются новейшие достижения в науке." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 6, + 7, + 9, + 10 + ], + "category": "science" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В громком деле о таинственном исчезновении в Португалии британской трехлетней девочки Мэдлин Макканн, за которым вот уже неделю снова следит вся Европа, каждый день вырисовываются все новые подробности. Неделю назад выяснилось, что главным подозреваемым в похищении трехлетней девочки с португальского курорта Прая-да-Луш в 2007 году является известный правоохранительным органам Германии педофил, 43-летний Кристиан Брюкнер , который в настоящее время отбывает срок за другое преступление. Об этом сообщила немецкая полиция. Теперь правоохранительные органы сразу нескольких стран пытаются установить причастность Брюкнера к другим аналогичным преступлениям прошлых лет на их территории. И, похоже, за Брюкнером может тянуться целый шлейф убийств детей и не только. Впрочем, следствие указывает, что свидетельств, достаточных для предъявления ему новых обвинений, недостаточно. «На данный момент не хватает свидетельств для его обвинения. У нас есть хорошо подкрепленное подозрение, но его уровень ниже достаточного для того, чтобы предоставить его суду», — добавил прокурор. В связи с этим многие опасаются, что за недостаточностью улик подозреваемый может избежать ответственности – совсем скоро подходит срок, когда по немецким законам он может быть освобожден по УДО. За недостаточностью свидетельств на помощь следствию могут прийти новые научные достижения, позволяющие пролить свет на ранее считавшиеся нераскрываемыми тяжкие преступления. Помочь доказать вину Брюкнера могут и архивные спутниковые снимки курорта Прая-да-Луш, в котором произошло преступление. Уже известно, что подозреваемый жил в этом городке примерно в то же время и перемещался на стареньком туристическом фургоне VW Westfalia с характерным желтым боком. Испанский расследователь Эриберто Гонсалес обнаружил в архивах NASA спутниковый снимок похожего автомобиля рядом с предполагаемым полузаброшенным домом, где ранее проживал Брюкнер. Снимок был сделан спустя несколько дней после пропажи трехлетней девочки. Известно, что на момент похищения девочки за Брюкнером числился и второй автомобиль — Jaguar XJR6 с немецкими номерами. 4 мая, на следующий день после похищения, Брюкнер перерегистрировал его на чужое имя, а сам автомобиль остался в Португалии.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 496, + "generated_len": [ + 170 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.30344827586206896, + "rouge2": 0.055944055944055944 + }, + "predict": " Глава украинского МИДа Дмитрий Кулеба подтвердил, что работа в «нормандском формате» по урегулированию конфликта на востоке Украины продолжится, планируются консультации министров иностранных дел стран-участниц. Кулеба акцентирует внимание на необходимости мотивации России для конструктивной позиции в переговорах, подчеркивая, что Украина готова обсуждать не только возможные изменения в минских соглашениях, но и механизмы стимулирования России к сотрудничеству. В то же время, директор департамента МИД РФ Алексей Парамонов выразил сомнения в наличии предпосылок для проведения саммита в «нормандском формате» в текущем состоянии. Владимир Зеленский поддерживает идею проведения встречи после спада заболеваемости COVID-19, что отражает стремление к возобновлению диалога между странами-участницами.", + "sample": { + "src_sents": [ + "Работа в «нормандском формате» — с участием Франции, Германии, России и Украины — по Донбассу продолжится, в ближайшее время состоится разговор на уровне министров иностранных дел этих стран, сообщил глава МИД Украины Дмитрий Кулеба.", + "«Уже скоро пройдет очередной такой разговор, где мы будем обсуждать те решения, которые могут принести мир в Донбасс», — сказал Кулеба в ходе совместной пресс-конференции с главой МИД ФРГ Хайко Маасом.", + "Кулеба в составе украинской делегации 2 июня прибыл в Берлин, чтобы обсудить вопросы по урегулированию ситуации в Донбассе, интеграции страны в ЕС, а также предоставления Киеву статуса участника Программы расширенных возможностей НАТО.", + "По словам главы украинского МИДа, во время этих консультаций Киев обсудит возможность мотивации России для ее «конструктивной позиции» в переговорах по Донбассу.", + "«Наши партнеры открыты к любым конструктивным идеям, и мы будем обсуждать, в первую очередь, не то, что может произойти в конце концов с минскими соглашениями, если Россия не будет конструктивно к ним подходить. Мы будем обсуждать, каким образом мотивировать РФ занять конструктивную позицию», — сказал министр в эфире телеканала ICTV 1 июня.", + "Вместе с тем директор Первого европейского департамента МИД РФ Алексей Парамонов в конце прошлого месяца заявил РИА «Новости», что в настоящее время предпосылок для проведения саммита в «нормандском формате» нет, и в этом мнении сходятся все участники процесса украинского урегулирования.", + "При этом президент Украины Владимир Зеленский ранее заявил, что Франция и Германия поддерживают идею провести встречу в «нормандском формате» по урегулированию в Донбассе после спада заболеваемости коронавирусом.", + "Последний саммит «нормандской четверки» состоялся в Париже 9 декабря 2019 года. Он был первым за три года." + ], + "summary_sents": [ + "В ближайшее время состоятся переговоры глав МИДов стран-участниц «нормандского формата» по урегулированию ситуации в Донбассе, сообщил глава МИД Украины Дмитрий Кулеба.", + "Он обсудил это на встрече с германским коллегой Хайко Маасом.", + "При этом в России ранее отмечали, что предпосылок для таких переговоров пока нет." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 5 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Работа в «нормандском формате» — с участием Франции, Германии, России и Украины — по Донбассу продолжится, в ближайшее время состоится разговор на уровне министров иностранных дел этих стран, сообщил глава МИД Украины Дмитрий Кулеба. «Уже скоро пройдет очередной такой разговор, где мы будем обсуждать те решения, которые могут принести мир в Донбасс», — сказал Кулеба в ходе совместной пресс-конференции с главой МИД ФРГ Хайко Маасом. Кулеба в составе украинской делегации 2 июня прибыл в Берлин, чтобы обсудить вопросы по урегулированию ситуации в Донбассе, интеграции страны в ЕС, а также предоставления Киеву статуса участника Программы расширенных возможностей НАТО. По словам главы украинского МИДа, во время этих консультаций Киев обсудит возможность мотивации России для ее «конструктивной позиции» в переговорах по Донбассу. «Наши партнеры открыты к любым конструктивным идеям, и мы будем обсуждать, в первую очередь, не то, что может произойти в конце концов с минскими соглашениями, если Россия не будет конструктивно к ним подходить. Мы будем обсуждать, каким образом мотивировать РФ занять конструктивную позицию», — сказал министр в эфире телеканала ICTV 1 июня. Вместе с тем директор Первого европейского департамента МИД РФ Алексей Парамонов в конце прошлого месяца заявил РИА «Новости», что в настоящее время предпосылок для проведения саммита в «нормандском формате» нет, и в этом мнении сходятся все участники процесса украинского урегулирования. При этом президент Украины Владимир Зеленский ранее заявил, что Франция и Германия поддерживают идею провести встречу в «нормандском формате» по урегулированию в Донбассе после спада заболеваемости коронавирусом. Последний саммит «нормандской четверки» состоялся в Париже 9 декабря 2019 года. Он был первым за три года.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 390, + "generated_len": [ + 170 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.32061068702290074, + "rouge2": 0.124031007751938 + }, + "predict": " Сын чешского премьер-министра Андрея Бабиша, Андрей Бабиш-младший, заявил, что был похищен и вывезен в Крым, чтобы избежать допроса по делу о коррупции в компании «Гнездо аиста», которая получила от ЕС субсидии в размере €2 млн. Бабиш-младший утверждает, что похищение организовал его отец, Андрей Бабиш, и его жена Протопопова. Этот инцидент вызвал подозрения в связи с евроскептическими взглядами Бабиша и его возможными связями с Россией. В чешском парламенте уже выразили недовольство, предложив объявить вотум недоверия правительству.", + "sample": { + "src_sents": [ + "Сын премьер-министра Чехии Андрей Бабиш -младший заявил, что был похищен партнерами своего отца и вывезен в Крым, чтобы он не смог дать показания против премьера.", + "Бабиш-старший оказался в центре расследования по делу компании «Гнездо аиста», его обвиняют в незаконном получении субсидии ЕС (около €2 млн).", + "Чешский премьер-министр Андрей Бабиш — миллиардер и глава крупнейшей в Восточной Европе корпорации Agrofert.", + "По версии следствия, фирма «Гнездо аиста», изначально входящая в состав корпорации Бабиша, была целенаправленно выведена из Agrofert.", + "Благодаря этому «Гнездо» получило от Евросоюза субсидии в размере €2 млн, как малая или средняя компания.", + "Полиция Чехии два года пытается найти Бабиша-младшего, чтобы допросить его, как одного из главных свидетелей, поскольку именно его подпись стоит под документами «Гнезда аиста».", + "Журналисты, проводившие расследование, нашли Бабиша-младшего в Швейцарии, где он живет вместе с матерью.", + "Более того, Бабиш-младший рассказал, что его вывезли на территорию Крыма, чтобы спрятать от следствия.", + "По его словам, похищение организовали супруги Протопоповы, которые работают на его отца.", + "Говоря о Бабише как о политике, стоит отметить его евроскептические настроения, а также слова о том, что санкции против России не действуют и их надо отменить.", + "Такими высказываниями Бабиш заслужил в свой адрес немало обвинений в связях с Москвой.", + "История о сыне Бабиша, который якобы укрывался в Крыму только подогреет подозрения оппозиции на этот счет.", + "К слову, в чешском парламенте уже последовала реакция в связи с опубликованным расследованием.", + "Заместитель председателя христианско-демократической партии Мариан Юречка предложил парламенту объявить вотум недоверия правительству." + ], + "summary_sents": [ + "Сын премьер-министра Чехии Андрей Бабиш рассказал, что партнеры его отца насильно увезли его на территорию Крыма, чтобы скрыть от следствия по делу о незаконном обогащении его отца.", + "Андрей Бабиш-старший, известный своими призывами отменить антироссийские санкции, подозревается в незаконном получении субсидий ЕС, а его сын — один из основных свидетелей по делу." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 5, + 7, + 8, + 10 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Сын премьер-министра Чехии Андрей Бабиш -младший заявил, что был похищен партнерами своего отца и вывезен в Крым, чтобы он не смог дать показания против премьера. Бабиш-старший оказался в центре расследования по делу компании «Гнездо аиста», его обвиняют в незаконном получении субсидии ЕС (около €2 млн). Чешский премьер-министр Андрей Бабиш — миллиардер и глава крупнейшей в Восточной Европе корпорации Agrofert. По версии следствия, фирма «Гнездо аиста», изначально входящая в состав корпорации Бабиша, была целенаправленно выведена из Agrofert. Благодаря этому «Гнездо» получило от Евросоюза субсидии в размере €2 млн, как малая или средняя компания. Полиция Чехии два года пытается найти Бабиша-младшего, чтобы допросить его, как одного из главных свидетелей, поскольку именно его подпись стоит под документами «Гнезда аиста». Журналисты, проводившие расследование, нашли Бабиша-младшего в Швейцарии, где он живет вместе с матерью. Более того, Бабиш-младший рассказал, что его вывезли на территорию Крыма, чтобы спрятать от следствия. По его словам, похищение организовали супруги Протопоповы, которые работают на его отца. Говоря о Бабише как о политике, стоит отметить его евроскептические настроения, а также слова о том, что санкции против России не действуют и их надо отменить. Такими высказываниями Бабиш заслужил в свой адрес немало обвинений в связях с Москвой. История о сыне Бабиша, который якобы укрывался в Крыму только подогреет подозрения оппозиции на этот счет. К слову, в чешском парламенте уже последовала реакция в связи с опубликованным расследованием. Заместитель председателя христианско-демократической партии Мариан Юречка предложил парламенту объявить вотум недоверия правительству.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 403, + "generated_len": [ + 170 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.43956043956043955, + "rouge2": 0.15730337078651688 + }, + "predict": " В результате двух подземных толчков в Дагестане пострадали несколько школ и детский сад, однако системы жизнеобеспечения в городе функционируют нормально. Специалисты МЧС проинспектировали учебные заведения, зафиксировав незначительные повреждения, и подтвердили, что это не повлияет на проведение ЕГЭ. Восстановительные работы в пострадавших школах запланированы на начало учебного года.", + "sample": { + "src_sents": [ + "В результате землетрясения, которое произошло в ночь с пятницы на субботу, 25 мая, в Дагестане, пострадали несколько школ и один детский сад, передает ТАСС.", + "Между тем спасатели МЧС России после землетрясений проводили подворовый обход, осматривая дома и другие здания в Буйнакске, утверждает издание со ссылкой на пресс-службу министерства.", + "«Специалисты проинспектировали состояние средних школ номер № 2, 3, 4 и гимназии № 1. В результате землетрясения в данных учебных учреждениях имеются заметные трещины в потолках и стенах, в том числе несущих, однако сильных разрушений не наблюдается и конструкции не повреждены», — сообщили в ведомстве.", + "Там добавили, что дагестанские спасатели осматривали и дома местных жителей, а также принимали и обрабатывали заявления от населения.", + "По данным «Интерфакса», системы жизнеобеспечения в городе работают в штатном режиме.", + "Ранее агентству сообщили в Минобразования Дагестана, что повреждения, обнаруженные в учебных заведениях, не повлияют на проведение Единого государственного экзамена (ЕГЭ).", + "«Пункты проведения [ЕГЭ] по-прежнему в полной готовности, оснащены всем необходимым и подключены к видеонаблюдению. К началу экзаменов в аудиториях проведут уборку и кое-где — косметический ремонт», — привели в пресс-службе слова министра образования и науки республики Уммупазиль Омаровой.", + "Помимо этого, там сообщили, что эти школы отремонтируют к началу учебного года.", + "«Всего в Буйнакске от землетрясения пострадали шесть школ. Все они в этом году вошли в республиканский проект «150 школ» и будут отремонтированы к началу нового учебного года», — рассказал собеседник агентству.", + "По информации РИА «Новости», в результате землетрясений пострадали двадцать домов в одном из сел.", + "«В селе Халимбекаул пострадало 20 домов», — рассказали агентству в администрации города.", + "«Зафиксировано частичное повреждение жилых зданий в виде трещин на стенах. На дорогах общего пользования повреждений автомобильного полотна, мостовых переходов нет», — говорится на сайте администрации.", + "Кроме того, там добавили, что не было «нарушений технологических процессов на потенциально опасных объектах», а также не повреждены линии электропередач.", + "Отметим, что два землетрясения подряд произошли на территории Буйнакского района в ночь на субботу, 25 мая." + ], + "summary_sents": [ + "В Дагестане в результате двух землетрясений, которые произошли в ночь на субботу, 25 мая, повреждены 20 домов и несколько учебных заведений.", + "Их повреждения незначительны и не помешают проведению ЕГЭ.", + "Кроме того, по заявлению министра образования и науки республики, их отремонтируют до начала учебного года." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6, + 8, + 9, + 10 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В результате землетрясения, которое произошло в ночь с пятницы на субботу, 25 мая, в Дагестане, пострадали несколько школ и один детский сад, передает ТАСС. Между тем спасатели МЧС России после землетрясений проводили подворовый обход, осматривая дома и другие здания в Буйнакске, утверждает издание со ссылкой на пресс-службу министерства. «Специалисты проинспектировали состояние средних школ номер № 2, 3, 4 и гимназии № 1. В результате землетрясения в данных учебных учреждениях имеются заметные трещины в потолках и стенах, в том числе несущих, однако сильных разрушений не наблюдается и конструкции не повреждены», — сообщили в ведомстве. Там добавили, что дагестанские спасатели осматривали и дома местных жителей, а также принимали и обрабатывали заявления от населения. По данным «Интерфакса», системы жизнеобеспечения в городе работают в штатном режиме. Ранее агентству сообщили в Минобразования Дагестана, что повреждения, обнаруженные в учебных заведениях, не повлияют на проведение Единого государственного экзамена (ЕГЭ). «Пункты проведения [ЕГЭ] по-прежнему в полной готовности, оснащены всем необходимым и подключены к видеонаблюдению. К началу экзаменов в аудиториях проведут уборку и кое-где — косметический ремонт», — привели в пресс-службе слова министра образования и науки республики Уммупазиль Омаровой. Помимо этого, там сообщили, что эти школы отремонтируют к началу учебного года. «Всего в Буйнакске от землетрясения пострадали шесть школ. Все они в этом году вошли в республиканский проект «150 школ» и будут отремонтированы к началу нового учебного года», — рассказал собеседник агентству. По информации РИА «Новости», в результате землетрясений пострадали двадцать домов в одном из сел. «В селе Халимбекаул пострадало 20 домов», — рассказали агентству в администрации города. «Зафиксировано частичное повреждение жилых зданий в виде трещин на стенах. На дорогах общего пользования повреждений автомобильного полотна, мостовых переходов нет», — говорится на сайте администрации. Кроме того, там добавили, что не было «нарушений технологических процессов на потенциально опасных объектах», а также не повреждены линии электропередач. Отметим, что два землетрясения подряд произошли на территории Буйнакского района в ночь на субботу, 25 мая.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 532, + "generated_len": [ + 170 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3302752293577982, + "rouge2": 0.09345794392523366 + }, + "predict": " Евгений Миронов, народный артист России и художественный руководитель театра Наций, выразил обеспокоенность по поводу дела Мишель, осужденной к трем годам колонии за распространение порнографии и отказ от признания своей вины под давлением адвокатов. Миронов обращает внимание на тяжелое физическое состояние Мишель, ожидающее ее в мужской колонии, и призывает к защите её жизни, подчеркивая важность учета всех обстоятельств в судопроизводстве.", + "sample": { + "src_sents": [ + "Народный артист России и художественный руководитель театра Наций Евгений Миронов передал телеканалу «Дождь» свое видеообращение, в котором выразил обеспокоенность судьбой больной раком трансгендерной женщины по имени Мишель, которую Брянский суд приговорил к отбыванию наказания в мужской колонии.", + "«Из средств массовой информации я узнал о том, что в Брянске Советский районный суд приговорил к трем годам колонии трансгендерную женщину Мишель. Ее обвинили в распространении порнографии, обнаружив на ее странице «ВКонтакте» рисунки обнаженных персонажей японских мультфильмов. Уже звучит абсурдно. Я не специалист, конечно же. Но уже сейчас некоторые эксперты дают свое мнение по этому поводу, и они подвергли сомнению выводы судебной экспертизы в Брянске», — заявил Миронов.", + "Он также сказал, что ситуация вокруг дела Мишель серьезно осложняется тем, что «под давлением адвокатов и, видимо, из-за обещания более мягкого приговора», она согласилась признать себя виновной.", + "Миронов отдельно обратил внимание на тяжелое физическое состояние Мишель, которое может очень серьезно усложнить отбывание ей наказания в мужской колонии, как решил суд.", + "«Кроме того, Мишель не завершила трансгендерный переход и не сменила документы. Поэтому в паспорте указано мужское имя. То есть — ее ждет мужская колония. И гормональная терапия тоже не закончена. Кроме того, Мишель тяжело больна, у нее — онкология. Понимаете, конечно, ситуация, непростая. Я представляю, какова была ситуация для людей, которые принимали решение в Брянском суде», — отметил он.", + "В связи со сложившейся ситуацией, худрук театра Наций обратился с призывом к адвокатам, экспертам, общественным деятелям и «просто гражданам» спасти жизнь осужденной.", + "«И мне не важно, мужчина это или женщина. Это человек, который живет вместе с нами, в нашей стране, цивилизованной, я надеюсь, нашей стране. И все мы можем совершить какие-то неблаговидные поступки, за которые, безусловно, нам придется нести ответственность. Но, все-таки, прежде чем судить, необходимо учитывать все обстоятельства. Тут они — очень непростые», — добавил Миронов.", + "По сообщениям местных СМИ, осужденная в соответствии с ч.1 ст.242.1 УК России трансгендерная женщина работает врачом в одной из местных больниц.", + "В настоящий момент она находится в одиночной камере СИЗО." + ], + "summary_sents": [ + "Судебный приговор трансгендерной женщине Мишель, которую ожидает мужская колония за размещение на своей странице в социальных сетях обнаженных изображений персонажей японской манги, обратил на себя внимание Народного артиста России Евгения Миронова.", + "Он записал видеообращение, в котором призвал спасти ее жизнь и подчеркнул, что ему не важно «мужчина это или женщина»." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5, + 6 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Народный артист России и художественный руководитель театра Наций Евгений Миронов передал телеканалу «Дождь» свое видеообращение, в котором выразил обеспокоенность судьбой больной раком трансгендерной женщины по имени Мишель, которую Брянский суд приговорил к отбыванию наказания в мужской колонии. «Из средств массовой информации я узнал о том, что в Брянске Советский районный суд приговорил к трем годам колонии трансгендерную женщину Мишель. Ее обвинили в распространении порнографии, обнаружив на ее странице «ВКонтакте» рисунки обнаженных персонажей японских мультфильмов. Уже звучит абсурдно. Я не специалист, конечно же. Но уже сейчас некоторые эксперты дают свое мнение по этому поводу, и они подвергли сомнению выводы судебной экспертизы в Брянске», — заявил Миронов. Он также сказал, что ситуация вокруг дела Мишель серьезно осложняется тем, что «под давлением адвокатов и, видимо, из-за обещания более мягкого приговора», она согласилась признать себя виновной. Миронов отдельно обратил внимание на тяжелое физическое состояние Мишель, которое может очень серьезно усложнить отбывание ей наказания в мужской колонии, как решил суд. «Кроме того, Мишель не завершила трансгендерный переход и не сменила документы. Поэтому в паспорте указано мужское имя. То есть — ее ждет мужская колония. И гормональная терапия тоже не закончена. Кроме того, Мишель тяжело больна, у нее — онкология. Понимаете, конечно, ситуация, непростая. Я представляю, какова была ситуация для людей, которые принимали решение в Брянском суде», — отметил он. В связи со сложившейся ситуацией, худрук театра Наций обратился с призывом к адвокатам, экспертам, общественным деятелям и «просто гражданам» спасти жизнь осужденной. «И мне не важно, мужчина это или женщина. Это человек, который живет вместе с нами, в нашей стране, цивилизованной, я надеюсь, нашей стране. И все мы можем совершить какие-то неблаговидные поступки, за которые, безусловно, нам придется нести ответственность. Но, все-таки, прежде чем судить, необходимо учитывать все обстоятельства. Тут они — очень непростые», — добавил Миронов. По сообщениям местных СМИ, осужденная в соответствии с ч.1 ст.242.1 УК России трансгендерная женщина работает врачом в одной из местных больниц. В настоящий момент она находится в одиночной камере СИЗО.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 518, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.26190476190476186, + "rouge2": 0.12195121951219513 + }, + "predict": " Знаменитый чешский вратарь Доминик Гашек, олимпийский чемпион и двукратный обладатель Кубка Стэнли, прибудет в Москву 6 июня вместе с главным тренером «Спартака» Милошем Ржи. Гашек известен своими достижениями в НХЛ, включая «Везина Трофи», «Харт Трофи» и «Уильям М. Дженнингс Трофи». Также сообщается о новых приобретениях для «Югры» и «Спартака», включая усиление тренерского штаба и усиление состава.", + "sample": { + "src_sents": [ + "Знаменитый вратарь Доминик Гашек , олимпийский чемпион Нагано и двукратный обладатель Кубка Стэнли в составе «Детройта», прибудет 6 июня в Москву вместе с главным тренером «Спартака» Милошем Ржигой. Об этом сообщает Sportbox.", + "Олимпийский чемпион 1998 года, бронзовый призёр ОИ-2006.", + "Обладатель Кубка Стэнли 2002 и 2008 годов в составе «Детройт Ред Уингз».", + "Чемпион Чехословакии 1987, 1989, 2010 годов в составе «Пардубице». Финалист Кубка Стэнли 1992, 1999.", + "Личные призы в НХЛ «Везина Трофи»: 1994, 1995, 1997, 1998, 1999, 2001 «Харт Трофи»: 1997, 1998 «Уильям М. Дженнингс Трофи»: 1994, 2001, 2008 «Лестер Пирсон Авард»: 1997, 1998 Лучший вратарь чемпионатов мира: 1987, 1989 Пока о судьбе вратаря, который, несмотря на свои 45 лет, пока не думает завершать карьеру, ничего не сообщается, да и он сам не раскрывает раньше времени карты.", + "В том числе и из Чехии, чемпионом которой голкипер стал в минувшем сезоне в составе «Пардубице», добавив еще и звание лучшего игрока плей-офф чешской экстра-лиги.", + "Питерский СКА усилил чемпион мира 2009 года — выступавший два последних года за «Локомотив» защитник Виталий Вишневский.", + "По сообщению официального сайта армейцев, личный контракт игрок подписал на два года.", + "Финн Кай Суйкканен был утвержден главным тренером «Локомотива», сообщает официальный сайт ярославцев.", + "Одним из его помощников станет Яри Каарела, который будет отвечать за подготовку вратарей «Локо».", + "Новичок лиги «Югра» усилила свой тренерский штаб, в котором работают уже Сергей Шепелев и Николай Соловьев.", + "Помогать им будет Сергей Котов , сообщает официальный сайт клуба.", + "Из игроков пополнили «Югру» выступавшие в прошлом сезоне Игорь Скороходов и Константин Касаткин , а также новички Андрей Колесников , Евгений Шалдыбин и Евгений Муратов.", + "Также стало известно, что помимо предсезонных турниров в Екатеринбурге и Уфе хантымансийцы сыграют контрольные матчи на выезде с «Авангардом» (13 августа), магнитогорским «Металлургом» (22 августа) и «Спартаком» (31 августа).", + "В «Спартаке» же после ухода с поста и. о. генерального директора Николая Тищенко произошли структурные изменения, сообщает официальный сайт красно-белых." + ], + "summary_sents": [ + "Вратарь Доминик Гашек 6 июня прилетит в Москву, чтобы подписать контракт со «Спартаком».", + "Защитник Виталий Вишневский подписал двухлетнее соглашение со СКА, а Сергей Котов пополнил тренерский штаб «Югры»." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 6, + 7, + 10, + 11 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Знаменитый вратарь Доминик Гашек , олимпийский чемпион Нагано и двукратный обладатель Кубка Стэнли в составе «Детройта», прибудет 6 июня в Москву вместе с главным тренером «Спартака» Милошем Ржигой. Об этом сообщает Sportbox. Олимпийский чемпион 1998 года, бронзовый призёр ОИ-2006. Обладатель Кубка Стэнли 2002 и 2008 годов в составе «Детройт Ред Уингз». Чемпион Чехословакии 1987, 1989, 2010 годов в составе «Пардубице». Финалист Кубка Стэнли 1992, 1999. Личные призы в НХЛ «Везина Трофи»: 1994, 1995, 1997, 1998, 1999, 2001 «Харт Трофи»: 1997, 1998 «Уильям М. Дженнингс Трофи»: 1994, 2001, 2008 «Лестер Пирсон Авард»: 1997, 1998 Лучший вратарь чемпионатов мира: 1987, 1989 Пока о судьбе вратаря, который, несмотря на свои 45 лет, пока не думает завершать карьеру, ничего не сообщается, да и он сам не раскрывает раньше времени карты. В том числе и из Чехии, чемпионом которой голкипер стал в минувшем сезоне в составе «Пардубице», добавив еще и звание лучшего игрока плей-офф чешской экстра-лиги. Питерский СКА усилил чемпион мира 2009 года — выступавший два последних года за «Локомотив» защитник Виталий Вишневский. По сообщению официального сайта армейцев, личный контракт игрок подписал на два года. Финн Кай Суйкканен был утвержден главным тренером «Локомотива», сообщает официальный сайт ярославцев. Одним из его помощников станет Яри Каарела, который будет отвечать за подготовку вратарей «Локо». Новичок лиги «Югра» усилила свой тренерский штаб, в котором работают уже Сергей Шепелев и Николай Соловьев. Помогать им будет Сергей Котов , сообщает официальный сайт клуба. Из игроков пополнили «Югру» выступавшие в прошлом сезоне Игорь Скороходов и Константин Касаткин , а также новички Андрей Колесников , Евгений Шалдыбин и Евгений Муратов. Также стало известно, что помимо предсезонных турниров в Екатеринбурге и Уфе хантымансийцы сыграют контрольные матчи на выезде с «Авангардом» (13 августа), магнитогорским «Металлургом» (22 августа) и «Спартаком» (31 августа). В «Спартаке» же после ухода с поста и. о. генерального директора Николая Тищенко произошли структурные изменения, сообщает официальный сайт красно-белых.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 646, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.40625000000000006, + "rouge2": 0.12698412698412698 + }, + "predict": " Мэр Майами Фрэнсис Суарес заявил о возможных военных действиях США в связи с протестами на Кубе, предлагая рассмотреть создание коалиции для интервенции. Он также выразил поддержку американским гражданам кубинского происхождения, живущим в Майами и Флориде, и выразил обеспокоенность по поводу поддержки США кубинцам. В то же время, сенатор-республиканец Линдси Грэм предложил ужесточить санкции против руководства Кубы и рассмотреть кибератаки против режима, критикуя нерешительность действующей администрации США в отношении нового кубинского кризиса.", + "sample": { + "src_sents": [ + "Мэр Майами Фрэнсис Суарес объяснил свои слова об американских бомбардировках Кубы.", + "В эфире телеканала MSNBC он заявил, что сейчас военные США обсуждают возможные действия в связи с массовыми протестами на Кубе, и исключать какие-либо варианты вмешательства нельзя.", + "По его словам, сам он не выступает за какую-либо конкретную стратегию и военным экспертом никогда не был.", + "«Я не являюсь американским военным. У меня нет разведданных или сведений о возможностях армии. Такие решения принимали бы военные. И я уверен, предаются ли они огласке или нет, но такие обсуждения, вероятно, ведутся в настоящее время», — отметил он.", + "Перед этим Суарес также заявил, что администрации президента Джо Байдена стоит рассмотреть создание коалиции для военной интервенции на Кубу.", + "«Мое предложение заключается в том, что этот вариант следует изучить, нельзя попросту отвергать его», — отметил он.", + "Политик также напомнил, что такую операцию уже проводило НАТО – против Югославии.", + "«Соединенные Штаты вовлекались в самые разные ситуации по всему миру, трудно представить, что сейчас не будет никакого вмешательства со стороны США, когда события происходят в 90 милях [от американского побережья]», — отметил мэр.", + "В Майами и в штате Флорида живет много выходцев с Кубы, покинувших «Остров свободы» после революции и прихода к власти режима Кастро.", + "США пока не решили, что делать в связи с массовыми протестами на Кубе.", + "«Нет никаких сомнений, что протесты и события последних дней являются значительными. Мы наблюдаем самые масштабные протесты на Кубе за последнее время. Очевидно, что это будет влиять на то, как мы будем действовать», — сказала она.", + "Она заявила, что кубинцам важно осознавать поддержку от Соединенных Штатов.", + "Сенатор-республиканец Линдси Грэм намерен подать на рассмотрение законопроект об ужесточении санкций в отношении руководства Кубы и предлагает также изучить возможность кибератак против «коммунистического режима».", + "Грэм также раскритиковал действующую администрацию США, состоящую из демократов, за нерешительность в отношении нового кубинского кризиса.", + "Одновременно с этим трое сенаторов США инкогнито предложили назначить американского посла на Кубу на фоне протестов.", + "Разрыв дипломатических отношений между Вашингтоном и Гаваной продолжался с 1961 по 2015 годы, посол до сих пор не назначен." + ], + "summary_sents": [ + "Бомбардировка Кубы армией США могла бы стать одним из многочисленных вариантов решения проблемы с «Островом свободы», заявил мэр Майами Фрэнсис Суарес.", + "По словам политика кубинского происхождения, если НАТО разбомбило Югославию, то США вполне могли бы «разобраться» с режимом коммунистов в сотне километров от Флориды.", + "Сенатор США Линдси Грэм в свою очередь предложил ужесточить санкции против Кубы." + ], + "support_labels": [ + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 6, + 7, + 12 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Мэр Майами Фрэнсис Суарес объяснил свои слова об американских бомбардировках Кубы. В эфире телеканала MSNBC он заявил, что сейчас военные США обсуждают возможные действия в связи с массовыми протестами на Кубе, и исключать какие-либо варианты вмешательства нельзя. По его словам, сам он не выступает за какую-либо конкретную стратегию и военным экспертом никогда не был. «Я не являюсь американским военным. У меня нет разведданных или сведений о возможностях армии. Такие решения принимали бы военные. И я уверен, предаются ли они огласке или нет, но такие обсуждения, вероятно, ведутся в настоящее время», — отметил он. Перед этим Суарес также заявил, что администрации президента Джо Байдена стоит рассмотреть создание коалиции для военной интервенции на Кубу. «Мое предложение заключается в том, что этот вариант следует изучить, нельзя попросту отвергать его», — отметил он. Политик также напомнил, что такую операцию уже проводило НАТО – против Югославии. «Соединенные Штаты вовлекались в самые разные ситуации по всему миру, трудно представить, что сейчас не будет никакого вмешательства со стороны США, когда события происходят в 90 милях [от американского побережья]», — отметил мэр. В Майами и в штате Флорида живет много выходцев с Кубы, покинувших «Остров свободы» после революции и прихода к власти режима Кастро. США пока не решили, что делать в связи с массовыми протестами на Кубе. «Нет никаких сомнений, что протесты и события последних дней являются значительными. Мы наблюдаем самые масштабные протесты на Кубе за последнее время. Очевидно, что это будет влиять на то, как мы будем действовать», — сказала она. Она заявила, что кубинцам важно осознавать поддержку от Соединенных Штатов. Сенатор-республиканец Линдси Грэм намерен подать на рассмотрение законопроект об ужесточении санкций в отношении руководства Кубы и предлагает также изучить возможность кибератак против «коммунистического режима». Грэм также раскритиковал действующую администрацию США, состоящую из демократов, за нерешительность в отношении нового кубинского кризиса. Одновременно с этим трое сенаторов США инкогнито предложили назначить американского посла на Кубу на фоне протестов. Разрыв дипломатических отношений между Вашингтоном и Гаваной продолжался с 1961 по 2015 годы, посол до сих пор не назначен.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 505, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.28, + "rouge2": 0.04081632653061224 + }, + "predict": " Президент «Реала» Флорентино Перес не намерен отпускать капитану команды Серхио Рамосу, несмотря на его желание сменить клуб из-за крупного контракта и предложений от китайских клубов. Рамос, однако, твердо настроен на расторжение контракта до лета 2021 года, мотивируя это необходимостью сменить обстановку и отсутствием других трофеев в карьере. Перес и его семья приняли решение продолжить обсуждение с Рамосом, но игрок все еще настроен на уход.", + "sample": { + "src_sents": [ + "Президент «Реала» Флорентино Перес не хочет отпускать капитана команды Серхио Рамос а, несмотря на желание самого футболиста сменить клуб.", + "«Прямо сейчас у него самый большой контракт в «Реале». Серхио — капитан, лучший игрок и полностью этого заслуживает. Я люблю Серхио Рамоса как сына. Да, мне сказали, что было очень хорошее предложение по нему от китайского клуба, но по имеющимся там правилам они не могли оплатить трансфер. Не более того. Я сказал Серхио, что это не может произойти. Невозможно для Мадрида, чтобы капитан ушел бесплатно, это был бы ужасный прецедент», — цитирует Переса Mundo Deportivo.", + "А желания у 33-летнего защитника уйти хоть отбавляй.", + "Рамос ранее уже рассказал о такой возможности развитии событий президенту «сливочных».", + "В общении с Пересом также принимали участие отец и брат игрока — стороны пришли к тому, что разговор продолжится позже.", + "Однако Рамос все также твердо настаивает на том, чтобы расторгнуть рассчитанный до лета 2021 года контракт.", + "Забесплатно Серхио (рыночная стоимость испанца по версии портала transfermarkt составляет €30 млн) хочет уехать в одну из команд китайской суперлиги.", + "Причина грусти футболиста очевидна: игрока порядком измотал нынешний сезон.", + "Но крах в чемпионате Испании (третье место) и Лиге чемпионов (после трех подряд побед мадридцы не сумели преодолеть стадию 1/8 финала, уступив дорогу дерзкому «Аяксу») вкупе с отсутствием других трофеев поставили под вопрос желание Серхио продолжать сотрудничество с «Реалом», за который он играет аж с 2005 года.", + "Смена обстановки как никогда раньше прельщает футболиста." + ], + "summary_sents": [ + "Капитан «Реала» Серхио Рамос намерен покинуть Мадрид в летнее трансферное окно и перебраться в китайскую суперлигу.", + "Преградой для такого развития карьеры может стать президент «сливочных» Флорентино Перес, который категорически против расставания со звездой за бесценок." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 6 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Президент «Реала» Флорентино Перес не хочет отпускать капитана команды Серхио Рамос а, несмотря на желание самого футболиста сменить клуб. «Прямо сейчас у него самый большой контракт в «Реале». Серхио — капитан, лучший игрок и полностью этого заслуживает. Я люблю Серхио Рамоса как сына. Да, мне сказали, что было очень хорошее предложение по нему от китайского клуба, но по имеющимся там правилам они не могли оплатить трансфер. Не более того. Я сказал Серхио, что это не может произойти. Невозможно для Мадрида, чтобы капитан ушел бесплатно, это был бы ужасный прецедент», — цитирует Переса Mundo Deportivo. А желания у 33-летнего защитника уйти хоть отбавляй. Рамос ранее уже рассказал о такой возможности развитии событий президенту «сливочных». В общении с Пересом также принимали участие отец и брат игрока — стороны пришли к тому, что разговор продолжится позже. Однако Рамос все также твердо настаивает на том, чтобы расторгнуть рассчитанный до лета 2021 года контракт. Забесплатно Серхио (рыночная стоимость испанца по версии портала transfermarkt составляет €30 млн) хочет уехать в одну из команд китайской суперлиги. Причина грусти футболиста очевидна: игрока порядком измотал нынешний сезон. Но крах в чемпионате Испании (третье место) и Лиге чемпионов (после трех подряд побед мадридцы не сумели преодолеть стадию 1/8 финала, уступив дорогу дерзкому «Аяксу») вкупе с отсутствием других трофеев поставили под вопрос желание Серхио продолжать сотрудничество с «Реалом», за который он играет аж с 2005 года. Смена обстановки как никогда раньше прельщает футболиста.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 392, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.339622641509434, + "rouge2": 0.03846153846153846 + }, + "predict": " Министр иностранных дел Украины Вадим Пристайко планирует призвать европейских партнеров к активизации усилий по урегулированию конфликта в Донбассе, считая, что без этого ситуация может вернуться к военному противостоянию. При этом, он отмечает, что в Украине идут болезненные шаги, которые вызывают протесты. Зампред Госдумы Виктор Водолацкий критикует эти заявления, указывая на их несоответствие международным нормам и на то, что Россия всегда поддерживала мирные переговоры.", + "sample": { + "src_sents": [ + "Министр иностранных дел Украины Вадим Пристайко собирается призвать европейских партнеров «дожать» Россию в вопросе урегулирования конфликта в Донбассе.", + "Об этом он сказал в интервью «Укринформ».", + "Свое намерение Пристайко собирается исполнить в понедельник, 14 октября, на заседании Совета министров ЕС по иностранным делам.", + "Дипломат отметил, что в сейчас киевские власти «идут на определенные, довольно болезненные шаги, на которые часть общества реагирует акциями протеста».", + "Эти решения, уверен глава украинского ведомства, «не должны просто зависнуть в воздухе».", + "«Потому что если вы сейчас не дожмете Россию, ситуация откатится назад до состояния военного противостояния, то есть мы снова начнем баррикадироваться», — такое мнение выразил министр в разговоре с украинским изданием.", + "В ответ на намерение министра Украины призвать своих иностранных партнеров к тому, чтобы они «дожали Россию», зампред комитета Госдумы по делам СНГ Виктор Водолацкий сказать, что для обеспечения нормального переговорного процесса власть страны должна призвать к ответу украинских националистов.", + "«В Европе уже неоднозначно относятся к заявлениям украинских политиков, потому что они не имеют под собой никакой основы. Втягивать Россию во внутренние конфликты — это какое-то бесстыдство со стороны Пристайко», — подчеркнул Водолацкий в комментарии RT.", + "Он добавил, что российская сторона всегда была за мирные соглашения и договоры." + ], + "summary_sents": [ + "Глава МИД Украины Вадим Пристайко намерен в понедельник на встрече с европейскими коллегами попросить их «дожать Россию» по вопросу Донбасса.", + "В противном случае, уверен министр, ситуация с разрешением военного конфликта на юго-востоке страны «откатится назад», то есть вернется в фазу активного противостояния." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2, + 5 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Министр иностранных дел Украины Вадим Пристайко собирается призвать европейских партнеров «дожать» Россию в вопросе урегулирования конфликта в Донбассе. Об этом он сказал в интервью «Укринформ». Свое намерение Пристайко собирается исполнить в понедельник, 14 октября, на заседании Совета министров ЕС по иностранным делам. Дипломат отметил, что в сейчас киевские власти «идут на определенные, довольно болезненные шаги, на которые часть общества реагирует акциями протеста». Эти решения, уверен глава украинского ведомства, «не должны просто зависнуть в воздухе». «Потому что если вы сейчас не дожмете Россию, ситуация откатится назад до состояния военного противостояния, то есть мы снова начнем баррикадироваться», — такое мнение выразил министр в разговоре с украинским изданием. В ответ на намерение министра Украины призвать своих иностранных партнеров к тому, чтобы они «дожали Россию», зампред комитета Госдумы по делам СНГ Виктор Водолацкий сказать, что для обеспечения нормального переговорного процесса власть страны должна призвать к ответу украинских националистов. «В Европе уже неоднозначно относятся к заявлениям украинских политиков, потому что они не имеют под собой никакой основы. Втягивать Россию во внутренние конфликты — это какое-то бесстыдство со стороны Пристайко», — подчеркнул Водолацкий в комментарии RT. Он добавил, что российская сторона всегда была за мирные соглашения и договоры.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 306, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3410852713178295, + "rouge2": 0.11023622047244094 + }, + "predict": " В Санкт-Петербурге открыто уголовное дело по обвинению бывших владельцев компании «Флора» в организации преступного сообщества для хищения бюджетных средств при строительстве Кольцевой автомобильной дороги. Следствие предполагает, что высокопоставленные чиновники получали значительные откаты в размере 13 млрд рублей, а коррупция затронула и страховые компании. Прокуратура уже обвинила учредителей «Флоры» в хищении 211 млн рублей и 54 млн рублей от страховых компаний. Расследование, судя по всему, сталкивается с серьезными препятствиями из-за вмешательства влиятельных лиц в Москву.", + "sample": { + "src_sents": [ + "В Петербурге возбуждено уголовное дело по факту организации преступного сообщества с целью хищения бюджетных средств при строительстве Кольцевой автомобильной дороги (КАД).", + "Основными фигурантами являются бывшие владельцы компании «Флора», выигравшей тендеры на строительство КАД в 2008 году, — Александр Коростовцев и Владимир Збышевский.", + "Дело ведет Главное следственное управление(ГСУ) МВД по Петербургу.", + "Коростовцев, являясь подозреваемым, недавно начал давать признательные показания.", + "По данным интернет-издания «Фонтанка.Ru», в постановлении следователя ГСУ говорится: «С целью реализации преступного умысла Збышевским и Коростовцевым в 2006 году было приобретено ООО «Флора» для получения государственных заказов с помощью коррупционных связей Збышевского, при условии выплаты 10 процентов от стоимости контрактов на взятки структурам, связанным с государственным заказчиком (ФГУ ДСТО, Росавтодор, Министерство транспорта РФ )».", + "Следствие считает, что в обязанности Збышевского входил контроль за сбором этих «10 процентов».", + "Выводились средства с помощью левой фирмы.", + "Таким образом, высокопоставленным чиновникам в Москве выплачивались огромные средства в качестве откатов.", + "Если все подрядчики выплачивали коррупционерам по 10%, сумма откатов составила не менее 13 млрд рублей.", + "Якобы расследованием заинтересовались серьезные лица из столицы, которые пытаются повлиять на ход дела.", + "Причем настолько серьезные, что сами следователи сомневаются в том, что доберутся до вершины коррупционной пирамиды.", + "Отметим, что еще в 2011 году Генпрокуратура сообщила, что учредителям «Флоры» инкриминируют хищение бюджетных средств, выделенных на строительство КАД, и хищение страховых сумм частной компании.", + "«Проверка выявила хищение денежных средств в размере более 211 млн руб., выделенных для строительства участка КАД от автомобильной дороги «Нарва» до поселка Бронка и транспортной развязки с автодорогой «Нарва». По данному факту возбуждено уголовное дело по ч. 4 ст. 159 УК РФ (мошенничество в особо крупном размере)», — сообщал официальный сайт Генпрокуратуры РФ.", + "Было установлено, что гендиректор ООО «Флора» «путем обмана ФГУП «Дирекция по строительству транспортного обхода г. Санкт-Петербурга» похитил денежные средства в размере более 54 млн рублей.", + "Эти деньги должны были перечислить компании «Гефест» по договорам страхования рисков при строительстве КАД." + ], + "summary_sents": [ + "В Петербурге могли украсть не менее 13 млрд рублей при строительстве Кольцевой автомобильной дороги.", + "Коррупционный след ведет в Москву, в деле могут быть замешаны чиновники высшего ранга, получавшие откаты с каждого километра трассы.", + "Следователи, ведущие дело, уже столкнулись с противодействием высокопоставленных фигур и уверены, что им не позволят дойти до верхушки коррупционной пирамиды." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 6, + 7, + 8, + 9, + 10 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Петербурге возбуждено уголовное дело по факту организации преступного сообщества с целью хищения бюджетных средств при строительстве Кольцевой автомобильной дороги (КАД). Основными фигурантами являются бывшие владельцы компании «Флора», выигравшей тендеры на строительство КАД в 2008 году, — Александр Коростовцев и Владимир Збышевский. Дело ведет Главное следственное управление(ГСУ) МВД по Петербургу. Коростовцев, являясь подозреваемым, недавно начал давать признательные показания. По данным интернет-издания «Фонтанка.Ru», в постановлении следователя ГСУ говорится: «С целью реализации преступного умысла Збышевским и Коростовцевым в 2006 году было приобретено ООО «Флора» для получения государственных заказов с помощью коррупционных связей Збышевского, при условии выплаты 10 процентов от стоимости контрактов на взятки структурам, связанным с государственным заказчиком (ФГУ ДСТО, Росавтодор, Министерство транспорта РФ )». Следствие считает, что в обязанности Збышевского входил контроль за сбором этих «10 процентов». Выводились средства с помощью левой фирмы. Таким образом, высокопоставленным чиновникам в Москве выплачивались огромные средства в качестве откатов. Если все подрядчики выплачивали коррупционерам по 10%, сумма откатов составила не менее 13 млрд рублей. Якобы расследованием заинтересовались серьезные лица из столицы, которые пытаются повлиять на ход дела. Причем настолько серьезные, что сами следователи сомневаются в том, что доберутся до вершины коррупционной пирамиды. Отметим, что еще в 2011 году Генпрокуратура сообщила, что учредителям «Флоры» инкриминируют хищение бюджетных средств, выделенных на строительство КАД, и хищение страховых сумм частной компании. «Проверка выявила хищение денежных средств в размере более 211 млн руб., выделенных для строительства участка КАД от автомобильной дороги «Нарва» до поселка Бронка и транспортной развязки с автодорогой «Нарва». По данному факту возбуждено уголовное дело по ч. 4 ст. 159 УК РФ (мошенничество в особо крупном размере)», — сообщал официальный сайт Генпрокуратуры РФ. Было установлено, что гендиректор ООО «Флора» «путем обмана ФГУП «Дирекция по строительству транспортного обхода г. Санкт-Петербурга» похитил денежные средства в размере более 54 млн рублей. Эти деньги должны были перечислить компании «Гефест» по договорам страхования рисков при строительстве КАД.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 556, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.1509433962264151, + "rouge2": 0.01923076923076923 + }, + "predict": " Матч между МХК «Спартак» и «Энергией» состоялся в 19:30, что вызвало бурю энтузиазма у болельщиков, желающих увеличить аудиторию. Арена была заполнена до отказа, что позволило красно-белым провести матч на полную вместимость. В четвертьфинале «Спартак» встретится с «СКА-1946». После матча наставник «Энергии» выразил удовлетворение достигнутым результатом, отметив самоотверженность игроков и поддержку болельщиков. Тюриков также выразил надежду на успешное выступление в следующем матче с «СКА-1946», подчеркнув важность подготовки к предстоящему противостоянию.", + "sample": { + "src_sents": [ + "Обычно домашние матчи МХК «Спартак» начинаются днем или в 17.00.", + "Однако поединок с «Энергией» стартовал в 19.30.", + "Это решение продавили болельщики — для того, чтобы красно-белых поддержали не 500-1000 человек, а, хотя бы, в два раза больше.", + "И открыли сокольническую арену не как обычно — на четверть, а наполовину.", + "За полчаса до матча у касс толпились и 16-летние подростки, и старики, повидавшие Старшинова, Якушева, братьев Майоровых.", + "В четвертьфинале красно-белые схлестнутся с питерским «СКА-1946».", + "«У нас не было такой длинной скамейки, как у «Спартака», — сказал после матча наставник «Энергии» Карел Млейнек. – Хорошо то, что мы довели эту серию до пятого матча».", + "«Доволен результатом. Сумели переломить ход этой серии. Спасибо ребятам за самоотдачу, а также болельщикам – была фантастическая атмосфера. Огорчил инцидент с нашими болельщиками и игроками гостей, — отметил Тюриков. – Видимо, стычки на льду перенеслись на трибуны. Анкудинов сегодня не прошел в состав потому, что по регламенту можно заявить только трех игроков 1991 года рождения, поэтому мы предпочли других людей. В воскресенье у нас первая игра со «СКА-1946». Соперников слабых нет. Будем готовиться, не хотим доводить серию до пятого матча».", + "Другие материалы, новости и статистику можно посмотреть на странице КХЛ." + ], + "summary_sents": [ + "МХК «Спартак» вышел в 1/4 финала Кубка Харламова.", + "В пятом матче серии 1/8 финала красно-белые обыграли в Сокольниках чешскую «Энергию» из Карловых Вар благодаря голам Артема Пуголовкина и Артема Воронина." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 5 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Обычно домашние матчи МХК «Спартак» начинаются днем или в 17.00. Однако поединок с «Энергией» стартовал в 19.30. Это решение продавили болельщики — для того, чтобы красно-белых поддержали не 500-1000 человек, а, хотя бы, в два раза больше. И открыли сокольническую арену не как обычно — на четверть, а наполовину. За полчаса до матча у касс толпились и 16-летние подростки, и старики, повидавшие Старшинова, Якушева, братьев Майоровых. В четвертьфинале красно-белые схлестнутся с питерским «СКА-1946». «У нас не было такой длинной скамейки, как у «Спартака», — сказал после матча наставник «Энергии» Карел Млейнек. – Хорошо то, что мы довели эту серию до пятого матча». «Доволен результатом. Сумели переломить ход этой серии. Спасибо ребятам за самоотдачу, а также болельщикам – была фантастическая атмосфера. Огорчил инцидент с нашими болельщиками и игроками гостей, — отметил Тюриков. – Видимо, стычки на льду перенеслись на трибуны. Анкудинов сегодня не прошел в состав потому, что по регламенту можно заявить только трех игроков 1991 года рождения, поэтому мы предпочли других людей. В воскресенье у нас первая игра со «СКА-1946». Соперников слабых нет. Будем готовиться, не хотим доводить серию до пятого матча». Другие материалы, новости и статистику можно посмотреть на странице КХЛ.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 375, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2814814814814815, + "rouge2": 0.015037593984962405 + }, + "predict": " Московский водитель подвергся «новому виду дорожной провокации», когда гаишники из Воронежской области замотали дорожный знак в пакет, чтобы штрафовать водителей за нарушение ПДД. Видео инцидента, снятое на видеорегистраторе, опубликовано активистами движения «Синие ведерки». В результате водителя лишили прав по ч. 5 ст. 12.15 КоАП РФ за повторный выезд на встречную полосу. В ГУ МВД по Воронежской области заявили, что действия сотрудников ГИБДД были законными, и не видели в действиях гаишников умысла на ловушки.", + "sample": { + "src_sents": [ + "Московский водитель стал жертвой нового вида дорожной провокации, который, как он уверен, взяли на вооружение гаишники из Воронежской области.", + "По словам автомобилиста, инспекторы могли специально замотать дорожный знак в пакет, чтобы штрафовать не замечающих его добросовестных водителей за нарушение ПДД.", + "Видеоролик инцидента, который из записей своего видеорегистратора смонтировал попавший в «капкан» водитель, выложили в соцсетях активисты движения «Синие ведерки».", + "Запечатленные на видео события происходили на федеральной трассе М-6 «Каспий» около поселка Грибановский в Воронежской области.", + "На ролике видно, как автомобиль, в котором установлен видеорегистратор, двигался за машиной ГИБДД по двухполосной дороге.", + "На ролике видно, что после того как оба автомобиля проехали перекресток, двигавшаяся впереди полицейская машина начала притормаживать.", + "Тогда водитель, посчитав, что запрет на обгон, установленный временным знаком, действует до ближайшего перекрестка, стал обгонять транспортное средство гаишников.", + "В тот момент, когда автомобилист только начал выезжать на встречную полосу, полицейские мгновенно включили мигалки, притормозили еще сильнее, позволив водителю завершить обгон, а затем потребовали его остановиться у обочины.", + "По словам автомобилиста, инспекторы заявили ему, что тот якобы нарушил правила обгона и выехал на встречную полосу, хотя знаком это было запрещено.", + "Водитель безуспешно пытался доказать представителям Госавтоинспекции , что проехал перекресток, а соответственно, и зону, в которой запрещен обгон, однако хранители правопорядка ответили ему, что это был не перекресток, а выезд с прилегающей территории, подкрепив это якобы отсутствием обозначающего перекресток знака.", + "К несчастью автомобилиста, у которого был уже выезд на «встречку», гаишники составили протокол по ч. 5 ст. 12.15 КоАП РФ (повторный выезд в нарушение ПДД на встречную полосу), максимальное наказание по которой составляет лишение прав на год.", + "После этого материалы по ходатайству автомобилиста были направлены мировому судье по месту его жительства в 315 судебный участок Алексеевского района Москвы.", + "Судья Елена Никитенко, изучив обстоятельства дела, пришла к выводу, что водитель все-таки виновен в выезде на встречную полосу и вынесла решение о лишении его прав.", + "Представитель «Синих ведерок» утверждает, что подобные ловушки гаишники устраивают не только под Воронежем, но также в Ростовской области и Краснодарском крае.", + "«Бороться с этим практически невозможно, потому что формально гаишники правы. Да и судьи всегда встают на их сторону и говорят, что не важно, кто закрыл знак пакетом, главное, что он закрыт, значит водитель должен ехать так, будто знака нет вовсе», – подытожил Шкуматов.", + "В то же время в пресс-службе ГУ МВД по Воронежской области «Газете.Ru» заявили, что не видят нарушений в действиях сотрудников ГИБДД.", + "«На видео видно, что там стояли знаки о проведении дорожных работ. То, что на самом ролике не видно техники и строителей, не означает, что работы там не проводятся. Устанавливают и накрывают пакетами знаки дорожники, зачем сотрудникам Госавтоинспекции это делать?», – удивились в ведомстве.", + "По словам представителя пресс-службы, полиция и Госавтоинспекция к знакам не имеет никакого отношения.", + "«В действиях инспекторов не было никакого умысла, они наоборот включили проблесковые маячки, чтобы предупредить водителя, что обгон здесь запрещен, но он почему-то все равно стал обгонять», – объяснили ситуацию в пресс-службе, добавив, что ни о какой ловушке речи быть не может, поскольку жалоб других водителей на якобы устроенный полицейскими капкан в ведомство не поступало." + ], + "summary_sents": [ + "Автомобилист из Москвы утверждает, что на год лишился прав после того, как попал в ловушку ГИБДД в Воронежской области.", + "По словам водителя, гаишники намеренно закрыли знак перекрестка мусорным пакетом, тем самым продлив зону запрещения обгона.", + "В региональной полиции утверждают, что не имеют отношения к пакетам на знаках.", + "Эксперты же отмечают, что в последнее время инспекторы ДПС применяют «пакетные» ловушки все чаще." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 1, + 11, + 12, + 16 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Московский водитель стал жертвой нового вида дорожной провокации, который, как он уверен, взяли на вооружение гаишники из Воронежской области. По словам автомобилиста, инспекторы могли специально замотать дорожный знак в пакет, чтобы штрафовать не замечающих его добросовестных водителей за нарушение ПДД. Видеоролик инцидента, который из записей своего видеорегистратора смонтировал попавший в «капкан» водитель, выложили в соцсетях активисты движения «Синие ведерки». Запечатленные на видео события происходили на федеральной трассе М-6 «Каспий» около поселка Грибановский в Воронежской области. На ролике видно, как автомобиль, в котором установлен видеорегистратор, двигался за машиной ГИБДД по двухполосной дороге. На ролике видно, что после того как оба автомобиля проехали перекресток, двигавшаяся впереди полицейская машина начала притормаживать. Тогда водитель, посчитав, что запрет на обгон, установленный временным знаком, действует до ближайшего перекрестка, стал обгонять транспортное средство гаишников. В тот момент, когда автомобилист только начал выезжать на встречную полосу, полицейские мгновенно включили мигалки, притормозили еще сильнее, позволив водителю завершить обгон, а затем потребовали его остановиться у обочины. По словам автомобилиста, инспекторы заявили ему, что тот якобы нарушил правила обгона и выехал на встречную полосу, хотя знаком это было запрещено. Водитель безуспешно пытался доказать представителям Госавтоинспекции , что проехал перекресток, а соответственно, и зону, в которой запрещен обгон, однако хранители правопорядка ответили ему, что это был не перекресток, а выезд с прилегающей территории, подкрепив это якобы отсутствием обозначающего перекресток знака. К несчастью автомобилиста, у которого был уже выезд на «встречку», гаишники составили протокол по ч. 5 ст. 12.15 КоАП РФ (повторный выезд в нарушение ПДД на встречную полосу), максимальное наказание по которой составляет лишение прав на год. После этого материалы по ходатайству автомобилиста были направлены мировому судье по месту его жительства в 315 судебный участок Алексеевского района Москвы. Судья Елена Никитенко, изучив обстоятельства дела, пришла к выводу, что водитель все-таки виновен в выезде на встречную полосу и вынесла решение о лишении его прав. Представитель «Синих ведерок» утверждает, что подобные ловушки гаишники устраивают не только под Воронежем, но также в Ростовской области и Краснодарском крае. «Бороться с этим практически невозможно, потому что формально гаишники правы. Да и судьи всегда встают на их сторону и говорят, что не важно, кто закрыл знак пакетом, главное, что он закрыт, значит водитель должен ехать так, будто знака нет вовсе», – подытожил Шкуматов. В то же время в пресс-службе ГУ МВД по Воронежской области «Газете.Ru» заявили, что не видят нарушений в действиях сотрудников ГИБДД. «На видео видно, что там стояли знаки о проведении дорожных работ. То, что на самом ролике не видно техники и строителей, не означает, что работы там не проводятся. Устанавливают и накрывают пакетами знаки дорожники, зачем сотрудникам Госавтоинспекции это делать?», – удивились в ведомстве. По словам представителя пресс-службы, полиция и Госавтоинспекция к знакам не имеет никакого отношения. «В действиях инспекторов не было никакого умысла, они наоборот включили проблесковые маячки, чтобы предупредить водителя, что обгон здесь запрещен, но он почему-то все равно стал обгонять», – объяснили ситуацию в пресс-службе, добавив, что ни о какой ловушке речи быть не может, поскольку жалоб других водителей на якобы устроенный полицейскими капкан в ведомство не поступало.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 824, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.26562499999999994, + "rouge2": 0.04761904761904762 + }, + "predict": " Британские власти, расширяя список мест в Солсбери для детоксикации и очистки от химикатов, связанных с отравлением Скрипалей, могут пытаться скрыть вещественные доказательства. В российском посольстве в Лондоне предполагают, что это может быть частью попытки замести следы, а также указывают на нестыковки в расследовании. Лавров выразил обеспокоенность по поводу доклада о возможном использовании BZ в отравлении Скрипалей и требует от ОЗХО подтверждения его происхождения. Российские власти также выразили сомнения в происхождении BZ в России.", + "sample": { + "src_sents": [ + "Расширяя список мест в Солсбери, которые подлежат детоксикации и очистке от химикатов, британские власти могут попытаться скрыть важные для расследования отравления Скрипалей вещественные доказательства, полагают в российском посольстве в Лондоне.", + "RT со ссылкой на заявление посольства передает, что кроме итальянского ресторана Zizzi, английского паба Mill's, где экс-полковник ГРУ Сергей Скрипаль и его дочь Юлия обедали в день отравления 4 марта, а также скамейки, на которой они были найдены без сознания, и дома Скрипалей, в список попали станции «скорой помощи» и дом третьего отравившегося — полицейского Ника Бэйли.", + "Всего таких мест было девять, и их очистка уже завершается, сообщает ФАН.", + "При этом, хотя официальный Лондон заявлял о крайне высокой токсичности и устойчивости химвещества А234 «Новичок», которое «не испаряется и не исчезает», новых сообщений о пострадавших нет.", + "В дипмиссии убеждены, что сержант полиции Бэйли, получивший отравление, после возвращения домой в этом случае должен был отравиться повторно.", + "Кроме того, в дипмиссии подчеркнули — «видные невооруженным глазом» нестыковки в деле наводят на мысли об уничтожении улик, «если, конечно, есть что доказывать», передает НСН.", + "«Одним словом, грубое нарушение Великобританией норм международного права призвано замести следы постановочной провокации в отношении России», — заканчивается заявление посольства РФ.", + "Министр иностранных дел России Сергей Лавров ранее сообщил, что Россия ждет ответа от ОЗХО о докладе швейцарской лаборатории об отравляющем веществе BZ, которым с высокой долей вероятности могли быть отравлены экс-полковник ГРУ Сергей Скрипаль и его дочь Юлия.", + "«В докладе швейцарской лаборатории также говорится, что, прежде всего, они обнаружили BZ [в Солсбери], который был, я думаю, изобретен в США в 1955 году и состоял на вооружении американской и британской армий. И мы спросили ОЗХО, которой мы доверяем, о том, это правда или нет — что вдобавок к А234 там был также обнаружен BZ. И мы ждем ответа от ОЗХО, которой мы, конечно, доверяем, но мы хотим доверять и проверять», — сказал Лавров.", + "При этом вещество BZ не производилось ни в СССР, ни в Российской Федерации, отметил министр.", + "Официальный представитель МИД России Мария Захарова ранее назвала «весьма подозрительной» ситуацию вокруг смерти домашних животных Скрипаля." + ], + "summary_sents": [ + "Посольство России в Великобритании отмечает усилия Лондона по «очищению» Солсбери после инцидента с отравлением Скрипалей.", + "Был расширен список мест, которые, возможно, были заражены боевым отравляющим веществом.", + "Кроме итальянского ресторана, паба, скамейки и дома Скрипалей, под карантин попали станции скорой помощи и дом полицейского Ника Бэйли.", + "В дипмиссии предположили, что британцы «заметают следы» и уничтожают улики." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 5, + 6 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Расширяя список мест в Солсбери, которые подлежат детоксикации и очистке от химикатов, британские власти могут попытаться скрыть важные для расследования отравления Скрипалей вещественные доказательства, полагают в российском посольстве в Лондоне. RT со ссылкой на заявление посольства передает, что кроме итальянского ресторана Zizzi, английского паба Mill's, где экс-полковник ГРУ Сергей Скрипаль и его дочь Юлия обедали в день отравления 4 марта, а также скамейки, на которой они были найдены без сознания, и дома Скрипалей, в список попали станции «скорой помощи» и дом третьего отравившегося — полицейского Ника Бэйли. Всего таких мест было девять, и их очистка уже завершается, сообщает ФАН. При этом, хотя официальный Лондон заявлял о крайне высокой токсичности и устойчивости химвещества А234 «Новичок», которое «не испаряется и не исчезает», новых сообщений о пострадавших нет. В дипмиссии убеждены, что сержант полиции Бэйли, получивший отравление, после возвращения домой в этом случае должен был отравиться повторно. Кроме того, в дипмиссии подчеркнули — «видные невооруженным глазом» нестыковки в деле наводят на мысли об уничтожении улик, «если, конечно, есть что доказывать», передает НСН. «Одним словом, грубое нарушение Великобританией норм международного права призвано замести следы постановочной провокации в отношении России», — заканчивается заявление посольства РФ. Министр иностранных дел России Сергей Лавров ранее сообщил, что Россия ждет ответа от ОЗХО о докладе швейцарской лаборатории об отравляющем веществе BZ, которым с высокой долей вероятности могли быть отравлены экс-полковник ГРУ Сергей Скрипаль и его дочь Юлия. «В докладе швейцарской лаборатории также говорится, что, прежде всего, они обнаружили BZ [в Солсбери], который был, я думаю, изобретен в США в 1955 году и состоял на вооружении американской и британской армий. И мы спросили ОЗХО, которой мы доверяем, о том, это правда или нет — что вдобавок к А234 там был также обнаружен BZ. И мы ждем ответа от ОЗХО, которой мы, конечно, доверяем, но мы хотим доверять и проверять», — сказал Лавров. При этом вещество BZ не производилось ни в СССР, ни в Российской Федерации, отметил министр. Официальный представитель МИД России Мария Захарова ранее назвала «весьма подозрительной» ситуацию вокруг смерти домашних животных Скрипаля.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 540, + "generated_len": [ + 149 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.375, + "rouge2": 0.16363636363636364 + }, + "predict": " Правительство Ханты-Мансийского автономного округа продало 44,2% акций Ханты-Мансийского банка (ХМБ) компании ООО «Ферросплав инвест», принадлежащей Николаю Добринову, совладельцу группы ИСТ. Сумма сделки составила 12,775 млрд рублей, что соответствует собственному капиталу банка. Номос-банк, контролирующий 51,29% ХМБ, планирует консолидацию банка и выкуп доли от «Ферросплав инвест». Возможные пути реализации сделки включают выкуп пакета «Номосом» или через ФК «Открытие», что может повлиять на синергию между «Номосом» и «Открытием».", + "sample": { + "src_sents": [ + "Правительство Ханты-Мансийского автономного округа (ХМАО) продало долю в капитале Ханты-Мансийского банка (ХМБ).", + "Победителем приватизационного тендера выступило ООО «Ферросплав инвест», 70% которого принадлежит Николаю Добринову — совладельцу группы ИСТ.", + "За пакет объемом 44,2% акций инвестор заплатил 12,775 млрд рублей.", + "К участию в аукционе были допущены две компании.", + "И обе заявки подали структуры, аффилированные с группой ИСТ, сообщил «Интерфаксу» осведомленный источник.", + "Совладельцы группы ИСТ, в свою очередь, являются крупными акционерами Номос-банка, контролирующего 51,29% ХМБ.", + "Покупка пакета акций ХМБ произошла по стартовой цене 12,775 млрд рублей, которая соответствовала собственному капиталу.", + "В целом оценка банка в размере собственного капитала сейчас выглядит справедливой.", + "Ранее Номос-банк сообщал, что планирует дальнейшую консолидацию ХМБ.", + "«В конце сентября состоится аукцион по продаже принадлежащей ХМАО доли в ХМБ. Мы предполагаем, что наши акционеры будут участвовать в этой сделке. Затем у нас есть договоренность о том, что после проведения увеличения нашего капитала Номос-банк будет эту долю выкупать», — говорил финансовый директор «Номоса» Владимир Рыкунов.", + "В презентации Номос-банка говорилось, что сумма сделки с группой ИСТ будет включать стоимость пакета, компенсацию за пользование денежными средствами и транзакционные издержки.", + "Рыкунов не исключал, что для консолидации ХМБ «Номос» проведет допэмиссию объемом, сопоставимым с ценой продажи доли ХМАО.", + "Аналитик Fitch Ratings Александр Данилов считает, что акции будут размещены в пользу ФК «Открытие» — нового акционера «Номоса».", + "В Номос-банке и ФК от комментариев отказались.", + "«Приобретение пакета акций ХМБ на группу ИСТ, а не на Номос-банк было принято, поскольку «Номосу» бы это не позволил уровень достаточности капитала», — говорит заместитель директора аналитического департамента «Совлинк» Ольга Беленькая.", + "Она не исключает сценария, при котором выкупать пакет будет не сам «Номос», а ФК «Открытие».", + "«Как говорил Беляев, ФК «Открытие» — не сегодня, но через шаг — станет владельцем «Номоса», Ханты-Мансийского банка, еще трех мелких банков, — говорит аналитик. — Удастся ли полностью реализовать синергию в контексте объединения «Номоса» и «Открытия», покажет время»." + ], + "summary_sents": [ + "Компания, связанная с акционерами Номос-банка, выкупила 44,2% акций Ханты-Мансийского банка у регионального правительства.", + "Сумма сделки — 12,8 млрд рублей.", + "В дальнейшем пакет перейдет в Номос-банк: для консолидации ХМБ «Номос» проведет допэмиссию, возможно в пользу ФК «Открытие»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 10, + 11, + 12 + ], + "category": "financial" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Правительство Ханты-Мансийского автономного округа (ХМАО) продало долю в капитале Ханты-Мансийского банка (ХМБ). Победителем приватизационного тендера выступило ООО «Ферросплав инвест», 70% которого принадлежит Николаю Добринову — совладельцу группы ИСТ. За пакет объемом 44,2% акций инвестор заплатил 12,775 млрд рублей. К участию в аукционе были допущены две компании. И обе заявки подали структуры, аффилированные с группой ИСТ, сообщил «Интерфаксу» осведомленный источник. Совладельцы группы ИСТ, в свою очередь, являются крупными акционерами Номос-банка, контролирующего 51,29% ХМБ. Покупка пакета акций ХМБ произошла по стартовой цене 12,775 млрд рублей, которая соответствовала собственному капиталу. В целом оценка банка в размере собственного капитала сейчас выглядит справедливой. Ранее Номос-банк сообщал, что планирует дальнейшую консолидацию ХМБ. «В конце сентября состоится аукцион по продаже принадлежащей ХМАО доли в ХМБ. Мы предполагаем, что наши акционеры будут участвовать в этой сделке. Затем у нас есть договоренность о том, что после проведения увеличения нашего капитала Номос-банк будет эту долю выкупать», — говорил финансовый директор «Номоса» Владимир Рыкунов. В презентации Номос-банка говорилось, что сумма сделки с группой ИСТ будет включать стоимость пакета, компенсацию за пользование денежными средствами и транзакционные издержки. Рыкунов не исключал, что для консолидации ХМБ «Номос» проведет допэмиссию объемом, сопоставимым с ценой продажи доли ХМАО. Аналитик Fitch Ratings Александр Данилов считает, что акции будут размещены в пользу ФК «Открытие» — нового акционера «Номоса». В Номос-банке и ФК от комментариев отказались. «Приобретение пакета акций ХМБ на группу ИСТ, а не на Номос-банк было принято, поскольку «Номосу» бы это не позволил уровень достаточности капитала», — говорит заместитель директора аналитического департамента «Совлинк» Ольга Беленькая. Она не исключает сценария, при котором выкупать пакет будет не сам «Номос», а ФК «Открытие». «Как говорил Беляев, ФК «Открытие» — не сегодня, но через шаг — станет владельцем «Номоса», Ханты-Мансийского банка, еще трех мелких банков, — говорит аналитик. — Удастся ли полностью реализовать синергию в контексте объединения «Номоса» и «Открытия», покажет время».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 591, + "generated_len": [ + 149 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.33093525179856115, + "rouge2": 0.058394160583941604 + }, + "predict": " Портал Reveal опубликовал информацию о том, как администрация складов Amazon намеренно занижает статистику по несчастным случаям и травмам на рабочем месте, используя вечеринки с пиццей для сотрудников, которые не сообщали о происшествиях. В результате, некоторые работники выходили на работу травмированными, не получая медицинской помощи, из-за страха не подвести своих коллег. В 2019 году на складе DuPont, где проводились подобные практики, был зафиксирован антирекорд по травмам среди всех 150 складов компании в США.", + "sample": { + "src_sents": [ + "Администрация складов Amazon намеренно занижает статистику по несчастным случаям и травмам на рабочем месте, сообщает портал Reveal со ссылкой на источники.", + "Как сообщил изданию бывший медработник одного из таких объектов Остин Вендт, менеджеры компании устраивали вечеринки с пиццей для сотрудников, если они отрабатывали смены без происшествий, мотивируя их скрывать реальные данные.", + "По словам Вендта, все работники склада DuPont, на котором он работал, знали, что пицца является наградой для тех команд, которые не сообщали о происшествиях.", + "В результате некоторые сотрудники выходили на работу травмированными и не обращались за медицинской помощью, потому что не хотели подводить своих коллег.", + "Как следует из статистики, переданной Reveal, на объекте DuPont в 2019 году был зафиксирован антирекорд по травмам сотрудников среди всех 150 складов компании в США.", + "Так, на 100 работников приходилось 22 серьезных повреждения, что в пять раз превышает среднее число по стране." + ], + "summary_sents": [ + "Состояние дел на складах Amazon давно вызывает беспокойство у СМИ и общественных деятелей — известно, что сотрудники объектов сортировки товаров получают низкую зарплату, а еще им часто отказывают в медицинской страховке.", + "Как выяснило издание Reveal, статистика компании о травмах на производстве также не соответствует действительности.", + "По словам источников, менеджеры Amazon не поощряют жалобы сотрудников на несчастные случаи, покупая им пиццу, если очередная смена обошлась без происшествий." + ], + "support_labels": [ + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1 + ], + "category": "tech" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Администрация складов Amazon намеренно занижает статистику по несчастным случаям и травмам на рабочем месте, сообщает портал Reveal со ссылкой на источники. Как сообщил изданию бывший медработник одного из таких объектов Остин Вендт, менеджеры компании устраивали вечеринки с пиццей для сотрудников, если они отрабатывали смены без происшествий, мотивируя их скрывать реальные данные. По словам Вендта, все работники склада DuPont, на котором он работал, знали, что пицца является наградой для тех команд, которые не сообщали о происшествиях. В результате некоторые сотрудники выходили на работу травмированными и не обращались за медицинской помощью, потому что не хотели подводить своих коллег. Как следует из статистики, переданной Reveal, на объекте DuPont в 2019 году был зафиксирован антирекорд по травмам сотрудников среди всех 150 складов компании в США. Так, на 100 работников приходилось 22 серьезных повреждения, что в пять раз превышает среднее число по стране.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 238, + "generated_len": [ + 149 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.38983050847457623, + "rouge2": 0.1206896551724138 + }, + "predict": " Агентство национальной безопасности США и Управление правительственной связи Великобритании, используя популярные приложения, могут собирать информацию о владельцах смартфонов, включая модель телефона, политические взгляды и местоположение. Программа слежки за пользователями через мобильные устройства была разработана в 2007 году и значительно расширилась с течением времени, включая Facebook, LinkedIn, Twitter и Angry Birds. Данные могут использоваться для подбора наиболее релевантной рекламы, а информация делится на техническую и личную категории. Масштабы и страны, подверженные слежке, неизвестны.", + "sample": { + "src_sents": [ + "Агентство национальной безопасности ( АНБ ) США, занимающееся электронной разведкой, и его британский аналог, Управление правительственной связи, имеют доступ к информации о владельцах смартфонов через популярные приложения, сообщают издания The New York Times и The Guardian ссылаясь на данные, предоставленные бывшим сотрудником американских спецслужб Эдвардом Сноуденом.", + "Согласно десяткам документов, спецслужбы способны собирать информацию о пользователях – от модели мобильного телефона до политических взглядов — через ряд программ, так называемые «приложения с утечками» (leaky apps), в число которых входят такие популярные сервисы, как Google Maps, игра Angry Birds и соцсети Facebook, LinkedIn и Twitter.", + "Американская и британская разведки сотрудничают с 2007 года.", + "Изначально программа слежки за пользователями через мобильные устройства распространялась только на несколько десятков приложений, однако впоследствии значительно расширилась и сейчас включает такие популярные соцсети, как Facebook, Linkedn, Twitter, многие игры, в том числе Angry Birds и другие приложения.", + "Предполагается, что одним из способов получения сведений является перехват информации, предназначенной для подбора наиболее релевантной рекламы.", + "Спецслужбы могут перехватывать данные как из приложений для операционной системы Android, так и для iOS, уточняется в документах (они датированы 2007–2012 годами, поэтому мобильная ОC Windows Phone в них не упоминается).", + "Информация, которую спецслужбы могут собрать через приложения, делится на две категории: техническая и личная.", + "В документах утверждается только о том, что у АНБ и Центра правительственной связи есть возможность собирать информацию через мобильные приложения.", + "Ни масштабы данной программы, ни то, жители каких стран подвергались слежке, неизвестно, уточняют издания." + ], + "summary_sents": [ + "Американские и британские спецслужбы могут собирать информацию о пользователях смартфонов на iOS и Android через популярные приложения, в число которых входят Facebook, Twitter и Angry Birds.", + "Спецслужбы способны перехватывать информацию для таргетированной рекламы, где сообщается личная информация о пользователе — от его местоположения до сексуальной ориентации." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 1, + 5 + ], + "category": "tech" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Агентство национальной безопасности ( АНБ ) США, занимающееся электронной разведкой, и его британский аналог, Управление правительственной связи, имеют доступ к информации о владельцах смартфонов через популярные приложения, сообщают издания The New York Times и The Guardian ссылаясь на данные, предоставленные бывшим сотрудником американских спецслужб Эдвардом Сноуденом. Согласно десяткам документов, спецслужбы способны собирать информацию о пользователях – от модели мобильного телефона до политических взглядов — через ряд программ, так называемые «приложения с утечками» (leaky apps), в число которых входят такие популярные сервисы, как Google Maps, игра Angry Birds и соцсети Facebook, LinkedIn и Twitter. Американская и британская разведки сотрудничают с 2007 года. Изначально программа слежки за пользователями через мобильные устройства распространялась только на несколько десятков приложений, однако впоследствии значительно расширилась и сейчас включает такие популярные соцсети, как Facebook, Linkedn, Twitter, многие игры, в том числе Angry Birds и другие приложения. Предполагается, что одним из способов получения сведений является перехват информации, предназначенной для подбора наиболее релевантной рекламы. Спецслужбы могут перехватывать данные как из приложений для операционной системы Android, так и для iOS, уточняется в документах (они датированы 2007–2012 годами, поэтому мобильная ОC Windows Phone в них не упоминается). Информация, которую спецслужбы могут собрать через приложения, делится на две категории: техническая и личная. В документах утверждается только о том, что у АНБ и Центра правительственной связи есть возможность собирать информацию через мобильные приложения. Ни масштабы данной программы, ни то, жители каких стран подвергались слежке, неизвестно, уточняют издания.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 370, + "generated_len": [ + 149 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3333333333333333, + "rouge2": 0.07692307692307691 + }, + "predict": " В Минэкономразвития считают, что введенная в октябре 2022 года схема налогообложения нефтяной отрасли не принесла ожидаемых доходов в бюджет. В ответ на это власти рассматривают возможность повышения экспортной пошлины на мазут до 90% от пошлины на сырую нефть, что может привести к значительным потерям для бюджета и негативно сказаться на нефтеперерабатывающей отрасли. Экспертами, однако, высказывается сомнение в целесообразности такой меры, считая, что она может нанести ущерб экономике и снизить инвестиции в отрасль.", + "sample": { + "src_sents": [ + "Введенная в прошлом октябре схема налогообложения нефтяной отрасли 60—66 не оправдала ожиданий и не приносит в бюджет ожидаемых доходов, говорит источник Reuters в Минэкономразвития (МЭР).", + "Для исправления ситуации власти готовы повысить экспортную пошлину на мазут до запретительного уровня в 90% от пошлины на сырую нефть. Сейчас она составляет 66%.", + "В 2011 году Минфин подсчитывал, что новый режим взимания экспортных пошлин на нефть и нефтепродукты — режим 60—66 — снизит бюджетные доходы на 60,8 млрд рублей.", + "Пересмотр таможенного коэффициента на экспорт сырой нефти обойдется в 158,8 млрд рублей потерь.", + "Но 98 млрд рублей бюджет получит за счет увеличения пошлин на вывоз нефтепродуктов.", + "«Декларируемой целью введения режима 60—66 было не наполнение бюджета, а стимулирование компаний к производству светлых нефтепродуктов, — напоминает представитель одной из ведущих российских нефтяных компаний. — Если сейчас повысить до 90% и пошлины на мазут — какой вообще был смысл вводить режим 60—66? Кроме того, это будет прямым нарушением постановления правительства».", + "«В России производится примерно в четыре раза больше мазута, чем нужно внутреннему потребителю, соответственно, три четверти продукции идет на экспорт, — рассказывает источник «Газеты.Ru» в отрасли. — Но повышение пошлин нельзя объяснить попыткой государства стимулировать сокращение выпуска мазута и рост производства светлых нефтепродуктов».", + "«Однако она требует нескольких лет и миллиардных инвестиций, — говорит источник. — И в правительстве это прекрасно знают. Повышение пошлин на вывоз мазута — чисто фискальная политика, прямое усиление налогового давления на отрасль».", + "Если исходить из этого объема экспорта и того, что с апреля пошлина повысится, нефтяникам это обойдется в общей сложности примерно в $7,55 млрд.", + "Виталий Крюков из ИФД «Капиталъ» сомневается, что власти решат повысить пошлины на вывоз мазута.", + "«Это нанесет удар по экономике нефтепереработки, приведет к сокращению объемов переработки, инвестиционной активности и дефициту топлива, — комментирует эксперт. — Власти это понимают и вряд ли пойдут на увеличение налогового бремени для нефтяной отрасли».", + "Эксперт рассчитывает на постепенный рост пошлины в соответствии с реализацией программ компаний по наращиванию глубины переработки.", + "«Законодательно уже закреплено, что в 2015 году экспортная пошлина на мазут сравняется с нефтяной, — рассказывает аналитик. — Впрочем, нефтяники в этом сомневаются»." + ], + "summary_sents": [ + "Налоговый режим для нефтяников по схеме 60—66 не оправдал ожиданий, признали в Минэкономразвития.", + "Растущие потери бюджета чиновники намерены покрыть за счет очередного повышения экспортных пошлин на темные нефтепродукты.", + "В частности, пошлина на вывоз мазута может быть увеличена в 1,5 раза, что обойдется отрасли в $7,5 млрд за год.", + "Нефтяники заявляют об «ударе по нефтепереработке» и угрозе топливного кризиса." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 0, + 1, + 8 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Введенная в прошлом октябре схема налогообложения нефтяной отрасли 60—66 не оправдала ожиданий и не приносит в бюджет ожидаемых доходов, говорит источник Reuters в Минэкономразвития (МЭР). Для исправления ситуации власти готовы повысить экспортную пошлину на мазут до запретительного уровня в 90% от пошлины на сырую нефть. Сейчас она составляет 66%. В 2011 году Минфин подсчитывал, что новый режим взимания экспортных пошлин на нефть и нефтепродукты — режим 60—66 — снизит бюджетные доходы на 60,8 млрд рублей. Пересмотр таможенного коэффициента на экспорт сырой нефти обойдется в 158,8 млрд рублей потерь. Но 98 млрд рублей бюджет получит за счет увеличения пошлин на вывоз нефтепродуктов. «Декларируемой целью введения режима 60—66 было не наполнение бюджета, а стимулирование компаний к производству светлых нефтепродуктов, — напоминает представитель одной из ведущих российских нефтяных компаний. — Если сейчас повысить до 90% и пошлины на мазут — какой вообще был смысл вводить режим 60—66? Кроме того, это будет прямым нарушением постановления правительства». «В России производится примерно в четыре раза больше мазута, чем нужно внутреннему потребителю, соответственно, три четверти продукции идет на экспорт, — рассказывает источник «Газеты.Ru» в отрасли. — Но повышение пошлин нельзя объяснить попыткой государства стимулировать сокращение выпуска мазута и рост производства светлых нефтепродуктов». «Однако она требует нескольких лет и миллиардных инвестиций, — говорит источник. — И в правительстве это прекрасно знают. Повышение пошлин на вывоз мазута — чисто фискальная политика, прямое усиление налогового давления на отрасль». Если исходить из этого объема экспорта и того, что с апреля пошлина повысится, нефтяникам это обойдется в общей сложности примерно в $7,55 млрд. Виталий Крюков из ИФД «Капиталъ» сомневается, что власти решат повысить пошлины на вывоз мазута. «Это нанесет удар по экономике нефтепереработки, приведет к сокращению объемов переработки, инвестиционной активности и дефициту топлива, — комментирует эксперт. — Власти это понимают и вряд ли пойдут на увеличение налогового бремени для нефтяной отрасли». Эксперт рассчитывает на постепенный рост пошлины в соответствии с реализацией программ компаний по наращиванию глубины переработки. «Законодательно уже закреплено, что в 2015 году экспортная пошлина на мазут сравняется с нефтяной, — рассказывает аналитик. — Впрочем, нефтяники в этом сомневаются».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 581, + "generated_len": [ + 149 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.46511627906976755, + "rouge2": 0.19047619047619047 + }, + "predict": " Украинский десантник Валерий Ананьев, участвовавший в антитеррористической операции на востоке Украины, напал на ведущего «Первого канала» Артема Шейнина в итальянской Вероне, спровоцировав словесную перепалку и даже попытку физического контакта. Шейнин назвал инцидент провокацией, утверждая, что Ананьев действовал с целью спровоцировать его на насильственные действия. В ходе инцидента Ананьев фотографировал Шейнина и его жену, что вызвало подозрения у телеведущего.", + "sample": { + "src_sents": [ + "Украинский десантник Валерий Ананьев , который принимал участие в антитеррористической операции на востоке страны, напал на ведущего «Первого канала» в итальянской Вероне.", + "«Я только чуть не убил это существо в центре Вероны. Уверен, он меня запомнит. И надеюсь, что судьба нас еще сведет в безлюдном месте», — написал Ананьев в своем твиттере.", + "Он добавил, что увидел Шейнин а с женой в то время, когда они заходили в аптеку.", + "«Они разговаривали друг с другом. Я очень не хотел услышать русский язык. Я понял, что это они, и я понял, что уйти не могу», — рассказал он.", + "После выхода Шейнина из аптеки украинский военный начал провоцировать его на конфликт.", + "Журналист никак не стал реагировать на угрозы Ананьева — это вывело провокатора из себя и заставило его плюнуть в лицо Шейнину.", + "«Я уже не помню, как продолжался разговор. Помню, что схватил его за плечо то ли толкнул. Не знал, как сдержаться», — раскрыл подробности украинец.", + "Он отметил, что им «овладели инстинкты».", + "Однако до драки дело не дошло, так как Ананьев и Шейнин встретились в центре города.", + "Сам ведущий «Первого канала» Артем Шейнин в разговоре с ФАН назвал инцидент провокацией.", + "«Он бывший боец АТО, причем очень раскрученный на Украине. Но сейчас он никакой не боец АТО, он блогер. То, что он описывает как нападение, не было, конечно, по сути дела нападением. Это была провокация в расчете спровоцировать мои какие-то ответные насильственные действия. Потом этот молодой человек использовал бы их каким-то уж не знаю, каким образом. Наверняка, против меня», — заявил журналист.", + "Шейнин отметил, что в западноевропейской стране в потасовке виноват тот, кто первый наносит удар.", + "«Он меня именно на это и провоцировал. Собственно, когда человек начинает обращение к тебе со слов: «Если бы мы были в другом месте, я бы тебя убил», вы понимаете, таким человеком движет не эмоция, а расчет», — добавил телеведущий.", + "Он отметил, что украинский военный до словесной перепалки фотографировал Шейнина и его жену.", + "«Со стороны все это снимали и другие люди. Если бы я ответил ему таким образом, каким он хотел, то есть ударил бы, тут же… Вы сами знаете, все стандартно — эти русские, они всегда первыми начинают», — заявил журналист." + ], + "summary_sents": [ + "В итальянском городе Верона украинский военный Валерий Ананьев напал на ведущего «Первого канала» Артема Шейнина.", + "Десантник угрожал журналисту и плюнул ему в лицо.", + "Сам Шейнин произошедшее назвал провокацией." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5, + 6, + 7, + 8, + 10 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Украинский десантник Валерий Ананьев , который принимал участие в антитеррористической операции на востоке страны, напал на ведущего «Первого канала» в итальянской Вероне. «Я только чуть не убил это существо в центре Вероны. Уверен, он меня запомнит. И надеюсь, что судьба нас еще сведет в безлюдном месте», — написал Ананьев в своем твиттере. Он добавил, что увидел Шейнин а с женой в то время, когда они заходили в аптеку. «Они разговаривали друг с другом. Я очень не хотел услышать русский язык. Я понял, что это они, и я понял, что уйти не могу», — рассказал он. После выхода Шейнина из аптеки украинский военный начал провоцировать его на конфликт. Журналист никак не стал реагировать на угрозы Ананьева — это вывело провокатора из себя и заставило его плюнуть в лицо Шейнину. «Я уже не помню, как продолжался разговор. Помню, что схватил его за плечо то ли толкнул. Не знал, как сдержаться», — раскрыл подробности украинец. Он отметил, что им «овладели инстинкты». Однако до драки дело не дошло, так как Ананьев и Шейнин встретились в центре города. Сам ведущий «Первого канала» Артем Шейнин в разговоре с ФАН назвал инцидент провокацией. «Он бывший боец АТО, причем очень раскрученный на Украине. Но сейчас он никакой не боец АТО, он блогер. То, что он описывает как нападение, не было, конечно, по сути дела нападением. Это была провокация в расчете спровоцировать мои какие-то ответные насильственные действия. Потом этот молодой человек использовал бы их каким-то уж не знаю, каким образом. Наверняка, против меня», — заявил журналист. Шейнин отметил, что в западноевропейской стране в потасовке виноват тот, кто первый наносит удар. «Он меня именно на это и провоцировал. Собственно, когда человек начинает обращение к тебе со слов: «Если бы мы были в другом месте, я бы тебя убил», вы понимаете, таким человеком движет не эмоция, а расчет», — добавил телеведущий. Он отметил, что украинский военный до словесной перепалки фотографировал Шейнина и его жену. «Со стороны все это снимали и другие люди. Если бы я ответил ему таким образом, каким он хотел, то есть ударил бы, тут же… Вы сами знаете, все стандартно — эти русские, они всегда первыми начинают», — заявил журналист.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 556, + "generated_len": [ + 149 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.27586206896551724, + "rouge2": 0.05263157894736842 + }, + "predict": " Государственный департамент США отвергает доказательства искусственного происхождения коронавируса Sars-Cov-2, ссылаясь на исследования ученых со всего мира, которые не обнаружили признаков генетического вмешательства или искусственного создания. В госдепе не знают о «нулевом пациенте» и источниках пандемии COVID-19, предпочитая сосредоточиться на изучении возможных рынков распространения и лабораторных данных. В России и ВОЗ также придерживаются мнения о природном происхождении коронавируса, основываясь на научных данных.", + "sample": { + "src_sents": [ + "Доказательств искусственного происхождения коронавируса нового типа Sars-Cov-2 у Госдепартамента США нет.", + "«Мы провели много времени, изучая это. Наша позиция заключается в том, что ученые со всего мира исследовали коронавирус и его генетическую последовательность. На данном этапе нет свидетельств того, что он генетически спроектирован или иным образом подвергался воздействию», — заявила Маккарти.", + "По ее словам, госдеп не знает, где находится «нулевой пациент», с которого началась пандемия COVID-19.", + "«Возможно, мы никогда не узнаем этого. Появился ли [коронавирус] на рынке морепродуктов или в лаборатории — таких данных у нас пока нет», — добавила сотрудница госдепа.", + "Госсекретарь США Майкл Помпео ранее выражал надежду на то, что власти Китая допустят иностранных специалистов в лабораторию в Ухане.", + "При этом официальный представитель МИД КНР Чжао Лицзянь назвал версию об искусственном происхождении COVID-19 «бездоказательной».", + "Руководитель Федерального медико-биологического агентства России (ФМБА) Вероника Скворцова ранее отмечала, что версию искусственного происхождения коронавируса нельзя отметать — однако вместо «гаданий» нужно проводить «очень серьезные исследования».", + "Официальный представитель ВОЗ Фадела Шаиб в свою очередь заявила, что позиция всемирной организации по вопросу происхождения коронавируса базируется на научных данных, согласно которым Sars-Cov-2 «имеет животное происхождение»." + ], + "summary_sents": [ + "Госдеп США не имеет доказательств того, что коронавирус был создан человеком.", + "Кроме того, Вашингтон не знает, где сейчас «нулевой пациент», и откуда началось распространение Sars-Cov-2.", + "Ранее госсекретарь Майк Помпео заявлял, что китайские власти должны допустить международных специалистов в лабораторию в Ухане — как сообщали СМИ, оттуда мог ранее «вырваться» коронавирус." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 3, + 4 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Доказательств искусственного происхождения коронавируса нового типа Sars-Cov-2 у Госдепартамента США нет. «Мы провели много времени, изучая это. Наша позиция заключается в том, что ученые со всего мира исследовали коронавирус и его генетическую последовательность. На данном этапе нет свидетельств того, что он генетически спроектирован или иным образом подвергался воздействию», — заявила Маккарти. По ее словам, госдеп не знает, где находится «нулевой пациент», с которого началась пандемия COVID-19. «Возможно, мы никогда не узнаем этого. Появился ли [коронавирус] на рынке морепродуктов или в лаборатории — таких данных у нас пока нет», — добавила сотрудница госдепа. Госсекретарь США Майкл Помпео ранее выражал надежду на то, что власти Китая допустят иностранных специалистов в лабораторию в Ухане. При этом официальный представитель МИД КНР Чжао Лицзянь назвал версию об искусственном происхождении COVID-19 «бездоказательной». Руководитель Федерального медико-биологического агентства России (ФМБА) Вероника Скворцова ранее отмечала, что версию искусственного происхождения коронавируса нельзя отметать — однако вместо «гаданий» нужно проводить «очень серьезные исследования». Официальный представитель ВОЗ Фадела Шаиб в свою очередь заявила, что позиция всемирной организации по вопросу происхождения коронавируса базируется на научных данных, согласно которым Sars-Cov-2 «имеет животное происхождение».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 337, + "generated_len": [ + 149 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.35384615384615387, + "rouge2": 0.0625 + }, + "predict": " Кларк Купер, помощник государственного секретаря США, заявил, что Россия, продавая свои С-400 зенитные ракетные комплексы, стремится ослабить влияние США на мировой арене, используя их конкурентные возможности для укрепления собственной позиции. Примером служит сделка с Турцией, которая вызвала международный скандал и натянутые отношения между Анкарой и Вашингтоном. Россия активно продвигает С-400 по всему миру, стремясь навязать свои передовые оборонительные системы, что вызывает обеспокоенность со стороны НАТО.", + "sample": { + "src_sents": [ + "Россия навязывает свои зенитные ракетные комплексы С-400 многим странам мира, чем снижает глобальное влияние США – заявил помощник государственного секретаря США по военно-политическим вопросам Кларк Купер в ходе своего выступления в международном центре «Меридиан», в Вашингтоне, округ Колумбия.", + "«Соединенные Штаты остаются крупнейшим экспортером безопасности — посредством поддержки наших союзников и присутствия наших военных по всему миру. Но наши конкуренты используют продажу оружия как ключевой инструмент для укрепления собственного влияния во всем мире, а также для ослабления нашего», — заявил дипломат.", + "Он привел в пример сделку по продаже Россией нескольких дивизионов С-400 Турции, вызвавшую скандал на международном уровне и приведшую к натянутым отношениям Анкары и Вашингтона.", + "«С помощью продажи таких систем, как С-400, Россия стремится использовать реальные запросы на безопасность партнеров для того, чтобы создать препоны нашей возможности обеспечить другие страны самыми передовыми оборонительными системами», — пояснил представитель американского внешнеполитического ведомства.", + "Чиновник также напомнил про мировую популярность советского автомата АК-47.", + "«Мы прошли долгий путь с тех пор, как АК-47 стал неизменным символом повстанцев, поддерживаемых Советским Союзом. От Юго-Восточной Азии до Африки. Сегодня Россия упорно работает над тем, чтобы навязывать свою систему ПВО С-400 по всему миру», — добавил выступающий.", + "Договор на поставку четырех дивизионов российских ЗРК был заключен между Москвой и Анкарой в декабре 2017 года.", + "Стоимость контракта составляет $2,5 млрд, 55% из которых покроет российский кредит на поставку в Турцию С-400, рассказывал глава корпорации «Ростех» Сергей Чемезов.", + "Одна из причин связана с риском этого предприятия для НАТО , о котором заявил командующий ВВС США в Европе и Африке генерал Тод Уолтерс.", + "Он выражал уверенность, что в случае покупки Анкарой этого оружия, используемого «известными противниками» НАТО, поставившая С-400 сторона получит возможность изучить работу и технические характеристики истребителей F-35.", + "Тем не менее, Турция намерена закупать у России зенитные ракетные комплексы С-400 до тех пор, пока турецкий военно-промышленный комплекс не сможет сам производить это вооружение – заявил главы МИД страны Мевлют Чавушоглу на XIV Международном стратегическом форуме в городе Блед." + ], + "summary_sents": [ + "Госдеп США обвинил Россию в навязывании ракетных комплексов С-400 многим странам мира.", + "Вашингтон считает, что этим Москва усиливает свое международное влияние, и ослабляет американское.", + "США сравнили продажи С-400 с популярностью во всем мире советского автомата АК-47.", + "Договор на поставку четырех дивизионов ЗРК С-400 был заключен между Москвой и Анкарой в декабре 2017 года.", + "Стоимость контракта составляет $2,5 млрд." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5, + 6, + 7 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Россия навязывает свои зенитные ракетные комплексы С-400 многим странам мира, чем снижает глобальное влияние США – заявил помощник государственного секретаря США по военно-политическим вопросам Кларк Купер в ходе своего выступления в международном центре «Меридиан», в Вашингтоне, округ Колумбия. «Соединенные Штаты остаются крупнейшим экспортером безопасности — посредством поддержки наших союзников и присутствия наших военных по всему миру. Но наши конкуренты используют продажу оружия как ключевой инструмент для укрепления собственного влияния во всем мире, а также для ослабления нашего», — заявил дипломат. Он привел в пример сделку по продаже Россией нескольких дивизионов С-400 Турции, вызвавшую скандал на международном уровне и приведшую к натянутым отношениям Анкары и Вашингтона. «С помощью продажи таких систем, как С-400, Россия стремится использовать реальные запросы на безопасность партнеров для того, чтобы создать препоны нашей возможности обеспечить другие страны самыми передовыми оборонительными системами», — пояснил представитель американского внешнеполитического ведомства. Чиновник также напомнил про мировую популярность советского автомата АК-47. «Мы прошли долгий путь с тех пор, как АК-47 стал неизменным символом повстанцев, поддерживаемых Советским Союзом. От Юго-Восточной Азии до Африки. Сегодня Россия упорно работает над тем, чтобы навязывать свою систему ПВО С-400 по всему миру», — добавил выступающий. Договор на поставку четырех дивизионов российских ЗРК был заключен между Москвой и Анкарой в декабре 2017 года. Стоимость контракта составляет $2,5 млрд, 55% из которых покроет российский кредит на поставку в Турцию С-400, рассказывал глава корпорации «Ростех» Сергей Чемезов. Одна из причин связана с риском этого предприятия для НАТО , о котором заявил командующий ВВС США в Европе и Африке генерал Тод Уолтерс. Он выражал уверенность, что в случае покупки Анкарой этого оружия, используемого «известными противниками» НАТО, поставившая С-400 сторона получит возможность изучить работу и технические характеристики истребителей F-35. Тем не менее, Турция намерена закупать у России зенитные ракетные комплексы С-400 до тех пор, пока турецкий военно-промышленный комплекс не сможет сам производить это вооружение – заявил главы МИД страны Мевлют Чавушоглу на XIV Международном стратегическом форуме в городе Блед.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 513, + "generated_len": [ + 149 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.16666666666666663, + "rouge2": 0.014084507042253521 + }, + "predict": " В декабре 1237 года, в период, когда морозы были особенно суровыми, Русь столкнулась с мощным нашествием татарами-монголов. Несмотря на то, что Россия традиционно была успешна в борьбе с западными угрозами, она оказалась бессильной против восточных врагов. В результате нашествия Батыя, Русь потеряла множество лучших своих людей, утратила технологии и ремесла, и надолго погрузилась в период под игом монгольского господства. В ходе обороны Рязанского княжества, возглавляемого великим князем Юрием Игоревичем, сопротивление было стойким, но в итоге город пал, и его защитники, включая князя и его семью, были уничтожены. Этот период стал поворотным в истории Руси, надолго изменив её судьбу и развитие.", + "sample": { + "src_sents": [ + "В декабрьские дни 1237 года на территории между Волгой и Окой стояли трескучие морозы.", + "Вообще-то холод не раз приходил на помощь русским воинствам, становясь верным союзником в самые драматичные периоды истории.", + "Прогонял от Москвы Наполеона, сковывал по рукам и ногам нацистов в промерзлых окопах.", + "Но против татаро-монголов ничего сделать не смог.", + "Строго говоря, давно сложившийся в отечественной традиции термин «татаро-монголы» корректен только наполовину.", + "Россия традиционно была удачлива против угрозы с Запада, но часто капитулировала перед Востоком.", + "Достаточно вспомнить, что всего несколько лет спустя после нашествия Батыя Русь разгромила на Неве, и затем на Чудском озере отлично экипированных скандинавских и германских рыцарей.", + "Прокатившийся по землям русских княжеств в 1237-1238, продлившийся до 1240 года стремительный вихрь разделил отечественную историю на «до» и «после».", + "Оказавшись на 250 лет под чужеземным игом, Русь потеряла убитыми и угнанными в рабство десятки тысяч своих лучших людей, забыла многие технологии и ремесла, разучилась возводить сооружения из камня, остановилась в социально-политическом развитии.", + "Рязанцы во главе с великим князем Юрием Игоревичем оборонялись отчаянно.", + "Швыряли камни, с крепостных стен поливали неприятеля стрелами, смолой и кипятком.", + "Борьба продолжалась пять дней — на шестой в укреплениях образовались бреши, ордынцы ворвались в город и учинили самосуд над защитниками.", + "Смерть принял и руководитель обороны, и его семья, и практически все простые рязанцы.", + "В январе пала Коломна — важнейший форпост на границе Рязанщины и Владимиро-Суздальской земли, ключ к Северо-Восточной Руси.", + "Победное шествие Батыя продолжалось.", + "До первых серьезных успехов русичей в противостоянии с монголами оставались долгие десятилетия." + ], + "summary_sents": [ + "780 лет назад началась пятидневная осада монголами Рязани — одного из главных и наиболее развитых центров Древней Руси.", + "После разграбления города и истребления его защитников хан Батый продолжил завоевательный поход во Владимиро-Суздальских землях.", + "Следующие 250 лет над русскими княжествами довлело ордынское иго." + ], + "support_labels": [ + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 8, + 13 + ], + "category": "science" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В декабрьские дни 1237 года на территории между Волгой и Окой стояли трескучие морозы. Вообще-то холод не раз приходил на помощь русским воинствам, становясь верным союзником в самые драматичные периоды истории. Прогонял от Москвы Наполеона, сковывал по рукам и ногам нацистов в промерзлых окопах. Но против татаро-монголов ничего сделать не смог. Строго говоря, давно сложившийся в отечественной традиции термин «татаро-монголы» корректен только наполовину. Россия традиционно была удачлива против угрозы с Запада, но часто капитулировала перед Востоком. Достаточно вспомнить, что всего несколько лет спустя после нашествия Батыя Русь разгромила на Неве, и затем на Чудском озере отлично экипированных скандинавских и германских рыцарей. Прокатившийся по землям русских княжеств в 1237-1238, продлившийся до 1240 года стремительный вихрь разделил отечественную историю на «до» и «после». Оказавшись на 250 лет под чужеземным игом, Русь потеряла убитыми и угнанными в рабство десятки тысяч своих лучших людей, забыла многие технологии и ремесла, разучилась возводить сооружения из камня, остановилась в социально-политическом развитии. Рязанцы во главе с великим князем Юрием Игоревичем оборонялись отчаянно. Швыряли камни, с крепостных стен поливали неприятеля стрелами, смолой и кипятком. Борьба продолжалась пять дней — на шестой в укреплениях образовались бреши, ордынцы ворвались в город и учинили самосуд над защитниками. Смерть принял и руководитель обороны, и его семья, и практически все простые рязанцы. В январе пала Коломна — важнейший форпост на границе Рязанщины и Владимиро-Суздальской земли, ключ к Северо-Восточной Руси. Победное шествие Батыя продолжалось. До первых серьезных успехов русичей в противостоянии с монголами оставались долгие десятилетия.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 438, + "generated_len": [ + 181 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.41481481481481486, + "rouge2": 0.12030075187969926 + }, + "predict": " Следственный комитет начал расследование пожара на атомной подводной лодке «Томск», которая стояла на ремонте на судостроительном заводе «Звезда» в Приморье. В результате возгорания пострадали 15 военнослужащих, и было возбуждено уголовное дело по ч. 1 ст. 286 УК (превышение должностных полномочий). В ходе расследования предстоит установить обстоятельства пожара, ответственность должностных лиц и специалистов завода. Возгорание произошло в результате использования пустого огнетушителя, что привело к распространению огня. В настоящее время проводятся пожарно-техническая и судебно-медицинские экспертизы, а также создана специальная комиссия для выяснения причин возгорания.", + "sample": { + "src_sents": [ + "Следственный комитет начал расследование пожара на атомной подводной лодке «Томск», стоявшей на ремонте на судостроительном заводе «Звезда» на территории закрытого административно-территориального образования (ЗАТО) Большой Камень в Приморье.", + "В понедельник в результате возгорания на ней пострадали 15 военнослужащих.", + "Военный следственный отдел по гарнизону Залив Стрелок возбудил уголовное дело в отношении должностных лиц подлодки по ч. 1 ст. 286 УК (превышение должностных полномочий).", + "Виновным грозит до четырех лет лишения свободы.", + "«В ходе расследования предстоит установить все обстоятельства произошедшего, определить характер нарушений и степень вины как воинских должностных лиц атомной подводной лодки «Томск», так и специалистов ОАО «Дальневосточный завод «Звезда» , действия которых привели к возникновению и распространению пожара», — сообщили «Газете.Ru» в Главном военном следственном управлении.", + "В результате 15 военнослужащих были госпитализированы, а атомная подводная лодка «частично утратила свои функциональные характеристики».", + "Основное вооружение крейсера — 24 противокорабельные крылатые ракеты П-700 «Гранит».", + "Сейчас пострадавшие находятся на стационарном лечении в военно-морском клиническом госпитале.", + "Конкретных виновников у следствия пока нет: проводятся пожарно-техническая и судебно-медицинские экспертизы.", + "Между тем, по данным источников, причиной сильного пожара стал пустой огнетушитель.", + "«Электросварочные работы на этом участке уже близились к концу. Приваривали решетку цистерны. Искры попали на краску, а она огнеопасная, не как ацетон, конечно, но все же вспыхнула», — рассказал источник «Интерфакса» , знакомый с ситуацией.", + "«Лодка же объект Минобороны. Заметили дым. Находившийся рядом представитель личного состава щелкнул огнетушителем, а он пустой. Вызвали пожарных. Пытались сами тушить, но ничего не вышло», — заявил собеседник агентства.", + "Информационное агентство «Приморье-24» отмечает, что возгорание произошло в плавучем доке «Паллада», эксплуатация которого была запрещена вступившим в законную силу решением суда еще в июле.", + "Пресс-секретарь ОСК Алексей Кравченко сразу после сообщения о ЧП поспешил заявить, что пострадавших нет.", + "В Минобороны в свою очередь создана специальная комиссия для выяснения причин возгорания." + ], + "summary_sents": [ + "Следственный комитет приступил к расследованию пожара на атомной подлодке «Томск» в Приморье.", + "По данным следствия, в результате пожара, начавшегося с возгорания краски, пострадали 15 военнослужащих.", + "Также стало известно, что в момент пожара лодка находилась в плавучем доке, эксплуатация которого была запрещена судом, а на борту самой субмарины не оказалось исправных огнетушителей." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5, + 11, + 12 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Следственный комитет начал расследование пожара на атомной подводной лодке «Томск», стоявшей на ремонте на судостроительном заводе «Звезда» на территории закрытого административно-территориального образования (ЗАТО) Большой Камень в Приморье. В понедельник в результате возгорания на ней пострадали 15 военнослужащих. Военный следственный отдел по гарнизону Залив Стрелок возбудил уголовное дело в отношении должностных лиц подлодки по ч. 1 ст. 286 УК (превышение должностных полномочий). Виновным грозит до четырех лет лишения свободы. «В ходе расследования предстоит установить все обстоятельства произошедшего, определить характер нарушений и степень вины как воинских должностных лиц атомной подводной лодки «Томск», так и специалистов ОАО «Дальневосточный завод «Звезда» , действия которых привели к возникновению и распространению пожара», — сообщили «Газете.Ru» в Главном военном следственном управлении. В результате 15 военнослужащих были госпитализированы, а атомная подводная лодка «частично утратила свои функциональные характеристики». Основное вооружение крейсера — 24 противокорабельные крылатые ракеты П-700 «Гранит». Сейчас пострадавшие находятся на стационарном лечении в военно-морском клиническом госпитале. Конкретных виновников у следствия пока нет: проводятся пожарно-техническая и судебно-медицинские экспертизы. Между тем, по данным источников, причиной сильного пожара стал пустой огнетушитель. «Электросварочные работы на этом участке уже близились к концу. Приваривали решетку цистерны. Искры попали на краску, а она огнеопасная, не как ацетон, конечно, но все же вспыхнула», — рассказал источник «Интерфакса» , знакомый с ситуацией. «Лодка же объект Минобороны. Заметили дым. Находившийся рядом представитель личного состава щелкнул огнетушителем, а он пустой. Вызвали пожарных. Пытались сами тушить, но ничего не вышло», — заявил собеседник агентства. Информационное агентство «Приморье-24» отмечает, что возгорание произошло в плавучем доке «Паллада», эксплуатация которого была запрещена вступившим в законную силу решением суда еще в июле. Пресс-секретарь ОСК Алексей Кравченко сразу после сообщения о ЧП поспешил заявить, что пострадавших нет. В Минобороны в свою очередь создана специальная комиссия для выяснения причин возгорания.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 523, + "generated_len": [ + 181 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.46153846153846156, + "rouge2": 0.23952095808383234 + }, + "predict": " Управление по контролю за иностранными активами Министерства финансов США (OFAC) ввело санкции против российской организации Evil Corp, связанной с киберпреступлениями и разработкой вредоносного ПО Dridex, которое привело к краже более $100 млн. Министерство юстиции США обвинило двух активных членов Evil Corp в уголовных преступлениях, а Госдепартамент объявил вознаграждение в $5 млн за информацию о лидерах организации. Расследование проводилось в тесной координации с британским Национальным агентством по преступности (НКА). Глава Минфина Стивен Мнучин заявил, что санкции направлены против одной из самых зловредных киберпреступных организаций в мире, связанной с российскими властями. Также сообщается о причастности к Evil Corp Максима Якубца и Игоря Турашевого, а также о подозрениях в вмешательстве России в выборы президента США в 2020 году.", + "sample": { + "src_sents": [ + "Управление по контролю за иностранными активами Министерства финансов США (OFAC) ввело санкции против российской организации Evil Corp, занимающейся, по словам американской стороны, киберпреступлениями и отвечающей за разработку и распространение вредоносного программного обеспечения Dridex.", + "По данным Минфина США, Evil Corp. использовала ПО Dridex для заражения компьютеров и сбора учетных данных сотен банков и финансовых учреждений в более чем 40 странах, что привело к краже более $100 млн.", + "Параллельно Министерство юстиции США обвинило двух активных членов Evil Corp в уголовных преступлениях, а Госдепартамент объявил о вознаграждении в $5 млн за информацию, которая может привести к поимке лидеров Evil Corp.", + "Расследование проводилось в тесной координации с британским Национальным агентством по преступности (НКА).", + "«Это масштабная акция против одной из самых зловредных киберпреступных организаций в мире — российской Evil Corp. Санкции приняты в рамках многолетнего расследования ключевых союзников по НАТО , включая Великобританию», — сказал глава Минфина Стивен Мнучин.", + "Он добавил, что лидер организации Максим Якубец якобы «оказывает прямую помощь злонамеренным действиям российских госорганов в области киберпреступности».", + "Также Минфин уверяет, что Якубец не первый киберпреступник, который связан с российскими властями — 2017 году Минюст предъявил обвинение двум сотрудникам ФСБ России за взлом нескольких миллионов учетных записей пользователей электронной почты Yahoo.", + "Всего расследование касается 17 частных лиц и семи организаций.", + "«С 2017 года Якубец работал в ФСБ России. По состоянию на апрель 2018 года Якубец находился в процессе получения лицензии на разрешение работать с секретной информацией. Еще одна ключевая фигура «Корпорации зла» Игорь Турашев. С 2015 года Турашев занимал должность администратора и помогал Якубцу контролировать распространение вредоносного ПО Dridex», — заявляется в сообщении Минфина США.", + "В августе нынешнего года сообщалось, что в Вашингтоне в очередной раз опасаются «вмешательства» России в выборы президента США в 2020 году.", + "Об этом говорил зампомощника госсекретаря США по кибер- и международной коммуникационной и информационной политике Роберт Стрейер.", + "Дипломат заявил, что американский Госдепартамент якобы имеет ряд доказательств, которые показывают намерение Москвы повлиять на предстоящие президентские выборы в Соединенных Штатах." + ], + "summary_sents": [ + "США ввели санкции против российской организации Evil Corp и ее руководителей Максима Якубца и Игоря Турашева.", + "Их обвинили в краже более $100 млн с помощью вредоносной программы Dridex.", + "Госдепартамент объявил о вознаграждении в $5 млн за информацию, которая поможет привести к поимке лидеров Evil Corp.", + "Всего расследование касается 17 частных лиц и семи организаций." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 5, + 7, + 8 + ], + "category": "tech" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Управление по контролю за иностранными активами Министерства финансов США (OFAC) ввело санкции против российской организации Evil Corp, занимающейся, по словам американской стороны, киберпреступлениями и отвечающей за разработку и распространение вредоносного программного обеспечения Dridex. По данным Минфина США, Evil Corp. использовала ПО Dridex для заражения компьютеров и сбора учетных данных сотен банков и финансовых учреждений в более чем 40 странах, что привело к краже более $100 млн. Параллельно Министерство юстиции США обвинило двух активных членов Evil Corp в уголовных преступлениях, а Госдепартамент объявил о вознаграждении в $5 млн за информацию, которая может привести к поимке лидеров Evil Corp. Расследование проводилось в тесной координации с британским Национальным агентством по преступности (НКА). «Это масштабная акция против одной из самых зловредных киберпреступных организаций в мире — российской Evil Corp. Санкции приняты в рамках многолетнего расследования ключевых союзников по НАТО , включая Великобританию», — сказал глава Минфина Стивен Мнучин. Он добавил, что лидер организации Максим Якубец якобы «оказывает прямую помощь злонамеренным действиям российских госорганов в области киберпреступности». Также Минфин уверяет, что Якубец не первый киберпреступник, который связан с российскими властями — 2017 году Минюст предъявил обвинение двум сотрудникам ФСБ России за взлом нескольких миллионов учетных записей пользователей электронной почты Yahoo. Всего расследование касается 17 частных лиц и семи организаций. «С 2017 года Якубец работал в ФСБ России. По состоянию на апрель 2018 года Якубец находился в процессе получения лицензии на разрешение работать с секретной информацией. Еще одна ключевая фигура «Корпорации зла» Игорь Турашев. С 2015 года Турашев занимал должность администратора и помогал Якубцу контролировать распространение вредоносного ПО Dridex», — заявляется в сообщении Минфина США. В августе нынешнего года сообщалось, что в Вашингтоне в очередной раз опасаются «вмешательства» России в выборы президента США в 2020 году. Об этом говорил зампомощника госсекретаря США по кибер- и международной коммуникационной и информационной политике Роберт Стрейер. Дипломат заявил, что американский Госдепартамент якобы имеет ряд доказательств, которые показывают намерение Москвы повлиять на предстоящие президентские выборы в Соединенных Штатах.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 523, + "generated_len": [ + 181 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3278688524590163, + "rouge2": 0.08333333333333333 + }, + "predict": " Немецкие СМИ сообщили о взломе в сети, где хакеры опубликовали личные данные сотен политиков, сотрудников телеканалов ARD и ZDF, включая номера телефонов, адреса электронной почты, документы внутрипартийных организаций, копии паспортов, личные фотографии и кредитные карты. Канцлер Ангела Меркель и федеральный президент Франк-Вальтер Штайнмайер также оказались в списке жертв. Правительство опровергло информацию о том, что секретные данные главы кабмина были затронуты. В настоящее время расследование кибератаки продолжается, но неизвестно, откуда произошла утечка и кто стоит за этим инцидентом.", + "sample": { + "src_sents": [ + "Немецкие СМИ сообщают, что хакеры опубликовали в интернете данные сотен немецких политиков, а также сотрудников телеканалов ARD и ZDF.", + "По данным радиостанции rbb Inforadio, в сеть попали номера мобильных телефонов, адреса личной электронной почты, а также внутрипартийные документы.", + "Кроме того, были опубликованы ксерокопии паспортов некоторых политиков, личные фотографии, информация по кредитной карте членов их семей, официальная и частная переписки.", + "Газета Bild со ссылкой на источники утверждает, что жертвами хакерской атаки также стали канцлер страны Ангела Меркель , федеральный президент Франк-Вальтер Штайнмайер и некоторые члены федерального кабинета министров.", + "Однако в пресс-службе правительства эту информацию опровергли, заявив, что секретные данные, в том числе главы кабмина Меркель, не были затронуты в результате атаки.", + "Как стало известно, атака коснулась всех партий бундестага , за исключением ультраправой «Альтернативы для Германии» (АдГ).", + "Несмотря на это, никаких сведений государственной важности им узнать не удалось: Федеральное ведомство по безопасности информационной техники ФРГ (BSI) заявило, что германские службы не имеют данных о том, что из-за хакерской атаки пострадала внутренняя сеть правительства.", + "BSI, а также уголовная полиция и Федеральная служба защиты конституции Германии в настоящий момент расследуют этот инцидент.", + "Пока не установлено, откуда произошла утечка и кто стоит за кибератакой." + ], + "summary_sents": [ + "Неизвестные хакеры выложили в сеть личные данные сотен немецких политиков, кибератака коснулась практически всех партий бундестага.", + "Издание Bild утверждает, что жертвой атаки также стала немецкий канцлер Ангела Меркель, однако в правительстве эту информацию опровергли.", + "Единственная партия, которую не затронула атака – «Альтернатива для Германии»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 3, + 4, + 5 + ], + "category": "tech" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Немецкие СМИ сообщают, что хакеры опубликовали в интернете данные сотен немецких политиков, а также сотрудников телеканалов ARD и ZDF. По данным радиостанции rbb Inforadio, в сеть попали номера мобильных телефонов, адреса личной электронной почты, а также внутрипартийные документы. Кроме того, были опубликованы ксерокопии паспортов некоторых политиков, личные фотографии, информация по кредитной карте членов их семей, официальная и частная переписки. Газета Bild со ссылкой на источники утверждает, что жертвами хакерской атаки также стали канцлер страны Ангела Меркель , федеральный президент Франк-Вальтер Штайнмайер и некоторые члены федерального кабинета министров. Однако в пресс-службе правительства эту информацию опровергли, заявив, что секретные данные, в том числе главы кабмина Меркель, не были затронуты в результате атаки. Как стало известно, атака коснулась всех партий бундестага , за исключением ультраправой «Альтернативы для Германии» (АдГ). Несмотря на это, никаких сведений государственной важности им узнать не удалось: Федеральное ведомство по безопасности информационной техники ФРГ (BSI) заявило, что германские службы не имеют данных о том, что из-за хакерской атаки пострадала внутренняя сеть правительства. BSI, а также уголовная полиция и Федеральная служба защиты конституции Германии в настоящий момент расследуют этот инцидент. Пока не установлено, откуда произошла утечка и кто стоит за кибератакой.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 318, + "generated_len": [ + 181 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.08771929824561403, + "rouge2": 0.017857142857142856 + }, + "predict": " В Марбелье, известном курортном городе, в зимнем периоде проходят контрольные матчи европейских команд, в том числе и российского «Анжи», с целью подготовки к предстоящим чемпионатам. Футбольные тренировки под руководством Фабио Капелло, тренера сборной России, включают в себя молодых талантов и опытных игроков. В рамках подготовки к товарищеским матчам с исландцами, «Анжи» демонстрирует свою игру в оптимальных условиях, не перегружая игроков и сохраняя их в хорошей форме. В среду команда также планирует посетить полуфинальный матч Кубка Испании, чтобы продолжить свою культурно-спортивную программу.", + "sample": { + "src_sents": [ + "Марбелья – это известный курорт и курорт класса «люкс».", + "А зимой в Марбелье играют в футбол – европейские команды (преимущественно из России, Украины, Норвегии, Швеции, Финляндии — в общем, из стран, где холодно) шлифуют мастерство в контрольных поединках.", + "Так, во вторник «Анжи», с недавних пор – один из лидеров российского чемпионата, сражался с «Эль Пало», клубом четвертого испанского дивизиона из Малаги. «Анжи» стартовал мощно.", + "Рвал и метал Самуэль Это'О. Сначала он опасно пробил со средней дистанции (мяч, впрочем, попал в защитника «Эль Пало»), а затем, на пятой минуте, заработал пенальти.", + "С «точки» камерунец не промахнулся.", + "Преимущество дагестанской команды нарастало, атака следовала за атакой.", + "В середине тайма махачкалинцы забили второй гол – Мбарк Буссуфа реализовал «свидание» с вратарем, а вскоре и третий – надо сказать, очень красивый – Одил Ахмедов неотразимо «пальнул» с 35 метров. Избиение продолжилось. В итоге Это'О оформил хет-трик.", + "За «Анжи» пристально следит наставник сборной России Фабио Капелло , в Марбелью приехавший не отдыхать, а усердно работать.", + "Под прицелом у Капелло – Юрий Жирков , Андрей Ещенко , Олег Шатов и Федор Смолов , вызванные на товарищеский матч с исландцами, который состоится 6 февраля (разумеется, в Марбелье).", + "Жирков и Ещенко вышли в стартовом составе, а вот Шатов (заменил, к слову, Жиркова) и Смолов («отправил» отдыхать Это'О) появились на поле после перерыва.", + "«Анжи» умерил пыл, позволив «Эль Пало» провести несколько атак (правда, невразумительных), тем не менее, территорией, как и прежде, владел безраздельно.", + "В результате свой второй мяч забил Буссуфа, воспользовавшийся хорошим пасом Смолова.", + "«Анжи» одержал победу со счетом 6:0 над, откровенно говоря, слабым соперником.", + "Не проливая литры пота, не получая травмы, а играя в свое удовольствие.", + "Пожалуй, это оптимальный вариант для учебно-тренировочного сбора.", + "А в среду у футболистов «Анжи» — обширная культурно-спортивная программа.", + "В Мадриде они посетят полуфинальный матч Кубка Испании «Реал» — «Барселона»." + ], + "summary_sents": [ + "«Анжи» в контрольном матче разгромил клуб четвертой испанской лиги «Эль Пало».", + "Три гола забил Самуэль Это'О, два — Мбарк Буссуфа, а Одил Ахмедов поразил ворота соперника отменным ударом с 35 метров." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 6, + 11, + 12 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Марбелья – это известный курорт и курорт класса «люкс». А зимой в Марбелье играют в футбол – европейские команды (преимущественно из России, Украины, Норвегии, Швеции, Финляндии — в общем, из стран, где холодно) шлифуют мастерство в контрольных поединках. Так, во вторник «Анжи», с недавних пор – один из лидеров российского чемпионата, сражался с «Эль Пало», клубом четвертого испанского дивизиона из Малаги. «Анжи» стартовал мощно. Рвал и метал Самуэль Это'О. Сначала он опасно пробил со средней дистанции (мяч, впрочем, попал в защитника «Эль Пало»), а затем, на пятой минуте, заработал пенальти. С «точки» камерунец не промахнулся. Преимущество дагестанской команды нарастало, атака следовала за атакой. В середине тайма махачкалинцы забили второй гол – Мбарк Буссуфа реализовал «свидание» с вратарем, а вскоре и третий – надо сказать, очень красивый – Одил Ахмедов неотразимо «пальнул» с 35 метров. Избиение продолжилось. В итоге Это'О оформил хет-трик. За «Анжи» пристально следит наставник сборной России Фабио Капелло , в Марбелью приехавший не отдыхать, а усердно работать. Под прицелом у Капелло – Юрий Жирков , Андрей Ещенко , Олег Шатов и Федор Смолов , вызванные на товарищеский матч с исландцами, который состоится 6 февраля (разумеется, в Марбелье). Жирков и Ещенко вышли в стартовом составе, а вот Шатов (заменил, к слову, Жиркова) и Смолов («отправил» отдыхать Это'О) появились на поле после перерыва. «Анжи» умерил пыл, позволив «Эль Пало» провести несколько атак (правда, невразумительных), тем не менее, территорией, как и прежде, владел безраздельно. В результате свой второй мяч забил Буссуфа, воспользовавшийся хорошим пасом Смолова. «Анжи» одержал победу со счетом 6:0 над, откровенно говоря, слабым соперником. Не проливая литры пота, не получая травмы, а играя в свое удовольствие. Пожалуй, это оптимальный вариант для учебно-тренировочного сбора. А в среду у футболистов «Анжи» — обширная культурно-спортивная программа. В Мадриде они посетят полуфинальный матч Кубка Испании «Реал» — «Барселона».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 557, + "generated_len": [ + 181 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.29824561403508776, + "rouge2": 0.08928571428571429 + }, + "predict": " В США ряд общественных организаций призвали к бойкоту американских аэропортов из-за ужесточения правил безопасности, введенного после обнаружения нескольких бомб под видом посылок. Эти меры вызвали недовольство граждан, которые расценили их как вмешательство в личную жизнь. В результате стартовала кампания по 24-часовому бойкоту аэропортов, а также активизировались кампании по отмене «бодисканов» и других нововведений, считающихся потенциально опасными для здоровья.", + "sample": { + "src_sents": [ + "В США ряд общественных организаций призвали граждан к бойкоту американских аэропортов.", + "Поводом для растущего недовольства американцев стало недавнее ужесточение правил безопасности на внутренних и международных рейсах.", + "В октябре этого года сотрудникам американских спецслужб удалось перехватить несколько бомб под видом посылок на грузовых самолетах, направлявшихся из Йемена в Чикаго.", + "После этого в Белом доме сочли, что одного присутствия сотрудников служб безопасности на каждом внутреннем рейсе теперь недостаточно, и решили ужесточить правила.", + "Теперь, пишет The Washington Post , в 70 американских аэропортах установили 350 сканеров нового образца, которые могут обнаружить неметаллические предметы.", + "Как сообщает CNN , большинство американцев расценили новые правила безопасности как вмешательство в личную жизнь.", + "В минувшую пятницу с министром национальной безопасности США Джанет Наполитано встретились обеспокоенные представители 20 крупных американских туристических компаний.", + "Они рассказали, что к ним за несколько дней поступило несколько тысяч звонков и писем от недовольных новыми методами борьбы с терроризмом клиентов.", + "«Мы получаем сотни, тысячи писем от клиентов, которые уже прямо говорят нам: «Откажитесь от полетов, пока они не отменят эти возмутительные правила», — сказал в эфире CNN один из туроператоров.", + "Тем временем в интернете стартовала кампания, призывающая к 24-часовому бойкоту американских аэропортов.", + "Организаторы акции предлагают всем, кто купил билеты на самолет на 24 ноября, сдать их.", + "Общественная организация Electronic Privacy Information Center (EPIC) направила министру нацбезопасности письмо, в котором призвала убрать «бодисканы» из всех аэропортов, так как, по их мнению, они не только являются вмешательством в личную жизнь, но и опасны для здоровья.", + "О вреде «раздевающих сканеров» говорят и члены Объединенной ассоциации пилотов США.", + "Ее руководитель Дейв Бейтс утверждает, что для пилотов лайнеров, которым тоже приходится проходить через сканеры, это нововведение является «унизительным»." + ], + "summary_sents": [ + "Усиление мер безопасности в аэропортах США обернулось скандалом.", + "После того как в нескольких грузовых самолетах, летевших в Соединенные Штаты, была обнаружена взрывчатка, во всех американских аэропортах появились так называемые раздевающие сканеры.", + "Многие американцы уже заявили, что расценивают это как вмешательство в личную жизнь, и призвали бойкотировать «бодисканы» и воздержаться от полетов в День благодарения." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6, + 9, + 10 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В США ряд общественных организаций призвали граждан к бойкоту американских аэропортов. Поводом для растущего недовольства американцев стало недавнее ужесточение правил безопасности на внутренних и международных рейсах. В октябре этого года сотрудникам американских спецслужб удалось перехватить несколько бомб под видом посылок на грузовых самолетах, направлявшихся из Йемена в Чикаго. После этого в Белом доме сочли, что одного присутствия сотрудников служб безопасности на каждом внутреннем рейсе теперь недостаточно, и решили ужесточить правила. Теперь, пишет The Washington Post , в 70 американских аэропортах установили 350 сканеров нового образца, которые могут обнаружить неметаллические предметы. Как сообщает CNN , большинство американцев расценили новые правила безопасности как вмешательство в личную жизнь. В минувшую пятницу с министром национальной безопасности США Джанет Наполитано встретились обеспокоенные представители 20 крупных американских туристических компаний. Они рассказали, что к ним за несколько дней поступило несколько тысяч звонков и писем от недовольных новыми методами борьбы с терроризмом клиентов. «Мы получаем сотни, тысячи писем от клиентов, которые уже прямо говорят нам: «Откажитесь от полетов, пока они не отменят эти возмутительные правила», — сказал в эфире CNN один из туроператоров. Тем временем в интернете стартовала кампания, призывающая к 24-часовому бойкоту американских аэропортов. Организаторы акции предлагают всем, кто купил билеты на самолет на 24 ноября, сдать их. Общественная организация Electronic Privacy Information Center (EPIC) направила министру нацбезопасности письмо, в котором призвала убрать «бодисканы» из всех аэропортов, так как, по их мнению, они не только являются вмешательством в личную жизнь, но и опасны для здоровья. О вреде «раздевающих сканеров» говорят и члены Объединенной ассоциации пилотов США. Ее руководитель Дейв Бейтс утверждает, что для пилотов лайнеров, которым тоже приходится проходить через сканеры, это нововведение является «унизительным».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 428, + "generated_len": [ + 181 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3529411764705882, + "rouge2": 0.14457831325301201 + }, + "predict": " УНИКС одержал вторую победу в Евролиге, переиграв польский «Проком», который действовал нервозно и часто терял мяч. Лидер команды Лафайетт пытался решить все на себя, что не способствовало успеху. В итоге УНИКС выиграл со счетом 72:68, а «Проком» потерпел свое четвёртое поражение. Следующее противостояние с ЦСКА ожидается в рамках Единой лиги ВТБ.", + "sample": { + "src_sents": [ + "УНИКС одержал свою вторую победу в Евролиге, на выезде обыграв главного аутсайдера группы D польский «Проком».", + "Правда, в атаке польский клуб смотрелся, мягко говоря, не уверено.", + "Команда из Сопота действовала слишком нервозно, часто теряла мяч.", + "Внес свою лепту в неудачную игру «Прокома» и лидер команды, американский защитник Оливер Лафайетт , в свое время выступавший за «Бостон», который чрезмерно часто пытался решить судьбу эпизода в одиночку.", + "«Проком» продолжал гнуть свою линию и, в частности, благодаря удачным действиям на подборе, перед последней 10-минуткой выигрывал одно очко.", + "Заключительный игровой отрезок польский клуб начал не менее мощно, увеличив отрыв до четырех очков.", + "Однако УНИКС нашел в себе силы перехватить инициативу и в итоге добился победы.", + "72:68 — УНИКС одерживает свою вторую победу в Евролиге, а «Проком» терпит свое четвертое поражение.", + "Примечательно, что свой следующий матч поляки проведут вновь против российского клуба — 13 ноября им предстоит встреча с ЦСКА в рамках Единой лиги ВТБ." + ], + "summary_sents": [ + "УНИКС одержал свою вторую победу в Евролиге, на выезде обыграв польский «Проком».", + "Казанский клуб проигрывал после третьей четверти, однако в конце заключительной 10-минутке сумел переломить ход матча и в итоге добился успеха." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: УНИКС одержал свою вторую победу в Евролиге, на выезде обыграв главного аутсайдера группы D польский «Проком». Правда, в атаке польский клуб смотрелся, мягко говоря, не уверено. Команда из Сопота действовала слишком нервозно, часто теряла мяч. Внес свою лепту в неудачную игру «Прокома» и лидер команды, американский защитник Оливер Лафайетт , в свое время выступавший за «Бостон», который чрезмерно часто пытался решить судьбу эпизода в одиночку. «Проком» продолжал гнуть свою линию и, в частности, благодаря удачным действиям на подборе, перед последней 10-минуткой выигрывал одно очко. Заключительный игровой отрезок польский клуб начал не менее мощно, увеличив отрыв до четырех очков. Однако УНИКС нашел в себе силы перехватить инициативу и в итоге добился победы. 72:68 — УНИКС одерживает свою вторую победу в Евролиге, а «Проком» терпит свое четвертое поражение. Примечательно, что свой следующий матч поляки проведут вновь против российского клуба — 13 ноября им предстоит встреча с ЦСКА в рамках Единой лиги ВТБ.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 265, + "generated_len": [ + 181 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.30927835051546393, + "rouge2": 0.08421052631578947 + }, + "predict": " В юбилейной 10-й гонке звезд на стадионе «Фелтинс Арена» гельзенкирхенский «Шальке» в рамках зимних каникул представил российскую пару Яна Романова и Андрей Маковеев. Несмотря на последние успехи сборной России, спортсмены не смогли достичь призовых мест, закончив гонку девятым, проиграв лидерам 1 минуту и 51 секунду. Неудача стала результатом многочисленных промахов на огневых рубежах и общей низкой результативности.", + "sample": { + "src_sents": [ + "В четверг на футбольном стадионе «Фелтинс Арена», где свои домашние матчи проводит гельзенкирхенский «Шальке», в десятый раз состоялась биатлонная Гонка звезд.", + "Бундеслига ушла на зимние каникулы, и стадион переоборудовали для биатлона.", + "Основная часть трассы пролегала вокруг арены, а внутри вновь были устроены огневые рубежи и, наслаждаясь пивом, сосисками и глинтвейном, восседали болельщики этого зрелищного вида спорта.", + "Вернувшая своим болельщикам веру благодаря последним успехам сборная России в Гельзенкирхене была представлена Яной Романовой и Андреем Маковеевым.", + "После прошлогодней победы Светланы Слепцовой и Евгения Устюгова казалось, что и на сей раз россияне могут рассчитывать на неплохой результат.", + "Пусть гонка чисто коммерческая, пусть она не приносит кубковых очков, но сделать себе новогодний подарок, наверняка, хотелось и Романовой, и Маковееву.", + "Однако наш дуэт не только не попал на пьедестал почета, но и занял рекордно низкое — последнее — место в гонке.", + "Все пошло плохо с самого начала: Романова, начавшая гонку, трижды промахнулась на первом же огневом рубеже. Маковеев стрелял не лучше.", + "В итоге масс-старт россияне завершили девятыми, проиграв победителям шведам Хелене Экхольм и Бьорну Ферри 1 минуту и 51 секунду.", + "Ниже были лишь швейцарцы Селина Гаспарин и Бенджамин Вегер (кто-нибудь знает этих спортсменов?), проигравшие лидерам 2 минуты 20 секунд.", + "В итоге отставание российского дуэта в гонке преследования по правилам соревнований составило 45 секунд." + ], + "summary_sents": [ + "Российский дуэт в составе Яны Романовой и Андрея Маковеева занял последнее место в биатлонной Гонке звезд, состоявшейся в Гельзенкирхене.", + "Допустив 10 промахов в масс-старте и 11 — в гонке преследования, они установили антирекорд выступлений россиян в этом соревновании." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 6 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В четверг на футбольном стадионе «Фелтинс Арена», где свои домашние матчи проводит гельзенкирхенский «Шальке», в десятый раз состоялась биатлонная Гонка звезд. Бундеслига ушла на зимние каникулы, и стадион переоборудовали для биатлона. Основная часть трассы пролегала вокруг арены, а внутри вновь были устроены огневые рубежи и, наслаждаясь пивом, сосисками и глинтвейном, восседали болельщики этого зрелищного вида спорта. Вернувшая своим болельщикам веру благодаря последним успехам сборная России в Гельзенкирхене была представлена Яной Романовой и Андреем Маковеевым. После прошлогодней победы Светланы Слепцовой и Евгения Устюгова казалось, что и на сей раз россияне могут рассчитывать на неплохой результат. Пусть гонка чисто коммерческая, пусть она не приносит кубковых очков, но сделать себе новогодний подарок, наверняка, хотелось и Романовой, и Маковееву. Однако наш дуэт не только не попал на пьедестал почета, но и занял рекордно низкое — последнее — место в гонке. Все пошло плохо с самого начала: Романова, начавшая гонку, трижды промахнулась на первом же огневом рубеже. Маковеев стрелял не лучше. В итоге масс-старт россияне завершили девятыми, проиграв победителям шведам Хелене Экхольм и Бьорну Ферри 1 минуту и 51 секунду. Ниже были лишь швейцарцы Селина Гаспарин и Бенджамин Вегер (кто-нибудь знает этих спортсменов?), проигравшие лидерам 2 минуты 20 секунд. В итоге отставание российского дуэта в гонке преследования по правилам соревнований составило 45 секунд.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 396, + "generated_len": [ + 181 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3888888888888889, + "rouge2": 0.07547169811320753 + }, + "predict": " В матче между «Ювентусом» и «Интером» гости начали активно, но затем игра пошла наладнее. Андреа Пирло и Алессандро Матри забили по голу, а затем Вучинич сделал дубль. Однако, после нескольких замен, гости сумели забить гол из ничего, что позволило им сохранить лидерство в турнирной таблице. В воскресенье «бьянконери» могут потерять первое место. Для получения дополнительной информации о матчах серии А, Кубка и Суперкубка страны посетите страницу чемпионата Италии.", + "sample": { + "src_sents": [ + "Матч более активно начали гости.", + "Андреа Пирло с углового катнул на свободного Клаудио Маркизио , тот пробил по воротам, а Алессандро Матри существенно изменил траекторию полета мяча — 1:0.", + "После этого игра пошла спокойная и размеренная, с редкими всплесками.", + "Так, Дарио Дайнелли пробил по воротам хозяев после навеса Александр а Меркеля, но мяч стал легкой добычей Марко Сторари.", + "Спустя минут восемь активный Александр угодил еще и в перекладину, но к тому времени его команда уже проигрывала.", + "На 58-й минуте Вучинич прицельно отпасовал в центр, Пирло пропустил мяч на Матри, а тот пробил мимо Фрея в сетку, оформив дубль.", + "А вот гости, проведя ряд замен, смогли воспрять духом и сделать гол буквально из ничего.", + "Набрав в чемпионате 13 очков, «бьянконери» находятся на верхней строчке турнирной таблицы, но уже в воскресенье их могут скинуть с нее несколько команд.", + "Другие новости серии А, а также Кубка и Суперкубка страны, подробности матчей и положение команд в турнирной таблице можно посмотреть на странице чемпионата Италии." + ], + "summary_sents": [ + "В субботней встрече чемпионата Италии «Ювентус» и «Дженоа» сыграли вничью.", + "На дубль Алессандро Матри гости ответили голами Марко Росси и вышедшего на замену Андреа Караччоло.", + "«Бьянконери» находятся на первом месте в cерии А, но уже в воскресенье могут его лишиться." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 6, + 7 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Матч более активно начали гости. Андреа Пирло с углового катнул на свободного Клаудио Маркизио , тот пробил по воротам, а Алессандро Матри существенно изменил траекторию полета мяча — 1:0. После этого игра пошла спокойная и размеренная, с редкими всплесками. Так, Дарио Дайнелли пробил по воротам хозяев после навеса Александр а Меркеля, но мяч стал легкой добычей Марко Сторари. Спустя минут восемь активный Александр угодил еще и в перекладину, но к тому времени его команда уже проигрывала. На 58-й минуте Вучинич прицельно отпасовал в центр, Пирло пропустил мяч на Матри, а тот пробил мимо Фрея в сетку, оформив дубль. А вот гости, проведя ряд замен, смогли воспрять духом и сделать гол буквально из ничего. Набрав в чемпионате 13 очков, «бьянконери» находятся на верхней строчке турнирной таблицы, но уже в воскресенье их могут скинуть с нее несколько команд. Другие новости серии А, а также Кубка и Суперкубка страны, подробности матчей и положение команд в турнирной таблице можно посмотреть на странице чемпионата Италии.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 280, + "generated_len": [ + 133 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3410852713178295, + "rouge2": 0.11023622047244094 + }, + "predict": " Правительство России принимает меры для стабилизации цен на социально значимые продукты питания, включая экспортные квоты и пошлины на вывоз зерновых, а также субсидии для производителей муки. Эксперты прогнозируют, что хотя меры могут временно снизить цены, в долгосрочной перспективе они могут привести к увеличению стоимости зерновых на внутреннем рынке из-за снижения доходов экспортеров. Основная проблема, по мнению экспертов, заключается в падении доходов населения, а не в самих ценах.", + "sample": { + "src_sents": [ + "Правительство завершает подготовку нормативной базы для сдерживания роста цен на социально значимые продукты питания.", + "Премьер Михаил Мишустин подписал ряд постановлений для стабилизации цены на муку и хлеб, на вывоз пшеницы, ржи, ячменя и кукурузы.", + "Документы устанавливают экспортную квоту в размере 17,5 млн тонн.", + "Сверх этой квоты вывоз зерновых на глобальные рынки также возможен, но будет «облагаться пошлиной в 50% от таможенной стоимости вывозимой продукции, но не менее чем 100 евро за одну тонну».", + "В пределах квоты пошлины на вывоз ржи, ячменя и кукурузы составят 0%. А на пшеницу — 25 евро за тонну.", + "Для финансовой поддержки производителей муки предусматриваются субсидии на возмещение части затрат, связанных с приобретением пшеницы.", + "Следить за тем, как исполняются решения правительства, будет лично премьер и Федеральная налоговая служба на основе данных онлайн-касс.", + "«Председатель правительства поручил отслеживать ситуацию на всех стадиях — от производства до прилавка и своевременно принимать меры», — говорится на сайте кабмина.", + "Стабилизировать ситуацию с резко подорожавшими в последние месяцы мукой, макаронами, растительным маслом, сахаром и другими продуктами питания ранее поручил президент Владимир Путин. Причем сделал это в резкой форме.", + "Главе Минэкономразвития Максиму Решетникову он посоветовал не «экспериментировать» с ценами.", + "Путин потребовал решить проблему с ценами оперативно.", + "«Решить в течение недели! Все согласования в течение завтрашнего-послезавтрашнего дня окончательно завершить и в начале следующей недели выпустить соответствующие управленческие решения в виде документов», — заявил глава государства.", + "Пока что правительство укладывается в график.", + "«Газета.Ru» узнала у экспертов, увенчаются ли успехом усилия правительства по стабилизации рынка.", + "Оценка оказалась единодушной — участники рынка будут вынуждены под нажимом властей снизить цены, но ненадолго.", + "Введение повышенных экспортных пошлин и квот теоретически должно увеличить предложение товаров на российском рынке и способствовать стабилизации цен, отмечает ведущий эксперт инвесткомпании «Арикапитал» Сергей Суверов.", + "«Но только на некоторое время. А в долгосрочной перспективе предложенные правительством решения приведут к повышению цен на сельхозпродукцию на внутреннем рынке. По той причине, что снижение валютных доходов ударит по экспортерам, зерновым компаниям, снизит их возможности для закупок импортного оборудования, удобрений и в будущем приведет к сокращению посевных площадей и объемов поставок», — говорит Суверов.", + "Директор Института аграрных исследований ВШЭ Евгения Серова считает, что проблема не столько в росте цен, сколько в упавших доходах населения.", + "«Страшны не сами цены, а продолжающееся падение доходов населения. Сбить цены можно. Но что дальше? Они снова будут расти. Хотя бы потому, что стоимость зерна в буханке — это 20%, в макаронах это процент еще ниже, а остальные расходы — это тарифы на электричество, на бензин, на логистику…», — указывает Серова.", + "«Поймите, если хлебозаводу запретят поднимать цены на хлеб, производителей зерна ограничат в экспорте и зарабатывании твердой валюты, то менеджмент и собственники отыграются на чем-то другом. Вода дырочку найдет, как говорят в народе», — предостерегает эксперт.", + "«Дешевый хлеб одновременно для всех слоев населения не нужен. Зачем дешевый хлеб бабушке-пенсионерке или многодетной семье и одновременно тем, кто зарабатывает по миллиону в месяц? Зачем субсидировать миллионеров? Дайте адекватные субсидии малоимущим слоям. Дайте продуктовые наборы, организуйте бесплатное питание, добавьте льгот по оплате ЖКХ. Проблема, повторюсь, не с ценами, а с доходами», — отмечает Серова.", + "Системное государственное регулирование цен имело место в Китае, это практиковалось во времена китайской версии «военного коммунизма», примерно до начала 80-х прошлого века, когда любые проявления свободных рыночных отношений были вне закона.", + "Такую параллель в комментарии «Газете.Ru» приводит управляющий партнер компании «Кадерус Капитал» Андрей Акопян." + ], + "summary_sents": [ + "Правительство приступило к жесткому регулированию рынка продовольствия.", + "Кабмин вводит квоты на экспорт зерновых культур, повышенные пошлины на продажи сверх квот и обещает субсидии производителям муки.", + "Эксперты считают, что такими методами сбить цены на хлеб, муку, макароны можно.", + "Однако социальное напряжение будут снято лишь на время.", + "Системное решение не в том, чтобы резко ограничивать бизнес, а в том, чтобы подтянуть доходы населения." + ], + "support_labels": [ + "YES", + "YES", + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 3, + 5, + 14, + 18, + 20 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Правительство завершает подготовку нормативной базы для сдерживания роста цен на социально значимые продукты питания. Премьер Михаил Мишустин подписал ряд постановлений для стабилизации цены на муку и хлеб, на вывоз пшеницы, ржи, ячменя и кукурузы. Документы устанавливают экспортную квоту в размере 17,5 млн тонн. Сверх этой квоты вывоз зерновых на глобальные рынки также возможен, но будет «облагаться пошлиной в 50% от таможенной стоимости вывозимой продукции, но не менее чем 100 евро за одну тонну». В пределах квоты пошлины на вывоз ржи, ячменя и кукурузы составят 0%. А на пшеницу — 25 евро за тонну. Для финансовой поддержки производителей муки предусматриваются субсидии на возмещение части затрат, связанных с приобретением пшеницы. Следить за тем, как исполняются решения правительства, будет лично премьер и Федеральная налоговая служба на основе данных онлайн-касс. «Председатель правительства поручил отслеживать ситуацию на всех стадиях — от производства до прилавка и своевременно принимать меры», — говорится на сайте кабмина. Стабилизировать ситуацию с резко подорожавшими в последние месяцы мукой, макаронами, растительным маслом, сахаром и другими продуктами питания ранее поручил президент Владимир Путин. Причем сделал это в резкой форме. Главе Минэкономразвития Максиму Решетникову он посоветовал не «экспериментировать» с ценами. Путин потребовал решить проблему с ценами оперативно. «Решить в течение недели! Все согласования в течение завтрашнего-послезавтрашнего дня окончательно завершить и в начале следующей недели выпустить соответствующие управленческие решения в виде документов», — заявил глава государства. Пока что правительство укладывается в график. «Газета.Ru» узнала у экспертов, увенчаются ли успехом усилия правительства по стабилизации рынка. Оценка оказалась единодушной — участники рынка будут вынуждены под нажимом властей снизить цены, но ненадолго. Введение повышенных экспортных пошлин и квот теоретически должно увеличить предложение товаров на российском рынке и способствовать стабилизации цен, отмечает ведущий эксперт инвесткомпании «Арикапитал» Сергей Суверов. «Но только на некоторое время. А в долгосрочной перспективе предложенные правительством решения приведут к повышению цен на сельхозпродукцию на внутреннем рынке. По той причине, что снижение валютных доходов ударит по экспортерам, зерновым компаниям, снизит их возможности для закупок импортного оборудования, удобрений и в будущем приведет к сокращению посевных площадей и объемов поставок», — говорит Суверов. Директор Института аграрных исследований ВШЭ Евгения Серова считает, что проблема не столько в росте цен, сколько в упавших доходах населения. «Страшны не сами цены, а продолжающееся падение доходов населения. Сбить цены можно. Но что дальше? Они снова будут расти. Хотя бы потому, что стоимость зерна в буханке — это 20%, в макаронах это процент еще ниже, а остальные расходы — это тарифы на электричество, на бензин, на логистику…», — указывает Серова. «Поймите, если хлебозаводу запретят поднимать цены на хлеб, производителей зерна ограничат в экспорте и зарабатывании твердой валюты, то менеджмент и собственники отыграются на чем-то другом. Вода дырочку найдет, как говорят в народе», — предостерегает эксперт. «Дешевый хлеб одновременно для всех слоев населения не нужен. Зачем дешевый хлеб бабушке-пенсионерке или многодетной семье и одновременно тем, кто зарабатывает по миллиону в месяц? Зачем субсидировать миллионеров? Дайте адекватные субсидии малоимущим слоям. Дайте продуктовые наборы, организуйте бесплатное питание, добавьте льгот по оплате ЖКХ. Проблема, повторюсь, не с ценами, а с доходами», — отмечает Серова. Системное государственное регулирование цен имело место в Китае, это практиковалось во времена китайской версии «военного коммунизма», примерно до начала 80-х прошлого века, когда любые проявления свободных рыночных отношений были вне закона. Такую параллель в комментарии «Газете.Ru» приводит управляющий партнер компании «Кадерус Капитал» Андрей Акопян.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 882, + "generated_len": [ + 133 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.32989690721649484, + "rouge2": 0.16842105263157894 + }, + "predict": " В Минске 8 ноября были введены чрезвычайные меры безопасности, включая отключение мобильного интернета и закрытие метро, что вызвало массовые протесты. В ходе акций задержано около 700 человек, в том числе в Минске, Бобруйске, Ляховичах, Могилеве, Полоцке и Витебске. Президент Александр Лукашенко заявил о готовности к повторным выборам, но призвал граждан не прислушиваться к советам из-за рубежа.", + "sample": { + "src_sents": [ + "Утром в Минске отключили мобильный интернет, это было сделано «по требованию госорганов» в рамках мероприятий «по обеспечению национальной безопасности» — указывали местные сотовые компании.", + "Центральные станции метро — «Октябрьская», «Купаловская», «Площадь Победы», «Немига», «Фрунзенская» — были закрыты.", + "К пересечению улиц Ленина и Интернациональной – в районе зданий госорганов, прибыли правоохранители со щитами, выстроившиеся в готовности к протестным акциям.", + "Сотрудники ГАИ перекрыли несколько центральных улиц.", + "Нескольких митингующих, следующих к стеле «Минск — город герой», от которой должно было начаться шествие, силовики задержали в превентивном порядке, за несколько кварталов до точки сбора.", + "К полудню около стелы собралось несколько тысяч человек, которые затем двинулись в сторону гостиницы «Юбилейная».", + "Еще несколько эпизодов задержаний произошло около Театра оперы и балета и в районе Белой вежи.", + "Как рассказали очевидцы, около станции метро «Немига» силовики при задержании и разгоне применяли шумовые патроны.", + "Всего 8 ноября в Минске, Бобруйске, Ляховичах, Могилеве, Полоцке и Витебске было задержано порядка 700 человек, сообщает правозащитный центр «Весна».", + "За два дня до этого президент Белоруссии Александр Лукашенко пообещал, что согласится на проведение повторных выборов главы государства, когда народ этого захочет.", + "Об этом он заявил на церемонии открытия третьей линии минского метро.", + "При этом политик призвал белорусов не слушать советов из-за рубежа по поводу того, как республике строить свою внутреннюю политику, передает агентство БелТА." + ], + "summary_sents": [ + "В Белоруссии прошел очередной воскресный митинг оппозиции, требующей отменить итоги прошедших 9 августа президентских выборов.", + "Как рассказали очевидцы, около станции метро «Немига» силовики применяли шумовые патроны.", + "Всего в Минске, Бобруйске, Ляховичах, Могилеве, Полоцке и Витебске было задержано порядка 700 человек." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 5, + 7, + 8 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Утром в Минске отключили мобильный интернет, это было сделано «по требованию госорганов» в рамках мероприятий «по обеспечению национальной безопасности» — указывали местные сотовые компании. Центральные станции метро — «Октябрьская», «Купаловская», «Площадь Победы», «Немига», «Фрунзенская» — были закрыты. К пересечению улиц Ленина и Интернациональной – в районе зданий госорганов, прибыли правоохранители со щитами, выстроившиеся в готовности к протестным акциям. Сотрудники ГАИ перекрыли несколько центральных улиц. Нескольких митингующих, следующих к стеле «Минск — город герой», от которой должно было начаться шествие, силовики задержали в превентивном порядке, за несколько кварталов до точки сбора. К полудню около стелы собралось несколько тысяч человек, которые затем двинулись в сторону гостиницы «Юбилейная». Еще несколько эпизодов задержаний произошло около Театра оперы и балета и в районе Белой вежи. Как рассказали очевидцы, около станции метро «Немига» силовики при задержании и разгоне применяли шумовые патроны. Всего 8 ноября в Минске, Бобруйске, Ляховичах, Могилеве, Полоцке и Витебске было задержано порядка 700 человек, сообщает правозащитный центр «Весна». За два дня до этого президент Белоруссии Александр Лукашенко пообещал, что согласится на проведение повторных выборов главы государства, когда народ этого захочет. Об этом он заявил на церемонии открытия третьей линии минского метро. При этом политик призвал белорусов не слушать советов из-за рубежа по поводу того, как республике строить свою внутреннюю политику, передает агентство БелТА.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 381, + "generated_len": [ + 133 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4, + "rouge2": 0.24778761061946908 + }, + "predict": " Глава Роскосмоса Владимир Поповкин объявил о отзыве всей партии разгонных блоков «Бриз-М», вызванных неудачей запуска ракеты-носителя «Протон-М» в августе из-за дефекта одного из жиклеров. Медведев выразил обеспокоенность относительно качества космической техники и количества сотрудников Роскосмоса, необходимых для решения проблемы. Премьер-министр предостерег от неэффективного использования средств, отметив, что за два года Роскосмосу пришлось столкнуться с шестью аварийными пусками, что неприемлемо для ведущих космических держав.", + "sample": { + "src_sents": [ + "В понедельник глава Роскосмоса Владимир Поповкин заявил, что вся партия разгонных блоков «Бриз-М», из-за неисправности в одном из которых в августе закончился неудачей запуск ракеты-носителя «Протон-М», будет отозвана.", + "«Принято решение об отзыве и детальной проверке всей партии разгонных блоков «Бриз-М». Речи о выборочном контроле не идет, разбираться будет каждый разгонный блок», — сказал он.", + "Поповкин напомнил, что причиной неудачного пуска «Протона-М» в начале августа стал дефект одного из жиклеров разгонного блока, в результате чего засорилась топливная магистраль.", + "«Сто процентов это производственный брак. Комиссия, которая занималась расследованием аварии, выработала более 20 рекомендаций, связанных с организацией технологических процессов при производстве космической техники и ее испытаний на космодроме», — цитирует его слова РИА «Новости».", + "Глава ведомства рассчитывает, что пуски ракет-носителей «Протон-М» с разгонными блоками «Бриз-М» удастся возобновить с середины октября.", + "«Сегодня численность Роскосмоса составляет меньше 200 человек. Такой численностью, конечно, управлять более ста предприятиями отрасли проблематично», — пожаловался глава Роскосмоса.", + "Медведев в ответ поинтересовался, хватит ли 400 человек для решения проблемы с качеством космической техники. Поповкин согласился, что хватит.", + "«У меня все-таки такое ощущение, что сами изделия собираются не Роскосмосом, а предприятиями. И качество проверять нужно не Роскосмосу, а на самих предприятиях...» — сказал Медведев.", + "«Были доложены предложения по персональной ответственности. Эти предложения я сам и формулировал, ничего мне не докладывали. Если бы я сам не сказал разбираться, ничего бы не сделали, — сказал Медведев. — Я хочу понять, Владимир Александрович (Поповкин), вот того, что вы доложили в совершенно спокойном ключе, этого достаточно для того, чтобы в настоящий момент система управления качеством вышла на новый уровень? Или вам еще что-то нужно от президента, от правительства? Говорите прямо, что нужно для того, чтобы эта система заработала по-другому».", + "«Деньги большие, нельзя допустить, чтобы значительная часть из них была выброшена на ветер в прямом смысле этого слова», — предостерег премьер-министр.", + "«В то же время за полтора года — 2011—2012 годы — мы получили шесть аварийных пусков, и это никуда не годится, что бы ни приводили в качестве причин, аргументов, ни в одной из ведущих космических держав такого количества неудачных пусков не было», — заявил он.", + "16 августа руководитель Роскосмоса Владимир Поповкин подтвердил, что 7 августа авария при выводе на орбиту спутников «Экспресс-МД2» и Telkom-3 возникла из-за разгонного блока «Бриз-М».", + "Четвертая ступень ракеты — разгонный блок «Бриз-М», который должен был выполнить четыре включения, — сработала только три раза.", + "Специалисты отметили, что третье включение длилось меньше запланированного." + ], + "summary_sents": [ + "Глава Роскосмоса Владимир Поповкин заявил, что вся партия разгонных блоков «Бриз-М» будет отозвана и детально проверена.", + "В начале августа из-за неполадок в одном из таких блоков ракета-носитель «Протон-М» не смогла вывести на нужную орбиту два спутника.", + "Проверку «Бризов» планируют завершить к середине октября." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 4, + 11 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В понедельник глава Роскосмоса Владимир Поповкин заявил, что вся партия разгонных блоков «Бриз-М», из-за неисправности в одном из которых в августе закончился неудачей запуск ракеты-носителя «Протон-М», будет отозвана. «Принято решение об отзыве и детальной проверке всей партии разгонных блоков «Бриз-М». Речи о выборочном контроле не идет, разбираться будет каждый разгонный блок», — сказал он. Поповкин напомнил, что причиной неудачного пуска «Протона-М» в начале августа стал дефект одного из жиклеров разгонного блока, в результате чего засорилась топливная магистраль. «Сто процентов это производственный брак. Комиссия, которая занималась расследованием аварии, выработала более 20 рекомендаций, связанных с организацией технологических процессов при производстве космической техники и ее испытаний на космодроме», — цитирует его слова РИА «Новости». Глава ведомства рассчитывает, что пуски ракет-носителей «Протон-М» с разгонными блоками «Бриз-М» удастся возобновить с середины октября. «Сегодня численность Роскосмоса составляет меньше 200 человек. Такой численностью, конечно, управлять более ста предприятиями отрасли проблематично», — пожаловался глава Роскосмоса. Медведев в ответ поинтересовался, хватит ли 400 человек для решения проблемы с качеством космической техники. Поповкин согласился, что хватит. «У меня все-таки такое ощущение, что сами изделия собираются не Роскосмосом, а предприятиями. И качество проверять нужно не Роскосмосу, а на самих предприятиях...» — сказал Медведев. «Были доложены предложения по персональной ответственности. Эти предложения я сам и формулировал, ничего мне не докладывали. Если бы я сам не сказал разбираться, ничего бы не сделали, — сказал Медведев. — Я хочу понять, Владимир Александрович (Поповкин), вот того, что вы доложили в совершенно спокойном ключе, этого достаточно для того, чтобы в настоящий момент система управления качеством вышла на новый уровень? Или вам еще что-то нужно от президента, от правительства? Говорите прямо, что нужно для того, чтобы эта система заработала по-другому». «Деньги большие, нельзя допустить, чтобы значительная часть из них была выброшена на ветер в прямом смысле этого слова», — предостерег премьер-министр. «В то же время за полтора года — 2011—2012 годы — мы получили шесть аварийных пусков, и это никуда не годится, что бы ни приводили в качестве причин, аргументов, ни в одной из ведущих космических держав такого количества неудачных пусков не было», — заявил он. 16 августа руководитель Роскосмоса Владимир Поповкин подтвердил, что 7 августа авария при выводе на орбиту спутников «Экспресс-МД2» и Telkom-3 возникла из-за разгонного блока «Бриз-М». Четвертая ступень ракеты — разгонный блок «Бриз-М», который должен был выполнить четыре включения, — сработала только три раза. Специалисты отметили, что третье включение длилось меньше запланированного.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 663, + "generated_len": [ + 133 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5168539325842697, + "rouge2": 0.3908045977011494 + }, + "predict": " В субботу на чемпионате мира по легкой атлетике в Тэгу Сергей Бакулин завоевал шестое золото России в ходьбе на 50 км, улучшив абсолютный рекорд. Нижегородов занял второе место, а Таллент третье. Бакуллин, несмотря на проблемы со здоровьем после финиша, стал абсолютным чемпионом, оставив позади преследователей. Это достижение стало шестым золотым медалем для России на чемпионате мира в Тэгу.", + "sample": { + "src_sents": [ + "В субботу Россия получила уже шестое золото на чемпионате мира по легкой атлетике в Тэгу.", + "В ходьбе на 50 км быстрее всех оказался Сергей Бакулин , преодолевший дистанцию за 3 часа 41 минуту 24 секунды.", + "Серебряную медаль завоевал также российский легкоатлет Денис Нижегородов , который на 51 секунду опередил представителя Австралии Джареда Таллента.", + "Таким образом, наши ходоки повторили абсолютный рекорд, установленный ими два года назад в Берлине, выиграв все золотые медали в дисциплинах ходоков.", + "1. Сергей Бакулин (Россия) – 3:41.24 2.", + "С этого момента Бакулин не дал усомниться в своем лидерстве и уверенно финишировал первым.", + "Из группы преследователей ближе к концу дистанции отделился Таллент, который сократил отставание от Бакулина с двух с половиной до полутора минут.", + "В итоге Таллент сдал, и на предпоследнем километре его опередил Нижегородов. Золото дорого обошлось Бакулину.", + "После финиша ему стало плохо и его унесли на носилках, сообщает РИА «Новости».", + "В гонке участвовали еще два россиянина.", + "Чемпион мира 2009 года Сергей Кирдяпкин финишировать не смог, а Игорь Ерохин был дисквалифицирован.", + "Это уже шестое золото россиян в Тэгу." + ], + "summary_sents": [ + "Сергей Бакулин завоевал шестое золото сборной России на чемпионате мира по легкой атлетике в Тэгу.", + "Бакулин, которому стало плохо после финиша, первенствовал в ходьбе на 50 км.", + "Денис Нижегородов выиграл серебро." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 7, + 8 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В субботу Россия получила уже шестое золото на чемпионате мира по легкой атлетике в Тэгу. В ходьбе на 50 км быстрее всех оказался Сергей Бакулин , преодолевший дистанцию за 3 часа 41 минуту 24 секунды. Серебряную медаль завоевал также российский легкоатлет Денис Нижегородов , который на 51 секунду опередил представителя Австралии Джареда Таллента. Таким образом, наши ходоки повторили абсолютный рекорд, установленный ими два года назад в Берлине, выиграв все золотые медали в дисциплинах ходоков. 1. Сергей Бакулин (Россия) – 3:41.24 2. С этого момента Бакулин не дал усомниться в своем лидерстве и уверенно финишировал первым. Из группы преследователей ближе к концу дистанции отделился Таллент, который сократил отставание от Бакулина с двух с половиной до полутора минут. В итоге Таллент сдал, и на предпоследнем километре его опередил Нижегородов. Золото дорого обошлось Бакулину. После финиша ему стало плохо и его унесли на носилках, сообщает РИА «Новости». В гонке участвовали еще два россиянина. Чемпион мира 2009 года Сергей Кирдяпкин финишировать не смог, а Игорь Ерохин был дисквалифицирован. Это уже шестое золото россиян в Тэгу.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 299, + "generated_len": [ + 133 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.176, + "rouge2": 0.06504065040650406 + }, + "predict": " Премьер Дмитрий Медведев утвердил новое положение о военно-врачебной экспертизе, включающее изменения в списке заболеваний, освобождающих от призыва, с 1 января 2014 года. Документ обновлён в ответ на медицинские и военные изменения за последние годы. Против нововведения выступает Валентина Мельникова, глава Союза солдатских матерей, но поддерживают его Игорь Коротченко и военные, стремящиеся к улучшению условий службы и сокращению уклонений от призыва. Новые правила включают заочное медицинское освидетельствование для детей-инвалидов и обязательные анализы на ВИЧ, В и С для призывников. Также разработан механизм вручения повесток для предотвращения уклонений от службы.", + "sample": { + "src_sents": [ + "Премьер-министр Дмитрий Медведев утвердил положение о военно-врачебной экспертизе, подготовленное в Минобороны.", + "Текст документа опубликован на сайте правительства.", + "Новое постановление с измененным перечнем заболеваний, освобождающих от призыва, вступит в силу с 1 января 2014 года.", + "Как говорится в справке, прилагаемой к тексту, с момента вступления в силу положения о военно-врачебной экспертизе от 25 февраля 2003 года «в медицинской науке и практике произошли существенные изменения, внедрены новые медицинские технологии».", + "«За этот же период изменились принципы комплектования войск, на оснащение приняты новые виды вооружения и военной техники, что требует совершенствования подходов к организации и проведению военно-врачебной экспертизы», — подчеркивают авторы нововведений.", + "Возмущена «абсурдными» изменениями член общественного комитета при Минобороны, глава Союза солдатских матерей Валентина Мельникова.", + "Другой член общественного совета при Минобороны, редактор журнала «Национальная оборона» Игорь Коротченко поддерживает исключение плоскостопия из перечня болезней, освобождающих от призыва.", + "«Такой солдат может проходить службу, допустим, радиотелеграфистом или оператором РЛС. Никакое плоскостопие этому помешать не может, — считает Коротченко. — На самом деле в армии сейчас идут позитивные сдвиги, которые начались еще при предыдущем министре и продолжаются при нынешнем. Отслужить надо всего год. Нормально кормят, вводят шведские столы».", + "Зато, как отмечают авторы нового документа, кроме расширения числа призывников за счет больных плоскостопием он впервые вводит заочное медицинское освидетельствование детей-инвалидов, инвалидов I группы или имеющих II и III группу инвалидности без cрока переосвидетельствования.", + "Кроме того, признанный ограниченно годным к службе призывник теперь будет иметь право на повторное освидетельствование для изменения категории в случае, если в результате его обследования в медицинских организациях ранее установленный им диагноз заболевания был изменен, пересмотрен или он признан здоровым.", + "Для снижения риска распространения в войсках ВИЧ-инфекции, вирусных гепатитов В и С для призывников будут введены обязательные анализы на эти заболевания.", + "В свою очередь источник, близкий к Генеральному штабу, во вторник заявил «Интерфаксу» о разработке военными нового механизма вручения повесток для предотвращения уклонения от службы.", + "По мнению военных, сейчас «уклонисты» отказываются получать повестку, подтверждающую факт их извещения о призыве на военную службу.", + "Избегая таким образом и службы в армии, и формального повода для уголовного преследования за уклонение от призыва.", + "По данным Генштаб а, в настоящее время благодаря такой уловке от службы уклоняется около 250 тысяч граждан призывного возраста." + ], + "summary_sents": [ + "Минобороны готовит новое наступление на несознательных молодых людей, увиливающих от службы в армии.", + "Правительство подготовило проект постановления, посвященного новым правилам медосвидетельствования призывников, а Генштаб сообщил, что разрабатывает новый механизм вручения повесток.", + "Эксперты оценили инициативы неоднозначно." + ], + "support_labels": [ + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6, + 11 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Премьер-министр Дмитрий Медведев утвердил положение о военно-врачебной экспертизе, подготовленное в Минобороны. Текст документа опубликован на сайте правительства. Новое постановление с измененным перечнем заболеваний, освобождающих от призыва, вступит в силу с 1 января 2014 года. Как говорится в справке, прилагаемой к тексту, с момента вступления в силу положения о военно-врачебной экспертизе от 25 февраля 2003 года «в медицинской науке и практике произошли существенные изменения, внедрены новые медицинские технологии». «За этот же период изменились принципы комплектования войск, на оснащение приняты новые виды вооружения и военной техники, что требует совершенствования подходов к организации и проведению военно-врачебной экспертизы», — подчеркивают авторы нововведений. Возмущена «абсурдными» изменениями член общественного комитета при Минобороны, глава Союза солдатских матерей Валентина Мельникова. Другой член общественного совета при Минобороны, редактор журнала «Национальная оборона» Игорь Коротченко поддерживает исключение плоскостопия из перечня болезней, освобождающих от призыва. «Такой солдат может проходить службу, допустим, радиотелеграфистом или оператором РЛС. Никакое плоскостопие этому помешать не может, — считает Коротченко. — На самом деле в армии сейчас идут позитивные сдвиги, которые начались еще при предыдущем министре и продолжаются при нынешнем. Отслужить надо всего год. Нормально кормят, вводят шведские столы». Зато, как отмечают авторы нового документа, кроме расширения числа призывников за счет больных плоскостопием он впервые вводит заочное медицинское освидетельствование детей-инвалидов, инвалидов I группы или имеющих II и III группу инвалидности без cрока переосвидетельствования. Кроме того, признанный ограниченно годным к службе призывник теперь будет иметь право на повторное освидетельствование для изменения категории в случае, если в результате его обследования в медицинских организациях ранее установленный им диагноз заболевания был изменен, пересмотрен или он признан здоровым. Для снижения риска распространения в войсках ВИЧ-инфекции, вирусных гепатитов В и С для призывников будут введены обязательные анализы на эти заболевания. В свою очередь источник, близкий к Генеральному штабу, во вторник заявил «Интерфаксу» о разработке военными нового механизма вручения повесток для предотвращения уклонения от службы. По мнению военных, сейчас «уклонисты» отказываются получать повестку, подтверждающую факт их извещения о призыве на военную службу. Избегая таким образом и службы в армии, и формального повода для уголовного преследования за уклонение от призыва. По данным Генштаб а, в настоящее время благодаря такой уловке от службы уклоняется около 250 тысяч граждан призывного возраста.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 578, + "generated_len": [ + 133 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.38181818181818183, + "rouge2": 0.14814814814814814 + }, + "predict": " Бывший губернатор Митт Ромни, вступивший в президентскую кампанию 2012 года, опережает Барака Обаму по рейтингам в Республиканской партии. Опрос The Washington Post и ABC News показал, что если выборы сейчас, Ромни победил бы с 49% против 46% Обамы. Однако, популярность Обамы подпитывал всплеск общественного энтузиазма после ликвидации бен Ладена, но оценки его работы как президента снизились до 56%. Экономические проблемы и отсутствие экономического восстановления продолжают негативно влиять на поддержку демократической администрации.", + "sample": { + "src_sents": [ + "Бывший губернатор Массачусетса Митт Ромни , официально вступивший в кампанию по выборам президента США 2012 года в пятницу, является единственным представителем Республиканской партии , который пока опережает по рейтингам нынешнего главу государства демократа Барака Обаму.", + "Об этом свидетельствует опрос общественного мнения, проведенный 2–5 июня по заказу газеты The Washington Post и телеканала ABC News.", + "Если бы президентские выборы состоялись сейчас, Ромни выиграл бы их у Обамы со счетом 49% против 46%.", + "Позиции других ведущих кандидатов Великой старой партии (как называют себя республиканцы) скромнее.", + "Опрошенным предлагали выбрать одного из пары «Обама — республиканец».", + "Всплеск общественного энтузиазма, связанный с ликвидацией 2 мая лидера «Аль-Каиды» Усамы бен Ладена, подпитывал популярность Обамы лишь месяц.", + "Оценки работы Обамы как президента вновь упали ниже 50%, хотя опрос WP/ABC News давал ему 56% поддержки сразу же после известий о ликвидации врага США № 1.", + "Экономические неурядицы вновь загораживают от американцев любые успехи нынешней демократической администрации.", + "Целых 89% опрошенных утверждают, что экономика США в плохом состоянии, причем эти цифры существенно не менялись с весны 2008 года.", + "57% опрошенных уверены, что экономическое восстановление, обещавшееся демократами на протяжении последних трех лет, так и не началось." + ], + "summary_sents": [ + "Едва вступивший в президентскую гонку в США республиканец Митт Ромни уже опережает по опросам общественного мнения нынешнего хозяина Белого дома Барака Обаму.", + "Рост популярности Обамы после ликвидации Усамы бен Ладена оказался непродолжительным, экономические проблемы снова вышли на первый план." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 5, + 6 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Бывший губернатор Массачусетса Митт Ромни , официально вступивший в кампанию по выборам президента США 2012 года в пятницу, является единственным представителем Республиканской партии , который пока опережает по рейтингам нынешнего главу государства демократа Барака Обаму. Об этом свидетельствует опрос общественного мнения, проведенный 2–5 июня по заказу газеты The Washington Post и телеканала ABC News. Если бы президентские выборы состоялись сейчас, Ромни выиграл бы их у Обамы со счетом 49% против 46%. Позиции других ведущих кандидатов Великой старой партии (как называют себя республиканцы) скромнее. Опрошенным предлагали выбрать одного из пары «Обама — республиканец». Всплеск общественного энтузиазма, связанный с ликвидацией 2 мая лидера «Аль-Каиды» Усамы бен Ладена, подпитывал популярность Обамы лишь месяц. Оценки работы Обамы как президента вновь упали ниже 50%, хотя опрос WP/ABC News давал ему 56% поддержки сразу же после известий о ликвидации врага США № 1. Экономические неурядицы вновь загораживают от американцев любые успехи нынешней демократической администрации. Целых 89% опрошенных утверждают, что экономика США в плохом состоянии, причем эти цифры существенно не менялись с весны 2008 года. 57% опрошенных уверены, что экономическое восстановление, обещавшееся демократами на протяжении последних трех лет, так и не началось.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 334, + "generated_len": [ + 133 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3364485981308411, + "rouge2": 0.11428571428571428 + }, + "predict": " Президент США Дональд Трамп в очередной раз заявил о своей жесткой позиции по отношению к России, подчеркнув, что является самым жестким и справедливым лидером в отношении этих стран. В своем твиттере Трамп также выразил надежду на улучшение отношений с Россией, несмотря на возможные разногласия. В конце концов, он заявил о необходимости налаживать контакты с Китаем, КНДР, Южной Кореей и Японией, утверждая, что это хорошая идея для достижения результатов.", + "sample": { + "src_sents": [ + "Президент США Дональд Трамп в очередной раз похвалил себя за очень жесткую позицию по отношению к России.", + "«Я занимаю гораздо более жесткую позицию по отношению к России, чем Обама, Буш или Клинтон. Возможно, более жесткую, чем любой другой президент. В то же самое время, как я часто говорил, поладить с Россией — это хорошо. Я всецело надеюсь на то, что однажды у нас вновь будут хорошие отношения с Россией», — написал он в субботу в своем твиттере.", + "Такое сообщение Трамп написал после публикации в The New York Times статьи, в которой высказывались новые подозрения по поводу связи американского лидера с Москвой.", + "Издание со ссылкой на источники сообщило, что после увольнения Трампом в 2017 году главы ФБР Джеймса Коми спецслужбы начали в отношении американского лидера расследование.", + "Трамп неоднократно ставил себе в заслугу политику в отношение России.", + "В очередной раз он говорил об этом в конце прошлого года.", + "В своем твиттере он написал, что является самым жестким, но справедливым по отношению к России и Китаю лидером Соединенных Штатов.", + "Впрочем, по его словам, несмотря на его неудобство для Москвы, все же необходимо налаживать контакты между государствами.", + "«Однако поладить с Россией, Китаем и, честно говоря, с КНДР, Южной Кореей, Японией и всеми остальными — это хорошая, а не плохая идея. Мы будем продолжать добиваться результатов», — пообещал Трамп.", + "Тогда на митинге перед своими сторонниками он сказал, что в Москве недовольны его победой на выборах президента США в 2016 году.", + "«Я скажу вот что, Россия очень недовольна тем, что Трамп победил, вот что я скажу. Но я отлично поладил с [Президентом России Владимиром — «Газета.Ru»] Путиным, и мы обсудили все вопросы», — отметил он.", + "В то же время сам Путин ранее признался, что хотел победы Трампа в 2016 году." + ], + "summary_sents": [ + "Президент США Дональд Трамп снова похвастался своей политикой в отношении России.", + "По его словам, до него таких жестких отношений с Москвой не выстраивал ни один американский лидер.", + "В то же время Трамп признал необходимость налаживания диалога с российской стороной." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 5, + 6, + 8 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Президент США Дональд Трамп в очередной раз похвалил себя за очень жесткую позицию по отношению к России. «Я занимаю гораздо более жесткую позицию по отношению к России, чем Обама, Буш или Клинтон. Возможно, более жесткую, чем любой другой президент. В то же самое время, как я часто говорил, поладить с Россией — это хорошо. Я всецело надеюсь на то, что однажды у нас вновь будут хорошие отношения с Россией», — написал он в субботу в своем твиттере. Такое сообщение Трамп написал после публикации в The New York Times статьи, в которой высказывались новые подозрения по поводу связи американского лидера с Москвой. Издание со ссылкой на источники сообщило, что после увольнения Трампом в 2017 году главы ФБР Джеймса Коми спецслужбы начали в отношении американского лидера расследование. Трамп неоднократно ставил себе в заслугу политику в отношение России. В очередной раз он говорил об этом в конце прошлого года. В своем твиттере он написал, что является самым жестким, но справедливым по отношению к России и Китаю лидером Соединенных Штатов. Впрочем, по его словам, несмотря на его неудобство для Москвы, все же необходимо налаживать контакты между государствами. «Однако поладить с Россией, Китаем и, честно говоря, с КНДР, Южной Кореей, Японией и всеми остальными — это хорошая, а не плохая идея. Мы будем продолжать добиваться результатов», — пообещал Трамп. Тогда на митинге перед своими сторонниками он сказал, что в Москве недовольны его победой на выборах президента США в 2016 году. «Я скажу вот что, Россия очень недовольна тем, что Трамп победил, вот что я скажу. Но я отлично поладил с [Президентом России Владимиром — «Газета.Ru»] Путиным, и мы обсудили все вопросы», — отметил он. В то же время сам Путин ранее признался, что хотел победы Трампа в 2016 году.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 422, + "generated_len": [ + 133 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3089430894308943, + "rouge2": 0.049586776859504134 + }, + "predict": " Российский актер Анатолий Пашинин, сражающийся в Донбассе в составе добровольческого украинского батальона «Аратта», делится своими эмоциями от боевых действий. Он испытывает удовольствие от выживания и считает, что видеть смерть врага — удача. В ответ на вопрос о стрельбе по людям, Пашинин утверждает, что старается попадать в цель. По мнению депутата Милонова, Пашинин потерял рассудок, и он предлагает запретить ему сниматься в российских фильмах и удалить все его кадры из сериалов и фильмов с российского телевидения.", + "sample": { + "src_sents": [ + "Российский актер Анатолий Пашинин, уже несколько лет подряд воюющий в Донбассе в рядах украинского добровольческого батальона «Аратта», рассказал украинской журналистке Соне Кошкиной о своих ощущениях от боев.", + "По словам Пашинина , он получает «чудовищное удовольствие» и «приятный всплеск гормонов» от понимания того факта, что он остается в живых и не погибает.", + "Кроме того, он убежден, что увидеть, как убивают другого человека – большая удача.", + "В этот момент, по словам Пашинина, страх забывается.", + "В ответ на вопрос о его ощущениях в момент стрельбы по людям с другой стороны колючей проволоки, Пашинин заявил, что «старается попасть в цель».", + "Кроме того, артист заявил, что лучшим увиденным в его жизни моментом стало попадание противотанковой ракеты в автомобиль с находившимися внутри людьми.", + "По мнению депутата Государственной думы Виталия Милонова, актер Пашинин потерял рассудок от ударившей ему в голову мочи.", + "По мнению Милонова, главной санкцией в отношении украинского добровольца Пашинина, должен стать запрет на съемки в российских фильмах.", + "Кроме того, полагает депутат, «чтобы охладить его пыл» стоит вырезать все кадры из сериалов и фильмов с Пашининым с российского телевидения." + ], + "summary_sents": [ + "Артист театра и кино Анатолий Пашинин получает «чудовищное удовольствие» от выживания в боях в Донбассе.", + "По словам члена украинского добробата Пашинина, тебе «повезло, если увидел, как убили другого».", + "Кроме того, актер заявил, что лучшее зрелище в его жизни – момент попадания ракеты из РПГ в машину с людьми." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 1, + 5 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Российский актер Анатолий Пашинин, уже несколько лет подряд воюющий в Донбассе в рядах украинского добровольческого батальона «Аратта», рассказал украинской журналистке Соне Кошкиной о своих ощущениях от боев. По словам Пашинина , он получает «чудовищное удовольствие» и «приятный всплеск гормонов» от понимания того факта, что он остается в живых и не погибает. Кроме того, он убежден, что увидеть, как убивают другого человека – большая удача. В этот момент, по словам Пашинина, страх забывается. В ответ на вопрос о его ощущениях в момент стрельбы по людям с другой стороны колючей проволоки, Пашинин заявил, что «старается попасть в цель». Кроме того, артист заявил, что лучшим увиденным в его жизни моментом стало попадание противотанковой ракеты в автомобиль с находившимися внутри людьми. По мнению депутата Государственной думы Виталия Милонова, актер Пашинин потерял рассудок от ударившей ему в голову мочи. По мнению Милонова, главной санкцией в отношении украинского добровольца Пашинина, должен стать запрет на съемки в российских фильмах. Кроме того, полагает депутат, «чтобы охладить его пыл» стоит вырезать все кадры из сериалов и фильмов с Пашининым с российского телевидения.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 290, + "generated_len": [ + 165 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2931034482758621, + "rouge2": 0.08771929824561404 + }, + "predict": " В Троицком суде Москвы рассматривается уголовное дело о крупном ДТП, унесшем жизни 18 человек, в результате которого был признан виновным 46-летний гражданин Армении Грачья Арутюнян, управлявший «КамАЗом» с неисправными тормозами. Арутюнян признал вину по основному обвинению, но не согласился с обвинением в использовании подложного документа. В ходе следствия выяснилось, что грузовик не обслуживался должным образом, что привело к неисправности тормозной системы, что, по мнению следствия, Арутюнян мог знать.", + "sample": { + "src_sents": [ + "В Троицком районном суде Москвы началось рассмотрение по существу громкого уголовного дела по факту крупного ДТП, унесшего прошлым летом под Подольском жизни 18 человек.", + "На скамье подсудимых 46-летний гражданин Армении Грачья Арутюнян , управлявший «КамАЗом», который из-за неисправных тормозов протаранил пассажирский автобус.", + "В ходе заседания едва говорящий по-русски Арутюнян признал свою вину по основному обвинению в «нарушении лицом, управляющим транспортным средством, правил дорожного движения, повлекшем по неосторожности смерть двух и более лиц» (ч. 5 ст. 264 УК РФ), однако не согласился с предъявленным ему обвинением в «использовании заведомо подложного документа» (по ч. 3 ст. 327).", + "Подсудимый ответил «да» и «нет» на соответствующие вопросы судьи Дмитрия Смагина.", + "Арутюнян не захотел выслушать полный перевод обвинительного заключения, объяснив через переводчика, что суть предъявленных обвинений ему понятна.", + "В ходе следствия выяснилось, что грузовик не обслуживался надлежащим образом, что привело к неисправной работе тормозной системы.", + "По мнению следствия, Арутюнян не мог не знать об этом." + ], + "summary_sents": [ + "В Москве начался судебный процесс над Грачьей Арутюняном, который устроил одно из самых кровавых ДТП за последние годы в столице: жертвами столкновения его «КамАЗа» и пассажирского автобуса стали 18 человек.", + "На первом заседании гражданин Армении, как и в ходе следствия, вновь признал свою вину, но лишь частично." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Троицком районном суде Москвы началось рассмотрение по существу громкого уголовного дела по факту крупного ДТП, унесшего прошлым летом под Подольском жизни 18 человек. На скамье подсудимых 46-летний гражданин Армении Грачья Арутюнян , управлявший «КамАЗом», который из-за неисправных тормозов протаранил пассажирский автобус. В ходе заседания едва говорящий по-русски Арутюнян признал свою вину по основному обвинению в «нарушении лицом, управляющим транспортным средством, правил дорожного движения, повлекшем по неосторожности смерть двух и более лиц» (ч. 5 ст. 264 УК РФ), однако не согласился с предъявленным ему обвинением в «использовании заведомо подложного документа» (по ч. 3 ст. 327). Подсудимый ответил «да» и «нет» на соответствующие вопросы судьи Дмитрия Смагина. Арутюнян не захотел выслушать полный перевод обвинительного заключения, объяснив через переводчика, что суть предъявленных обвинений ему понятна. В ходе следствия выяснилось, что грузовик не обслуживался надлежащим образом, что привело к неисправной работе тормозной системы. По мнению следствия, Арутюнян не мог не знать об этом.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 293, + "generated_len": [ + 165 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.38016528925619836, + "rouge2": 0.10084033613445378 + }, + "predict": " В июле 2023 года в России выдача карт с овердрафтом снизилась до минимума за всю историю, что связано с падением спроса со стороны клиентов и изменением рисков для банков. Банки сокращают лимиты овердрафта и отключают эту функцию, чтобы обезопасить себя от дополнительных расходов на коллекторов и юристов. Однако, несмотря на это, овердрафт-карты сохранятся в своей нише, привлекая консервативную прослойку клиентов, которые опасаются залезть в слишком большой долг.", + "sample": { + "src_sents": [ + "Банки практически перестали выдавать карты с овердрафтом: в июле россияне получили всего 2,8 тыс. карт, дающих возможность уйти в минус на счету.", + "Это минимальный уровень показателя за всю историю — почти в 8 раз меньше, чем год назад, подсчитали в бюро кредитных историй «Эквифакс» (исследование есть в распоряжении «Газеты.Ru»).", + "Только за позапрошлый месяц выдача таких карт сократилась на 10%.", + "Лимит предоставляемых банками средств в рамках овердрафта также уменьшился: если по итогам второго квартала он находился на уровне 23,8 тыс. рублей, то в июле упал почти вдвое — до 12,5 тыс. рублей.", + "В результате объем выданных карт с овердрафтом за этот месяц снизился на 23,1% — до 35,9 млн рублей, а портфель овердрафтов по итогам июля сократился более чем втрое — почти до 4 млрд рублей.", + "По мнению Елена Верёвочкиной, существенное сокращение выдачи карт с овердрафтом связано как с падением спроса со стороны клиентов, так и с изменением рисковых стратегий банков.", + "Поэтому, дабы обезопасить себя от лишних расходов на юристов, коллекторов, банки спокойно срезают лимиты по овердрафту или отключают эту опцию совсем, объясняет эксперт.", + "Однако банки могут сокращать выдачу овердрафтов не только из-за сомнений в заемщиках, но и по причине неуверенности в самих корпоративных клиентах, считает Пётр Пушкарёв.", + "«С наступлением осени у клиентов массово заканчиваются «кредитные каникулы», предоставленные им на пике вирусного кризиса. Банки, соответственно, осторожничают, ожидая волну просрочек и неплатежей не только от физлиц, но и от корпоративных заёмщиков, которым тоже вскоре предстоит столкнуться с отсроченными налоговыми, арендными выплатами. Во многих случаях банки будут просто вынуждены пойти на реструктуризацию кредитов и для компаний, и для физлиц, поэтому они так неохотно идут сейчас на одобрение выдачи новых карт с овердрафтом», — объясняет эксперт «Газете.Ru».", + "Несмотря на то, что сейчас банковские клиенты активнее всего для кредитования используют карты с льготным периодом, которые при соблюдении всех условий выгоднее подразумевающих ежедневное начисление процентов на кредитную задолженность карт с овердрафтом, последние вряд ли исчезнут, говорит Елена Верёвочкина.", + "Банкам также невыгодно полностью отказываться от карт с овердрафтом, поэтому они будут продолжать устанавливать их благонадежным клиентам, платежеспособность которых очевидна для кредитной организации (исходя из данных о своевременности и объеме зарплатных начислений и прочих метрик).", + "Пётр Пушкарёв называет овердрафт-карты «отмирающим видом кредитования», однако считает, что такое предложение сохранится в своей нише и будет существовать, пока на него остаётся спрос среди самой консервативной прослойки клиентов.", + "«Скромный лимит овердрафта хорош для того, кто опасается залезть случайно в слишком большой долг перед банком и не готов оформлять по этой причине кредиты. В то же время наличие овердрафта по карте служит для такого клиента полезным бонусом, который он ценит, сохраняя на долгие годы верность конкретному банку», — говорит эксперт.", + "Он добавляет, что клиенту, надёжность которого ничем не подтверждена, банк неохотно выдаст что кредитку, что овердрафт-карту, однако со среднестатистического проверенного клиента банк в первом случае выручит больше, поэтому такой вид кредитования постепенно уходит в прошлое." + ], + "summary_sents": [ + "В июле российские банки выдали клиентам в 8 раз меньше карт с овердрафтом, чем годом ранее.", + "Это минимальное значение показателя за всю историю, сообщает бюро кредитных историй «Эквифакс».", + "Эксперты считают, что дело не только в изменении рисковых стратегий банков, но и падении спроса среди клиентов — овердрафту остаются верны лишь самые консервативные россияне." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5, + 11 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Банки практически перестали выдавать карты с овердрафтом: в июле россияне получили всего 2,8 тыс. карт, дающих возможность уйти в минус на счету. Это минимальный уровень показателя за всю историю — почти в 8 раз меньше, чем год назад, подсчитали в бюро кредитных историй «Эквифакс» (исследование есть в распоряжении «Газеты.Ru»). Только за позапрошлый месяц выдача таких карт сократилась на 10%. Лимит предоставляемых банками средств в рамках овердрафта также уменьшился: если по итогам второго квартала он находился на уровне 23,8 тыс. рублей, то в июле упал почти вдвое — до 12,5 тыс. рублей. В результате объем выданных карт с овердрафтом за этот месяц снизился на 23,1% — до 35,9 млн рублей, а портфель овердрафтов по итогам июля сократился более чем втрое — почти до 4 млрд рублей. По мнению Елена Верёвочкиной, существенное сокращение выдачи карт с овердрафтом связано как с падением спроса со стороны клиентов, так и с изменением рисковых стратегий банков. Поэтому, дабы обезопасить себя от лишних расходов на юристов, коллекторов, банки спокойно срезают лимиты по овердрафту или отключают эту опцию совсем, объясняет эксперт. Однако банки могут сокращать выдачу овердрафтов не только из-за сомнений в заемщиках, но и по причине неуверенности в самих корпоративных клиентах, считает Пётр Пушкарёв. «С наступлением осени у клиентов массово заканчиваются «кредитные каникулы», предоставленные им на пике вирусного кризиса. Банки, соответственно, осторожничают, ожидая волну просрочек и неплатежей не только от физлиц, но и от корпоративных заёмщиков, которым тоже вскоре предстоит столкнуться с отсроченными налоговыми, арендными выплатами. Во многих случаях банки будут просто вынуждены пойти на реструктуризацию кредитов и для компаний, и для физлиц, поэтому они так неохотно идут сейчас на одобрение выдачи новых карт с овердрафтом», — объясняет эксперт «Газете.Ru». Несмотря на то, что сейчас банковские клиенты активнее всего для кредитования используют карты с льготным периодом, которые при соблюдении всех условий выгоднее подразумевающих ежедневное начисление процентов на кредитную задолженность карт с овердрафтом, последние вряд ли исчезнут, говорит Елена Верёвочкина. Банкам также невыгодно полностью отказываться от карт с овердрафтом, поэтому они будут продолжать устанавливать их благонадежным клиентам, платежеспособность которых очевидна для кредитной организации (исходя из данных о своевременности и объеме зарплатных начислений и прочих метрик). Пётр Пушкарёв называет овердрафт-карты «отмирающим видом кредитования», однако считает, что такое предложение сохранится в своей нише и будет существовать, пока на него остаётся спрос среди самой консервативной прослойки клиентов. «Скромный лимит овердрафта хорош для того, кто опасается залезть случайно в слишком большой долг перед банком и не готов оформлять по этой причине кредиты. В то же время наличие овердрафта по карте служит для такого клиента полезным бонусом, который он ценит, сохраняя на долгие годы верность конкретному банку», — говорит эксперт. Он добавляет, что клиенту, надёжность которого ничем не подтверждена, банк неохотно выдаст что кредитку, что овердрафт-карту, однако со среднестатистического проверенного клиента банк в первом случае выручит больше, поэтому такой вид кредитования постепенно уходит в прошлое.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 788, + "generated_len": [ + 165 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2706766917293233, + "rouge2": 0.07633587786259542 + }, + "predict": " Великобритания, столкнувшись с зависимостью от китайского импорта, инициирует «Проект защиты» под руководством премьер-министра Бориса Джонсона. Цель — диверсифицировать источники поставок, особенно в жизненно важных товарах, и укрепить национальную безопасность. Работа в рамках этого проекта включает переоценку ценностей национальной безопасности и разработку мер по защите британских компаний от иностранных инвестиций. Это решение отражает растущий критицизм в отношении Пекина и его действий во время пандемии коронавируса.", + "sample": { + "src_sents": [ + "Великобритания намерена покончить с зависимостью от китайского импорта.", + "Как сообщает The Times , по инициативе премьер-министра Бориса Джонсона правительство страны намерено разработать план под названием «Проект защита».", + "Его цель состоит в том, чтобы избавиться от зависимости Лондона в отношении импорта из Китая на фоне пандемии коронавируса.", + "По информации издания, членам правительства было поручено определить основные уязвимые места в экономике страны для «потенциально враждебных иностранных правительств в рамках нового подхода к национальной безопасности».", + "Работу в этом направлении возглавляет глава МИД Великобритании Доминик Рааб.", + "Также издание со ссылкой на источник в правительстве сообщает, что уже проведенная работа по этому вопросу привела к переоценке системы ценностей национальной безопасности.", + "Еще один источник издания сообщает, что проводимая работа касается «диверсификации линий поставок»: «Мы больше не зависим от отдельных стран в непродовольственных товарах первой необходимости».", + "На прошлой неделе независимое британское общественное объединение «Общество Генри Джексона», основанное при Кембриджском университете для исследования внешней политики Лондона, сообщило, что Великобритания зависит от Китая по 289 категориям, из которых 71 — это жизненно важные товары.", + "Фармацевтические ингредиенты, необходимые для изготовления обезболивающих и противовирусных препаратов, а также антибиотиков входят в число товаров, по которым Великобритания является чистым импортером.", + "Вместе с тем в британском обществе нарастает критика в адрес Пекина и его действий во время пандемии коронавируса.", + "В апреле Доминик Рааб заявил, что Лондон больше не сможет вести дела с Китаем «как обычно».", + "Один из источников издания предполагает, что результаты работы обеих групп будут учитываться при планировании экономики после того, как Великобритания окончательно выйдет из состава ЕС.", + "В среду Борис Джонсон заявил, что собирается внести в парламент законопроект, защищающий британские компании от покупки иностранными инвесторами.", + "Речь идет о компаниях, несущих особое значение в сфере национальной безопасности, но оказавшихся в сложном финансовом положении.", + "Согласно инициативе Джонсона, в таком случае эти компании будет выкупать британское правительство.", + "Премьер-министр заявил о необходимости разработки и принятия мер, которые «гарантируют, что мы защищаем нашу технологическую базу»." + ], + "summary_sents": [ + "Великобритания планирует избавиться от импортной зависимости от Китая.", + "На прошлой неделе выяснилось, что страна ввозит из КНР товары 289 категорий, из которых 71 — это жизненно важные, в том числе необходимые для фармацевтики ингредиенты.", + "В целом Лондон занимает все более категоричную позицию в отношении Пекина.", + "Это, впрочем, обусловлено не только пандемией коронавируса, но и демонстрирует курс, который Соединенное Королевство может взять после окончательного выхода страны из состава ЕС." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 7, + 8, + 9, + 10, + 11 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Великобритания намерена покончить с зависимостью от китайского импорта. Как сообщает The Times , по инициативе премьер-министра Бориса Джонсона правительство страны намерено разработать план под названием «Проект защита». Его цель состоит в том, чтобы избавиться от зависимости Лондона в отношении импорта из Китая на фоне пандемии коронавируса. По информации издания, членам правительства было поручено определить основные уязвимые места в экономике страны для «потенциально враждебных иностранных правительств в рамках нового подхода к национальной безопасности». Работу в этом направлении возглавляет глава МИД Великобритании Доминик Рааб. Также издание со ссылкой на источник в правительстве сообщает, что уже проведенная работа по этому вопросу привела к переоценке системы ценностей национальной безопасности. Еще один источник издания сообщает, что проводимая работа касается «диверсификации линий поставок»: «Мы больше не зависим от отдельных стран в непродовольственных товарах первой необходимости». На прошлой неделе независимое британское общественное объединение «Общество Генри Джексона», основанное при Кембриджском университете для исследования внешней политики Лондона, сообщило, что Великобритания зависит от Китая по 289 категориям, из которых 71 — это жизненно важные товары. Фармацевтические ингредиенты, необходимые для изготовления обезболивающих и противовирусных препаратов, а также антибиотиков входят в число товаров, по которым Великобритания является чистым импортером. Вместе с тем в британском обществе нарастает критика в адрес Пекина и его действий во время пандемии коронавируса. В апреле Доминик Рааб заявил, что Лондон больше не сможет вести дела с Китаем «как обычно». Один из источников издания предполагает, что результаты работы обеих групп будут учитываться при планировании экономики после того, как Великобритания окончательно выйдет из состава ЕС. В среду Борис Джонсон заявил, что собирается внести в парламент законопроект, защищающий британские компании от покупки иностранными инвесторами. Речь идет о компаниях, несущих особое значение в сфере национальной безопасности, но оказавшихся в сложном финансовом положении. Согласно инициативе Джонсона, в таком случае эти компании будет выкупать британское правительство. Премьер-министр заявил о необходимости разработки и принятия мер, которые «гарантируют, что мы защищаем нашу технологическую базу».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 465, + "generated_len": [ + 165 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.1746031746031746, + "rouge2": 0.016129032258064516 + }, + "predict": " Российская Федерация обсуждает ответные меры в ответ на расширение антироссийских санкций США, в том числе в отношении граждан России, находящихся в санкционных списках КНДР. Сергей Рябков критикует политику США, направленную на разрушение двусторонних отношений, и предлагает отказаться от ответных санкций, считая это проявлением великодушия и силы страны, а не слабости. Вместо этого предлагается сосредоточиться на решении внутренних проблем и укреплении собственной экономики.", + "sample": { + "src_sents": [ + "Российская Федерация начинает проработку ответных мер в связи с расширением США антироссийских санкций.", + "На сей раз такую реакцию в Москве вызвало расширение санкционных списков по КНДР, в которые вошли четверо россиян, имена которых мало кому известны в нашей стране.", + "Сергей Рябков заявил, что Вашингтон вновь «наступил на те же грабли».", + "Что США продолжили заданный еще администрацией Барака Обамы «тренд» на последовательный развал двусторонних отношений.", + "Если мы перестанем поставлять в США ракетные двигатели или титан, это скорее ударит по важному для наших производителей рынку сбыта, чем по Америке.", + "В принципе, конкретно против США у России не остается никаких контрсанкций, которые не наталкивают на мысль об адекватности нынешнего отечественного подхода.", + "Однако сейчас, кажется, настало время нам самим прекращать эту войну санкций.", + "Отказ от ответных санкций сейчас вполне можно подавать как признак великодушия и силы России, а не ее слабости.", + "Мы, мол, не уподобляемся тем, кто ведет глупую, неэффективную и пагубную политику.", + "Нет смысла каждый раз отвечать на санкции, особенно если нам нечем ответить по существу.", + "Вряд ли стоит тратить креативные усилия российских чиновников на изобретение новых способов нанести санкционный ущерб противникам.", + "Лучше направить эти усилия на решение проблем нашей страны.", + "Разумнее делать сильнее Россию, а не пытаться ослабить «врага» мерами, которые практически не имеют к нему отношения." + ], + "summary_sents": [ + "У России нет эффективных экономических способов ведения дальнейшей санкционной войны с Западом, прежде всего с Америкой.", + "А политический эффект от подобных ответных санкций уже не столь велик, чтобы им нельзя было безболезненно пожертвовать.", + "Зато добровольный отказ от новых санкций со стороны Москвы не только стал бы жестом здравого смысла, но еще и мог быть подан как доказательство того, что российские власти гораздо адекватнее американских." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 4, + 5, + 7, + 8, + 10, + 11 + ], + "category": "comments" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Российская Федерация начинает проработку ответных мер в связи с расширением США антироссийских санкций. На сей раз такую реакцию в Москве вызвало расширение санкционных списков по КНДР, в которые вошли четверо россиян, имена которых мало кому известны в нашей стране. Сергей Рябков заявил, что Вашингтон вновь «наступил на те же грабли». Что США продолжили заданный еще администрацией Барака Обамы «тренд» на последовательный развал двусторонних отношений. Если мы перестанем поставлять в США ракетные двигатели или титан, это скорее ударит по важному для наших производителей рынку сбыта, чем по Америке. В принципе, конкретно против США у России не остается никаких контрсанкций, которые не наталкивают на мысль об адекватности нынешнего отечественного подхода. Однако сейчас, кажется, настало время нам самим прекращать эту войну санкций. Отказ от ответных санкций сейчас вполне можно подавать как признак великодушия и силы России, а не ее слабости. Мы, мол, не уподобляемся тем, кто ведет глупую, неэффективную и пагубную политику. Нет смысла каждый раз отвечать на санкции, особенно если нам нечем ответить по существу. Вряд ли стоит тратить креативные усилия российских чиновников на изобретение новых способов нанести санкционный ущерб противникам. Лучше направить эти усилия на решение проблем нашей страны. Разумнее делать сильнее Россию, а не пытаться ослабить «врага» мерами, которые практически не имеют к нему отношения.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 325, + "generated_len": [ + 165 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.43298969072164945, + "rouge2": 0.2105263157894737 + }, + "predict": " МИД Литвы объявил о отзыве посла в России Рямигиюса Мотузаса из-за угроз, связанных с приговором по «делу 13 января» и коррупционным скандалом с выдачей виз. Посол также обладает статусом специального свидетеля в деле о незаконной выдаче шенгенских виз. Это решение отражает уязвимость посольства и его сотрудников, а также ставит под сомнение репутацию Мотузаса в контексте его роли в коррупционных процессах.", + "sample": { + "src_sents": [ + "МИД Литвы в четверг сообщил, что посол в России Рямигиюс Мотузас будет отозван для консультаций, так как становится «уязвимым» из-за угроз после вердикта суда по «делу 13 января» и расследования дела о коррупционном скандале во время выдачи виз при бывшем после.", + "«Посол отзывается для консультаций из-за уязвимости, обусловленной угрозами, которые получило посольство, сотрудники посольства и посол после приговора в «деле 13 января», — сообщила пресс-атташе министра иностранных дел Литвы Раса Якилайтене.", + "Министр иностранных дел Литвы также отметил, что ситуацию с Мотузасом осложняет наличие у него статуса специального свидетеля, который ему присвоили в рамках дела о незаконной выдаче шенгенских виз совладельцу Нового промышленного банка Ринату Насырову и его сыну.", + "Глава МИД Литвы добавил , что послу, возможно, некоторое время «лучше не ехать в Россию».", + "Президент страны Даля Грибаускайте подчеркнула, что Мотузас из-за своего статуса бросает тень на дипломатическую службу.", + "Это означает, что лицо, обладающее статусом специального свидетеля, может иметь отношение к преступлению, однако оснований серьезно его подозревать недостаточно.", + "Напомним, что по делу о торговле влиянием в Литве проходят бывший дипломат Римантас Шидлаускас, гражданин РФ, банкир Ринат Насыров и предприниматель Альбинас Беляускас." + ], + "summary_sents": [ + "Литовский посол в России будет отозван из-за «уязвимости».", + "Ему присвоен статус специального свидетеля в рамках дела о злоупотреблении влиянием при выдаче шенгенских виз.", + "Также сообщается, что посол получал угрозы после приговора в деле «13 января»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: МИД Литвы в четверг сообщил, что посол в России Рямигиюс Мотузас будет отозван для консультаций, так как становится «уязвимым» из-за угроз после вердикта суда по «делу 13 января» и расследования дела о коррупционном скандале во время выдачи виз при бывшем после. «Посол отзывается для консультаций из-за уязвимости, обусловленной угрозами, которые получило посольство, сотрудники посольства и посол после приговора в «деле 13 января», — сообщила пресс-атташе министра иностранных дел Литвы Раса Якилайтене. Министр иностранных дел Литвы также отметил, что ситуацию с Мотузасом осложняет наличие у него статуса специального свидетеля, который ему присвоили в рамках дела о незаконной выдаче шенгенских виз совладельцу Нового промышленного банка Ринату Насырову и его сыну. Глава МИД Литвы добавил , что послу, возможно, некоторое время «лучше не ехать в Россию». Президент страны Даля Грибаускайте подчеркнула, что Мотузас из-за своего статуса бросает тень на дипломатическую службу. Это означает, что лицо, обладающее статусом специального свидетеля, может иметь отношение к преступлению, однако оснований серьезно его подозревать недостаточно. Напомним, что по делу о торговле влиянием в Литве проходят бывший дипломат Римантас Шидлаускас, гражданин РФ, банкир Ринат Насыров и предприниматель Альбинас Беляускас.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 325, + "generated_len": [ + 165 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.23728813559322035, + "rouge2": 0.05172413793103448 + }, + "predict": " Вероника Дударова, дочь осетинского инженера, стала выдающимся дирижером оркестра, преодолевая стереотипы о том, что эта профессия принадлежит исключительно мужчинам. С детства увлеченная музыкой, она стремилась стать не просто дирижёром, но и лидером оркестра. Несмотря на бытовые трудности, связанные с поиском подходящих платьев для дирижирования, Дударова всегда находила способы справиться с ними, возможно, благодаря своему характеру, сформированному в детстве. В прессе её называли «огненным дирижером», «железной Вероникой», «Чингисханом в юбке» и «королевой бисов». На одном из её портретов, выполненного художницей Джулианой Чен, Дударова дирижирует буквами Google, демонстрируя свою выразительную манеру дирижирования.", + "sample": { + "src_sents": [ + "Вероника Дударова стала режиссером тогда, когда эта профессия считалась исключительно мужской.", + "Но она, занимавшаяся музыкой с раннего детства, считала, что главное в музыке — это оркестр, и хотел быть главной над главным.", + "Потом, она, конечно, жаловалась на трудности — в основном бытового характера: например, что трудно найти подходящие для дирижирования платья.", + "Но всегда умела справиться — возможно, в силу заложенного в том же детстве характера.", + "Вероника Дударова родилась в Баку в семье инженера-нефтяника — осетина, происходившего из старинного аристократического рода.", + "В пресс-релизе компании указывается, что современники называли ее «огненный дирижер», «железная Вероника», «Чингисхан в юбке» — и, конечно, «королева бисов».", + "На рисунке, созданном дудлером Джулианой Чен (Juliana Chen), Вероника Дударова в привычной ей экспрессивной манере дирижирует буквами Google." + ], + "summary_sents": [ + "5 декабря исполнилось 101 год со дня рождения прославленного дирижера и педагога Вероники Дударовой — первой женщине-дирижеру в СССР.", + "Современники называли ее «железной Вероникой» и «огненным дирижером»." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 5 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Вероника Дударова стала режиссером тогда, когда эта профессия считалась исключительно мужской. Но она, занимавшаяся музыкой с раннего детства, считала, что главное в музыке — это оркестр, и хотел быть главной над главным. Потом, она, конечно, жаловалась на трудности — в основном бытового характера: например, что трудно найти подходящие для дирижирования платья. Но всегда умела справиться — возможно, в силу заложенного в том же детстве характера. Вероника Дударова родилась в Баку в семье инженера-нефтяника — осетина, происходившего из старинного аристократического рода. В пресс-релизе компании указывается, что современники называли ее «огненный дирижер», «железная Вероника», «Чингисхан в юбке» — и, конечно, «королева бисов». На рисунке, созданном дудлером Джулианой Чен (Juliana Chen), Вероника Дударова в привычной ей экспрессивной манере дирижирует буквами Google.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 237, + "generated_len": [ + 165 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3945578231292517, + "rouge2": 0.08275862068965517 + }, + "predict": " Конституционный суд Молдавии временно отстранил президента Игоря Додона от исполнения обязанностей, чтобы он не мог подписывать законы, не одобряемые парламентом. Это решение было инициировано спикером парламента и несколькими депутатами, которые указали на отказ Додона подписать пять законов, повторно одобренных парламентом. Додон считает, что его отстранение — это «последние вздохи уходящего парламента», и обещает отменить эти законы после выборов в феврале. По мнению некоторых экспертов, временная отставка Додона выгодна его партии и президенту, так как позволяет избежать имиджевых потерь при подписании важных решений.", + "sample": { + "src_sents": [ + "Конституционный суд Молдавии в очередной раз отстранил президента страны Игоря Додон а от исполнения обязанностей, чтобы утвердить законы, которые тот не подписал.", + "Председатель КС Михай Поалелунжь, комментируя ситуацию, подчеркнул, что временная отставка главы государства оправданна, так как Додон отказывается «выполнить конституционные обязательства» и одобрить законопроекты, утвержденные парламентом.", + "После временного отстранения Додона исполняющим обязанности президента автоматически становится председатель парламента, который подпишет законы, отметил глава КС.", + "Запрос о временной отставке главы республики направили в КС спикер парламента Андриан Канду и депутат-демократ Сергей Сырбу, указав, что президент отказался подписать пять законов, повторно одобренных парламентом.", + "Одна из инициатив предполагает передачу участка земли бывшего республиканского стадиона под строительство посольства США, другая устанавливает, что 9 мая граждане страны будут отмечать не только День Победы, но и День Европы.", + "При этом президент считает, что это «последние вздохи уходящего парламента, полномочия которого закончились 30 ноября».", + "«Выборы [парламента] — 24 февраля, я уверен, что мы победим и отменим все эти законы», — заключил Додон.", + "По его словам, после парламентских выборов попытки временно отстранить его от должности прекратятся, особенно, если большинство получат его сторонники — Партия социалистов.", + "Последний вариант будет более демократическим, считает политик.", + "«Если пропрезидентская партия после выборов получит парламентское большинство, то она может отменить эту процедуру решением КС. Второй метод — это выйти на протесты и силовым путем нынешнюю власть отстранить, но я не сторонник силовых методов», — отметил Додон в беседе с РИА «Новости» , подчеркнув, что выбрал «демократический путь».", + "Согласно Конституции страны, глава республики имеет право один раз вернуть на рассмотрение парламента закон, с которым не согласен.", + "При повторном отказе подписать инициативу президента могут временно отстранить от должности.", + "Так, в сентябре нынешнего года КС страны применил эту меру в отношении президента из-за его отказа утвердить новых министров.", + "Глава молдавского общественного совета «За свободную Родину» Игорь Тулянцев тогда прокомментировал ситуацию и заявил, что временная отставка выгодна самому Додону.", + "«Эта «отставка на пять минут», уже привычная нашему президенту, так как это происходит не в первый раз, на самом деле спасает Игоря Николаевича Додона и его взаимоотношения с электоратом республики. Потому что ни для кого не секрет, что президент входит в ту систему нынешнего олигархического режима, которую выстроило руководство демократической партии республики Молдова. И все решения, нужные этой партии, Игорь Додон и его партия социалистов проводят без нареканий. Но бывают такие моменты, когда Додон может понести сильные имиджевые потери. Например, если он бы подписал сейчас решение о назначении министров. И его партия сильно бы потеряла от такого шага. Поэтому данное отстранение больше выгодно Додону и его партии, нежели нынешнему режиму. Это все, чем руководствуется президент и его партия. Больше никаких оснований для неподписания решения нет», — заявил Тулянцев в эфире НСН.", + "Он также выразил уверенность, что Додон вернется на свой пост после назначения нужных людей на посты министров." + ], + "summary_sents": [ + "Президента Молдавии Игоря Додона в пятый раз временно отстранили от должности.", + "Решение принял Конституционный суд страны в связи с тем, что Додон отказался подписать пять законов, одобренных парламентом.", + "Глава республики заявил, что после парламентских выборов 24 февраля он в любом случае отменит принятые без его одобрения инициативы.", + "Ранее КС Молдавии уже отстранял политика от должности, чтобы назначить на посты министров, кандидатуры которых не одобрил президент." + ], + "support_labels": [ + "NO", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 3, + 6, + 12 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Конституционный суд Молдавии в очередной раз отстранил президента страны Игоря Додон а от исполнения обязанностей, чтобы утвердить законы, которые тот не подписал. Председатель КС Михай Поалелунжь, комментируя ситуацию, подчеркнул, что временная отставка главы государства оправданна, так как Додон отказывается «выполнить конституционные обязательства» и одобрить законопроекты, утвержденные парламентом. После временного отстранения Додона исполняющим обязанности президента автоматически становится председатель парламента, который подпишет законы, отметил глава КС. Запрос о временной отставке главы республики направили в КС спикер парламента Андриан Канду и депутат-демократ Сергей Сырбу, указав, что президент отказался подписать пять законов, повторно одобренных парламентом. Одна из инициатив предполагает передачу участка земли бывшего республиканского стадиона под строительство посольства США, другая устанавливает, что 9 мая граждане страны будут отмечать не только День Победы, но и День Европы. При этом президент считает, что это «последние вздохи уходящего парламента, полномочия которого закончились 30 ноября». «Выборы [парламента] — 24 февраля, я уверен, что мы победим и отменим все эти законы», — заключил Додон. По его словам, после парламентских выборов попытки временно отстранить его от должности прекратятся, особенно, если большинство получат его сторонники — Партия социалистов. Последний вариант будет более демократическим, считает политик. «Если пропрезидентская партия после выборов получит парламентское большинство, то она может отменить эту процедуру решением КС. Второй метод — это выйти на протесты и силовым путем нынешнюю власть отстранить, но я не сторонник силовых методов», — отметил Додон в беседе с РИА «Новости» , подчеркнув, что выбрал «демократический путь». Согласно Конституции страны, глава республики имеет право один раз вернуть на рассмотрение парламента закон, с которым не согласен. При повторном отказе подписать инициативу президента могут временно отстранить от должности. Так, в сентябре нынешнего года КС страны применил эту меру в отношении президента из-за его отказа утвердить новых министров. Глава молдавского общественного совета «За свободную Родину» Игорь Тулянцев тогда прокомментировал ситуацию и заявил, что временная отставка выгодна самому Додону. «Эта «отставка на пять минут», уже привычная нашему президенту, так как это происходит не в первый раз, на самом деле спасает Игоря Николаевича Додона и его взаимоотношения с электоратом республики. Потому что ни для кого не секрет, что президент входит в ту систему нынешнего олигархического режима, которую выстроило руководство демократической партии республики Молдова. И все решения, нужные этой партии, Игорь Додон и его партия социалистов проводят без нареканий. Но бывают такие моменты, когда Додон может понести сильные имиджевые потери. Например, если он бы подписал сейчас решение о назначении министров. И его партия сильно бы потеряла от такого шага. Поэтому данное отстранение больше выгодно Додону и его партии, нежели нынешнему режиму. Это все, чем руководствуется президент и его партия. Больше никаких оснований для неподписания решения нет», — заявил Тулянцев в эфире НСН. Он также выразил уверенность, что Додон вернется на свой пост после назначения нужных людей на посты министров.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 694, + "generated_len": [ + 165 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3893805309734513, + "rouge2": 0.16216216216216217 + }, + "predict": " Глава «Газпрома» Алексей Миллер прогнозирует, что цены на российский газ могут достичь рекордных 500 долларов за баррель в декабре текущего года, что обусловлено высокими ценами на нефть и долгосрочным привязыванием газовых цен к нефтяным. Эксперты указывают, что потребители могут начать требовать увеличения доли разовых поставок в продажах, что усилит конкуренцию с другими поставщиками газа, но также может стимулировать экономический рост и увеличение спроса.", + "sample": { + "src_sents": [ + "«Европейский рынок газа бьет все рекорды: например, в текущем апреле поставки «Газпрома» на экспорт будут больше, чем в отдельные зимние месяцы, а на декабрь мы уже видим цену газа по нашим долгосрочным контрактам на уровне 500 долларов. И, думаю, это не последние рекорды, которые мы зафиксируем в этом году», — заявил глава «Газпрома» Алексей Миллер.", + "До $500 цена уже поднималась — это произошло в третьем квартале 2008 года.", + "Предыдущий рекорд был связан с подорожанием нефти: в июле 2008 года был зафиксирован ценовой максимум на нее — $147,5 за баррель.", + "А газовые цены привязаны к нефтяным с лагом в шесть-девять месяцев.", + "«Когда Миллер прогнозирует высокие цены на газ, он отталкивается не только от собственно роста цен, но и от того факта, что цены на нефть держатся на высоком уровне на протяжении длительного времени», — подтверждает аналитик UBS Константин Черепанов.", + "Если цена на нефть продержится в течение 9 месяцев хотя бы на уровне $113, к концу года газ действительно будет стоить $500, говорит эксперт.", + "Но вопрос в том, захотят ли потребители покупать по такой цене российский газ.", + "«Сейчас цена разовых поставок сравнима с контрактной ($342), но, если контракт вырастет до $500, потребители могут начать требовать увеличить долю разовых поставок в продажах», — предупреждает Лютягин.", + "«Потребитель постарается максимально сэкономить, давление других поставщиков газа усилится», — говорит Черепанов.", + "Впрочем, это, по словам эксперта, будет отчасти компенсировано увеличением спроса, вызванным общим экономическим ростом." + ], + "summary_sents": [ + "Цена на газ по долгосрочным контрактам для Европы вырастет к концу года до рекордных $500 за 1 тысячу кубометров, ожидают в «Газпроме».", + "Для этого достаточно, чтобы цена на нефть продержалась на уровне $113 за баррель в течение 9 месяцев, подтверждают аналитики.", + "Но высокие цены могут сократить спрос на российский газ." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 8 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: «Европейский рынок газа бьет все рекорды: например, в текущем апреле поставки «Газпрома» на экспорт будут больше, чем в отдельные зимние месяцы, а на декабрь мы уже видим цену газа по нашим долгосрочным контрактам на уровне 500 долларов. И, думаю, это не последние рекорды, которые мы зафиксируем в этом году», — заявил глава «Газпрома» Алексей Миллер. До $500 цена уже поднималась — это произошло в третьем квартале 2008 года. Предыдущий рекорд был связан с подорожанием нефти: в июле 2008 года был зафиксирован ценовой максимум на нее — $147,5 за баррель. А газовые цены привязаны к нефтяным с лагом в шесть-девять месяцев. «Когда Миллер прогнозирует высокие цены на газ, он отталкивается не только от собственно роста цен, но и от того факта, что цены на нефть держатся на высоком уровне на протяжении длительного времени», — подтверждает аналитик UBS Константин Черепанов. Если цена на нефть продержится в течение 9 месяцев хотя бы на уровне $113, к концу года газ действительно будет стоить $500, говорит эксперт. Но вопрос в том, захотят ли потребители покупать по такой цене российский газ. «Сейчас цена разовых поставок сравнима с контрактной ($342), но, если контракт вырастет до $500, потребители могут начать требовать увеличить долю разовых поставок в продажах», — предупреждает Лютягин. «Потребитель постарается максимально сэкономить, давление других поставщиков газа усилится», — говорит Черепанов. Впрочем, это, по словам эксперта, будет отчасти компенсировано увеличением спроса, вызванным общим экономическим ростом.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 388, + "generated_len": [ + 143 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.24000000000000005, + "rouge2": 0.06504065040650407 + }, + "predict": " Корпорация Google приобрела производителя мобильных телефонов Motorola Mobility за $12,5 млрд, что стало крупнейшей сделкой в сфере беспроводной связи за последние десять лет. Акционеры Motorola получили по $40 за акцию, что на 63% выше рыночной цены. Сделка предполагает, что Google сможет ускорить инновации в области мобильных устройств с помощью платформы Android, а также укрепить патентную защиту от конкурентов. Ларри Пейдж, генеральный директор Google, выразил уверенность в том, что Motorola станет мощным инструментом для роста и создания дополнительной стоимости компании.", + "sample": { + "src_sents": [ + "Корпорация Google договорилась о покупке производителя телефонов Motorola Mobility за $12,5 млрд, сообщают компании.", + "Акционеры Motorola получат по $40 за 1 акцию в денежной форме.", + "Это на 63% выше стоимости бумаг Motorola на закрытии торгов на Нью-Йоркской фондовой бирже в пятницу.", + "В понедельник на открытии торгов акции Motorola подскочили в цене на 61%, капитализация компании выросла на $4,5 млрд — до $11,7 млрд, передает Bloomberg.", + "Эта сделка — крупнейшая на рынке беспроводной связи за последние десять лет, подсчитали эксперты агентства.", + "В корпорации надеются, что покупка позволит ей получить «огромный толчок к развитию инноваций», в частности «создать наддув» при внедрении платформы Google Android для мобильных устройств.", + "«Я верю, что Motorola — это отличная платформа для роста, для создания дополнительной стоимости компании. Ее патенты помогут нам защититься от угроз конкурентов, таких как Microsoft , Apple », — заявил гендиректор Google Ларри Пейдж." + ], + "summary_sents": [ + "Корпорация Google покупает мобильный бизнес Motorola за $12,5 млрд, с 63-процентной наценкой к рынку.", + "Это «нормальная премия» за пакет патентов, который позволит конкурировать со всеми крупными производителями смартфонов, уверены аналитики.", + "Инвесторы согласны: после объявления о продаже капитализация Motorola выросла на $4,5 млрд." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 3 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Корпорация Google договорилась о покупке производителя телефонов Motorola Mobility за $12,5 млрд, сообщают компании. Акционеры Motorola получат по $40 за 1 акцию в денежной форме. Это на 63% выше стоимости бумаг Motorola на закрытии торгов на Нью-Йоркской фондовой бирже в пятницу. В понедельник на открытии торгов акции Motorola подскочили в цене на 61%, капитализация компании выросла на $4,5 млрд — до $11,7 млрд, передает Bloomberg. Эта сделка — крупнейшая на рынке беспроводной связи за последние десять лет, подсчитали эксперты агентства. В корпорации надеются, что покупка позволит ей получить «огромный толчок к развитию инноваций», в частности «создать наддув» при внедрении платформы Google Android для мобильных устройств. «Я верю, что Motorola — это отличная платформа для роста, для создания дополнительной стоимости компании. Ее патенты помогут нам защититься от угроз конкурентов, таких как Microsoft , Apple », — заявил гендиректор Google Ларри Пейдж.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 242, + "generated_len": [ + 143 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.34782608695652173, + "rouge2": 0.11940298507462686 + }, + "predict": " В Минобороны России сообщили о попытке террористов использовать химоружие в Идлби для срыва наступления сирийских войск в Серакиб. Операция была сорвана из-за утечки отравляющих веществ, что вызвало обострение обстановки в регионе, где ранее Россия и Турция пытались установить перемирие.", + "sample": { + "src_sents": [ + "Террористы попытались устроить провокацию с использованием химоружия в сирийском Идилбе, заявили в Минобороны России.", + "Доказательства подготовки акции были получены после атаки армии Сирии на боевиков запрещенной в РФ террористической группировки «Хайат Тахрир аш-Шам».", + "Боевики планировали использовать химоружие, чтобы сорвать продвижение сирийских войск в населенном пункте Серакиб, добавили в ведомстве, также боевики рассчитывали в дальнейшем переложить вину за использование такого оружия на сирийцев.", + "«2 марта в темное время суток группа террористов численностью до 15 человек предприняла попытку взорвать фугасные боеприпасы вместе с емкостями, наполненными отравляющими химическими веществами», — указали в Минобороны.", + "Однако боевики самостоятельно сорвали собственную акцию, герметичность одной из емкостей была нарушена, и произошла утечка химвеществ.", + "Ситуация в Идлибе обострилась в январе, когда Россия и Турция попытались установить в регионе режим прекращения огня.", + "В ответ боевики, напротив, усилили атаки против армии Сирии в регионе." + ], + "summary_sents": [ + "В Идлибе боевики сорвали собственную провокацию с использованием химоружия, повредив одну из емкостей с отравляющими веществами, заявили в Минобороны России.", + "С помощью акции террористы рассчитывали помешать наступлению сирийской армии." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 3, + 4 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Террористы попытались устроить провокацию с использованием химоружия в сирийском Идилбе, заявили в Минобороны России. Доказательства подготовки акции были получены после атаки армии Сирии на боевиков запрещенной в РФ террористической группировки «Хайат Тахрир аш-Шам». Боевики планировали использовать химоружие, чтобы сорвать продвижение сирийских войск в населенном пункте Серакиб, добавили в ведомстве, также боевики рассчитывали в дальнейшем переложить вину за использование такого оружия на сирийцев. «2 марта в темное время суток группа террористов численностью до 15 человек предприняла попытку взорвать фугасные боеприпасы вместе с емкостями, наполненными отравляющими химическими веществами», — указали в Минобороны. Однако боевики самостоятельно сорвали собственную акцию, герметичность одной из емкостей была нарушена, и произошла утечка химвеществ. Ситуация в Идлибе обострилась в январе, когда Россия и Турция попытались установить в регионе режим прекращения огня. В ответ боевики, напротив, усилили атаки против армии Сирии в регионе.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 250, + "generated_len": [ + 143 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.40860215053763443, + "rouge2": 0.26373626373626374 + }, + "predict": " Исследование из Университета Айовы показало, что систематический отказ от завтрака увеличивает риск смерти от сердечно-сосудистых заболеваний почти вдвое, что связано с повышенным риском ожирения, гипертонии, диабета 2 типа и метаболического синдрома. Однако, авторы подчеркивают, что их данные лишь указывают на связь, а не на прямую зависимость, и требуют дальнейшего изучения механизмов, способствующих этому риску.", + "sample": { + "src_sents": [ + "Систематический отказ от завтрака повышает риск смерти от сердечно-сосудистых заболеваний почти в два раза, выяснили исследователи из Университета Айовы.", + "«Завтрак традиционно считается самым, или, по крайней мере, одним из самых важных приемов пищи в течение дня, но нет достаточного количества данных, чтобы сказать, насколько он важен на самом деле, — поясняет эпидемиолог Вэй Бао, ведущий автор исследования. — Наша статья показывает, что долгосрочные выгоды действительно есть».", + "В основу исследования легли данные Национального обследования здоровья и питания — программы ежегодных опросов и медицинских осмотров населения, направленных на то, чтобы связь демографических, экономических, поведенческих и других аспектов со здоровьем.", + "Используя данные, собранные в 1988-1994 годах, авторы работы отобрали 6550 участников в возрасте 40-75 лет, у которых в анамнезе не было сердечно-сосудистых заболеваний или рака.", + "За это время умерли 2318 участников исследования, 619 из них — от сердечно-сосудистых заболеваний.", + "Как оказалось, те, кто никогда не завтракал, на 87% чаще умирали от сердечно-сосудистых заболеваний, чем те, кто завтракал каждый день.", + "«Существует несколько факторов риска развития сердечно-сосудистых заболеваний, — поясняет Бао. — например, диабет, гипертония, нарушения липидного обмена. Наши результаты соответствуют полученным ранее данным, которые показывают, что пропуск завтрака повышает риск смерти от сердечно-сосудистых заболеваний».", + "Как отмечают авторы работы, отказ от завтрака был связан с повышенным риском ожирения, повышения уровня холестерина в крови, высокого давления, диабета 2 типа, метаболического синдрома и болезней сердца.", + "Кроме того, исследование показало лишь связь между отказом от завтрака и ростом риска смерти от сердечно-сосудистых заболеваний, но не выявило, что отказ обязательно приведет к таким печальным последствиям.", + "Необходимо более тщательно изучить, действительно ли пропуск приема пищи повышает риск смерти от сердечно-сосудистых заболеваний и каковы механизмы, которые к этому приводят, отмечают они.", + "Кроме того, у тех участников исследования, которые пропускали завтрак, в целом был наименее здоровый образ жизни." + ], + "summary_sents": [ + "Частый отказ от завтрака повышает риск смерти от сердечно-сосудистых заболеваний почти вдвое, выяснили американские ученые.", + "Систематический пропуск первого приема пищи оказался связан с развитием ожирения, диабета 2 типа, повышением уровня холестерина в крови и другими опасными состояниями." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 7 + ], + "category": "science" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Систематический отказ от завтрака повышает риск смерти от сердечно-сосудистых заболеваний почти в два раза, выяснили исследователи из Университета Айовы. «Завтрак традиционно считается самым, или, по крайней мере, одним из самых важных приемов пищи в течение дня, но нет достаточного количества данных, чтобы сказать, насколько он важен на самом деле, — поясняет эпидемиолог Вэй Бао, ведущий автор исследования. — Наша статья показывает, что долгосрочные выгоды действительно есть». В основу исследования легли данные Национального обследования здоровья и питания — программы ежегодных опросов и медицинских осмотров населения, направленных на то, чтобы связь демографических, экономических, поведенческих и других аспектов со здоровьем. Используя данные, собранные в 1988-1994 годах, авторы работы отобрали 6550 участников в возрасте 40-75 лет, у которых в анамнезе не было сердечно-сосудистых заболеваний или рака. За это время умерли 2318 участников исследования, 619 из них — от сердечно-сосудистых заболеваний. Как оказалось, те, кто никогда не завтракал, на 87% чаще умирали от сердечно-сосудистых заболеваний, чем те, кто завтракал каждый день. «Существует несколько факторов риска развития сердечно-сосудистых заболеваний, — поясняет Бао. — например, диабет, гипертония, нарушения липидного обмена. Наши результаты соответствуют полученным ранее данным, которые показывают, что пропуск завтрака повышает риск смерти от сердечно-сосудистых заболеваний». Как отмечают авторы работы, отказ от завтрака был связан с повышенным риском ожирения, повышения уровня холестерина в крови, высокого давления, диабета 2 типа, метаболического синдрома и болезней сердца. Кроме того, исследование показало лишь связь между отказом от завтрака и ростом риска смерти от сердечно-сосудистых заболеваний, но не выявило, что отказ обязательно приведет к таким печальным последствиям. Необходимо более тщательно изучить, действительно ли пропуск приема пищи повышает риск смерти от сердечно-сосудистых заболеваний и каковы механизмы, которые к этому приводят, отмечают они. Кроме того, у тех участников исследования, которые пропускали завтрак, в целом был наименее здоровый образ жизни.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 486, + "generated_len": [ + 143 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.345679012345679, + "rouge2": 0.10126582278481013 + }, + "predict": " В плей-офф НБА «Денвер» одержал важную победу над «Лейкерс», где Тимофей Мозгов впервые сыграл в стартовой пятерке. В матче «Филадельфия» — «Чикаго» счет 79:74 в пользу «Филадельфии». «Бостон» победил «Атланту» в гостях 90:84, увеличив преимущество в серии «Селтикс» 2-1. Следующее противостояние состоится в Бостоне.", + "sample": { + "src_sents": [ + "«Денверу» после двух поражений на выезде в противостоянии с «Лейкерс» победа была просто необходима.", + "Центровой «Денвера» Тимофей Мозгов впервые в нынешнем плей-офф вышел в стартовом составе.", + "И уже на второй минуте отметился нарушением «правила трех секунд».", + "К тому времени гости были впереди 4:0 – кольцо поразили Девин Ибанкс и Пау Газоль.", + "Лоусон в итоге набрал 25 очков, Макги – 16, а Коби Брайант с чрезвычайно низким показателем точности (около 30 %) – 22.", + "Филадельфия — Чикаго — 79:74 (19:20, 21:19, 11:21, 28:14) Бостон — Атланта — 90:84 ОТ (17:19, 23:19, 20:20, 20:22, 10:4) «Филадельфия» вышла вперед в противостоянии с «Чикаго», одолев «быков» на своем паркете – 79:74.", + "«Бостон» во второй раз обыграл «Атланту», на этот раз дома – 90:84.", + "Следующий матч серии, в которой пока впереди «Селтикс» 2-1, пройдет в воскресенье в Бостоне.", + "Другие материалы и новости можно посмотреть на странице НБА." + ], + "summary_sents": [ + "Пять подборов Тимофея Мозгова поспособствовали домашней победе «Денвера» над «Лейкерс», благодаря чему «самородки» сократили отставание в серии 1/8 финала плей-офф НБА.", + "«Бостон» на своем паркете обыграл «Атланту», а «Филадельфия» одолела «Чикаго»." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 5, + 6 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: «Денверу» после двух поражений на выезде в противостоянии с «Лейкерс» победа была просто необходима. Центровой «Денвера» Тимофей Мозгов впервые в нынешнем плей-офф вышел в стартовом составе. И уже на второй минуте отметился нарушением «правила трех секунд». К тому времени гости были впереди 4:0 – кольцо поразили Девин Ибанкс и Пау Газоль. Лоусон в итоге набрал 25 очков, Макги – 16, а Коби Брайант с чрезвычайно низким показателем точности (около 30 %) – 22. Филадельфия — Чикаго — 79:74 (19:20, 21:19, 11:21, 28:14) Бостон — Атланта — 90:84 ОТ (17:19, 23:19, 20:20, 20:22, 10:4) «Филадельфия» вышла вперед в противостоянии с «Чикаго», одолев «быков» на своем паркете – 79:74. «Бостон» во второй раз обыграл «Атланту», на этот раз дома – 90:84. Следующий матч серии, в которой пока впереди «Селтикс» 2-1, пройдет в воскресенье в Бостоне. Другие материалы и новости можно посмотреть на странице НБА.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 338, + "generated_len": [ + 143 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5, + "rouge2": 0.2727272727272727 + }, + "predict": " Евросоюз ввел временные ограничения на поставки мяса птицы и птицеводческой продукции из России из-за вспышки высокопатогенного гриппа птиц, что негативно сказывается на экспортном потенциале российского птицеводства. Вирус угрожает внутренним рынкам, вызывая значительные убытки для предприятий и потенциальный дефицит мяса птицы. Ситуация требует комплексного решения, включая увеличение инвестиций в профилактику и контроль за качеством продукции.", + "sample": { + "src_sents": [ + "Евросоюз ввел временные ограничения на поставки мяса птицы и птицеводческой продукции из России, отмечается в материалах Россельхознадзора. » В связи с возникновением на территории ряда областей Российской Федерации очагов высокопатогенного гриппа птиц Генеральным директоратом по здравоохранению и безопасности пищевых продуктов Еврокомиссии введены временные ограничения на поставки в ЕС со всех предприятий, осуществляющих деятельность на территории РФ следующих видов товаров: мяса птиц, полуфабрикатов из мяса птиц», - говорится в документе ведомства.", + "Это не первый случай ограничений на закупку российской птицеводческой продукции.", + "Так, в конце июня ограничения на импорт из нескольких птицефабрик России из-за птичьего гриппа ввели Белоруссия и Казахстан.", + "Причем последний по итогам прошлого года стал одним из главных покупателей российского мяса птицы, импортировав, по данным Федеральной таможенной службы, 28,9 тыс. тонн на $36,7 млн.", + "Эксперты ранее предупреждали, что распространение гриппа птиц угрожает экспортному потенциалу отечественного птицеводства.", + "По данным Международного эпизоотического бюро (МЭБ), только с 7 по 19 июня в России произошло 16 вспышек гриппа птиц.", + "Как минимум двое из них - «Черкизово» и «Даманте» столкнулись со вспышкой птичьего гриппа, охватившей птицефабрики в ряде областей центральной части страны и Поволжья.", + "Для российских птичников это серьезная проблема: только в июне этого года «Черкизово» и «Дамате» были вынуждены уничтожить часть поголовья птиц, а их общий ущерб составил свыше 500 млн рублей.", + "В целом проблема птичьего гриппа в РФ возникает регулярно.", + "Компании должны комплексно решать эту проблему, но это потребует еще больших затрат и времени, а пока птичий вирус может регулярно вносить коррективы в экспортный потенциал российских птичников.", + "При таких объемах уничтожения птицы всегда есть риск, что внутренний рынок может начать испытывать дефицит, чего не было уже несколько лет, предупреждает Жарский.", + "Как уточнили в Роспотребнадзоре, за прошедший период 2018 года вспышки высокопатогенного гриппа птиц зарегистрированы на территории Курской, Самарской, Пензенской, Саратовской, Орловской областей.", + "На территории указанных регионов очаги гриппа птиц установлены в личных подсобных хозяйствах граждан, в Пензенской области очаги гриппа птиц также зарегистрированы на крупных птицеводческих комплексах ООО «ПензаМолИнвест», Колышеский район Пензенской обл. и АО «Птицефабрика Васильевская», ЦРС «Вертуновский» Бековский район Пензенской области Потенциально опасная птицеводческая продукция, производства ООО «ПензаМолИнвест» поступила через ООО «Новые фермы», осуществляющее хранение и реализацию этой продукции, в период с 18 по 21 июня 2018г. в 34 субьекта РФ, включая Москву, говорится в сообщении на сайте Роспотребнадзора.", + "16 июля также появилась информация, что птичий грипп обнаружен и в Ростовской области на площадках предприятия «Евродон» - одного из крупнейших производителей мяса индейки." + ], + "summary_sents": [ + "Евросоюз ввел временные ограничения на поставки мяса птицы и птицеводческой продукции из России из-за участившихся случаев птичьего гриппа.", + "Ранее запрет на экспорт птицеводческой продукции из ряда регионов РФ ввели Белоруссия и Казахстан.", + "Эксперты отмечают, что массовый забой птиц из-за вируса может привести не только к убыткам производителей, но и к дефициту продукции на внутреннем рынке." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2, + 7, + 10 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Евросоюз ввел временные ограничения на поставки мяса птицы и птицеводческой продукции из России, отмечается в материалах Россельхознадзора. » В связи с возникновением на территории ряда областей Российской Федерации очагов высокопатогенного гриппа птиц Генеральным директоратом по здравоохранению и безопасности пищевых продуктов Еврокомиссии введены временные ограничения на поставки в ЕС со всех предприятий, осуществляющих деятельность на территории РФ следующих видов товаров: мяса птиц, полуфабрикатов из мяса птиц», - говорится в документе ведомства. Это не первый случай ограничений на закупку российской птицеводческой продукции. Так, в конце июня ограничения на импорт из нескольких птицефабрик России из-за птичьего гриппа ввели Белоруссия и Казахстан. Причем последний по итогам прошлого года стал одним из главных покупателей российского мяса птицы, импортировав, по данным Федеральной таможенной службы, 28,9 тыс. тонн на $36,7 млн. Эксперты ранее предупреждали, что распространение гриппа птиц угрожает экспортному потенциалу отечественного птицеводства. По данным Международного эпизоотического бюро (МЭБ), только с 7 по 19 июня в России произошло 16 вспышек гриппа птиц. Как минимум двое из них - «Черкизово» и «Даманте» столкнулись со вспышкой птичьего гриппа, охватившей птицефабрики в ряде областей центральной части страны и Поволжья. Для российских птичников это серьезная проблема: только в июне этого года «Черкизово» и «Дамате» были вынуждены уничтожить часть поголовья птиц, а их общий ущерб составил свыше 500 млн рублей. В целом проблема птичьего гриппа в РФ возникает регулярно. Компании должны комплексно решать эту проблему, но это потребует еще больших затрат и времени, а пока птичий вирус может регулярно вносить коррективы в экспортный потенциал российских птичников. При таких объемах уничтожения птицы всегда есть риск, что внутренний рынок может начать испытывать дефицит, чего не было уже несколько лет, предупреждает Жарский. Как уточнили в Роспотребнадзоре, за прошедший период 2018 года вспышки высокопатогенного гриппа птиц зарегистрированы на территории Курской, Самарской, Пензенской, Саратовской, Орловской областей. На территории указанных регионов очаги гриппа птиц установлены в личных подсобных хозяйствах граждан, в Пензенской области очаги гриппа птиц также зарегистрированы на крупных птицеводческих комплексах ООО «ПензаМолИнвест», Колышеский район Пензенской обл. и АО «Птицефабрика Васильевская», ЦРС «Вертуновский» Бековский район Пензенской области Потенциально опасная птицеводческая продукция, производства ООО «ПензаМолИнвест» поступила через ООО «Новые фермы», осуществляющее хранение и реализацию этой продукции, в период с 18 по 21 июня 2018г. в 34 субьекта РФ, включая Москву, говорится в сообщении на сайте Роспотребнадзора. 16 июля также появилась информация, что птичий грипп обнаружен и в Ростовской области на площадках предприятия «Евродон» - одного из крупнейших производителей мяса индейки.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 696, + "generated_len": [ + 143 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.1, + "rouge2": 0.0 + }, + "predict": " Последствия аварии на АЭС «Фукусима-1» в Японии пока не ясны, но страна демонстрирует устойчивость и порядок, несмотря на возможные претензии. Распространение информации в интернете и конкуренция слухов с мнениями экспертов усугубляют неопределенность. Японцы, столкнувшиеся с сейсмической напряженностью, осознают важность обсуждения и анализа последствий катастрофы, особенно учитывая потенциальную повторяемость будущих угроз.", + "sample": { + "src_sents": [ + "Последствия аварии на АЭС «Фукусима-1» пока оценить невозможно.", + "Но реакция внутри Японии выглядит наиболее достойным образом.", + "В стране сохраняется порядок, внутренние разборки и возможные претензии к властям отложены на потом.", + "Между тем с такими претензиями выступают вне Японии, причем в том числе и официальные представители государств и международных организаций.", + "Одна из причин ее расползания, очевидно, заключается в уменьшении «информационных размеров» мира с развитием интернета, и с этим, наверное, уже ничего не поделаешь.", + "Но этому сопутствует не сокращение невежества, а, напротив, успешная и в данном случае нездоровая конкуренция слухов с мнениями специалистов, путаница насчет того, какой вес следует придавать высказываниям тех или иных экспертов, повальная уверенность в лживости официальных властей.", + "Все это вовсе не к тому, что обсуждать множество поставленных японской катастрофой вопросов не следует.", + "Напротив, тем более что сами японцы в этом сильнейшим образом заинтересованы хотя бы потому, что, к сожалению, последнее землетрясение, кажется, не разрядило сейсмическую напряженность на островах: геологи ожидали проблем вообще в другой точке, и эти проблемы не исчезли." + ], + "summary_sents": [ + "Одна из причин расползания паники заключается в уменьшении «информационных размеров» мира с развитием интернета.", + "При этом сообщения из неофициальных источников противоречивы и некомпетентны, доверие же к официальным традиционно невысоко." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 4, + 5 + ], + "category": "comments" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Последствия аварии на АЭС «Фукусима-1» пока оценить невозможно. Но реакция внутри Японии выглядит наиболее достойным образом. В стране сохраняется порядок, внутренние разборки и возможные претензии к властям отложены на потом. Между тем с такими претензиями выступают вне Японии, причем в том числе и официальные представители государств и международных организаций. Одна из причин ее расползания, очевидно, заключается в уменьшении «информационных размеров» мира с развитием интернета, и с этим, наверное, уже ничего не поделаешь. Но этому сопутствует не сокращение невежества, а, напротив, успешная и в данном случае нездоровая конкуренция слухов с мнениями специалистов, путаница насчет того, какой вес следует придавать высказываниям тех или иных экспертов, повальная уверенность в лживости официальных властей. Все это вовсе не к тому, что обсуждать множество поставленных японской катастрофой вопросов не следует. Напротив, тем более что сами японцы в этом сильнейшим образом заинтересованы хотя бы потому, что, к сожалению, последнее землетрясение, кажется, не разрядило сейсмическую напряженность на островах: геологи ожидали проблем вообще в другой точке, и эти проблемы не исчезли.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 260, + "generated_len": [ + 143 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.24000000000000002, + "rouge2": 0.06504065040650406 + }, + "predict": " Участники движения «Захвати Уолл-стрит», после разгона их лагеря в Нью-Йорке, провели массовые первомайские демонстрации по всей стране, включая Сиэтл, Нью-Йорк и Окленд. В ходе акций были зафиксированы столкновения с полицией, вандализм и насилие, в том числе в Окленде, где демонстранты разрушили имущество и применили слезоточивый газ. Участники движения, включая анархистов, активно участвовали в акциях протеста, что привело к усилению насилия и вандализма. В Нью-Йорке, где движение началось в сентябре прошлого года, демонстрации проходили мирно, но с участием тысяч участников под аккомпанемент музыки.", + "sample": { + "src_sents": [ + "Участники движения «Захвати Уолл-стрит», которое выпало из поля зрения после того, как был разогнан их лагерь в парке Зукотти Нью-Йорка, провели первомайские демонстрации.", + "В Сиэтле активисты побили окна, в Нью-Йорке были разогнаны полицией на скутерах, в Окленде произошли столкновения с офицерами.", + "И, хотя большинство мероприятий с участием тысяч протестующих прошли мирно и даже празднично, десятки людей были арестованы на митингах по всей стране, в том числе более 30 человек в Нью-Йорке.", + "В Окленде полицейские в защитном снаряжении для разгона протестующих, забрасывавших их различными предметами, применили слезоточивый газ и ослепляющие гранаты.", + "По словам местных чиновников, демонстранты разрушили два банка, полицейский фургон и новый автомобиль.", + "«Я стоял на улице, когда полицейские схватили двух человек в толпе, избили их и поместили в свой автозак», — рассказала организатор демонстраций в Окленде Кейтлин Мэннинг.", + "Мирное шествие превратилось в действия с насилием и вандализмом благодаря людям, одетым в черное, — анархистам в движении «Захвати Уолл-стрит», которые принимали участие в столкновениях с полицией в прошлом году.", + "В центре города Сиэтл протестующие с черными флагами побили окна нескольких магазинов, включая торговый центр «Найк-таун» и банк HSBC.", + "В Нью-Йорке, где движение «Захвати Уолл-стрит» началось в сентябре прошлого года, тысячи людей собрались на площади Юнион-сквер под звуки гитары Тома Морелло из группы Rage Against the Machine.", + "«Это, безусловно, перезапуск «Захвати Уолл-стрит», — сказала Лили Шварцбаум из Нью-Йорка, обучающаяся в Монреале, Канада.", + "Марш начался в 17.30 по местному времени на Бродвее." + ], + "summary_sents": [ + "Движение «Захвати Уолл-стрит» вновь вышло на улицы 1 мая.", + "И, хотя в большинстве городов акции протестующих прошли мирно, несколько десятков человек все же были задержаны.", + "В Окленде и Сиэтле активисты даже разбили окна в нескольких магазинах и банках." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 3, + 4, + 7 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Участники движения «Захвати Уолл-стрит», которое выпало из поля зрения после того, как был разогнан их лагерь в парке Зукотти Нью-Йорка, провели первомайские демонстрации. В Сиэтле активисты побили окна, в Нью-Йорке были разогнаны полицией на скутерах, в Окленде произошли столкновения с офицерами. И, хотя большинство мероприятий с участием тысяч протестующих прошли мирно и даже празднично, десятки людей были арестованы на митингах по всей стране, в том числе более 30 человек в Нью-Йорке. В Окленде полицейские в защитном снаряжении для разгона протестующих, забрасывавших их различными предметами, применили слезоточивый газ и ослепляющие гранаты. По словам местных чиновников, демонстранты разрушили два банка, полицейский фургон и новый автомобиль. «Я стоял на улице, когда полицейские схватили двух человек в толпе, избили их и поместили в свой автозак», — рассказала организатор демонстраций в Окленде Кейтлин Мэннинг. Мирное шествие превратилось в действия с насилием и вандализмом благодаря людям, одетым в черное, — анархистам в движении «Захвати Уолл-стрит», которые принимали участие в столкновениях с полицией в прошлом году. В центре города Сиэтл протестующие с черными флагами побили окна нескольких магазинов, включая торговый центр «Найк-таун» и банк HSBC. В Нью-Йорке, где движение «Захвати Уолл-стрит» началось в сентябре прошлого года, тысячи людей собрались на площади Юнион-сквер под звуки гитары Тома Морелло из группы Rage Against the Machine. «Это, безусловно, перезапуск «Захвати Уолл-стрит», — сказала Лили Шварцбаум из Нью-Йорка, обучающаяся в Монреале, Канада. Марш начался в 17.30 по местному времени на Бродвее.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 434, + "generated_len": [ + 143 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.31683168316831684, + "rouge2": 0.101010101010101 + }, + "predict": " Жители дома № 250 в Екатеринбурге столкнулись с конфликтами с управляющей компанией «Европейский», которая пыталась взимать плату за обслуживание, несмотря на признание ТСЖ нелегитимным. Конфликт перерос в вооруженное столкновение, после которого жильцы восстановили контроль над домом, но столкнулись с новыми проблемами в виде отключений электроэнергии. В надзорном ведомстве и в компании «Европейский» не находят решения конфликта, что приводит к продолжению противостояния между жильцами и управляющей.", + "sample": { + "src_sents": [ + "Жильцы дома № 250 на улице Чкалова в элитном районе Екатеринбурга уже несколько ночей подряд выходят на улицу и дерутся с сотрудниками ЧОП «Европейский».", + "Последняя встреча членов товарищества собственников жилья (ТСЖ) и сотрудников управляющей компании закончилась серьезными ранениями.", + "Руководитель УК «Европейский» Олег Калиман в очередной раз приехал к дому № 250 в окружении охранников, чтобы разобраться с жильцами.", + "Разговор быстро перешел на повышенные тона, а затем житель дома Игорь Игнашин выхватил травматический пистолет и несколько раз выстрелил в Калимана.", + "«Правда, застройщиком выступала другая компания, но в итоге она вынудила нас всех подписать договор на обслуживание с тогда еще ЗАО «Европейский». Грубо говоря, ключи не давали, пока не подпишем бумаги», — рассказал «Газете.Ru» один из жильцов дома Денис, попросивший не указывать его фамилию.", + "Впрочем, никто из жильцов особо и не сопротивлялся, так как всем поскорее хотелось заселиться в новые квартиры, но вскоре они решили расторгнуть с управляющей компанией договор, так как тарифы на свет, воду и другие коммунальные услуги показались им завышенными.", + "В итоге они организовали ТСЖ и взяли обслуживание дома на себя.", + "Правда, уже к февралю 2010 года ТСЖ было признано нелегитимным.", + "«Нашлись какие-то девять жильцов, которые подали против ТСЖ иск, но в судах в итоге работу вели юристы «Европейского», а потом многие из истцов признались, что их обманули и подговорили», — добавляет Вощиков.", + "Пока жильцы организовывали новое ТСЖ, управление снова взяло на себя ЗАО «Европейский», правда, уже под несколько иным названием и с другими реквизитами.", + "Оказалось, что компания находится в стадии банкротства, а платежки стали приходить уже от лица ЗАО УК «Европейский».", + "В итоге, организовав новое ТСЖ, жильцы снова взяли дом на свой баланс, а платить управляющей компании перестали, хотя квитанции от нее исправно продолжали приходить.", + "Не добившись от жильцов денег, представители «Европейского» стали отключать им свет.", + "«Сначала были точечные отключения, а теперь пошли постоянные. Чаще они ходят вместе с мордоворотами-охранниками, поэтому подступиться к ним невозможно, но в последнее время терпение у нас всех лопнуло», — говорит Вощиков.", + "В надзорном ведомстве на их запрос ответили, что требовать с них платы за обслуживание управляющая компания и действительно не имеет права, за что ее ждут взыскания, но положить конец конфликту это все равно не помогает.", + "В «Европейском» сначала комментировали ситуацию в местных СМИ довольно сухо, а сейчас и вовсе отказываются говорить с журналистами, ссылаясь на отсутствие времени.", + "Ранее в местных СМИ представитель компании Валерий Сухов говорил, что конфликт возник исключительно из-за того, что против нее выступают злостные неплательщики." + ], + "summary_sents": [ + "В Екатеринбурге конфликт между товариществом собственников жилья и управляющей компанией, выясняющих, кто должен обслуживать жилой дом, перерос в ежедневные потасовки.", + "Жильцы дома отказываются сотрудничать с управляющей компанией, а та, в свою очередь, постоянно отключает им свет." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 12, + 13 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Жильцы дома № 250 на улице Чкалова в элитном районе Екатеринбурга уже несколько ночей подряд выходят на улицу и дерутся с сотрудниками ЧОП «Европейский». Последняя встреча членов товарищества собственников жилья (ТСЖ) и сотрудников управляющей компании закончилась серьезными ранениями. Руководитель УК «Европейский» Олег Калиман в очередной раз приехал к дому № 250 в окружении охранников, чтобы разобраться с жильцами. Разговор быстро перешел на повышенные тона, а затем житель дома Игорь Игнашин выхватил травматический пистолет и несколько раз выстрелил в Калимана. «Правда, застройщиком выступала другая компания, но в итоге она вынудила нас всех подписать договор на обслуживание с тогда еще ЗАО «Европейский». Грубо говоря, ключи не давали, пока не подпишем бумаги», — рассказал «Газете.Ru» один из жильцов дома Денис, попросивший не указывать его фамилию. Впрочем, никто из жильцов особо и не сопротивлялся, так как всем поскорее хотелось заселиться в новые квартиры, но вскоре они решили расторгнуть с управляющей компанией договор, так как тарифы на свет, воду и другие коммунальные услуги показались им завышенными. В итоге они организовали ТСЖ и взяли обслуживание дома на себя. Правда, уже к февралю 2010 года ТСЖ было признано нелегитимным. «Нашлись какие-то девять жильцов, которые подали против ТСЖ иск, но в судах в итоге работу вели юристы «Европейского», а потом многие из истцов признались, что их обманули и подговорили», — добавляет Вощиков. Пока жильцы организовывали новое ТСЖ, управление снова взяло на себя ЗАО «Европейский», правда, уже под несколько иным названием и с другими реквизитами. Оказалось, что компания находится в стадии банкротства, а платежки стали приходить уже от лица ЗАО УК «Европейский». В итоге, организовав новое ТСЖ, жильцы снова взяли дом на свой баланс, а платить управляющей компании перестали, хотя квитанции от нее исправно продолжали приходить. Не добившись от жильцов денег, представители «Европейского» стали отключать им свет. «Сначала были точечные отключения, а теперь пошли постоянные. Чаще они ходят вместе с мордоворотами-охранниками, поэтому подступиться к ним невозможно, но в последнее время терпение у нас всех лопнуло», — говорит Вощиков. В надзорном ведомстве на их запрос ответили, что требовать с них платы за обслуживание управляющая компания и действительно не имеет права, за что ее ждут взыскания, но положить конец конфликту это все равно не помогает. В «Европейском» сначала комментировали ситуацию в местных СМИ довольно сухо, а сейчас и вовсе отказываются говорить с журналистами, ссылаясь на отсутствие времени. Ранее в местных СМИ представитель компании Валерий Сухов говорил, что конфликт возник исключительно из-за того, что против нее выступают злостные неплательщики.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 647, + "generated_len": [ + 185 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.17647058823529413, + "rouge2": 0.019999999999999997 + }, + "predict": " Система закупок автомобилей для государственных нужд в России проста и прозрачна, позволяя чиновникам выбирать наиболее выгодные предложения. Однако, с принятием нового Бюджетного кодекса и утверждением Национального плана противодействия коррупции, МЭР планирует ввести ограничения на покупку роскошных автомобилей, ограничив их использование только для высших должностных лиц и лиц, защищенных законом. В рамках этой инициативы предполагается анализ потребностей в автомобилях для каждого ведомства и разработка законопроекта, который будет представлен в Думу к концу апреля.", + "sample": { + "src_sents": [ + "Система покупки автомобилей для служебного пользования прозрачна и проста.", + "Нужно разместить на сайте госзакупок заявку с техническими требованиями и выбрать из всех заявок на реализацию тендера самую выгодную по цене.", + "Чтобы получить желаемый автомобиль, нужно лишь написать его точные характеристики, включая габариты, объем двигателя, мощность и список опций, чтобы в тендер не попали даже одноклассники этой машины.", + "Кроме того, сегодня при закупке автопарка у чиновников нет ограничений по цене, оборудованию и объемам.", + "Благодаря такому Бюджетному кодексу, даже чиновник средней руки может приобрести за деньги налогоплательщиков роскошный лимузин стоимостью более 8 млн рублей.", + "Но они появились у Минэкономразвития ( МЭР ), после того как на этой неделе Дмитрий Медведев утвердил Национальный план противодействия коррупции на 2012–2013 годы, согласно которому госслужащие обязаны не только декларировать свое имущество, но и давать разъяснения, из каких доходов приобретены люксовые автомобили и элитная недвижимость.", + "В четверг замглавы МЭР Михаил Осеевский заявил, что министерство решило выйти с инициативой ограничения чиновников в покупке автомобилей.", + "Чиновники должны ездить на автомобилях отечественного производства, считает замглавы МЭР, оговаривая при этом, что к отечественным автомобилям следует относить и иномарки, произведенные в России.", + "Седаны BMW бизнес-класса, которыми пользуются чиновники средней руки, собирают в Калининграде, модели такого же уровня производят под Санкт-Петербургом Toyota и Nissan, а Volkswagen и Skoda собираются под Калугой.", + "Исключение МЭР готово сделать только для первых лиц государства и лиц, охраняемых по закону «О госохране»: только они по планам МЭРа смогут претендовать на покупку люксовых машин иностранного производства.", + "Кроме этого в министерстве планируют провести анализ того, сколько автомобилей и для кого требуется каждому министерству и ведомству.", + "На разработку законопроекта МЭР выделил себе месяц.", + "Осеевский заявил, что готовый документ будет представлен в Госдуму в конце апреля." + ], + "summary_sents": [ + "Минэкономразвития предлагает пересадить мелких чиновников на автомобили отечественного производства, оставив право покупать люксовые иномарки только персонам, подлежащим госохране.", + "Впрочем, отечественными в понимании МЭРа считаются BMW и Toyota, собранные в России." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 7, + 8, + 9 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Система покупки автомобилей для служебного пользования прозрачна и проста. Нужно разместить на сайте госзакупок заявку с техническими требованиями и выбрать из всех заявок на реализацию тендера самую выгодную по цене. Чтобы получить желаемый автомобиль, нужно лишь написать его точные характеристики, включая габариты, объем двигателя, мощность и список опций, чтобы в тендер не попали даже одноклассники этой машины. Кроме того, сегодня при закупке автопарка у чиновников нет ограничений по цене, оборудованию и объемам. Благодаря такому Бюджетному кодексу, даже чиновник средней руки может приобрести за деньги налогоплательщиков роскошный лимузин стоимостью более 8 млн рублей. Но они появились у Минэкономразвития ( МЭР ), после того как на этой неделе Дмитрий Медведев утвердил Национальный план противодействия коррупции на 2012–2013 годы, согласно которому госслужащие обязаны не только декларировать свое имущество, но и давать разъяснения, из каких доходов приобретены люксовые автомобили и элитная недвижимость. В четверг замглавы МЭР Михаил Осеевский заявил, что министерство решило выйти с инициативой ограничения чиновников в покупке автомобилей. Чиновники должны ездить на автомобилях отечественного производства, считает замглавы МЭР, оговаривая при этом, что к отечественным автомобилям следует относить и иномарки, произведенные в России. Седаны BMW бизнес-класса, которыми пользуются чиновники средней руки, собирают в Калининграде, модели такого же уровня производят под Санкт-Петербургом Toyota и Nissan, а Volkswagen и Skoda собираются под Калугой. Исключение МЭР готово сделать только для первых лиц государства и лиц, охраняемых по закону «О госохране»: только они по планам МЭРа смогут претендовать на покупку люксовых машин иностранного производства. Кроме этого в министерстве планируют провести анализ того, сколько автомобилей и для кого требуется каждому министерству и ведомству. На разработку законопроекта МЭР выделил себе месяц. Осеевский заявил, что готовый документ будет представлен в Госдуму в конце апреля.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 449, + "generated_len": [ + 185 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4444444444444445, + "rouge2": 0.16541353383458646 + }, + "predict": " В 14:30 по московскому времени пассажирский самолет Ан-148 авиакомпании «Саратовские авиалинии» исчез с экранов радаров после вылета из Домодедово, загорелся и рухнул в поле возле деревни Аргуново. По факту крушения было возбуждено уголовное дело по части 3 статьи 263 УК РФ. В результате катастрофы погибли 42 человека, включая 31 пассажира и 11 членов экипажа. Расследование проводит СКР, а прокуратура проводит проверку работы диспетчеров и сотрудников обслуживания воздушного судна.", + "sample": { + "src_sents": [ + "Как сообщает Росавиация, спустя несколько минут после вылета из аэропорта Домодедово пассажирский самолет Ан-148 «Саратовских авиалиний» исчез с локаторов и экранов радаров, связь с воздушным судном также была потеряна.", + "По словам очевидцев, самолет загорелся в воздухе возле деревни Аргуново Раменского района Подмосковья и рухнул в поле.", + "Катастрофа произошла примерно в 14:30 по московскому времени.", + "На место крушения срочно вылетели бригады спасателей МЧС , а также семь бригад «скорой помощи».", + "По сообщению МЧС, в полной готовности также находятся отряды «Центроспас» и центр «Лидер».", + "Рейс 703 «Саратовских авиалиний совершал перелет из Москвы в Орск (Оренбургская область — «Газета.Ru»).", + "Кроме того, СКР возбудил уголовное дело по факту крушения самолета Ан-148 по признакам преступления, предусмотренного частью 3 статьи 263 УК РФ («Нарушение правил безопасности движения и эксплуатации воздушного транспорта, повлекшее по неосторожности смерть двух или более лиц»).", + "В центральном аппарате Следственного комитета России также заявили, что расследование крушения будет проводить СКР.", + "Прокуратура начала проверку работы диспетчеров и сотрудников обслуживания самолета.", + "Вылетевший из аэропорта «Домодедово» и разбившийся в Подмосковье Ан-148 был произведен совсем недавно — 8 лет назад, сообщает «Интерфакс» , ссылаясь на источник в экстренных службах." + ], + "summary_sents": [ + "В Раменском районе Московской области возле деревни Аргуново разбился пассажирский самолет Ан-148.", + "Самолет «Саратовских авиалиний», следовавший из Домодедово в Орск, пропал с радаров днем воскресенья.", + "По словам очевидцев, он «загорелся в воздухе».", + "Шансов спастись у 65 пассажиров и 6 членов экипажа не было, заявили источники в МЧС.", + "Сейчас на место крушения вылетели отряды спасателей.", + "По факту гибели людей в авиакатастрофе СКР возбудил уголовное дело." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 3, + 5, + 6 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Как сообщает Росавиация, спустя несколько минут после вылета из аэропорта Домодедово пассажирский самолет Ан-148 «Саратовских авиалиний» исчез с локаторов и экранов радаров, связь с воздушным судном также была потеряна. По словам очевидцев, самолет загорелся в воздухе возле деревни Аргуново Раменского района Подмосковья и рухнул в поле. Катастрофа произошла примерно в 14:30 по московскому времени. На место крушения срочно вылетели бригады спасателей МЧС , а также семь бригад «скорой помощи». По сообщению МЧС, в полной готовности также находятся отряды «Центроспас» и центр «Лидер». Рейс 703 «Саратовских авиалиний совершал перелет из Москвы в Орск (Оренбургская область — «Газета.Ru»). Кроме того, СКР возбудил уголовное дело по факту крушения самолета Ан-148 по признакам преступления, предусмотренного частью 3 статьи 263 УК РФ («Нарушение правил безопасности движения и эксплуатации воздушного транспорта, повлекшее по неосторожности смерть двух или более лиц»). В центральном аппарате Следственного комитета России также заявили, что расследование крушения будет проводить СКР. Прокуратура начала проверку работы диспетчеров и сотрудников обслуживания самолета. Вылетевший из аэропорта «Домодедово» и разбившийся в Подмосковье Ан-148 был произведен совсем недавно — 8 лет назад, сообщает «Интерфакс» , ссылаясь на источник в экстренных службах.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 335, + "generated_len": [ + 185 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.36363636363636365, + "rouge2": 0.08588957055214723 + }, + "predict": " Исследование Boston Consulting Group показало, что хотя частные состояния в России увеличились на 16,8% до $1,6 трлн в 2012 году, страна не достигла высоких показателей по богатству, оставаясь на 11-м месте по сверхбогатым и 13-м по количеству семей-миллионеров. В то время как США лидируют по числу семей с состоянием более $100 млн и $1 млн, мировой экономический рост за 2012 год составил 7,8%, достигнув $135,5 трлн. Эксперты прогнозируют, что к 2017 году совокупный мировой объем частных состояний достигнет $171,2 трлн, в том числе благодаря росту в Азии, что должно привести к значительному увеличению благосостояния населения России до $3,1 трлн.", + "sample": { + "src_sents": [ + "В России не так много очень богатых людей, показало исследование Boston Consulting Group (BCG) «Как сохранить темпы роста в сложном мире: мировое богатство-2013».", + "Этого недостаточно, чтобы попасть даже в первую десятку: Россия находится на 11-м месте по сверхбогатым (количество почти вдвое ниже, чем в 2011 году) и на 13-м месте по количеству семей-миллионеров (не выросло с 2011 года, также составляет 0,3% от общего числа домохозяйств).", + "Хотя в целом частные состояния в России в 2012 году увеличились на 16,8%, до $1,6 трлн.", + "На первом месте по сверхбогатым, как, впрочем, и по просто богатым, США, где количество семей, располагающих более чем $100 млн, составило 3016, а более $1 млн — 5,9 млн.", + "Рост благосостояния в мировом масштабе за 2012 год составил 7,8%, совокупное богатство населения планеты выросло до $135,5 трлн — значительный скачок по сравнению с результатами 2011 года, когда рост на фоне кризиса был вдвое меньше — 3,6%.", + "Рост частного благосостояния показывает, что экономика распрощалась с последствиями финансового кризиса, пишут авторы доклада.", + "«Похоже, что финансовый кризис остался позади, в мире все больше миллионеров и супербогатых людей, — говорит партнер и управляющий директор BCG Брент Бердсли. — Может быть рецидив, но пока мир выздоравливает, рынки акций растут и развивающиеся страны показывают хороший темп».", + "К 2017 году совокупный мировой объем составит $171,2 трлн благодаря растущей Азии.", + "Благосостояние населения России к 2017 году, как ожидается, увеличится почти вдвое и составит $3,1 трлн." + ], + "summary_sents": [ + "Россия не дотянула до первой десятки в рейтинге стран с супербогатыми гражданами — имеющими более $100 млн, показало исследование BCG.", + "Зато к 2017 году, по прогнозам, страна удвоит благосостояние.", + "Быстрый рост частного богатства в мировом масштабе — на 7,8% в 2012 году, в основном благодаря Азии, — показывает, что финансовый кризис остался позади, оптимистично отмечают авторы." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 4, + 6, + 8 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В России не так много очень богатых людей, показало исследование Boston Consulting Group (BCG) «Как сохранить темпы роста в сложном мире: мировое богатство-2013». Этого недостаточно, чтобы попасть даже в первую десятку: Россия находится на 11-м месте по сверхбогатым (количество почти вдвое ниже, чем в 2011 году) и на 13-м месте по количеству семей-миллионеров (не выросло с 2011 года, также составляет 0,3% от общего числа домохозяйств). Хотя в целом частные состояния в России в 2012 году увеличились на 16,8%, до $1,6 трлн. На первом месте по сверхбогатым, как, впрочем, и по просто богатым, США, где количество семей, располагающих более чем $100 млн, составило 3016, а более $1 млн — 5,9 млн. Рост благосостояния в мировом масштабе за 2012 год составил 7,8%, совокупное богатство населения планеты выросло до $135,5 трлн — значительный скачок по сравнению с результатами 2011 года, когда рост на фоне кризиса был вдвое меньше — 3,6%. Рост частного благосостояния показывает, что экономика распрощалась с последствиями финансового кризиса, пишут авторы доклада. «Похоже, что финансовый кризис остался позади, в мире все больше миллионеров и супербогатых людей, — говорит партнер и управляющий директор BCG Брент Бердсли. — Может быть рецидив, но пока мир выздоравливает, рынки акций растут и развивающиеся страны показывают хороший темп». К 2017 году совокупный мировой объем составит $171,2 трлн благодаря растущей Азии. Благосостояние населения России к 2017 году, как ожидается, увеличится почти вдвое и составит $3,1 трлн.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 417, + "generated_len": [ + 185 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3703703703703704, + "rouge2": 0.050632911392405056 + }, + "predict": " Ридли Скотт, режиссер сериала «Воспитанные волками», заявил о разработке нового приквела к культовому фильму 1979 года с Сигурни Уивер, не касающегося предыдущих частей франшизы «Чужой». Скотт выразил сомнения в необходимости повторного переосмысления вселенной, ссылаясь на успех «Прометей», и выразил интерес к новым подходам к франшизе, не ограничивая себя в использовании известных элементов.", + "sample": { + "src_sents": [ + "В новом интервью, посвященном сериалу «Воспитанные волками», режиссер Ридли Скотт затронул будущее вселенной «Чужого».", + "Он рассказал, что новый фильм не будет касаться предыдущих частей франшизы.", + "Также режиссер отметил, что новый приквел к культовому фильму 1979 года с Сигурни Уивер уже находится в разработке.", + "«Ранее мы уже пытались еще раз изобрести колесо с фильмами «Чужой: Завет» и «Прометей».", + "Будем ли мы делать это снова, спорно.", + "Во всяком случае, мы вряд ли вернемся к этому, потому что «Прометей» уже устроил очень хорошую встряску, — цитирует Скотта IndieWire.", + "— Но вы знаете, я постоянно задаю вопросы, такие как «Неужели сам Чужой, лицехват и грудолом выдохлись? Неужели нужно все переосмыслить и просто пользоваться известным словом ради франшизы?». Это всегда фундаментальный вопрос»." + ], + "summary_sents": [ + "Режиссер Ридли Скотт рассказал о новом фильме франшизы «Чужой», который находится на стадии разработки.", + "Он отметил, что сюжет ленты не будет связан с предыдущими картинами «Чужой: Завет» и «Прометей»." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В новом интервью, посвященном сериалу «Воспитанные волками», режиссер Ридли Скотт затронул будущее вселенной «Чужого». Он рассказал, что новый фильм не будет касаться предыдущих частей франшизы. Также режиссер отметил, что новый приквел к культовому фильму 1979 года с Сигурни Уивер уже находится в разработке. «Ранее мы уже пытались еще раз изобрести колесо с фильмами «Чужой: Завет» и «Прометей». Будем ли мы делать это снова, спорно. Во всяком случае, мы вряд ли вернемся к этому, потому что «Прометей» уже устроил очень хорошую встряску, — цитирует Скотта IndieWire. — Но вы знаете, я постоянно задаю вопросы, такие как «Неужели сам Чужой, лицехват и грудолом выдохлись? Неужели нужно все переосмыслить и просто пользоваться известным словом ради франшизы?». Это всегда фундаментальный вопрос».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 226, + "generated_len": [ + 185 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.10370370370370371, + "rouge2": 0.015037593984962405 + }, + "predict": " Андрей Червонский, играющий Пушкина в фильме, вызывает у съемочной группы истерии своими капризами. Продюсер Григорий и режиссер Толик пытаются найти выход из сложной ситуации, когда съемки с участием Софи Мерсье и французских партнеров уже начались. В это время мошенник Василий, похожий на Андрея, фотографируется с доверчивыми туристами, освобождая их от лишней наличности. Василий случайно оказывается в большом кино, где его роль Пушкина помогает ему отсрочить знакомство с тюремными обитателями и их нравами, как в знаменитых фильмах Марка Твена и советского «Джентльменов удачи». В «Пушкине» Василий учится не пасти рвать, а воздерживаться от этого, чтобы его Пушкин выглядел как дворянин, а не как гопник. Фильм ближе к комедии «Джентльмены удачи», но с элементами криминала и подмены.", + "sample": { + "src_sents": [ + "Актер Андрей Червонский ( Александр Молочников ) снимается в главной роли в фильме про Пушкина и доводит членов съемочной группы до тихой истерии своими капризами.", + "А съемки останавливать нельзя: это совместный с французами проект, в нем снимается Софи Мерсье ( Светлана Устинова ), спонсоры будут недовольны, а аванс уже получен.", + "И продюсер Григорий ( Андрей Бурковский ) с режиссером Толиком ( Сергей Муравьев ) лихорадочно пытаются найти выход из непростой ситуации.", + "Решение неожиданно обнаруживается на Дворцовой площади, где мошенник Василий (Александр Молочников), как две капли воды похожий на Червонского, тоже играет Пушкина, фотографируясь с доверчивыми иностранцами, а заодно освобождая их от лишней наличности.", + "Канал СТС начинает показ сериала «Пушкин» — истории о подмене, криминале и о том, как весело бывает, когда снимается кино.", + "Василий волею судеб попадает в большое кино и получает шанс если не начать свою никчемную жизнь заново, то хотя бы отсрочить близкое знакомство с тюремными обитателями и их нравами.", + "В этом случае «Пушкин» весьма близок к сюжету, который начал еще Марк Твен своей сказкой «Принц и нищий», а продолжили сонмы его последователей, среди которых можно вспомнить и советский фильм «Джентльмены удачи», где веселый воспитатель из детского сада оказывается как две капли воды похож на закоренелого уголовника и ради торжества социалистической справедливости вынужден занять его место.", + "В «Пушкине» ситуация, конечно, обратная.", + "И вору Василию приходится учиться не пасти рвать, а, напротив, воздерживаться от этого, чтобы его Пушкин выглядел не как гопник из подворотни, а как дворянин, которым он, собственно, и был.", + "Впрочем, по стилистике «Пушкин» ближе к недавнему ремейку тех же «Джентльменов» — комедии «Джентльмены, удачи!»." + ], + "summary_sents": [ + "На канале СТС стартует сериал «Пушкин», в котором преступник пытается сохранить свою жизнь, играя Александра Сергеевича в большом международном проекте." + ], + "support_labels": [ + "YES" + ], + "extractive_summary": [ + 4, + 5 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Актер Андрей Червонский ( Александр Молочников ) снимается в главной роли в фильме про Пушкина и доводит членов съемочной группы до тихой истерии своими капризами. А съемки останавливать нельзя: это совместный с французами проект, в нем снимается Софи Мерсье ( Светлана Устинова ), спонсоры будут недовольны, а аванс уже получен. И продюсер Григорий ( Андрей Бурковский ) с режиссером Толиком ( Сергей Муравьев ) лихорадочно пытаются найти выход из непростой ситуации. Решение неожиданно обнаруживается на Дворцовой площади, где мошенник Василий (Александр Молочников), как две капли воды похожий на Червонского, тоже играет Пушкина, фотографируясь с доверчивыми иностранцами, а заодно освобождая их от лишней наличности. Канал СТС начинает показ сериала «Пушкин» — истории о подмене, криминале и о том, как весело бывает, когда снимается кино. Василий волею судеб попадает в большое кино и получает шанс если не начать свою никчемную жизнь заново, то хотя бы отсрочить близкое знакомство с тюремными обитателями и их нравами. В этом случае «Пушкин» весьма близок к сюжету, который начал еще Марк Твен своей сказкой «Принц и нищий», а продолжили сонмы его последователей, среди которых можно вспомнить и советский фильм «Джентльмены удачи», где веселый воспитатель из детского сада оказывается как две капли воды похож на закоренелого уголовника и ради торжества социалистической справедливости вынужден занять его место. В «Пушкине» ситуация, конечно, обратная. И вору Василию приходится учиться не пасти рвать, а, напротив, воздерживаться от этого, чтобы его Пушкин выглядел не как гопник из подворотни, а как дворянин, которым он, собственно, и был. Впрочем, по стилистике «Пушкин» ближе к недавнему ремейку тех же «Джентльменов» — комедии «Джентльмены, удачи!».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 441, + "generated_len": [ + 185 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.30434782608695654, + "rouge2": 0.16176470588235292 + }, + "predict": " В 2011 году Mail.ru Group, включая «Одноклассники» и «Моего мира», значительно улучшил свою финансовую ситуацию, увеличив выручку на 58,6% до $514,9 млн и EBITDA на 153,1% до $166,3 млн. Компания достигла рекордной чистой прибыли в $207,6 млн, что на 156,9% больше, чем годом ранее. Гришин, соучредитель и генеральный директор Mail.ru Group, заявил о стабилизации ключевых приоритетов бизнеса и намерении достичь 35% роста выручки в рублях в 2012 году с EBITDA на уровне около 50%. Аналитики высоко оценили финансовые показатели Mail.ru, предсказав рост на 35% и рентабельность по EBITDA на уровне 50%.", + "sample": { + "src_sents": [ + "Выручка интернет-холдинга Mail.ru Group в 2011 году выросла на 58,6%, до $514,9 млн, следует из неаудированной отчетности, опубликованной в пятницу.", + "За второе полугодие компания заработала на 52,9% больше — $286,8 млн.", + "Показатель EBITDA вырос во втором полугодии 2011 года на 153,1%, до $166,3 млн.", + "За год EBITDA составила $282,8 млн — показатель вырос на 136,8%.", + "Неаудированная чистая прибыль по итогам года составила $207,6 млн, увеличившись по сравнению с аналогичным показателем прошлого года на 156,9%.", + "«Весь 2011 год был посвящен интеграции и улучшению наших продуктов, — приводит компания слова соучредителя и гендиректора Mail.ru Group Дмитрия Гришина. — (…) Фундаментальные основы и ключевые приоритеты бизнеса остаются неизменными, и мы с уверенностью вступили в 2012 год. По итогам наступившего года мы ожидаем 35-процентный рост выручки в рублях и совокупный показатель рентабельности по EBITDA на уровне около 50%».", + "Количество уникальных пользователей портала Mail.ru в месяц выросло за год на 10% — до 30 млн человек. «Одноклассники» стабильно увеличивали долю на российском интернет-рынке, достигнув аудитории в 20,8 млн месячных пользователей в России (TNS, декабрь 2011 года) и 26,7 млн суточных пользователей по всему миру (LiveInternet, декабрь 2011 года)», — отметил Гришин.", + "Аудитория «Моего мира» составила в декабре 2011 года 20,2 млн человек (19,5 млн в 2010 году).", + "Аудитория сервиса мгновенных сообщений ICQ упала на 19,4% — с 33,5 млн в 2010 году до 27 млн человек в 2011-м.", + "По прибыльности бизнеса Mail.ru превзошла «Яндекс», заметил Юлий Матевоссов из Альфа-банка.", + "Аналитик Rye, Man & Gore Securities Ксения Арутюнова отметила, что выручка Mail.ru на 14% превысила прогноз и их аналитической команды: выручка на уровне $454 млн, показатель EBITDA — $229 млн, и чистая прибыль в $136 млн. «Рентабельность бизнеса по EBITDA составила 55%, превысив наш прогноз в 50% и ожидания менеджмента (ожидалось, что рентабельность будет чуть ниже 50%)», — отметила эксперт.", + "В 2012 году компания прогнозирует рост выручки на 35% год к году и рентабельность по EBITDA на уровне 50%.", + "Ожидания «Яндекса» оптимистичнее: 40—45%.", + "«Мы учитывали 28-процентный рост выручки за 2012 год к результату за 2011 год, поэтому мы рассматриваем прогноз Mail.ru как позитивный»,— говорит Арутюнова." + ], + "summary_sents": [ + "Холдинг Mail.Ru Group заработал в 2011 году $514,9 млн, на 58,6% больше, чем в прошлом.", + "По прибыльности бизнеса владельцы «Одноклассников» и «Моего мира» превзошли «Яндекс».", + "Растут все сегменты, кроме ICQ: аудитория мессенджера обвалилась на 19%." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 8, + 9 + ], + "category": "financial" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Выручка интернет-холдинга Mail.ru Group в 2011 году выросла на 58,6%, до $514,9 млн, следует из неаудированной отчетности, опубликованной в пятницу. За второе полугодие компания заработала на 52,9% больше — $286,8 млн. Показатель EBITDA вырос во втором полугодии 2011 года на 153,1%, до $166,3 млн. За год EBITDA составила $282,8 млн — показатель вырос на 136,8%. Неаудированная чистая прибыль по итогам года составила $207,6 млн, увеличившись по сравнению с аналогичным показателем прошлого года на 156,9%. «Весь 2011 год был посвящен интеграции и улучшению наших продуктов, — приводит компания слова соучредителя и гендиректора Mail.ru Group Дмитрия Гришина. — (…) Фундаментальные основы и ключевые приоритеты бизнеса остаются неизменными, и мы с уверенностью вступили в 2012 год. По итогам наступившего года мы ожидаем 35-процентный рост выручки в рублях и совокупный показатель рентабельности по EBITDA на уровне около 50%». Количество уникальных пользователей портала Mail.ru в месяц выросло за год на 10% — до 30 млн человек. «Одноклассники» стабильно увеличивали долю на российском интернет-рынке, достигнув аудитории в 20,8 млн месячных пользователей в России (TNS, декабрь 2011 года) и 26,7 млн суточных пользователей по всему миру (LiveInternet, декабрь 2011 года)», — отметил Гришин. Аудитория «Моего мира» составила в декабре 2011 года 20,2 млн человек (19,5 млн в 2010 году). Аудитория сервиса мгновенных сообщений ICQ упала на 19,4% — с 33,5 млн в 2010 году до 27 млн человек в 2011-м. По прибыльности бизнеса Mail.ru превзошла «Яндекс», заметил Юлий Матевоссов из Альфа-банка. Аналитик Rye, Man & Gore Securities Ксения Арутюнова отметила, что выручка Mail.ru на 14% превысила прогноз и их аналитической команды: выручка на уровне $454 млн, показатель EBITDA — $229 млн, и чистая прибыль в $136 млн. «Рентабельность бизнеса по EBITDA составила 55%, превысив наш прогноз в 50% и ожидания менеджмента (ожидалось, что рентабельность будет чуть ниже 50%)», — отметила эксперт. В 2012 году компания прогнозирует рост выручки на 35% год к году и рентабельность по EBITDA на уровне 50%. Ожидания «Яндекса» оптимистичнее: 40—45%. «Мы учитывали 28-процентный рост выручки за 2012 год к результату за 2011 год, поэтому мы рассматриваем прогноз Mail.ru как позитивный»,— говорит Арутюнова.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 733, + "generated_len": [ + 185 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.27999999999999997, + "rouge2": 0.10204081632653061 + }, + "predict": " Российский министр иностранных дел Сергей Лавров в ходе переговоров с финским коллегой Пеккой Хаависто заявил, что Европейский Союз (ЕС) является инициатором разрушения отношений с Россией. Лавров выразил готовность к диалогу с ЕС по актуальным вопросам, включая изменение климата и охрану окружающей среды, но отметил, что все международные механизмы взаимодействия с Россией были последовательно демонтированы европейскими властями. Лавров подчеркивает, что целью ЕС было проведение полноценного обзора всех направлений российско-европейского диалога.", + "sample": { + "src_sents": [ + "Российский министр иностранных дел Сергей Лавров провел переговоры с главой МИД Финляндии Пеккой Хаависто.", + "По итогам встречи глава российской дипломатии отметил, что именно ЕС стал инициатором разрушения отношений с Россией.", + "В то же время министр заверил, что Москва готова обсуждать проблемы с Евросоюзом.", + "«Когда это отвечает в том числе и интересам РФ, мы взаимодействуем и по вопросам изменения климата, и по окружающей среде. Но каркас этих отношений был сознательно разрушен по инициативе Брюсселя», — считает Лавров.", + "По его словам, европейские власти последовательно демонтировали все механизмы международного взаимодействия с Россией.", + "Например, саммиты (проводились два раза в год), встречи российских министров с еврокомиссарами и председателем Еврокомиссии.", + "Лавров подчеркнул, что эти и другие формы построения отношений были направлены на проведение полноценного обзора всех направлений российско-европейского диалога." + ], + "summary_sents": [ + "Глава МИД России Сергей Лавров считает, что Брюссель сознательно разрушил отношения с Москвой.", + "Об этом министр РФ заявил на пресс-конференции по итогам встречи со своим финским коллегой Пеккой Хаависто." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 3 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Российский министр иностранных дел Сергей Лавров провел переговоры с главой МИД Финляндии Пеккой Хаависто. По итогам встречи глава российской дипломатии отметил, что именно ЕС стал инициатором разрушения отношений с Россией. В то же время министр заверил, что Москва готова обсуждать проблемы с Евросоюзом. «Когда это отвечает в том числе и интересам РФ, мы взаимодействуем и по вопросам изменения климата, и по окружающей среде. Но каркас этих отношений был сознательно разрушен по инициативе Брюсселя», — считает Лавров. По его словам, европейские власти последовательно демонтировали все механизмы международного взаимодействия с Россией. Например, саммиты (проводились два раза в год), встречи российских министров с еврокомиссарами и председателем Еврокомиссии. Лавров подчеркнул, что эти и другие формы построения отношений были направлены на проведение полноценного обзора всех направлений российско-европейского диалога.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 196, + "generated_len": [ + 185 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3853211009174312, + "rouge2": 0.07476635514018692 + }, + "predict": " 38-летний репетитор музыки, окончивший консерваторию, обвиняется в изнасиловании 10-летней школьницы в квартире ее родителей в Москве. Мать девочки стала свидетелем преступления и обратилась в правоохранительные органы. Следователи уже возбудили уголовное дело и ходатайствуют о заключении подозреваемого под стражу. Следствие намерено установить причастность педагога к другим подобным преступлениям.", + "sample": { + "src_sents": [ + "Следователи предъявили 38-летнему репетитору музыки обвинение в изнасиловании десятилетней школьницы.", + "По данным правоохранителей, педагог надругался над своей малолетней ученицей, находясь в квартире ее родителей на западе Москвы.", + "Свидетельницей происходящего стала мать девочки, которая заглянула в комнату во время урока.", + "«Мать ребенка обратились с заявлением в правоохранительные органы , после чего следователи Главного следственного управления столицы незамедлительно возбудили уголовное дело», — сообщили в СК.", + "Следствие намерено ходатайствовать перед судом о заключении его под стражу.", + "«Проводится комплекс следственных действий, направленных на установление причастности обвиняемого к другим аналогичным преступлениям. Расследование уголовного дела продолжается», — подчеркнули в ведомстве.", + "По информации «МК», задержанный музыкант окончил Московскую консерваторию, после чего занимался преподавательской деятельностью на протяжении 15 лет.", + "В апреле текущего года Хорошевский суд также поместил под домашний арест репетитора музыки, подозреваемого в истязании восьмилетней ученицы.", + "Об этом сообщало агентство городских новостей «Москва»." + ], + "summary_sents": [ + "В Москве 38-летнего выпускника консерватории обвиняют в домогательствах к 10-летней девочке.", + "По словам матери ребенка, она увидела, как мужчина пристает к ее дочери, когда зашла в комнату, где проходил частный урок.", + "В настоящий момент следователи проверяют педагога на предмет причастности к другим преступлениям подобного характера.", + "За насилие над школьницей ему грозит от 12 до 20 лет лишения свободы." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 0, + 2, + 5 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Следователи предъявили 38-летнему репетитору музыки обвинение в изнасиловании десятилетней школьницы. По данным правоохранителей, педагог надругался над своей малолетней ученицей, находясь в квартире ее родителей на западе Москвы. Свидетельницей происходящего стала мать девочки, которая заглянула в комнату во время урока. «Мать ребенка обратились с заявлением в правоохранительные органы , после чего следователи Главного следственного управления столицы незамедлительно возбудили уголовное дело», — сообщили в СК. Следствие намерено ходатайствовать перед судом о заключении его под стражу. «Проводится комплекс следственных действий, направленных на установление причастности обвиняемого к другим аналогичным преступлениям. Расследование уголовного дела продолжается», — подчеркнули в ведомстве. По информации «МК», задержанный музыкант окончил Московскую консерваторию, после чего занимался преподавательской деятельностью на протяжении 15 лет. В апреле текущего года Хорошевский суд также поместил под домашний арест репетитора музыки, подозреваемого в истязании восьмилетней ученицы. Об этом сообщало агентство городских новостей «Москва».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 248, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2736842105263158, + "rouge2": 0.06451612903225808 + }, + "predict": " Предложение вернуть смертную казнь в России обсуждается в парламенте, но вызывает противоречивые мнения. Верховный суд Татарстана поддерживает идею, ссылаясь на необходимость справедливого наказания для особо жестоких преступлений, в то время как некоторые эксперты и уполномоченные по правам ребенка выступают против, подчеркивая международное обязательство и потенциальные негативные последствия для общества.", + "sample": { + "src_sents": [ + "Председатель Верховного суда Татарстана Ильгиз Гилазов заявил, что поддерживает возвращение смертной казни в России.", + "19 ноября в ходе выступления перед студентами Казанского федерального университета (КФУ) он отметил, что наказание должно быть соразмерным совершенному преступлению: «Есть преступления очень страшные, за которые, прошу прощения, только высшая мера наказания».", + "«Я сторонник смертной казни. Есть преступления, которые могут быть пограничные, ситуативные, случайные. А как относиться к таким преступлениям, которые совершал Чикатило? По 50-60 трупов… Когда детей убивают? Когда издеваются? Разве это соразмерно – пожизненное лишение свободы?», — пояснил он.", + "По словам Гилазова, в случаях с жестокими маньяками или детоубийцами возможно говорить только о возмездии, а не исправлении.", + "Он также добавил, что ему лично «приходилось четыре раза выносить решение о высшей мере наказания».", + "25 октября группа депутатов во главе с лидером КПРФ Геннадием Зюгановым внесла в Госдуму проект обращения нижней палаты к президенту РФ.", + "Авторы документа предлагают главе государства принять меры для возвращения в стране смертной казни.", + "Как отметили авторы инициативы, «в условиях роста рецидивной преступности и усиления террористических угроз должны быть устранены препятствия для вынесения и исполнения приговоров, назначающих наказание в виде смертной казни».", + "20 ноября комитет Госдумы по госстроительству и законодательству в ходе заседания отказался поддержать внесенный депутатами проект обращения.", + "В заключении комитета говорится, что «проект постановления не имеет правового предмета для обсуждения», поскольку в 1997 году Россия подписала протокол 6 к Конвенции о защите прав человека и основных свобод относительно отмены смертной казни.", + "«У нас довольно сильные настроения, которые можно охарактеризовать, как око за око, зуб за зуб. Поэтому сейчас отмена моратория на смертную казнь очень востребована. С другой стороны, если убить преступника, то количество убийц останется прежним. К сожалению, эти проекты возникают после резонансных случаев — они обусловлены запросом общества. Впоследствии все утихнет», — пояснял «Газете.Ru» член комитета по государственному строительству и законодательству.", + "Уполномоченная по правам ребенка Анна Кузнецова ранее также заявляла, что на данном этапе развития отмена моратория на смертную казнь в России невозможна.", + "«Ряд международных норм и обязательств предписывают сегодняшнюю ситуацию», — заключила она." + ], + "summary_sents": [ + "Смертная казнь является приемлемым наказанием за некоторые особо тяжкие преступления, заявил председатель Верховного суда Татарстана Ильгиз Гилазов, выступая перед студентами.", + "Тем временем 20 ноября комитет Госдумы отказался поддержать проект закона об отмене моратория на смертную казнь.", + "Депутаты признали, что у инициативы нет «правового предмета для обсуждения»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 8, + 9 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Председатель Верховного суда Татарстана Ильгиз Гилазов заявил, что поддерживает возвращение смертной казни в России. 19 ноября в ходе выступления перед студентами Казанского федерального университета (КФУ) он отметил, что наказание должно быть соразмерным совершенному преступлению: «Есть преступления очень страшные, за которые, прошу прощения, только высшая мера наказания». «Я сторонник смертной казни. Есть преступления, которые могут быть пограничные, ситуативные, случайные. А как относиться к таким преступлениям, которые совершал Чикатило? По 50-60 трупов… Когда детей убивают? Когда издеваются? Разве это соразмерно – пожизненное лишение свободы?», — пояснил он. По словам Гилазова, в случаях с жестокими маньяками или детоубийцами возможно говорить только о возмездии, а не исправлении. Он также добавил, что ему лично «приходилось четыре раза выносить решение о высшей мере наказания». 25 октября группа депутатов во главе с лидером КПРФ Геннадием Зюгановым внесла в Госдуму проект обращения нижней палаты к президенту РФ. Авторы документа предлагают главе государства принять меры для возвращения в стране смертной казни. Как отметили авторы инициативы, «в условиях роста рецидивной преступности и усиления террористических угроз должны быть устранены препятствия для вынесения и исполнения приговоров, назначающих наказание в виде смертной казни». 20 ноября комитет Госдумы по госстроительству и законодательству в ходе заседания отказался поддержать внесенный депутатами проект обращения. В заключении комитета говорится, что «проект постановления не имеет правового предмета для обсуждения», поскольку в 1997 году Россия подписала протокол 6 к Конвенции о защите прав человека и основных свобод относительно отмены смертной казни. «У нас довольно сильные настроения, которые можно охарактеризовать, как око за око, зуб за зуб. Поэтому сейчас отмена моратория на смертную казнь очень востребована. С другой стороны, если убить преступника, то количество убийц останется прежним. К сожалению, эти проекты возникают после резонансных случаев — они обусловлены запросом общества. Впоследствии все утихнет», — пояснял «Газете.Ru» член комитета по государственному строительству и законодательству. Уполномоченная по правам ребенка Анна Кузнецова ранее также заявляла, что на данном этапе развития отмена моратория на смертную казнь в России невозможна. «Ряд международных норм и обязательств предписывают сегодняшнюю ситуацию», — заключила она.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 526, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.21875, + "rouge2": 0.015873015873015872 + }, + "predict": " Индекс РТС начал неделю с снижения, но затем быстро поднялся до 1690 пунктов, а затем снова опустился до 1686,46 пункта, что на 0,05% меньше предыдущего закрытия. Неуверенность на рынке вызвана насыщенной предыдущей недели, связанной с долговыми проблемами в Европе и благоприятными макроэкономическими данными из США и Китая. Участники рынка активно покупали акции, ожидая снижения цен до конца года. Прогнозируется, что на следующей неделе будут проанализированы макроэкономические данные Китая и спекуляции о повышении процентных ставок. Возможно, после значительного роста на этой неделе цены могут скорректироваться.", + "sample": { + "src_sents": [ + "Индекс РТС начал понедельник со снижения.", + "За первые 10 минут торгов он успел забраться выше отметки в 1690 пунктов, а затем упасть до 1686,46 пункта, что меньше предыдущего закрытия на 0,05%.", + "Неуверенность российских участников рынка — следствие чрезмерно насыщенной предыдущей недели.", + "«Неделя оказалась очень яркой», — отмечает управляющий активами «Пилгрим Эссет Менеджмент» Игорь Киссель.", + "«После невнятного начала в понедельник-вторник, которое можно объяснить долговыми проблемами Ирландии и ряда других европейских стран, рынок под влиянием хороших макроэкономических данных из США и Китая в среду взял резвый старт», — вспоминает управляющий директор УК «Флеминг фэмили энд партнерс» Юрий Селяндин.", + "«Начался рост широким фронтом, причем не на закрытии коротких позиций, а за счет массированной покупки. Логика явления такова: покупатели, пропустившие предыдущую волну роста, около трех недель ждали хотя бы какой-то распродажи для того, чтобы купить на чуть более дешевых уровнях. Распродажи не произошло, терпение иссякло, скоро конец года — пришлось покупать наперегонки по текущим ценам», — объясняет Киссель.", + "«Эта неделя еще раз продемонстрировала, что уже полгода динамика рынка определяется исключительно спекулятивными ожиданиями, — поддерживает Митрофанова. — На следующей неделе будем смотреть на Китай: там выходит обширный блок макроэкономической статистики; плюс на рынке вновь активизировались спекуляции на тему скорого повышения процентных ставок уже 13 декабря».", + "«Возможно, что после значительного роста на этой неделе цены немного могут скорректироваться», — предупреждает Селяндин." + ], + "summary_sents": [ + "После бурного роста акций, вернувшего рынки на уровень лета 2008 года, может начаться коррекция, предупреждают аналитики.", + "Опасения подтверждаются: после открытия индекс РТС сдает позиции.", + "Ранее на новостях о подготовке к проведению чемпионата мира по футболу в России биржи поднялись на докризисный уровень." + ], + "support_labels": [ + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 0, + 1, + 7 + ], + "category": "financial" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Индекс РТС начал понедельник со снижения. За первые 10 минут торгов он успел забраться выше отметки в 1690 пунктов, а затем упасть до 1686,46 пункта, что меньше предыдущего закрытия на 0,05%. Неуверенность российских участников рынка — следствие чрезмерно насыщенной предыдущей недели. «Неделя оказалась очень яркой», — отмечает управляющий активами «Пилгрим Эссет Менеджмент» Игорь Киссель. «После невнятного начала в понедельник-вторник, которое можно объяснить долговыми проблемами Ирландии и ряда других европейских стран, рынок под влиянием хороших макроэкономических данных из США и Китая в среду взял резвый старт», — вспоминает управляющий директор УК «Флеминг фэмили энд партнерс» Юрий Селяндин. «Начался рост широким фронтом, причем не на закрытии коротких позиций, а за счет массированной покупки. Логика явления такова: покупатели, пропустившие предыдущую волну роста, около трех недель ждали хотя бы какой-то распродажи для того, чтобы купить на чуть более дешевых уровнях. Распродажи не произошло, терпение иссякло, скоро конец года — пришлось покупать наперегонки по текущим ценам», — объясняет Киссель. «Эта неделя еще раз продемонстрировала, что уже полгода динамика рынка определяется исключительно спекулятивными ожиданиями, — поддерживает Митрофанова. — На следующей неделе будем смотреть на Китай: там выходит обширный блок макроэкономической статистики; плюс на рынке вновь активизировались спекуляции на тему скорого повышения процентных ставок уже 13 декабря». «Возможно, что после значительного роста на этой неделе цены немного могут скорректироваться», — предупреждает Селяндин.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 393, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.41818181818181815, + "rouge2": 0.16666666666666666 + }, + "predict": " Леонид Слуцкий и Алан Дзагоев, главный тренер и игрок ЦСКА, ответили на вопросы журналистов перед ответным матчем Лиги чемпионов против «Реала». Слуцкий опроверг слухи о том, что в случае российского игрока в «Реал» будет именно он, и поделился своими ожиданиями от тренера Жозе Моуринью. Дзагоев выразил желание получить майки Хаби Алонсо и Криштиану Роналду для матча. Оба собеседника подчеркнули, что в футболе все зависит от всей игры, и ключевым будет каждый момент встречи.", + "sample": { + "src_sents": [ + "Во вторник на «Сантьяго Бернабеу» главный тренер ЦСКА Леонид Слуцкий и полузащитник армейцев Алан Дзагоев ответили на вопросы журналистов в преддверии ответного матча Лиги чемпионов против мадридского «Реала».", + "— Несколько лет назад, когда вы забили два мяча в ворота «Депортиво», испанская газета Marca написала, что если в «Реале» и будет российский игрок, то это будет Алан Дзагоев. — Да это не больше чем слухи.", + "По одному матчу, который состоялся много лет назад, нельзя делать такие далекоидущие выводы.", + "Может быть, я и был на карандаше «Реала», но это было давно.", + "— Вы менялись с кем-то майками после первой игры и планируете ли после ответной?", + "— Хотел майку Хаби Алонсо (меня попросили), но не успел: тогда я сразу к болельщикам пошел и упустил его.", + "Завтра хочу две майки — Алонсо и Роналду. — Может, у вас очередь?", + "— Что вы ожидаете от команды Моуринью?", + "— Что вы думаете о Жозе Моуринью не только как о тренере, но и о его образе, о способе выражать свои мысли?", + "— О тренерстве даже нет смысла говорить: он сейчас самый титулованный тренер в мире.", + "Что касается образа, то он сознательно его выбрал.", + "И он оставил впечатление открытого человека, способного делиться с коллегами идеями, мыслями.", + "Его поведение на публике – исключительно образ, а не его настоящее лицо.", + "— Есть мнение: если ЦСКА удастся выстоять в первые 30 минут матча, то возникнет шанс победить…", + "— В футболе все зависит от 90+ минут. Матч может сложиться как угодно.", + "Проблемы могут возникнуть на любом этапе игры.", + "Ключевой будет каждая минута завтрашнего поединка." + ], + "summary_sents": [ + "Перед матчем с «Реалом» в Лиге чемпионов Алан Дзагоев признался, что хочет получить футболки Хаби Алонсо и Криштиану Роналду, а главный тренер ЦСКА Леонид Слуцкий заявил, что у него нет точного рецепта, как остановить команду Жозе Моуринью." + ], + "support_labels": [ + "YES" + ], + "extractive_summary": [ + 4, + 5, + 6, + 8, + 9, + 12 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Во вторник на «Сантьяго Бернабеу» главный тренер ЦСКА Леонид Слуцкий и полузащитник армейцев Алан Дзагоев ответили на вопросы журналистов в преддверии ответного матча Лиги чемпионов против мадридского «Реала». — Несколько лет назад, когда вы забили два мяча в ворота «Депортиво», испанская газета Marca написала, что если в «Реале» и будет российский игрок, то это будет Алан Дзагоев. — Да это не больше чем слухи. По одному матчу, который состоялся много лет назад, нельзя делать такие далекоидущие выводы. Может быть, я и был на карандаше «Реала», но это было давно. — Вы менялись с кем-то майками после первой игры и планируете ли после ответной? — Хотел майку Хаби Алонсо (меня попросили), но не успел: тогда я сразу к болельщикам пошел и упустил его. Завтра хочу две майки — Алонсо и Роналду. — Может, у вас очередь? — Что вы ожидаете от команды Моуринью? — Что вы думаете о Жозе Моуринью не только как о тренере, но и о его образе, о способе выражать свои мысли? — О тренерстве даже нет смысла говорить: он сейчас самый титулованный тренер в мире. Что касается образа, то он сознательно его выбрал. И он оставил впечатление открытого человека, способного делиться с коллегами идеями, мыслями. Его поведение на публике – исключительно образ, а не его настоящее лицо. — Есть мнение: если ЦСКА удастся выстоять в первые 30 минут матча, то возникнет шанс победить… — В футболе все зависит от 90+ минут. Матч может сложиться как угодно. Проблемы могут возникнуть на любом этапе игры. Ключевой будет каждая минута завтрашнего поединка.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 403, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.380281690140845, + "rouge2": 0.12857142857142856 + }, + "predict": " Дмитрий Песков, пресс-секретарь президента РФ, опроверг заявление чеченского лидера Рамзана Кадырова о том, что главы российских регионов не могут влиять на внешнюю политику страны. Кадыров, в свою очередь, заявил, что он не занимается внешней политикой и готов продолжать свои обвинения в адрес французского лидера Эммануэля Макрона, ссылаясь на свои религиозные убеждения и норму Корана. Кадыров также выразил обеспокоенность по поводу политики Макрона в отношении свободы слова и религии, подчеркнув, что это может привести к трагическим последствиям.", + "sample": { + "src_sents": [ + "Главы российских регионов не являются должностными лицами, определяющими внешнеполитическую повестку государства — так пресс-секретарь президента РФ Дмитрий Песков прокомментировал предупреждение со стороны чеченского лидера Рамзана Кадырова в адрес президента Франции Эммануэля Макрона о недопустимости нападок на ислам.", + "Как указал представитель Кремля, российское законодательство определяет именно президента страны носителем высшей власти во всем, что касается внешней политики государства, передает РИА «Новости».", + "«Главы субъектов не могут заниматься внешней политикой, тем более, не формируют внешнюю политику, не принимают каких-либо решений. Поэтому ориентироваться надо именно на линию, которая формируется главой государства», — сказал Песков.", + "В ответ на это Кадыров в своем Telegram-канале указал, что комментировал политику и заявления Макрона не как политик, а как приверженец ислама.", + "«Я согласен с Дмитрием Сергеевичем и прекрасно знаю, что главы субъектов не формируют внешнюю политику. Кем регулируются внешние и внутренние отношения в стране разбираюсь отлично, и мне объяснять на эту тему ничего не надо», — пояснил глава Чечни.", + "Он заявил, что — как гражданское лицо, а не госслужащий — готов многократно повторить свои обвинения в адрес французского лидера.", + "Кадыров также напомнил, что всю свою жизнь сообразует с нормами Корана и выразил готовность оставить должность главы Чечни или даже отдать жизнь за свои религиозные убеждения.", + "Днем ранее руководитель российского региона потребовал от Макрона прекратить политику поддержки свободы слова в части допущения публикаций и прилюдной демонстрации оскорбительных карикатур с изображением основателя исламской религии Мухаммеда.", + "Глава Чечни обвинил французского лидера в намерении исказить религию, создав во Франции «просвещенный ислам».", + "«Последствия такой реакции могут быть очень трагическими. Президент Франции сам сейчас становится похож на террориста», — предупредил Кадыров, напомнив, что мусульман в мире насчитывается почти два миллиарда.", + "«Самое важное в жизни мусульманина — это религия. Никто не имеет права относиться к ней в насмешливой форме. Мусульмане этого не простят. Прекрати, Макрон, пока еще не поздно, провокации и нападки на веру», — обратился к политику чеченский лидер." + ], + "summary_sents": [ + "Пресс-секретарь президента России Дмитрий Песков и глава Чеченской Республики Рамзан Кадыров вступили в заочную дискуссию после того, как руководитель российского региона выступил с критикой президента Франции.", + "Песков напомнил, что главы субъектов РФ не определяют внешнюю политику государства.", + "Кадыров в ответ указал, что отвечал Макрону не как политик, а как мусульманин.", + "Он также выразил готовность оставить должность главы Чечни или даже отдать жизнь за ислам." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 3, + 5, + 6 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Главы российских регионов не являются должностными лицами, определяющими внешнеполитическую повестку государства — так пресс-секретарь президента РФ Дмитрий Песков прокомментировал предупреждение со стороны чеченского лидера Рамзана Кадырова в адрес президента Франции Эммануэля Макрона о недопустимости нападок на ислам. Как указал представитель Кремля, российское законодательство определяет именно президента страны носителем высшей власти во всем, что касается внешней политики государства, передает РИА «Новости». «Главы субъектов не могут заниматься внешней политикой, тем более, не формируют внешнюю политику, не принимают каких-либо решений. Поэтому ориентироваться надо именно на линию, которая формируется главой государства», — сказал Песков. В ответ на это Кадыров в своем Telegram-канале указал, что комментировал политику и заявления Макрона не как политик, а как приверженец ислама. «Я согласен с Дмитрием Сергеевичем и прекрасно знаю, что главы субъектов не формируют внешнюю политику. Кем регулируются внешние и внутренние отношения в стране разбираюсь отлично, и мне объяснять на эту тему ничего не надо», — пояснил глава Чечни. Он заявил, что — как гражданское лицо, а не госслужащий — готов многократно повторить свои обвинения в адрес французского лидера. Кадыров также напомнил, что всю свою жизнь сообразует с нормами Корана и выразил готовность оставить должность главы Чечни или даже отдать жизнь за свои религиозные убеждения. Днем ранее руководитель российского региона потребовал от Макрона прекратить политику поддержки свободы слова в части допущения публикаций и прилюдной демонстрации оскорбительных карикатур с изображением основателя исламской религии Мухаммеда. Глава Чечни обвинил французского лидера в намерении исказить религию, создав во Франции «просвещенный ислам». «Последствия такой реакции могут быть очень трагическими. Президент Франции сам сейчас становится похож на террориста», — предупредил Кадыров, напомнив, что мусульман в мире насчитывается почти два миллиарда. «Самое важное в жизни мусульманина — это религия. Никто не имеет права относиться к ней в насмешливой форме. Мусульмане этого не простят. Прекрати, Макрон, пока еще не поздно, провокации и нападки на веру», — обратился к политику чеченский лидер.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 456, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5321100917431193, + "rouge2": 0.11214953271028037 + }, + "predict": " Депутаты парламента Казахстана 20 марта 2019 года приняли поправки к конституции, переименуя столицу страны Астану в Нурсултан. Решение было принято без проведения референдума, и теперь закон должен быть подписан президентом Касым-Жомартом Токаевым. Это решение также включает переименование центральных улиц областных центров в честь первого президента Казахстана Назарбаева, который уже носит имя в университете и аэропорту Астаны.", + "sample": { + "src_sents": [ + "Депутаты парламента Казахстана 20 марта 2019 года на совместном заседании сразу в двух чтениях приняли поправки к конституции о переименовании столицы государства: Астана сменит свое название на Нурсултан.", + "«Принято историческое решение», — заявил спикер мажилиса (нижней палаты парламента) Казахстана Нурлан Нигматулин, передает РИА «Новости».", + "Нигматулин пояснил, что президент Касым-Жомарт Токаев принял решение направить данное предложение на рассмотрение парламента без вынесения на референдум.", + "То есть закон считается принятым парламентом, теперь он поступит на подпись президенту страны Токаеву.", + "Ранее в своем обращении к депутатам парламента во время передачи полномочий главы республики от Назарбаев а к Токаеву вступивший в должность президент предложил переименовать столицу Казахстана Астану в Нурсултан.", + "В настоящее время имя первого президента Казахстана Назарбаева уже носит университет, расположенный в Астане, а также столичный аэропорт.", + "Кроме того, в столице Казахстана собираются воздвигнуть монумент в честь Назарбаева.", + "Это решение также было принято президентом страны Токаевым.", + "«Считаю необходимым назвать центральные улицы всех областных городов именем Нурсултана Абишевича Назарбаева», — добавил Токаев." + ], + "summary_sents": [ + "Депутаты парламента Казахстана приняли в первом и втором чтении поправки в конституцию страны о переименовании столицы страны Астаны в честь первого президента Нурсултана Назарбаева.", + "В 1990-е годы этот город стал новой столицей государства как раз по предложению Назарбаева.", + "К слову, в столице Казахстана уже есть аэропорт и университет, носящие его имя." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 5 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Депутаты парламента Казахстана 20 марта 2019 года на совместном заседании сразу в двух чтениях приняли поправки к конституции о переименовании столицы государства: Астана сменит свое название на Нурсултан. «Принято историческое решение», — заявил спикер мажилиса (нижней палаты парламента) Казахстана Нурлан Нигматулин, передает РИА «Новости». Нигматулин пояснил, что президент Касым-Жомарт Токаев принял решение направить данное предложение на рассмотрение парламента без вынесения на референдум. То есть закон считается принятым парламентом, теперь он поступит на подпись президенту страны Токаеву. Ранее в своем обращении к депутатам парламента во время передачи полномочий главы республики от Назарбаев а к Токаеву вступивший в должность президент предложил переименовать столицу Казахстана Астану в Нурсултан. В настоящее время имя первого президента Казахстана Назарбаева уже носит университет, расположенный в Астане, а также столичный аэропорт. Кроме того, в столице Казахстана собираются воздвигнуть монумент в честь Назарбаева. Это решение также было принято президентом страны Токаевым. «Считаю необходимым назвать центральные улицы всех областных городов именем Нурсултана Абишевича Назарбаева», — добавил Токаев.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 288, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3636363636363636, + "rouge2": 0.16494845360824742 + }, + "predict": " Виктор Медведчук, лидер партии «Оппозиционная платформа — За жизнь», заявил, что не будет посредником между Украиной и Россией в переговорах о освобождении пленных. Он сам добился освобождения нескольких граждан Украины из плена в ДНР и ЛНР, мотивируя это тем, что президент Владимир Зеленский не проявлял реальных усилий по освобождению. Медведчук выразил разочарование в действиях Зеленского и обратился к лидерам ДНР и ЛНР, чтобы добиться освобождения пленных.", + "sample": { + "src_sents": [ + "Глава политсовета партии «Оппозиционная платформа — За жизнь» Виктор Медведчук заявил, что не собирается быть посредником для президента Украины Владимира Зеленского на переговорах с Россией, передает ТАСС.", + "«Я никогда не был и не буду посредником Зеленского», — сказал украинский парламентарий в аэропорту Минска.", + "Отметим, что в пятницу, 28 июня, в этом городе власти самопровозглашенных Донецкой и Луганской народных республик (ДНР и ЛНР) по просьбе Медведчука в одностороннем порядке передали Украине четырех пленных.", + "Ранее депутат Верховной рады Вадим Рабинович заявил, что Медведчуку удалось договориться с властями ДНР и ЛНР.", + "«Главе политсовета нашей партии [«Оппозиционная платформа — За жизнь»] удалось освободить несколько наших людей [граждан Украины], находящихся в плену ЛНР и ДНР», — сказал Рабинович в эфире канала «112».", + "Как сказал сам Медведчук, он это сделал, так как не увидел реальных действий по освобождению пленных от главы государства.", + "«Я обратился к Леониду Ивановичу [Пасечнику] и к Денису Владимировичу [Пушилину], увидев то, что господин Зеленский не собирается их освобождать [пленных] или проводить обмены», — сообщил Медведчук." + ], + "summary_sents": [ + "Глава политсовета партии «Оппозиционная платформа — За жизнь» Виктор Медведчук отметил, что не является посредником украинского лидера Владимира Зеленского на переговорах с Россией.", + "Ранее Медведчук успешно организовал передачу украинских пленных властями самопровозглашенных республик." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Глава политсовета партии «Оппозиционная платформа — За жизнь» Виктор Медведчук заявил, что не собирается быть посредником для президента Украины Владимира Зеленского на переговорах с Россией, передает ТАСС. «Я никогда не был и не буду посредником Зеленского», — сказал украинский парламентарий в аэропорту Минска. Отметим, что в пятницу, 28 июня, в этом городе власти самопровозглашенных Донецкой и Луганской народных республик (ДНР и ЛНР) по просьбе Медведчука в одностороннем порядке передали Украине четырех пленных. Ранее депутат Верховной рады Вадим Рабинович заявил, что Медведчуку удалось договориться с властями ДНР и ЛНР. «Главе политсовета нашей партии [«Оппозиционная платформа — За жизнь»] удалось освободить несколько наших людей [граждан Украины], находящихся в плену ЛНР и ДНР», — сказал Рабинович в эфире канала «112». Как сказал сам Медведчук, он это сделал, так как не увидел реальных действий по освобождению пленных от главы государства. «Я обратился к Леониду Ивановичу [Пасечнику] и к Денису Владимировичу [Пушилину], увидев то, что господин Зеленский не собирается их освобождать [пленных] или проводить обмены», — сообщил Медведчук.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 291, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.22988505747126434, + "rouge2": 0.11764705882352941 + }, + "predict": " Премьер-министр Великобритании Тереза Мэй на банкете лорда-мэра Сити обвинила Россию в подрыве глобального миропорядка, вмешательстве в выборы, генерации «фальшивых новостей» и попытках посеять раздор в западных странах. Мэй выразила уверенность в прочности демократий и открытости западных обществ, а также в их альянсе. Она выразила надежду на налаживание отношений с Россией, отметив, что глава МИД Борис Джонсон планирует посетить страну в ближайшие месяцы, чтобы избежать постоянной конфронтации.", + "sample": { + "src_sents": [ + "Премьер-министр Великобритании Тереза Мэй выступила на банкете лорда-мэра лондонского Сити, в ходе которого обвинила Россию в подрыве глобального миропрорядка. Об этом сообщает РИА «Новости».", + "Мэй обвинила Россию во вмешательстве в выборы западных стран, генерации «фальшивых новостей» и попытке сделать «информацию оружием» с целью посеять раздор в западном мире.", + "По словам Мэй, «масштаб и характер» действий России «угрожают международному порядку, от которого все мы зависим».", + "«У меня очень простое послание России. Мы знаем, что вы делаете. И вы не добьетесь успеха. Потому что вы недооцениваете прочность наших демократий, стойкую привлекательность свободных и открытых обществ, а также приверженность стран Запада альянсам, которые нас объединяют», — сказала Мэй.", + "«Великобритания станет делать все необходимое для самозащиты, а также будет работать с союзниками, чтобы поступать [с Россией] аналогичным образом», — заявила британский премьер.", + "В то же время британский премьер выразила надежду, что ей удастся наладить отношения с Россией.", + "Мэй заявила, что глава МИД страны Борис Джонсон посетит Россию в ближайшие месяцы, потому что, по ее словам, Лондон не хочет находиться в состоянии постоянной конфронтации с Москвой.", + "Как ранее сообщали российские СМИ со ссылкой на источники, этот визит, скорее всего, состоится во второй половине декабря.", + "«Мы не хотим возвращаться к холодной войне или находиться в состоянии постоянной конфронтации. Поэтому в то время как мы должны остерегаться, мы также хотим действовать, поэтому в ближайшие месяцы министр иностранных дел посетит Москву», — сказала Мэй." + ], + "summary_sents": [ + "Премьер-министр Великобритании Тереза Мэй заявила, что Россия подрывает глобальный миропорядок.", + "По словам Мэй, Британия готова противостоять действиям Москвы." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 4 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Премьер-министр Великобритании Тереза Мэй выступила на банкете лорда-мэра лондонского Сити, в ходе которого обвинила Россию в подрыве глобального миропрорядка. Об этом сообщает РИА «Новости». Мэй обвинила Россию во вмешательстве в выборы западных стран, генерации «фальшивых новостей» и попытке сделать «информацию оружием» с целью посеять раздор в западном мире. По словам Мэй, «масштаб и характер» действий России «угрожают международному порядку, от которого все мы зависим». «У меня очень простое послание России. Мы знаем, что вы делаете. И вы не добьетесь успеха. Потому что вы недооцениваете прочность наших демократий, стойкую привлекательность свободных и открытых обществ, а также приверженность стран Запада альянсам, которые нас объединяют», — сказала Мэй. «Великобритания станет делать все необходимое для самозащиты, а также будет работать с союзниками, чтобы поступать [с Россией] аналогичным образом», — заявила британский премьер. В то же время британский премьер выразила надежду, что ей удастся наладить отношения с Россией. Мэй заявила, что глава МИД страны Борис Джонсон посетит Россию в ближайшие месяцы, потому что, по ее словам, Лондон не хочет находиться в состоянии постоянной конфронтации с Москвой. Как ранее сообщали российские СМИ со ссылкой на источники, этот визит, скорее всего, состоится во второй половине декабря. «Мы не хотим возвращаться к холодной войне или находиться в состоянии постоянной конфронтации. Поэтому в то время как мы должны остерегаться, мы также хотим действовать, поэтому в ближайшие месяцы министр иностранных дел посетит Москву», — сказала Мэй.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 368, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5045045045045045, + "rouge2": 0.23853211009174313 + }, + "predict": " Компания Amblin Television анонсировала съемки драматического сериала по мотивам культового японского фильма Акиры Куросавы «Расемон», который был снят в 1950 году. Сериал состоит из десяти эпизодов и будет включать в себя разные точки зрения на одно и то же событие, как в оригинальной ленте. Съемки возглавят Дэррил Фрэнк и Джастин Фэлви, а также Марк Кантон и Дэвид Хопвуд. Художественная основа фильма «Расемон» основана на рассказе Рюноскэ Акутагавы, а его название взято из другого произведения автора.", + "sample": { + "src_sents": [ + "Компания Amblin Television займется съемками драматического сериала по мотивам фильма «Расемон» японского режиссера Акиры Куросавы. Об этом сообщает издание Deadline.", + "По данным СМИ, сериал будет состоять из десяти эпизодов.", + "Подробности будущего проекта пока не разглашаются, однако известно, что в сериале, как и в оригинальной ленте, одно и то же событие будет показано с разных точек зрения.", + "В качестве исполнительных продюсеров шоу выступят сопредседатели Amblin Television Дэррил Фрэнк и Джастин Фэлви.", + "Кроме того, к съемкам присоединятся Марк Кантон из Atmosphere Entertainment и Дэвид Хопвуд из Opus 7.", + "Художественная лента «Расемон» культового японского режиссера Акиры Куросавы была снята в 1950 году по мотивам рассказа Рюноскэ Акутагавы «В чаще».", + "При этом название было позаимствовано из другого произведения автора — «Ворота Расемон»." + ], + "summary_sents": [ + "Компания Amblin Television готовится к съемках драматического сериала-триллера из 10 эпизодов по мотивам картины «Расемон» японского режиссера Акиры Куросавы.", + "Как и в оригинальном фильме, одно и то же событие будет показано с разных точек зрения." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 3 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Компания Amblin Television займется съемками драматического сериала по мотивам фильма «Расемон» японского режиссера Акиры Куросавы. Об этом сообщает издание Deadline. По данным СМИ, сериал будет состоять из десяти эпизодов. Подробности будущего проекта пока не разглашаются, однако известно, что в сериале, как и в оригинальной ленте, одно и то же событие будет показано с разных точек зрения. В качестве исполнительных продюсеров шоу выступят сопредседатели Amblin Television Дэррил Фрэнк и Джастин Фэлви. Кроме того, к съемкам присоединятся Марк Кантон из Atmosphere Entertainment и Дэвид Хопвуд из Opus 7. Художественная лента «Расемон» культового японского режиссера Акиры Куросавы была снята в 1950 году по мотивам рассказа Рюноскэ Акутагавы «В чаще». При этом название было позаимствовано из другого произведения автора — «Ворота Расемон».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 231, + "generated_len": [ + 203 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4666666666666667, + "rouge2": 0.15254237288135594 + }, + "predict": " В Воронеже с начала сезона от отравления грибами скончались 10 человек, из которых 9 взрослых и 1 ребенок. В областной больнице №1 находятся 11 пациентов с диагнозом «отравление грибами», из которых пятеро в тяжелом состоянии и двое в реанимации. Основной причиной отравления является бледная поганка, что приводит к длительному лечению, иногда до месяца, с использованием дезинтоксикационных и обменных плазмаферезов.", + "sample": { + "src_sents": [ + "10 жителей Воронежской области скончались с начала сезона от отравления грибами – среди них девять взрослых и один ребенок.", + "«Из-за острой интоксикации грибами вчера умерла еще одна жительница Воронежа. Таким образом, общее число смертельных случаев увеличилось до 10. Из-за отравления грибами умерли девять взрослых пациентов и один ребенок», — уточнили в ведомстве.", + "По данным департамента, по состоянию на 21 августа, в воронежской областной больницы №1 проходят лечение 11 человек с диагнозом «отравление грибами» – среди них пятеро находятся в тяжелом состоянии, а двое лежат в реанимации.", + "Заведующий воронежским центром острых отравлений Александр Сертаков сообщил, что в большинстве случаев жители данного региона травятся бледной поганкой.", + "«Есть люди, которые долго тянут, ждут, когда само пройдет, а потом поступают в крайне тяжелом состоянии, когда время для эффективного лечения упущено. Мы проводим дезинтоксикационную терапию, инфузионную терапию, обменный плазмаферез — убираем из организма большое количество плазмы вместе с токсинами, проводим лечение печеночной недостаточности. В некоторых случаях лечение бывает длительным, до месяца», – рассказал Сертаков агентству РИА «Воронеж».", + "Он также подчеркнул, что список смертельно-ядовитых грибов в этом году пополнился." + ], + "summary_sents": [ + "10 жителей Воронежской области скончались в результате отравления грибами с начала сезона – среди них девять взрослых и один ребенок.", + "По данным регионального Минздрава, на данный момент с подобной интоксикацией в центральной больнице проходят лечение 11 местных жителей, пятеро из которых находятся в тяжелом состоянии, а двое лежат в реанимации.", + "Как пояснил токсиколог Александр Сертаков, в основном воронежцы травятся бледной поганкой." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2, + 3 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: 10 жителей Воронежской области скончались с начала сезона от отравления грибами – среди них девять взрослых и один ребенок. «Из-за острой интоксикации грибами вчера умерла еще одна жительница Воронежа. Таким образом, общее число смертельных случаев увеличилось до 10. Из-за отравления грибами умерли девять взрослых пациентов и один ребенок», — уточнили в ведомстве. По данным департамента, по состоянию на 21 августа, в воронежской областной больницы №1 проходят лечение 11 человек с диагнозом «отравление грибами» – среди них пятеро находятся в тяжелом состоянии, а двое лежат в реанимации. Заведующий воронежским центром острых отравлений Александр Сертаков сообщил, что в большинстве случаев жители данного региона травятся бледной поганкой. «Есть люди, которые долго тянут, ждут, когда само пройдет, а потом поступают в крайне тяжелом состоянии, когда время для эффективного лечения упущено. Мы проводим дезинтоксикационную терапию, инфузионную терапию, обменный плазмаферез — убираем из организма большое количество плазмы вместе с токсинами, проводим лечение печеночной недостаточности. В некоторых случаях лечение бывает длительным, до месяца», – рассказал Сертаков агентству РИА «Воронеж». Он также подчеркнул, что список смертельно-ядовитых грибов в этом году пополнился.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 319, + "generated_len": [ + 203 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.275, + "rouge2": 0.13924050632911394 + }, + "predict": " В 2011 году Первый канал значительно улучшил свою финансовую ситуацию, увеличив выручку до 28,88 млрд рублей (рост на 18% по сравнению с 2010 годом) и чистую прибыль до 2,785 млрд рублей (в 2,5 раза больше, чем в 2010-м). Телеканал также увеличил расходы на 2,357 млрд рублей до 28,23 млрд рублей. Государственные субсидии на канал в 2011 году выросли на 77,8 млн рублей до 3,49 млрд рублей. Основной источник доходов — продажи телерекламы, которые увеличились на 5,7 млрд рублей до 23,37 млрд рублей. В 2011 году политические организации потратили 417,4 млн рублей на рекламу на Первом канале, что составляет 1 млрд рублей общей политической рекламы в стране.", + "sample": { + "src_sents": [ + "Выручка Первого канала в 2011 году выросла на 18%, до 28,88 млрд рублей, с 24,48 млрд рублей в 2010 году.", + "Чистая прибыль увеличилась более чем в два с половиной раза, до 2,785 млрд рублей по сравнению с 1,046 млрд рублей в 2010-м, следует из материалов телеканала.", + "В 2011 году телеканал увеличил расходы на 2,357 млрд рублей, до 28,23 млрд рублей с 25,868 млрд рублей.", + "<1 >Государственные субсидии телеканала в 2011 году увеличились на 77,8 млн рублей, до 3,49 млрд рублей (в 2010 году — 3,408 млрд рублей).", + "Большую часть доходов в 2011 году телеканал получил от продажи телерекламы, следует из отчетности.", + "Доходы от продажи коммерческой рекламы в 2011 году выросли на 5,7 млрд рублей, до 23,37 млрд рублей с 17,646 млрд рублей в 2010 году.", + "Общий объем продаж рекламы за год составил 28,9 млрд рублей, увеличившись на 18%.", + "Ранее в АКАР подсчитали, что доходы от рекламы на телевидении в 2011 году выросли также на 18% (с 110,8 млрд до 131 млрд рублей).", + "В 2011 году политические организации потратили 417,4 млн рублей на размещение рекламы на Первом канале (данные за 2010 год телеканал не предоставил).", + "По данным АКАР, всего в 2011 году объем политической рекламы составил 1 млрд рублей." + ], + "summary_sents": [ + "Первый канал собрал почти 42% политической рекламы в предвыборном 2011 году и 22% всего объема коммерческой рекламы, следует из отчета канала, опубликованного по требованию ФСФР.", + "За 2011 год доходы госканала увеличились на 18%, до 28,9 млрд рублей, на среднем для рынка уровне." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 6 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Выручка Первого канала в 2011 году выросла на 18%, до 28,88 млрд рублей, с 24,48 млрд рублей в 2010 году. Чистая прибыль увеличилась более чем в два с половиной раза, до 2,785 млрд рублей по сравнению с 1,046 млрд рублей в 2010-м, следует из материалов телеканала. В 2011 году телеканал увеличил расходы на 2,357 млрд рублей, до 28,23 млрд рублей с 25,868 млрд рублей. <1 >Государственные субсидии телеканала в 2011 году увеличились на 77,8 млн рублей, до 3,49 млрд рублей (в 2010 году — 3,408 млрд рублей). Большую часть доходов в 2011 году телеканал получил от продажи телерекламы, следует из отчетности. Доходы от продажи коммерческой рекламы в 2011 году выросли на 5,7 млрд рублей, до 23,37 млрд рублей с 17,646 млрд рублей в 2010 году. Общий объем продаж рекламы за год составил 28,9 млрд рублей, увеличившись на 18%. Ранее в АКАР подсчитали, что доходы от рекламы на телевидении в 2011 году выросли также на 18% (с 110,8 млрд до 131 млрд рублей). В 2011 году политические организации потратили 417,4 млн рублей на размещение рекламы на Первом канале (данные за 2010 год телеканал не предоставил). По данным АКАР, всего в 2011 году объем политической рекламы составил 1 млрд рублей.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 421, + "generated_len": [ + 203 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.30894308943089427, + "rouge2": 0.04958677685950414 + }, + "predict": " Новая розничная сеть Tele2, основанная на концепции «других правил», адаптирована под цифровую аудиторию, активно использующую мобильные устройства и интернет. Входной пункт в магазины оборудован цифровыми инструментами, упрощающими взаимодействие между клиентом и продавцом, и предлагает виртуальные витрины для демонстрации гаджетов. Цель – создать пространство, где посетители могут не только приобрести новые устройства, но и взаимодействовать с ними, что соответствует трендам диджитализации и предпочтениям современных пользователей.", + "sample": { + "src_sents": [ + "На входе в новый магазин Tele2 посетитель замечает, что привычную надпись «салон связи» заменяет вывеска «Другие правила», а описание режима работы – призыв «Общайтесь».", + "Компания заявляет, что каждый элемент новой розницы прошел через фильтр диджитализации и концепцию «других правил».", + "Цифровой подход воплотился в сервисе, ассортименте и коммуникациях.", + "Аудитория оператора становится все более цифровой, поэтому запуск формата – логичный ответ на тренд диждитализации.", + "«По итогам прошлого года потребление интернет-трафика на одного пользователя Tele2 выросло почти в полтора раза. Клиенты приобрели в два раза больше смартфонов, чем годом ранее. Аудитория нашего мобильного приложения также удвоилась. Вывод очевиден – наши клиенты уходят в цифру», – заключил Игорь Майстренко , директор по продажам и развитию массового сегмента Tele2.", + "Витрины нового магазина оформлены в непривычном для салона связи дизайне.", + "Оператор ориентировался не на отраслевые стандарты, а стиль fashion-бутиков и модных универмагов.", + "При разработке нового формата компания провела исследования и получила интересные результаты.", + "Выяснилось, что клиенты хотят приходить в салон не для решения проблем, а взаимодействия с новыми гаджетами.", + "В салонах нового формата digital-инструменты упрощают жизнь как клиенту, так и продавцу.", + "Например, используя планшет, консультант может обслужить посетителя в любой точке зала.", + "Это и база данных, и точка продаж — стоять в очереди необязательно.", + "В магазине нет традиционных кассовых зон, что, как считают в компании, снимает барьеры в общении.", + "В магазине установлены виртуальные витрины, которая частично выполняют функцию терминала самообслуживания: здесь клиенты могут сменить тариф, выбрать номер, оставить заявку для перехода в сеть Tele2.", + "Цифровой подход применили к выкладке устройств в салоне Tele2.", + "Ее в компании называют «интерактивной витриной».", + "Это роботы, дроны, GoPro- и другие action-камеры.", + "Установленные здесь цифровые экраны покажут, как эти гаджеты можно использовать на практике.", + "В зоне располагаются и решения для «умного дома».", + "В новом салоне появился и кофе-корнер.", + "Оператор предлагает чашку бесплатного кофе, которую можно получить через мобильное приложение.", + "Новый салон – экспериментальный, но уже к следующем году digital-формат станет основным для розницы компании.", + "В апреле этого года новые магазины откроются в Ярославле, где оператор скоро запускает сеть, и Санкт-Петербурге." + ], + "summary_sents": [ + "Оператор мобильной связи Tele2 запускает новый цифровой формат розницы: первый digital-магазин открылся в Москве на Тверской улице.", + "Оформление фасада по принципу модных бутиков, зона «умного дома», интерактивные и виртуальные витрины, продавцы с планшетами и заказ бесплатного кофе через приложение – так компания отвечает на запрос «цифровой» аудитории.", + "К следующему году концепция станет основной для всей розничной сети Tele2." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 5, + 6, + 10, + 14, + 15, + 18, + 20, + 21, + 22 + ], + "category": "tech" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: На входе в новый магазин Tele2 посетитель замечает, что привычную надпись «салон связи» заменяет вывеска «Другие правила», а описание режима работы – призыв «Общайтесь». Компания заявляет, что каждый элемент новой розницы прошел через фильтр диджитализации и концепцию «других правил». Цифровой подход воплотился в сервисе, ассортименте и коммуникациях. Аудитория оператора становится все более цифровой, поэтому запуск формата – логичный ответ на тренд диждитализации. «По итогам прошлого года потребление интернет-трафика на одного пользователя Tele2 выросло почти в полтора раза. Клиенты приобрели в два раза больше смартфонов, чем годом ранее. Аудитория нашего мобильного приложения также удвоилась. Вывод очевиден – наши клиенты уходят в цифру», – заключил Игорь Майстренко , директор по продажам и развитию массового сегмента Tele2. Витрины нового магазина оформлены в непривычном для салона связи дизайне. Оператор ориентировался не на отраслевые стандарты, а стиль fashion-бутиков и модных универмагов. При разработке нового формата компания провела исследования и получила интересные результаты. Выяснилось, что клиенты хотят приходить в салон не для решения проблем, а взаимодействия с новыми гаджетами. В салонах нового формата digital-инструменты упрощают жизнь как клиенту, так и продавцу. Например, используя планшет, консультант может обслужить посетителя в любой точке зала. Это и база данных, и точка продаж — стоять в очереди необязательно. В магазине нет традиционных кассовых зон, что, как считают в компании, снимает барьеры в общении. В магазине установлены виртуальные витрины, которая частично выполняют функцию терминала самообслуживания: здесь клиенты могут сменить тариф, выбрать номер, оставить заявку для перехода в сеть Tele2. Цифровой подход применили к выкладке устройств в салоне Tele2. Ее в компании называют «интерактивной витриной». Это роботы, дроны, GoPro- и другие action-камеры. Установленные здесь цифровые экраны покажут, как эти гаджеты можно использовать на практике. В зоне располагаются и решения для «умного дома». В новом салоне появился и кофе-корнер. Оператор предлагает чашку бесплатного кофе, которую можно получить через мобильное приложение. Новый салон – экспериментальный, но уже к следующем году digital-формат станет основным для розницы компании. В апреле этого года новые магазины откроются в Ярославле, где оператор скоро запускает сеть, и Санкт-Петербурге.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 551, + "generated_len": [ + 203 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.10126582278481013, + "rouge2": 0.05194805194805195 + }, + "predict": " В аннотации кратко описывается список лауреатов премии «Русского Букера-2010», включающий известных авторов и их произведения, а также количество изданий, журналов, университетов и библиотек, принимавших участие в отборе. Сравнение с другими престижными литературными наградами (например, «Большой книгой» и «Нацбестом») позволяет сделать вывод о том, что выбор лауреатов в «Русском Букере» не является случайным и отражает широкий спектр литературных жанров и направлений.", + "sample": { + "src_sents": [ + "Когда вчера председатель жюри «Русского Букера-2010» Руслан Киреев объявлял «длинный» список премии, в глаза бросились в первую очередь знакомые и растиражированные фамилии: Виктор Пелевин с книгой «t» или Андрей Аствацатуров и его «Люди в голом», Дина Рубина («Белая голубка Кордовы») и Тимур Кибиров («Лада, или Радость»), прошлогодние номинанты Михаил Гиголашвили («Чертово колесо») и Павел Крусанов («Мертвый язык»), а также букеровские новички Андрей Иванов («Путешествие Ханумана на Лолланд») и Ариадна Борисова («Земля удаганок»).", + "Две дюжины книг были, в свою очередь, отобраны из 95 наименований, а в процессе выдвижения номинантов приняли участие 47 издательств, 9 журналов, 4 университета и 11 библиотек.", + "Однако обширным поле для гаданий кажется лишь на первый взгляд.", + "Во всяком случае, стоит положить рядом два длинных списка, с «Русского Букера» и «Большой книги» (объявленный, как обычно, в мае), и один короткий с «Нацбеста» (врученного месяц назад) — картина несколько проясняется." + ], + "summary_sents": [ + "Объявленный вчера лонг-лист «Русского Букера-2010» не произвел на свет ни одной сенсации, но обнаружил очевидных фаворитов." + ], + "support_labels": [ + "YES" + ], + "extractive_summary": [ + 0 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Когда вчера председатель жюри «Русского Букера-2010» Руслан Киреев объявлял «длинный» список премии, в глаза бросились в первую очередь знакомые и растиражированные фамилии: Виктор Пелевин с книгой «t» или Андрей Аствацатуров и его «Люди в голом», Дина Рубина («Белая голубка Кордовы») и Тимур Кибиров («Лада, или Радость»), прошлогодние номинанты Михаил Гиголашвили («Чертово колесо») и Павел Крусанов («Мертвый язык»), а также букеровские новички Андрей Иванов («Путешествие Ханумана на Лолланд») и Ариадна Борисова («Земля удаганок»). Две дюжины книг были, в свою очередь, отобраны из 95 наименований, а в процессе выдвижения номинантов приняли участие 47 издательств, 9 журналов, 4 университета и 11 библиотек. Однако обширным поле для гаданий кажется лишь на первый взгляд. Во всяком случае, стоит положить рядом два длинных списка, с «Русского Букера» и «Большой книги» (объявленный, как обычно, в мае), и один короткий с «Нацбеста» (врученного месяц назад) — картина несколько проясняется.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 306, + "generated_len": [ + 203 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.43697478991596644, + "rouge2": 0.11965811965811965 + }, + "predict": " Психиатр-нарколог, выдавший справку для Данилы Монахова, который впоследствии расстрелял людей на остановке в Нижегородской области, был арестован за халатность. В результате Монахов получил лицензию на оружие, что, по версии следствия, было связано с недобросовестным осмотром молодого человека. Также был возбуждено уголовное дело против инспектора ПДН, который, по мнению следствия, не расследовал дело должным образом, что привело к необоснованному отказу в возбуждении уголовного дела.", + "sample": { + "src_sents": [ + "Психиатра-нарколога, который выдал справку для владения огнестрельным оружием расстрелявшему людей на остановке в Нижегородской области Даниле Монахову, взяли под стражу.", + "Об этом сообщили в региональном управлении Следственного комитета.", + "По версии следствия, в июле 2020 года медик недобросовестного отнесся к своим обязанностям и произвел осмотр 18-летнего Данила Монахова ненадлежащим образом.", + "В результате у 18-летнего молодого человека не были выявлены психические расстройства и расстройства поведения, при наличии которых противопоказано владение оружием.", + "В СК считают, что решение врача имело юридические последствия: оно дало основания Росгвардии выдать Монахову лицензию на приобретение охотничьего огнестрельного оружия.", + "В отношении психиатра-нарколога Следственным комитетом по Нижнему Новгороду было возбуждено уголовное дело по части 3 статьи 293 УК РФ «Халатность». Вину обвиняемый не признал.", + "Кроме того, правоохранители возбудили уголовное дело в отношении инспектора подразделения по делам несовершеннолетних (ПДН) отдела полиции № 3 Ленинского района по части 1 статьи 285 УК РФ «Злоупотребление должностными полномочиями».", + "По версии следствия, в марте 2019 года, сотрудница ПДН, принимая решение о доследственной проверке по факту противоправных действий несовершеннолетнего ученика, грубо нарушила требования уголовно-процессуального закона и не обратила внимание на данные, указывающие на наличие в действиях Монахова признаков преступления, предусмотренного частью 2 статьи 105 УК РФ.", + "Дело в том, что в феврале прошлого года из школы, где учился будущий стрелок, поступило сообщение об угрозе убийством со стороны Монахова, а также о том, что юноша активно интересуется экстремистскими материалами и вопросами приобретения оружия.", + "Сотрудница отдела ПДН написала рапорт о проведении проверки, но по ее результатам уголовное дело не возбудила.", + "Правоохранитель не нашла в действиях подростка состава преступления, хотя оснований для возбуждения дела по двум статьям УК РФ было достаточно.", + "Следствие считает, что решение об отказе в возбуждении уголовного дела было незаконным и необоснованным.", + "При этом Монахов был поставлен на школьный учет, на котором состоял до конца обучения." + ], + "summary_sents": [ + "В Нижнем Новгороде арестовали психиатра-нарколога, который выдал справку о здоровье для разрешения на владение оружием 18-летнему Даниле Монахову , расстрелявшему людей на остановке на прошлой неделе.", + "Следователи уверены, что медик проявил халатность.", + "Они также возбудили дело в отношении инспектора ПДН, которая после сообщений об интересе стрелка к оружию и взрывчатке не отреагировала на них." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6, + 7, + 8 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Психиатра-нарколога, который выдал справку для владения огнестрельным оружием расстрелявшему людей на остановке в Нижегородской области Даниле Монахову, взяли под стражу. Об этом сообщили в региональном управлении Следственного комитета. По версии следствия, в июле 2020 года медик недобросовестного отнесся к своим обязанностям и произвел осмотр 18-летнего Данила Монахова ненадлежащим образом. В результате у 18-летнего молодого человека не были выявлены психические расстройства и расстройства поведения, при наличии которых противопоказано владение оружием. В СК считают, что решение врача имело юридические последствия: оно дало основания Росгвардии выдать Монахову лицензию на приобретение охотничьего огнестрельного оружия. В отношении психиатра-нарколога Следственным комитетом по Нижнему Новгороду было возбуждено уголовное дело по части 3 статьи 293 УК РФ «Халатность». Вину обвиняемый не признал. Кроме того, правоохранители возбудили уголовное дело в отношении инспектора подразделения по делам несовершеннолетних (ПДН) отдела полиции № 3 Ленинского района по части 1 статьи 285 УК РФ «Злоупотребление должностными полномочиями». По версии следствия, в марте 2019 года, сотрудница ПДН, принимая решение о доследственной проверке по факту противоправных действий несовершеннолетнего ученика, грубо нарушила требования уголовно-процессуального закона и не обратила внимание на данные, указывающие на наличие в действиях Монахова признаков преступления, предусмотренного частью 2 статьи 105 УК РФ. Дело в том, что в феврале прошлого года из школы, где учился будущий стрелок, поступило сообщение об угрозе убийством со стороны Монахова, а также о том, что юноша активно интересуется экстремистскими материалами и вопросами приобретения оружия. Сотрудница отдела ПДН написала рапорт о проведении проверки, но по ее результатам уголовное дело не возбудила. Правоохранитель не нашла в действиях подростка состава преступления, хотя оснований для возбуждения дела по двум статьям УК РФ было достаточно. Следствие считает, что решение об отказе в возбуждении уголовного дела было незаконным и необоснованным. При этом Монахов был поставлен на школьный учет, на котором состоял до конца обучения.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 492, + "generated_len": [ + 203 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.308641975308642, + "rouge2": 0.1375 + }, + "predict": " Совет директоров компании «Праймери Дон», принадлежащей предпринимателю Ивану Саввиди, принял решение о продаже пакета акций аэропорта Ростова-на-Дону. Приоритетом для потенциальных покупателей являются заявки на покупку 25% акций, а затем всего пакета. Саввиди планирует привлечь независимую международную компанию для оценки стоимости пакета акций, отказываясь от предложений российских холдингов в сфере аэропортового бизнеса. Правительство оставило решение за ростовскими властями, которые приняли решение о передаче аэропорта региону. Окончательная судьба аэропорта и его земельного участка в городе остается неясной, и предполагается, что аэропорт будет закрыт, а земля будет использована под застройку. Саввиди, пытаясь сохранить контроль над аэропортом, столкнулся с необходимостью продать его из-за его предполагаемого будущего закрытия.", + "sample": { + "src_sents": [ + "Совет директоров «Праймери Дон» (принадлежит предпринимателю Ивану Саввиди ) утвердил решение о продаже пакета акций аэропорта Ростова-на-Дону, сообщили в компании.", + "Приоритет среди потенциальных покупателей будут иметь заявки на покупку пакета 25% акций, во вторую очередь рассматриваются предложения о покупке всего пакета акций, решил совет директоров компании.", + "Председатель совета директоров группы Саввиди в середине недели заявлял о планах продажи части акций аэропорта, добавляя, что намерен привлечь независимую международную компанию для оценки стоимости пакета акций.", + "До сих пор Саввиди отказывался от предложений, которые делали ему по ростовскому аэропорту российские холдинги, работающие в сфере аэропортового бизнеса.", + "Правительство оставило решение вопроса за ростовскими властями, в итоге приняв решение о передаче аэропорта и его аэродрома региону.", + "Окончательный вариант эксплуатации действующего аэропорта после ввода в строй «Южного хаба» пока не определен, сообщили в ростовском минтрансе.", + "Источник, знакомый с ситуацией, уверен, что аэропорт будет закрыт, а его земля, расположенная в городской черте, использована под застройку.", + "«Саввиди попытался сделать все, чтобы сохранить контроль в аэропорте и сам аэропорт, но он никогда особо не вкладывался в аэропорт, а вкладываться в него сейчас, зная, что через пять лет он прекратит свое существование, тем более бессмысленно», — поясняет решение о продаже акций источник в отрасли." + ], + "summary_sents": [ + "Структуры Ивана Саввиди продают долю в аэропорте Ростова-на-Дону.", + "Приоритет будет у инвесторов, претендующих на пакет свыше 25% акций, сообщили представители бизнесмена.", + "Источники объясняют решение о продаже возможным закрытием аэропорта после ввода в строй «Южного хаба» — проекта группы «Ренова».", + "В этом случае земля старого аэропорта, расположенная в городской черте, может быть использована под застройку." + ], + "support_labels": [ + "YES", + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Совет директоров «Праймери Дон» (принадлежит предпринимателю Ивану Саввиди ) утвердил решение о продаже пакета акций аэропорта Ростова-на-Дону, сообщили в компании. Приоритет среди потенциальных покупателей будут иметь заявки на покупку пакета 25% акций, во вторую очередь рассматриваются предложения о покупке всего пакета акций, решил совет директоров компании. Председатель совета директоров группы Саввиди в середине недели заявлял о планах продажи части акций аэропорта, добавляя, что намерен привлечь независимую международную компанию для оценки стоимости пакета акций. До сих пор Саввиди отказывался от предложений, которые делали ему по ростовскому аэропорту российские холдинги, работающие в сфере аэропортового бизнеса. Правительство оставило решение вопроса за ростовскими властями, в итоге приняв решение о передаче аэропорта и его аэродрома региону. Окончательный вариант эксплуатации действующего аэропорта после ввода в строй «Южного хаба» пока не определен, сообщили в ростовском минтрансе. Источник, знакомый с ситуацией, уверен, что аэропорт будет закрыт, а его земля, расположенная в городской черте, использована под застройку. «Саввиди попытался сделать все, чтобы сохранить контроль в аэропорте и сам аэропорт, но он никогда особо не вкладывался в аэропорт, а вкладываться в него сейчас, зная, что через пять лет он прекратит свое существование, тем более бессмысленно», — поясняет решение о продаже акций источник в отрасли.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 314, + "generated_len": [ + 203 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3484848484848485, + "rouge2": 0.09230769230769231 + }, + "predict": " В 2017 году второй конкурс на распределение президентских грантов, направленных на поддержку некоммерческих организаций, завершился. Общий фонд составил более 4,5 млрд руб., что в совокупности с первым годом финансирования достигло 7 млрд руб. В этом конкурсе приняли участие 9543 проекта из 8000 некоммерческих организаций из всех регионов России. Несмотря на отказ «Ночным волкам» в гранте, «Федерация мототуризма» и «Русские мотоциклисты» получили финансирование. Оба проекта, «Русская дорога» и «Славянский мир», связаны с развитием общественной дипломатии и поддержкой соотечественников, отражая культурные и исторические интересы России.", + "sample": { + "src_sents": [ + "22 ноября определились победители второго конкурса на распределение президентских грантов — финансирования из федерального бюджета, выделяемого на конкурсной основе для поддержки некоммерческих организаций указом президента РФ.", + "Фонд второго в этом году конкурса составил более 4,5 млрд руб.", + "С учетом дотаций первого конкурса, проведенного в августе, всего в 2017-м общественные организации получат более 7 млрд руб.", + "С 2017 года распределением этих средств стал заниматься специально созданный в апреле Фонд президентских грантов.", + "Первый замглавы администрации президента Сергей Кириенко , председатель Координационного комитета по проведению конкурсов, заявил, что на этот раз распределение грантовых средств охватило все регионы России.", + "«На второй конкурс у нас подано 9543 проекта от восьми тысяч некоммерческих организаций из всех без исключения регионов нашей страны. Это важно. У нас не осталось регионов, которые не принимали бы участие в конкурсе», — сказал Кириенко на заседании Координационного комитета в среду.", + "Отказ «Ночным волкам» в президентском гранте в августе стал одной из самых обсуждаемых тем в СМИ.", + "По итогам второго этапа конкурса, организации, в названии которых фигурировали «Ночные волки», денег также не получили.", + "Зато денежные средства достались организациям «Федерация мототуризма» и «Русские мотоциклисты».", + "Согласно данным системы «Спарк», председателем совета «Федерации мототуризма» значится Евгений Строгов.", + "Председателем же «Русских мотоциклистов» числится лидер «волков» Александр Залдостанов , Строгов же указан как его заместитель в организации.", + "«Федерация мототуризма» получила 3,3 млн рублей на проект «Русская дорога».", + "У «Русских мотоциклистов» проект называется «Славянский мир». На него выделено 2,3 млн рублей.", + "Оба проекта относятся к категории «Развитие общественной дипломатии и поддержка соотечественников» и в целом похожи друг на друга.", + "«Русская дорога», согласно описанию проекта, заключается в мотоциклетных и автомобильных «паломничествах» по территории России и Сербии и Республики Сербской, которые сами организаторы полагают элементом «народной дипломатии».", + "В качестве целей «Русской дороги» обозначены популяризация в молодежной среде и обществе культурно-исторического наследия России, ее духовных ценностей и православия, а в балканских странах — еще и «противостояние западной пропаганде и антироссийским настроениям».", + "«Кроме того, паломничество вносит значительный вклад в развитие внутреннего облика российского человека, обогащает его духовный мир и расширяет спектр знаний по истории и культуре России, ее духовных традиций», — рекламируется заявка на сайте." + ], + "summary_sents": [ + "Завершился второй в 2017 году конкурс по распределению грантов президента РФ.", + "На этот раз конкурс охватил все регионы страны, а общее число региональных НКО, подавших заявки, увеличилось.", + "В числе получателей грантов оказались «Федерация мототуризма» и «Русские мотоциклисты» — организации, связанные с основателями «Ночных волков», ранее провалившихся в конкурсе." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 10, + 11, + 12 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: 22 ноября определились победители второго конкурса на распределение президентских грантов — финансирования из федерального бюджета, выделяемого на конкурсной основе для поддержки некоммерческих организаций указом президента РФ. Фонд второго в этом году конкурса составил более 4,5 млрд руб. С учетом дотаций первого конкурса, проведенного в августе, всего в 2017-м общественные организации получат более 7 млрд руб. С 2017 года распределением этих средств стал заниматься специально созданный в апреле Фонд президентских грантов. Первый замглавы администрации президента Сергей Кириенко , председатель Координационного комитета по проведению конкурсов, заявил, что на этот раз распределение грантовых средств охватило все регионы России. «На второй конкурс у нас подано 9543 проекта от восьми тысяч некоммерческих организаций из всех без исключения регионов нашей страны. Это важно. У нас не осталось регионов, которые не принимали бы участие в конкурсе», — сказал Кириенко на заседании Координационного комитета в среду. Отказ «Ночным волкам» в президентском гранте в августе стал одной из самых обсуждаемых тем в СМИ. По итогам второго этапа конкурса, организации, в названии которых фигурировали «Ночные волки», денег также не получили. Зато денежные средства достались организациям «Федерация мототуризма» и «Русские мотоциклисты». Согласно данным системы «Спарк», председателем совета «Федерации мототуризма» значится Евгений Строгов. Председателем же «Русских мотоциклистов» числится лидер «волков» Александр Залдостанов , Строгов же указан как его заместитель в организации. «Федерация мототуризма» получила 3,3 млн рублей на проект «Русская дорога». У «Русских мотоциклистов» проект называется «Славянский мир». На него выделено 2,3 млн рублей. Оба проекта относятся к категории «Развитие общественной дипломатии и поддержка соотечественников» и в целом похожи друг на друга. «Русская дорога», согласно описанию проекта, заключается в мотоциклетных и автомобильных «паломничествах» по территории России и Сербии и Республики Сербской, которые сами организаторы полагают элементом «народной дипломатии». В качестве целей «Русской дороги» обозначены популяризация в молодежной среде и обществе культурно-исторического наследия России, ее духовных ценностей и православия, а в балканских странах — еще и «противостояние западной пропаганде и антироссийским настроениям». «Кроме того, паломничество вносит значительный вклад в развитие внутреннего облика российского человека, обогащает его духовный мир и расширяет спектр знаний по истории и культуре России, ее духовных традиций», — рекламируется заявка на сайте.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 582, + "generated_len": [ + 203 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2877697841726619, + "rouge2": 0.0583941605839416 + }, + "predict": " С 2020 года в России налоговая служба обязывает предприятия выплачивать страховые взносы и НДФЛ за самозанятых граждан, работающих на них. Это нововведение направлено на борьбу с уклонением от уплаты налогов, которое ранее использовалось компаниями, нанимая самозанятых вместо штатных сотрудников. Эксперимент с налоговым режимом для самозанятых начался в 2019 году, предлагая льготный налоговый режим с 4% и 6% от доходов. В 2019 году зарегистрировались около 240 тыс. россиян, большинство из которых ранее работали в штатных условиях. Власти ожидают, что через пять лет число самозанятых достигнет 2,4 млн человек.", + "sample": { + "src_sents": [ + "Российские предприятия в четырех регионах обяжут с 2020 года выплачивать страховые взносы и НДФЛ за работающих на них самозанятых.", + "В настоящее время есть компании, которые нанимают самозанятых граждан вместо штатных сотрудников с целью обойти налоговые выплаты.", + "Поступают они и иначе: увольняют штатных и нанимают их в качестве самозанятых.", + "Делается это опять же с целью обойти налоговые выплаты.", + "С 2020 года такие предприятия начнут выявлять.", + "«ФНС видит все те предприятия, которые сегодня пытаются взять к себе вместо штатных работников самозанятых. Поэтому мы договорились о том, что в течение этого года мы не будем проводить специальные проверки таких предприятий и вводить меры ответственности за таких штатных работников. А со следующего года это ограничение снимается. И со следующего года налоговая служба будет досчитывать в случае, если самозанятый оказывает услуги только одному предприятию, этому предприятию страховые взносы и, соответственно, подоходный налог», — сказал Силуанов в Госдуме (цитата по «РИА Новости»).", + "Эксперимент по налоговому режиму для самозанятых стартовал 1 января 2019 года.", + "В этих регионах был введен налог на профессиональный доход (НПД) для самозанятых физических лиц.", + "Физлица и индивидуальные предприниматели, которые зарегистрируются как самозанятые, получат льготный налоговый режим: 4 % — от доходов, полученных при работе с физическими лицами, 6 % — от доходов, полученных от индивидуальных предпринимателей (ИП) и юридических лиц.", + "Получить статус самозанятого могут те, чей годовой доход не превышает 2,4 млн рублей.", + "С начала года в качестве самозанятых зарегистрировались 240 тыс. россиян, сообщали в Минфине.", + "90% из них ранее работали «всерую», признал Силуанов.", + "% При этом большая часть из «новичков» из столицы.", + "На Москву пришлось 60%, или 131 тыс. человек, зарегистрированных в рамках эксперимента.", + "Федеральные власти ожидают, что через пять лет с момента эксперимента число самозанятых по России достигнет 2,4 млн человек.", + "Например, ранее в Минфине предложили ограничить список профессий для которых будет доступна самозанятость.", + "Сужение перечня профессий поможет избежать ситуаций, когда рабочих на заводе оформляют как самозанятых, пояснял Силуанов.", + "Есть множество рабочих процессов, которые как раз и подразумевают, что человек может не быть оформлен в штат на постоянную работу, а нанят на выполнение временных работ как самозанятое лицо, по форме гражданско-правового договора (ГПХ), пояснила в беседе с «Газетой.Ru» аудитор компании «Бизнес-Партнер» Анаит Тушина." + ], + "summary_sents": [ + "Со следующего года ФНС начнет доначислять НДФЛ и страховые взносы «ушлым предпринимателям», нанимающим якобы самозанятых вместо штатных сотрудников, рассказал глава Минфина Антон Силуанов.", + "Сейчас налоги в размере 4-6% платят лишь жители четырех субъектов РФ.", + "При этом число тех, кто получил официальный статус, далек от цели правительства.", + "Самозанятых всего 240 тысяч." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 5, + 7, + 8, + 10, + 14 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Российские предприятия в четырех регионах обяжут с 2020 года выплачивать страховые взносы и НДФЛ за работающих на них самозанятых. В настоящее время есть компании, которые нанимают самозанятых граждан вместо штатных сотрудников с целью обойти налоговые выплаты. Поступают они и иначе: увольняют штатных и нанимают их в качестве самозанятых. Делается это опять же с целью обойти налоговые выплаты. С 2020 года такие предприятия начнут выявлять. «ФНС видит все те предприятия, которые сегодня пытаются взять к себе вместо штатных работников самозанятых. Поэтому мы договорились о том, что в течение этого года мы не будем проводить специальные проверки таких предприятий и вводить меры ответственности за таких штатных работников. А со следующего года это ограничение снимается. И со следующего года налоговая служба будет досчитывать в случае, если самозанятый оказывает услуги только одному предприятию, этому предприятию страховые взносы и, соответственно, подоходный налог», — сказал Силуанов в Госдуме (цитата по «РИА Новости»). Эксперимент по налоговому режиму для самозанятых стартовал 1 января 2019 года. В этих регионах был введен налог на профессиональный доход (НПД) для самозанятых физических лиц. Физлица и индивидуальные предприниматели, которые зарегистрируются как самозанятые, получат льготный налоговый режим: 4 % — от доходов, полученных при работе с физическими лицами, 6 % — от доходов, полученных от индивидуальных предпринимателей (ИП) и юридических лиц. Получить статус самозанятого могут те, чей годовой доход не превышает 2,4 млн рублей. С начала года в качестве самозанятых зарегистрировались 240 тыс. россиян, сообщали в Минфине. 90% из них ранее работали «всерую», признал Силуанов. % При этом большая часть из «новичков» из столицы. На Москву пришлось 60%, или 131 тыс. человек, зарегистрированных в рамках эксперимента. Федеральные власти ожидают, что через пять лет с момента эксперимента число самозанятых по России достигнет 2,4 млн человек. Например, ранее в Минфине предложили ограничить список профессий для которых будет доступна самозанятость. Сужение перечня профессий поможет избежать ситуаций, когда рабочих на заводе оформляют как самозанятых, пояснял Силуанов. Есть множество рабочих процессов, которые как раз и подразумевают, что человек может не быть оформлен в штат на постоянную работу, а нанят на выполнение временных работ как самозанятое лицо, по форме гражданско-правового договора (ГПХ), пояснила в беседе с «Газетой.Ru» аудитор компании «Бизнес-Партнер» Анаит Тушина.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 640, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3466666666666666, + "rouge2": 0.0821917808219178 + }, + "predict": " Иван Соловьев, полузащитник «Динамо», продолжит карьеру в «Зените» с августа 2013 года, после завершения сезона-2012/13. Контракт Соловьева с «Динамо» продлили до лета, но не до зимы. В то же время, «Терек» заключил контракт с форвардом из «Андерлехта», «Краснодар» — с полузащитником из «Лануса», а «Ростов» и «Волга» провели успешные контрольные матчи.", + "sample": { + "src_sents": [ + "После завершения сезона-2012/13 полузащитник «Динамо» Иван Соловьев продолжит карьеру в «Зените».", + "«Да, с августа Иван станет игроком «Зенита», — сказал «СЭ» президент московского клуба Геннадий Соловьев. — Это сезон он доиграет за «Динамо». Это его выбор, который надо уважать».", + "Контракт 19-летнего Соловьева с «Динамо», подписанный еще на дублерских условиях, рассчитан до лета.", + "Вовремя – то есть нынешней зимой – соглашение Соловьева пролонгировано не было.", + "Почему – неизвестно (не факт, что соответствующее предложение Соловьеву вообще было сделано).", + "Между тем «Терек» заключил соглашение на 3,5 года с бразильским форвардом «Андерлехта» Рубенилсоном дос Сантосом да Роша.", + "А вот «Краснодар» усилился 22-летним атакующим полузащитником Маурисио Перейрой , ранее выступавшим за аргентинский «Ланус».", + "Тем временем «Ростов» в контрольном матче одолел литовский «Атлантас» (1:0), а «Волга» выиграла «спарринг» у кахастанского «Востока» (3:1).", + "Другие новости и материалы можно посмотреть на странице российского футбола." + ], + "summary_sents": [ + "Летом 19-летний полузащитник «Динамо» Иван Соловьев перейдет в «Зенит».", + "«Терек» заключил соглашение с бразильским нападающим «Андерлехта», а «Краснодар» пополнился уругвайским полузащитником." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 5, + 6 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: После завершения сезона-2012/13 полузащитник «Динамо» Иван Соловьев продолжит карьеру в «Зените». «Да, с августа Иван станет игроком «Зенита», — сказал «СЭ» президент московского клуба Геннадий Соловьев. — Это сезон он доиграет за «Динамо». Это его выбор, который надо уважать». Контракт 19-летнего Соловьева с «Динамо», подписанный еще на дублерских условиях, рассчитан до лета. Вовремя – то есть нынешней зимой – соглашение Соловьева пролонгировано не было. Почему – неизвестно (не факт, что соответствующее предложение Соловьеву вообще было сделано). Между тем «Терек» заключил соглашение на 3,5 года с бразильским форвардом «Андерлехта» Рубенилсоном дос Сантосом да Роша. А вот «Краснодар» усилился 22-летним атакующим полузащитником Маурисио Перейрой , ранее выступавшим за аргентинский «Ланус». Тем временем «Ростов» в контрольном матче одолел литовский «Атлантас» (1:0), а «Волга» выиграла «спарринг» у кахастанского «Востока» (3:1). Другие новости и материалы можно посмотреть на странице российского футбола.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 294, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2982456140350877, + "rouge2": 0.14285714285714285 + }, + "predict": " Бывший министр экономического развития России Алексей Улюкаев, находящийся в СИЗО «Кремлевский центр», просит теплые вещи и перевод денег на банковскую карту для улучшения своего состояния в камере. Он рассчитывает на теплые одеяла и возможность заказывать продукты и обеды в электронном магазине. Улюкаев не предъявляет особых претензий к своему местоположению в изоляторе и к местной еде, но надеется получить лекарства на свидании с родственниками. Приговор ему был объявлен 15 декабря, за взятку в размере около 130 млн рублей.", + "sample": { + "src_sents": [ + "Бывший министр экономического развития России Алексей Улюкаев , находящийся в СИЗО «Кремлевский централ», попросил теплые вещи, он также надеется, что ему переведут деньги на банковскую карту.", + "«Сейчас ему нужна теплая одежда, поскольку в камере достаточно прохладно. Обещали, что пока не придет его личная одежда, ему выдадут теплую из резерва СИЗО. Также он рассчитывает, что ему переведут деньги на банковскую карту и он сможет заказывать определенные продукты и горячие обеды, пользуясь внутренним электронным магазином в СИЗО», — заявила Меркачева.", + "Она добавила, что Улюкаев не имел особых претензий к своему местонахождению в изоляторе и местной еде.", + "По словам общественника, экс-министр рассчитывает, что на свидании с родственниками ему будут переданы лекарства.", + "Приговор экс-министру был вынесен 15 декабря.", + "Улюкаева приговорили к восьми годам лишения свободы и выплате штрафа в размере однократном размеру взятки — около 130 млн рублей." + ], + "summary_sents": [ + "Общественные организации рассказали о необходимых осужденному экс-министру экономического развития Алексею Улюкаеву вещах.", + "По их словам, находящемуся в СИЗО бывшему чиновнику необходимы теплые вещи.", + "Сам Улюкаев ожидает от семьи передачи лекарств, фруктов и денег на банковскую карту." + ], + "support_labels": [ + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 1 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Бывший министр экономического развития России Алексей Улюкаев , находящийся в СИЗО «Кремлевский централ», попросил теплые вещи, он также надеется, что ему переведут деньги на банковскую карту. «Сейчас ему нужна теплая одежда, поскольку в камере достаточно прохладно. Обещали, что пока не придет его личная одежда, ему выдадут теплую из резерва СИЗО. Также он рассчитывает, что ему переведут деньги на банковскую карту и он сможет заказывать определенные продукты и горячие обеды, пользуясь внутренним электронным магазином в СИЗО», — заявила Меркачева. Она добавила, что Улюкаев не имел особых претензий к своему местонахождению в изоляторе и местной еде. По словам общественника, экс-министр рассчитывает, что на свидании с родственниками ему будут переданы лекарства. Приговор экс-министру был вынесен 15 декабря. Улюкаева приговорили к восьми годам лишения свободы и выплате штрафа в размере однократном размеру взятки — около 130 млн рублей.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 240, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.20979020979020976, + "rouge2": 0.014184397163120567 + }, + "predict": " В пятницу, 12 октября, в Москве ожидается солнечное, сухое и не по сезону теплое утро, с температурой до +13...+15°С. Ветер северо-западный, 2-7 м/с. Ночью температура понизится до +6...+8°С, но ветер стихнет до 1-6 м/с. В субботу, 13 октября, погода будет комфортной, с температурой воздуха около середины сентября, и атмосферный фон 756 мм рт. ст. В воскресенье, 14 октября, погода будет соответствовать бабьему лету, с облачностью, прояснениями и дождями. В понедельник, 15 октября, характер погоды останется прежним, с температурой до +11...+13°С днем и +3...+5°С ночью. В этот период можно посетить выставки, такие как «Опасный расклад» на дизайн-заводе Flacon, или участвовать в фестивале Nauka 0+ на ВДНХ.", + "sample": { + "src_sents": [ + "В пятницу, 12 октября, показания московских барометров продолжат расти, а значит, последний будний день будет солнечным, сухим и не по сезону теплым.", + "Как рассказали «Газете.Ru» в центре «Фобос» , днем температура поднимется до +13…+15°С. Ветер ожидается северо-западный, 2-7 м/с. Ночью похолодает до +6…+8°С, ветер сменит направление на западное и стихнет до 1-6 м/с. Атмосферный фон высокий, 761 мм рт. ст.: неизбежный «симптом» антициклона.", + "Начать приятный уикенд советуем на одной из сотни площадок московского фестиваля Nauka 0+, например, в павильоне «Космос» на ВДНХ или в парке «Зарядье».", + "В рамках трехдневного фестиваля посетители пройдут археологический квест, попробуют «поработать» криминалистом или узнают все о лазерах.", + "Почувствовать себя героями «Теории большого взрыва» можно бесплатно — но на некоторые мероприятия нужна регистрация.", + "13 октября, в субботу, барический максимум продолжит удерживать в мегаполисе комфортную погоду с температурой воздуха, соответствующей середине сентября.", + "Ветер днем северо-западный, 4-9 м/с, ночью юго-западный, 3-8 м/с. Давление немного понизится, но все равно обгоняет норму: 756 мм рт. ст. В воскресенье, 14 октября, повышенный атмосферный фон (756 мм рт. ст.) сохранится, поэтому очередной выходной будет вполне соответствовать бабьему лету.", + "Днем облачно с прояснениями, без существенных осадков, +11…+13°С, ветер западный, достаточно сильный 7-12 м/с. Ночью облачно, временами дождь, температура опустится до +3…+5°С, ветер западный, 4-9 м/с. 15 октября, в понедельник, характер погоды существенно не изменится и жителей столицы ждет еще один прекрасный осенний денек.", + "Днем столбики термометров покажут +11…+13°С, ночью +3…+5°С. Ветер северо-западный, 3-8 м/с, давление аналогично предыдущим двум дням: 756 мм рт. ст. Советуем сходить на последний день выставки «Опасный расклад» на дизайн-заводе Flacon — иллюстраторы творчески переосмыслили стандартную колоду карт в духе «ревущих 20-х».", + "Гангстеры, бутлегеры, копы и роковые женщины — и наверняка художники приготовили еще пару тузов в рукаве." + ], + "summary_sents": [ + "Бабье лето задержится в Москве еще на неделю.", + "Погода в ближайшие дни будет больше соответствовать середине апреля или сентября: сухо, солнечно и на несколько градусов теплее климатической нормы." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5, + 6 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В пятницу, 12 октября, показания московских барометров продолжат расти, а значит, последний будний день будет солнечным, сухим и не по сезону теплым. Как рассказали «Газете.Ru» в центре «Фобос» , днем температура поднимется до +13…+15°С. Ветер ожидается северо-западный, 2-7 м/с. Ночью похолодает до +6…+8°С, ветер сменит направление на западное и стихнет до 1-6 м/с. Атмосферный фон высокий, 761 мм рт. ст.: неизбежный «симптом» антициклона. Начать приятный уикенд советуем на одной из сотни площадок московского фестиваля Nauka 0+, например, в павильоне «Космос» на ВДНХ или в парке «Зарядье». В рамках трехдневного фестиваля посетители пройдут археологический квест, попробуют «поработать» криминалистом или узнают все о лазерах. Почувствовать себя героями «Теории большого взрыва» можно бесплатно — но на некоторые мероприятия нужна регистрация. 13 октября, в субботу, барический максимум продолжит удерживать в мегаполисе комфортную погоду с температурой воздуха, соответствующей середине сентября. Ветер днем северо-западный, 4-9 м/с, ночью юго-западный, 3-8 м/с. Давление немного понизится, но все равно обгоняет норму: 756 мм рт. ст. В воскресенье, 14 октября, повышенный атмосферный фон (756 мм рт. ст.) сохранится, поэтому очередной выходной будет вполне соответствовать бабьему лету. Днем облачно с прояснениями, без существенных осадков, +11…+13°С, ветер западный, достаточно сильный 7-12 м/с. Ночью облачно, временами дождь, температура опустится до +3…+5°С, ветер западный, 4-9 м/с. 15 октября, в понедельник, характер погоды существенно не изменится и жителей столицы ждет еще один прекрасный осенний денек. Днем столбики термометров покажут +11…+13°С, ночью +3…+5°С. Ветер северо-западный, 3-8 м/с, давление аналогично предыдущим двум дням: 756 мм рт. ст. Советуем сходить на последний день выставки «Опасный расклад» на дизайн-заводе Flacon — иллюстраторы творчески переосмыслили стандартную колоду карт в духе «ревущих 20-х». Гангстеры, бутлегеры, копы и роковые женщины — и наверняка художники приготовили еще пару тузов в рукаве.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 615, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.24285714285714288, + "rouge2": 0.014492753623188408 + }, + "predict": " Вице-премьер Алексей Кудрин на инвестиционном форуме «Россия зовет» ВТБ Капиталом обсуждает важность прямых иностранных инвестиций для экономического роста России, указывая на значительный рост в 2009—2010 годах и планы до $50 млрд в следующем году. Кудрин также акцентирует внимание на необходимости увеличения инвестиций в основной капитал и повышении их доли в ВВП, что составляет всего 20%. Путин подчёркивает низкий госдолг и высокий уровень международных резервов, что обеспечивает финансовую стабильность страны. Однако участники форума выражают обеспокоенность по поводу соблюдения прав миноритарных инвесторов, что вызывает критику в адрес законодательства и действий крупных акционеров.", + "sample": { + "src_sents": [ + "«Мы особо рассчитываем на прямые иностранные инвестиции. Даже в 2008 году они составили $75 млрд одновременно с тем, что спекулятивный капитал дал отток в $130 млрд, то есть инвесторы работали даже в самый кризисный год. В 2009 году прямые иностранные инвестиции составили около $36 млрд, в этом году мы думаем, что перейдем планку в $40 млрд, а в следующие — $50 млрд», — рассказал вице-премьер — министр финансов Алексей Кудрин , открывая инвестиционный форум «Россия зовет», организованный » ВТБ Капиталом».", + "По его словам, общий объем инвестиций в основной капитал будет расти на 3—4% в этом году и на 10% в следующем.", + "Однако по отношению к российскому ВВП инвестиции составляют всего 20%.", + "«Это маловато для будущего роста, в ближайшие три года правительство ставит задачу сформировать новые фактора роста, открыть новые зоны для инвестиций», — сказал Кудрин.", + "По словам специалиста по развивающимся рынкам Morgan Stanley Ручира Шармы, уровень инвестиций в развитых странах составляет 35—40% ВВП.", + "Ради хорошего результата президента банка Андрей Костин даже готов спеть песню любой страны, из которой придет инвестор в капитал ВТБ.", + "«К сожалению, я дубайской песни не выучил пока, но, может быть, придется. Если надо будет для хорошей приватизации, я готов спеть любую песню», — сказал Костин, добавив, что учился в музыкальной школе.", + "Кроме того, у России низкий госдолг по сравнению с развитыми странами.", + "«У нас поле для маневра шире. К концу года госдолг составит 11% ВВП, в ближайшие годы Россия будет наращивать присутствие на рынке капитала, но все равно этот показатель не превысит 20% ВВП», — добавил Путин.", + "По словам Путина, если средства Резервного фонда пошли на покрытие дефицита, то средства Фонда национального благосостояния — 2,7 трлн рублей — почти не использовали, при этом международные резервы превысили $475 млрд. «У России есть солидная страховка, которая позволяет себя уверенно чувствовать даже при неблагоприятной внешней обстановке, даже при снижении цен на нефть», — подчеркнул Путин.", + "Однако участников форума больше беспокоили права миноритарных инвесторов: слова президента ВТБ Андрея Костина о том, что в России продвинутые и одни из самых качественных в мире законы в отношении прав миноритариев, их не успокоили.", + "Но ответы не удовлетворили участников: проблема соблюдения прав миноритарных акционеров остро стоит и в компаниях второго эшелона — крупные акционеры просто выводят свою прибыль.", + "«Проблема существует, не буду говорить, что мы планируем делать, но законодательство, скажу аккуратно, нуждается как минимум в совершенствовании. Крупные контрольные акционеры в крупнейших компаниях действуют в собственных интересах, пренебрегают миноритариями. И государство иногда не может ничего сделать. Мы видим, что деньги выводятся, на другие цели направляются, мы сейчас думаем над этим», — признал Путин." + ], + "summary_sents": [ + "Российская власть в очередной раз призывала иностранных инвесторов вкладываться в страну.", + "В России стабильное восстановление экономики, низкий госдолг, есть страховка в случае падения цен на нефть, перечислил Владимир Путин.", + "Глава ВТБ Андрей Костин даже пообещал спеть дубайскую песню для их привлечения.", + "Инвесторов волнует, как в России защищаются права миноритариев." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 6, + 9, + 10, + 11 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: «Мы особо рассчитываем на прямые иностранные инвестиции. Даже в 2008 году они составили $75 млрд одновременно с тем, что спекулятивный капитал дал отток в $130 млрд, то есть инвесторы работали даже в самый кризисный год. В 2009 году прямые иностранные инвестиции составили около $36 млрд, в этом году мы думаем, что перейдем планку в $40 млрд, а в следующие — $50 млрд», — рассказал вице-премьер — министр финансов Алексей Кудрин , открывая инвестиционный форум «Россия зовет», организованный » ВТБ Капиталом». По его словам, общий объем инвестиций в основной капитал будет расти на 3—4% в этом году и на 10% в следующем. Однако по отношению к российскому ВВП инвестиции составляют всего 20%. «Это маловато для будущего роста, в ближайшие три года правительство ставит задачу сформировать новые фактора роста, открыть новые зоны для инвестиций», — сказал Кудрин. По словам специалиста по развивающимся рынкам Morgan Stanley Ручира Шармы, уровень инвестиций в развитых странах составляет 35—40% ВВП. Ради хорошего результата президента банка Андрей Костин даже готов спеть песню любой страны, из которой придет инвестор в капитал ВТБ. «К сожалению, я дубайской песни не выучил пока, но, может быть, придется. Если надо будет для хорошей приватизации, я готов спеть любую песню», — сказал Костин, добавив, что учился в музыкальной школе. Кроме того, у России низкий госдолг по сравнению с развитыми странами. «У нас поле для маневра шире. К концу года госдолг составит 11% ВВП, в ближайшие годы Россия будет наращивать присутствие на рынке капитала, но все равно этот показатель не превысит 20% ВВП», — добавил Путин. По словам Путина, если средства Резервного фонда пошли на покрытие дефицита, то средства Фонда национального благосостояния — 2,7 трлн рублей — почти не использовали, при этом международные резервы превысили $475 млрд. «У России есть солидная страховка, которая позволяет себя уверенно чувствовать даже при неблагоприятной внешней обстановке, даже при снижении цен на нефть», — подчеркнул Путин. Однако участников форума больше беспокоили права миноритарных инвесторов: слова президента ВТБ Андрея Костина о том, что в России продвинутые и одни из самых качественных в мире законы в отношении прав миноритариев, их не успокоили. Но ответы не удовлетворили участников: проблема соблюдения прав миноритарных акционеров остро стоит и в компаниях второго эшелона — крупные акционеры просто выводят свою прибыль. «Проблема существует, не буду говорить, что мы планируем делать, но законодательство, скажу аккуратно, нуждается как минимум в совершенствовании. Крупные контрольные акционеры в крупнейших компаниях действуют в собственных интересах, пренебрегают миноритариями. И государство иногда не может ничего сделать. Мы видим, что деньги выводятся, на другие цели направляются, мы сейчас думаем над этим», — признал Путин.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 657, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3703703703703704, + "rouge2": 0.09433962264150945 + }, + "predict": " Израиль сообщает о успешном ответном ударе по иранским целям после встречи Путина и Нетаньяху в Москве, вызванной американским выходом из ядерного соглашения с Ираном. Израильская разведка предоставила данные о возможной тайной ядерной программе Ирана, которые были переданы российской стороне для ознакомления. Этот инцидент произошел в контексте значительных изменений в регионе, включая активизацию отношений между Россией и США.", + "sample": { + "src_sents": [ + "Израильские военные сообщают, что некоторые ракеты, выпущенные вооруженными силами Ирана с территории Сирии, попали в цель, другие были перехвачены.", + "Reuters со ссылкой на военных Израиля информирует, что по иранским объектам был нанесен ответный удар.", + "Обмен ударами произошел после встречи президента России Владимира Путина и премьер-министра Израиля Биньямин Нетаньяху в Москве, которая прошла на фоне серьезных изменений в регионе — за день до этого президент США Дональд Трамп объявил о выходе Вашингтона из соглашения по ядерной программе с Тегераном.", + "Израильский премьер был активным противником сделки и ранее заявлял, что у Ирана есть возможности для разработки ядерного оружия.", + "Эти данные были получены разведкой Израиля и продемонстрированы израильским лидером.", + "Член правительства еврейского государства Зеев Элькин заявил, что израильские власти приняли все необходимые действия, чтобы российская сторона познакомилась с данными разведки о наличии секретной составляющей в иранской ядерной программе.", + "«Израиль сделал все шаги, необходимые для того, чтобы соответствующие российские специалисты ознакомились подробно с содержанием этого досье (в котором израильская разведка изложила свои доводы о наличии тайной ядерной программы Ирана — «Газета.Ru»)», — приводит слова Элькина РИА «Новости»." + ], + "summary_sents": [ + "Иранские вооруженные силы в Сирии в ответ на удар по пригороду Дамаска совершили ракетную атаку по позициям израильских войск на Голанских высотах.", + "Военные действия последовали после переговоров между лидерами России и Израиля, во время которых стороны обсудили ситуацию в регионе, которая обострилась после решения США выйти из ядерной сделки с Ираном." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 2 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Израильские военные сообщают, что некоторые ракеты, выпущенные вооруженными силами Ирана с территории Сирии, попали в цель, другие были перехвачены. Reuters со ссылкой на военных Израиля информирует, что по иранским объектам был нанесен ответный удар. Обмен ударами произошел после встречи президента России Владимира Путина и премьер-министра Израиля Биньямин Нетаньяху в Москве, которая прошла на фоне серьезных изменений в регионе — за день до этого президент США Дональд Трамп объявил о выходе Вашингтона из соглашения по ядерной программе с Тегераном. Израильский премьер был активным противником сделки и ранее заявлял, что у Ирана есть возможности для разработки ядерного оружия. Эти данные были получены разведкой Израиля и продемонстрированы израильским лидером. Член правительства еврейского государства Зеев Элькин заявил, что израильские власти приняли все необходимые действия, чтобы российская сторона познакомилась с данными разведки о наличии секретной составляющей в иранской ядерной программе. «Израиль сделал все шаги, необходимые для того, чтобы соответствующие российские специалисты ознакомились подробно с содержанием этого досье (в котором израильская разведка изложила свои доводы о наличии тайной ядерной программы Ирана — «Газета.Ru»)», — приводит слова Элькина РИА «Новости».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 273, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.24074074074074073, + "rouge2": 0.03773584905660378 + }, + "predict": " В пятницу, 13 октября, в Москве ожидается непогода с ухудшением видимости, что может привести к увеличению дорожно-транспортных происшествий. Температура будет немного выше средних многолетних значений, но с прохладными ночами и днем. В субботу погода улучшится, но сохранится сухая и теплая погода, что благоприятствует прогулкам и охоте за кленовыми листьями. В выходные дни ожидается не по сезонная теплая погода, что может стать поводом для активного отдыха.", + "sample": { + "src_sents": [ + "В пятницу, 13-е, погода будет напоминать классические триллеры в кульминационный момент.", + "«Непогода и ограничение видимости могут негативно отразиться на дорожной ситуации и привести к увеличению количества дорожно-транспортных происшествий. Прогнозируется, что в утренние и вечерние часы пик дорожно-транспортная ситуация может осложняться до 8-9 баллов», — предупреждает департамент транспорта столицы.", + "При этом температурный режим 13 октября изменится мало и даже окажется немного выше средних многолетних значений.", + "Так, ночью ожидается +3…+8°С, днем +7…+12°С. Ветер южной четверти, 3-8 м/с, атмосферный фон низкий, 738 мм рт. ст. На следующий день циклон начнет удаляться на восток, но пасмурная и дождливая погода сохранится, а северо-западные ветра (до 10 м/с днем) начнут поставлять прохладные воздушные массы.", + "Ночью нас ждут заморозки (-1…+4°С), а днем довольно промозглые +3…+8°С. Ветер западной четверти, 3-8 м/с. В четверг, 19 октября, барический максимум определит в Москве тихую, сухую и солнечную погоду.", + "Атмосферный фон аналогичен показаниям среды, то есть 752 мм рт. ст. Как бы не сглазить, но в пятницу, 20 октября, парад сухих, солнечных и теплых дней продолжится.", + "Выходные дни в Москве пройдут при доминировании сухой и не по сезону теплой погоде.", + "В конце концов, еще можно устроить охоту за красивыми кленовыми листьями или, чем черт не шутит, поздними грибами." + ], + "summary_sents": [ + "В ближайшие пятницу и выходные в столице ожидается выпадение почти трети месячной нормы осадков, или, как сформулировали синоптики, по два ведра дождевой воды на квадратный метр поверхности.", + "Впрочем, к концу следующей недели москвичам обещают несколько сухих и не по сезону теплых дней." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 5, + 6 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В пятницу, 13-е, погода будет напоминать классические триллеры в кульминационный момент. «Непогода и ограничение видимости могут негативно отразиться на дорожной ситуации и привести к увеличению количества дорожно-транспортных происшествий. Прогнозируется, что в утренние и вечерние часы пик дорожно-транспортная ситуация может осложняться до 8-9 баллов», — предупреждает департамент транспорта столицы. При этом температурный режим 13 октября изменится мало и даже окажется немного выше средних многолетних значений. Так, ночью ожидается +3…+8°С, днем +7…+12°С. Ветер южной четверти, 3-8 м/с, атмосферный фон низкий, 738 мм рт. ст. На следующий день циклон начнет удаляться на восток, но пасмурная и дождливая погода сохранится, а северо-западные ветра (до 10 м/с днем) начнут поставлять прохладные воздушные массы. Ночью нас ждут заморозки (-1…+4°С), а днем довольно промозглые +3…+8°С. Ветер западной четверти, 3-8 м/с. В четверг, 19 октября, барический максимум определит в Москве тихую, сухую и солнечную погоду. Атмосферный фон аналогичен показаниям среды, то есть 752 мм рт. ст. Как бы не сглазить, но в пятницу, 20 октября, парад сухих, солнечных и теплых дней продолжится. Выходные дни в Москве пройдут при доминировании сухой и не по сезону теплой погоде. В конце концов, еще можно устроить охоту за красивыми кленовыми листьями или, чем черт не шутит, поздними грибами.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 393, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.37606837606837606, + "rouge2": 0.12173913043478261 + }, + "predict": " Кризис COVID-19 в Европе может усилить националистические настроения и антиевропейские настроения, если ЕС не примет решительных мер по его преодолению. Итальянский премьер Маттео Конте подчеркивает, что это исторический вызов для всей Европы, связанный с угрозой конституционных прав граждан и необходимостью избегать трагических ошибок в экономической и социальной политике. Конте призывает к более тесному сотрудничеству между странами ЕС для преодоления кризиса, учитывая, что некоторые страны не до конца осознают масштаб экономических и социальных последствий пандемии.", + "sample": { + "src_sents": [ + "Кризис, вызванный распространением коронавируса, может вызвать в некоторых странах Европы рост националистических и антиевропейских настроений, если Евросоюз не приложит усилий для его решения.", + "«Националистические инстинкты в Италии, а также в Испании и других странах будут намного сильнее, если Европа не будет на высоте», — подчеркнул политик.", + "По его мнению, сейчас в Европе разыгрывается «историческая партия» — кризис системы здравоохранения перерос в экономический и социальный взрывы.", + "Конте подчеркнул, что это исторический вызов для всей Европы.", + "«Мы ограничиваем конституционные права наших граждан, и Европа должна реагировать, избегая трагических ошибок», — отметил итальянский премьер.", + "Он также заявил, что ряд стран ЕС не до конца понимают всю жесткость экономического удара из-за чрезвычайной ситуации с коронавирусом.", + "«Италия и Испания страдают больше прочих стран на данный момент, но это ждет всех. К сожалению, цифры [заболевших COVID-19] растут повсеместно», — добавил Конте." + ], + "summary_sents": [ + "Пандемия коронавируса может усилить антиевропейские настроения в ряде стран, заявил премьер-министр Италии Джузеппе Конте.", + "По его словам, кризис системы здравоохранения привел к экономическому и социальному взрывам.", + "Если ЕС не отреагирует, то в Италии, Испании и других странах произойдет всплеск «националистических инстинктов»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Кризис, вызванный распространением коронавируса, может вызвать в некоторых странах Европы рост националистических и антиевропейских настроений, если Евросоюз не приложит усилий для его решения. «Националистические инстинкты в Италии, а также в Испании и других странах будут намного сильнее, если Европа не будет на высоте», — подчеркнул политик. По его мнению, сейчас в Европе разыгрывается «историческая партия» — кризис системы здравоохранения перерос в экономический и социальный взрывы. Конте подчеркнул, что это исторический вызов для всей Европы. «Мы ограничиваем конституционные права наших граждан, и Европа должна реагировать, избегая трагических ошибок», — отметил итальянский премьер. Он также заявил, что ряд стран ЕС не до конца понимают всю жесткость экономического удара из-за чрезвычайной ситуации с коронавирусом. «Италия и Испания страдают больше прочих стран на данный момент, но это ждет всех. К сожалению, цифры [заболевших COVID-19] растут повсеместно», — добавил Конте.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 233, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4144144144144144, + "rouge2": 0.14678899082568805 + }, + "predict": " Андрей Ермак, глава офиса президента Украины, заявил о доработке украинского плана мирного урегулирования конфликта в Донбассе, согласованного с Германией и Францией и направленного на выполнение Минских соглашений. Ермак считает, что план является мощным шагом к реализации принципов этих соглашений, однако признает, что минские договоренности сложно реализовать в их текущей редакции. Лавров, глава российского МИД, призывает Украину к выполнению минских соглашений и не саботировать их реализацию.", + "sample": { + "src_sents": [ + "Украинская сторона доработала план мирного урегулирования конфликта в Донбассе, заявил глава офиса президента Украины Андрей Ермак во время онлайн-дискуссии на тему «Конфликт на Востоке Украины: перспективы на 2021 год».", + "По его словам, теперь этот план должна одобрить Россия.", + "«Сегодня на столе лежит конкретный план мирного урегулирования, предложенный Германией и Францией, доработанный Украиной, который, как мы считаем, отвечает духу «Минска» [Минских соглашений]», — подчеркнул Ермак.", + "Он назвал план «очень мощным шагом», предложенным двумя европейскими странами.", + "Суть этого шага, как пояснил глава офиса Зеленского, сводится к созданию неких «кластеров» — логических шагов, соответствующих «духу и принципу Минских соглашений, международному праву».", + "Незадолго до этого Андрей Ермак в интервью телеканалу «Украина 24» говорил, что минские договоренности практически невозможно реализовать в той редакции, в которой они были подписаны.", + "«Если говорить честно, то в той редакции, в которой они сегодня существуют, мне иногда кажется, что они и подписывались с целью и с пониманием, что выполнить их невозможно, но Украина, и президент много раз об этом говорил, сделает все для того, чтобы принципы, заложенные в Минских соглашениях, были выполнены с нашей стороны», — отмечал Ермак, подчеркивая, что, несмотря на определенный прогресс, переговоры идут «очень медленно и сложно».", + "«Мы хотим расшифровки каждого пункта «Минска». Тогда мы будем видеть — мы в состоянии выполнить это или не в состоянии, как мы это будем делать, кто будет ответственным», — подчеркивал глава государства.", + "Президент призывал «другую сторону» также продемонстрировать готовность их выполнять.", + "Глава российского МИД Сергей Лавров при этом от лица России призывал украинские власти перестать срывать реализацию Минских соглашений.", + "«Рассчитываем, что Киев наконец перестанет саботировать реализацию минских договоренностей, являющихся безальтернативной основой внутриукраинского урегулирования, и не будет уклоняться от выполнения решений парижского саммита в «нормандском формате», от прямого диалога с Донецком и Луганском», — говорил Лавров в видеообращении к участникам Совета министров иностранных дел государств-участников ОБСЕ в декабре прошлого года." + ], + "summary_sents": [ + "Украина подготовила «очень мощный шаг», направленный на урегулирование конфликта в Донбассе, сообщили в офисе президента страны.", + "Отмечается, что речь идет о доработанном плане, который изначально предложили Германия и Франция.", + "Теперь Киев ждет одобрения российской стороны, которая ранее уже призывала украинскую сторону перестать срывать реализацию Минских соглашений." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 3, + 10 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Украинская сторона доработала план мирного урегулирования конфликта в Донбассе, заявил глава офиса президента Украины Андрей Ермак во время онлайн-дискуссии на тему «Конфликт на Востоке Украины: перспективы на 2021 год». По его словам, теперь этот план должна одобрить Россия. «Сегодня на столе лежит конкретный план мирного урегулирования, предложенный Германией и Францией, доработанный Украиной, который, как мы считаем, отвечает духу «Минска» [Минских соглашений]», — подчеркнул Ермак. Он назвал план «очень мощным шагом», предложенным двумя европейскими странами. Суть этого шага, как пояснил глава офиса Зеленского, сводится к созданию неких «кластеров» — логических шагов, соответствующих «духу и принципу Минских соглашений, международному праву». Незадолго до этого Андрей Ермак в интервью телеканалу «Украина 24» говорил, что минские договоренности практически невозможно реализовать в той редакции, в которой они были подписаны. «Если говорить честно, то в той редакции, в которой они сегодня существуют, мне иногда кажется, что они и подписывались с целью и с пониманием, что выполнить их невозможно, но Украина, и президент много раз об этом говорил, сделает все для того, чтобы принципы, заложенные в Минских соглашениях, были выполнены с нашей стороны», — отмечал Ермак, подчеркивая, что, несмотря на определенный прогресс, переговоры идут «очень медленно и сложно». «Мы хотим расшифровки каждого пункта «Минска». Тогда мы будем видеть — мы в состоянии выполнить это или не в состоянии, как мы это будем делать, кто будет ответственным», — подчеркивал глава государства. Президент призывал «другую сторону» также продемонстрировать готовность их выполнять. Глава российского МИД Сергей Лавров при этом от лица России призывал украинские власти перестать срывать реализацию Минских соглашений. «Рассчитываем, что Киев наконец перестанет саботировать реализацию минских договоренностей, являющихся безальтернативной основой внутриукраинского урегулирования, и не будет уклоняться от выполнения решений парижского саммита в «нормандском формате», от прямого диалога с Донецком и Луганском», — говорил Лавров в видеообращении к участникам Совета министров иностранных дел государств-участников ОБСЕ в декабре прошлого года.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 484, + "generated_len": [ + 129 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.32258064516129037, + "rouge2": 0.17582417582417584 + }, + "predict": " Мужская сборная России в Оберхофе одержала победу в эстафетном забеге, но после сбора в Риднау спортсмены выразили опасения из-за отсутствия свежести и опыта. В предыдущих гонках на Эстерсунде, Хохфильцене и Поклюке российские спортсмены не блиставшие. В итоге, Малышко занял первое место, а Гараничев — второе. Для получения дополнительной информации о биатлоне и других зимних видах спорта посетите страницу зимних видов спорта.", + "sample": { + "src_sents": [ + "Мужская сборная России великолепно стартовала в Оберхофе, выиграв эстафету.", + "Биатлонисты, правда, подлили немного дегтя, сказав, что после сбора в Риднау «все как в первый раз» и «не хватает свежести».", + "В общем, опасения за результат перед субботней гонкой были.", + "Тем более что и в Эстерсунде, и в Хохфильцене, и в Поклюке российские спортсмены в спринте, мягко говоря, не блистали.", + "В итоге: Малышко — первый, а Гараничев — второй.", + "Другие новости и материалы о биатлоне можно посмотреть на странице зимних видов спорта." + ], + "summary_sents": [ + "В спринтерской гонке на этапе Кубка мира в Оберхофе Дмитрий Малышко занял первое место, а Евгений Гараничев — второе.", + "В Оберхофе российские биатлонисты выступают триумфально — днем ранее они выиграли эстафету." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 4 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Мужская сборная России великолепно стартовала в Оберхофе, выиграв эстафету. Биатлонисты, правда, подлили немного дегтя, сказав, что после сбора в Риднау «все как в первый раз» и «не хватает свежести». В общем, опасения за результат перед субботней гонкой были. Тем более что и в Эстерсунде, и в Хохфильцене, и в Поклюке российские спортсмены в спринте, мягко говоря, не блистали. В итоге: Малышко — первый, а Гараничев — второй. Другие новости и материалы о биатлоне можно посмотреть на странице зимних видов спорта.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 170, + "generated_len": [ + 129 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.32183908045977017, + "rouge2": 0.07058823529411765 + }, + "predict": " Исламисты в восточной части Хама сбили сирийский L-39 Albatros, захваченный пилот которого был казнен. Сирийское правительство подтверждает крушение самолета, но отрицает его сбитие. Президент Башар Асад подчеркивает, что война в Сирии не окончена, хотя ИГИЛ был разгромлен.", + "sample": { + "src_sents": [ + "Исламистские боевики, сражающиеся с сирийскими правительственными войсками в восточной части населенного пункта Хама, сбили сирийский реактивный самолет, сообщает информационный портал Al Masdar со ссылкой на данные самих террористов.", + "По словам боевиков, чехословацкий учебно-боевой самолет L-39 Albatros вооруженных сил Сирии был сбит зенитными пулеметами в ходе боев около деревни Ум Харатан.", + "Сирийское правительство подтвердило, что один из их самолетов подвергся некоему «воздействию извне», которое привело к крушению.", + "Судьба сирийского летчика трагична — боевики прислали сирийским СМИ видеоролик, на котором видно, как захваченный пилот лежит в грузовике со свисающей и залитой кровью головой.", + "Кадры могут свидетельствовать о том, что пилот был казнен — возможно, обезглавлен, учитывая тот факт, что кровь вытекала только из шеи.", + "«Мы, джихадисты, убили пилота сирийской армии в селе Ум Харатайн», — говорит один из боевиков на видео.", + "Неделей ранее президент Сирии Башар Асад заявил, что говорить об окончании войны в его стране в настоящее время «нереально».", + "«Говорить о том, что война окончена, пока нереально. Мы до сих пор находимся в состоянии войны. Мы, конечно, преодолели очень важный этап этой войны, уничтожив ИГИЛ , пускай не полностью, но разбив его в основных его центрах в Сирии. И это является важным этапом и большой победой», — сказал Асад." + ], + "summary_sents": [ + "На востоке Сирии около города Хама террористы сбили самолет L-39 Albatros сирийских вооруженных сил.", + "Об этом сообщили сами боевики, добавив видео, на котором — по их словам — запечатлен обезглавленный пилот самолета.", + "Сирийское правительство подтвердило, что один из их самолетов подвергся некоему «воздействию извне», которое привело к крушению." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 3, + 4 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Исламистские боевики, сражающиеся с сирийскими правительственными войсками в восточной части населенного пункта Хама, сбили сирийский реактивный самолет, сообщает информационный портал Al Masdar со ссылкой на данные самих террористов. По словам боевиков, чехословацкий учебно-боевой самолет L-39 Albatros вооруженных сил Сирии был сбит зенитными пулеметами в ходе боев около деревни Ум Харатан. Сирийское правительство подтвердило, что один из их самолетов подвергся некоему «воздействию извне», которое привело к крушению. Судьба сирийского летчика трагична — боевики прислали сирийским СМИ видеоролик, на котором видно, как захваченный пилот лежит в грузовике со свисающей и залитой кровью головой. Кадры могут свидетельствовать о том, что пилот был казнен — возможно, обезглавлен, учитывая тот факт, что кровь вытекала только из шеи. «Мы, джихадисты, убили пилота сирийской армии в селе Ум Харатайн», — говорит один из боевиков на видео. Неделей ранее президент Сирии Башар Асад заявил, что говорить об окончании войны в его стране в настоящее время «нереально». «Говорить о том, что война окончена, пока нереально. Мы до сих пор находимся в состоянии войны. Мы, конечно, преодолели очень важный этап этой войны, уничтожив ИГИЛ , пускай не полностью, но разбив его в основных его центрах в Сирии. И это является важным этапом и большой победой», — сказал Асад.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 342, + "generated_len": [ + 129 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.36170212765957444, + "rouge2": 0.21739130434782608 + }, + "predict": " Режиссер «Алит: Боевой ангел» и «Город грехов» Роберт Родригес может стать режиссером второго сезона сериала «Мандалорец», однако его кандидатура не подтверждена. Джеймс Мэнголд, известный по «Логану» и «Ford против Ferrari», опроверг слухи о своей возможной работе над проектом. В касту также включена Розарио Доусон, исполняющая роль Асоки Тано. Роберт Родригес известен как режиссер фильмов «Отчаянный», «Мачете» и «От заката до рассвета», а также сценарист «Отчаянного».", + "sample": { + "src_sents": [ + "Режиссер картин «Алит: Боевой ангел» и «Город грехов» Роберт Родригес примет участие в съемках второго сезона сериала «Мандалорец», пишет HN Entertainment со ссылкой на собственный источник.", + "При этом не известно, срежиссирует ли Родригес проект полностью или выступит в качестве автора отдельных серий.", + "Сам постановщик пока не комментировал новость.", + "Уточняется, что вместе с кандидатурой Родригеса рассматривался и Джеймс Мэнголд , известный по фильмам «Логан» и « Ford против Ferrari », однако тот опроверг слухи в своем Twitter.", + "«Не занимаюсь этим, и никогда не обсуждал это. Также советую фанатам обратить внимание на то, кто именно распространяет такие новости. Заметьте, что подобные сайты выдают гипотезу за факт», — ответил Мэнголд на репост режиссера Рона Ховарда.", + "К касту также присоединилась Розарио Доусон , которая исполнит роль Асоки Тано, ученицы Энакина Скайуокера.", + "Роберт Родригес известен зрителям по фильмам «Отчаянный», «Мачете», «От заката до рассвета», сценаристом которого выступил Квентин Тарантино , и «Город грехов»." + ], + "summary_sents": [ + "Второй сезон сериала «Мандалорец» снимет Роберт Родригес, создатель «Города грехов» и «От заката до рассвета».", + "До этого ходили слухи, что режиссерское кресло займет Джеймс Мэнголд, но тот их опроверг." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 3, + 4 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Режиссер картин «Алит: Боевой ангел» и «Город грехов» Роберт Родригес примет участие в съемках второго сезона сериала «Мандалорец», пишет HN Entertainment со ссылкой на собственный источник. При этом не известно, срежиссирует ли Родригес проект полностью или выступит в качестве автора отдельных серий. Сам постановщик пока не комментировал новость. Уточняется, что вместе с кандидатурой Родригеса рассматривался и Джеймс Мэнголд , известный по фильмам «Логан» и « Ford против Ferrari », однако тот опроверг слухи в своем Twitter. «Не занимаюсь этим, и никогда не обсуждал это. Также советую фанатам обратить внимание на то, кто именно распространяет такие новости. Заметьте, что подобные сайты выдают гипотезу за факт», — ответил Мэнголд на репост режиссера Рона Ховарда. К касту также присоединилась Розарио Доусон , которая исполнит роль Асоки Тано, ученицы Энакина Скайуокера. Роберт Родригес известен зрителям по фильмам «Отчаянный», «Мачете», «От заката до рассвета», сценаристом которого выступил Квентин Тарантино , и «Город грехов».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 273, + "generated_len": [ + 129 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.38938053097345127, + "rouge2": 0.16216216216216214 + }, + "predict": " В понедельник утром британская полиция оцепила дом Саада аль-Хилли в Клейгейте, где три дня проходили обыски. В доме были обнаружены взрывчатые вещества, но саперы заявили, что они не представляют угрозы. Семилетняя Зайнаб аль-Хилли, выжившая после стрельбы на парковке в Шевалин, готовится к опросу, чтобы помочь ей лучше вспомнить события и сообщить о гибели родителей.", + "sample": { + "src_sents": [ + "В понедельник утром британская полиция оцепила территорию возле дома убитого в Альпах Саада аль-Хилли в престижном пригороде Клейгейт к югу от Лондона, в графстве Суррей.", + "Вокруг дома, в котором три дня проходили обыски, был установлен кордон, все подъезды к территории перекрыли, а жителей соседних домов эвакуировали.", + "На место прибыли сотрудники саперной службы, пишет Le Figaro.", + "По данным издания, источник, близкий к расследованию, сообщил, что во время обысков в доме были обнаружены «взрывчатые вещества».", + "Правда, что это за «вещества», собеседник журналистов не уточнил.", + "Бывший сапер британской армии майор Крис Хантер предположил в разговоре с журналистами, что там могли обнаружить самодельные взрывные устройства.", + "После полудня полиция заявила, что найденные в доме аль-Хилли вещества не опасны, саперы покинули здание.", + "Тем временем специалисты готовятся опросить семилетнюю Зайнаб аль-Хилли, выжившую после того, как 5 сентября члены ее семьи были расстреляны на парковке французского города Шевалин. Ребенок также был серьезно ранен.", + "В воскресенье девочка вышла из комы.", + "По данным французских СМИ, она была в ужасе и, кажется, помнит о трагических событиях.", + "Ей должны показать фотографии с места убийства, чтобы помочь ей лучше вспомнить киллеров.", + "Детективам также предстоит сообщить ей о гибели родителей.", + "Саад аль-Хилли вместе с 47-летней женой, двумя дочерьми и их бабушкой отдыхал в лагере Сен-Жориоз, на берегу озера Анси во французских Альпах." + ], + "summary_sents": [ + "Британская полиция оцепила территорию вокруг дома Саада аль-Хилли, который был застрелен с семьей 5 сентября во французском городе Шевалин.", + "Сообщалось, что в этом здании в пригороде Лондона найдены взрывчатые вещества.", + "Позже полицейские заявили, что ничего опасного не обнаружили.", + "Тем временем стало известно, что выжившая в бойне 7-летняя дочь аль-Хилли в воскресенье вышла из комы." + ], + "support_labels": [ + "NO", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 3, + 6, + 8 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В понедельник утром британская полиция оцепила территорию возле дома убитого в Альпах Саада аль-Хилли в престижном пригороде Клейгейт к югу от Лондона, в графстве Суррей. Вокруг дома, в котором три дня проходили обыски, был установлен кордон, все подъезды к территории перекрыли, а жителей соседних домов эвакуировали. На место прибыли сотрудники саперной службы, пишет Le Figaro. По данным издания, источник, близкий к расследованию, сообщил, что во время обысков в доме были обнаружены «взрывчатые вещества». Правда, что это за «вещества», собеседник журналистов не уточнил. Бывший сапер британской армии майор Крис Хантер предположил в разговоре с журналистами, что там могли обнаружить самодельные взрывные устройства. После полудня полиция заявила, что найденные в доме аль-Хилли вещества не опасны, саперы покинули здание. Тем временем специалисты готовятся опросить семилетнюю Зайнаб аль-Хилли, выжившую после того, как 5 сентября члены ее семьи были расстреляны на парковке французского города Шевалин. Ребенок также был серьезно ранен. В воскресенье девочка вышла из комы. По данным французских СМИ, она была в ужасе и, кажется, помнит о трагических событиях. Ей должны показать фотографии с места убийства, чтобы помочь ей лучше вспомнить киллеров. Детективам также предстоит сообщить ей о гибели родителей. Саад аль-Хилли вместе с 47-летней женой, двумя дочерьми и их бабушкой отдыхал в лагере Сен-Жориоз, на берегу озера Анси во французских Альпах.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 350, + "generated_len": [ + 129 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2689075630252101, + "rouge2": 0.08547008547008546 + }, + "predict": " В Лас-Вегасе состоялся профессиональный боксерский поединок между филиппинцем Мэнни Пакьяо и американцем Эдриеном Бронером, в котором Пакьяо одержал уверенную победу единогласным решением судей. Бой за пояс Всемирной боксерской ассоциации (WBA) в полусреднем весе стал ярким примером противостояния двух выдающихся боксеров, Пакьяо и Бронера, с разницей в возрасте 11 лет. После боя Бронер заявил о своем преимуществе, однако Пакьяо, несмотря на возраст, продемонстрировал свою силу и мастерство, что подтверждает его статус одного из лучших боксеров мира в своем весе.", + "sample": { + "src_sents": [ + "В Лас-Вегасе состоялся вечер профессионального бокса, главным событием которого стал поединок между филиппинцем Мэнни Пакьяо и американца Эдриена Бронера.", + "Бой за пояс Всемирной боксерской ассоциации (WBA) Regular в полусреднем весе, принадлежащий филиппинцу, завершился уверенной победой «Пак Мэна» единогласным решением судей — 117:111, 116:112 и 116:112.", + "Необходимо понимать, что Пакьяо и Бронер – соперники совершенно разного калибра.", + "Их разница в возрасте составляет 11 лет, однако «Пак Мэн» со своим наследием всегда будет считаться фаворитом, что и доказал в поединке с Бронером.", + "Со стартового гонга Пакьяо, которому недавно исполнилось 40 лет, понесся в атаку.", + "Более того, как Бронер отметил, именно ему должны были отдать победу, поскольку он «побил Пакьяо».", + "«Я побил его. И все здесь знают, что я побил его. Я контролировал бой, а Пакьяо промахивался. У меня было больше чистых попаданий, я победил. Хочу поблагодарить всех, кто пришел на этот поединок. Хочу вам всем сказать, что я победил, и вы это сами знаете. Они пытаются организовать встречу Мейвезера с Пакьяо», — приводит слова Бронера BoxingScene.", + "Перед боем Пакьяо – Бронер разговоров действительно больше ходило о Флойде Мейвезере, которому филиппинец уступил в 2015 году.", + "«Скажите Мейвезеру, чтобы он вернулся на ринг, и мы подеремся», — сказал филиппинец.", + "Основатель проекта TMT Russia Тимофей Кургин выразил мнение, что разработка боя действительно идет.", + "«Поединок Пакьяо-Бронер получился довольно интересным. В 40 лет и с большим количеством тяжелых битв за плечами филиппинец показал, что он все еще является одним из лучших боксеров мира», — начал Кургин." + ], + "summary_sents": [ + "Прославленный филиппинский боксер Мэнни Пакьяо защитил титул по версии WBA Regular в полусреднем весе, решением судей победив экс-чемпиона мира в четырех весовых категориях Эдриена Бронера.", + "После поединка Пакьяо обратился к своему давнему сопернику Флойду Мейвезеру, подтвердив желание провести реванш." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 8 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Лас-Вегасе состоялся вечер профессионального бокса, главным событием которого стал поединок между филиппинцем Мэнни Пакьяо и американца Эдриена Бронера. Бой за пояс Всемирной боксерской ассоциации (WBA) Regular в полусреднем весе, принадлежащий филиппинцу, завершился уверенной победой «Пак Мэна» единогласным решением судей — 117:111, 116:112 и 116:112. Необходимо понимать, что Пакьяо и Бронер – соперники совершенно разного калибра. Их разница в возрасте составляет 11 лет, однако «Пак Мэн» со своим наследием всегда будет считаться фаворитом, что и доказал в поединке с Бронером. Со стартового гонга Пакьяо, которому недавно исполнилось 40 лет, понесся в атаку. Более того, как Бронер отметил, именно ему должны были отдать победу, поскольку он «побил Пакьяо». «Я побил его. И все здесь знают, что я побил его. Я контролировал бой, а Пакьяо промахивался. У меня было больше чистых попаданий, я победил. Хочу поблагодарить всех, кто пришел на этот поединок. Хочу вам всем сказать, что я победил, и вы это сами знаете. Они пытаются организовать встречу Мейвезера с Пакьяо», — приводит слова Бронера BoxingScene. Перед боем Пакьяо – Бронер разговоров действительно больше ходило о Флойде Мейвезере, которому филиппинец уступил в 2015 году. «Скажите Мейвезеру, чтобы он вернулся на ринг, и мы подеремся», — сказал филиппинец. Основатель проекта TMT Russia Тимофей Кургин выразил мнение, что разработка боя действительно идет. «Поединок Пакьяо-Бронер получился довольно интересным. В 40 лет и с большим количеством тяжелых битв за плечами филиппинец показал, что он все еще является одним из лучших боксеров мира», — начал Кургин.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 441, + "generated_len": [ + 129 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.5040650406504065, + "rouge2": 0.34710743801652894 + }, + "predict": " Военная прокуратура Южного региона Украины объявила в розыск восьми сотрудников ФСБ России за участие в столкновении российских и украинских судов в Керченском проливе, в ходе которого украинские военные катера были задержаны. ФСБ РФ обвиняет украинцев в нарушении государственной границы, в то время как президент России Владимир Путин утверждает, что пограничники действовали в соответствии с уставом. Дипломаты России и Украины обсуждают инцидент, подчеркивая, что действия украинских моряков были признаны наглым нарушением российской границы.", + "sample": { + "src_sents": [ + "Военная прокуратура Южного региона Украины объявила в розыск восемь сотрудников ФСБ России из-за боевого столкновения российских и украинских судов в Керченском проливе, в ходе которого граждане Украины и военные катера были задержаны правоохранителями РФ.", + "Утром в воскресенье, 25 ноября, украинские военные суда «Бердянск», «Никополь» и «Яны Капу» вошли со стороны Черного моря в российские территориальные воды у берегов Крыма, тем самым нарушив российскую государственную границу.", + "ФСБ РФ указала, что корабли ВМС Украины опасно маневрировали и не подчинялись требованиям.", + "По словам представителей ВМС Украины, российские пограничные катера типа «Соболь» и ПСКР «Дон», а также катера типа «Мангуст» и МПК «Суздалец» якобы осуществили откровенно агрессивные действия против двух украинских малых бронированных артиллерийских катеров и рейдового буксира.", + "Позднее украинские моряки признались в сознательной провокации и были арестованы по ходатайству российских спецслужб в рамках уголовного дела по факту нарушения госграницы РФ.", + "«Сообщено о подозрении начальнику пограничного управления ФСБ Крыма и Севастополя С. Станкевичу , замглавы Пограничной службы ФСБ РФ — руководителю департамента береговой охраны Г. Медведеву , начальнику службы пункта управления ФСБ РК Г. Ромашкину», — указывает украинское ведомство.", + "Ранее, комментируя инцидент, президент России Владимир Путин указал, что российские пограничники действовали в полном соответствии с уставом, передает ФАН.", + "Он подчеркнул, что реакция пограничников на украинскую провокацию полностью соответствовали сложившейся ситуации.", + "Российский лидер назвал поведение моряков ВМС Украины наглым нарушением российской государственной границы.", + "Со своей стороны министр иностранных дел России Сергей Лавров указал, что канцлер ФРГ Ангела Меркель и президент Франции Эммануэль Макрон должны были услышать позицию Владимира Путина по поводу инцидента в Керченском проливе.", + "«Я думаю, что не услышать ее [позицию] они не могли. Путин лично «на пальцах» показывал Меркель и Макрону, как была задумана эта провокация и как ее пытались исполнить», – подчеркнул глава МИД России.", + "По словам дипломата, украинские военные моряки имели при себе письменный приказ от командования Службы безопасности Украины ( СБУ )." + ], + "summary_sents": [ + "Украина объявила в розыск восемь сотрудников ФСБ России из-за боевого столкновения российских и украинских судов в Керченском проливе.", + "Среди фигурантов дела — заместитель руководителя погранслужбы ФСБ РФ, руководитель департамента береговой охраны Геннадий Медведев.", + "Ранее, комментируя инцидент, президент России Владимир Путин назвал поведение моряков ВМС Украины наглым нарушением российской государственной границы." + ], + "support_labels": [ + "NO", + "YES", + "YES" + ], + "extractive_summary": [ + 5, + 6, + 8 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Военная прокуратура Южного региона Украины объявила в розыск восемь сотрудников ФСБ России из-за боевого столкновения российских и украинских судов в Керченском проливе, в ходе которого граждане Украины и военные катера были задержаны правоохранителями РФ. Утром в воскресенье, 25 ноября, украинские военные суда «Бердянск», «Никополь» и «Яны Капу» вошли со стороны Черного моря в российские территориальные воды у берегов Крыма, тем самым нарушив российскую государственную границу. ФСБ РФ указала, что корабли ВМС Украины опасно маневрировали и не подчинялись требованиям. По словам представителей ВМС Украины, российские пограничные катера типа «Соболь» и ПСКР «Дон», а также катера типа «Мангуст» и МПК «Суздалец» якобы осуществили откровенно агрессивные действия против двух украинских малых бронированных артиллерийских катеров и рейдового буксира. Позднее украинские моряки признались в сознательной провокации и были арестованы по ходатайству российских спецслужб в рамках уголовного дела по факту нарушения госграницы РФ. «Сообщено о подозрении начальнику пограничного управления ФСБ Крыма и Севастополя С. Станкевичу , замглавы Пограничной службы ФСБ РФ — руководителю департамента береговой охраны Г. Медведеву , начальнику службы пункта управления ФСБ РК Г. Ромашкину», — указывает украинское ведомство. Ранее, комментируя инцидент, президент России Владимир Путин указал, что российские пограничники действовали в полном соответствии с уставом, передает ФАН. Он подчеркнул, что реакция пограничников на украинскую провокацию полностью соответствовали сложившейся ситуации. Российский лидер назвал поведение моряков ВМС Украины наглым нарушением российской государственной границы. Со своей стороны министр иностранных дел России Сергей Лавров указал, что канцлер ФРГ Ангела Меркель и президент Франции Эммануэль Макрон должны были услышать позицию Владимира Путина по поводу инцидента в Керченском проливе. «Я думаю, что не услышать ее [позицию] они не могли. Путин лично «на пальцах» показывал Меркель и Макрону, как была задумана эта провокация и как ее пытались исполнить», – подчеркнул глава МИД России. По словам дипломата, украинские военные моряки имели при себе письменный приказ от командования Службы безопасности Украины ( СБУ ).<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 476, + "generated_len": [ + 129 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3442622950819672, + "rouge2": 0.11666666666666667 + }, + "predict": " В субботу утром в 300 км к югу от Каира школьный автобус столкнулся с поездом на железнодорожном переезде, что привело к гибели 47 детей и травмированию 13. Губернатор провинции Асьют объявил о создании комиссии для расследования инцидента, а президент Египта поручил сформировать комитет по оказанию помощи пострадавшим и их семьям. Ответственность за аварию была возложена на стрелочника, который покинул свой пост, и глава железнодорожной ассоциации. Подобные инциденты на железных дорогах Египта часто приводят к значительным человеческим потерям.", + "sample": { + "src_sents": [ + "В субботу утром в 300 км к югу от Каира школьный автобус столкнулся с поездом на железнодорожном переезде.", + "В первом находились около 60 детей, которые направлялись в поездку, организованную школой, сообщает AFP.", + "«Количество погибших достигло 47 человек. Еще 13 детей получили ранения», — сообщил местному телевидению губернатор провинции Асьют, в которой произошла авария.", + "Поезд следовал по маршруту Каир--Асуан.", + "По данным Reuters , трагедия произошла рядом с городом Манфалут около 8.00 утра по местному времени (10.00 мск).", + "По словам очевидцев, столкновение случилось из-за того, что железнодорожный переезд был открыт, несмотря на мчащийся к нему поезд.", + "«Нам сказали, что шлагбаум был поднят, когда автобус въехал на переезд. Поезд врезался в него на полном ходу», — заявил журналистам Reuters врач больницы, в которую доставили пострадавших в аварии детей.", + "Губернатор провинции Асьют распорядился создать комиссию по расследованию инцидента.", + "По указанию президента Египта Мохаммеда Мурси будет сформирован комитет, который окажет срочную помощь пострадавшим и родственникам погибших школьников.", + "Вскоре после трагедии министр транспорта Египта Мухаммед Ришад аль-Матини взял ответственность за аварию на себя и подал в отставку, сообщают информагентства.", + "Свой пост покинул и глава железнодорожной ассоциации Египта.", + "По данным Управления железных дорог Египта, стрелочник, ответственный за переезд, оставил свой пост и ушел отдыхать.", + "На железных дорогах Египта часто случаются аварии с большим количеством жертв.", + "В частности, 10 ноября в Египте произошло лобовое столкновение двух поездов.", + "В результате аварии, которая произошла в 100 км от Каира, в провинции Аль-Фаюм, погибли пять человек и несколько десятков получили ранения." + ], + "summary_sents": [ + "Автобус, перевозивший около 60 детей в школу в Египте, был раздавлен поездом на железнодорожном переезде: погибли более 47 детей.", + "По предварительным данным, шлагбаум переезда не был закрыт, несмотря на приближавшийся на большой скорости поезд, а стрелочник, отвечавший за объект, покинул свой пост и ушел спать." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 5, + 6, + 11 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В субботу утром в 300 км к югу от Каира школьный автобус столкнулся с поездом на железнодорожном переезде. В первом находились около 60 детей, которые направлялись в поездку, организованную школой, сообщает AFP. «Количество погибших достигло 47 человек. Еще 13 детей получили ранения», — сообщил местному телевидению губернатор провинции Асьют, в которой произошла авария. Поезд следовал по маршруту Каир--Асуан. По данным Reuters , трагедия произошла рядом с городом Манфалут около 8.00 утра по местному времени (10.00 мск). По словам очевидцев, столкновение случилось из-за того, что железнодорожный переезд был открыт, несмотря на мчащийся к нему поезд. «Нам сказали, что шлагбаум был поднят, когда автобус въехал на переезд. Поезд врезался в него на полном ходу», — заявил журналистам Reuters врач больницы, в которую доставили пострадавших в аварии детей. Губернатор провинции Асьют распорядился создать комиссию по расследованию инцидента. По указанию президента Египта Мохаммеда Мурси будет сформирован комитет, который окажет срочную помощь пострадавшим и родственникам погибших школьников. Вскоре после трагедии министр транспорта Египта Мухаммед Ришад аль-Матини взял ответственность за аварию на себя и подал в отставку, сообщают информагентства. Свой пост покинул и глава железнодорожной ассоциации Египта. По данным Управления железных дорог Египта, стрелочник, ответственный за переезд, оставил свой пост и ушел отдыхать. На железных дорогах Египта часто случаются аварии с большим количеством жертв. В частности, 10 ноября в Египте произошло лобовое столкновение двух поездов. В результате аварии, которая произошла в 100 км от Каира, в провинции Аль-Фаюм, погибли пять человек и несколько десятков получили ранения.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 376, + "generated_len": [ + 129 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2898550724637681, + "rouge2": 0.07352941176470587 + }, + "predict": " В последние годы в Европе наблюдался резкий рост миграционного потока, что привело к «миграционному кризису» 2015-2016 годов. Специалисты Pew Research Center проанализировали возможные сценарии роста мусульманского населения в 28 странах ЕС, Норвегии и Швейцарии до 2050 года. Согласно их прогнозам, в зависимости от интенсивности миграционного потока, мусульманское население может достичь от 14% до 4,9% населения Европы в 2050 году. Эксперты также указывают на потенциальный спад населения из-за снижения рождаемости и быстрого старения, что может повлиять на миграцию и общее население стран ЕС.", + "sample": { + "src_sents": [ + "В последние годы резко увеличился поток переселенцев в Европу, который вызвал «миграционный кризис» 2015-2016 годов.", + "В связи с этим специалисты американского неправительственного научно-исследовательского центра Pew Research Center составили прогноз роста численности жителей Европы, которые исповедуют ислам, до 2050 года.", + "Они анализировали потенциальную динамику мусульманского населения 28 государств, входящих в Европейский союз , а также Норвегии и Швейцарии.", + "Специалисты Pew Research Center рассмотрели три возможных сценария роста численности мусульман.", + "Второй сценарий, предложенный Pew Research Center, предполагает, что интенсивный поток миграции в Европу, который исследователи наблюдали в 2015-2016 годах, вновь снизится до уровня 2013-2014 годов.", + "Третий же сценарий предполагает, что крайне высокий уровень миграции из мусульманских стран сохранится, и тогда к указанному сроку 14% от общего числа жителей Европы будут мусульманами.", + "По статистике, в середине 2016 года мусульмане составляли 4,9% от общего числа жителей Европы, что на 19,5 миллионов (или на 3,8%) больше уровня 2010 года.", + "В целом же, как полагают сотрудники Pew Research Center, без миграции население Европы ждет существенный спад из-за снижения рождаемости и все более быстрого старения населения.", + "При «среднем» прогнозе на миграцию мусульман население Старого света останется на стабильном уровне, а при третьем варианте развития событий общее число жителей стран ЕС, а также Швейцарии и Норвегии вырастет, хотя и незначительно.", + "За указанный период времени только 160 тыс. человек из числа исповедующих ислам отказались от этого вероисповедания в пользу другой религии или стали атеистами.", + "Исследователи также подчеркивают, что степень влияния мусульман на каждую страну Европы в отдельности существенно отличается." + ], + "summary_sents": [ + "Специалисты американского исследовательского центра Pew Research Center составили три варианта прогноза изменения численности мусульманского населения Европы к 2050 году.", + "По мнению, экспертов при любых раскладах доля исповедующих ислам жителей Старого света возрастет весьма существенно.", + "При этом специалисты уверены, что без миграции Европу ждет еще больший темп старения населения и снижения общей его численности." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 3, + 7, + 8 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В последние годы резко увеличился поток переселенцев в Европу, который вызвал «миграционный кризис» 2015-2016 годов. В связи с этим специалисты американского неправительственного научно-исследовательского центра Pew Research Center составили прогноз роста численности жителей Европы, которые исповедуют ислам, до 2050 года. Они анализировали потенциальную динамику мусульманского населения 28 государств, входящих в Европейский союз , а также Норвегии и Швейцарии. Специалисты Pew Research Center рассмотрели три возможных сценария роста численности мусульман. Второй сценарий, предложенный Pew Research Center, предполагает, что интенсивный поток миграции в Европу, который исследователи наблюдали в 2015-2016 годах, вновь снизится до уровня 2013-2014 годов. Третий же сценарий предполагает, что крайне высокий уровень миграции из мусульманских стран сохранится, и тогда к указанному сроку 14% от общего числа жителей Европы будут мусульманами. По статистике, в середине 2016 года мусульмане составляли 4,9% от общего числа жителей Европы, что на 19,5 миллионов (или на 3,8%) больше уровня 2010 года. В целом же, как полагают сотрудники Pew Research Center, без миграции население Европы ждет существенный спад из-за снижения рождаемости и все более быстрого старения населения. При «среднем» прогнозе на миграцию мусульман население Старого света останется на стабильном уровне, а при третьем варианте развития событий общее число жителей стран ЕС, а также Швейцарии и Норвегии вырастет, хотя и незначительно. За указанный период времени только 160 тыс. человек из числа исповедующих ислам отказались от этого вероисповедания в пользу другой религии или стали атеистами. Исследователи также подчеркивают, что степень влияния мусульман на каждую страну Европы в отдельности существенно отличается.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 405, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.36923076923076925, + "rouge2": 0.09375000000000001 + }, + "predict": " Во вторник утром был задержан заместитель начальника МУ МВД России «Ногинское» Илья Юхман за управление автомобилем, который числится в международном розыске. Юхман подозревается в превышении должностных полномочий. Также задержаны капитан полиции Олег Стебелев и лидер преступного сообщества в погонах Илья Юхман-младший. Оба сына Юрия Юхмана, бывшего начальника полиции Люберецкого района, были замешаны в коррупционных схемах. Награда Юхману за службу была вручена экс-главой МВД РФ Рашидом Нургалиевым.", + "sample": { + "src_sents": [ + "Во вторник утром стало известно о задержании замначальника МУ МВД России «Ногинское» Ильи Юхмана.", + "Майор, возглавляющий службу полиции Ногинского района, был задержан за то, что ездил на автомобиле Volkswagen, который числится в международном розыске.", + "В подмосковной полиции сообщили, что пока Юхман задержан на 48 часов по статье 286 УК РФ (превышение должностных полномочий).", + "Скорее всего, по истечении этого срока следствие будет ходатайствовать об аресте полицейского.", + "Другие подробности задержания, которое произошло накануне поздно вечером, пока неизвестны.", + "Сотрудники УСБ ГУ МВД по Московской области при участии сотрудников ФСБ задержали за «превышение должностных полномочий» капитана полиции Олега Стебелева.", + "Лидером преступного сообщества в погонах называли начальника оперативно-розыскной части районной полиции Илью Юхмана.", + "Юхмана назначили главой полиции Ногинского района.", + "Задержанный майор является сыном генерал-майора Юрия Юхмана, который с 1999 по 2001 год возглавлял подмосковное ГУ МВД.", + "Как и Илья, Юхман-старший в свое время много лет работал в полиции Люберецкого района и был ее начальником.", + "Между тем, уже находясь в поле зрения правоохранительных органов, Илья Юхман был награжден медалью «За доблесть в службе».", + "Награду майору 26 октября 2011 года лично вручил экс-глава МВД РФ Рашид Нургалиев.", + "Отметили Юхмана «за образцовое исполнение служебных обязанностей и достигнутые успехи в работе»." + ], + "summary_sents": [ + "Начальник полиции подмосковного Ногинска Илья Юхман задержан за езду на машине, находящейся в международном розыске.", + "В спецоперации по задержанию майора полиции участвовали сотрудники не только собственной безопасности, но и ФСБ.", + "Ранее задержанного называли лидером банды «оборотней в погонах» из полиции Люберец.", + "В отличие от подельников Юхман, сын экс-главы подмосковной полиции генерал-майора Юрия Юхмана, до последнего времени продолжал службу в полиции." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 5, + 6, + 7, + 8 + ], + "category": "auto" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Во вторник утром стало известно о задержании замначальника МУ МВД России «Ногинское» Ильи Юхмана. Майор, возглавляющий службу полиции Ногинского района, был задержан за то, что ездил на автомобиле Volkswagen, который числится в международном розыске. В подмосковной полиции сообщили, что пока Юхман задержан на 48 часов по статье 286 УК РФ (превышение должностных полномочий). Скорее всего, по истечении этого срока следствие будет ходатайствовать об аресте полицейского. Другие подробности задержания, которое произошло накануне поздно вечером, пока неизвестны. Сотрудники УСБ ГУ МВД по Московской области при участии сотрудников ФСБ задержали за «превышение должностных полномочий» капитана полиции Олега Стебелева. Лидером преступного сообщества в погонах называли начальника оперативно-розыскной части районной полиции Илью Юхмана. Юхмана назначили главой полиции Ногинского района. Задержанный майор является сыном генерал-майора Юрия Юхмана, который с 1999 по 2001 год возглавлял подмосковное ГУ МВД. Как и Илья, Юхман-старший в свое время много лет работал в полиции Люберецкого района и был ее начальником. Между тем, уже находясь в поле зрения правоохранительных органов, Илья Юхман был награжден медалью «За доблесть в службе». Награду майору 26 октября 2011 года лично вручил экс-глава МВД РФ Рашид Нургалиев. Отметили Юхмана «за образцовое исполнение служебных обязанностей и достигнутые успехи в работе».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 359, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3389830508474576, + "rouge2": 0.1206896551724138 + }, + "predict": " В интервью известный канадский тренер Брайан Орсер поделился своими впечатлениями о работе с российской фигуристкой Евгенией Медведевой, которая после ухода от многолетнего тренера Этери Тутберидзе столкнулась с критикой и неудачами в первом сезоне под его руководством. Несмотря на неудачу на чемпионате России, Медведева продолжает тренироваться в Канаде, готовясь к Кубку России, важному соревнованию, которое может повлиять на её участие в сборной на чемпионате мира. Александр Горшков, президент ФФККР, подтвердил, что состав на мировое первенство будет определен по результатам этого турнира.", + "sample": { + "src_sents": [ + "Известный канадский специалист Брайан Орсер дал большое интервью, в котором рассказал о работе с российской фигуристкой Евгенией Медведевой.", + "Ее уход от многолетнего тренера Этери Тутберидзе и отъезд из России многие болельщики восприняли в штыки, а с неудачами в первом сезоне под руководством Орсера Медведева приобрела еще больше ненавистников.", + "В текущем сезоне Медведева пока не смогла завоевать ни одной награды золотого отлива.", + "Настоящим провалом для нее стало выступление на чемпионате России — там Евгения заняла только седьмое место, которое не позволило ей рассчитывать на место в составе национальной команды на чемпионат Европы.", + "Впоследствии в заявку сборной России попали Алина Загитова , Станислава Константинова и Софья Самодурова, которая в итоге стала чемпионкой Европы.", + "Как рассказал тренер, сейчас Евгения находится в Канаде, где готовится к ближайшему турниру — Кубку России.", + "«О нет, ей хватит путешествий! Евгения сейчас в Торонто, тренируется. На следующей неделе мы будем с ней интенсивно работать. А в следующем месяце у нее запланировано соревнование меньшего уровня в России, и мы постараемся отстоять возможное место для участия на чемпионате мира», — поделился Орсер в интервью NBC Sport.", + "Кубок России станет для Евгении едва ли не самым важным соревнованием за последнее время.", + "А во-вторых, будет иметь шанс побороться за место в сборной России на предстоящий чемпионат мира.", + "Президент Федерации фигурного катания на коньках России (ФФККР) Александр Горшков пояснил, что состав на мировое первенство будет определено по итогам Кубка России." + ], + "summary_sents": [ + "Брайан Орсер, тренер серебряного призера олимпийских игр и одной из самых обсуждаемых российских фигуристок Евгении Медведевой, рассказал о ближайших целях своей подопечной.", + "По его словам, Медведева сейчас находится в Канаде, где готовится к ближайшему турниру — Кубку России." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 6 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Известный канадский специалист Брайан Орсер дал большое интервью, в котором рассказал о работе с российской фигуристкой Евгенией Медведевой. Ее уход от многолетнего тренера Этери Тутберидзе и отъезд из России многие болельщики восприняли в штыки, а с неудачами в первом сезоне под руководством Орсера Медведева приобрела еще больше ненавистников. В текущем сезоне Медведева пока не смогла завоевать ни одной награды золотого отлива. Настоящим провалом для нее стало выступление на чемпионате России — там Евгения заняла только седьмое место, которое не позволило ей рассчитывать на место в составе национальной команды на чемпионат Европы. Впоследствии в заявку сборной России попали Алина Загитова , Станислава Константинова и Софья Самодурова, которая в итоге стала чемпионкой Европы. Как рассказал тренер, сейчас Евгения находится в Канаде, где готовится к ближайшему турниру — Кубку России. «О нет, ей хватит путешествий! Евгения сейчас в Торонто, тренируется. На следующей неделе мы будем с ней интенсивно работать. А в следующем месяце у нее запланировано соревнование меньшего уровня в России, и мы постараемся отстоять возможное место для участия на чемпионате мира», — поделился Орсер в интервью NBC Sport. Кубок России станет для Евгении едва ли не самым важным соревнованием за последнее время. А во-вторых, будет иметь шанс побороться за место в сборной России на предстоящий чемпионат мира. Президент Федерации фигурного катания на коньках России (ФФККР) Александр Горшков пояснил, что состав на мировое первенство будет определено по итогам Кубка России.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 352, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3603603603603604, + "rouge2": 0.1834862385321101 + }, + "predict": " Экс-президент Грузии и бывший губернатор Одесской области Михаил Саакашвили помещен под ночной домашний арест в Украине. Прокуратура первоначально просила более строгих мер, но суд удовлетворил лишь часть требований, включая обязательство носить электронный браслет и являться по требованию к прокурору или следователю. Политику запрещено покидать Киев без разрешения прокурора. В декабре 2017 года он пытался сбежать, но был арестован.", + "sample": { + "src_sents": [ + "Экс-президента Грузии и бывшего губернатора Одесской области поместили под ночной домашний арест.", + "«Жалобу прокурора удовлетворить... Избрать для Саакашвили М.Н. меру пресечения в виде домашнего ареста с 22:00 до 7:00 [мск --1] с обязательством носить электронный браслет», — цитирует постановление Апелляционного суда украинское информагентство УНН.", + "Изначально генпрокуратура просила суд избрать для Саакашвили более суровую меру пресечения и поместить его под круглосуточный домашний арест, обосновывая это тем, что политика могут устранить российские спецслужбы.", + "Тем не менее суд этого делать не стал.", + "В итоге ходатайство прокуратуры он удовлетворил, но лишь частично.", + "Помимо ночного домашнего ареста, на Саакашвили были возложены дополнительные процессуальные обязанности.", + "Политик должен по требованию прибывать к прокурору, следователю или в суд, а также не имеет права выезжать из Киева без разрешения прокурора.", + "Саакашвили задержали 5 декабря 2017 года, однако в тот день он сумел сбежать от правоохранителей.", + "Первая операция по аресту экс-губернатора Одесской области проходила достаточно ярко: сначала Саакашвили забрался на крышу своего дома в Киеве, обещая спрыгнуть.", + "Схватив политика и усадив его в машину, сотрудники СБУ столкнулись с новой проблемой — собравшиеся на месте событий сторонники Саакашвили блкировали проезд." + ], + "summary_sents": [ + "Михаилу Саакашвили избрали меру пресечения в виде ночного домашнего ареста — по решению суда, политик не сможет выходить из дома с десяти вечера до семи утра.", + "Его также обязали носить электронный браслет и не покидать Киев без разрешения.", + "Изначально генпрокуратура настаивала на круглосуточном домашнем аресте, но апелляционный суд удовлетворил ходатайство только частично." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 3, + 4, + 6 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Экс-президента Грузии и бывшего губернатора Одесской области поместили под ночной домашний арест. «Жалобу прокурора удовлетворить... Избрать для Саакашвили М.Н. меру пресечения в виде домашнего ареста с 22:00 до 7:00 [мск --1] с обязательством носить электронный браслет», — цитирует постановление Апелляционного суда украинское информагентство УНН. Изначально генпрокуратура просила суд избрать для Саакашвили более суровую меру пресечения и поместить его под круглосуточный домашний арест, обосновывая это тем, что политика могут устранить российские спецслужбы. Тем не менее суд этого делать не стал. В итоге ходатайство прокуратуры он удовлетворил, но лишь частично. Помимо ночного домашнего ареста, на Саакашвили были возложены дополнительные процессуальные обязанности. Политик должен по требованию прибывать к прокурору, следователю или в суд, а также не имеет права выезжать из Киева без разрешения прокурора. Саакашвили задержали 5 декабря 2017 года, однако в тот день он сумел сбежать от правоохранителей. Первая операция по аресту экс-губернатора Одесской области проходила достаточно ярко: сначала Саакашвили забрался на крышу своего дома в Киеве, обещая спрыгнуть. Схватив политика и усадив его в машину, сотрудники СБУ столкнулись с новой проблемой — собравшиеся на месте событий сторонники Саакашвили блкировали проезд.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 309, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4047619047619047, + "rouge2": 0.17073170731707316 + }, + "predict": " Следственный комитет России подтвердил, что гражданин Эстонии Эрик-Нийелс Кросс является организатором захвата сухогруза Arctic Sea в июле 2009 года. В связи с этим ФСБ России направило поручение об организации международного розыска Кросса, за которого уже заочно предъявлено обвинение по организации пиратства. Большинство участников дела уже осуждены, и судопроизводство ускорено благодаря их признанию вины.", + "sample": { + "src_sents": [ + "В пятницу Следственный комитет (СК) вернулся к скандальному делу о захвате сухогруза Arctic Sea.", + "Как сообщает пресс-служба ведомства, следователи, разбиравшиеся в обстоятельствах захвата судна в июле 2009 года, пришли к выводу, что главным организатором преступления был гражданин Эстонии Эрик-Нийелс Кросс.", + "«В региональное управление ФСБ России по Архангельской области направлено поручение об организации федерального и международного розыска обвиняемого», — сказали в СК, добавив, что Кроссу заочно предъявлено обвинение по ч. 3 ст. 227 (организация пиратства) Уголовного кодекса.", + "О том, что захват сухогруза, произошедший в тихом и безопасном Балтийском море, организовал именно Кросс, в прошлом возглавлявший службу внешней разведки Эстонии, на допросах и судебных заседаниях говорили рядовые фигуранты «дела Arctic Sea».", + "Большинство из них уже осуждены: признав свою вину, пираты просили рассмотреть их дела в особом порядке, что существенно ускорило судопроизводство.", + "Как следует из обвинительных заключений, поступивших в суды в прошлом году, 22 июля 2009 года Arctic Sea под мальтийским флагом с экипажем из 15 россиян вышел из Финляндии и 4 августа должен был прибыть в алжирский порт Беджайя.", + "Однако 28 июля связь с судном прервалась в Балтийском море." + ], + "summary_sents": [ + "Российские следователи объявили в международный розыск предполагаемого организатора захвата сухогруза Arctic Sea.", + "Бывшему главе эстонской внешней разведки Эрику-Нийелсу Кроссу, на которого указывали большинство осужденных участников захвата, предъявлено заочное обвинение." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 2 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В пятницу Следственный комитет (СК) вернулся к скандальному делу о захвате сухогруза Arctic Sea. Как сообщает пресс-служба ведомства, следователи, разбиравшиеся в обстоятельствах захвата судна в июле 2009 года, пришли к выводу, что главным организатором преступления был гражданин Эстонии Эрик-Нийелс Кросс. «В региональное управление ФСБ России по Архангельской области направлено поручение об организации федерального и международного розыска обвиняемого», — сказали в СК, добавив, что Кроссу заочно предъявлено обвинение по ч. 3 ст. 227 (организация пиратства) Уголовного кодекса. О том, что захват сухогруза, произошедший в тихом и безопасном Балтийском море, организовал именно Кросс, в прошлом возглавлявший службу внешней разведки Эстонии, на допросах и судебных заседаниях говорили рядовые фигуранты «дела Arctic Sea». Большинство из них уже осуждены: признав свою вину, пираты просили рассмотреть их дела в особом порядке, что существенно ускорило судопроизводство. Как следует из обвинительных заключений, поступивших в суды в прошлом году, 22 июля 2009 года Arctic Sea под мальтийским флагом с экипажем из 15 россиян вышел из Финляндии и 4 августа должен был прибыть в алжирский порт Беджайя. Однако 28 июля связь с судном прервалась в Балтийском море.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 322, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.27272727272727276, + "rouge2": 0.13953488372093026 + }, + "predict": " Бывший глава ФИФА Жоао Авеланж подал в отставку после обвинений в коррупции, связанных с маркетинговой компанией ISL, которая заплатила $22 млн ФИФА. В списке подозреваемых также находятся Николас Леос и Рикарду Тейшейра. В отчете утверждается, что ФИФА обладает необходимыми ресурсами для предотвращения подобных злоупотреблений в будущем, и расследование по данному делу прекращено.", + "sample": { + "src_sents": [ + "Бывший глава ФИФА, являющийся почетным президентом организации, Жоао Авеланж ушел в отставку со своего поста, сообщается в отчете организации, который опубликован на ее официальном сайте.", + "Как сообщил глава арбитражной палаты комитета по этике Ханс-Йоахим Эккерт, бывший президент ФИФА обвиняется в получении взяток.", + "Глава южноамериканской футбольной ассоциации Николас Леос и экс-руководитель оргкомитета ЧМ-2014 в Бразилии Рикарду Тейшейра, который в 90-е годы являлся зятем бывшего президента, также попали в список подозреваемых.", + "Оба уже покинули свои посты ранее, в марте 2012-го и апреле 2013 года соответственно.", + "Скандал возник вокруг маркетинговой фирмы ISL, которая занималась распределением прав на показ чемпионатов мира по футболу.", + "Кампания заплатила ФИФА $22 млн, а сам Авеланж получил $1,5 млн.", + "Интересно, что экс-почетный президент получал взятки в период руководства организацией нынешнего главы ФИФА Зеппа Блаттера, в действиях которого чиновники не нашли никакого криминала.", + "В отчете сказано, что сейчас ФИФА имеет все необходимые силы и средства, чтобы не допустить повторения таких эпизодов в будущем.", + "«Никакого дальнейшего расследования по этому делу в отношении футбольных чиновников проводиться не будет», — говорится в докладе Эккерта.", + "Бывший вице-президент ФИФА Джек Уорнер ранее заявил, что получил $6 млн на строительство учебного центра в Тринидаде в обмен на поддержку Зеппа Блаттера на выборах президента ФИФА 1998 года, кандидатуру которого выдвигал как раз Авеланж." + ], + "summary_sents": [ + "Почетный президент ФИФА Жоао Авеланж покинул свой пост в связи с коррупционным скандалом.", + "Бывший глава ФИФА подозревается в получении взяток за предоставление обанкротившейся маркетинговой компании ISL (International Sport and Leisure) прав на трансляцию матчей чемпионата мира." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Бывший глава ФИФА, являющийся почетным президентом организации, Жоао Авеланж ушел в отставку со своего поста, сообщается в отчете организации, который опубликован на ее официальном сайте. Как сообщил глава арбитражной палаты комитета по этике Ханс-Йоахим Эккерт, бывший президент ФИФА обвиняется в получении взяток. Глава южноамериканской футбольной ассоциации Николас Леос и экс-руководитель оргкомитета ЧМ-2014 в Бразилии Рикарду Тейшейра, который в 90-е годы являлся зятем бывшего президента, также попали в список подозреваемых. Оба уже покинули свои посты ранее, в марте 2012-го и апреле 2013 года соответственно. Скандал возник вокруг маркетинговой фирмы ISL, которая занималась распределением прав на показ чемпионатов мира по футболу. Кампания заплатила ФИФА $22 млн, а сам Авеланж получил $1,5 млн. Интересно, что экс-почетный президент получал взятки в период руководства организацией нынешнего главы ФИФА Зеппа Блаттера, в действиях которого чиновники не нашли никакого криминала. В отчете сказано, что сейчас ФИФА имеет все необходимые силы и средства, чтобы не допустить повторения таких эпизодов в будущем. «Никакого дальнейшего расследования по этому делу в отношении футбольных чиновников проводиться не будет», — говорится в докладе Эккерта. Бывший вице-президент ФИФА Джек Уорнер ранее заявил, что получил $6 млн на строительство учебного центра в Тринидаде в обмен на поддержку Зеппа Блаттера на выборах президента ФИФА 1998 года, кандидатуру которого выдвигал как раз Авеланж.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 364, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3300970873786408, + "rouge2": 0.099009900990099 + }, + "predict": " В рамках 14-го тура чемпионата России «Кузбасс» и «Енисей» сыграют принципиальный матч, где обе команды стремятся к лидерству. Сергей Мяус, бывший главный тренер «Кузбасса», подчеркивает, что это дерби края, где оба соперника амбициозны и всегда показывают бескомпромиссную борьбу. «Зоркий» едет в гости к «Мурману», где ожидается матч с непредсказуемыми последствиями из-за праздничного настроения «Зоркого». Обе команды достойны победы, и игра обещает быть интересной.", + "sample": { + "src_sents": [ + "В рамках 14-го тура чемпионата России «Кузбасс», ставший четвертым в прошлом сезоне, сразится с «Енисеем», ведущим борьбу за лидерство. «Зоркий» проэкзаменует «Мурман».", + "«Кузбасс» проиграл «Зоркому», а теперь его ждет матч с преследователем красногорцев — «Енисеем», который постарается взять реванш за поражение в 1/4 финала прошлого сезона.", + "Как отмечает вице-президент Федерации хоккея с мячом России, главный тренер молодежной сборной России, ранее работавший с «Кузбассом» Сергей Мяус , матчи этих соперников всегда носят принципиальный характер.", + "«Это дерби края на область, — сказал Мяус. — Интерес к этим встречам подогревается уже много лет, обе команды амбициозные. Но что касается турнирного расклада, это по большому счету, не главный матч. Это игра уходящего года. Кузбассовцы и енисейцы всегда показывают бескомпромиссную борьбу, и это здорово. Если бы и между другими регионами развернулась такая борьба, чемпионат, конечно, был бы интересней. Существуют же игры «Динамо» - «Зоркий», «Cтарт» - «Волга», «Водник» - «Мурман». Разные по степени накалу. Но это именно матчи соседей, что всегда издавна называлось дерби. Байкал-Энергия (Иркутск) — Волга (Ульяновск) 26 декабря 2011, понедельник, 14:00 СКА-Нефтяник (Хабаровск) — Динамо-Казань 26 декабря 2011, понедельник, 12:00 Родина (Киров) — Сибсельмаш (Новосибирск) 26 декабря 2011, понедельник, 18:30 Уральский трубник (Первоуральск) — Динамо-Москва 26 декабря 2011, понедельник, 17:00 Енисей (Красноярск) — Кузбасс (Кемерово) 26 декабря 2011, понедельник, 15:00 Водник (Архангельск) — Старт (Нижний Новгород) 26 декабря 2011, понедельник, 18:30 Мурман (Мурманск) — Зоркий (Красногорск) 26 декабря 2011, понедельник, 18:30 В составе «Кузбасса» играют очень много мастеровитых игроков, и временами они показывают ту игру, к которой привыкли болельщики «Кузбасса». «Енисей» в этом году прогрессирует, и Кубок мира завоевал. И сейчас у него два игрока стали чемпионами мира в составе молодежной сборной России — Джусоев и Вдовенко, а у «Кузбасса» — Егошин. Поэтому есть на кого посмотреть. «Енисей» играет дома, им не придется затрачивать время на переезд, игроки восстановились после матчей сборных. Шансы я бы оценил 60 на 40. Хотя, думаю, что обе команды достойны победить, и игра будет интересной».", + "«Зоркий» едет в гости к «Мурману», и на сенсацию в этой встрече не приходится надеяться.", + "Для «Зоркого» в предстоящей встрече важнее всего не поддаться, по словам Мяуса, праздничному настроению.", + "«Зоркий» играет на выезде, — поведал он.", + "— Тут лидеру важно проявить характер, показать свою игру." + ], + "summary_sents": [ + "В понедельник пройдут очередные матчи чемпионата России по хоккею с мячом.", + "В центральной встрече 14-го тура встретятся красноярский «Енисей» и кемеровский «Кузбасс».", + "Лидер первенства красногорский «Зоркий» отправится в Мурманск в гости к одному из аутсайдеров чемпионата «Мурману»." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 3, + 4 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В рамках 14-го тура чемпионата России «Кузбасс», ставший четвертым в прошлом сезоне, сразится с «Енисеем», ведущим борьбу за лидерство. «Зоркий» проэкзаменует «Мурман». «Кузбасс» проиграл «Зоркому», а теперь его ждет матч с преследователем красногорцев — «Енисеем», который постарается взять реванш за поражение в 1/4 финала прошлого сезона. Как отмечает вице-президент Федерации хоккея с мячом России, главный тренер молодежной сборной России, ранее работавший с «Кузбассом» Сергей Мяус , матчи этих соперников всегда носят принципиальный характер. «Это дерби края на область, — сказал Мяус. — Интерес к этим встречам подогревается уже много лет, обе команды амбициозные. Но что касается турнирного расклада, это по большому счету, не главный матч. Это игра уходящего года. Кузбассовцы и енисейцы всегда показывают бескомпромиссную борьбу, и это здорово. Если бы и между другими регионами развернулась такая борьба, чемпионат, конечно, был бы интересней. Существуют же игры «Динамо» - «Зоркий», «Cтарт» - «Волга», «Водник» - «Мурман». Разные по степени накалу. Но это именно матчи соседей, что всегда издавна называлось дерби. Байкал-Энергия (Иркутск) — Волга (Ульяновск) 26 декабря 2011, понедельник, 14:00 СКА-Нефтяник (Хабаровск) — Динамо-Казань 26 декабря 2011, понедельник, 12:00 Родина (Киров) — Сибсельмаш (Новосибирск) 26 декабря 2011, понедельник, 18:30 Уральский трубник (Первоуральск) — Динамо-Москва 26 декабря 2011, понедельник, 17:00 Енисей (Красноярск) — Кузбасс (Кемерово) 26 декабря 2011, понедельник, 15:00 Водник (Архангельск) — Старт (Нижний Новгород) 26 декабря 2011, понедельник, 18:30 Мурман (Мурманск) — Зоркий (Красногорск) 26 декабря 2011, понедельник, 18:30 В составе «Кузбасса» играют очень много мастеровитых игроков, и временами они показывают ту игру, к которой привыкли болельщики «Кузбасса». «Енисей» в этом году прогрессирует, и Кубок мира завоевал. И сейчас у него два игрока стали чемпионами мира в составе молодежной сборной России — Джусоев и Вдовенко, а у «Кузбасса» — Егошин. Поэтому есть на кого посмотреть. «Енисей» играет дома, им не придется затрачивать время на переезд, игроки восстановились после матчей сборных. Шансы я бы оценил 60 на 40. Хотя, думаю, что обе команды достойны победить, и игра будет интересной». «Зоркий» едет в гости к «Мурману», и на сенсацию в этой встрече не приходится надеяться. Для «Зоркого» в предстоящей встрече важнее всего не поддаться, по словам Мяуса, праздничному настроению. «Зоркий» играет на выезде, — поведал он. — Тут лидеру важно проявить характер, показать свою игру.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 771, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.29411764705882354, + "rouge2": 0.060606060606060615 + }, + "predict": " Калифорнийский пляж Дрейк-Бич был залит тысячами эхиуридов, похожих на «рыбы-пенисы», после штормов. Эти существа, на самом деле черви, относятся к эхиуридам и являются безвредными. В России впервые заметили сельдяного короля, длиной до 11 метров, с ужасными усами, которые поначалу казались ядовитыми.", + "sample": { + "src_sents": [ + "Калифорнийский пляж Дрейк-Бич заполонили «рыбы-пенисы».", + "Тысячи существ, напоминающих половые члены, выбросило на берег из-за недавно прошедших штормов, сообщает журнал Bay Nature.", + "Urechis caupo — на самом деле не рыбы, а черви.", + "Они относятся к эхиуридам, подклассу морских многощетинковых червей.", + "Публикация от Bay Nature Magazine (@baynaturemagazine) 11 Дек 2019 в 11:58 PST «Строение червя действительно вызывает некоторые вопросы. Но оно идеально подходит для жизни под землей», — отмечает биолог Иван Парр.", + "Эхиуриды довольно пассивны и совершенно безобидны.", + "В азиатских странах эхиуриды — деликатес.", + "Летом 2019 года у берегов России приморские рыбаки впервые обнаружили сельдяного короля — полуглубоководную рыбу, длина которой может доходить до 11 м.", + "«У нее были страшные усы, думали, ядовитая. Когда плывет, кажется, какое-то чудовище. Глаза как у зверя, в воде блестит как зеркало», — рассказала Антонина Тунык, которой удалось сфотографировать ремнетела." + ], + "summary_sents": [ + "Калифорнийский пляж наводнили «рыбы-пенисы» — необычного вида черви, которых вынесло на берег из-за штормов.", + "Они совершенно безобидны, а в азиатских странах являются деликатесом." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5, + 6 + ], + "category": "science" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Калифорнийский пляж Дрейк-Бич заполонили «рыбы-пенисы». Тысячи существ, напоминающих половые члены, выбросило на берег из-за недавно прошедших штормов, сообщает журнал Bay Nature. Urechis caupo — на самом деле не рыбы, а черви. Они относятся к эхиуридам, подклассу морских многощетинковых червей. Публикация от Bay Nature Magazine (@baynaturemagazine) 11 Дек 2019 в 11:58 PST «Строение червя действительно вызывает некоторые вопросы. Но оно идеально подходит для жизни под землей», — отмечает биолог Иван Парр. Эхиуриды довольно пассивны и совершенно безобидны. В азиатских странах эхиуриды — деликатес. Летом 2019 года у берегов России приморские рыбаки впервые обнаружили сельдяного короля — полуглубоководную рыбу, длина которой может доходить до 11 м. «У нее были страшные усы, думали, ядовитая. Когда плывет, кажется, какое-то чудовище. Глаза как у зверя, в воде блестит как зеркало», — рассказала Антонина Тунык, которой удалось сфотографировать ремнетела.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 287, + "generated_len": [ + 139 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.22222222222222227, + "rouge2": 0.056603773584905655 + }, + "predict": " Игорь Тальков-младший, сын известного музыканта Игоря Талькова, был арестован за управление автомобилем в состоянии алкогольного опьянения. В видеообращении он объяснил, что отказался пройти медицинское освидетельствование, ссылаясь на постоянные обыски и задержания со стороны сотрудников ГИБДД. Вдова музыканта Татьяна Талькова категорически отвергла информацию о задержании, утверждая, что все это «полная ерунда». Игорь Тальков-младший ранее был лишен водительских прав за аналогичное нарушение и сейчас пытается доказать свою значимость как музыкант, несмотря на многочисленные скандалы.", + "sample": { + "src_sents": [ + "На сына покойного музыканта Игоря Талькова было заведено уголовное дело по статье 264.1.", + "В конце ноября Игорь Тальков-младший был пойман в нетрезвом виде за рулем внедорожника и отказался проходить медицинское освидетельствование, уверяя сотрудников ДПС в своей трезвости.", + "В скором времени ситуация стала с жаром обсуждаемыми в интернете достоянием общественности.", + "«Бывает не совсем доброе утро, я сегодня проснулся, собирался на студию, узнал, что там весь интернет кишит всякой фигней. Все, кто меня знает, знают, что я с 2014 года не пью, — сказал Игорь Игоревич в видеообращении к своим поклонникам. — И что произошло: меня действительно тормознули и я отказался ехать сдавать кровь. Принципиально отказался, потому что ко мне постоянно докапываются сотрудники, постоянно меня обыскивают везде, постоянно меня тормозят. Я просто устал от этого и решил себе немножечко жизнь испортить. Видимо, им это очень не понравилось, я не знаю, откуда это все пошло, кто первоисточник, я музыкант, ненавижу бюрократию».", + "На информацию о задержании своего сына вдова музыканта Игоря Талькова Татьяна отреагировала категорично: «Я не буду комментировать это. Ничего его не задержали. Все это полная ерунда».", + "Так, два года назад он был лишен водительских прав за управление автомобилем в нетрезвом виде.", + "По статье 264.1 Уголовного кодекса Российской Федерации предусмотрен вариант лишения свободы сроком до двух лет.", + "Он тоже занимается музыкой и, как известно, надеется доказать, что и без звездной фамилии чего-то да стоит.", + "Однако пока о его творчестве ничего не было слышно, а имя все чаще упоминается в связи с разными скандалами." + ], + "summary_sents": [ + "На Игоря Талькова-младшего заведено уголовное дело.", + "В результате инцидента, произошедшего в конце ноября, когда сын покойного музыканта был задержан за вождение автомобиля в нетрезвом виде, ему грозит лишение свободы сроком до двух лет." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 6 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: На сына покойного музыканта Игоря Талькова было заведено уголовное дело по статье 264.1. В конце ноября Игорь Тальков-младший был пойман в нетрезвом виде за рулем внедорожника и отказался проходить медицинское освидетельствование, уверяя сотрудников ДПС в своей трезвости. В скором времени ситуация стала с жаром обсуждаемыми в интернете достоянием общественности. «Бывает не совсем доброе утро, я сегодня проснулся, собирался на студию, узнал, что там весь интернет кишит всякой фигней. Все, кто меня знает, знают, что я с 2014 года не пью, — сказал Игорь Игоревич в видеообращении к своим поклонникам. — И что произошло: меня действительно тормознули и я отказался ехать сдавать кровь. Принципиально отказался, потому что ко мне постоянно докапываются сотрудники, постоянно меня обыскивают везде, постоянно меня тормозят. Я просто устал от этого и решил себе немножечко жизнь испортить. Видимо, им это очень не понравилось, я не знаю, откуда это все пошло, кто первоисточник, я музыкант, ненавижу бюрократию». На информацию о задержании своего сына вдова музыканта Игоря Талькова Татьяна отреагировала категорично: «Я не буду комментировать это. Ничего его не задержали. Все это полная ерунда». Так, два года назад он был лишен водительских прав за управление автомобилем в нетрезвом виде. По статье 264.1 Уголовного кодекса Российской Федерации предусмотрен вариант лишения свободы сроком до двух лет. Он тоже занимается музыкой и, как известно, надеется доказать, что и без звездной фамилии чего-то да стоит. Однако пока о его творчестве ничего не было слышно, а имя все чаще упоминается в связи с разными скандалами.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 392, + "generated_len": [ + 151 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3505154639175257, + "rouge2": 0.1473684210526316 + }, + "predict": " Король Саудовской Аравии выражает обеспокоенность по поводу возможного приобретения Катаром российских зенитных ракетных систем С-400, что может угрожать безопасности воздушного пространства королевства и вызвать эскалацию напряженности в регионе. В случае принятия такого решения, королевство готово применить силу для ликвидации системы обороны. Этот шаг обусловлен стремлением сохранить стратегическое превосходство и безопасность в условиях растущего военного противостояния в регионе.", + "sample": { + "src_sents": [ + "В Саудовской Аравии готовы применить силу против Катара в том случае, если он все же решит приобрести российские зенитные ракетные системы С-400.", + "В нем политик просил французского лидера Эммануэля Макрона оказать давление на Катар, чтобы избежать приобретения им российской С-400.", + "О возможности совершения такой покупки заявлял посол Катара в Москве Фахд аль-Аттыйя.", + "В письме, направленном в Елисейский дворец, монарх выразил сильнейшую обеспокоенность переговорами между Дохой и Москвой, которые идут в данный момент.", + "Король предполагает, что нахождение С-400 на территории Катара повлияет на безопасность воздушного пространства Саудовской Аравии и увеличит риск эскалации напряженности в регионе.", + "Если это все же произойдет, королевство примет все необходимые меры, чтобы ликвидировать эту систему обороны.", + "В том числе могут быть применены военные действия, пишет монарх.", + "Отмечается, что обычно оружие для Катара поставляли Соединенные Штаты, которые рассматривают это арабское монархическое государство в качестве союзника.", + "При этом, когда летом прошлого года начался кризис в отношениях между Катаром и другими исламскими странами, и в первую очередь с Саудовской Аравией и Объединенными Арабскими Эмиратами, Катар принялся резко увеличивать оборонные закупки." + ], + "summary_sents": [ + "Саудовская Аравия готова начать военные действия в отношении Катара в случае приобретения им российской зенитной ракетной системы С-400.", + "Соответствующая информация содержалась в письме саудовского короля, направленном французскому лидеру.", + "Монарх также просил главу Франции воспрепятствовать совершению Катаром данной покупки." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 3, + 5, + 6 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В Саудовской Аравии готовы применить силу против Катара в том случае, если он все же решит приобрести российские зенитные ракетные системы С-400. В нем политик просил французского лидера Эммануэля Макрона оказать давление на Катар, чтобы избежать приобретения им российской С-400. О возможности совершения такой покупки заявлял посол Катара в Москве Фахд аль-Аттыйя. В письме, направленном в Елисейский дворец, монарх выразил сильнейшую обеспокоенность переговорами между Дохой и Москвой, которые идут в данный момент. Король предполагает, что нахождение С-400 на территории Катара повлияет на безопасность воздушного пространства Саудовской Аравии и увеличит риск эскалации напряженности в регионе. Если это все же произойдет, королевство примет все необходимые меры, чтобы ликвидировать эту систему обороны. В том числе могут быть применены военные действия, пишет монарх. Отмечается, что обычно оружие для Катара поставляли Соединенные Штаты, которые рассматривают это арабское монархическое государство в качестве союзника. При этом, когда летом прошлого года начался кризис в отношениях между Катаром и другими исламскими странами, и в первую очередь с Саудовской Аравией и Объединенными Арабскими Эмиратами, Катар принялся резко увеличивать оборонные закупки.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 280, + "generated_len": [ + 151 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.28571428571428575, + "rouge2": 0.08092485549132948 + }, + "predict": " Дуайт Эйзенхауэр стал первым американским президентом, давшим телевизионную пресс-конференцию, 19 января 1955 года, касаясь китайско-китайского конфликта. В ходе пресс-конференции он выразил необходимость ООН в урегулировании конфликта, а также ответил на вопрос о том, куда уходят средства в бюджете. Эйзенхауэр не смог скрыть раздражения от вопроса о том, как конгрессмены могут разобраться в бюджетных документах, и попросил перейти к следующему вопросу. Этот опыт послужил основой для регулярных пресс-конференций, которые стали неотъемлемой частью президентской практики в США. Современные президенты, включая Дональда Трампа, имеют свои предпочтения в проведении таких встреч, но все они сохраняют важность для поддержания диалога с журналистами и общественности.", + "sample": { + "src_sents": [ + "Дуайт Эйзенхауэр стал первым президентом США, который дал первую в мире телевизионную пресс-конференцию. Это произошло 19 января 1955 года.", + "Первый касался возможности прекращения военного конфликта между двумя китайскими государствами: КНР и тогдашней Китайской республикой на Тайване, которую в то время признавали США.", + "Президент тогда не стал отвечать конкретно, отметив, однако, необходимость ООН подключиться к переговорному процессу.", + "Следующий вопрос прозвучал так: «Сэр, конгрессмены на Капитолийском холме говорят, что, если им удастся обнаружить копию бюджета, чтобы с ним ознакомиться, они не смогут понять, куда уйдут деньги. Есть ли вам что сказать людям, которые должны голосовать по этому вопросу, на что будут потрачены средства?»", + "Президент Эйзенхауэр не смог скрыть своего раздражения: «Мне кажется, комитеты конгресса созданы для этого», — сказал он и попросил перейти к следующему вопросу.", + "Пресс-конференция проходила накануне второй годовщины инаугурации Эйзенхауэра, поэтому журналисты попросили президента оценить его два года нахождения у власти и рассказать о планах «на вторые два, а, может, и на все шесть лет».", + "«Вопрос несет большую нагрузку», — рассмеялся Эйзенхауэр, чтобы разрядить обстановку, однако потом ответил.", + "В целом, первая телевизионная пресс-конференция американского лидера прошла успешно, и этот опыт было решено продолжить.", + "Сама пресс-конференция продлилась 33 минуты, однако в эфир попала уже отредактированная до 28 минут запись.", + "С тех пор президенты США несколько раз в год проводили большие пресс-конференции, которые давали возможность задать вопросы не только старожилам из пула журналистов Белого дома, но и другим желающим.", + "Сегодня такой формат общения главы государства с журналистами, как пресс-конференция, уже никого не удивляет, но для любого — даже самого подготовленного политика, они таят немало подводных камней.", + "Заранее вопросы репортеров они не знали, однако сделать так, чтобы «неудобных» вопросов было как можно меньше, стало главной задачей пресс-секретаря, который давал слово тем или иным журналистам.", + "Правда, делать это нужно было с умом, поскольку злоупотребление правами пресс-секретаря могло вызвать нападки со стороны прессы.", + "При этом за границей представители американской власти любили похвастаться своей демократичностью, когда им приходилось давать пресс-конференции в других странах.", + "Так, например, прибыв в Афганистан тогдашний президент США Джордж Буш перед совместной пресс-конференцией с президентом Афганистана Ахмедом Карзаем сказал, что «мы будем отвечать на вопросы в традициях демократического общества».", + "Как отмечается на сайте Белого дома, в первые два года своего президентства Джордж Буш-старший провел всего семь пресс-конференций, его сын Джордж Буш-младший – 56, Билл Клинтон — 7, а Барак Обама провел 21 встречу с прессой.", + "Нынешний хозяин Белого дома Дональд Трамп не большой любитель пресс-конференций и не слишком часто прибегает к этому формату.", + "Он отметил, что за 15 месяцев нахождения в президентском кресле он дал всего лишь одну пресс-конференцию, а из-за отсутствия таких больших полноформатных встреч СМИ становятся более «агрессивными», и журналистам приходится выкрикивать вопросы на ходу.", + "Стоит отметить, что президент США известен тем, что не слишком жалует критически настроенные по отношению к нему издания.", + "Особенно президента США раздражал репортер телекомпании CNN Джим Акоста , который часто задавал Трампу «неудобные» вопросы.", + "Бернштейн также отмечал в своей статье, что журналистам всегда приходится сложно в Белом доме: «Ни официальные пресс-конференции, ни какой-либо другой формат не заставляют президента говорить о том, о чем он не хочет говорить».", + "Тем не менее, он отметил, что, несмотря на все эти проблемы, формат президентских пресс-конференций необходимо сохранить: «Они, по крайней мере, гарантируют, что [президент] будет регулярно сталкиваться с трудными вопросами от независимых репортеров»." + ], + "summary_sents": [ + "65 лет назад президент США Дуайт Эйзенхауэр впервые в мире дал телевизионную пресс-конференцию, совершив своего рода переворот в мире общения глав государств с прессой.", + "Конечно, она прошла не в прямом эфире, и зрители увидели уже слегка отредактированный вариант.", + "Однако это заложило основу для будущего формата, в котором президентов поджидают не самые удобные вопросы.", + "Сегодня в США ситуация меняется — Дональд Трамп не жалует общение с прессой, что делает СМИ более «агрессивными»." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 6, + 8, + 11, + 17, + 18 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Дуайт Эйзенхауэр стал первым президентом США, который дал первую в мире телевизионную пресс-конференцию. Это произошло 19 января 1955 года. Первый касался возможности прекращения военного конфликта между двумя китайскими государствами: КНР и тогдашней Китайской республикой на Тайване, которую в то время признавали США. Президент тогда не стал отвечать конкретно, отметив, однако, необходимость ООН подключиться к переговорному процессу. Следующий вопрос прозвучал так: «Сэр, конгрессмены на Капитолийском холме говорят, что, если им удастся обнаружить копию бюджета, чтобы с ним ознакомиться, они не смогут понять, куда уйдут деньги. Есть ли вам что сказать людям, которые должны голосовать по этому вопросу, на что будут потрачены средства?» Президент Эйзенхауэр не смог скрыть своего раздражения: «Мне кажется, комитеты конгресса созданы для этого», — сказал он и попросил перейти к следующему вопросу. Пресс-конференция проходила накануне второй годовщины инаугурации Эйзенхауэра, поэтому журналисты попросили президента оценить его два года нахождения у власти и рассказать о планах «на вторые два, а, может, и на все шесть лет». «Вопрос несет большую нагрузку», — рассмеялся Эйзенхауэр, чтобы разрядить обстановку, однако потом ответил. В целом, первая телевизионная пресс-конференция американского лидера прошла успешно, и этот опыт было решено продолжить. Сама пресс-конференция продлилась 33 минуты, однако в эфир попала уже отредактированная до 28 минут запись. С тех пор президенты США несколько раз в год проводили большие пресс-конференции, которые давали возможность задать вопросы не только старожилам из пула журналистов Белого дома, но и другим желающим. Сегодня такой формат общения главы государства с журналистами, как пресс-конференция, уже никого не удивляет, но для любого — даже самого подготовленного политика, они таят немало подводных камней. Заранее вопросы репортеров они не знали, однако сделать так, чтобы «неудобных» вопросов было как можно меньше, стало главной задачей пресс-секретаря, который давал слово тем или иным журналистам. Правда, делать это нужно было с умом, поскольку злоупотребление правами пресс-секретаря могло вызвать нападки со стороны прессы. При этом за границей представители американской власти любили похвастаться своей демократичностью, когда им приходилось давать пресс-конференции в других странах. Так, например, прибыв в Афганистан тогдашний президент США Джордж Буш перед совместной пресс-конференцией с президентом Афганистана Ахмедом Карзаем сказал, что «мы будем отвечать на вопросы в традициях демократического общества». Как отмечается на сайте Белого дома, в первые два года своего президентства Джордж Буш-старший провел всего семь пресс-конференций, его сын Джордж Буш-младший – 56, Билл Клинтон — 7, а Барак Обама провел 21 встречу с прессой. Нынешний хозяин Белого дома Дональд Трамп не большой любитель пресс-конференций и не слишком часто прибегает к этому формату. Он отметил, что за 15 месяцев нахождения в президентском кресле он дал всего лишь одну пресс-конференцию, а из-за отсутствия таких больших полноформатных встреч СМИ становятся более «агрессивными», и журналистам приходится выкрикивать вопросы на ходу. Стоит отметить, что президент США известен тем, что не слишком жалует критически настроенные по отношению к нему издания. Особенно президента США раздражал репортер телекомпании CNN Джим Акоста , который часто задавал Трампу «неудобные» вопросы. Бернштейн также отмечал в своей статье, что журналистам всегда приходится сложно в Белом доме: «Ни официальные пресс-конференции, ни какой-либо другой формат не заставляют президента говорить о том, о чем он не хочет говорить». Тем не менее, он отметил, что, несмотря на все эти проблемы, формат президентских пресс-конференций необходимо сохранить: «Они, по крайней мере, гарантируют, что [президент] будет регулярно сталкиваться с трудными вопросами от независимых репортеров».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 827, + "generated_len": [ + 151 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.33962264150943394, + "rouge2": 0.13461538461538464 + }, + "predict": " До чемпионата Европы-2012 в Польше остается менее трех месяцев. В Варшаве, столице страны, активно готовится к мероприятиям, включая организацию Зоны болельщиков вокруг Дворца культуры и науки. Ожидается, что в городе появятся тысячи российских болельщиков, которые смогут насладиться трансляциями матчей на больших экранах и пообщаться с единомышленниками за стаканчиком пива. Варшава также предлагает гостям разнообразные культурные и кулинарные развлечения, что делает поездку на Евро-2012 еще более привлекательной для любителей футбола и гастрономии.", + "sample": { + "src_sents": [ + "До начала Евро-2012 остается немногим более трех месяцев.", + "То время, когда пошел обратный отсчет, когда каждый день делает чемпионат ощутимо ближе, уже наступило.", + "Пора подчищать мелкие недоработки и наводить предстартовый лоск.", + "Чем и занимаются нынче в Польше – одной из двух стран, где пройдет европейское первенство.", + "Прекрасная Варшава без ума от футбола, в чем честно признается на многочисленных билбордах.", + "Устроители Евро-2012 ожидают в Варшаве от 30 до 50 тысяч российских болельщиков.", + "Вокруг Дворца культуры и науки, который расположен в трех километрах от Национального стадиона, будет организована самая большая в истории чемпионатов Европы Зона болельщиков.", + "Несколько десятков тысяч любителей футбола смогут посмотреть трансляции матчей чемпионата на нескольких больших экранах и пообщаться друг с другом за стаканчиком пива.", + "Помимо чисто футбольных Варшава сможет предложить своим гостям и другие радости.", + "В этом городе можно многое почерпнуть в культурологическом смысле.", + "Любителей вкусно поесть в Варшаве ждет огромное количество точек общепита, что называется, на любой кошелек.", + "Так что российские болельщики-гурманы могут найти еще одну причину для поездки на Евро-2012.", + "Другие результаты, новости и материалы можно посмотреть на странице Евро-2012." + ], + "summary_sents": [ + "В Варшаве ожидают на Евро-2012 от 30 до 50 тысяч российских любителей футбола.", + "Польские организаторы чемпионата предлагают нашим болельщикам множество приятных дополнений к баталиям сборных, а также широкую культурную и кулинарную программу." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 5, + 6, + 7, + 8, + 9, + 10 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: До начала Евро-2012 остается немногим более трех месяцев. То время, когда пошел обратный отсчет, когда каждый день делает чемпионат ощутимо ближе, уже наступило. Пора подчищать мелкие недоработки и наводить предстартовый лоск. Чем и занимаются нынче в Польше – одной из двух стран, где пройдет европейское первенство. Прекрасная Варшава без ума от футбола, в чем честно признается на многочисленных билбордах. Устроители Евро-2012 ожидают в Варшаве от 30 до 50 тысяч российских болельщиков. Вокруг Дворца культуры и науки, который расположен в трех километрах от Национального стадиона, будет организована самая большая в истории чемпионатов Европы Зона болельщиков. Несколько десятков тысяч любителей футбола смогут посмотреть трансляции матчей чемпионата на нескольких больших экранах и пообщаться друг с другом за стаканчиком пива. Помимо чисто футбольных Варшава сможет предложить своим гостям и другие радости. В этом городе можно многое почерпнуть в культурологическом смысле. Любителей вкусно поесть в Варшаве ждет огромное количество точек общепита, что называется, на любой кошелек. Так что российские болельщики-гурманы могут найти еще одну причину для поездки на Евро-2012. Другие результаты, новости и материалы можно посмотреть на странице Евро-2012.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 295, + "generated_len": [ + 151 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3853211009174311, + "rouge2": 0.09345794392523364 + }, + "predict": " Норвежская писательница Эрика Фатланд, исследуя 14 стран, окружающих Россию, пришла к выводу о будущем страны, основываясь на исторических примерах и коррупции. Она предполагает, что Россия, стремясь к расширению, может потерять свою границу через 100 лет, а также называет русских «оппортунистами», сравнивая их с Западом. В то же время, в Восточной Украине начались боевые действия, что добавляет ещё одну сложность в геополитическую ситуацию.", + "sample": { + "src_sents": [ + "Норвежская писательница Эрика Фатланд, которая объехала соседние с Россией страны, написала книгу «Граница» и порассуждала о будущем РФ. Об этом сообщает «ИноСМИ».", + "Женщина объездила 14 государств с целью понять, что можно узнать о России, наблюдая за ней снаружи.", + "Всего 34-летняя писательница находилась в путешествии 259 дней.", + "Она посетила Китай, Северную Корею, Азербайджан, Литву и Грузию.", + "По мнению Фатланд, соседние страны, в основном, относятся к России как к старшему брату — они знают, что она «больше и сильнее».", + "Россияне всегда будут стремиться расширить свою страну и вернуть ей территории, которые входили в ее владения, предположила по итогам своей поездки Эрика Фатланд.", + "«Будущее России основано на истории. Существовало множество империй, и все они всегда распадались. Россия такая большая, и там живет так много разных народов, а государство неэффективно из-за масштабной коррупции и слабой экономики. Я думаю, что Россия будет расширяться, пока не рухнет. Не могу сказать точно, когда это произойдет, но думаю, что через 100 лет граница не будет выглядеть так, как сейчас. Российская граница станет короче», — излагает свои предположения литератор.", + "Кроме того, начались боевые действия в Восточной Украине.", + "Норвежка назвала русских «оппортунистами» — по ее мнению, жители России следуют правилам игры в меньшей степени, нежели страны Запада." + ], + "summary_sents": [ + "Писательница из Норвегии Эрика Фатланд, которая посетила 14 граничащих с Россией стран, порассуждала о будущем страны в своей книге.", + "Она заявила, что россияне всегда будут стремиться расширить свою страну и вернуть принадлежащие ей когда-то территории.", + "Однако, по мнению норвежки, через 100 лет российская граница станет короче." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Норвежская писательница Эрика Фатланд, которая объехала соседние с Россией страны, написала книгу «Граница» и порассуждала о будущем РФ. Об этом сообщает «ИноСМИ». Женщина объездила 14 государств с целью понять, что можно узнать о России, наблюдая за ней снаружи. Всего 34-летняя писательница находилась в путешествии 259 дней. Она посетила Китай, Северную Корею, Азербайджан, Литву и Грузию. По мнению Фатланд, соседние страны, в основном, относятся к России как к старшему брату — они знают, что она «больше и сильнее». Россияне всегда будут стремиться расширить свою страну и вернуть ей территории, которые входили в ее владения, предположила по итогам своей поездки Эрика Фатланд. «Будущее России основано на истории. Существовало множество империй, и все они всегда распадались. Россия такая большая, и там живет так много разных народов, а государство неэффективно из-за масштабной коррупции и слабой экономики. Я думаю, что Россия будет расширяться, пока не рухнет. Не могу сказать точно, когда это произойдет, но думаю, что через 100 лет граница не будет выглядеть так, как сейчас. Российская граница станет короче», — излагает свои предположения литератор. Кроме того, начались боевые действия в Восточной Украине. Норвежка назвала русских «оппортунистами» — по ее мнению, жители России следуют правилам игры в меньшей степени, нежели страны Запада.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 329, + "generated_len": [ + 151 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.20253164556962022, + "rouge2": 0.025974025974025972 + }, + "predict": " Владимир Путин и Александр Лукашенко провели в Сочи переговоры о развитии Союзного государства, подчеркнув важность диалога и анализа достигнутых результатов. Оба лидера выразили обеспокоенность судьбой союза после их ухода с должностей, обсуждая, как его преемники могут продолжить политику. Путин акцентировал, что полное суверенитета в мире не существует, приводя пример европейской интеграции.", + "sample": { + "src_sents": [ + "Президент России Владимир Путин и его белорусский коллега Александр Лукашенко провели в Сочи серию переговоров.", + "По итогам заключительного раунда переговоров Путин рассказал, как государства намерены развивать интеграцию в рамках Союзного государства.", + "«Мы тоже должны в спокойном режиме, диалоге, в дружеском режиме понять, где в рамках Союзного государства мы можем двигаться вперед… Мы договорились с президентом Белоруссии, что мы проанализируем все, что было сделано в последнее время. Сверим часы по этой интеграционной повестке, имея ввиду даже то обстоятельство, что параллельно развиваются и другие интеграционные процессы, в том числе и ЕврАзЭС», — сказал он (цитата по ТАСС ).", + "Александр Лукашенко признался, что их с Путиным волнует судьба союзного государства после их ухода с высших постов.", + "«Мы откровенно друг другу говорим, что мы не вечные, мы когда-то уйдем. Что оставим нашим детям? Как они продолжат нашу политику? Это тоже нас как политиков не может не волновать», — заявил Лукашенко.", + "«Зачем нам поднимать вопросы суверенитета России и Белоруссии? Это икона, это святое… Мы исходим из того, что сегодня есть два государства», — сказал он.", + "По его словам, лидеры двух стран готовы настолько «идти по пути объединения», насколько к этому готовы жители государств.", + "«Мы готовы настолько идти далеко в единении, объединении наших усилий, государств и народов, насколько вы готовы. Слушайте, мы завтра можем объединиться, у нас проблем нет, но готовы ли вы, россияне и белорусы, на это?» — спросил президент Белоруссии на пресс-конференции.", + "Владимир Путин подчеркнул, что «полностью независимых государств в мире не существует».", + "Путин привел в пример европейские страны.", + "«Там Европарламент принимает для исполнения всеми его членами решений больше, чем Верховный совет СССР в свое время принимал таких решений для союзных республик», — указал он." + ], + "summary_sents": [ + "Президент Белоруссии Александр Лукашенко заявил, что суверенитет Белоруссии и России — «это святое, это икона».", + "Однако выразил готовность идти в объединении настолько далеко, насколько готовы народы обеих стран." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 5, + 7 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Президент России Владимир Путин и его белорусский коллега Александр Лукашенко провели в Сочи серию переговоров. По итогам заключительного раунда переговоров Путин рассказал, как государства намерены развивать интеграцию в рамках Союзного государства. «Мы тоже должны в спокойном режиме, диалоге, в дружеском режиме понять, где в рамках Союзного государства мы можем двигаться вперед… Мы договорились с президентом Белоруссии, что мы проанализируем все, что было сделано в последнее время. Сверим часы по этой интеграционной повестке, имея ввиду даже то обстоятельство, что параллельно развиваются и другие интеграционные процессы, в том числе и ЕврАзЭС», — сказал он (цитата по ТАСС ). Александр Лукашенко признался, что их с Путиным волнует судьба союзного государства после их ухода с высших постов. «Мы откровенно друг другу говорим, что мы не вечные, мы когда-то уйдем. Что оставим нашим детям? Как они продолжат нашу политику? Это тоже нас как политиков не может не волновать», — заявил Лукашенко. «Зачем нам поднимать вопросы суверенитета России и Белоруссии? Это икона, это святое… Мы исходим из того, что сегодня есть два государства», — сказал он. По его словам, лидеры двух стран готовы настолько «идти по пути объединения», насколько к этому готовы жители государств. «Мы готовы настолько идти далеко в единении, объединении наших усилий, государств и народов, насколько вы готовы. Слушайте, мы завтра можем объединиться, у нас проблем нет, но готовы ли вы, россияне и белорусы, на это?» — спросил президент Белоруссии на пресс-конференции. Владимир Путин подчеркнул, что «полностью независимых государств в мире не существует». Путин привел в пример европейские страны. «Там Европарламент принимает для исполнения всеми его членами решений больше, чем Верховный совет СССР в свое время принимал таких решений для союзных республик», — указал он.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 406, + "generated_len": [ + 151 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.35955056179775285, + "rouge2": 0.09195402298850573 + }, + "predict": " В четверг, 28 ноября, ожидается ледяной дождь в Москве и Московской области, вызванный влажным и теплым воздухом с Черного моря. Этот атмосферный фронт приведет к переменной погоде с небольшими осадками и снегопадом до вторника. В связи с этим, автомобилистам рекомендуется быть особенно внимательными на дорогах, особенно в условиях гололедицы, и своевременно менять резину на зимнюю.", + "sample": { + "src_sents": [ + "В четверг Москву и Подмосковье может накрыть ледяной дождь, дороги и тротуары могут покрыться плотной коркой льда.", + "Такой дождь может вызвать теплый атмосферный фронт, наступающий на столичный регион с Черного моря.", + "«Это очень влажный, насыщенный водяным паром и черноморским теплом воздух. Очень слабые, очаговые осадки в виде снега начнут вечером переходить в смешанную фазу и ледяной дождь», – заявил синоптик.", + "Согласно прогнозу, черноморский фронт подойдет к южным границам Московской области днем четверга, 28 ноября.", + "Кроме того, с воскресенья и до вторника в Москве будет сохраняться погода без осадков, ожидается переменная облачность.", + "В грядущую среду небо затянет облаками, местам ожидается небольшой снег.", + "Ранее Исполняющий обязанности главы Гидрометцентра Роман Вильфанд заявил, что в средине следующей недели ожидается облачная погода, а к концу недели выпадет мокрый снег.", + "Приход климатической зимы особо заденет автомобилистов.", + "Ранее в ГИБДД обратились к водителям с просьбой внимательно следить за прогнозом погоды и в случае гололедицы на этой неделе выезжать на работу раньше, поскольку в такую погоду пробки на дорогах становятся серьезнее.", + "К тому же, отметили в госавтоинспекции , пришла пора менять резину на зимнюю." + ], + "summary_sents": [ + "Ледяной дождь накроет Москву в четверг, заявили синоптики.", + "Из-за теплых и влажных воздушных масс с Черного моря дороги на юге и востоке столицы могут покрыться прочной коркой льда.", + "Серьезного снегопада пока не ожидается." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 5 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В четверг Москву и Подмосковье может накрыть ледяной дождь, дороги и тротуары могут покрыться плотной коркой льда. Такой дождь может вызвать теплый атмосферный фронт, наступающий на столичный регион с Черного моря. «Это очень влажный, насыщенный водяным паром и черноморским теплом воздух. Очень слабые, очаговые осадки в виде снега начнут вечером переходить в смешанную фазу и ледяной дождь», – заявил синоптик. Согласно прогнозу, черноморский фронт подойдет к южным границам Московской области днем четверга, 28 ноября. Кроме того, с воскресенья и до вторника в Москве будет сохраняться погода без осадков, ожидается переменная облачность. В грядущую среду небо затянет облаками, местам ожидается небольшой снег. Ранее Исполняющий обязанности главы Гидрометцентра Роман Вильфанд заявил, что в средине следующей недели ожидается облачная погода, а к концу недели выпадет мокрый снег. Приход климатической зимы особо заденет автомобилистов. Ранее в ГИБДД обратились к водителям с просьбой внимательно следить за прогнозом погоды и в случае гололедицы на этой неделе выезжать на работу раньше, поскольку в такую погоду пробки на дорогах становятся серьезнее. К тому же, отметили в госавтоинспекции , пришла пора менять резину на зимнюю.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 308, + "generated_len": [ + 151 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.35036496350364965, + "rouge2": 0.08888888888888889 + }, + "predict": " Обозреватель The Hill Джефф Хоун утверждает, что Москва и Пекин могут сформировать альянс для противостояния Западу и НАТО, опровергая мнение о том, что эти страны не смогут создать прочный союз из-за территориальных споров и исторических разногласий. Хоун указывает на совместные учения и экономические инициативы как на признаки укрепления российско-китайских отношений, которые, по его мнению, будут укреплять альянс. В то же время, Александр Ларин, ведущий научный сотрудник Института Дальнего Востока РАН, оспаривает возможность создания между Россией и Китаем военно-политического союза против США, указывая на их взаимное стремление к глобальному доминированию.", + "sample": { + "src_sents": [ + "Обозреватель американского издания The Hill Джефф Хоун предположил, что Москва и Пекин могут формировать союз для противостояния США и НАТО , передает ФАН.", + "По его мнению, Запад явно недооценивает российско-китайские отношения, полагая, что две страны не смогут создать прочный союз.", + "Западные государства, как отметил журналист, объясняют свою позицию территориальными спорами, соперничеством в Центральной Азии и некой «исторически сложившейся взаимной враждебностью» между Россией и Китаем.", + "Хоун напомнил, что территориальные разногласия между странами начались еще в XVII веке.", + "Бывшие империи Россия и Китай, по мнению журналиста, считают себя «жертвами игр западных государств» и хотят свергнуть мировое господство США.", + "Хоун полагает, что уже сейчас видны совместные шаги обоих государств к сотрудничеству.", + "В качестве примера он привел учения «Восток-2018», а также желание увеличить инвестиции и совместные проекты по экономическому развитию.", + "Он призвал Запад обратить внимание на этот союз и подчеркнул, что нарастающая враждебность Вашингтона по отношению к Москве и Пекину будет только укреплять российско-китайское сотрудничество.", + "В то же время ведущий научный сотрудник Института Дальнего Востока РАН Александр Ларин заявил НСН о невозможности создания между Россией и Китаем военно-политического союза против США." + ], + "summary_sents": [ + "Россия и Китай могут создать военно-политический союз, направленный на противостояние США и НАТО, считают в издании The Hill.", + "По мнению журналистов, Запад недооценивает перспективность отношений двух стран, а Россия и Китая несмотря на противоречия могут объединиться для достижения общей цели — свержения гегемонии США." + ], + "support_labels": [ + "NO", + "YES" + ], + "extractive_summary": [ + 1, + 4, + 5 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Обозреватель американского издания The Hill Джефф Хоун предположил, что Москва и Пекин могут формировать союз для противостояния США и НАТО , передает ФАН. По его мнению, Запад явно недооценивает российско-китайские отношения, полагая, что две страны не смогут создать прочный союз. Западные государства, как отметил журналист, объясняют свою позицию территориальными спорами, соперничеством в Центральной Азии и некой «исторически сложившейся взаимной враждебностью» между Россией и Китаем. Хоун напомнил, что территориальные разногласия между странами начались еще в XVII веке. Бывшие империи Россия и Китай, по мнению журналиста, считают себя «жертвами игр западных государств» и хотят свергнуть мировое господство США. Хоун полагает, что уже сейчас видны совместные шаги обоих государств к сотрудничеству. В качестве примера он привел учения «Восток-2018», а также желание увеличить инвестиции и совместные проекты по экономическому развитию. Он призвал Запад обратить внимание на этот союз и подчеркнул, что нарастающая враждебность Вашингтона по отношению к Москве и Пекину будет только укреплять российско-китайское сотрудничество. В то же время ведущий научный сотрудник Института Дальнего Востока РАН Александр Ларин заявил НСН о невозможности создания между Россией и Китаем военно-политического союза против США.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 291, + "generated_len": [ + 151 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3833333333333333, + "rouge2": 0.1694915254237288 + }, + "predict": " Солдат Рамиль Шамсутдинов, расстрелявший восьмерых сослуживцев в Забайкальском крае, арестован по решению военного суда. Обвиняется в убийстве по статье 105 УК РФ. Согласно официальной версии следствия, причиной послужил нервный срыв, связанный с личными обстоятельствами в жизни солдата. В качестве свидетелей обвинения называются издевательства над призывниками и поведение старшего лейтенанта Пьянкова. Семья Шамсутдинова была известна своим серьезным воспитанием, что противоречит версии о его психическом расстройстве.", + "sample": { + "src_sents": [ + "Солдат-срочник Рамиль Шамсутдинов, расстрелявший восьмерых сослуживцев в войсковой части в Забайкальском крае, арестован по решению Читинского гарнизонного военного суда.", + "Об этом сообщает РИА «Новости» со ссылкой на помощника судьи.", + "По информации агентства, суд вынес решение еще в воскресенье.", + "«…в отношении рядового Шамсутдинова избрана мера пресечения в виде заключения под стражу на два месяца», — сказала помощник.", + "20-летнему молодому человеку было предъявлено обвинение по статье 105 УК РФ «Убийство двух и более лиц» — по ней ему грозит срок заключения вплоть до пожизненного.", + "Согласно официальному заявлению Минобороны , в качестве основной версии следствие рассматривает нервный срыв, который случился из-за личных, не связанных со службой обстоятельств в жизни солдата.", + "Так, по словам бывшего служащего воинской части 54160, где произошла трагедия, один из убитых был известен своими издевками над некоторыми призывниками и умением довести их до тяжелого психологического состояния.", + "«Я предполагаю, что это связано со старшим лейтенантом Данилом Пьянковым. Во время моей службы несколько лет назад, когда мы шли в караул, он постоянно требовал, чтобы мы ему купили что-то поесть. Он постоянно всех унижал, он был [нецензурная брань], по-другому его не могу назвать», — указал бывший солдат-срочник.", + "Как отмечают жители села Вагай, в котором рос Шамсутдинов, воспитание мальчика было серьезным — за этим следила семья, большинство членов который были сотрудниками правоохранительных органов." + ], + "summary_sents": [ + "Читинский гарнизонный военный суд арестовал на два месяца солдата-срочника, расстрелявшего восьмерых сослуживцев в воинской части в Забайкальском крае.", + "Ему предъявлено обвинение по статье, допускающей пожизненное заключение.", + "Согласно предварительной версии, причиной трагедии мог стать нервный срыв у солдата.", + "В настоящий момент молодому человеку уже назначена психолого-психиатрическая экспертиза, которая выявит его психическое состояние на момент расстрела." + ], + "support_labels": [ + "YES", + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 3, + 4, + 5 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Солдат-срочник Рамиль Шамсутдинов, расстрелявший восьмерых сослуживцев в войсковой части в Забайкальском крае, арестован по решению Читинского гарнизонного военного суда. Об этом сообщает РИА «Новости» со ссылкой на помощника судьи. По информации агентства, суд вынес решение еще в воскресенье. «…в отношении рядового Шамсутдинова избрана мера пресечения в виде заключения под стражу на два месяца», — сказала помощник. 20-летнему молодому человеку было предъявлено обвинение по статье 105 УК РФ «Убийство двух и более лиц» — по ней ему грозит срок заключения вплоть до пожизненного. Согласно официальному заявлению Минобороны , в качестве основной версии следствие рассматривает нервный срыв, который случился из-за личных, не связанных со службой обстоятельств в жизни солдата. Так, по словам бывшего служащего воинской части 54160, где произошла трагедия, один из убитых был известен своими издевками над некоторыми призывниками и умением довести их до тяжелого психологического состояния. «Я предполагаю, что это связано со старшим лейтенантом Данилом Пьянковым. Во время моей службы несколько лет назад, когда мы шли в караул, он постоянно требовал, чтобы мы ему купили что-то поесть. Он постоянно всех унижал, он был [нецензурная брань], по-другому его не могу назвать», — указал бывший солдат-срочник. Как отмечают жители села Вагай, в котором рос Шамсутдинов, воспитание мальчика было серьезным — за этим следила семья, большинство членов который были сотрудниками правоохранительных органов.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 353, + "generated_len": [ + 160 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.46511627906976744, + "rouge2": 0.16666666666666669 + }, + "predict": " Полузащитник московского ЦСКА Алан Дзагоев, 28 лет, близок к уходу из команды по окончании текущего сезона из-за невыходящих условий нового контракта и предложения о восстановлении после травмы, полученной в феврале. Руководство клуба предлагало ему восстановление за свой счет, однако условия не устроили игрока и его агентов, которые настаивали на более высокой зарплате.", + "sample": { + "src_sents": [ + "Полузащитник московского ЦСКА Алан Дзагоев близок уходу из клуба.", + "По информации Sport Inside, 28-летний хавбек покинет стан армейцев по окончании текущего сезона по истечении контракта.", + "Как отмечает источник, руководство красно-синих предложило игроку новое соглашение, однако его условия не устроили Дзагоева и его агентов.", + "Согласно им, зарплата российского хавбека понизилась бы до уровня игрока дубля.", + "Sport Inside утверждает, что руководство клуба предложило игроку восстанавливаться после травмы, которую Дзагоев получил в феврале, за собственный счет.", + "ЦСКА тот матч выиграл со счетом 3:1.", + "В последние года Дзагоев часто страдает из-за травм." + ], + "summary_sents": [ + "Полузащитник ЦСКА Алан Дзагоев близок к уходу из клуба.", + "Экс-хавбека сборной России не устроил новый контракт, предложенный ему руководством красно-синих.", + "По информации источника, 28-летний игрок мог сильно потерять в зарплате." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2, + 3 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Полузащитник московского ЦСКА Алан Дзагоев близок уходу из клуба. По информации Sport Inside, 28-летний хавбек покинет стан армейцев по окончании текущего сезона по истечении контракта. Как отмечает источник, руководство красно-синих предложило игроку новое соглашение, однако его условия не устроили Дзагоева и его агентов. Согласно им, зарплата российского хавбека понизилась бы до уровня игрока дубля. Sport Inside утверждает, что руководство клуба предложило игроку восстанавливаться после травмы, которую Дзагоев получил в феврале, за собственный счет. ЦСКА тот матч выиграл со счетом 3:1. В последние года Дзагоев часто страдает из-за травм.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 171, + "generated_len": [ + 160 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3595505617977528, + "rouge2": 0.11494252873563217 + }, + "predict": " В фильме «Убийство в Восточном экспрессе» (2017) Кеннет Брана в роли Эркюля Пуаро, знаменитого бельгийского сыщика, погружается в захватывающий сюжет, связанный с поездом, полным загадок и опасных приключений. Фильм сочетает в себе элементы стимпанк-триллера и капустника, а также возвращает нас к классическим мотивам Агаты Кристи, делая акцент на динамичность и авантюризм, характерные для современной интерпретации знаменитого романа.", + "sample": { + "src_sents": [ + "Устроив комическое шоу с разоблачением преступника прямо у Стены Плача, бельгийский сыщик экстра-класса Эркюль Пуаро ( Кеннет Брана ) отправляется в Стамбул, чтобы сесть там в «Восточный экспресс», который отвезет его на заслуженный отдых.", + "Серым клеточкам мозга нужен отдых, но покой великому перфекционисту только снится: у случайных попутчиков сбиты галстуки, а поезд переполнен.", + "К счастью Пуаро знаком с директором железнодорожной компании, которой принадлежит экспресс, и все же попадает в свободное купе.", + "Пассажиры внушают сыщику любопытство и тревогу.", + "Все они здесь явно не просто так, а мистер Рэтчетт ( Джонни Депп ) еще и получает анонимные угрозы по пути следования, в связи с чем просит Пуаро стать его телохранителем за солидное вознаграждение.", + "В нынешнем сезоне экранизации Агаты Кристи вдруг без предупреждения снова вошли в моду.", + "У «Убийства в Восточном экспрессе», с какой стороны ни посмотри, шансов куда больше.", + "Во-вторых, очередное возвращение зловещего сюжета на экран осуществлено с внушительным размахом, а рекламная кампания подает фильм как что-то среднее между стимпанк-триллером и капустником с участием любимых артистов.", + "Для разрешения этой загвоздки в режиссерское кресло был приглашен Кеннет Брана — чистосердечный фанат Уильяма Шекспира , мастер работы с классической драматургией, прошедший при этом школу постановщика блокбастеров на первом «Торе» и «Джеке Райане».", + "Нет ничего удивительного и в том, что Брана отдал себе главную роль — такого Пуаро мы, пожалуй, еще действительно не видели, и вряд ли кто-то справился бы с поставленной задачей лучше.", + "Британец превратил бельгийского сыщика во кого-то вроде супергероя, роль костюма для которого выполняют знаменитые усы.", + "Сценарист Майкл Грин («Логан», «Бегущий по лезвию 2049»), видимо, понимая, что застегнутая на все пуговицы экранизация романа мало кому нужна, придал происходящему на экране сильный авантюрный оттенок.", + "Вместо работы серых клеточек и строгой атмосферы предвоенной Европы, здесь кипят нешуточные страсти, а главный герой мучается сомнениями и даже участвует в перестрелке.", + "Кадр из фильма «Убийство в Восточном экспрессе» (2017) Режиссер всякий раз не в силах совладать с шекспировскими амбициями, и потому ближе к финалу Пуаро произносит длинный монолог, обращенный к фотографии возлюбленной, а кульминация и вовсе напоминает чуть ли не «Короля Лира».", + "Так что пожелаем Пуаро Браны удачной «Смерти на Ниле» — судя по финалу «Убийства», следующим его делом должна стать именно она." + ], + "summary_sents": [ + "В российский прокат выходит «Убийство в Восточном экспрессе» Кеннета Браны — занятное переосмысление классического романа Агаты Кристи, похоже на супергеройский стимпанк-блокбастер с шекспировскими мотивами и целой россыпью звезд первой величины." + ], + "support_labels": [ + "YES" + ], + "extractive_summary": [ + 5, + 6, + 9, + 10, + 12, + 13 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Устроив комическое шоу с разоблачением преступника прямо у Стены Плача, бельгийский сыщик экстра-класса Эркюль Пуаро ( Кеннет Брана ) отправляется в Стамбул, чтобы сесть там в «Восточный экспресс», который отвезет его на заслуженный отдых. Серым клеточкам мозга нужен отдых, но покой великому перфекционисту только снится: у случайных попутчиков сбиты галстуки, а поезд переполнен. К счастью Пуаро знаком с директором железнодорожной компании, которой принадлежит экспресс, и все же попадает в свободное купе. Пассажиры внушают сыщику любопытство и тревогу. Все они здесь явно не просто так, а мистер Рэтчетт ( Джонни Депп ) еще и получает анонимные угрозы по пути следования, в связи с чем просит Пуаро стать его телохранителем за солидное вознаграждение. В нынешнем сезоне экранизации Агаты Кристи вдруг без предупреждения снова вошли в моду. У «Убийства в Восточном экспрессе», с какой стороны ни посмотри, шансов куда больше. Во-вторых, очередное возвращение зловещего сюжета на экран осуществлено с внушительным размахом, а рекламная кампания подает фильм как что-то среднее между стимпанк-триллером и капустником с участием любимых артистов. Для разрешения этой загвоздки в режиссерское кресло был приглашен Кеннет Брана — чистосердечный фанат Уильяма Шекспира , мастер работы с классической драматургией, прошедший при этом школу постановщика блокбастеров на первом «Торе» и «Джеке Райане». Нет ничего удивительного и в том, что Брана отдал себе главную роль — такого Пуаро мы, пожалуй, еще действительно не видели, и вряд ли кто-то справился бы с поставленной задачей лучше. Британец превратил бельгийского сыщика во кого-то вроде супергероя, роль костюма для которого выполняют знаменитые усы. Сценарист Майкл Грин («Логан», «Бегущий по лезвию 2049»), видимо, понимая, что застегнутая на все пуговицы экранизация романа мало кому нужна, придал происходящему на экране сильный авантюрный оттенок. Вместо работы серых клеточек и строгой атмосферы предвоенной Европы, здесь кипят нешуточные страсти, а главный герой мучается сомнениями и даже участвует в перестрелке. Кадр из фильма «Убийство в Восточном экспрессе» (2017) Режиссер всякий раз не в силах совладать с шекспировскими амбициями, и потому ближе к финалу Пуаро произносит длинный монолог, обращенный к фотографии возлюбленной, а кульминация и вовсе напоминает чуть ли не «Короля Лира». Так что пожелаем Пуаро Браны удачной «Смерти на Ниле» — судя по финалу «Убийства», следующим его делом должна стать именно она.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 625, + "generated_len": [ + 160 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.411214953271028, + "rouge2": 0.13333333333333333 + }, + "predict": " Денис Пушилин, глава самопровозглашенной Донецкой Народной Республики, заявил о стремлении к максимальной интеграции в российское пространство, предлагая вхождение региона в состав России на правах федерального округа. Однако, член Госдумы Константин Затулин считает, что такая идея пока неактуальна из-за минских соглашений, которые не предусматривают подобного. Игорь Гиркин, бывший министр обороны ДНР, резко прокомментировал заявление Пушилина, подчеркивая, что ДНР и ЛНР остаются частью Украины при соблюдении определенных условий.", + "sample": { + "src_sents": [ + "Глава самопровозглашенной Донецкой народной республики (ДНР) Денис Пушилин заявил, что главной целью ДНР является максимальная интеграция в российское пространство.", + "Идеальным вариантом он назвал вхождение региона в состав России на правах федерального округа, указано на его сайте.", + "Комментируя его слова, член комитета Госдумы по делам СНГ и связям с соотечественниками Константин Затулин отметил, что осуществление такой идеи «пока неактуально».", + "«На мой взгляд, это пока неактуально, учитывая, что мы стоим на почве минских соглашений, а они этого не предусматривают», — сказал Затулин ФАН.", + "Он обратил внимание, что, чем дольше Украина не выполняет минские соглашения, тем ближе «точка невозврата» республик Донбасса в ее политическое пространство.", + "Как напомнил депутат, на официальном уровне Москва исходит из того, что при соблюдении определенного статуса республик Донбасса, амнистии, наличии прямых контактов и связей с Россией, ДНР и самопровозглашенная Луганская народная республика (ЛНР) остаются частью Украины.", + "Куда более резко заявления Пушилина прокомментировал бывший министр обороны ДНР Игорь Гиркин (Стрелков)." + ], + "summary_sents": [ + "Главной целью самопровозглашенной ДНР является максимальная интеграция в российское пространство, а в идеале — вхождение республики в состав РФ, заявил глава ДНР Денис Пушилин.", + "Его заявление без энтузиазма встретили в Москве.", + "В Госдуме отметили, что говорить об этом пока неактуально." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 3 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Глава самопровозглашенной Донецкой народной республики (ДНР) Денис Пушилин заявил, что главной целью ДНР является максимальная интеграция в российское пространство. Идеальным вариантом он назвал вхождение региона в состав России на правах федерального округа, указано на его сайте. Комментируя его слова, член комитета Госдумы по делам СНГ и связям с соотечественниками Константин Затулин отметил, что осуществление такой идеи «пока неактуально». «На мой взгляд, это пока неактуально, учитывая, что мы стоим на почве минских соглашений, а они этого не предусматривают», — сказал Затулин ФАН. Он обратил внимание, что, чем дольше Украина не выполняет минские соглашения, тем ближе «точка невозврата» республик Донбасса в ее политическое пространство. Как напомнил депутат, на официальном уровне Москва исходит из того, что при соблюдении определенного статуса республик Донбасса, амнистии, наличии прямых контактов и связей с Россией, ДНР и самопровозглашенная Луганская народная республика (ЛНР) остаются частью Украины. Куда более резко заявления Пушилина прокомментировал бывший министр обороны ДНР Игорь Гиркин (Стрелков).<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 255, + "generated_len": [ + 160 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.23300970873786406, + "rouge2": 0.03960396039603961 + }, + "predict": " В матче Лиги чемпионов 2023 года между «Селтиком» и «Спартаком» красно-белые сумели отыграться после пропущенного в первом тайме пенальти, благодаря мастерству полузащитника Эйдена Макгиди и голам Эменике и Ари. Несмотря на уверенный старт спартаковцев, «Селтик» сумел переломить ход игры, выиграв со счетом 3:2. Этот матч стал для «Селтика» неожиданным успехом, а для «Спартака» — вторым поражением подряд в Лиге чемпионов.", + "sample": { + "src_sents": [ + "В 2007 году «Селтик» красно-белых одолел (правда, лишь при помощи пенальти – противостояние пятилетней давности было крайне эпичным).", + "В общем, неудобный он соперник для наших команд.", + "Однако наставник «Селтика», рыжеволосый Нил Леннон , накануне заявил, что фаворит – «Спартак» , а российский футбол гораздо сильнее шотландского. Словом, прибеднялся.", + "Полузащитника «Спартака» Эйдена Макгиди, в прошлом – лидера «Селтика», Леннон засыпал комплиментами.", + "Спартаковцы не блистали, но и статистами не выглядели.", + "Наиболее подходящее словосочетание – играли нормально.", + "Зато с самоотдачей проблем не было.", + "В итоге в конце тайма они восстановили паритет.", + "Чельстрем блестяще забросил мяч в штрафную, Ари в касание прострелил вдоль ворот, а Эменике удачно подставил ногу.", + "В дебюте второй половины «Лужники» вновь ликовали: Эменике оформил дубль.", + "«Селтик» оказался в непривычной роли отыгрывающегося.", + "А «Спартаку» пришлось отойти назад, к тому же, в середине тайма красную карточку получил Инсаурральде за «фол последней надежды» в двух метрах от штрафной.", + "В большинстве шотландские футболисты активизировались, рьяно стали нагнетать давление на спартаковскую оборону.", + "И вскоре на табло загорелась вторая двойка.", + "Джеймс Форрест (надо сказать, абсолютно никем не прикрытый) выстрелил с близкого расстояния, Песьяков ногой удар парировал, однако мяч, попав в колено Комбарова, залетел в ворота. А потом напомнил о себе Самарас.", + "Как и три года назад в Химках забил он на 90-й минуте.", + "«Спартак» потерпел второе поражение подряд в Лиге чемпионов.", + "Другие новости и материалы можно посмотреть на странице Лиги чемпионов." + ], + "summary_sents": [ + "Во втором туре группового раунда Лиги чемпионов московский «Спартак» уступил дома «Селтику», ведя по ходу второго тайма со счетом 2:1.", + "Решающий мяч на 90-й минуте забил Георгиос Самарас.", + "Защитник красно-белых Хуан Инсаурральде получил красную карточку во втором тайме." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 7, + 9, + 10, + 11, + 13, + 14, + 15, + 16 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В 2007 году «Селтик» красно-белых одолел (правда, лишь при помощи пенальти – противостояние пятилетней давности было крайне эпичным). В общем, неудобный он соперник для наших команд. Однако наставник «Селтика», рыжеволосый Нил Леннон , накануне заявил, что фаворит – «Спартак» , а российский футбол гораздо сильнее шотландского. Словом, прибеднялся. Полузащитника «Спартака» Эйдена Макгиди, в прошлом – лидера «Селтика», Леннон засыпал комплиментами. Спартаковцы не блистали, но и статистами не выглядели. Наиболее подходящее словосочетание – играли нормально. Зато с самоотдачей проблем не было. В итоге в конце тайма они восстановили паритет. Чельстрем блестяще забросил мяч в штрафную, Ари в касание прострелил вдоль ворот, а Эменике удачно подставил ногу. В дебюте второй половины «Лужники» вновь ликовали: Эменике оформил дубль. «Селтик» оказался в непривычной роли отыгрывающегося. А «Спартаку» пришлось отойти назад, к тому же, в середине тайма красную карточку получил Инсаурральде за «фол последней надежды» в двух метрах от штрафной. В большинстве шотландские футболисты активизировались, рьяно стали нагнетать давление на спартаковскую оборону. И вскоре на табло загорелась вторая двойка. Джеймс Форрест (надо сказать, абсолютно никем не прикрытый) выстрелил с близкого расстояния, Песьяков ногой удар парировал, однако мяч, попав в колено Комбарова, залетел в ворота. А потом напомнил о себе Самарас. Как и три года назад в Химках забил он на 90-й минуте. «Спартак» потерпел второе поражение подряд в Лиге чемпионов. Другие новости и материалы можно посмотреть на странице Лиги чемпионов.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 425, + "generated_len": [ + 160 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3037974683544304, + "rouge2": 0.07792207792207793 + }, + "predict": " 14 августа 2023 года скончался народный артист Белоруссии Николай Михайлович Кириченко, 72-летний актер, известный своими ролями в кино и театре. В последние годы он страдал от серьезных заболеваний, но продолжал активно работать и преподавать. Похороны и гражданская панихида пройдут 16 августа на Восточном кладбище в Минске.", + "sample": { + "src_sents": [ + "На 73-м году жизни скончался народный артист Белоруссии Николай Кириченко.", + "«14 августа ушел из жизни Кириченко Николай Михайлович. Будучи искренним и добрым, он всегда очаровывал своей внимательностью и преданностью. Ему было 72 года. За ним — благодарные ученики и зрители. Светлая память, дорогой и любимый Николай Михайлович!» — говорится в сообщении театра в фейсбуке.", + "Причины смерти Кириченко пока не называются, однако в СМИ пишут, что в последние годы он серьезно болел, при этом продолжая работать в театре и заниматься преподаванием.", + "Как рассказал один из коллег Николая Михайловича, тот работал на съемочной площадке, снимаясь в сериале, даже накануне дня смерти.", + "Похороны, гражданская панихида и прощание с артистом состоятся 16 августа, передает ФАН.", + "Актер будет похоронен на Восточном кладбище в Минске.", + "Николай Кириченко родился 16 марта 1946 года в Минске в семье военного.", + "В конце 60-х он окончил актерский факультет Белорусского театрального-художественного института, где обучался на курсе Д. Орлова.", + "Тогда же он начал работать в Брестском областном театра драмы, но уже спустя пару лет перебрался в театр имени Янки Купалы, впоследствии ставший для актера родным — в нем артист прослужил почти полвека, став в нулевых его директором.", + "Кроме того, Кириченко сумел построить славную карьеру в кинематографе — на его счету участие в более чем 50 фильмах и сериалах, включая знаменитый детектив «Каменская».", + "Отметим, что всего пару дней назад ушел из жизни актер театра «Современник» и «Улицы разбитых фонарей» Анатолий Узденский, в свое время тоже снимавшийся в «Каменской».", + "О кончине 66-летнего артиста рассказали в самом театре." + ], + "summary_sents": [ + "Умер народный артист Белоруссии Николай Кириченко, сыгравший в целом ряде известных фильмов и сериалов, включая детектив «Каменская».", + "Актер также был настоящей звездой театра имени Янки Купалы, в котором трудился почти 50 лет." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 6, + 8, + 9 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: На 73-м году жизни скончался народный артист Белоруссии Николай Кириченко. «14 августа ушел из жизни Кириченко Николай Михайлович. Будучи искренним и добрым, он всегда очаровывал своей внимательностью и преданностью. Ему было 72 года. За ним — благодарные ученики и зрители. Светлая память, дорогой и любимый Николай Михайлович!» — говорится в сообщении театра в фейсбуке. Причины смерти Кириченко пока не называются, однако в СМИ пишут, что в последние годы он серьезно болел, при этом продолжая работать в театре и заниматься преподаванием. Как рассказал один из коллег Николая Михайловича, тот работал на съемочной площадке, снимаясь в сериале, даже накануне дня смерти. Похороны, гражданская панихида и прощание с артистом состоятся 16 августа, передает ФАН. Актер будет похоронен на Восточном кладбище в Минске. Николай Кириченко родился 16 марта 1946 года в Минске в семье военного. В конце 60-х он окончил актерский факультет Белорусского театрального-художественного института, где обучался на курсе Д. Орлова. Тогда же он начал работать в Брестском областном театра драмы, но уже спустя пару лет перебрался в театр имени Янки Купалы, впоследствии ставший для актера родным — в нем артист прослужил почти полвека, став в нулевых его директором. Кроме того, Кириченко сумел построить славную карьеру в кинематографе — на его счету участие в более чем 50 фильмах и сериалах, включая знаменитый детектив «Каменская». Отметим, что всего пару дней назад ушел из жизни актер театра «Современник» и «Улицы разбитых фонарей» Анатолий Узденский, в свое время тоже снимавшийся в «Каменской». О кончине 66-летнего артиста рассказали в самом театре.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 394, + "generated_len": [ + 160 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.27941176470588236, + "rouge2": 0.059701492537313446 + }, + "predict": " В 2019 году россияне стали чаще предпочитать поезда самолетам, что связано с экологическими соображениями. Опрос OneTwoTrip показал, что 80,4% респондентов выбрали поезда из-за их меньшего негативного воздействия на окружающую среду. Более 20% готовы отказаться от авиаперелетов в пользу скоростных поездов, хотя 4,6% опрошенных не верят в серьезность экологических проблем. В Европе, особенно в Скандинавии, где экологические вопросы особенно актуальны, также наблюдается рост популярности поездов. Экологичность поездов, подчеркиваемая активисткой Гретой Тунберг, является ключевым фактором в выборе пассажиров. Однако, несмотря на преимущества поездов, их сеть недостаточно плотная, что ограничивает удобство для дальних поездок.", + "sample": { + "src_sents": [ + "Россияне стали чаще предпочитать поезда самолетам: в 2019 году в 1,5 раза выросла доля ж/д перевозок по сравнению с авиаперелетами по сравнению с прошлым годом, посчитали для «Газеты.Ru» в OneTwoTrip.", + "Как показал опрос OneTwoTrip, для 80,4% россиян аргументом для выбора поезда стало снижение негативного влияния на экологию.", + "59,3% респондентов уже стараются перемещаться на более экологичном транспорте, еще 21,1% тоже готовы сделать выбор в пользу поездов, когда они станут скоростными.", + "Примерно столько же — 19,6% — признались, что не готовы отказываться от перелетов.", + "Большинство их них объяснили это тем, что слишком ценят свое время, чтобы тратить его на долгую дорогу на поезде, 4,6% опрошенных просто не верят в серьезность экологических проблем.", + "Активно отказываться от самолетов в пользу поездов в прошлом году стали в Европе.", + "Несмотря высокие цены на скоростной железнодорожный транспорт, все больше европейцев выбирают именно поезда.", + "Однако у поездов есть еще одно существенное преимущество, на которое яростно обращает внимание шведская активистка Грета Тунберг , — это их экологичность.", + "В Скандинавии привыкли уделять особое внимание вопросам экологии, поэтому еще несколько лет назад в Швеции появилось слово «flygskam», которое дословно можно перевести как «стыд полета».", + "Один из основных недостатков поездов - недостаточно плотная сеть железнодорожного покрытия.", + "Далеко не все крупные европейские города имеют прямое сообщение друг с другом." + ], + "summary_sents": [ + "Популярность поездов у россиян растет.", + "Одной из основных причин для этого стала экологичность ж/д перевозок, согласно опросу онлайн-сервиса OneTwoTrip.", + "Похожая тенденция наблюдается и в Европе, где на экологичность поездов в последнее время активно обращала внимание активистка из Швеции Грета Тунберг." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 7, + 8 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Россияне стали чаще предпочитать поезда самолетам: в 2019 году в 1,5 раза выросла доля ж/д перевозок по сравнению с авиаперелетами по сравнению с прошлым годом, посчитали для «Газеты.Ru» в OneTwoTrip. Как показал опрос OneTwoTrip, для 80,4% россиян аргументом для выбора поезда стало снижение негативного влияния на экологию. 59,3% респондентов уже стараются перемещаться на более экологичном транспорте, еще 21,1% тоже готовы сделать выбор в пользу поездов, когда они станут скоростными. Примерно столько же — 19,6% — признались, что не готовы отказываться от перелетов. Большинство их них объяснили это тем, что слишком ценят свое время, чтобы тратить его на долгую дорогу на поезде, 4,6% опрошенных просто не верят в серьезность экологических проблем. Активно отказываться от самолетов в пользу поездов в прошлом году стали в Европе. Несмотря высокие цены на скоростной железнодорожный транспорт, все больше европейцев выбирают именно поезда. Однако у поездов есть еще одно существенное преимущество, на которое яростно обращает внимание шведская активистка Грета Тунберг , — это их экологичность. В Скандинавии привыкли уделять особое внимание вопросам экологии, поэтому еще несколько лет назад в Швеции появилось слово «flygskam», которое дословно можно перевести как «стыд полета». Один из основных недостатков поездов - недостаточно плотная сеть железнодорожного покрытия. Далеко не все крупные европейские города имеют прямое сообщение друг с другом.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 348, + "generated_len": [ + 160 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2992125984251969, + "rouge2": 0.096 + }, + "predict": " Бывший глава Службы безопасности Украины Игорь Смешко заявил, что украинские вооруженные силы потерпят поражение в конфликтах с российской армией из-за отсутствия военных достижений в военной и экономической сферах. Смешко также отметил, что военный бюджет Украины остается непрозрачным, несмотря на высокие затраты на оборону, в то время как в США военные расходы известны до последнего цента. В то же время, глава Минобороны России Сергей Шойгу выразил уверенность в том, что прямое столкновение между Россией и Украиной невозможно.", + "sample": { + "src_sents": [ + "Украинские вооруженные силы (ВСУ) потерпят поражение в боях с российской армией, заявил бывший глава Службы безопасности Украины ( СБУ ) Игорь Смешко в эфире телеканала «112».", + "Сейчас Украина не может продемонстрировать достижений ни в военной, ни в экономической сферах, добавил отставной сотрудник госбезопасности.", + "Сейчас ВСУ способны «лишь статично держаться» в Донбассе на линии соприкосновения с ополченцами самопровозглашенных ДНР и ЛНР.", + "В теории при наступлении российских Вооруженных сил армия Украины не выстоит, убежден Смешко.", + "По его словам, военный бюджет Украины до сих пор остается «непрозрачным» при весьма высоких затратах на оборонную сферу — более 5% от ВВП.", + "При этом он привел в качестве положительного примера США, где военные траты известны «до последнего цента».", + "В июле 2018 года глава Минобороны РФ Сергей Шойгу заявил, что считает прямое столкновение России и Украины невозможным, сообщает ФАН." + ], + "summary_sents": [ + "Украинская армия будет разбита, если столкнется с российскими Вооруженными силами, убежден экс-глава СБУ Игорь Смешко.", + "По его словам, ВСУ не могут похвастаться успехами ни в военной, ни в экономической сферах.", + "То, что украинские солдаты могут «статично держаться» в Донбассе, не значит, что они «выстоят» при наступлении России, добавил он." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 3 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Украинские вооруженные силы (ВСУ) потерпят поражение в боях с российской армией, заявил бывший глава Службы безопасности Украины ( СБУ ) Игорь Смешко в эфире телеканала «112». Сейчас Украина не может продемонстрировать достижений ни в военной, ни в экономической сферах, добавил отставной сотрудник госбезопасности. Сейчас ВСУ способны «лишь статично держаться» в Донбассе на линии соприкосновения с ополченцами самопровозглашенных ДНР и ЛНР. В теории при наступлении российских Вооруженных сил армия Украины не выстоит, убежден Смешко. По его словам, военный бюджет Украины до сих пор остается «непрозрачным» при весьма высоких затратах на оборонную сферу — более 5% от ВВП. При этом он привел в качестве положительного примера США, где военные траты известны «до последнего цента». В июле 2018 года глава Минобороны РФ Сергей Шойгу заявил, что считает прямое столкновение России и Украины невозможным, сообщает ФАН.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 225, + "generated_len": [ + 160 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4035087719298245, + "rouge2": 0.125 + }, + "predict": " Против оппозиционера Леонида Развозжаева, обвиненного в подготовке к массовым беспорядкам на Болотной площади, возбуждено новое уголовное дело по обвинению в незаконном пересечении границы. Развозжаев приобрел билет на поезд в Киев, используя паспорт своего брата, в связи с проверкой по обвинению в разбое в Ангарске в 1997 году. Родственники оппозиционера указывают на неопределенность относительно того, на чье имя был приобретен билет, и раскрывают сложность идентификации паспорта и документов.", + "sample": { + "src_sents": [ + "Против активиста «Левого фронта» Леонида Развозжаева возбуждено новое уголовное дело.", + "На этот раз находящегося в СИЗО оппозиционера, обвиняемого в подготовке к массовым беспорядкам на Болотной площади 6 мая, подозревают в незаконном пересечении границы (ч. 1 ст. 322 УК).", + "Эта статья предусматривает наказание до двух лет лишения свободы.", + "«Желая ввести правоохранительные органы в заблуждение, Развозжаев приобрел билет на поезд, следовавший в город Киев, воспользовавшись паспортом своего брата, и пересек государственную границу РФ без действительных документов на право выезда из страны», — говорится в заявлении на сайте Следственного комитета (СК).", + "По утверждению СК, Развозжаев решил скрыться от правоохранительных органов, зная о проверке, проводимой в отношении него в связи с фактами, изложенными в фильме НТВ «Анатомия протеста-2».", + "Помимо статьи о подготовке к массовым беспорядкам против Развозжаева было реанимировано дело о разбое в декабре 1997 года в Ангарске, срок давности по которому истекает во вторник.", + "Родственники Развозжаева обращают внимание, что Следственный комитет не раскрывает подробностей того, на чье имя оппозиционер купил билет в Киев.", + "«Следователи не уточняют, у какого именно брата Леонид взял паспорт. У нас пятеро братьев и одна сестра. Я нахожусь за пять тысяч километров в Ангарске, у старшего брата другая фамилия, те двое братьев, что находятся в Москве, говорят, что их паспорта при них и они не покупали на свое имя билеты на Украину», — рассказывает «Газете.Ru» брат Леонида Владимир Развозжаев." + ], + "summary_sents": [ + "В отношении активиста «Левого фронта» Леонида Развозжаева возбуждено очередное уголовное дело, на этот раз следствие обвиняет его в незаконном пересечении границы с Украиной.", + "Развозжаев, находящийся в СИЗО, также является фигурантом дело о подготовке массовых беспорядков и о разбое 1997 года, срок давности по которому заканчивается во вторник." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 5 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Против активиста «Левого фронта» Леонида Развозжаева возбуждено новое уголовное дело. На этот раз находящегося в СИЗО оппозиционера, обвиняемого в подготовке к массовым беспорядкам на Болотной площади 6 мая, подозревают в незаконном пересечении границы (ч. 1 ст. 322 УК). Эта статья предусматривает наказание до двух лет лишения свободы. «Желая ввести правоохранительные органы в заблуждение, Развозжаев приобрел билет на поезд, следовавший в город Киев, воспользовавшись паспортом своего брата, и пересек государственную границу РФ без действительных документов на право выезда из страны», — говорится в заявлении на сайте Следственного комитета (СК). По утверждению СК, Развозжаев решил скрыться от правоохранительных органов, зная о проверке, проводимой в отношении него в связи с фактами, изложенными в фильме НТВ «Анатомия протеста-2». Помимо статьи о подготовке к массовым беспорядкам против Развозжаева было реанимировано дело о разбое в декабре 1997 года в Ангарске, срок давности по которому истекает во вторник. Родственники Развозжаева обращают внимание, что Следственный комитет не раскрывает подробностей того, на чье имя оппозиционер купил билет в Киев. «Следователи не уточняют, у какого именно брата Леонид взял паспорт. У нас пятеро братьев и одна сестра. Я нахожусь за пять тысяч километров в Ангарске, у старшего брата другая фамилия, те двое братьев, что находятся в Москве, говорят, что их паспорта при них и они не покупали на свое имя билеты на Украину», — рассказывает «Газете.Ru» брат Леонида Владимир Развозжаев.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 372, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.34951456310679613, + "rouge2": 0.21782178217821782 + }, + "predict": " Президент США Дональд Трамп отложил введение новых санкций против России после консультаций со своими советниками, выразив недовольство по поводу их официального объявления. Ранее о возможном введении санкций заявила Никки Хейли, однако Трамп не был уверен в их эффективности. Кремль назвал эти шаги США \"международным экономическим рейдерством\", подчеркнув, что санкции не связаны с ситуацией в Сирии или других странах.", + "sample": { + "src_sents": [ + "Президент США Дональд Трамп принял решение отложить введение новых санкций против России после консультации со своими советниками, передает RT со ссылкой на американские СМИ.", + "«Трамп пообщался с советниками по национальной безопасности вечером в воскресенье и сказал им, что расстроен из-за того, что санкции были официально объявлены, потому что у него еще нет уверенности по вопросу их введения», — пишет издание The Washington Post.", + "Ранее о возможном введении новых санкций заявила постпред США в ООН Никки Хейли.", + "По ее словам, Вашингтон должен был объявить о введении новых ограничительных мер в этот понедельник.", + "Она подчеркнула, что санкции коснутся компаний, которые поставляли в Сирию технологии, «способствовавшие развитию «химического оружия», передает ФАН.", + "Сейчас меры только просчитываются и оцениваются, добавила она.", + "Тогда же в Кремле назвали данные шаги США против России «международным экономическим рейдерством».", + "Официальную позицию озвучил пресс-секретарь президента России Дмитрий Песков.", + "По его словам, новые, вводимые США в отношении нашей страны ограничения, никак не связаны с ситуацией в Сирии или любой другой стране мира." + ], + "summary_sents": [ + "США отложили введение новых санкций против России — соответствующее решение принял глава Белого дома Дональд Трамп после консультации со своими советниками по национальной безопасности.", + "Представитель администрации президента США Сара Сандерс указала, что «на текущий момент нечего анонсировать» — ограничительные меры пока только просчитываются и оцениваются." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Президент США Дональд Трамп принял решение отложить введение новых санкций против России после консультации со своими советниками, передает RT со ссылкой на американские СМИ. «Трамп пообщался с советниками по национальной безопасности вечером в воскресенье и сказал им, что расстроен из-за того, что санкции были официально объявлены, потому что у него еще нет уверенности по вопросу их введения», — пишет издание The Washington Post. Ранее о возможном введении новых санкций заявила постпред США в ООН Никки Хейли. По ее словам, Вашингтон должен был объявить о введении новых ограничительных мер в этот понедельник. Она подчеркнула, что санкции коснутся компаний, которые поставляли в Сирию технологии, «способствовавшие развитию «химического оружия», передает ФАН. Сейчас меры только просчитываются и оцениваются, добавила она. Тогда же в Кремле назвали данные шаги США против России «международным экономическим рейдерством». Официальную позицию озвучил пресс-секретарь президента России Дмитрий Песков. По его словам, новые, вводимые США в отношении нашей страны ограничения, никак не связаны с ситуацией в Сирии или любой другой стране мира.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 257, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.2988505747126437, + "rouge2": 0.1411764705882353 + }, + "predict": " Внешэкономбанк предложил Минэкономразвития создать федеральный гарантийный фонд для поддержки кредитов среднему бизнесу, что позволит увеличить объем гарантий до 70 млрд рублей за пять лет. Это решение призвано упростить кредитование, снизить ставки и повысить надежность кредитных договоров, что, в свою очередь, может стимулировать инвестиции в новые проекты и модернизацию производства.", + "sample": { + "src_sents": [ + "Внешэкономбанк ( ВЭБ ) направил в Минэкономразвития предложение о создании федерального гарантийного фонда по кредитам среднему бизнесу, сообщил управляющий директор департамента поддержки малого и среднего предпринимательства ВЭБа Алексей Тернавский в четверг.", + "По словам Тернавского, фонд будет осуществлять поддержку среднего бизнеса по двум направлениям.", + "Во-первых, прямыми гарантиями по кредитам средним предприятиям в размере от 100 млн до 1,5 млрд рублей.", + "Во-вторых, контргарантиями региональным гарантийным фондам.", + "«Объем такого фонда, который повлияет на рынок, должен составлять 10 млрд рублей. Такой фонд позволит за пять лет выдать 70 млрд рублей гарантий», — цитирует «Интерфакс» представителя ВЭБа.", + "Действующие программы ВЭБа не позволяют выдавать кредиты среднему бизнесу: его дочерняя структура МСП-банк ( Российский банк поддержки малого и среднего предпринимательства ) выдает максимальные кредиты в размере 150 млн рублей, сам ВЭБ выдает минимальные кредиты в 1 млрд рублей.", + "«Именно гарантии под кредиты свыше 100 млн — 200, 300, 400 млн — и необходимы среднему бизнесу для инвестиций в новое строительство и модернизацию производства: создание производств по обработке металла, производству черепицы, открытие кондитерских. Этот диапазон и не охвачен гарантиями», — говорит вице-президент инициировавшей создание фонда «Деловой России» Александр Осипов.", + "Бизнесмены надеются, что создание фонда позволит упростить предоставление кредитов.", + "По мнению руководителя Ассоциации российских банков Гарегина Тосуняна, эта мера может помочь снизить ставки по кредитам среднему бизнесу и, соответственно, увечить доступность и объемы предоставляемых средств.", + "ВЭБ может не просто взять на себя часть рисков, но и обеспечить их качественную оценку, и проанализировать гарантии возврата средств, поясняет Тосунян.", + "Создание фонда, безусловно, положительно, поскольку обеспечивает страхование части рисков за счет ВЭБа и, соответственно, повышает надежность кредитных договоров, соглашается исполнительный вице-президент Российского союза промышленников и предпринимателей Александр Мурычев : сейчас банки опасаются выдавать кредит, если срок окупаемости проекта выше года.", + "«Вместе с тем скорого снижения ставок по кредитам (сейчас колеблются в диапазоне 10—20%) ожидать не приходится, — считает Мурычев. — Несмотря на стабильную ставку рефинансирования и беспрецедентно низкий уровень инфляции, банки беспокоятся из-за сложной финансовой ситуации в мире и загрязненного «плохими долгами» баланса, поэтому ставки сейчас скорее растут, чем падают».", + "Согласно документу, правительству до 1 ноября этого года необходимо обеспечить создание механизма предоставления государственных гарантий при осуществлении инвестиционных проектов, «ориентированных в первую очередь на субъектов среднего предпринимательства, действующих в сфере, не связанной с добычей и переработкой полезных ископаемых».", + "Ранее ВЭБ уже договорился с Банком развития Германии (KfW) о создании фонда прямых инвестиций для поддержки малого и среднего предпринимательства." + ], + "summary_sents": [ + "ВЭБ хочет создать федеральный гарантийный фонд по кредитам среднему бизнесу.", + "Господдержку получат кредиты на сумму от 100 млн до 1,5 млрд рублей.", + "Инициативу поддерживают и бизнес, и банки, но говорить о снижении ставок по кредитам не спешат." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 2, + 7, + 11 + ], + "category": "financial" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Внешэкономбанк ( ВЭБ ) направил в Минэкономразвития предложение о создании федерального гарантийного фонда по кредитам среднему бизнесу, сообщил управляющий директор департамента поддержки малого и среднего предпринимательства ВЭБа Алексей Тернавский в четверг. По словам Тернавского, фонд будет осуществлять поддержку среднего бизнеса по двум направлениям. Во-первых, прямыми гарантиями по кредитам средним предприятиям в размере от 100 млн до 1,5 млрд рублей. Во-вторых, контргарантиями региональным гарантийным фондам. «Объем такого фонда, который повлияет на рынок, должен составлять 10 млрд рублей. Такой фонд позволит за пять лет выдать 70 млрд рублей гарантий», — цитирует «Интерфакс» представителя ВЭБа. Действующие программы ВЭБа не позволяют выдавать кредиты среднему бизнесу: его дочерняя структура МСП-банк ( Российский банк поддержки малого и среднего предпринимательства ) выдает максимальные кредиты в размере 150 млн рублей, сам ВЭБ выдает минимальные кредиты в 1 млрд рублей. «Именно гарантии под кредиты свыше 100 млн — 200, 300, 400 млн — и необходимы среднему бизнесу для инвестиций в новое строительство и модернизацию производства: создание производств по обработке металла, производству черепицы, открытие кондитерских. Этот диапазон и не охвачен гарантиями», — говорит вице-президент инициировавшей создание фонда «Деловой России» Александр Осипов. Бизнесмены надеются, что создание фонда позволит упростить предоставление кредитов. По мнению руководителя Ассоциации российских банков Гарегина Тосуняна, эта мера может помочь снизить ставки по кредитам среднему бизнесу и, соответственно, увечить доступность и объемы предоставляемых средств. ВЭБ может не просто взять на себя часть рисков, но и обеспечить их качественную оценку, и проанализировать гарантии возврата средств, поясняет Тосунян. Создание фонда, безусловно, положительно, поскольку обеспечивает страхование части рисков за счет ВЭБа и, соответственно, повышает надежность кредитных договоров, соглашается исполнительный вице-президент Российского союза промышленников и предпринимателей Александр Мурычев : сейчас банки опасаются выдавать кредит, если срок окупаемости проекта выше года. «Вместе с тем скорого снижения ставок по кредитам (сейчас колеблются в диапазоне 10—20%) ожидать не приходится, — считает Мурычев. — Несмотря на стабильную ставку рефинансирования и беспрецедентно низкий уровень инфляции, банки беспокоятся из-за сложной финансовой ситуации в мире и загрязненного «плохими долгами» баланса, поэтому ставки сейчас скорее растут, чем падают». Согласно документу, правительству до 1 ноября этого года необходимо обеспечить создание механизма предоставления государственных гарантий при осуществлении инвестиционных проектов, «ориентированных в первую очередь на субъектов среднего предпринимательства, действующих в сфере, не связанной с добычей и переработкой полезных ископаемых». Ранее ВЭБ уже договорился с Банком развития Германии (KfW) о создании фонда прямых инвестиций для поддержки малого и среднего предпринимательства.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 658, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.19148936170212766, + "rouge2": 0.0 + }, + "predict": " В Эстонии произошел инцидент с ошибочной ракетой, выпущенной с военного самолета. Это событие может изменить геополитическую обстановку в регионе, поскольку страны НАТО, включая Эстонию, проводят совместные учения для укрепления обороны. Ситуация подогревается слухами о возможном вторжении российских войск, что ставит под вопрос безопасность страны и вызывает обеспокоенность среди населения.", + "sample": { + "src_sents": [ + "«Если на окраине города N в Эстонии внезапно приземлится и взорвется ракета, выпущенная по ошибке с военного самолета, в Таллине отныне должны догадаться, откуда ракеты летят», — отметил глава комитета Совфеда по информационной политике Алексей Пушков в своем твиттере.", + "Об этом сообщается на сайте вооруженных сил Эстонии.", + "По данным ВВС этой балтийской республики, инцидент произошел в зоне учебных полетов над населенным пунктом Пангоди.", + "В настоящее время эстонские военные проводят операцию по поиску обломков ракеты.", + "При этом ранее на сайте Главного штаба эстонских сил обороны сообщалось, ч страну прибыли 12 американских истребителей F-16 для участия в международных учениях.", + "«Цель наших учений — отработать действия в широкомасштабных воздушных операциях. В этом нам также помогут опытные авианаводчики из Бельгии», — говорится в заявлении и.о. командующего ВВС Эстонии Рийво Валге. Учения продлятся до марта.", + "Тренировки войск стран НАТО проводятся в Эстонии на регулярной основе, хотя военные находятся в этой стране на условиях ротации, чтобы не нарушать договоренностей с Россией, которые подразумевают неразмещение значительных сил альянса у российских границ.", + "Стоит отметить, что Эстония — единственная страна Балтии и одна из пяти членов НАТО, которая тратит на оборону 2% ВВП.", + "В Эстонии постоянно муссируются слухи о якобы скором вторжении в страну российских военных.", + "Командующий силами специального назначения эстонских сил обороны полковник Рихо Юхтеги недавно рассказал, как «победить» российскую армию.", + "Он указал на якобы существующую угрозу военного вмешательства России в Эстонию и допустил возможность, что «русские дойдут до Таллина за два дня»." + ], + "summary_sents": [ + "Глава комитета Совета Федерации по информационной политике Алексей Пушков прокомментировал ошибочный ракетный пуск ВВС Испании в небе над Эстонией.", + "По его словам, отныне Эстонии стоит следить не за российскими воздушными силами, а за самолетами НАТО.", + "Эстония единственная страна Балтии, которая тратит на оборону 2% ВВП." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 7 + ], + "category": "army" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: «Если на окраине города N в Эстонии внезапно приземлится и взорвется ракета, выпущенная по ошибке с военного самолета, в Таллине отныне должны догадаться, откуда ракеты летят», — отметил глава комитета Совфеда по информационной политике Алексей Пушков в своем твиттере. Об этом сообщается на сайте вооруженных сил Эстонии. По данным ВВС этой балтийской республики, инцидент произошел в зоне учебных полетов над населенным пунктом Пангоди. В настоящее время эстонские военные проводят операцию по поиску обломков ракеты. При этом ранее на сайте Главного штаба эстонских сил обороны сообщалось, ч страну прибыли 12 американских истребителей F-16 для участия в международных учениях. «Цель наших учений — отработать действия в широкомасштабных воздушных операциях. В этом нам также помогут опытные авианаводчики из Бельгии», — говорится в заявлении и.о. командующего ВВС Эстонии Рийво Валге. Учения продлятся до марта. Тренировки войск стран НАТО проводятся в Эстонии на регулярной основе, хотя военные находятся в этой стране на условиях ротации, чтобы не нарушать договоренностей с Россией, которые подразумевают неразмещение значительных сил альянса у российских границ. Стоит отметить, что Эстония — единственная страна Балтии и одна из пяти членов НАТО, которая тратит на оборону 2% ВВП. В Эстонии постоянно муссируются слухи о якобы скором вторжении в страну российских военных. Командующий силами специального назначения эстонских сил обороны полковник Рихо Юхтеги недавно рассказал, как «победить» российскую армию. Он указал на якобы существующую угрозу военного вмешательства России в Эстонию и допустил возможность, что «русские дойдут до Таллина за два дня».<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 371, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.37209302325581395, + "rouge2": 0.09448818897637795 + }, + "predict": " Антон Кориневич, постоянный представитель президента Украины в Автономной Республике Крым, заявил, что Украина имеет право перекрывать Северо-Крымский канал, ссылаясь на его статус искусственной постройки под юрисдикцией Украины. В свою очередь, Александр Молохов, эксперт по международно-правовым вопросам, опроверг эти утверждения, ссылаясь на нормы международного права, в частности, Хельсинкскую конвенцию 1992 года. Наталья Поклонская, зампред комитета Госдумы, указала на последствия перекрытия канала для водоснабжения Крыма, включая опустошение водохранилищ и перебои в подаче воды, что может угрожать жизни и здоровью населения.", + "sample": { + "src_sents": [ + "Глава постоянного представительства президента Украины в «автономной республике Крым», расположенного в Киеве и не имеющего отношения к российскому полуострову, Антон Кориневич заявил, что украинские власти имеют право перекрывать Северо-Крымский канал по своему усмотрению.", + "«Днепр не протекает через территорию Крыма. Украина перекрыла не реку, а искусственное сооружение — канал, находящийся под юрисдикцией Украины и финансируемый из госбюджета Украины. Украина имеет на это полное право», — написал чиновник в Facebook.", + "Глава рабочей группы по международно-правовым вопросам постпредства Крыма при президенте России Александр Молохов категорически опроверг право Киева блокировать Северо-Крымский канал.", + "«Довод о том, что искусственность канала позволяет его хозяевам делать все, что заблагорассудится, смехотворен и полностью не соответствует соответствующим нормам международного права, прежде всего, Хельсинкской конвенции Европейской экономической комиссии ООН 1992 года», — приводит РИА «Новости» слова эксперта.", + "В середине нынешнего месяца зампред комитета Госдумы по международным делам Наталья Поклонская направила Верховному комиссару по правам человека ООН Мишель Бачелет информацию о блокировке водоснабжения Крыма.", + "Депутат подчеркнула, что канал являлся главным источником пресной воды для Севастополя и Крыма, который отвечал за обеспечение 85% потребностей жителей полуострова в чистой питьевой воде.", + "Она указала на то, что перекрытие воды привело к опустошению водохранилищ, а также к возникновению перебоев в подаче воды, что несет угрозу жизням и здоровью населения." + ], + "summary_sents": [ + "В постпредстве Крыма при президенте России опровергли право Киева блокировать подачу воды на полуостров по Северо-Крымскому каналу, указав, что такие действия украинских властей нарушают множество международных договоров, например — Хельсинкскую конвенцию Европейской экономической комиссии ООН.", + "В Киеве заявляют, что канал находится под юрисдикцией Украины и является украинской собственностью." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 1, + 2, + 3 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Глава постоянного представительства президента Украины в «автономной республике Крым», расположенного в Киеве и не имеющего отношения к российскому полуострову, Антон Кориневич заявил, что украинские власти имеют право перекрывать Северо-Крымский канал по своему усмотрению. «Днепр не протекает через территорию Крыма. Украина перекрыла не реку, а искусственное сооружение — канал, находящийся под юрисдикцией Украины и финансируемый из госбюджета Украины. Украина имеет на это полное право», — написал чиновник в Facebook. Глава рабочей группы по международно-правовым вопросам постпредства Крыма при президенте России Александр Молохов категорически опроверг право Киева блокировать Северо-Крымский канал. «Довод о том, что искусственность канала позволяет его хозяевам делать все, что заблагорассудится, смехотворен и полностью не соответствует соответствующим нормам международного права, прежде всего, Хельсинкской конвенции Европейской экономической комиссии ООН 1992 года», — приводит РИА «Новости» слова эксперта. В середине нынешнего месяца зампред комитета Госдумы по международным делам Наталья Поклонская направила Верховному комиссару по правам человека ООН Мишель Бачелет информацию о блокировке водоснабжения Крыма. Депутат подчеркнула, что канал являлся главным источником пресной воды для Севастополя и Крыма, который отвечал за обеспечение 85% потребностей жителей полуострова в чистой питьевой воде. Она указала на то, что перекрытие воды привело к опустошению водохранилищ, а также к возникновению перебоев в подаче воды, что несет угрозу жизням и здоровью населения.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 338, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.20560747663551404, + "rouge2": 0.03809523809523809 + }, + "predict": " В пятницу в рамках чемпионата Польши «Легия» в Варшаве встретилась с «Гурником» из Забже, матч был важен для подготовки к игре с московским «Спартаком» в Лиге чемпионов. Главный тренер «Легии» Мацей Скоржа заявил, что команда сосредоточится на победе в национальном чемпионате, не экономя сил перед еврокубками. В игре хозяева одержали уверенную победу со счетом 3:1, а также не смогли использовать в основном составе чешского нападающего Михала Губника и защитника Михала Жевлакова.", + "sample": { + "src_sents": [ + "В пятницу в чемпионате Польши столичная «Легия» на своем поле принимала «Гурник» из Забже.", + "Эта встреча стала для варшавского клуба последней репетицией перед первой игрой Лиги чемпионов с московским «Спартаком».", + "Главный тренер «Легии» Мацей Скоржа заверил, что команда не будет экономить силы перед еврокубками.", + "«Пока для нас приоритетным является матч чемпионата Польши против «Гурника», — цитирует польского специалиста официальный сайт «Легии». — О «Спартаке» будем думать позже. Сейчас главное — это победа в пятницу во внутреннем первенстве. Могу сказать, что буду использовать оптимальный состав. Игра со «Спартаком» имеет для нас огромное значение, но мы не должны глупо терять очки в сезоне».", + "Скоржа не смог рассчитывать в этом матче на чешского нападающего Михала Губника и защитника Михала Жевлакова. Хозяева взяли резвый старт.", + "Это Радович поразил ворота головой после навеса Мацея Рибуса.", + "В дальнейшем хозяева контролировали игру, и перед финальным свистком Любоя оформил дубль, поставив точку в матче — 3:1.", + "Новости, результаты матчей, положение команд в группах и футболистов в списке бомбардиров, а также многое другое о втором по значимости клубном футбольном турнире можно узнать на странице Лиги Европы." + ], + "summary_sents": [ + "В чемпионате Польши соперник московского «Спартак» по Лиге Европы варшавская «Легия» на своем поле обыграла «Гурник» из Забже.", + "Победный гол на свой счет записал сербский полузащитник Мирослав Радович, а его соотечественник Даниел Любоя отметился дублем." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 0, + 6 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: В пятницу в чемпионате Польши столичная «Легия» на своем поле принимала «Гурник» из Забже. Эта встреча стала для варшавского клуба последней репетицией перед первой игрой Лиги чемпионов с московским «Спартаком». Главный тренер «Легии» Мацей Скоржа заверил, что команда не будет экономить силы перед еврокубками. «Пока для нас приоритетным является матч чемпионата Польши против «Гурника», — цитирует польского специалиста официальный сайт «Легии». — О «Спартаке» будем думать позже. Сейчас главное — это победа в пятницу во внутреннем первенстве. Могу сказать, что буду использовать оптимальный состав. Игра со «Спартаком» имеет для нас огромное значение, но мы не должны глупо терять очки в сезоне». Скоржа не смог рассчитывать в этом матче на чешского нападающего Михала Губника и защитника Михала Жевлакова. Хозяева взяли резвый старт. Это Радович поразил ворота головой после навеса Мацея Рибуса. В дальнейшем хозяева контролировали игру, и перед финальным свистком Любоя оформил дубль, поставив точку в матче — 3:1. Новости, результаты матчей, положение команд в группах и футболистов в списке бомбардиров, а также многое другое о втором по значимости клубном футбольном турнире можно узнать на странице Лиги Европы.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 298, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.35862068965517246, + "rouge2": 0.1678321678321678 + }, + "predict": " Греческое правительство под руководством премьер-министра Георгиоса Папандреу приняло решение провести референдум по вопросу помощи со стороны Евросоюза, что вызвало критику со стороны ряда министров и президента Франции. Решение о проведении референдума было одобрено парламентом, где правящая партия ПАСОК покинула одну из своих парламентариев из-за критики к этому решению. Международные финансовые рынки отреагировали на это заявление, снижая котировки акций по всему миру. Греция сталкивается с необходимостью одобрения правительства в парламенте и возможными последствиями дефолта, что ставит под угрозу стабильность зоны евро.", + "sample": { + "src_sents": [ + "Греческое правительство поддержало инициативу премьер-министра страны Георгиоса Папандреу провести референдум по вопросу помощи со стороны Евросоюза.", + "Экстренное совещание правительства продолжалось более семи часов и закончилось глубокой ночью.", + "Другим вариантом, который обсуждали члены кабинета, была отставка правительства и досрочные выборы.", + "«Референдум будет проведен в самое ближайшее время, после того как будут сформулированы основные условия сделки с Евросоюзом», — цитирует Reuters представителя правительства Илиаса Мосиалоса.", + "Он добавил, что решение о проведение референдума было принято кабинетом министров единогласно.", + "Некоторые министры поставили под сомнение сроки проведения референдума, а также то, что о решении его провести не знали многие министры в правительстве, в том числе министр финансов.", + "«Я думаю, что это (проведение референдума. — «Газета.Ru») было неправильным решением и мы должны отозвать его. Мы не должны рисковать своим положением в зоне евро», — цитирует источник одного из греческих министров.", + "Решение о проведении референдума должно быть одобрено парламентом страны, где социалистическое правительство Папандреу на данный момент имеет 152 голоса из 300.", + "Во вторник правящую партию ПАСОК покинула одна из парламентариев Милена Апостолаки, раскритиковав намерении Папандреу провести референдум.", + "После одобрения решения о референдуме на экстренном совещании кабинета министров ключевым для Папандреу станет голосование в парламенте о доверии к правительству , которое состоится в пятницу.", + "С критикой решения Греции выступил президент Франции Никола Саркози.", + "«Заявление о референдуме удивило всю Европу», — цитирует Reuters Саркози, который выступил во вторник с радиообращением к французам.", + "Во вторник мировые финансовые рынки отреагировали на намерение Греции провести референдум, который в случае отказа поддержать меры Евросоюза грозит дефолтом Греции и резким падением котировок.", + "Индекс Nasdaq просел почти на 3%, французский индекс CAC 40 упал на 5,38% — до 3068,33 пункта.", + "Немецкий DAX потерял 5% и составил 5834,51 пункта.", + "Британский FTSE 100 опустился на 2,21% и составил 5421,50 пункта.", + "Индекс РТС к концу торговой сессии просел почти на 6%.", + "Азиатские рынки открылись в среду также существенным спадом.", + "Российский рынок, напротив, пока открылся ростом ( ММВБ +1,64%), а евро и доллар незначительно падают." + ], + "summary_sents": [ + "Греческое правительство после многочасового экстренного заседания поддержало инициативу премьер-министра Георгиоса Папандреу о проведении референдума по вопросу пакета помощи со стороны Евросоюза.", + "Решение уже вызвало падение мировых рынков и резкую реакцию лидеров ЕС.", + "Референдум может быть проведен не в январе, как предлагал премьер, а раньше.", + "Для Папандреу ключевым станет голосование в парламенте страны по вопросу о вотуме доверия правительству, оно пройдет в пятницу." + ], + "support_labels": [ + "YES", + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 0, + 9, + 11, + 12, + 13, + 14, + 15, + 16, + 17 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Греческое правительство поддержало инициативу премьер-министра страны Георгиоса Папандреу провести референдум по вопросу помощи со стороны Евросоюза. Экстренное совещание правительства продолжалось более семи часов и закончилось глубокой ночью. Другим вариантом, который обсуждали члены кабинета, была отставка правительства и досрочные выборы. «Референдум будет проведен в самое ближайшее время, после того как будут сформулированы основные условия сделки с Евросоюзом», — цитирует Reuters представителя правительства Илиаса Мосиалоса. Он добавил, что решение о проведение референдума было принято кабинетом министров единогласно. Некоторые министры поставили под сомнение сроки проведения референдума, а также то, что о решении его провести не знали многие министры в правительстве, в том числе министр финансов. «Я думаю, что это (проведение референдума. — «Газета.Ru») было неправильным решением и мы должны отозвать его. Мы не должны рисковать своим положением в зоне евро», — цитирует источник одного из греческих министров. Решение о проведении референдума должно быть одобрено парламентом страны, где социалистическое правительство Папандреу на данный момент имеет 152 голоса из 300. Во вторник правящую партию ПАСОК покинула одна из парламентариев Милена Апостолаки, раскритиковав намерении Папандреу провести референдум. После одобрения решения о референдуме на экстренном совещании кабинета министров ключевым для Папандреу станет голосование в парламенте о доверии к правительству , которое состоится в пятницу. С критикой решения Греции выступил президент Франции Никола Саркози. «Заявление о референдуме удивило всю Европу», — цитирует Reuters Саркози, который выступил во вторник с радиообращением к французам. Во вторник мировые финансовые рынки отреагировали на намерение Греции провести референдум, который в случае отказа поддержать меры Евросоюза грозит дефолтом Греции и резким падением котировок. Индекс Nasdaq просел почти на 3%, французский индекс CAC 40 упал на 5,38% — до 3068,33 пункта. Немецкий DAX потерял 5% и составил 5834,51 пункта. Британский FTSE 100 опустился на 2,21% и составил 5421,50 пункта. Индекс РТС к концу торговой сессии просел почти на 6%. Азиатские рынки открылись в среду также существенным спадом. Российский рынок, напротив, пока открылся ростом ( ММВБ +1,64%), а евро и доллар незначительно падают.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 557, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.40476190476190477, + "rouge2": 0.24390243902439027 + }, + "predict": " На чемпионате мира в Рупольдинге сборная Норвегии одержала победу в смешанной эстафете, несмотря на ошибку Уле-Эйнара Бьорндалена, который не смог завершить свою часть из-за неисправности компьютерной системы. Команда России заняла пятое место, что вызвало интерес к возможности словенских спортсменов в других эстафетах. Ольга Вилухина, дебютировавшая на чемпионатах мира, успешно справилась с волнением перед стартом.", + "sample": { + "src_sents": [ + "Сборная Норвегии выиграла смешанную эстафету на чемпионате мира в Рупольдинге.", + "Норвежцы одержали победу при нестандартных обстоятельствах.", + "Яков Фак , бежавший последний этап за Словению, финишировал первым.", + "Однако, посовещавшись, жюри соревнований приняло решение присудить победу норвежской команде.", + "Дело в том, что после точного выстрела Уле-Эйнара Бьорндалена мишень из-за ошибки в компьютерной системе не закрылась и легенде биатлона пришлось отправиться на штрафной круг.", + "Сборная России (Ольга Вилухина , Ольга Зайцева , Дмитрий Малышко , Антон Шипулин ) в смешанной эстафете выступила неудачно, заняв лишь пятое место.", + "«Смешанная эстафета — это сложная гонка, — сказала Зайцева официальному сайту Союза биатлонистов России. — Тут есть шанс у таких сборных, как Словения, которые не могут набрать сильный состав в других эстафетах».", + "Ольга Вилухина, дебютировавшая на чемпионатах мира, перед смешанной эстафетой очень волновалась.", + "Но она сумела справиться с нервами." + ], + "summary_sents": [ + "Сборная России заняла пятое место в смешанной эстафете на чемпионате мира в Рупольдинге.", + "Первой финишировала команда Словении, однако победу присудили норвежцам из-за незакрывшейся по технической причине мишени." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 2, + 3, + 5 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Сборная Норвегии выиграла смешанную эстафету на чемпионате мира в Рупольдинге. Норвежцы одержали победу при нестандартных обстоятельствах. Яков Фак , бежавший последний этап за Словению, финишировал первым. Однако, посовещавшись, жюри соревнований приняло решение присудить победу норвежской команде. Дело в том, что после точного выстрела Уле-Эйнара Бьорндалена мишень из-за ошибки в компьютерной системе не закрылась и легенде биатлона пришлось отправиться на штрафной круг. Сборная России (Ольга Вилухина , Ольга Зайцева , Дмитрий Малышко , Антон Шипулин ) в смешанной эстафете выступила неудачно, заняв лишь пятое место. «Смешанная эстафета — это сложная гонка, — сказала Зайцева официальному сайту Союза биатлонистов России. — Тут есть шанс у таких сборных, как Словения, которые не могут набрать сильный состав в других эстафетах». Ольга Вилухина, дебютировавшая на чемпионатах мира, перед смешанной эстафетой очень волновалась. Но она сумела справиться с нервами.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 261, + "generated_len": [ + 131 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.38333333333333336, + "rouge2": 0.13559322033898302 + }, + "predict": " Посол США на Украине Мари Йованович передала генпрокурору Украины Юрию Луценко список лиц, которые не подлежат уголовному преследованию. Однако Луценко заявил, что намерен наказать всех виновных в преступлениях, независимо от того, включены ли они в этот список. В посольстве США поспешили опровергнуть эти утверждения, утверждая, что слова Луценко направлены на дискредитацию Йованович. В контексте политической обстановки на Украине, где США активно вмешиваются в выборы, подобные заявления могут рассматриваться как попытка повлиять на исход голосования.", + "sample": { + "src_sents": [ + "Посол США на Украине Мари Йованович еще при первой встрече с генпрокурором республики Юрием Луценко передала ему список неподсудных людей.", + "Однако, как уверяет сам Луценко, он принял решение наказывать всех, кто виновен в преступлениях. Об этом пишет The Hill.", + "«Никто в этой стране — ни наш президент, ни наш парламент, ни наш посол — не заставит меня отказаться от уголовного преследования за совершение преступления», — отметил Луценко.", + "В посольстве США на Украине поспешили откреститься от подобных обвинений и заявили, что слова украинского генпрокурора Юрия Луценко о получении списка «неприкасаемых лиц» не соответствуют действительности.", + "В американском диппредставительстве на Украине посчитали, что слова Луценко направлены на то, чтобы испортить репутацию самой Йованович.", + "Стоит отметить, что заявления Луценко сделаны им за неделю до выборов президента Украины — они назначены на 31 марта.", + "Несмотря на позицию, которую заняли США, случаи вмешательства Вашингтона в политическую жизнь Украины известны.", + "В 2014 году после событий так называемого «евромайдана» в интернете появился перехваченный разговор американских дипломатов, посвященный событиям на Украине, передает Reuters.", + "Предположительно, разговор ведется между официальным представителем Госдепартамента США Викторией Нуланд и Джеффри Пайеттом, занимавшим на тот момент пост посла США на Украине.", + "Кроме того, в ходе разговора дипломаты обсуждали взаимодействие с другими оппозиционными политиками — Арсением Яценюком и Олегом Тягнибоком.", + "Наконец, они не обошли вниманием и позицию касательно Европейского союза (ЕС).", + "«К черту ЕС», — сказала Нуланд (в оригинале она использовала известное слово на букву F — «Газета.Ru») «Именно», — парировал ей Пайетт." + ], + "summary_sents": [ + "Генпрокурор Украины Юрий Луценко заявил, что посол США в Киеве Мари Йованович передала ему список с фамилиями «неприкасаемых» людей.", + "Это свидетельство пополнило перечень случаев вмешательства США в политическую жизнь Украины.", + "Примечательно, что заявления Луценко сделаны за неделю до президентских выборов в стране, которые пройдут 31 марта." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 7, + 8 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Посол США на Украине Мари Йованович еще при первой встрече с генпрокурором республики Юрием Луценко передала ему список неподсудных людей. Однако, как уверяет сам Луценко, он принял решение наказывать всех, кто виновен в преступлениях. Об этом пишет The Hill. «Никто в этой стране — ни наш президент, ни наш парламент, ни наш посол — не заставит меня отказаться от уголовного преследования за совершение преступления», — отметил Луценко. В посольстве США на Украине поспешили откреститься от подобных обвинений и заявили, что слова украинского генпрокурора Юрия Луценко о получении списка «неприкасаемых лиц» не соответствуют действительности. В американском диппредставительстве на Украине посчитали, что слова Луценко направлены на то, чтобы испортить репутацию самой Йованович. Стоит отметить, что заявления Луценко сделаны им за неделю до выборов президента Украины — они назначены на 31 марта. Несмотря на позицию, которую заняли США, случаи вмешательства Вашингтона в политическую жизнь Украины известны. В 2014 году после событий так называемого «евромайдана» в интернете появился перехваченный разговор американских дипломатов, посвященный событиям на Украине, передает Reuters. Предположительно, разговор ведется между официальным представителем Госдепартамента США Викторией Нуланд и Джеффри Пайеттом, занимавшим на тот момент пост посла США на Украине. Кроме того, в ходе разговора дипломаты обсуждали взаимодействие с другими оппозиционными политиками — Арсением Яценюком и Олегом Тягнибоком. Наконец, они не обошли вниманием и позицию касательно Европейского союза (ЕС). «К черту ЕС», — сказала Нуланд (в оригинале она использовала известное слово на букву F — «Газета.Ru») «Именно», — парировал ей Пайетт.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 408, + "generated_len": [ + 158 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.30769230769230776, + "rouge2": 0.13157894736842105 + }, + "predict": " Евромиссионер Тьерри Бретон заявил о достаточности вакцин от COVID-19 в Европе, включая четыре зарегистрированных варианта, и выразил готовность помочь России, если потребуется, но приоритет отдается европейцам. Бретон не уточнил, о каких проблемах с производством «Спутник V» в России идет речь, и отметил, что вопрос может быть рассмотрен лишь в следующем полугодии.", + "sample": { + "src_sents": [ + "Достаточное количество зарегистрированных в Европе вакцин от COVID-19 (четыре) делают излишним российский препарат «Спутник V», заявил в эфире телеканала TF1 еврокомиссар по вопросам внутренней торговли Тьерри Бретон.", + "По словам Бретона, у России «есть проблемы» с производством вакцины, правда, не уточнив, что он имеет в виду.", + "Тем не менее, еврочиновник сказал, что если Москве понадобится помощь, то ЕС будет готов оказать таковую.", + "Однако «сейчас приоритет отдан европейцам», добавил он, поэтому Брюссель может вернуться к этому вопросу лишь во втором полугодии." + ], + "summary_sents": [ + "ЕС может обойтись без российской вакцины от COVID-19, заявил еврокомиссар по вопросам внутреннего рынка Тьерри Бретон.", + "По его словам, в Европе одобрено сразу четыре вакцины." + ], + "support_labels": [ + "YES", + "NO" + ], + "extractive_summary": [ + 0 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Достаточное количество зарегистрированных в Европе вакцин от COVID-19 (четыре) делают излишним российский препарат «Спутник V», заявил в эфире телеканала TF1 еврокомиссар по вопросам внутренней торговли Тьерри Бретон. По словам Бретона, у России «есть проблемы» с производством вакцины, правда, не уточнив, что он имеет в виду. Тем не менее, еврочиновник сказал, что если Москве понадобится помощь, то ЕС будет готов оказать таковую. Однако «сейчас приоритет отдан европейцам», добавил он, поэтому Брюссель может вернуться к этому вопросу лишь во втором полугодии.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 157, + "generated_len": [ + 158 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4793388429752066, + "rouge2": 0.16806722689075632 + }, + "predict": " Сотрудники ФСБ провели масштабную спецоперацию в Москве, Тюменской области и Республике Татарстан, задержав 9 сторонников запрещенной террористической организации «Хизб ут-Тахрир аль-Ислами». Участники планировали госпереворот с целью создания «всемирного халифата», вербовали новых членов, создавали закрытые террористические структуры и искали финансирование среди российских граждан. В ходе операции были арестованы семь участников и два представителя верхушки организации, что привело к возбуждению уголовных дел. ФСБ также предотвратило теракт в Татарстане 31 июля 2019 года.", + "sample": { + "src_sents": [ + "Сотрудники ФСБ в ходе спецоперации задержали девять сторонников запрещенной на территории России террористической организации «Хизб ут-Тахрир аль-Ислами» (организация запрещена в России).", + "Боевики готовили госпереворот в РФ для создания «всемирного халифата».", + "Об этом сообщает РИА «Новости» со ссылкой на Центр общественных связей ФСБ.", + "По данным ведомства, спецоперация проводилась на территории Москвы, Тюменской области, а также Республики Татарстан.", + "В ходе нее задержаны семь участников и два представителя верхушки террористической организации.", + "Также известно, что предполагаемые злоумышленники, находясь в разных регионах, создавали закрытые террористические структуры, искали источники финансирования среди российский граждан, вербовали население, которое исповедует ислам, а также распространяли среди местных жителей идеологию преступной организации для привлечения новых лиц.", + "По информации Центра общественных связей ФСБ, задержанные вели антиконституционную деятельность, планируя госпереворот с применением насилия.", + "В отношении задержанных возбудили уголовные дела.", + "Отметим, что 31 июля 2019 года ФСБ также предотвратила теракт в Татарстане." + ], + "summary_sents": [ + "Силовики выявили и задержали девять сторонников запрещенной на территории РФ террористической организации «Хизб ут-Тахрир аль-Ислами».", + "Их целью была организация госпереворота в России.", + "По данным ФСБ, злоумышленники вербовали мусульман на территории Москвы, Тюменской области и Татарстана, а также создавали террористические ячейки, искали источники финансирования и пропагандировали террористическую деятельность." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 1, + 4, + 5 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Сотрудники ФСБ в ходе спецоперации задержали девять сторонников запрещенной на территории России террористической организации «Хизб ут-Тахрир аль-Ислами» (организация запрещена в России). Боевики готовили госпереворот в РФ для создания «всемирного халифата». Об этом сообщает РИА «Новости» со ссылкой на Центр общественных связей ФСБ. По данным ведомства, спецоперация проводилась на территории Москвы, Тюменской области, а также Республики Татарстан. В ходе нее задержаны семь участников и два представителя верхушки террористической организации. Также известно, что предполагаемые злоумышленники, находясь в разных регионах, создавали закрытые террористические структуры, искали источники финансирования среди российский граждан, вербовали население, которое исповедует ислам, а также распространяли среди местных жителей идеологию преступной организации для привлечения новых лиц. По информации Центра общественных связей ФСБ, задержанные вели антиконституционную деятельность, планируя госпереворот с применением насилия. В отношении задержанных возбудили уголовные дела. Отметим, что 31 июля 2019 года ФСБ также предотвратила теракт в Татарстане.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 256, + "generated_len": [ + 158 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.441860465116279, + "rouge2": 0.26190476190476186 + }, + "predict": " Россия подала заявку на проведение чемпионата мира по фигурному катанию вместо Японии, которая отказалась от проведения из-за проблем с инфраструктурой. Предполагается, что турнир состоится в Москве на арене «Мегаспорт», с участием России и Финляндии. Возможное сохранение мирового первенства в азиатском регионе и интерес со стороны Тайваня и Южной Кореи также обсуждается.", + "sample": { + "src_sents": [ + "Россия подаст заявку на проведение чемпионата мира по фигурному катанию вместо Японии.", + "«Безусловно, мы намерены подавать официальную заявку. Думаю, мы это сделаем в течение вторника, — сказал Горшков. – Местом проведения соревнований будет Москва и арена «Мегаспорт». По поводу заявок остальных стран, официально они нигде не опубликованы. Видимо, ISU ( Международный союз конькобежцев — прим. «Газеты.Ru» ) у себя собрал все предложения, но в официальном документе, который он издал, их не перечисляет. Мы, со своей стороны, будем обращаться со всеми необходимыми гарантиями проведения турнира. По поводу шансов скажу, что в данном случае можно рассчитывать на интуицию, но она мне подсказывает, что шансы у нас хорошие».", + "Сообщается, что, кроме России, свое желание провести турнир выразила и Финляндия, которая уже обозначила сроки проведения соревнований: 24 апреля – 1 мая.", + "Не исключено, что мировое первенство останется в азиатском регионе.", + "Несколько дней назад генеральный секретарь ФФККР Валентин Писеев рассказал корреспонденту «Газеты.Ru» о желании провести соревнования, выраженном Тайванем и Южной Кореей.", + "«Мегаспорт» во время Гран-при по фигурному катанию «Кубок России» в ноябре 2010 года В понедельник же ISU обнародовал официальное решение Федерации фигурного катания Японии (JSF) об отмене на территории страны чемпионата мира по фигурному катанию, который должен был состояться 21–27 марта в Токио." + ], + "summary_sents": [ + "Во вторник Россия подаст официальную заявку на проведение чемпионата мира по фигурному катанию.", + "Вероятными сроками проведения соревнований, которые могут пройти в Москве, называются конец апреля и середина мая.", + "Чемпионат планируется провести на арене «Мегаспорт»." + ], + "support_labels": [ + "YES", + "NO", + "YES" + ], + "extractive_summary": [ + 1 + ], + "category": "sport" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Россия подаст заявку на проведение чемпионата мира по фигурному катанию вместо Японии. «Безусловно, мы намерены подавать официальную заявку. Думаю, мы это сделаем в течение вторника, — сказал Горшков. – Местом проведения соревнований будет Москва и арена «Мегаспорт». По поводу заявок остальных стран, официально они нигде не опубликованы. Видимо, ISU ( Международный союз конькобежцев — прим. «Газеты.Ru» ) у себя собрал все предложения, но в официальном документе, который он издал, их не перечисляет. Мы, со своей стороны, будем обращаться со всеми необходимыми гарантиями проведения турнира. По поводу шансов скажу, что в данном случае можно рассчитывать на интуицию, но она мне подсказывает, что шансы у нас хорошие». Сообщается, что, кроме России, свое желание провести турнир выразила и Финляндия, которая уже обозначила сроки проведения соревнований: 24 апреля – 1 мая. Не исключено, что мировое первенство останется в азиатском регионе. Несколько дней назад генеральный секретарь ФФККР Валентин Писеев рассказал корреспонденту «Газеты.Ru» о желании провести соревнования, выраженном Тайванем и Южной Кореей. «Мегаспорт» во время Гран-при по фигурному катанию «Кубок России» в ноябре 2010 года В понедельник же ISU обнародовал официальное решение Федерации фигурного катания Японии (JSF) об отмене на территории страны чемпионата мира по фигурному катанию, который должен был состояться 21–27 марта в Токио.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 340, + "generated_len": [ + 158 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.4680851063829788, + "rouge2": 0.13043478260869565 + }, + "predict": " 51-летний Гэбриэл Уортман, одетый в полицейскую форму, устроил стрельбу в Новой Шотландии, убив 16 человек, включая сотрудницу RCMP и мать двоих детей. После перестрелки с полицией он был убит в городе Энфилд. Премьер-министр Канады выразил соболезнования родным и близким погибших.", + "sample": { + "src_sents": [ + "Устроивший стрельбу в канадской провинции Новая Шотландия Гэбриэл Уортман был убит в перестрелке с полицией.", + "Об этом заявила комиссар национальной полиции Канады Бренда Лаки, передает телеканал CBC.", + "Таким образом, общее число жертв «шутинга» возросло до 17, отмечается в сообщении.", + "Стрелок убил 16 человек, среди них — сотрудница Королевской канадской конной полиции (RCMP), мать двоих детей Хайди Стивенсон.", + "«Подозреваемый вооружен и опасен. Есть несколько жертв. Если вы заметите его, звоните 911. НЕ ПРИБЛИЖАЙТЕСЬ. Стрелок — белый мужчина, лысый, высокого роста, с зелеными глазами», – заявили вскоре после инцидента в RCMP.", + "Расстрел произошел в небольшом городке Портапик.", + "51-летний Гэбриэл Уортман, одетый в полицейскую форму, ездил на патрульной машине по Портапику и ряду других населенных пунктов в радиусе 50 километров, стреляя по людям.", + "Преступник открыл огонь по сотрудникам правоохранительных органов — в результате погибла Хайди Стивенсон, еще один конный полицейский был ранен.", + "Первоначально в полиции сообщили, что преступник задержан, но позже уточнили, что он был убит в городе Энфилд в ходе перестрелки со стражами порядка.", + "Полиция Канады сообщала, что он был знаком с некоторыми жертвами лично.", + "Премьер-министр Канады Джастин Трюдо выразил соболезнования родным и близким погибших." + ], + "summary_sents": [ + "В Канаде в ходе стрельбы, открытой накануне 51-летним мужчиной, погибли 17 человек, включая самого стрелка.", + "Преступник, одетый в форму полицейского, открыл огонь в небольшом городе Портапик провинции Новая Шотландия — в ходе спецоперации по задержанию погибла сотрудница Королевской канадской конной полиции, мать двоих детей Хайди Стивенсон, еще один полицейский был ранен." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 2, + 6, + 7 + ], + "category": "social" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Устроивший стрельбу в канадской провинции Новая Шотландия Гэбриэл Уортман был убит в перестрелке с полицией. Об этом заявила комиссар национальной полиции Канады Бренда Лаки, передает телеканал CBC. Таким образом, общее число жертв «шутинга» возросло до 17, отмечается в сообщении. Стрелок убил 16 человек, среди них — сотрудница Королевской канадской конной полиции (RCMP), мать двоих детей Хайди Стивенсон. «Подозреваемый вооружен и опасен. Есть несколько жертв. Если вы заметите его, звоните 911. НЕ ПРИБЛИЖАЙТЕСЬ. Стрелок — белый мужчина, лысый, высокого роста, с зелеными глазами», – заявили вскоре после инцидента в RCMP. Расстрел произошел в небольшом городке Портапик. 51-летний Гэбриэл Уортман, одетый в полицейскую форму, ездил на патрульной машине по Портапику и ряду других населенных пунктов в радиусе 50 километров, стреляя по людям. Преступник открыл огонь по сотрудникам правоохранительных органов — в результате погибла Хайди Стивенсон, еще один конный полицейский был ранен. Первоначально в полиции сообщили, что преступник задержан, но позже уточнили, что он был убит в городе Энфилд в ходе перестрелки со стражами порядка. Полиция Канады сообщала, что он был знаком с некоторыми жертвами лично. Премьер-министр Канады Джастин Трюдо выразил соболезнования родным и близким погибших.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 346, + "generated_len": [ + 158 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.3434343434343434, + "rouge2": 0.14432989690721648 + }, + "predict": " Руководство Universal Pictures отменило премьеру фильма «Охота», запланированной на 27 сентября, из-за массовой стрельбы в Техасе и Огайо. Компания приняла решение отказаться от выпуска фильма в связи с тем, что сейчас неподходящий момент для его показа, учитывая возможные политические и расовые комментарии в сюжете. Фильм может быть представлен публике позже или загружен на онлайн-сервисы.", + "sample": { + "src_sents": [ + "Руководство компании Universal Pictures выпустило официальное заявление о решении отказаться от премьеры фильма «Охота» 27 сентября, как было запланировано изначально, в связи с массовой стрельбой в Техасе и Огайо, передает Deadline.", + "«За то время, которое прошло с приостановки Universal Pictures рекламной кампании «Охоты», после серьезного обсуждения, студия решила отказаться от планов по выпуску фильма. Мы поддерживаем наших авторов и продолжим выпускать фильмы вместе со смелыми художниками, обладающими собственным взглядом, такими как создатели этого сатирического социального триллера, но мы понимаем, что сейчас неподходящий момент для выхода картины», — говорится в тексте заявления.", + "На данный момент неизвестно о дальнейших планах на «Охоту» — предполагается, что фильм могут представить публике в кинотеатрах позднее или сразу загрузить на онлайн-видеосервис.", + "По сюжету фильма, главные герои-республиканцы обнаруживают, что на них открыла охоту группа богачей, состоящая из правящих либеральных элит.", + "Лидеров двух противостоящих лагерей играют Бетти Гилпин и Хилари Суонк.", + "Еще до решения о переносе выхода фильма на неопределенное время правящие круги в США выразили возмущение в связи с тем, что в качестве жертв в фильме предположительно покажут сторонников действующей администрации.", + "Сам президент США Дональд Трамп обвинил голливудскую индустрию в расизме в связи с «Охотой».", + "Хилари Суонк отказалась комментировать фильм до его выхода.", + "Она подчеркнула, что в настоящий момент разговор о нем не будет иметь смысла, так как никто не будет представлять, о чем идет речь.", + "Тем не менее, она ответила на обвинения со стороны американского президента." + ], + "summary_sents": [ + "На фоне массовых расстрелов в Техасе и Огайо руководство компании Universal Pictures приняло решение о переносе на неопределенный срок премьеры фильма «Охота».", + "Сюжет картины, по которому либеральные элиты устраивают охоту на героев-республиканцев, ранее уже вызывал возмущение правящих классов США, включая самого президента." + ], + "support_labels": [ + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 5, + 6 + ], + "category": "culture" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Руководство компании Universal Pictures выпустило официальное заявление о решении отказаться от премьеры фильма «Охота» 27 сентября, как было запланировано изначально, в связи с массовой стрельбой в Техасе и Огайо, передает Deadline. «За то время, которое прошло с приостановки Universal Pictures рекламной кампании «Охоты», после серьезного обсуждения, студия решила отказаться от планов по выпуску фильма. Мы поддерживаем наших авторов и продолжим выпускать фильмы вместе со смелыми художниками, обладающими собственным взглядом, такими как создатели этого сатирического социального триллера, но мы понимаем, что сейчас неподходящий момент для выхода картины», — говорится в тексте заявления. На данный момент неизвестно о дальнейших планах на «Охоту» — предполагается, что фильм могут представить публике в кинотеатрах позднее или сразу загрузить на онлайн-видеосервис. По сюжету фильма, главные герои-республиканцы обнаруживают, что на них открыла охоту группа богачей, состоящая из правящих либеральных элит. Лидеров двух противостоящих лагерей играют Бетти Гилпин и Хилари Суонк. Еще до решения о переносе выхода фильма на неопределенное время правящие круги в США выразили возмущение в связи с тем, что в качестве жертв в фильме предположительно покажут сторонников действующей администрации. Сам президент США Дональд Трамп обвинил голливудскую индустрию в расизме в связи с «Охотой». Хилари Суонк отказалась комментировать фильм до его выхода. Она подчеркнула, что в настоящий момент разговор о нем не будет иметь смысла, так как никто не будет представлять, о чем идет речь. Тем не менее, она ответила на обвинения со стороны американского президента.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 370, + "generated_len": [ + 158 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.21538461538461542, + "rouge2": 0.078125 + }, + "predict": " Мониторинг Института экономической политики имени Е. Т. Гайдара и РАНХиГС выявил, что система материального и нематериального стимулирования госслужащих в России остается нерегулярной и неэффективной. Отсутствие единого нормативного акта о премировании и стимулирующих выплат, а также отсутствие жесткой привязки премий к показателям результативности, приводит к тому, что госслужащие часто не могут точно оценить свой доход. Это может негативно сказаться на мотивации и лояльности сотрудников к руководству, делая систему оплаты труда менее прозрачной и предсказуемой. Эксперты предлагают переход к более прозрачной и обоснованной системе оплаты труда, исключая высокие оклады чиновников и переход к гарантированной оплате труда, которая будет зависеть от должностного оклада и стажировки.", + "sample": { + "src_sents": [ + "Зарплаты чиновников растут неравномерно.", + "Такие выводы содержатся в «Мониторинге экономической ситуации в России: тенденции и вызовы социально-экономического развития», подготовленном экспертами Института экономической политики имени Е. Т. Гайдара и РАНХиГС.", + "Эксперты проанализировали многочисленные попытки модернизации системы государственной гражданской службы за последние 15 лет.", + "В том числе, было изучено, насколько эффективна нынешняя система материального и нематериального стимулирования госслужащих.", + "Как отмечают эксперты, до сих пор не существует единого нормативного акта о премировании и других способах стимулирования госслужащих.", + "Не определен ни объем, ни периодичность премирования и начисления стимулирующих выплат.", + "В большинстве органов власти (за исключением Федерального казначейства , Федеральной налоговой службы ) не существует «жесткой привязки размеров премий к показателям результативности деятельности».", + "В итоге российские госслужащие зачастую сталкиваются с невозможностью подсчитать свой доход.", + "«Это обстоятельство может использоваться и при смене руководства органов: служащим действующей команды могут просто перестать начислять премии, их заработная плата существенно снизится, и они уйдут сами, освобождая места для новой команды», - говорится в мониторинге РАНХиГС.", + "В итоге премирование становится не инструментом мотивации работать лучше, а способом поддержки лояльности к руководству, отмечают эксперты.", + "Гарантированная часть оплаты труда госслужащих (80%) может состоять только из должностного оклада либо из должностного оклада и неснижаемой надбавки за стаж, квалификацию и результаты служебной деятельности, отмечают в РАНХиГС.", + "При этом, по мнению экспертов, нужно уходить от того, что оклады чиновников составляют 10–15 тыс. руб., а среднемесячная начисленная заработная плата чиновников в центральных аппаратах превышает 100 тыс. рублей.", + "Рост гарантированной оплаты труда сделает ее уровень прозрачным для общества и предсказуемым для чиновника." + ], + "summary_sents": [ + "Зарплаты чиновников растут неравномерно.", + "Так, в большинстве случаев нет жесткой привязки премии к результатам деятельности госслужащих.", + "В результате премирование стало инструментом поддержки лояльности к руководству, считают эксперты РАНХиГС." + ], + "support_labels": [ + "YES", + "YES", + "YES" + ], + "extractive_summary": [ + 0, + 6, + 9 + ], + "category": "business" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Зарплаты чиновников растут неравномерно. Такие выводы содержатся в «Мониторинге экономической ситуации в России: тенденции и вызовы социально-экономического развития», подготовленном экспертами Института экономической политики имени Е. Т. Гайдара и РАНХиГС. Эксперты проанализировали многочисленные попытки модернизации системы государственной гражданской службы за последние 15 лет. В том числе, было изучено, насколько эффективна нынешняя система материального и нематериального стимулирования госслужащих. Как отмечают эксперты, до сих пор не существует единого нормативного акта о премировании и других способах стимулирования госслужащих. Не определен ни объем, ни периодичность премирования и начисления стимулирующих выплат. В большинстве органов власти (за исключением Федерального казначейства , Федеральной налоговой службы ) не существует «жесткой привязки размеров премий к показателям результативности деятельности». В итоге российские госслужащие зачастую сталкиваются с невозможностью подсчитать свой доход. «Это обстоятельство может использоваться и при смене руководства органов: служащим действующей команды могут просто перестать начислять премии, их заработная плата существенно снизится, и они уйдут сами, освобождая места для новой команды», - говорится в мониторинге РАНХиГС. В итоге премирование становится не инструментом мотивации работать лучше, а способом поддержки лояльности к руководству, отмечают эксперты. Гарантированная часть оплаты труда госслужащих (80%) может состоять только из должностного оклада либо из должностного оклада и неснижаемой надбавки за стаж, квалификацию и результаты служебной деятельности, отмечают в РАНХиГС. При этом, по мнению экспертов, нужно уходить от того, что оклады чиновников составляют 10–15 тыс. руб., а среднемесячная начисленная заработная плата чиновников в центральных аппаратах превышает 100 тыс. рублей. Рост гарантированной оплаты труда сделает ее уровень прозрачным для общества и предсказуемым для чиновника.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 420, + "generated_len": [ + 158 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "rouge1": 0.453125, + "rouge2": 0.2380952380952381 + }, + "predict": " Третий сын свергнутого ливийского лидера Муамара Каддафи, Саади, объявил о своем нейтралитете в гражданской войне между сторонниками его отца и отрядами армии Переходного национального совета, взявших власть в Триполи. Саади обвиняет своего брата Сейфа аль-Ислама в провале мирных переговоров с повстанцами, а также в начале военных действий против ПНС. В результате, переговоры с Саади были прекращены, а отрядам Каддафи в Бени-Валид был объявлен полный блокпост. Этот город, наряду с Сиртом и Сабхой, остается последним неподконтрольным ПНС убежищем в Ливии.", + "sample": { + "src_sents": [ + "Третий сын свергнутого ливийского диктатора Муамара Каддафи Саади объявил о своем нейтралитете в гражданской войне между силами, поддерживающими его отца, и отрядами армии Переходного национального совета, взявшими две недели назад Триполи.", + "Саади Каддафи возложил ответственность за срыв мирных переговоров с повстанцами, которые он вел, на своего брата Сейфа аль-Ислама, который на минувшей неделе объявил, что войска, лояльные Каддафи, будут сражаться до победного конца.", + "«Мы умрем на нашей земле», – заявил он за себя и своего отца.", + "Сразу после этого объявления командиры повстанческих сил прекратили переговоры с Саади.", + "В воскресенье было официально объявлено также о прекращении контактов с отрядами Каддафи, держащими оборону города Бени-Валид в 150 км к югу от Триполи.", + "Бени-Валид наравне с Сиртом и Сабхой остается одним из немногих городов, которые остаются неподконтрольными повстанческому правительству Переходного национального совета (ПНС), перебравшемуся из Бенгази в Триполи.", + "Бени-Валид за выходные был полностью окружен повстанческими отрядами, подошедшими к городу на расстояние в 15–20 км." + ], + "summary_sents": [ + "Сын свергнутого ливийского лидера Муамара Каддафи Саади объявил о своем нейтралитете в войне между повстанческим Переходным национальным советом и войсками отца.", + "Переговоры о примирении, посредником на которых выступал Саади, провалились.", + "Оппозиция утверждает, что местонахождение Каддафи известно: он скрывается в городе Бени-Валиде, который повстанцы готовятся взять штурмом." + ], + "support_labels": [ + "YES", + "YES", + "NO" + ], + "extractive_summary": [ + 0, + 3 + ], + "category": "politics" + }, + "prompt": "<|im_start|>user\nНапиши краткую аннотацию на русском языке к следующему тексту.\nТекст: Третий сын свергнутого ливийского диктатора Муамара Каддафи Саади объявил о своем нейтралитете в гражданской войне между силами, поддерживающими его отца, и отрядами армии Переходного национального совета, взявшими две недели назад Триполи. Саади Каддафи возложил ответственность за срыв мирных переговоров с повстанцами, которые он вел, на своего брата Сейфа аль-Ислама, который на минувшей неделе объявил, что войска, лояльные Каддафи, будут сражаться до победного конца. «Мы умрем на нашей земле», – заявил он за себя и своего отца. Сразу после этого объявления командиры повстанческих сил прекратили переговоры с Саади. В воскресенье было официально объявлено также о прекращении контактов с отрядами Каддафи, держащими оборону города Бени-Валид в 150 км к югу от Триполи. Бени-Валид наравне с Сиртом и Сабхой остается одним из немногих городов, которые остаются неподконтрольными повстанческому правительству Переходного национального совета (ПНС), перебравшемуся из Бенгази в Триполи. Бени-Валид за выходные был полностью окружен повстанческими отрядами, подошедшими к городу на расстояние в 15–20 км.<|im_end|>\n<|im_start|>assistant\nTL;DR:", + "info": { + "prompt_len": 276, + "generated_len": [ + 158 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} diff --git a/llmtf_eval/daru_treewayabstractive_params.jsonl b/llmtf_eval/daru_treewayabstractive_params.jsonl new file mode 100644 index 0000000..a99f0e9 --- /dev/null +++ b/llmtf_eval/daru_treewayabstractive_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 512, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 200, + "method": "generate" + } +} diff --git a/llmtf_eval/daru_treewayabstractive_total.jsonl b/llmtf_eval/daru_treewayabstractive_total.jsonl new file mode 100644 index 0000000..a6462b9 --- /dev/null +++ b/llmtf_eval/daru_treewayabstractive_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "daru/treewayabstractive", + "results": { + "rouge1": 0.33109987599556284, + "rouge2": 0.11202889150257295 + }, + "leaderboard_result": 0.2215643837490679 +} diff --git a/llmtf_eval/daru_treewayextractive.jsonl b/llmtf_eval/daru_treewayextractive.jsonl new file mode 100644 index 0000000..349da47 --- /dev/null +++ b/llmtf_eval/daru_treewayextractive.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1d1020fb7dc9f204618ab609bffe6d81a88ff7a7c1355f6f8be4b50fe0de8409 +size 212492287 diff --git a/llmtf_eval/daru_treewayextractive_params.jsonl b/llmtf_eval/daru_treewayextractive_params.jsonl new file mode 100644 index 0000000..88e9e6f --- /dev/null +++ b/llmtf_eval/daru_treewayextractive_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 1, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 1000, + "method": "calculate_logsoftmax" + } +} diff --git a/llmtf_eval/daru_treewayextractive_total.jsonl b/llmtf_eval/daru_treewayextractive_total.jsonl new file mode 100644 index 0000000..4ab5b63 --- /dev/null +++ b/llmtf_eval/daru_treewayextractive_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "daru/treewayextractive", + "results": { + "r-prec": 0.3917218614718615 + }, + "leaderboard_result": 0.3917218614718615 +} diff --git a/llmtf_eval/darumeru_MultiQ.jsonl b/llmtf_eval/darumeru_MultiQ.jsonl new file mode 100644 index 0000000..f15f8f0 --- /dev/null +++ b/llmtf_eval/darumeru_MultiQ.jsonl @@ -0,0 +1,57066 @@ +{ + "metric": { + "f1": 0.1, + "em": 0 + }, + "predict": " Геннадий Васильевич Быков родился в городе Нижнем Новгороде. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Таким образом, законодательный орган, работающий в городе, где появился на свет Быков, — Городская дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где появился на свет Геннадий Васильевич Быков?", + "support_text": "Быков Геннадий Васильевич — советский и российский художник-ювелир, член Союза художников СССР, член Союз дизайнеров России, кавалер ордена Фаберже 3-ей степени (образца 2001 г.), один из основоположников авангардного ювелирного искусства в СССР, глава семейной ювелирной фирмы.\n\nБиография.\nРодился в 1946 году в Нижнем Новгороде. В 1970 году окончил Высшее художественно-промышленное училище им. В. И. Мухиной (сейчас Санкт-Петербургская художественно-промышленная академия имени А. Л. Штиглица).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городская дума" + } + ], + "meta": { + "id": 288, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 316, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Быков Геннадий Васильевич — советский и российский художник-ювелир, член Союза художников СССР, член Союз дизайнеров России, кавалер ордена Фаберже 3-ей степени (образца 2001 г.), один из основоположников авангардного ювелирного искусства в СССР, глава семейной ювелирной фирмы.\n\nБиография.\nРодился в 1946 году в Нижнем Новгороде. В 1970 году окончил Высшее художественно-промышленное училище им. В. И. Мухиной (сейчас Санкт-Петербургская художественно-промышленная академия имени А. Л. Штиглица).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где появился на свет Геннадий Васильевич Быков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большой Юган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пулунъях?", + "support_text": "Пулунъях (устар \"Полун-Ях\") — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 440 км по левому берегу реки Большой Юган. Длина реки составляет 42 км.", + "text": "Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины. Много притоков, из которых наиболее крупным является правый Малый Юган.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Обь" + } + ], + "meta": { + "id": 867, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 132, + "segment": "Большой Юган" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пулунъях (устар \"Полун-Ях\") — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 440 км по левому берегу реки Большой Юган. Длина реки составляет 42 км.\nТекст 2: Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины. Много притоков, из которых наиболее крупным является правый Малый Юган.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Пулунъях? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 332, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Николай Власович Перминов, является мэром Казани.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Власович Перминов?", + "support_text": "Николай Власович Перминов (1893—1970) — советский военачальник, один из основателей и организаторов авиации дальнего действия СССР, генерал-лейтенант авиации (19.08.1944).\n\nБиография.\nРодился в 1893 году в городе Казань Российской Империи. Русский.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 208, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 216, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Николай Власович Перминов (1893—1970) — советский военачальник, один из основателей и организаторов авиации дальнего действия СССР, генерал-лейтенант авиации (19.08.1944).\n\nБиография.\nРодился в 1893 году в городе Казань Российской Империи. Русский.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nВопрос: Кто является главой администрации в городе, где родился Николай Власович Перминов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 293, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16666666666666669, + "em": 0 + }, + "predict": " Река Гаронна впадает в Бискайский залив Атлантического океана. Поскольку Лангон — порт на реке Гаронна, то он расположен на берегу этой реки.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Куда впадает река, на берегу которой расположен Лангон?", + "support_text": "Лангон — город во Франции, супрефектура одноимённого округа (департамент Жиронда, регион Аквитания). Лангон — порт на реке Гаронна. У него издавна были торговые связи с Бордо, Аженом и Базасом.", + "text": "Гаронна — река во Франции и Испании. Начинается в Пиренеях (исток — на высоте 1872 м), впадает в Бискайский залив Атлантического океана.\n\nГеография.\nВ пределах Пиренеев течёт в узкой глубокой долине, имеет крутое падение (угол падения равняется примерно 67 ‰), ниже является типичной равнинной рекой с хорошо разработанной долиной; ширина у города Бордо — до 500 м. Ниже Бордо сливается с рекой Дордонь и образует эстуарий Жиронда длиной около 75 км. Протяжённость — 647 км (\"из них 523 — по территории Франции\"), площадь бассейна 56 тысяч кв км (вместе с Дордонь — 84 811 кв км. Средний расход воды в устье около 680 м³/сек." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 97, + "segment": "Бискайский залив" + } + ], + "meta": { + "id": 574, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 123, + "segment": "Гаронна" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Лангон — город во Франции, супрефектура одноимённого округа (департамент Жиронда, регион Аквитания). Лангон — порт на реке Гаронна. У него издавна были торговые связи с Бордо, Аженом и Базасом.\nТекст 2: Гаронна — река во Франции и Испании. Начинается в Пиренеях (исток — на высоте 1872 м), впадает в Бискайский залив Атлантического океана.\n\nГеография.\nВ пределах Пиренеев течёт в узкой глубокой долине, имеет крутое падение (угол падения равняется примерно 67 ‰), ниже является типичной равнинной рекой с хорошо разработанной долиной; ширина у города Бордо — до 500 м. Ниже Бордо сливается с рекой Дордонь и образует эстуарий Жиронда длиной около 75 км. Протяжённость — 647 км (\"из них 523 — по территории Франции\"), площадь бассейна 56 тысяч кв км (вместе с Дордонь — 84 811 кв км. Средний расход воды в устье около 680 м³/сек.\nОпираясь на данные тексты, ответьте на вопрос: Куда впадает река, на берегу которой расположен Лангон?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 285, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Инцыс.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Инцыс?", + "support_text": "Инцыс (Инцысс) (\"устар.\" Инцисс) — река в России, протекает в Тарском и Седельниковском районах Омской области. Устье реки находится в 123 км по левому берегу реки Уй. Длина реки составляет 18 км. В устье реки расположена деревня Усть-Инцы (Кукарского сельского поселения).", + "text": "Бассейн Иртыша. Уй — река в России, протекает по территории Новосибирской и Омской областей, правый приток Иртыша.\n\nХарактеристика.\nБерёт своё начало в Васюганье, впадает в Иртыш на 1374 километре от его устья. Длина реки — 387 км, площадь водосборного бассейна — 6920 кв км. Общее падение реки составляет 79 метров.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Омь до впадения реки Ишим, без реки Оша, речной подбассейн реки — бассейны притоков Иртыша до впадения Ишима. Речной бассейн реки — Иртыш. Код водного объекта в государственном водном реестре — 14010100312115300006072." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 8, + "segment": "Иртыша" + }, + { + "label": "passage", + "length": 5, + "offset": 8, + "segment": "Иртыш" + } + ], + "meta": { + "id": 764, + "bridge_answers": [ + { + "label": "passage", + "length": 2, + "offset": 164, + "segment": "Уй" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Инцыс?\nТекст 1: Инцыс (Инцысс) (\"устар.\" Инцисс) — река в России, протекает в Тарском и Седельниковском районах Омской области. Устье реки находится в 123 км по левому берегу реки Уй. Длина реки составляет 18 км. В устье реки расположена деревня Усть-Инцы (Кукарского сельского поселения).\nТекст 2: Бассейн Иртыша. Уй — река в России, протекает по территории Новосибирской и Омской областей, правый приток Иртыша.\n\nХарактеристика.\nБерёт своё начало в Васюганье, впадает в Иртыш на 1374 километре от его устья. Длина реки — 387 км, площадь водосборного бассейна — 6920 кв км. Общее падение реки составляет 79 метров.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Омь до впадения реки Ишим, без реки Оша, речной подбассейн реки — бассейны притоков Иртыша до впадения Ишима. Речной бассейн реки — Иртыш. Код водного объекта в государственном водном реестре — 14010100312115300006072.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 328, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Вртанес Месропович Папазян?", + "support_text": "Вртанес Месропович Папазян (12 апреля 1864 (в некоторых источниках 1866), Ван — 26 апреля 1920, Ереван) — османский армянский писатель, общественно-политический и культурный деятель, литературный критик, редактор, историк литературы, антрополог, преподаватель и переводчик.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "Ереванским городским советом" + } + ], + "meta": { + "id": 128, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 96, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вртанес Месропович Папазян (12 апреля 1864 (в некоторых источниках 1866), Ван — 26 апреля 1920, Ереван) — османский армянский писатель, общественно-политический и культурный деятель, литературный критик, редактор, историк литературы, антрополог, преподаватель и переводчик.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Вртанес Месропович Папазян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1904761904761905, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Василий Иванович Добролюбов, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Василий Иванович Добролюбов?", + "support_text": "Василий Иванович Добролюбов (1831, Нижний Новгород — 1880, Киев) — российский банкир, финансист. Автор книги \"Банковская бухгалтерия\" (1864).\n\nБиография.\nИмел не меньше чем восемь братьев и сестёр, среди них был и Александр — отец русского литературного критика и публициста Николая Добролюбова. Василий был моложе брата Александра на 19 лет и всего на 5 лет старше его сына Николая. В отличие от отца и брата Александра Василий Добролюбов священником не стал. Он работал мелким чиновником в Нижнем Новгороде. Там женился на Елене Ефимовна Лебедевой. Её брат Митрофан был в Нижнем Новгороде одним из ближайших друзей Николая Добролюбова. В августе 1858 умерла жена Василия Ивановича.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1167, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 797, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 35, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Василий Иванович Добролюбов (1831, Нижний Новгород — 1880, Киев) — российский банкир, финансист. Автор книги \"Банковская бухгалтерия\" (1864).\n\nБиография.\nИмел не меньше чем восемь братьев и сестёр, среди них был и Александр — отец русского литературного критика и публициста Николая Добролюбова. Василий был моложе брата Александра на 19 лет и всего на 5 лет старше его сына Николая. В отличие от отца и брата Александра Василий Добролюбов священником не стал. Он работал мелким чиновником в Нижнем Новгороде. Там женился на Елене Ефимовна Лебедевой. Её брат Митрофан был в Нижнем Новгороде одним из ближайших друзей Николая Добролюбова. В августе 1858 умерла жена Василия Ивановича.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nВопрос: Как называется законодательный орган города, где родился Василий Иванович Добролюбов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 503, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Кожва", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Верхний Лунвож?", + "support_text": "Верхний Лунвож (устар. \"Лун-Вож\") — река в России, протекает в Республике Коми по территории Печерского района и Вуктыльского округа.\n\nГеография.\nУстье реки находится в 139 км по правому берегу реки Чикшина. Длина реки составляет 11 км.", + "text": "Чикшина (Чикишна) — река в России, протекает в Республике Коми по территории муниципальных районов Вуктыл и Печора. Устье реки находится в 50 км по правому берегу реки Кожвы. Длина реки составляет 153 км, площадь водосборного бассейна — 4540 кв км. В нижнем течении — посёлок Чикшино.\n\nПримечания.\nКатегория:Притоки Кожвы." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 168, + "segment": "Кожвы" + }, + { + "label": "passage", + "length": 5, + "offset": 168, + "segment": "Кожва" + } + ], + "meta": { + "id": 384, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 202, + "segment": "Чикшина" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Верхний Лунвож (устар. \"Лун-Вож\") — река в России, протекает в Республике Коми по территории Печерского района и Вуктыльского округа.\n\nГеография.\nУстье реки находится в 139 км по правому берегу реки Чикшина. Длина реки составляет 11 км.\nТекст 2: Чикшина (Чикишна) — река в России, протекает в Республике Коми по территории муниципальных районов Вуктыл и Печора. Устье реки находится в 50 км по правому берегу реки Кожвы. Длина реки составляет 153 км, площадь водосборного бассейна — 4540 кв км. В нижнем течении — посёлок Чикшино.\n\nПримечания.\nКатегория:Притоки Кожвы.\nОпираясь на данные тексты, ответьте на вопрос: Как называется водоток, в который впадает река, притоком которой является Верхний Лунвож?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.26923076923076916, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в городе, где появилась на свет Марина Валерьевна Либакова-Ливанова, — Городская Дума Нижнего Новгорода. Это следует из информации из второго текста, где упоминается, что Нижний Новгород является административным центром Нижегородской области и что Городская Дума Нижнего Новгорода является официальной резиденцией", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где появилась на свет Марина Валерьевна Либакова-Ливанова?", + "support_text": "Марина Валерьевна Либакова-Ливанова (30 мая 1952, Горький — 28 октября 2018, Москва) — советская и российская актриса театра и кино, телережиссёр, телерадиоведущая и диктор, педагог, поэтесса.\n\nБиография.\nРодилась 30 мая 1952 года в Горьком. Окончила факультет истории и английского языка ГГПИ им. Горького, в 1978 году — актерский факультет Высшего театрального училища имени Б. В. Щукина с \"красным\" дипломом, после чего по приглашению П. Н. Фоменко начала работать в Ленинградском государственном академическом театре комедии, откуда перешла в театр Аркадия Райкина.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1011, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1011, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 999, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 50, + "segment": "Горький" + }, + { + "label": "passage", + "length": 7, + "offset": 236, + "segment": "Горьком" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган принимает законы в городе, где появилась на свет Марина Валерьевна Либакова-Ливанова?\nТекст 1: Марина Валерьевна Либакова-Ливанова (30 мая 1952, Горький — 28 октября 2018, Москва) — советская и российская актриса театра и кино, телережиссёр, телерадиоведущая и диктор, педагог, поэтесса.\n\nБиография.\nРодилась 30 мая 1952 года в Горьком. Окончила факультет истории и английского языка ГГПИ им. Горького, в 1978 году — актерский факультет Высшего театрального училища имени Б. В. Щукина с \"красным\" дипломом, после чего по приглашению П. Н. Фоменко начала работать в Ленинградском государственном академическом театре комедии, откуда перешла в театр Аркадия Райкина.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Артак Артюшевич Дашян?", + "support_text": "Артак Артюшевич Дашян ( 20 ноября 1989, Ереван, Армянская ССР, СССР) — армянский футболист, полузащитник клуба \"Алашкерт\". Выступал в национальной сборной Армении.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 1027, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 41, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Артак Артюшевич Дашян ( 20 ноября 1989, Ереван, Армянская ССР, СССР) — армянский футболист, полузащитник клуба \"Алашкерт\". Выступал в национальной сборной Армении.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Артак Артюшевич Дашян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кынгыр (Тюрьгюм).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Кынгыр?", + "support_text": "Кынгыр (Тюрьгюм) — река в России, протекает в Республике Башкортостан. Устье реки находится в 4,9 км по правому берегу реки Бирь. Длина реки составляет 41 км, площадь водосборного бассейна 422 кв км. В 24 км от устья, по правому берегу реки впадает река Секияз. В 18 км от устья, по правому берегу реки впадает река Сухоязы.", + "text": "Бирь — река в России, протекает в Республике Башкортостан. Правый приток реки Белой (впадает в Белую в 262 км от устья). Длина реки составляет 128 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Белая от города Бирск и до устья, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201612111100025407." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 78, + "segment": "Белой" + }, + { + "label": "passage", + "length": 5, + "offset": 78, + "segment": "Белая" + } + ], + "meta": { + "id": 421, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 124, + "segment": "Бирь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Кынгыр?\nТекст 1: Кынгыр (Тюрьгюм) — река в России, протекает в Республике Башкортостан. Устье реки находится в 4,9 км по правому берегу реки Бирь. Длина реки составляет 41 км, площадь водосборного бассейна 422 кв км. В 24 км от устья, по правому берегу реки впадает река Секияз. В 18 км от устья, по правому берегу реки впадает река Сухоязы.\nТекст 2: Бирь — река в России, протекает в Республике Башкортостан. Правый приток реки Белой (впадает в Белую в 262 км от устья). Длина реки составляет 128 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Белая от города Бирск и до устья, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201612111100025407.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 275, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Высса.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Тирекрея?", + "support_text": "Тирекрея — река в России, протекает в Бабынинском районе Калужской области. Левый приток Выссы.\n\nГеография.\nРека берёт начало в районе посёлка Садового. Течёт на восток. Устье реки находится у деревни Кромино в 18 км по левому берегу реки Выссы. Длина реки составляет 13 км.", + "text": "Высса — река в Калужской области России, левый приток Оки. Длина реки составляет 50 км, площадь водосборного бассейна — 352 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Ока от города Белёв до города Калуга, без рек Упа и Угра, речной подбассейн реки — бассейны притоков Оки до впадения Мокши. Речной бассейн реки — Ока. Код объекта в государственном водном реестре — 09010100512110000020421. Притоки." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 54, + "segment": "Оки" + }, + { + "label": "passage", + "length": 3, + "offset": 54, + "segment": "Ока" + } + ], + "meta": { + "id": 626, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 89, + "segment": "Выссы" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Тирекрея — река в России, протекает в Бабынинском районе Калужской области. Левый приток Выссы.\n\nГеография.\nРека берёт начало в районе посёлка Садового. Течёт на восток. Устье реки находится у деревни Кромино в 18 км по левому берегу реки Выссы. Длина реки составляет 13 км.\nТекст 2: Высса — река в Калужской области России, левый приток Оки. Длина реки составляет 50 км, площадь водосборного бассейна — 352 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Ока от города Белёв до города Калуга, без рек Упа и Угра, речной подбассейн реки — бассейны притоков Оки до впадения Мокши. Речной бассейн реки — Ока. Код объекта в государственном водном реестре — 09010100512110000020421. Притоки.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Тирекрея?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 261, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нижняя Тунгуска.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Кочечум?", + "support_text": "Кочечум, также встречаются названия \"Кочечума, Кочечумо, Курунчан\" — река в Сибири, в Красноярском крае. Правый и наиболее крупный приток реки Нижняя Тунгуска. Название происходит от — \"излучина реки\" и — \"береговая коса\". Берёт своё начало на южной окраине плато Путорана.", + "text": "Нижняя Тунгуска — река в Восточной Сибири, в Иркутской области и Красноярском крае России, правый, наиболее длинный и второй по полноводности приток Енисея.\n\nГидрология.\nАмплитуда колебания уровня воды очень велика и является наибольшей из наблюдаемых на основных реках России. В суженных местах наблюдаются мощные заторы льда, при которых уровень поднимается на 30—35 м над меженью. Весенний ледоход на Нижней Тунгуске протекает бурно; следы его действия на берегу видны по отполированным скалам, вырванным с корнем деревьям и пр. В отдельные дни расход воды весенне-летнего половодья достигает 74—112 тыс. м³/с и обеспечивает до 50—70 % объёма стока воды в нижнем Енисее." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 149, + "segment": "Енисея" + }, + { + "label": "passage", + "length": 6, + "offset": 149, + "segment": "Енисей" + } + ], + "meta": { + "id": 419, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 143, + "segment": "Нижняя Тунгуска" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кочечум, также встречаются названия \"Кочечума, Кочечумо, Курунчан\" — река в Сибири, в Красноярском крае. Правый и наиболее крупный приток реки Нижняя Тунгуска. Название происходит от — \"излучина реки\" и — \"береговая коса\". Берёт своё начало на южной окраине плато Путорана.\nТекст 2: Нижняя Тунгуска — река в Восточной Сибири, в Иркутской области и Красноярском крае России, правый, наиболее длинный и второй по полноводности приток Енисея.\n\nГидрология.\nАмплитуда колебания уровня воды очень велика и является наибольшей из наблюдаемых на основных реках России. В суженных местах наблюдаются мощные заторы льда, при которых уровень поднимается на 30—35 м над меженью. Весенний ледоход на Нижней Тунгуске протекает бурно; следы его действия на берегу видны по отполированным скалам, вырванным с корнем деревьям и пр. В отдельные дни расход воды весенне-летнего половодья достигает 74—112 тыс. м³/с и обеспечивает до 50—70 % объёма стока воды в нижнем Енисее.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Кочечум? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 314, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Виктор Врёльс, называется Федеральный парламент, состоящий из двух палат: палаты представителей и сената.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Виктор Врёльс?", + "support_text": "Виктор Жан Леонар Врёльс ( 4 февраля 1876, Вервье, Валлония, Бельгия — 27 июля 1944, Брюссель, Бельгия) — бельгийский композитор, скрипач, дирижёр и педагог. Член Королевской Академии Бельгии (1925).", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 428, + "segment": "королём" + } + ], + "meta": { + "id": 782, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 107, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Виктор Врёльс?\nТекст 1: Виктор Жан Леонар Врёльс ( 4 февраля 1876, Вервье, Валлония, Бельгия — 27 июля 1944, Брюссель, Бельгия) — бельгийский композитор, скрипач, дирижёр и педагог. Член Королевской Академии Бельгии (1925).\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 336, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714288, + "em": 0 + }, + "predict": " Автор произведения \"Зерцало Великое\", Винсент из Бове, родился в Бове, около 1190 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился автор произведения \"Зерцало Великое\"?", + "support_text": "220px. Зерцало Великое — средневековая энциклопедия, составленная Викентием из Бове и вместившая в себе всю сумму знаний средневекового человечества. Непосредственно или опосредованно Зерцало великое легло в основу множества дидактических поэм XIV и XV веков и отразилось, между прочим, на \"Божественной Комедии\" Данте.", + "text": "Винсент из Бове ( , , Франция — ) — доминиканский монах, богослов, энциклопедист, философ и педагог.\n\nБиография.\nРодился в 1190 году в Бове, около 1228 г. вступил в орден доминиканцев, около 1246 г. стал субприором доминиканского монастыря в Бове. С конца 1240-х был принят ко двору французского короля Людовика IX в качестве библиотекаря и капеллана. Умер в 1264 г." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 11, + "segment": "Бове" + } + ], + "meta": { + "id": 368, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 66, + "segment": "Викентием из Бове" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: 220px. Зерцало Великое — средневековая энциклопедия, составленная Викентием из Бове и вместившая в себе всю сумму знаний средневекового человечества. Непосредственно или опосредованно Зерцало великое легло в основу множества дидактических поэм XIV и XV веков и отразилось, между прочим, на \"Божественной Комедии\" Данте.\nТекст 2: Винсент из Бове ( , , Франция — ) — доминиканский монах, богослов, энциклопедист, философ и педагог.\n\nБиография.\nРодился в 1190 году в Бове, около 1228 г. вступил в орден доминиканцев, около 1246 г. стал субприором доминиканского монастыря в Бове. С конца 1240-х был принят ко двору французского короля Людовика IX в качестве библиотекаря и капеллана. Умер в 1264 г.\nВопрос: Где родился автор произведения \"Зерцало Великое\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательная власть в городе, где умер Арменак Петросович Дургарян, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Арменак Петросович Дургарян?", + "support_text": "Арменак Петросович Дургарян (1924, Краснодар — 25 февраля 1985, Ереван) — советский футболист, полузащитник. Играл за ереванские команды \"Динамо\" (1947—1954) и \"Спартак\" (1954—1955). В чемпионате СССР в 1949-1950 годах провёл 51 матч, забил 7 голов. Финалист Кубка СССР 1954 года.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 17, + "offset": 353, + "segment": "городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "Ереванским городским советом" + } + ], + "meta": { + "id": 998, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 64, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Арменак Петросович Дургарян (1924, Краснодар — 25 февраля 1985, Ереван) — советский футболист, полузащитник. Играл за ереванские команды \"Динамо\" (1947—1954) и \"Спартак\" (1954—1955). В чемпионате СССР в 1949-1950 годах провёл 51 матч, забил 7 голов. Финалист Кубка СССР 1954 года.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Какой законодательный орган принимает законы в городе, где умер Арменак Петросович Дургарян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 271, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сухояж сливается с рекой Инзер.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Сухояж?", + "support_text": "Сухояж — река в России, протекает по Башкортостану. Устье реки находится в 89 км по левому берегу реки Инзер. Длина реки составляет 13 км.", + "text": "Инзер ( в верховье Большой Инзер) — река в Башкортостане, левый приток реки Сим (бассейн Камы). Берёт начало на западных склонах Южного Урала." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 77, + "segment": "Сим" + } + ], + "meta": { + "id": 271, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 103, + "segment": "Инзер" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Сухояж?\nТекст 1: Сухояж — река в России, протекает по Башкортостану. Устье реки находится в 89 км по левому берегу реки Инзер. Длина реки составляет 13 км.\nТекст 2: Инзер ( в верховье Большой Инзер) — река в Башкортостане, левый приток реки Сим (бассейн Камы). Берёт начало на западных склонах Южного Урала.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Глава администрации в городе Йошкар-Ола, где умер Валериан Михайлович Васильев, является Евгений Васильевич Маслов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Валериан Михайлович Васильев?", + "support_text": "Валериан Михайлович Васильев (псевдоним \"Ӱпымарий\" — \"Уфимский мариец\"; от рождения — \"Вастаев Темьян Гайсинович\", , д. Сусады-Эбалак, Бирский уезд, Уфимская губерния — 2 мая 1961, Йошкар-Ола, СССР) — советский марийский учёный-языковед, фольклорист, этнограф, краевед, просветитель, педагог, общественный деятель. Основоположник марийской лингвистики, этнографии, фольклористики, музыковедения, один из первых марийских писателей.\n\nОсновные произведения.\n110 с. Басня-влак // Мут орлаҥге: ойырен налме проза. Йошкар-Ола, 1963. С. 129—133. Пырыс ден шыл; Пырыс ден коля; Поян веҥе: почеламут-влак // Марий литература (9 класслан хрестоматий).", + "text": "Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск. В 1984 году был награждён орденом Трудового Красного Знамени.\n\nОрганы власти.\nГлава городского округа \"Город Йошкар-Ола\" подконтролен и подотчётен населению и городскому Собранию. С 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 838, + "segment": "Евгений Васильевич Маслов" + } + ], + "meta": { + "id": 945, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 181, + "segment": "Йошкар-Ола" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где умер Валериан Михайлович Васильев?\nТекст 1: Валериан Михайлович Васильев (псевдоним \"Ӱпымарий\" — \"Уфимский мариец\"; от рождения — \"Вастаев Темьян Гайсинович\", , д. Сусады-Эбалак, Бирский уезд, Уфимская губерния — 2 мая 1961, Йошкар-Ола, СССР) — советский марийский учёный-языковед, фольклорист, этнограф, краевед, просветитель, педагог, общественный деятель. Основоположник марийской лингвистики, этнографии, фольклористики, музыковедения, один из первых марийских писателей.\n\nОсновные произведения.\n110 с. Басня-влак // Мут орлаҥге: ойырен налме проза. Йошкар-Ола, 1963. С. 129—133. Пырыс ден шыл; Пырыс ден коля; Поян веҥе: почеламут-влак // Марий литература (9 класслан хрестоматий).\nТекст 2: Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск. В 1984 году был награждён орденом Трудового Красного Знамени.\n\nОрганы власти.\nГлава городского округа \"Город Йошкар-Ола\" подконтролен и подотчётен населению и городскому Собранию. С 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 519, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05405405405405406, + "em": 0 + }, + "predict": " Законодательный орган в стране гражданства Готабаи Раджапаксы — однопалатный парламент, состоящий из 225 мест. Члены парламента избираются путем всеобщего прямого голосования по пропорциональной системе, с дополнительной долей мест для партии, получившей большинство голосов в конкретном округе.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в стране гражданства Готабаи Раджапаксы?", + "support_text": "Готабая Раджапакса ( род. В 1949 году) — государственный и военный деятель Шри-Ланки, 18 ноября 2019 года вступил в должность президента страны.\n\nБиография.\nРодился в одной из влиятельных семей Шри-Ланки. Отец был депутатом и министром. Готабая Раджапакса пятый из девяти детей, его брат Махинда занимал должность президента страны в течение двух сроков.", + "text": "Шри-Ланка ( ), официальное название — Демократическая Социалистическая Республика Шри-Ланка ( ) — государство в Южной Азии, на одноимённом острове у юго-восточного побережья Индостана. Со времён португальского вторжения и до 1972 года в европейских языках страна называлась Цейлон (от ). В переводе с санскрита \"шри-ланка\" (श्री लङ्का) означает \"славная, благословенная земля\"\".\n\nГосударственное устройство и политика.\nПрезидент формирует правительство, также ответственное перед парламентом. Помощник президента — премьер-министр — глава правящей партии. Последние выборы состоялись в 2015 году, на них президентом страны был избран Майтрипала Япа Сирисена. Парламент Шри-Ланки — однопалатный, 225 мест. Члены парламента избираются всеобщим прямым голосованием на основе пропорциональной системы, со следующей особенностью: партия, получившая большинство голосов в каком-либо округе, получает дополнительное место. Только парламент может издавать законы. Президент имеет право отложить или отменить сессию парламента, распустить парламент, если он проработал, по крайней мере, один год." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 483, + "segment": "парламент" + }, + { + "label": "passage", + "length": 9, + "offset": 483, + "segment": "Парламент" + } + ], + "meta": { + "id": 975, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 76, + "segment": "Шри-Ланки" + }, + { + "label": "passage", + "length": 9, + "offset": 198, + "segment": "Шри-Ланки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган работает в стране гражданства Готабаи Раджапаксы?\nТекст 1: Готабая Раджапакса ( род. В 1949 году) — государственный и военный деятель Шри-Ланки, 18 ноября 2019 года вступил в должность президента страны.\n\nБиография.\nРодился в одной из влиятельных семей Шри-Ланки. Отец был депутатом и министром. Готабая Раджапакса пятый из девяти детей, его брат Махинда занимал должность президента страны в течение двух сроков.\nТекст 2: Шри-Ланка ( ), официальное название — Демократическая Социалистическая Республика Шри-Ланка ( ) — государство в Южной Азии, на одноимённом острове у юго-восточного побережья Индостана. Со времён португальского вторжения и до 1972 года в европейских языках страна называлась Цейлон (от ). В переводе с санскрита \"шри-ланка\" (श्री लङ्का) означает \"славная, благословенная земля\"\".\n\nГосударственное устройство и политика.\nПрезидент формирует правительство, также ответственное перед парламентом. Помощник президента — премьер-министр — глава правящей партии. Последние выборы состоялись в 2015 году, на них президентом страны был избран Майтрипала Япа Сирисена. Парламент Шри-Ланки — однопалатный, 225 мест. Члены парламента избираются всеобщим прямым голосованием на основе пропорциональной системы, со следующей особенностью: партия, получившая большинство голосов в каком-либо округе, получает дополнительное место. Только парламент может издавать законы. Президент имеет право отложить или отменить сессию парламента, распустить парламент, если он проработал, по крайней мере, один год.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 393, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Южная Америка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за часть света включает в себя страну, от которой выступал Джефферсон Монтеро?", + "support_text": "Джефферсон Антонио Монтеро Вите ( родился 1 сентября 1989 года, Бабаойо, Эквадор) — эквадорский футболист, полузащитник клуба \"Суонси Сити\", выступающий на правах аренды за \"Бирмингем Сити\". Игрок национальной сборной. Участник чемпионата мира 2014 года.\n\nМеждународная карьера.\nТоварищеский матч. 04. . . 21 марта 2013 . Атауальпа, Кито, Эквадор . Сальвадор . 4:0 .", + "text": "Эквадор (), официальное название — Республика Эквадор ( ), — государство на северо-западе Южной Америки. На западе Эквадор омывается Тихим океаном, на севере граничит с Колумбией, на востоке и юге — с Перу. В состав Эквадора входят острова Галапагос.\n\nКультура.\nЭквадор отличает сочетание испанского культурного наследия с культурными традициями коренного населения. Когда-то территория страны входила с состав империи инков. Кито, сохранившийся лучше прочих колониальных столиц Южной Америки, являет прекрасные образцы ранней колониальной архитектуры. В колониальную эпоху все виды искусства развивались под влиянием церкви и носили отпечаток господствовавшего в Европе стиля барокко. Сейчас многие действующие церкви в Кито хранят бесценные художественные произведения: картины, церковную утварь, резьбу по дереву, статуи и различные украшения." + }, + "outputs": [ + { + "label": "answer", + "length": 7, + "offset": 96, + "segment": "Америки" + } + ], + "meta": { + "id": 718, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 85, + "segment": "эквадорский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Джефферсон Антонио Монтеро Вите ( родился 1 сентября 1989 года, Бабаойо, Эквадор) — эквадорский футболист, полузащитник клуба \"Суонси Сити\", выступающий на правах аренды за \"Бирмингем Сити\". Игрок национальной сборной. Участник чемпионата мира 2014 года.\n\nМеждународная карьера.\nТоварищеский матч. 04. . . 21 марта 2013 . Атауальпа, Кито, Эквадор . Сальвадор . 4:0 .\nТекст 2: Эквадор (), официальное название — Республика Эквадор ( ), — государство на северо-западе Южной Америки. На западе Эквадор омывается Тихим океаном, на севере граничит с Колумбией, на востоке и юге — с Перу. В состав Эквадора входят острова Галапагос.\n\nКультура.\nЭквадор отличает сочетание испанского культурного наследия с культурными традициями коренного населения. Когда-то территория страны входила с состав империи инков. Кито, сохранившийся лучше прочих колониальных столиц Южной Америки, являет прекрасные образцы ранней колониальной архитектуры. В колониальную эпоху все виды искусства развивались под влиянием церкви и носили отпечаток господствовавшего в Европе стиля барокко. Сейчас многие действующие церкви в Кито хранят бесценные художественные произведения: картины, церковную утварь, резьбу по дереву, статуи и различные украшения.\nОпираясь на данные тексты, ответьте на вопрос: Что за часть света включает в себя страну, от которой выступал Джефферсон Монтеро? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 346, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Ашот Тигранович Асланян?", + "support_text": "Ашот Тигранович Асланян ( ) — советский хозяйственный, государственный и политический деятель, доктор геолого-минералогических наук, профессор, академик АН Армянской ССР. Заслуженный деятель науки, заслуженный геолог.\n\nБиблиография.\nАвтор многочисленных научных публикаций, среди них:. Исследование по теории тектонической деформации Земли. Ереван, 1955. Геологическая карта Армянской ССР. 1957. * Региональная геология Армении, Ереван: Айпетрат, 1958. Геологическая карта Армянской ССР. М., 1961 (с А. Т. Вегуни). Тектоническая схема Армянской ССР.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 124, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 344, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ашот Тигранович Асланян ( ) — советский хозяйственный, государственный и политический деятель, доктор геолого-минералогических наук, профессор, академик АН Армянской ССР. Заслуженный деятель науки, заслуженный геолог.\n\nБиблиография.\nАвтор многочисленных научных публикаций, среди них:. Исследование по теории тектонической деформации Земли. Ереван, 1955. Геологическая карта Армянской ССР. 1957. * Региональная геология Армении, Ереван: Айпетрат, 1958. Геологическая карта Армянской ССР. М., 1961 (с А. Т. Вегуни). Тектоническая схема Армянской ССР.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Ашот Тигранович Асланян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 306, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Виктор Семёнович Чернышенко?", + "support_text": "Виктор Семёнович Чернышенко (25 октября 1925, Харьковская губерния — 2 декабря 1997, Челябинск) — советский танкист, Герой Советского Союза (1944). С 17 декабря 1943 года во время Великой Отечественной войны вместе со старшим сержантом А. И. Соколовым держали оборону в танке Т-34, который застрял в болоте у деревни Демешково Невельского района Псковской области.\n\nЛитература.\nЧелябинская область: энциклопедия / гл. ред. К. Н. Бочкарев, — Челябинск, 2003. Т.7. — Х-Я. — С. 300. Бессмертен подвиг их высокий: (Герои Советского Союза Челябинской области): Библиографический указатель / сост. Л. И. Булатова.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1131, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1131, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 544, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 85, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Виктор Семёнович Чернышенко (25 октября 1925, Харьковская губерния — 2 декабря 1997, Челябинск) — советский танкист, Герой Советского Союза (1944). С 17 декабря 1943 года во время Великой Отечественной войны вместе со старшим сержантом А. И. Соколовым держали оборону в танке Т-34, который застрял в болоте у деревни Демешково Невельского района Псковской области.\n\nЛитература.\nЧелябинская область: энциклопедия / гл. ред. К. Н. Бочкарев, — Челябинск, 2003. Т.7. — Х-Я. — С. 300. Бессмертен подвиг их высокий: (Герои Советского Союза Челябинской области): Библиографический указатель / сост. Л. И. Булатова.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Виктор Семёнович Чернышенко? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 524, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Алексей Дюмин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Андрей Михайлович Черкесов?", + "support_text": "Андрей Михайлович Черкесов (22.10.1905, Тульская область — 09.03.1943) — советский военнослужащий, участник Великой Отечественной войны, Герой Советского Союза, инженер-мостовик, первый заместитель начальника отдела мостов и тоннелей Центрального управления пути Народного комиссариата путей сообщения.\n\nБиография.\nРодился 22 октября 1905 года в селе Зайцево Белевского района Тульской области в крестьянской семье. В 14 лет остался без матери, два года беспризорничал. В начале 1920-х годов оказался в совхозе на станции Саблино под Петроградом.", + "text": "Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров. Наибольшая протяженность территории области с севера на юг - 200 километров, с запада на восток - 190 километров.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 447, + "segment": "Алексей Дюмин" + } + ], + "meta": { + "id": 245, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 40, + "segment": "Тульская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Андрей Михайлович Черкесов (22.10.1905, Тульская область — 09.03.1943) — советский военнослужащий, участник Великой Отечественной войны, Герой Советского Союза, инженер-мостовик, первый заместитель начальника отдела мостов и тоннелей Центрального управления пути Народного комиссариата путей сообщения.\n\nБиография.\nРодился 22 октября 1905 года в селе Зайцево Белевского района Тульской области в крестьянской семье. В 14 лет остался без матери, два года беспризорничал. В начале 1920-х годов оказался в совхозе на станции Саблино под Петроградом.\nТекст 2: Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров. Наибольшая протяженность территории области с севера на юг - 200 километров, с запада на восток - 190 километров.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Андрей Михайлович Черкесов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 309, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714288, + "em": 0 + }, + "predict": " Ситников Сергей Константинович является главой администрации в регионе, где родилась Валентина Александровна Федотова. Это Костромская область, где Валентина Федотова родилась 29 июля 1947 года в деревне Самычево. Ситников Сергей Константинович стал губернатором этой области с 13 апреля 2012 года", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родилась Валентина Александровна Федотова?", + "support_text": "Валентина Александровна Федотова (род. 1947) — советская и российская актриса театра и кино, народная артистка России (1999).\n\nБиография.\nВалентина Федотова родилась 29 июля 1947 года в деревне Самычево Костромской области. В 1972 году окончила Саратовское театральное училище им. И. А. Слонова (класс Д. А. Лядова). Сезон 1972—1973 года Валентина Федотова проработала в Ставропольском драматическом театре.", + "text": "Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта. Территория области составляет кв км.\n\nОрганы власти.\nВ апреле 2005 года Президент России В. В. Путин предложил его кандидатуру на новый губернаторский срок. 11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 662, + "segment": "Ситников Сергей Константинович" + }, + { + "label": "passage", + "length": 30, + "offset": 662, + "segment": "Сергей Константинович Ситников" + } + ], + "meta": { + "id": 557, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 206, + "segment": "Костромской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Валентина Александровна Федотова (род. 1947) — советская и российская актриса театра и кино, народная артистка России (1999).\n\nБиография.\nВалентина Федотова родилась 29 июля 1947 года в деревне Самычево Костромской области. В 1972 году окончила Саратовское театральное училище им. И. А. Слонова (класс Д. А. Лядова). Сезон 1972—1973 года Валентина Федотова проработала в Ставропольском драматическом театре.\nТекст 2: Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта. Территория области составляет кв км.\n\nОрганы власти.\nВ апреле 2005 года Президент России В. В. Путин предложил его кандидатуру на новый губернаторский срок. 11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родилась Валентина Александровна Федотова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 355, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Юрий Цкипури является главой администрации в городе Тула, где родился Михаил Михайлович Покровский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Михаил Михайлович Покровский?", + "support_text": "Михаил Михайлович Покровский (1868/1869, Тула — 1942, Казань) — российский и советский филолог-классик, лингвист и литературовед. Профессор Московского университета (с 1899), академик АН СССР (с 1929, чл-корр. С 1917), создатель (совместно с С. И. Соболевским) и первый заведующий кафедрой классической филологии в МИФЛИ.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 708, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 521, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 41, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Михаил Михайлович Покровский (1868/1869, Тула — 1942, Казань) — российский и советский филолог-классик, лингвист и литературовед. Профессор Московского университета (с 1899), академик АН СССР (с 1929, чл-корр. С 1917), создатель (совместно с С. И. Соболевским) и первый заведующий кафедрой классической филологии в МИФЛИ.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города.\nВопрос: Кто является главой администрации в городе, где родился Михаил Михайлович Покровский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 368, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Клязьма.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Вахчилка?", + "support_text": "Вахчилка — река в России, протекает в Киржачском районе Владимирской области. Устье реки находится в 61 км по левому берегу реки Киржач. Длина реки составляет 23 км, площадь водосборного бассейна — 99 кв км. Исток реки в лесистой местности в 17 км к северо-востоку от Киржача. Река течёт на юго-запад, протекает деревни Бельцы, Желдыбино, Власьево (в деревне на реке плотина и запруда), Арефино, Ефаново. В нижнем течении течёт по юго-восточной окраине города Киржач. Перед устьем на реке плотина и водохранилище, известное также как озеро Крутое.", + "text": "Киржач (в верховье — Большой Киржач) — река во Владимирской области России, левый приток Клязьмы (на двух небольших участках в нижнем течении образует границу с Московской областью). Длина составляет 133 км (без Большого Киржача — 78 км), наибольшая глубина — 4 м, наибольшая ширина — 70 м.\n\nГеография.\nЗдесь долина реки Киржач и окраины болота на протяжении почти двух вёрст покрыты роскошным пестроцветным ковром луговых растений. На реке Киржач расположен одноимённый город. Основное направление течения — с севера на юг. Устье при впадении Киржача в Клязьму в районе посёлка Городищи, в 10 км от Покрова.\n\nИстория.\nС 1778 года среднее и нижнее течение располагалось в Покровском уезде Владимирской губернии. Некоторые водные пути из Владимирского ополья в торговый Великий Новгород шли через Плещеево озеро. Одним из таких путей был такой: из Плещеева Озера (Переяславль-Залесский, Клещин) по реке Трубеж до истоков, далее Берендеевым озером (ныне Берендеево болото) в реку Киржач (согласно другому источнику Малый Киржач), вниз по течению Киржача в Клязьму, далее в Оку и Волгу. По распоряжению Юрия Долгорукого в городе Клещин начали строить каменную церковь. В 1152 году, по не отражённым в летописях обстоятельствам, её было решено перенести в расположенный рядом Переславль-Залесский. Белый камень возили или с Волги, из Болгар, или с Клязьмы (Ковровские каменоломни)." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 89, + "segment": "Клязьмы" + }, + { + "label": "passage", + "length": 7, + "offset": 89, + "segment": "Клязьму" + } + ], + "meta": { + "id": 334, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 38, + "segment": "Киржач" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Вахчилка — река в России, протекает в Киржачском районе Владимирской области. Устье реки находится в 61 км по левому берегу реки Киржач. Длина реки составляет 23 км, площадь водосборного бассейна — 99 кв км. Исток реки в лесистой местности в 17 км к северо-востоку от Киржача. Река течёт на юго-запад, протекает деревни Бельцы, Желдыбино, Власьево (в деревне на реке плотина и запруда), Арефино, Ефаново. В нижнем течении течёт по юго-восточной окраине города Киржач. Перед устьем на реке плотина и водохранилище, известное также как озеро Крутое.\nТекст 2: Киржач (в верховье — Большой Киржач) — река во Владимирской области России, левый приток Клязьмы (на двух небольших участках в нижнем течении образует границу с Московской областью). Длина составляет 133 км (без Большого Киржача — 78 км), наибольшая глубина — 4 м, наибольшая ширина — 70 м.\n\nГеография.\nЗдесь долина реки Киржач и окраины болота на протяжении почти двух вёрст покрыты роскошным пестроцветным ковром луговых растений. На реке Киржач расположен одноимённый город. Основное направление течения — с севера на юг. Устье при впадении Киржача в Клязьму в районе посёлка Городищи, в 10 км от Покрова.\n\nИстория.\nС 1778 года среднее и нижнее течение располагалось в Покровском уезде Владимирской губернии. Некоторые водные пути из Владимирского ополья в торговый Великий Новгород шли через Плещеево озеро. Одним из таких путей был такой: из Плещеева Озера (Переяславль-Залесский, Клещин) по реке Трубеж до истоков, далее Берендеевым озером (ныне Берендеево болото) в реку Киржач (согласно другому источнику Малый Киржач), вниз по течению Киржача в Клязьму, далее в Оку и Волгу. По распоряжению Юрия Долгорукого в городе Клещин начали строить каменную церковь. В 1152 году, по не отражённым в летописях обстоятельствам, её было решено перенести в расположенный рядом Переславль-Залесский. Белый камень возили или с Волги, из Болгар, или с Клязьмы (Ковровские каменоломни).\nВопрос: В какую реку впадает река, притоком которой является Вахчилка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 568, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.04347826086956522, + "em": 0 + }, + "predict": " Ильдар Фердинандович Ахмеров родился в Казани, которая является столицей Республики Татарстан и является одним из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. В городе Казань главой администрации является мэр, избираемый депутатами Городской думы из своего числа. С 17 ноября 200", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Ильдар Фердинандович Ахмеров?", + "support_text": "Ильдар Фердинандович Ахмеров (род. 7 августа 1965, Казань, ТАССР, РСФСР, СССР) — российский военно-морской деятель, командующий Каспийской флотилией (2014—2015), контр-адмирал (2021).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 595, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 198, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 51, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Ильдар Фердинандович Ахмеров?\nТекст 1: Ильдар Фердинандович Ахмеров (род. 7 августа 1965, Казань, ТАССР, РСФСР, СССР) — российский военно-морской деятель, командующий Каспийской флотилией (2014—2015), контр-адмирал (2021).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14814814814814814, + "em": 0 + }, + "predict": " Евгений Савченко является главой администрации в регионе, где родился Игорь Андреевич Чернухин. Он занимал должность губернатора Белгородской области с 1993 по 17 сентября 2020 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Игорь Андреевич Чернухин?", + "support_text": "Игорь Андреевич Чернухин (8 февраля 1930, Томаровка — 28 апреля 2017, Белгород) — русский поэт, прозаик, публицист, член Союза писателей России, Заслуженный работник культуры Российской Федерации.\n\nБиография.\nРодился 8 февраля 1930 года в селе Томаровка Томаровского района Центрально-Чернозёмной области (сейчас в составе Яковлевского района Белгородской области). В 1948 году окончил Томаровскую среднюю школу и поступил в Харьковский юридический институт.\n\nПамять.\nИмя И. А. Чернухина занесено в Белгородскую энциклопедию (2000), в энциклопедию \"Лучшие люди России\" (Москва, 2005). Одна из улиц пгт. Томаровка носит имя поэта. Изучение творчества вошло в программу предмета \"Родная литература\" в школах Белгородской области. Строки стихов высечены на мемориальном комплексе \"Курская дуга\" в Яковлевском районе, у трассы Москва-Симферополь; на братской могиле советских воинов в пгт. Прохоровка; на памятнике \"Скорбящая мать\" у братской могилы восточнее села Бутово Яковлевского района. В январе 2019 года состоялось торжественное открытие мемориальной доски Игорю Анреевичу Чернухину на фасаде здания Томаровского Дома культуры.", + "text": "Белгородская область (неофиц. \"Белогорье, Святое Белогорье, Белгородчина, Белгородщина\") — субъект Российской Федерации, расположен в юго-западной части России в 500—700 км к югу от Москвы, на границе с Украиной. Крупнейшие города: Белгород — чел., Старый Оскол — чел., Губкин — человек.\n\nОрганы государственной власти.\nГубернатор Белгородской области — высшее должностное лицо, срок полномочий — 5 лет. Избирается населением. Является председателем Правительства Белгородской области. С 1993 до 17 сентября 2020 губернатор области был Евгений Савченко. В 1993 году был назначен на эту должность, переизбирался в 1995, 1999, 2003 и 2012 годах, переназначен в 2007 году.\n\nСсылки.\nОфициальный сайт. Законодательные и нормативные акты Белгородской области. Евгений Савченко. Персональный сайт и видеоблог губернатора Белгородской области." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 542, + "segment": "Евгений Савченко" + } + ], + "meta": { + "id": 927, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 346, + "segment": "Белгородской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Игорь Андреевич Чернухин (8 февраля 1930, Томаровка — 28 апреля 2017, Белгород) — русский поэт, прозаик, публицист, член Союза писателей России, Заслуженный работник культуры Российской Федерации.\n\nБиография.\nРодился 8 февраля 1930 года в селе Томаровка Томаровского района Центрально-Чернозёмной области (сейчас в составе Яковлевского района Белгородской области). В 1948 году окончил Томаровскую среднюю школу и поступил в Харьковский юридический институт.\n\nПамять.\nИмя И. А. Чернухина занесено в Белгородскую энциклопедию (2000), в энциклопедию \"Лучшие люди России\" (Москва, 2005). Одна из улиц пгт. Томаровка носит имя поэта. Изучение творчества вошло в программу предмета \"Родная литература\" в школах Белгородской области. Строки стихов высечены на мемориальном комплексе \"Курская дуга\" в Яковлевском районе, у трассы Москва-Симферополь; на братской могиле советских воинов в пгт. Прохоровка; на памятнике \"Скорбящая мать\" у братской могилы восточнее села Бутово Яковлевского района. В январе 2019 года состоялось торжественное открытие мемориальной доски Игорю Анреевичу Чернухину на фасаде здания Томаровского Дома культуры.\nТекст 2: Белгородская область (неофиц. \"Белогорье, Святое Белогорье, Белгородчина, Белгородщина\") — субъект Российской Федерации, расположен в юго-западной части России в 500—700 км к югу от Москвы, на границе с Украиной. Крупнейшие города: Белгород — чел., Старый Оскол — чел., Губкин — человек.\n\nОрганы государственной власти.\nГубернатор Белгородской области — высшее должностное лицо, срок полномочий — 5 лет. Избирается населением. Является председателем Правительства Белгородской области. С 1993 до 17 сентября 2020 губернатор области был Евгений Савченко. В 1993 году был назначен на эту должность, переизбирался в 1995, 1999, 2003 и 2012 годах, переназначен в 2007 году.\n\nСсылки.\nОфициальный сайт. Законодательные и нормативные акты Белгородской области. Евгений Савченко. Персональный сайт и видеоблог губернатора Белгородской области.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Игорь Андреевич Чернухин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 565, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Виктор Михайлович Круглов родился в городе Подольск, Московской области. В настоящее время главой города Подольска является Николай Пестов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Виктор Михайлович Круглов?", + "support_text": "Виктор Михайлович Круглов (19 января 1955, Подольск, Московская область) — советский футболист, защитник. За московское Торпедо сыграл 231 матч. Игрок сборной СССР. Мастер спорта международного класса (1976).", + "text": "Подольск — город в Московской области России. Образует административно-территориальную единицу (город областного значения с административной территорией) и одноимённое муниципальное образование со статусом городского округа. Расположен на реке Пахре (приток Москвы-реки). Один из крупнейших городов-спутников Москвы (второй после Балашихи). До 2015 года также являлся административным центром Подольского района, ныне упразднённого.\n\nМестное самоуправление.\nНа постоянной основе могут работать не более 10 % депутатов от установленной численности городского Совета депутатов. Председатель городского Совета депутатов (в настоящее время им является Дмитрий Николаевич Машков) и заместитель председателя городского Совета депутатов (Геннадий Николаевич Хрячков) избираются из числа депутатов в порядке, установленном Регламентом городского Совета депутатов, и работают на постоянной основе. В сквере перед зданием Администрации. Глава города является высшим должностным лицом города Подольска, избираемым гражданами, проживающими на территории города и обладающими избирательным правом, на основании всеобщего, равного и прямого избирательного права при тайном голосовании сроком на 5 лет. В настоящее время главой города является Николай Пестов. Глава города подконтролен и подотчётен населению и городскому Совету депутатов. Администрация города является юридическим лицом и осуществляет исполнительно-распорядительные функции. Она подотчётна городскому Совету депутатов по вопросам его компетенции и государственным органам по вопросам, связанным с полномочиями этих органов." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Николай Пестов" + } + ], + "meta": { + "id": 178, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 43, + "segment": "Подольск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Виктор Михайлович Круглов (19 января 1955, Подольск, Московская область) — советский футболист, защитник. За московское Торпедо сыграл 231 матч. Игрок сборной СССР. Мастер спорта международного класса (1976).\nТекст 2: Подольск — город в Московской области России. Образует административно-территориальную единицу (город областного значения с административной территорией) и одноимённое муниципальное образование со статусом городского округа. Расположен на реке Пахре (приток Москвы-реки). Один из крупнейших городов-спутников Москвы (второй после Балашихи). До 2015 года также являлся административным центром Подольского района, ныне упразднённого.\n\nМестное самоуправление.\nНа постоянной основе могут работать не более 10 % депутатов от установленной численности городского Совета депутатов. Председатель городского Совета депутатов (в настоящее время им является Дмитрий Николаевич Машков) и заместитель председателя городского Совета депутатов (Геннадий Николаевич Хрячков) избираются из числа депутатов в порядке, установленном Регламентом городского Совета депутатов, и работают на постоянной основе. В сквере перед зданием Администрации. Глава города является высшим должностным лицом города Подольска, избираемым гражданами, проживающими на территории города и обладающими избирательным правом, на основании всеобщего, равного и прямого избирательного права при тайном голосовании сроком на 5 лет. В настоящее время главой города является Николай Пестов. Глава города подконтролен и подотчётен населению и городскому Совету депутатов. Администрация города является юридическим лицом и осуществляет исполнительно-распорядительные функции. Она подотчётна городскому Совету депутатов по вопросам его компетенции и государственным органам по вопросам, связанным с полномочиями этих органов.\nВопрос: Кто является главой администрации в городе, где родился Виктор Михайлович Круглов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 399, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " обер-берггауптман 4 класса.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется должность человека, возглавлявшего государство, гражданином которого был Павел Егорович Томилов?", + "support_text": "Павел Егорович Томилов — российский горный инженер, берг-инспектор Уральских заводов, обер-берггауптман 4 класса.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 739, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 28, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 25, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется должность человека, возглавлявшего государство, гражданином которого был Павел Егорович Томилов?\nТекст 1: Павел Егорович Томилов — российский горный инженер, берг-инспектор Уральских заводов, обер-берггауптман 4 класса.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 340, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Федеральный парламент, состоящий из двух палат: палаты представителей и сената, является законодательным органом в стране гражданства Франсуа Крепэна, Бельгии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Франсуа Крепэна?", + "support_text": "Франсуа Крепэн ( 30 октября 1830 — 30 апреля 1903) — бельгийский ботаник.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 428, + "segment": "королём" + } + ], + "meta": { + "id": 725, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 53, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Франсуа Крепэн ( 30 октября 1830 — 30 апреля 1903) — бельгийский ботаник.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в стране гражданства Франсуа Крепэна?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 295, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Тапсуй.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Ярыщ?", + "support_text": "Ярыщ — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится в 3 км по правому берегу реки Тапсуй. Длина реки составляет 31 км.", + "text": "Тапсуй (также Тапыс) — река в России, протекает по территории Советского и Берёзовского районов Ханты-Мансийского автономного округа. Устье реки находится на 591-м км правого берега реки Северная Сосьва. Длина Тапсуя — 283 км, площадь водосборного бассейна — 9430 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 187, + "segment": "Северная Сосьва" + } + ], + "meta": { + "id": 362, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 122, + "segment": "Тапсуй" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Ярыщ — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится в 3 км по правому берегу реки Тапсуй. Длина реки составляет 31 км.\nТекст 2: Тапсуй (также Тапыс) — река в России, протекает по территории Советского и Берёзовского районов Ханты-Мансийского автономного округа. Устье реки находится на 591-м км правого берега реки Северная Сосьва. Длина Тапсуя — 283 км, площадь водосборного бассейна — 9430 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.\nВопрос: В какую реку впадает река, притоком которой является Ярыщ?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.0625, + "em": 0 + }, + "predict": " Большая Кокшага впадает в Волгу. В бассейне Большой Кокшаги находится и река Липша, которая является её притоком. Таким образом, Большая Кокшага является рекой, впадающей в Волгу, через которую протекает и Липша.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Липша?", + "support_text": "Липша или Липшнинка (\"Липшинка\") — река в России, протекает по Республике Марий Эл и Чувашской Республике. Устье реки находится в 31 км от устья Большой Кокшаги по правому берегу. Длина реки составляет 22 км, площадь водосборного бассейна — 144 кв км. Исток реки в лесу в 17 км к северо-востоку от центра Чебоксар. Река течёт на восток и юго-восток, верховья находятся в Чебоксарском районе Чувашской Республики, остальное течение в Звениговском районе Марий Эл.\n\nПримечания.\nКатегория:Притоки Большой Кокшаги.", + "text": "Бассейн Волги. Большая Кокшага — река в Кировской области и Марий Эл, левый приток Волги.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Волга от Чебоксарского гидроузла до города Казань, без рек Свияга и Цивиль, речной подбассейн реки — Волга от впадения Оки до Куйбышевского водохранилища (без бассейна Суры). Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). Код объекта в государственном водном реестре — 08010400712112100000510." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 8, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 8, + "segment": "Волгу" + } + ], + "meta": { + "id": 838, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 145, + "segment": "Большой Кокшаги" + }, + { + "label": "passage", + "length": 15, + "offset": 497, + "segment": "Большой Кокшаги" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Липша?\nТекст 1: Липша или Липшнинка (\"Липшинка\") — река в России, протекает по Республике Марий Эл и Чувашской Республике. Устье реки находится в 31 км от устья Большой Кокшаги по правому берегу. Длина реки составляет 22 км, площадь водосборного бассейна — 144 кв км. Исток реки в лесу в 17 км к северо-востоку от центра Чебоксар. Река течёт на восток и юго-восток, верховья находятся в Чебоксарском районе Чувашской Республики, остальное течение в Звениговском районе Марий Эл.\n\nПримечания.\nКатегория:Притоки Большой Кокшаги.\nТекст 2: Бассейн Волги. Большая Кокшага — река в Кировской области и Марий Эл, левый приток Волги.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Волга от Чебоксарского гидроузла до города Казань, без рек Свияга и Цивиль, речной подбассейн реки — Волга от впадения Оки до Куйбышевского водохранилища (без бассейна Суры). Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). Код объекта в государственном водном реестре — 08010400712112100000510.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 334, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2608695652173913, + "em": 0 + }, + "predict": " Владимир Валерьянович Сержпинский жил в Урджарском районе Восточно-Казахстанской области, и в это время главой администрации региона был Ахметов, Даниал Кенжетаевич.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где жил Владимир Валерьянович Сержпинский?", + "support_text": "Владимир Валерьянович Сержпинский (1919 — 18.01.1945) — командир отделения 92-й отдельной гвардейской разведывательной роты, гвардии сержант — на момент представления к награждению орденом Славы.\n\nБиография.\nРодился в 1919 году в городе Ростов-на-Дону. Окончил 7 классов. Жил в Урджарском районе Семипалатинской, Восточно-Казахстанской области. В ноябре 1941 года был призван в Красную Армию Урджарским райвоенкоматом. С этого же времени на фронте. К 1944 году имел 6 легких и одно тяжелое ранение.", + "text": "Восточно-Казахстанская область — область в восточной части Казахстана, на границе с Россией и Китаем. Административный центр — город Усть-Каменогорск.\n\n[[Список акимов областей Казахстана|Акимы]].\n# Храпунов, Виктор Вячеславович (8 декабря 2004 — 11 января 2007). # Карибжанов, Жаныбек Салимович (январь 2007 — май 2008). # Бергенев, Адылгазы Садвокасович (7 мая 2008 — 4 марта 2009). # Сапарбаев, Бердыбек Машбекович (4 марта 2009 — 11 ноября 2014). # Ахметов, Даниал Кенжетаевич (с 11 ноября 2014)." + }, + "outputs": [ + { + "label": "answer", + "length": 27, + "offset": 456, + "segment": "Ахметов, Даниал Кенжетаевич" + }, + { + "label": "answer", + "length": 27, + "offset": 456, + "segment": "Даниал Кенжетаевич Ахметов" + } + ], + "meta": { + "id": 657, + "bridge_answers": [ + { + "label": "passage", + "length": 30, + "offset": 316, + "segment": "Восточно-Казахстанской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в регионе, где жил Владимир Валерьянович Сержпинский?\nТекст 1: Владимир Валерьянович Сержпинский (1919 — 18.01.1945) — командир отделения 92-й отдельной гвардейской разведывательной роты, гвардии сержант — на момент представления к награждению орденом Славы.\n\nБиография.\nРодился в 1919 году в городе Ростов-на-Дону. Окончил 7 классов. Жил в Урджарском районе Семипалатинской, Восточно-Казахстанской области. В ноябре 1941 года был призван в Красную Армию Урджарским райвоенкоматом. С этого же времени на фронте. К 1944 году имел 6 легких и одно тяжелое ранение.\nТекст 2: Восточно-Казахстанская область — область в восточной части Казахстана, на границе с Россией и Китаем. Административный центр — город Усть-Каменогорск.\n\n[[Список акимов областей Казахстана|Акимы]].\n# Храпунов, Виктор Вячеславович (8 декабря 2004 — 11 января 2007). # Карибжанов, Жаныбек Салимович (январь 2007 — май 2008). # Бергенев, Адылгазы Садвокасович (7 мая 2008 — 4 марта 2009). # Сапарбаев, Бердыбек Машбекович (4 марта 2009 — 11 ноября 2014). # Ахметов, Даниал Кенжетаевич (с 11 ноября 2014).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 379, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Сергеевич Аверьянов?", + "support_text": "Николай Сергеевич Аверьянов (4 февраля 1980, Челябинск, СССР) — российский легкоатлет, участник Олимпийских игр. Мастер спорта международного класса.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1190, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1190, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 949, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 45, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Сергеевич Аверьянов (4 февраля 1980, Челябинск, СССР) — российский легкоатлет, участник Олимпийских игр. Мастер спорта международного класса.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Николай Сергеевич Аверьянов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Президент", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется должность человека, возглавлявшего государство, гражданином которого был Ахмад Матин-Дафтари?", + "support_text": "Ахмад Матин-Дафтари — политический и государственный деятель Ирана. Занимал должность премьер-министра Ирана во время правления шаха Резы Пехлеви.\n\nБиография.\nРодился в 1896 году в иранском городе Тегеране, потомок представителей династии Зенды. Ахмад Матин-Дафтари посещал немецкую школу в Тегеране. После окончания средней школы продолжил обучение во Франции, где защитил докторскую степень по юриспруденции. Затем вернулся в Иран, являлся членом иранского парламента. В 1939 году стал премьер-министром страны после отставки Махмуда Джема. На этой должности организовал первую в истории Ирана перепись населения, а также принял участие в основании Радио Тегерана с помощью немецкой компании Siemens. Помимо политической деятельности Ахмад Матин-Дафтари преподавал право в университете Тегерана. В 1941 году Иран был оккупирован британскими и советскими войсками, а Ахмад Матин-Дафтари был арестован британскими военными из-за политических связей с Германией. Ахмад Матин-Дафтари был женат на дочери Мохаммеда Мосаддыка и имел двух сыновей.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана. На протяжении многих веков эта страна играла ключевую роль на Востоке, и современный Иран обладает четвёртой по размеру ВВП (по ППС) экономикой в исламском мире и второй по размеру в Западной Азии (после Турции).\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Хотя президент назначает министров обороны и разведки, кандидатуры должны быть заранее одобрены Высшим руководителем. Совет целесообразности разрешает спорные вопросы, возникающие между Меджлисом и Советом стражей. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 664, + "segment": "Высший руководитель" + }, + { + "label": "passage", + "length": 20, + "offset": 1145, + "segment": "Высшего руководителя" + } + ], + "meta": { + "id": 803, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 61, + "segment": "Ирана" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ахмад Матин-Дафтари — политический и государственный деятель Ирана. Занимал должность премьер-министра Ирана во время правления шаха Резы Пехлеви.\n\nБиография.\nРодился в 1896 году в иранском городе Тегеране, потомок представителей династии Зенды. Ахмад Матин-Дафтари посещал немецкую школу в Тегеране. После окончания средней школы продолжил обучение во Франции, где защитил докторскую степень по юриспруденции. Затем вернулся в Иран, являлся членом иранского парламента. В 1939 году стал премьер-министром страны после отставки Махмуда Джема. На этой должности организовал первую в истории Ирана перепись населения, а также принял участие в основании Радио Тегерана с помощью немецкой компании Siemens. Помимо политической деятельности Ахмад Матин-Дафтари преподавал право в университете Тегерана. В 1941 году Иран был оккупирован британскими и советскими войсками, а Ахмад Матин-Дафтари был арестован британскими военными из-за политических связей с Германией. Ахмад Матин-Дафтари был женат на дочери Мохаммеда Мосаддыка и имел двух сыновей.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана. На протяжении многих веков эта страна играла ключевую роль на Востоке, и современный Иран обладает четвёртой по размеру ВВП (по ППС) экономикой в исламском мире и второй по размеру в Западной Азии (после Турции).\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Хотя президент назначает министров обороны и разведки, кандидатуры должны быть заранее одобрены Высшим руководителем. Совет целесообразности разрешает спорные вопросы, возникающие между Меджлисом и Советом стражей. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется должность человека, возглавлявшего государство, гражданином которого был Ахмад Матин-Дафтари? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 778, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Оттава, Онтарио, Канада", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место, в котором появился на свет человек, снявший фильм \"Возвращение мистера Рипли\"?", + "support_text": "'Возвращение мистера Рипли' — американо-немецкий детективный триллер Роджера Споттисвуда 2005 года, снятый по роману Патриции Хайсмит, второму в серии о похождениях афериста Тома Рипли.", + "text": "Роджер Споттисвуд ( род. 5 января 1945, Оттава, Онтарио, Канада) — канадский и американский кинорежиссёр, автор телевизионных фильмов, сценарист." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 41, + "segment": "Оттава" + } + ], + "meta": { + "id": 402, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 69, + "segment": "Роджера Споттисвуда" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: 'Возвращение мистера Рипли' — американо-немецкий детективный триллер Роджера Споттисвуда 2005 года, снятый по роману Патриции Хайсмит, второму в серии о похождениях афериста Тома Рипли.\nТекст 2: Роджер Споттисвуд ( род. 5 января 1945, Оттава, Онтарио, Канада) — канадский и американский кинорежиссёр, автор телевизионных фильмов, сценарист.\nОпираясь на данные тексты, ответьте на вопрос: Как называется место, в котором появился на свет человек, снявший фильм \"Возвращение мистера Рипли\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.33333333333333337, + "em": 0 + }, + "predict": " Бактак сливается с рекой Ик.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Бактак?", + "support_text": "Бактак — река в России, протекает в Оренбургской области. Устье реки находится в 12 км по правому берегу реки Тирис. Длина реки составляет 11 км, площадь водосборного бассейна 50,1 кв км.", + "text": "Тирис — река в России, протекает в Оренбургской области. Устье реки находится в 510 км по левому берегу реки Ик. Длина реки составляет 46 км, площадь водосборного бассейна 602 кв км. Протекает через город Абдулино.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ик от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 2, + "offset": 109, + "segment": "Ик" + } + ], + "meta": { + "id": 908, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 110, + "segment": "Тирис" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Бактак — река в России, протекает в Оренбургской области. Устье реки находится в 12 км по правому берегу реки Тирис. Длина реки составляет 11 км, площадь водосборного бассейна 50,1 кв км.\nТекст 2: Тирис — река в России, протекает в Оренбургской области. Устье реки находится в 510 км по левому берегу реки Ик. Длина реки составляет 46 км, площадь водосборного бассейна 602 кв км. Протекает через город Абдулино.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ик от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Бактак?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.08695652173913045, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где появился на свет Павел Милославович Балабан, — Городская Дума Нижнего Новгорода. Это подтверждается из второго текста, где упоминается, что Нижний Новгород является административным центром Приволжского федерального округа и Нижегородской области, а также что Нижегородский кремль является официальной", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Павел Милославович Балабан?", + "support_text": "Павел Милославович Балабан (род. 4 июля 1951 года) — советский и российский , специалист в области клеточных механизмов памяти и обучения, директор ИВНД РАН, член-корреспондент РАН (2011).\n\nБиография.\nРодился 4 июля 1951 года в Горьком (сейчас это — Нижний Новгород). Окончил биологический факультет МГУ.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 757, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 757, + "segment": "Городская дума" + } + ], + "meta": { + "id": 143, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 253, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Павел Милославович Балабан?\nТекст 1: Павел Милославович Балабан (род. 4 июля 1951 года) — советский и российский , специалист в области клеточных механизмов памяти и обучения, директор ИВНД РАН, член-корреспондент РАН (2011).\n\nБиография.\nРодился 4 июля 1951 года в Горьком (сейчас это — Нижний Новгород). Окончил биологический факультет МГУ.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 299, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.125, + "em": 0 + }, + "predict": " Ситников Сергей Константинович является главой администрации в регионе, где родился Яков Фёдорович Шабанов. Это потому что Яков Фёдорович Шабанов родился в деревне Дедково, ныне входящей в состав Костромского района, что является частью Костромской области. Ситников Сергей Константинович стал губернатором этой области с 13 апреля 20", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Яков Фёдорович Шабанов?", + "support_text": "Яков Фёдорович Шабанов (6 ноября 1904 года, деревня Дедково, ныне Костромской район, Костромская область — 19 мая 1956 года, Москва) — советский военный деятель, полковник (1943 год).", + "text": "Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома.\n\nОрганы власти.\nВ апреле 2005 года Президент России В. В. Путин предложил его кандидатуру на новый губернаторский срок. 11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов. Председателем Думы I и II созывов в 1994—2000 гг. избирался Андрей Иванович Бычков." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 568, + "segment": "Ситников Сергей Константинович" + }, + { + "label": "passage", + "length": 30, + "offset": 568, + "segment": "Сергей Константинович Ситников" + } + ], + "meta": { + "id": 251, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 85, + "segment": "Костромская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Яков Фёдорович Шабанов (6 ноября 1904 года, деревня Дедково, ныне Костромской район, Костромская область — 19 мая 1956 года, Москва) — советский военный деятель, полковник (1943 год).\nТекст 2: Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома.\n\nОрганы власти.\nВ апреле 2005 года Президент России В. В. Путин предложил его кандидатуру на новый губернаторский срок. 11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов. Председателем Думы I и II созывов в 1994—2000 гг. избирался Андрей Иванович Бычков.\nВопрос: Кто является главой администрации в регионе, где родился Яков Фёдорович Шабанов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 302, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Гаральд Константинович Сорокин?", + "support_text": "Сорокин Гаральд Константинович (30 января 1939 — 6 июня 2011, Нижний Новгород) — советский и российский шахматист, мастер спорта СССР (1971), международный мастер ИКЧФ.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1167, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1167, + "segment": "Городская дума" + } + ], + "meta": { + "id": 69, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 62, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где умер Гаральд Константинович Сорокин?\nТекст 1: Сорокин Гаральд Константинович (30 января 1939 — 6 июня 2011, Нижний Новгород) — советский и российский шахматист, мастер спорта СССР (1971), международный мастер ИКЧФ.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 350, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05555555555555555, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Хорхе Кастаньеда, называется Конгресс Мексики. Он состоит из двух палат: Сенат (с 128 местами, срок полномочий 6 лет) и Палата депутатов (с 500 местами, срок полномочий 3 года).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Хорхе Кастаньеда?", + "support_text": "Хорхе Кастаньеда Рейес ( родился 12 января 1970 года, Гвадалахара, Мексика) — мексиканский футболист, полузащитник. Известен по выступлениям за \"Атлас\" и сборную Мексики. Участник Олимпийских игр 1992 года в Барселоне.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 767, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 671, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 79, + "segment": "мексиканский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Хорхе Кастаньеда?\nТекст 1: Хорхе Кастаньеда Рейес ( родился 12 января 1970 года, Гвадалахара, Мексика) — мексиканский футболист, полузащитник. Известен по выступлениям за \"Атлас\" и сборную Мексики. Участник Олимпийских игр 1992 года в Барселоне.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 370, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.09523809523809523, + "em": 0 + }, + "predict": " Глава государства в Сирии занимает должность президента. Сабри аль-Асали был гражданином Сирии, так что его должность в государстве соответствовала президентской.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимает глава государства в стране, чьим гражданином был Сабри Асали?", + "support_text": "Сабри аль-Асали ( 1903—1976) — сирийский политический и государственный деятель, трёхкратный премьер-министр Сирии, вице-президент Объединённой Арабской Республики.\n\nБиография.\nПоследние годы. Энтузиазм аль-Асали по поводу союза с насеровским Египтом довольно быстро прошёл, и в 1961 году он приветствовал переворот, положивший конец существованию ОАР. Однако уже в марте 1963 года в стране произошёл очередной военный переворот, в результате которого к власти пришла партия Баас, настроенная на возобновление союза с Египтом. Как и многие другие видные сирийские политики, критиковавшие Насера, аль-Асали попал под репрессии: он был лишён гражданских прав, его собственность была конфискована, а Национальная партия объявлена вне закона. Остаток своих дней Сабри аль-Асали провёл вне политики. Он скончался в Дамаске в апреле 1976 года.", + "text": "Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 447, + "segment": "президентов" + }, + { + "label": "passage", + "length": 11, + "offset": 447, + "segment": "президента" + } + ], + "meta": { + "id": 146, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 109, + "segment": "Сирии" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Сабри аль-Асали ( 1903—1976) — сирийский политический и государственный деятель, трёхкратный премьер-министр Сирии, вице-президент Объединённой Арабской Республики.\n\nБиография.\nПоследние годы. Энтузиазм аль-Асали по поводу союза с насеровским Египтом довольно быстро прошёл, и в 1961 году он приветствовал переворот, положивший конец существованию ОАР. Однако уже в марте 1963 года в стране произошёл очередной военный переворот, в результате которого к власти пришла партия Баас, настроенная на возобновление союза с Египтом. Как и многие другие видные сирийские политики, критиковавшие Насера, аль-Асали попал под репрессии: он был лишён гражданских прав, его собственность была конфискована, а Национальная партия объявлена вне закона. Остаток своих дней Сабри аль-Асали провёл вне политики. Он скончался в Дамаске в апреле 1976 года.\nТекст 2: Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958).\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимает глава государства в стране, чьим гражданином был Сабри Асали?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 403, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Юрий Цкипури", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Виктор Викторович Бобынин?", + "support_text": "Виктор Викторович Бобынин (1849—1919) — российский учёный, педагог, историк математики, профессор Московского университета; один из авторов Энциклопедического словаря Брокгауза и Ефрона.\n\nБиография.\nВ 1905 году из-за проблем со здоровьем прекратил работу в издательстве и с 1907 года — свою преподавательскую работы в военно-учебных заведениях, выйдя в отставку \"с мундиром и пенсией\" в 892 руб. 11 коп. в год. Однако сохранил за собой чтение лекций в Московском университете. После революции 1917 года В. В. Бобынин переехал в своё имение близ Тулы. С 1918 года жил в Туле, где преподавал математику в Тульской гимназии, и по-прежнему читал необязательный курс лекций по истории математических наук в Московском университете — в качестве профессора кафедры чистой математики физико-математического факультета (1917–1919) . Виктор Викторович Бобынин умер в Туле от сыпного тифа и был похоронен в в Туле на . Бобынин завещал свою библиотеку из более 5000 книг, в которой было около 100 математических рукописей XVII—XVIII веков, Московскому университету. Однако сначала, в 1919 году, его книги сначала поступили в фонды только что открывшейся Тульской библиотеки, а затем, после переписки с математическим обществом библиотека была передана в Москву.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 987, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 944, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 572, + "segment": "Туле" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Виктор Викторович Бобынин (1849—1919) — российский учёный, педагог, историк математики, профессор Московского университета; один из авторов Энциклопедического словаря Брокгауза и Ефрона.\n\nБиография.\nВ 1905 году из-за проблем со здоровьем прекратил работу в издательстве и с 1907 года — свою преподавательскую работы в военно-учебных заведениях, выйдя в отставку \"с мундиром и пенсией\" в 892 руб. 11 коп. в год. Однако сохранил за собой чтение лекций в Московском университете. После революции 1917 года В. В. Бобынин переехал в своё имение близ Тулы. С 1918 года жил в Туле, где преподавал математику в Тульской гимназии, и по-прежнему читал необязательный курс лекций по истории математических наук в Московском университете — в качестве профессора кафедры чистой математики физико-математического факультета (1917–1919) . Виктор Викторович Бобынин умер в Туле от сыпного тифа и был похоронен в в Туле на . Бобынин завещал свою библиотеку из более 5000 книг, в которой было около 100 математических рукописей XVII—XVIII веков, Московскому университету. Однако сначала, в 1919 году, его книги сначала поступили в фонды только что открывшейся Тульской библиотеки, а затем, после переписки с математическим обществом библиотека была передана в Москву.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где умер Виктор Викторович Бобынин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 664, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ольга Александровна Сафронова", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Роман Сергеевич Жданов?", + "support_text": "Роман Александрович Жданов (род. 30 июня 1998 года, Горно-Алтайск, Алтайский край, Россия) — российский пловец — паралимпиец. Многократный чемпион и призёр чемпионатов мира, рекордсмен чемпионата мира, многократный призёр чемпионатов Европы.", + "text": "Горно-Алтайск ( до 1932 года — Улала, в 1932—1948 годах — Ойрот-Тура) — город на юге Западной Сибири России, столица и единственный город Республики Алтай. Образует городской округ \"город Горно-Алтайск\".\n\nСтатус и управление.\n# Мэр города Горно-Алтайска — глава муниципального образования. # Администрация города Горно-Алтайска — исполнительно-распорядительный орган местного самоуправления (муниципального образования). # Контрольно-счетный орган муниципального образования \"Город Горно-Алтайск\" — Контрольно-счётная палата города Горно-Алтайска. Мэр города Виктор Александрович Облогин, занимал должность с 20 февраля 1992 года по 29 сентября 2017 года. С 29 сентября 2017 года мэром города является Юрий Викторович Нечаев, Главой администрации — Ольга Александровна Сафронова. Председатель городского Совета депутатов Юрий Викторович Нечаев, занимает должность с марта 2012 года. С 29 сентября 2017 года полномочия председателя городского совета депутатов переданы мэру города." + }, + "outputs": [ + { + "label": "passage", + "length": 29, + "offset": 753, + "segment": "Ольга Александровна Сафронова" + } + ], + "meta": { + "id": 214, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 52, + "segment": "Горно-Алтайск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Роман Александрович Жданов (род. 30 июня 1998 года, Горно-Алтайск, Алтайский край, Россия) — российский пловец — паралимпиец. Многократный чемпион и призёр чемпионатов мира, рекордсмен чемпионата мира, многократный призёр чемпионатов Европы.\nТекст 2: Горно-Алтайск ( до 1932 года — Улала, в 1932—1948 годах — Ойрот-Тура) — город на юге Западной Сибири России, столица и единственный город Республики Алтай. Образует городской округ \"город Горно-Алтайск\".\n\nСтатус и управление.\n# Мэр города Горно-Алтайска — глава муниципального образования. # Администрация города Горно-Алтайска — исполнительно-распорядительный орган местного самоуправления (муниципального образования). # Контрольно-счетный орган муниципального образования \"Город Горно-Алтайск\" — Контрольно-счётная палата города Горно-Алтайска. Мэр города Виктор Александрович Облогин, занимал должность с 20 февраля 1992 года по 29 сентября 2017 года. С 29 сентября 2017 года мэром города является Юрий Викторович Нечаев, Главой администрации — Ольга Александровна Сафронова. Председатель городского Совета депутатов Юрий Викторович Нечаев, занимает должность с марта 2012 года. С 29 сентября 2017 года полномочия председателя городского совета депутатов переданы мэру города.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Роман Сергеевич Жданов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 377, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где умер Хамид Хусейнович Мансуров.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Хамид Хусейнович Мансуров?", + "support_text": "Хамид Хусейнович Мансуров ( 25 декабря 1925 года, Самарканд, Узбекская ССР, СССР — 25 августа 2013 года,Душанбе, Таджикистан) — академик Академии наук Республики Таджикистан (1978). Заслуженный деятель науки Таджикской ССР (1976). Лауреат Государственной премии им. Абуали ибн Сино (1981), премии им. Е. Н. Павловского Академии наук Республики Таджикистан (2003). Доктор медицинских наук (1960), профессор (1961).\n\nБиография.\nВ 1947 году окончил Самаркандский медицинский институт по специальности \"внутренние болезни\". В 1950 году окончил аспирантуру при институте терапии Академии медицинских наук СССР в Москве. После успешной защиты кандидатской диссертации переехал в Душанбе, где работал ассистентом, доцентом, и. о. заведующего кафедрой госпитальной терапии Таджикском государственном медицинском институте им. Абуали ибн Сино (1959—1974 гг). Свою педагогическую инаучную деятельность он продолжал в Таджикском государственном медицинском институте им. Абуали ибн Сино. Научные исследованиями ученого в области внутренних болезней завершились защитой докторской диссертацией.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 938, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 104, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Хамид Хусейнович Мансуров ( 25 декабря 1925 года, Самарканд, Узбекская ССР, СССР — 25 августа 2013 года,Душанбе, Таджикистан) — академик Академии наук Республики Таджикистан (1978). Заслуженный деятель науки Таджикской ССР (1976). Лауреат Государственной премии им. Абуали ибн Сино (1981), премии им. Е. Н. Павловского Академии наук Республики Таджикистан (2003). Доктор медицинских наук (1960), профессор (1961).\n\nБиография.\nВ 1947 году окончил Самаркандский медицинский институт по специальности \"внутренние болезни\". В 1950 году окончил аспирантуру при институте терапии Академии медицинских наук СССР в Москве. После успешной защиты кандидатской диссертации переехал в Душанбе, где работал ассистентом, доцентом, и. о. заведующего кафедрой госпитальной терапии Таджикском государственном медицинском институте им. Абуали ибн Сино (1959—1974 гг). Свою педагогическую инаучную деятельность он продолжал в Таджикском государственном медицинском институте им. Абуали ибн Сино. Научные исследованиями ученого в области внутренних болезней завершились защитой докторской диссертацией.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nВопрос: Кто является главой администрации в городе, где умер Хамид Хусейнович Мансуров?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4444444444444445, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Александр Владимирович Хвостунов, называется Олий Мажлис Республики Узбекистан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Александр Владимирович Хвостунов?", + "support_text": "Александр Владимирович Хвостунов (9 января 1974, Карши, Узбекская ССР) — узбекский футболист. Защитник ташкентского \"Курувчи\" и сборной Узбекистана. Начал свою карьеру в первой лиге чемпионата Узбекистана в каршинском \"Геологе\" в 1990 году. С 2007 года играет за клуб \"Курувчи\". Хвостунов с 1997 года выступает за сборную Узбекистана по футболу.", + "text": "Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством.\n\nПолитическое устройство.\nСогласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 337, + "segment": "Олий Мажлис" + }, + { + "label": "passage", + "length": 33, + "offset": 337, + "segment": "Олий Мажлис Республики Узбекистан" + } + ], + "meta": { + "id": 786, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 73, + "segment": "узбекский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Владимирович Хвостунов (9 января 1974, Карши, Узбекская ССР) — узбекский футболист. Защитник ташкентского \"Курувчи\" и сборной Узбекистана. Начал свою карьеру в первой лиге чемпионата Узбекистана в каршинском \"Геологе\" в 1990 году. С 2007 года играет за клуб \"Курувчи\". Хвостунов с 1997 года выступает за сборную Узбекистана по футболу.\nТекст 2: Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством.\n\nПолитическое устройство.\nСогласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Александр Владимирович Хвостунов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 317, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Район, где умер Марк Фёдорович Тапсашар, ранее носил название Люйшунь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как прежде назывался район, где умер Марк Фёдорович Тапсашар?", + "support_text": "Марк Фёдорович Тапсашар — русский военный, поручик императорской армии, геройски погибший во время русско-японской войны.\n\nБиография.\nОднако большая часть роты погибла вместе с командиром, которого нашли на следующий день в окружении 16 заколотых японских солдат. Японцы забрали тело героя с поля боя (так у них почитали военных героев, даже врагов), затем передали обратно русским, а из его сабли сделали копию и отправили в Императорский музей боевой славы в Токио. Легенда о мужестве караима известна японским школьникам, поскольку она описана в их учебниках в описании события войны 1904—1905 годов. Был похоронен на Ляотешанском кладбище в Порт-Артуре (могила не сохранилась). Однако, по караимскими обычаями, наиболее известных караимов, умерших или погибших за пределами Крыма чествовали установкой безмогильных памятников на национальном караимском некрополе Иосафатова долина (около Чуфут-Кале). Там, почти при входе установлен кенотаф герою — \"йолджи таш\".", + "text": "Люйшунькоу или Люйшунь — район городского подчинения города субпровинциального значения Далянь. Ранее на этом месте находился город, обозначавшийся на русских картах как Люйшунь. В 1960 году город Люйшунь был упразднён, его территория была включена в состав агломерации ЛюйДа (в 1981 году переименованной в Далянь), и на ней был образован район городского подчинения Люйшунькоу.\n\nИстория.\nВ настоящее время это место известно под названием \"Могила 10000 сохранивших верность\". В 1895 году по Симоносекскому договору Порт Артур перешел к Японии, но из-за сильного давления со стороны России, Германии и Франции (Тройственная интервенция) Япония вскоре была вынуждена вернуть залив Китаю. В 1898 году город Люйшунь вместе с прилегающим Квантунским полуостровом был передан России в аренду на 25 лет. Квантунский полуостров с прилегающими островами позднее составил Квантунскую область и в 1903 году вместе с Приамурским генерал-губернаторством вошёл в состав Дальневосточного наместничества. Российскими властями на месте китайского города Люйшунь был выстроен российский Порт-Артур. В 1904 году началась русско-японская война, одним из главных эпизодов которой стала оборона Порт-Артура. После 159-дневной осады Порт-Артур капитулировал. После окончания русско-японской войны, по Портсмутскому мирному договору 1905 года арендные права на Порт-Артур и весь Ляодунский полуостров были уступлены Японии. Позже Япония оказала давление на Китай и вынудила последнего продлить срок аренды." + }, + "outputs": [ + { + "label": "answer", + "length": 7, + "offset": 0, + "segment": "Люйшунь" + } + ], + "meta": { + "id": 1023, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 648, + "segment": "Порт-Артуре" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Марк Фёдорович Тапсашар — русский военный, поручик императорской армии, геройски погибший во время русско-японской войны.\n\nБиография.\nОднако большая часть роты погибла вместе с командиром, которого нашли на следующий день в окружении 16 заколотых японских солдат. Японцы забрали тело героя с поля боя (так у них почитали военных героев, даже врагов), затем передали обратно русским, а из его сабли сделали копию и отправили в Императорский музей боевой славы в Токио. Легенда о мужестве караима известна японским школьникам, поскольку она описана в их учебниках в описании события войны 1904—1905 годов. Был похоронен на Ляотешанском кладбище в Порт-Артуре (могила не сохранилась). Однако, по караимскими обычаями, наиболее известных караимов, умерших или погибших за пределами Крыма чествовали установкой безмогильных памятников на национальном караимском некрополе Иосафатова долина (около Чуфут-Кале). Там, почти при входе установлен кенотаф герою — \"йолджи таш\".\nТекст 2: Люйшунькоу или Люйшунь — район городского подчинения города субпровинциального значения Далянь. Ранее на этом месте находился город, обозначавшийся на русских картах как Люйшунь. В 1960 году город Люйшунь был упразднён, его территория была включена в состав агломерации ЛюйДа (в 1981 году переименованной в Далянь), и на ней был образован район городского подчинения Люйшунькоу.\n\nИстория.\nВ настоящее время это место известно под названием \"Могила 10000 сохранивших верность\". В 1895 году по Симоносекскому договору Порт Артур перешел к Японии, но из-за сильного давления со стороны России, Германии и Франции (Тройственная интервенция) Япония вскоре была вынуждена вернуть залив Китаю. В 1898 году город Люйшунь вместе с прилегающим Квантунским полуостровом был передан России в аренду на 25 лет. Квантунский полуостров с прилегающими островами позднее составил Квантунскую область и в 1903 году вместе с Приамурским генерал-губернаторством вошёл в состав Дальневосточного наместничества. Российскими властями на месте китайского города Люйшунь был выстроен российский Порт-Артур. В 1904 году началась русско-японская война, одним из главных эпизодов которой стала оборона Порт-Артура. После 159-дневной осады Порт-Артур капитулировал. После окончания русско-японской войны, по Портсмутскому мирному договору 1905 года арендные права на Порт-Артур и весь Ляодунский полуостров были уступлены Японии. Позже Япония оказала давление на Китай и вынудила последнего продлить срок аренды.\nВопрос: Как прежде назывался район, где умер Марк Фёдорович Тапсашар?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 647, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Вятка", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Волгарица?", + "support_text": "Волгарица — река в России, протекает в Опаринском районе Кировской области. Устье реки находится в 221 км по левому берегу реки Молома. Длина реки составляет 36 км, площадь водосборного бассейна 219 кв км.", + "text": "Молома — река в Вологодской и Кировской областях России, правый приток Вятки (бассейн Волги). Длина 419 км, площадь бассейна 12 700 кв км. Расход воды — 47,7 м³/с (в 196 км от устья). В устье реки в 7 км выше от вятского города Котельнича находится Шабалинское городище (XII—XVI века).\n\nТечение.\n\n\nГидрология.\nБеря начало на севере Северных Увалов, Молома пересекает их в широкой долине. В верхнем и среднем течении ширина долины реки незначительна, в нижнем — увеличивается до 5—10 км. Левобережная пойма в низовьях занята обширными лугами реки Вятки. В этом участке пойма реки нуждается в осушительной мелиорации." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 71, + "segment": "Вятки" + }, + { + "label": "passage", + "length": 5, + "offset": 71, + "segment": "Вятка" + } + ], + "meta": { + "id": 589, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 128, + "segment": "Молома" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Волгарица — река в России, протекает в Опаринском районе Кировской области. Устье реки находится в 221 км по левому берегу реки Молома. Длина реки составляет 36 км, площадь водосборного бассейна 219 кв км.\nТекст 2: Молома — река в Вологодской и Кировской областях России, правый приток Вятки (бассейн Волги). Длина 419 км, площадь бассейна 12 700 кв км. Расход воды — 47,7 м³/с (в 196 км от устья). В устье реки в 7 км выше от вятского города Котельнича находится Шабалинское городище (XII—XVI века).\n\nТечение.\n\n\nГидрология.\nБеря начало на севере Северных Увалов, Молома пересекает их в широкой долине. В верхнем и среднем течении ширина долины реки незначительна, в нижнем — увеличивается до 5—10 км. Левобережная пойма в низовьях занята обширными лугами реки Вятки. В этом участке пойма реки нуждается в осушительной мелиорации.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Волгарица? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 296, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Северная Сосьва", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Унсъя?", + "support_text": "Унсъя (\"устар.\" Унсь-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 30 км по правому берегу реки Палья. Длина реки составляет 11 км.\n\nПримечания.\nКатегория:Притоки Палья (притока Северной Сосьвы).", + "text": "Палья (\"устар.\" Паль-Я) — река в России, протекает в Ханты-Мансийском автономном округе. Устье реки находится в 310 км по левому берегу реки Северной Сосьвы. Длина реки — 50 км, площадь её водосборного бассейна — 800 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша. Код объекта в государственном водном реестре — 15020200112115300027551." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 141, + "segment": "Северной Сосьвы" + }, + { + "label": "passage", + "length": 15, + "offset": 141, + "segment": "Северная Сосьва" + } + ], + "meta": { + "id": 850, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 128, + "segment": "Палья" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Унсъя (\"устар.\" Унсь-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 30 км по правому берегу реки Палья. Длина реки составляет 11 км.\n\nПримечания.\nКатегория:Притоки Палья (притока Северной Сосьвы).\nТекст 2: Палья (\"устар.\" Паль-Я) — река в России, протекает в Ханты-Мансийском автономном округе. Устье реки находится в 310 км по левому берегу реки Северной Сосьвы. Длина реки — 50 км, площадь её водосборного бассейна — 800 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша. Код объекта в государственном водном реестре — 15020200112115300027551.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Унсъя? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 301, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Олегович Бурмистров?", + "support_text": "Александр Олегович Бурмистров (род. 21 октября 1991 года, Казань, СССР) — российский хоккеист, центральный нападающий клуба КХЛ \"Ак Барс\". Чемпион мира 2014 года в составе сборной России.\n\nБиография.\nНачинал свою карьеру в Казани, однако после того как не смог пробиться в основу \"Ак Барса\", уехал за океан. Сезон 2009/2010 провёл за \"\" в Хоккейной лиге Онтарио.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 595, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 464, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 58, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Олегович Бурмистров (род. 21 октября 1991 года, Казань, СССР) — российский хоккеист, центральный нападающий клуба КХЛ \"Ак Барс\". Чемпион мира 2014 года в составе сборной России.\n\nБиография.\nНачинал свою карьеру в Казани, однако после того как не смог пробиться в основу \"Ак Барса\", уехал за океан. Сезон 2009/2010 провёл за \"\" в Хоккейной лиге Онтарио.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Александр Олегович Бурмистров? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 302, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Законодательный орган города, где умер Георг Арутюнович Оганесян, называется Ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Георг Арутюнович Оганесян?", + "support_text": "Георг Арутюнович Оганесян ( 1907, Ростов-на-Дону, Российская империя — 1957, Ереван, Армянская ССР) — советский армянский партийный и государственный деятель, министр иностранных дел Армянской ССР (1947—1954).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 325, + "segment": "городским советом" + } + ], + "meta": { + "id": 70, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 79, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где умер Георг Арутюнович Оганесян?\nТекст 1: Георг Арутюнович Оганесян ( 1907, Ростов-на-Дону, Российская империя — 1957, Ереван, Армянская ССР) — советский армянский партийный и государственный деятель, министр иностранных дел Армянской ССР (1947—1954).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " река, питающаяся от реки, притоком которой является Бишинды, называется Усень.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Бишинды?", + "support_text": "Бишинды — река в России, протекает в Республике Башкортостан. Впадает в реку Усень в 30 км от её устья. Длина реки составляет 28 км, площадь водосборного бассейна 227 кв км.", + "text": "Усень — река в России, протекает в Республике Башкортостан. Устье реки находится у 342 км по правому берегу реки Ик. Длина реки 147 км, площадь водосборного бассейна 2460 кв км. Исток расположен к северу от деревни Красная Заря. Русло запружено возле Белебея (Комсомольский пруд).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ик от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 2, + "offset": 113, + "segment": "Ик" + } + ], + "meta": { + "id": 407, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 77, + "segment": "Усень" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Бишинды — река в России, протекает в Республике Башкортостан. Впадает в реку Усень в 30 км от её устья. Длина реки составляет 28 км, площадь водосборного бассейна 227 кв км.\nТекст 2: Усень — река в России, протекает в Республике Башкортостан. Устье реки находится у 342 км по правому берегу реки Ик. Длина реки 147 км, площадь водосборного бассейна 2460 кв км. Исток расположен к северу от деревни Красная Заря. Русло запружено возле Белебея (Комсомольский пруд).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ик от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Бишинды?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Город, где родился Александр Васильевич Назаренко, расположен в Паневежском районе Литовской Республики.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы расположен город, где родился Александр Васильевич Назаренко?", + "support_text": "Александр Васильевич Назаренко (род. 16 января 1948, г. Паневежис, Литва) — советский и российский историк и филолог, специалист в области русского средневековья. Доктор исторических наук (1996).", + "text": "Паневежис, или Панявежис ( , до 1917 года \"Поневеж\") — город на севере Литвы, пятый по количеству жителей, административный центр Паневежского уезда и Паневежского района." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 130, + "segment": "Паневежского уезда" + } + ], + "meta": { + "id": 256, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 56, + "segment": "Паневежис" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: На территории какой административно-территориальной единицы расположен город, где родился Александр Васильевич Назаренко?\nТекст 1: Александр Васильевич Назаренко (род. 16 января 1948, г. Паневежис, Литва) — советский и российский историк и филолог, специалист в области русского средневековья. Доктор исторических наук (1996).\nТекст 2: Паневежис, или Панявежис ( , до 1917 года \"Поневеж\") — город на севере Литвы, пятый по количеству жителей, административный центр Паневежского уезда и Паневежского района.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2608695652173913, + "em": 0 + }, + "predict": " Самвел Мисакович Баласанян является главой администрации в городе, где родился Карлос Гургенович Джанерян. Это Гюмри, административный центр Ширакской области Армении.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Карлос Гургенович Джанерян?", + "support_text": "Карлос Гургенович Джанерян ( род. 10 мая 1932, Ленинакан, Армянская ССР) — советский боксёр, серебряный призёр чемпионата Европы (1955). Мастер спорта СССР (1954). Заслуженный тренер Армянской ССР (1970).\n\nБиография.\nКарлос Джанерян родился 10 мая 1932 года в Ленинакане (ныне Гюмри). В 1947 году переехал в Ереван, где начал заниматься боксом под руководством Вардана Оганесяна. В 1955 году был включён в состав сборной СССР на чемпионате Европы в Западном Берлине.", + "text": "Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nАмбарцумян, Карлен Даниелович (1989—1992). Адамян, Левон Бабкенович (1992—1994). Варданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 577, + "segment": "Баласанян, Самвел Мисакович" + }, + { + "label": "passage", + "length": 16, + "offset": 588, + "segment": "Самвел Мисакович" + }, + { + "label": "passage", + "length": 27, + "offset": 577, + "segment": "Самвел Мисакович Баласанян" + } + ], + "meta": { + "id": 953, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 281, + "segment": "Гюмри" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Карлос Гургенович Джанерян ( род. 10 мая 1932, Ленинакан, Армянская ССР) — советский боксёр, серебряный призёр чемпионата Европы (1955). Мастер спорта СССР (1954). Заслуженный тренер Армянской ССР (1970).\n\nБиография.\nКарлос Джанерян родился 10 мая 1932 года в Ленинакане (ныне Гюмри). В 1947 году переехал в Ереван, где начал заниматься боксом под руководством Вардана Оганесяна. В 1955 году был включён в состав сборной СССР на чемпионате Европы в Западном Берлине.\nТекст 2: Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nАмбарцумян, Карлен Даниелович (1989—1992). Адамян, Левон Бабкенович (1992—1994). Варданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012).\nВопрос: Кто является главой администрации в городе, где родился Карлос Гургенович Джанерян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 412, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Наташа Бушар", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Жерар Лефранк?", + "support_text": "Жерар Лефранк ( р.7 мая 1935) — французский фехтовальщик-шпажист, чемпион мира.\n\nБиография.\nРодился в 1935 году в Кале. В 1958 и 1959 году становился обладателем бронзовых медалей чемпионатов мира. В 1960 году принял участие в Олимпийских играх в Риме, но там французская команда шпажистов заняла лишь 9-е место. В 1961 году стал чемпионом Франции, а на чемпионате мира завоевал серебряную медаль.", + "text": "Кале ( ) — город во Франции, порт у пролива Па-де-Кале, крупнейший по численности населения город департамента Па-де-Кале. Кале является ближайшим к Англии населенным пунктом Франции, расстояние по прямой до Англии составляет 34 километра. Между Кале и английским Дувром курсирует паром, в 1994 году открыто движение по железнодорожному туннелю от пригорода Кале Кокеля до английского Фолкстона. Население — 72 929 жителей (2018).\n\nПолитика.\nПост мэра Кале с 2008 года занимает член партии Республиканцы Наташа Бушар. На муниципальных выборах 2020 года возглавляемый ею правый список победил в 1-м туре, получив 50,24 % голосов. + Список мэров:. Период. Коммунистическая партия. Специалист по управлению, депутат Европейского парламента. 2008. . Наташа Бушар. Союз за народное движение, Республиканцы. Специалист по человеческим ресурсам, сенатор, вице-президент Совета региона О-де-Франс." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 507, + "segment": "Наташа Бушар" + } + ], + "meta": { + "id": 507, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 117, + "segment": "Кале" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Жерар Лефранк ( р.7 мая 1935) — французский фехтовальщик-шпажист, чемпион мира.\n\nБиография.\nРодился в 1935 году в Кале. В 1958 и 1959 году становился обладателем бронзовых медалей чемпионатов мира. В 1960 году принял участие в Олимпийских играх в Риме, но там французская команда шпажистов заняла лишь 9-е место. В 1961 году стал чемпионом Франции, а на чемпионате мира завоевал серебряную медаль.\nТекст 2: Кале ( ) — город во Франции, порт у пролива Па-де-Кале, крупнейший по численности населения город департамента Па-де-Кале. Кале является ближайшим к Англии населенным пунктом Франции, расстояние по прямой до Англии составляет 34 километра. Между Кале и английским Дувром курсирует паром, в 1994 году открыто движение по железнодорожному туннелю от пригорода Кале Кокеля до английского Фолкстона. Население — 72 929 жителей (2018).\n\nПолитика.\nПост мэра Кале с 2008 года занимает член партии Республиканцы Наташа Бушар. На муниципальных выборах 2020 года возглавляемый ею правый список победил в 1-м туре, получив 50,24 % голосов. + Список мэров:. Период. Коммунистическая партия. Специалист по управлению, депутат Европейского парламента. 2008. . Наташа Бушар. Союз за народное движение, Республиканцы. Специалист по человеческим ресурсам, сенатор, вице-президент Совета региона О-де-Франс.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Жерар Лефранк? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Владимир Владимирович Владимиров", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как зовут человека, занимающего должность главы администрации в регионе, где родился Евгений Николаевич Перевертайло?", + "support_text": "Евгений Николаевич Перевертайло (23 июня 1955, Новоселицкое, Ставропольский край, РСФСР, СССР) — советский футболист, полузащитник; футбольный тренер.", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nАлександр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 509, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 382, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 61, + "segment": "Ставропольский край" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Евгений Николаевич Перевертайло (23 июня 1955, Новоселицкое, Ставропольский край, РСФСР, СССР) — советский футболист, полузащитник; футбольный тренер.\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nАлександр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.\nОпираясь на данные тексты, ответьте на вопрос: Как зовут человека, занимающего должность главы администрации в регионе, где родился Евгений Николаевич Перевертайло? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нязя", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большой Аюш?", + "support_text": "Большой Аюш — река в России, протекает по Челябинской области. Устье реки находится в 38 км по левому берегу реки Нязя. Длина реки составляет 18 км.", + "text": "Нязя — река в России на Среднем Урале, протекает в Свердловской и Челябинской области. Истоки на западных склонах Уфалейского хребта, около горы Сокол, к северо-западу от деревни Кенчурка Полевского района. Устье реки находится в 791 км по правому берегу реки Уфа в черте города Нязепетровска. Длина реки составляет 53 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201112111100020377." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 114, + "segment": "Уфа" + } + ], + "meta": { + "id": 903, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 114, + "segment": "Нязя" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Большой Аюш — река в России, протекает по Челябинской области. Устье реки находится в 38 км по левому берегу реки Нязя. Длина реки составляет 18 км.\nТекст 2: Нязя — река в России на Среднем Урале, протекает в Свердловской и Челябинской области. Истоки на западных склонах Уфалейского хребта, около горы Сокол, к северо-западу от деревни Кенчурка Полевского района. Устье реки находится в 791 км по правому берегу реки Уфа в черте города Нязепетровска. Длина реки составляет 53 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201112111100020377.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Большой Аюш? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где появилась на свет Надежда Николаевна Филиппова?", + "support_text": "Надежда Николаевна Филиппова (17 сентября 1959, Горький, РСФСР, СССР) — советская хоккеистка (хоккей на траве), полевой игрок. Бронзовый призёр летних Олимпийских игр 1980 года.\n\nБиография.\nВ 1981 году стала бронзовым призёром чемпионата мира в Буэнос-Айресе. Мастер спорта международного класса. После окончания игровой карьеры работала учителем физического воспитания в школе № 177 Ленинского района Нижнего Новгорода.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1088, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1088, + "segment": "Городская дума" + } + ], + "meta": { + "id": 118, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 48, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Надежда Николаевна Филиппова (17 сентября 1959, Горький, РСФСР, СССР) — советская хоккеистка (хоккей на траве), полевой игрок. Бронзовый призёр летних Олимпийских игр 1980 года.\n\nБиография.\nВ 1981 году стала бронзовым призёром чемпионата мира в Буэнос-Айресе. Мастер спорта международного класса. После окончания игровой карьеры работала учителем физического воспитания в школе № 177 Ленинского района Нижнего Новгорода.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где появилась на свет Надежда Николаевна Филиппова? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Кайрат Жумашович Ахметов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Эрик Кибакович Хакимов?", + "support_text": "Эрик Кибакович Хакимов (род. 10 февраля 1964, Кустанай) — советский казахстанский боксёр, представитель первой полусредней весовой категории. Выступал за сборную СССР по боксу на всём протяжении 1980-х годов, обладатель бронзовой медали Игр доброй воли в Москве, чемпион СССР, победитель и призёр ряда крупных международных турниров, мастер спорта СССР международного класса. Тренер по боксу.\n\nБиография.\nЭрик Хакимов родился 10 февраля 1964 года в городе Костанай Казахской ССР. Активно заниматься боксом начал в 1976 году, проходил подготовку в кустанайском областном совете добровольного спортивного общества \"Динамо\" под руководством заслуженных тренеров Василия Ивановича Лавриненко и Валерия Николаевича Никулина. Впервые заявил о себе в 1981 году, став призёром Всесоюзной спартакиады школьников.", + "text": "Костанай ( с 1893 до 1895 года \"Николаевск\", с февраля 1895 года до 17 июня 1997 года \"Кустанай\") — город в Казахстане, административный центр Костанайской области. Расположен на северо-западе Казахстана, в северной части Костанайской области. Площадь 244 км2.\n\nГлавы города.\n# Нурмухамбетов, Гауез Торсанович (февраль 2012 — июнь 2014),. # Ахметжанов, Ахмедбек Масакбаевич (18 июня 2014 — 10 сентября 2015),. # Жакупов, Базыл Шамуханович (с 23 сентября 2015 — 1 февраля 2019),. # Ахметов, Кайрат Жумашович (с 1 февраля 2019 года)." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 485, + "segment": "Ахметов, Кайрат Жумашович" + }, + { + "label": "passage", + "length": 25, + "offset": 485, + "segment": "Кайрат Жумашович Ахметов" + } + ], + "meta": { + "id": 223, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 46, + "segment": "Кустанай" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Эрик Кибакович Хакимов (род. 10 февраля 1964, Кустанай) — советский казахстанский боксёр, представитель первой полусредней весовой категории. Выступал за сборную СССР по боксу на всём протяжении 1980-х годов, обладатель бронзовой медали Игр доброй воли в Москве, чемпион СССР, победитель и призёр ряда крупных международных турниров, мастер спорта СССР международного класса. Тренер по боксу.\n\nБиография.\nЭрик Хакимов родился 10 февраля 1964 года в городе Костанай Казахской ССР. Активно заниматься боксом начал в 1976 году, проходил подготовку в кустанайском областном совете добровольного спортивного общества \"Динамо\" под руководством заслуженных тренеров Василия Ивановича Лавриненко и Валерия Николаевича Никулина. Впервые заявил о себе в 1981 году, став призёром Всесоюзной спартакиады школьников.\nТекст 2: Костанай ( с 1893 до 1895 года \"Николаевск\", с февраля 1895 года до 17 июня 1997 года \"Кустанай\") — город в Казахстане, административный центр Костанайской области. Расположен на северо-западе Казахстана, в северной части Костанайской области. Площадь 244 км2.\n\nГлавы города.\n# Нурмухамбетов, Гауез Торсанович (февраль 2012 — июнь 2014),. # Ахметжанов, Ахмедбек Масакбаевич (18 июня 2014 — 10 сентября 2015),. # Жакупов, Базыл Шамуханович (с 23 сентября 2015 — 1 февраля 2019),. # Ахметов, Кайрат Жумашович (с 1 февраля 2019 года).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Эрик Кибакович Хакимов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Хуаншуй сливается с Хуанхэ, которая является притоком Хуанхэ.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, притоком которой является Хуаншуй?", + "support_text": "Хуаншуй, Хуаншуйхэ (), также известная как Сининхэ — река в северо-западном Китае, приток Хуанхэ.\n\nГеография.\nРека берёт начало в уезде Хайянь провинции Цинхай на южных склонах хребта Хэйшань и течёт на юго-восток мимо озера Кукунор (от которого её отделяет хребет Жиюэшань). В уезде Хуанъюань река поворачивает на восток, протекая сквозь Хуанчжун, Синин, Пинъань, Лэду и Миньхэ-Хуэй-Туский автономный уезд (где в неё впадает Датунхэ). Далее река попадает на территорию городского округа Ланьчжоу провинции Ганьсу, где течёт сквозь Хунгу и впадает в Хуанхэ.", + "text": "Хуанхэ — река в Китае, одна из крупнейших рек Азии. В переводе с китайского языка её название — \"Жёлтая река\", что связано с обилием наносов, придающих желтоватый оттенок её водам. Именно благодаря им море, в которое впадает река, называется Жёлтым. Бассейн Хуанхэ считается местом формирования и становления китайского этноса. Хуанхэ берёт начало в восточной части Тибетского нагорья на высоте свыше 4500 м, протекает через озёра Орин-Нур и Джарин-Нур, отроги горных массивов Куньлунь и Наньшань. При пересечении Ордоса и Лёссового плато в своём среднем течении образует большую излучину, далее через ущелья Шаньсийских гор выходит на Великую Китайскую равнину, по которой течёт около 700 км до впадения в залив Бохайвань Жёлтого моря, формируя в районе впадения дельту. По разным данным длина реки от 4670 км до 5464 км, а площадь её бассейна от 745 тыс. кв км до 771 тыс. кв км.\n\nИстория изменений реки.\nСущественное изменение русла в 1194 году привело к тому, что Хуанхэ заняла новое русло на ближайшие 700 лет. Грязь реки Хуанхэ заблокировала устье реки Хуайхэ, вызвав наводнение, оставила тысячи людей без крова. Жёлтая река заняла своё нынешнее русло в 1897 году, до того ещё раз изменив русло в 1855 году. В настоящее время Хуанхэ протекает через Цзинань, столицу провинции Шаньдун, и впадает в залив Бохайвань, однако восточные очертания реки колебались с севера на юг от полуострова Шаньдун много раз. Русло реки менялось туда и обратно между руслом Хуайхэ и начальным маршрутом реки Хуанхэ несколько раз за последние 700 лет. Дальнейшее накопление иловых отложений было настолько большим, что Хуайхэ была не в состоянии протекать в своем историческом русле после того, как Жёлтая река вернулась к своему северному руслу раз в 1897 году." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 707, + "segment": "залив Бохайвань Жёлтого моря" + } + ], + "meta": { + "id": 1035, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 90, + "segment": "Хуанхэ" + }, + { + "label": "passage", + "length": 6, + "offset": 553, + "segment": "Хуанхэ" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Хуаншуй, Хуаншуйхэ (), также известная как Сининхэ — река в северо-западном Китае, приток Хуанхэ.\n\nГеография.\nРека берёт начало в уезде Хайянь провинции Цинхай на южных склонах хребта Хэйшань и течёт на юго-восток мимо озера Кукунор (от которого её отделяет хребет Жиюэшань). В уезде Хуанъюань река поворачивает на восток, протекая сквозь Хуанчжун, Синин, Пинъань, Лэду и Миньхэ-Хуэй-Туский автономный уезд (где в неё впадает Датунхэ). Далее река попадает на территорию городского округа Ланьчжоу провинции Ганьсу, где течёт сквозь Хунгу и впадает в Хуанхэ.\nТекст 2: Хуанхэ — река в Китае, одна из крупнейших рек Азии. В переводе с китайского языка её название — \"Жёлтая река\", что связано с обилием наносов, придающих желтоватый оттенок её водам. Именно благодаря им море, в которое впадает река, называется Жёлтым. Бассейн Хуанхэ считается местом формирования и становления китайского этноса. Хуанхэ берёт начало в восточной части Тибетского нагорья на высоте свыше 4500 м, протекает через озёра Орин-Нур и Джарин-Нур, отроги горных массивов Куньлунь и Наньшань. При пересечении Ордоса и Лёссового плато в своём среднем течении образует большую излучину, далее через ущелья Шаньсийских гор выходит на Великую Китайскую равнину, по которой течёт около 700 км до впадения в залив Бохайвань Жёлтого моря, формируя в районе впадения дельту. По разным данным длина реки от 4670 км до 5464 км, а площадь её бассейна от 745 тыс. кв км до 771 тыс. кв км.\n\nИстория изменений реки.\nСущественное изменение русла в 1194 году привело к тому, что Хуанхэ заняла новое русло на ближайшие 700 лет. Грязь реки Хуанхэ заблокировала устье реки Хуайхэ, вызвав наводнение, оставила тысячи людей без крова. Жёлтая река заняла своё нынешнее русло в 1897 году, до того ещё раз изменив русло в 1855 году. В настоящее время Хуанхэ протекает через Цзинань, столицу провинции Шаньдун, и впадает в залив Бохайвань, однако восточные очертания реки колебались с севера на юг от полуострова Шаньдун много раз. Русло реки менялось туда и обратно между руслом Хуайхэ и начальным маршрутом реки Хуанхэ несколько раз за последние 700 лет. Дальнейшее накопление иловых отложений было настолько большим, что Хуайхэ была не в состоянии протекать в своем историческом русле после того, как Жёлтая река вернулась к своему северному руслу раз в 1897 году.\nВопрос: С какой рекой сливается река, притоком которой является Хуаншуй?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 659, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Эльбрус", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое место является наивысшей точкой горной системы, к которой принадлежит Казбек?", + "support_text": "Казбек ( ) — потенциально активный стратовулкан, самый восточный пятитысячник Кавказа, высота в Балтийской системе высот 5033,8 м. Расположен в восточной части Центрального Кавказа, на границе России и Грузии, в восточной части Хохского хребта. Последнее извержение произошло в 650 году до н. э. Мимо горы проходит Военно-Грузинская дорога. На склоне Казбека со стороны Дарьяльского ущелья (3600 м) расположена метеостанция (неработающая), часть которой переоборудована в хижину.", + "text": "Видео с изображением ландшафта. Кавказские горы ( , , , , , дарг. \"Кавказла дубурти\", , , , , , , , , ) — горная система, расположенная в Евразии между Чёрным и Каспийским морями. В осевой части расположен Главный Кавказский (или Водораздельный) хребет, к северу от которого простирается ряд параллельных хребтов (горных цепей), в том числе моноклинального (куэстового) характера (см. Большой Кавказ). Южный склон Большого Кавказа большей частью состоит из кулисообразных хребтов, примыкающих к Главному Кавказскому хребту. Традиционно Большой Кавказ делится на 3 части: Западный Кавказ (от Чёрного моря до Эльбруса), Центральный Кавказ (от Эльбруса до Казбека) и Восточный Кавказ (от Казбека до Каспийского моря). Наиболее известные вершины (такие, как Эльбрус (5642 м) и Казбек (5033 м)) покрыты вечными снегами и ледниками. Большой Кавказ — регион с большим современным оледенением. Общая численность ледников составляет около 2 050, занимаемая ими площадь составляет приблизительно 1400 кв км. Больше половины оледенения Большого Кавказа сосредоточено на Центральном Кавказе (50 % от числа и 70 % от площади оледенения). Крупными центрами оледенения являются гора Эльбрус и Безенгийская стена (с ледником Безенги, 17 км). От северного подножия Большого Кавказа до Кумо-Манычской впадины простирается Предкавказье с обширными равнинами и возвышенностями." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 607, + "segment": "Эльбрус" + } + ], + "meta": { + "id": 666, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 79, + "segment": "Кавказа" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Казбек ( ) — потенциально активный стратовулкан, самый восточный пятитысячник Кавказа, высота в Балтийской системе высот 5033,8 м. Расположен в восточной части Центрального Кавказа, на границе России и Грузии, в восточной части Хохского хребта. Последнее извержение произошло в 650 году до н. э. Мимо горы проходит Военно-Грузинская дорога. На склоне Казбека со стороны Дарьяльского ущелья (3600 м) расположена метеостанция (неработающая), часть которой переоборудована в хижину.\nТекст 2: Видео с изображением ландшафта. Кавказские горы ( , , , , , дарг. \"Кавказла дубурти\", , , , , , , , , ) — горная система, расположенная в Евразии между Чёрным и Каспийским морями. В осевой части расположен Главный Кавказский (или Водораздельный) хребет, к северу от которого простирается ряд параллельных хребтов (горных цепей), в том числе моноклинального (куэстового) характера (см. Большой Кавказ). Южный склон Большого Кавказа большей частью состоит из кулисообразных хребтов, примыкающих к Главному Кавказскому хребту. Традиционно Большой Кавказ делится на 3 части: Западный Кавказ (от Чёрного моря до Эльбруса), Центральный Кавказ (от Эльбруса до Казбека) и Восточный Кавказ (от Казбека до Каспийского моря). Наиболее известные вершины (такие, как Эльбрус (5642 м) и Казбек (5033 м)) покрыты вечными снегами и ледниками. Большой Кавказ — регион с большим современным оледенением. Общая численность ледников составляет около 2 050, занимаемая ими площадь составляет приблизительно 1400 кв км. Больше половины оледенения Большого Кавказа сосредоточено на Центральном Кавказе (50 % от числа и 70 % от площади оледенения). Крупными центрами оледенения являются гора Эльбрус и Безенгийская стена (с ледником Безенги, 17 км). От северного подножия Большого Кавказа до Кумо-Манычской впадины простирается Предкавказье с обширными равнинами и возвышенностями.\nОпираясь на данные тексты, ответьте на вопрос: Какое место является наивысшей точкой горной системы, к которой принадлежит Казбек? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 526, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " MLS", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, за тренировки которой отвечает Оскар Пареха?", + "support_text": "О скар Александер Пареха Гомес ( , Медельин, Колумбия) — колумбийский футболист, выступавший на позиции полузащитника, и футбольный тренер. С 2020 года — главный тренер клуба MLS \"Орландо Сити\".\n\nКарьера тренера.\nВ ноябре 2007 года Пареха стал ассистентом у своего соотечественника Уильмера Кабреры в сборной США до 17 лет. В июле 2008 года Пареха вновь пришёл в \"Даллас\", заняв позиции директора по развитию игроков в молодёжной системе и главного тренера юниорских команд. В 2011 году также работал ассистентом главного тренера первой команды и главным тренером команды резервистом. 5 января 2012 года Пареха был назначен главным тренером \"Колорадо Рэпидз\". 10 января 2014 года \"Даллас\" назначил Пареху на должность главного тренера, выменяв его контракт у \"Колорадо Рэпидз\" на пик первого раунда Супердрафта MLS 2015 и распределительные средства. В 2016 году \"Даллас\" под руководством Парехи завоевал Открытый кубок США и стал победителем регулярного чемпионата MLS. По итогам сезона 2016 Пареха был признан тренером года в MLS. 30 марта 2017 года тренер подписал с клубом новый многолетний контракт.", + "text": "'Колорадо Рэпидз' — американский футбольный клуб из Денвера, штата Колорадо, выступающий в MLS, высшей футбольной лиге США и Канады. Является одним из десяти клубов которые основали лигу в 1996 году. Стадион клуба расположен в Коммерс-Сити, северо-восточном пригороде Денвера.\n\nДостижения.\nОбладатель Кубка MLS (1): 2010." + }, + "outputs": [ + { + "label": "answer", + "length": 40, + "offset": 91, + "segment": "MLS, высшей футбольной лиге США и Канады" + } + ], + "meta": { + "id": 1053, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 646, + "segment": "Колорадо Рэпидз" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: О скар Александер Пареха Гомес ( , Медельин, Колумбия) — колумбийский футболист, выступавший на позиции полузащитника, и футбольный тренер. С 2020 года — главный тренер клуба MLS \"Орландо Сити\".\n\nКарьера тренера.\nВ ноябре 2007 года Пареха стал ассистентом у своего соотечественника Уильмера Кабреры в сборной США до 17 лет. В июле 2008 года Пареха вновь пришёл в \"Даллас\", заняв позиции директора по развитию игроков в молодёжной системе и главного тренера юниорских команд. В 2011 году также работал ассистентом главного тренера первой команды и главным тренером команды резервистом. 5 января 2012 года Пареха был назначен главным тренером \"Колорадо Рэпидз\". 10 января 2014 года \"Даллас\" назначил Пареху на должность главного тренера, выменяв его контракт у \"Колорадо Рэпидз\" на пик первого раунда Супердрафта MLS 2015 и распределительные средства. В 2016 году \"Даллас\" под руководством Парехи завоевал Открытый кубок США и стал победителем регулярного чемпионата MLS. По итогам сезона 2016 Пареха был признан тренером года в MLS. 30 марта 2017 года тренер подписал с клубом новый многолетний контракт.\nТекст 2: 'Колорадо Рэпидз' — американский футбольный клуб из Денвера, штата Колорадо, выступающий в MLS, высшей футбольной лиге США и Канады. Является одним из десяти клубов которые основали лигу в 1996 году. Стадион клуба расположен в Коммерс-Сити, северо-восточном пригороде Денвера.\n\nДостижения.\nОбладатель Кубка MLS (1): 2010.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какой лиге играет команда, за тренировки которой отвечает Оскар Пареха? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава государства в стране, чьим гражданином был Мухаммед Ашави, занимал должность министра иностранных дел Сирии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность у главы государства в стране, чьим гражданином был Мухаммед Ашави?", + "support_text": "Мухаммед Ашави ( Дейр-эз-Зор, подмандатная Сирия) — сирийский государственный деятель, министр иностранных дел Сирии (1968—1969).", + "text": "Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 314, + "segment": "президентов" + }, + { + "label": "passage", + "length": 11, + "offset": 314, + "segment": "президента" + } + ], + "meta": { + "id": 438, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 45, + "segment": "Сирия" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какая должность у главы государства в стране, чьим гражданином был Мухаммед Ашави?\nТекст 1: Мухаммед Ашави ( Дейр-эз-Зор, подмандатная Сирия) — сирийский государственный деятель, министр иностранных дел Сирии (1968—1969).\nТекст 2: Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Врам Вагинакович Довлатян?", + "support_text": "Врам Вагинакович Довлатян — (13 августа 1923, Нор-Баязет — 25 декабря 2005, Ереван) — советский и армянский химик-органик. Доктор химических наук (1965), профессор (1967). Заслуженный деятель науки Армянской ССР (1980). Академик АН Армянской ССР (1994, член-корреспондент 1986). Брат Фрунзе Довлатяна.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 272, + "segment": "городским советом" + } + ], + "meta": { + "id": 68, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 76, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Врам Вагинакович Довлатян — (13 августа 1923, Нор-Баязет — 25 декабря 2005, Ереван) — советский и армянский химик-органик. Доктор химических наук (1965), профессор (1967). Заслуженный деятель науки Армянской ССР (1980). Академик АН Армянской ССР (1994, член-корреспондент 1986). Брат Фрунзе Довлатяна.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где умер Врам Вагинакович Довлатян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев является главой администрации в городе Магнитогорске, где родился Валерий Михайлович Колокольцев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валерий Михайлович Колокольцев?", + "support_text": "Валерий Михайлович Колокольцев (родился 26 декабря 1954 года, Магнитогорск, Челябинская область, РСФСР, СССР) — советский и российский учёный, политический деятель, доктор технических наук, инженер-металлург. Ректор Магнитогорского государственного технического университета (2007-2017), Президент Магнитогорского государственного технического университета (с 2017 года), депутат Законодательного собрания Челябинской области (с 2015 года).\n\nБиография.\nВ 1977 году окончил Магнитогорский горно-металлургический институт, получил распределение в город Волгоград. Здесь Колокольцев был сразу назначен мастером литейного цеха Волгоградского тракторного завода, а уже через несколько месяцев был назначен начальником литейного отделения цеха, где в его подчинении оказалось полторы тысячи человек. В 1978 году Валерий Михайлович вернулся в Магнитогорск, работал на горно-обогатительном производстве Магнитогорского металлургического производства. В 1980 году перешел на научную работу в Магнитогорский горно-металлургический институт, где работал инженером и младшим научным сотрудником кафедры электрометаллургии и литейного производства. В 1982 году был направлен в целевую аспирантуру Ленинградского политехнического института (ныне Санкт-Петербургский политехнический университет Петра Великого), научным руководителем Колокольцева был доктор технических наук Борис Борисович Гуляев. С 1985 года на преподавательской работе в Магнитогорском горно-металлургическом институте, сначала в должности старшего преподавателя, затем с 1990 года доцента, заведовал кафедрой Электрометаллургии и литейного производства (1995—2008).", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nВиктор Аникушин, глава города (1995—2005). Евгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 542, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 484, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 62, + "segment": "Магнитогорск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Валерий Михайлович Колокольцев (родился 26 декабря 1954 года, Магнитогорск, Челябинская область, РСФСР, СССР) — советский и российский учёный, политический деятель, доктор технических наук, инженер-металлург. Ректор Магнитогорского государственного технического университета (2007-2017), Президент Магнитогорского государственного технического университета (с 2017 года), депутат Законодательного собрания Челябинской области (с 2015 года).\n\nБиография.\nВ 1977 году окончил Магнитогорский горно-металлургический институт, получил распределение в город Волгоград. Здесь Колокольцев был сразу назначен мастером литейного цеха Волгоградского тракторного завода, а уже через несколько месяцев был назначен начальником литейного отделения цеха, где в его подчинении оказалось полторы тысячи человек. В 1978 году Валерий Михайлович вернулся в Магнитогорск, работал на горно-обогатительном производстве Магнитогорского металлургического производства. В 1980 году перешел на научную работу в Магнитогорский горно-металлургический институт, где работал инженером и младшим научным сотрудником кафедры электрометаллургии и литейного производства. В 1982 году был направлен в целевую аспирантуру Ленинградского политехнического института (ныне Санкт-Петербургский политехнический университет Петра Великого), научным руководителем Колокольцева был доктор технических наук Борис Борисович Гуляев. С 1985 года на преподавательской работе в Магнитогорском горно-металлургическом институте, сначала в должности старшего преподавателя, затем с 1990 года доцента, заведовал кафедрой Электрометаллургии и литейного производства (1995—2008).\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nВиктор Аникушин, глава города (1995—2005). Евгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).\nВопрос: Кто является главой администрации в городе, где родился Валерий Михайлович Колокольцев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 556, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательный орган города Горловки, где родился Артур Владимирович Кириленко, называется Горловский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Артур Владимирович Кириленко?", + "support_text": "Артур Владимирович Кириленко (род. 22 июня 1972 год в г. Горловка Донецкой области, УССР, СССР) — российский предприниматель, c 1994 по 2010 год являлся владельцем и руководителем одной из крупнейших девелоперских компаний Санкт-Петербурга \"Строймонтаж\". Почетный строитель России. В 2008 журнал \"Финанс\" оценивал его личное состояние в 1,1 млрд долларов США, включив его в рейтинг 100 богатейших людей России (91 место) и десятку самых богатых бизнесменов Санкт-Петербурга.", + "text": "Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 303, + "segment": "Горловский городской совет" + } + ], + "meta": { + "id": 386, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 57, + "segment": "Горловка" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Артур Владимирович Кириленко (род. 22 июня 1972 год в г. Горловка Донецкой области, УССР, СССР) — российский предприниматель, c 1994 по 2010 год являлся владельцем и руководителем одной из крупнейших девелоперских компаний Санкт-Петербурга \"Строймонтаж\". Почетный строитель России. В 2008 журнал \"Финанс\" оценивал его личное состояние в 1,1 млрд долларов США, включив его в рейтинг 100 богатейших людей России (91 место) и десятку самых богатых бизнесменов Санкт-Петербурга.\nТекст 2: Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Артур Владимирович Кириленко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 271, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23529411764705882, + "em": 0 + }, + "predict": " Законодательный орган, работающий в городе, где родился Владимир Михайлович Беляков, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Владимир Михайлович Беляков?", + "support_text": "Владимир Михайлович Беляков — советский футболист, полузащитник. Мастер спорта.\n\nКарьера.\nС 1964 по 1965 и с 1966 по 1967 год выступал за горьковские команды \"Торпедо\" и \"Волга\". По окончании сезона-1967 был приглашён в московское \"Динамо\". Дебютировал в чемпионате СССР 10 апреля 1968 года во встрече с \"Пахтакором\". Всего в сезоне Беляков сыграл 7 матчей.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1294, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1294, + "segment": "Городская дума" + } + ], + "meta": { + "id": 651, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 141, + "segment": "горьковские" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за законодательный орган работает в городе, где родился Владимир Михайлович Беляков?\nТекст 1: Владимир Михайлович Беляков — советский футболист, полузащитник. Мастер спорта.\n\nКарьера.\nС 1964 по 1965 и с 1966 по 1967 год выступал за горьковские команды \"Торпедо\" и \"Волга\". По окончании сезона-1967 был приглашён в московское \"Динамо\". Дебютировал в чемпионате СССР 10 апреля 1968 года во встрече с \"Пахтакором\". Всего в сезоне Беляков сыграл 7 матчей.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Казлаирка является притоком реки Чебенька.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Казлаирка?", + "support_text": "Казлаирка — река в России, протекает в Оренбургской области. Устье реки находится в 12 км по левому берегу реки Чебенька. Длина реки составляет 17 км.", + "text": "Чебенька — река в России, протекает в Оренбургской области. Устье реки находится в 182 км по правому берегу реки Сакмара. Длина реки составляет 42 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Уральскому бассейновому округу, водохозяйственный участок реки — Сакмара от впадения реки Большой Ик и до устья, речной подбассейн реки — Подбассейн отсутствует. Речной бассейн реки — Урал (российская часть бассейна). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 113, + "segment": "Сакмара" + } + ], + "meta": { + "id": 338, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 112, + "segment": "Чебенька" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Казлаирка — река в России, протекает в Оренбургской области. Устье реки находится в 12 км по левому берегу реки Чебенька. Длина реки составляет 17 км.\nТекст 2: Чебенька — река в России, протекает в Оренбургской области. Устье реки находится в 182 км по правому берегу реки Сакмара. Длина реки составляет 42 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Уральскому бассейновому округу, водохозяйственный участок реки — Сакмара от впадения реки Большой Ик и до устья, речной подбассейн реки — Подбассейн отсутствует. Речной бассейн реки — Урал (российская часть бассейна). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.\nВопрос: В какую реку впадает река, притоком которой является Казлаирка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Премьер-лиги", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой зовут Уоррен Джойс?", + "support_text": "Уоррен Гартон Джойс ( родился 20 января 1965, Олдем, Ланкашир) — английский футболист и футбольный тренер.\n\nТренерская карьера.\nЕщё в 1998 году, выступая за \"Халл Сити\", Джойс стал играющим тренером клуба. В 2000 году он покинул команду, после чего занимал различные тренерские должности в клубах \"Лидс Юнайтед\", \"Стокпорт Каунти\" и \"Транмир Роверс\". 11 сентября 2006 года Джойс был назначен главным тренером бельгийского клуба \"Антверпен\". 26 мая 2008 года было объявлено, что Джойс уходит из \"Антверпена\" и переходит в английский \"Манчестер Юнайтед\", где будет работать тренером резервистов совместно с норвежцем Уле Гуннаром Сульшером. В декабре 2010 года, после перехода Сульшера в \"Мольде\", Джойс стал единоличным тренером резервного состава \"Юнайтед\". В начале ноября 2016 года Джойс покинул свой пост тренера резервистов \"Манчестер Юнайтед\" и стал главным тренером \"Уиган Атлетик\".", + "text": "'Манчестер Юнайтед' (полное название — Футбольный клуб 'Манчестер Юнайтед', ; ) — английский профессиональный футбольный клуб из Траффорда, Большой Манчестер. Был основан в 1878 году под названием 'Ньютон Хит (Ланкашир энд Йоркшир Рейлуэй)', в 1902 году изменил название на 'Манчестер Юнайтед'. Один из самых популярных футбольных клубов в мире. Один из основателей английской Премьер-лиги в 1992 году. Домашний стадион 'Юнайтед', 'Олд Траффорд', был открыт в 1910 году. Он является крупнейшим после 'Уэмбли' футбольным стадионом в Англии и вмещает около 75 тысяч зрителей.\n\nИстория.\nОн привёл команду к очередному чемпионству в сезоне 1996/97, но по его окончании неожиданно объявил о завершении карьеры. На замену французскому форварду был приобретён Тедди Шерингем, а футболка с номером '7' перешла к Дэвиду Бекхэму. Сезон 1998/99 стал самым успешным за всю историю клуба: 'Манчестер Юнайтед' выиграл Премьер-лигу, Кубок Англии и Лигу чемпионов, став первым английским клубом, которому покорился подобный 'требл' в одном сезоне. Чемпионский титул Премьер-лиги 'Юнайтед' выиграл лишь в последнем туре, обыграв 'Тоттенхэм Хотспур' со счётом 2:1. В финале Кубка Англии 'красные дьяволы' со счётом 2:0 победили 'Ньюкасл'. В финале Лиги чемпионов 'Юнайтед' выиграл у мюнхенской 'Баварии', вырвав победу со счётом 2:1 в добавленное время." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 366, + "segment": "английской Премьер-лиги" + }, + { + "label": "passage", + "length": 12, + "offset": 377, + "segment": "Премьер-лиги" + }, + { + "label": "passage", + "length": 23, + "offset": 366, + "segment": "Английской Премьер-лиге" + } + ], + "meta": { + "id": 1049, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 537, + "segment": "Манчестер Юнайтед" + }, + { + "label": "passage", + "length": 17, + "offset": 833, + "segment": "Манчестер Юнайтед" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Уоррен Гартон Джойс ( родился 20 января 1965, Олдем, Ланкашир) — английский футболист и футбольный тренер.\n\nТренерская карьера.\nЕщё в 1998 году, выступая за \"Халл Сити\", Джойс стал играющим тренером клуба. В 2000 году он покинул команду, после чего занимал различные тренерские должности в клубах \"Лидс Юнайтед\", \"Стокпорт Каунти\" и \"Транмир Роверс\". 11 сентября 2006 года Джойс был назначен главным тренером бельгийского клуба \"Антверпен\". 26 мая 2008 года было объявлено, что Джойс уходит из \"Антверпена\" и переходит в английский \"Манчестер Юнайтед\", где будет работать тренером резервистов совместно с норвежцем Уле Гуннаром Сульшером. В декабре 2010 года, после перехода Сульшера в \"Мольде\", Джойс стал единоличным тренером резервного состава \"Юнайтед\". В начале ноября 2016 года Джойс покинул свой пост тренера резервистов \"Манчестер Юнайтед\" и стал главным тренером \"Уиган Атлетик\".\nТекст 2: 'Манчестер Юнайтед' (полное название — Футбольный клуб 'Манчестер Юнайтед', ; ) — английский профессиональный футбольный клуб из Траффорда, Большой Манчестер. Был основан в 1878 году под названием 'Ньютон Хит (Ланкашир энд Йоркшир Рейлуэй)', в 1902 году изменил название на 'Манчестер Юнайтед'. Один из самых популярных футбольных клубов в мире. Один из основателей английской Премьер-лиги в 1992 году. Домашний стадион 'Юнайтед', 'Олд Траффорд', был открыт в 1910 году. Он является крупнейшим после 'Уэмбли' футбольным стадионом в Англии и вмещает около 75 тысяч зрителей.\n\nИстория.\nОн привёл команду к очередному чемпионству в сезоне 1996/97, но по его окончании неожиданно объявил о завершении карьеры. На замену французскому форварду был приобретён Тедди Шерингем, а футболка с номером '7' перешла к Дэвиду Бекхэму. Сезон 1998/99 стал самым успешным за всю историю клуба: 'Манчестер Юнайтед' выиграл Премьер-лигу, Кубок Англии и Лигу чемпионов, став первым английским клубом, которому покорился подобный 'требл' в одном сезоне. Чемпионский титул Премьер-лиги 'Юнайтед' выиграл лишь в последнем туре, обыграв 'Тоттенхэм Хотспур' со счётом 2:1. В финале Кубка Англии 'красные дьяволы' со счётом 2:0 победили 'Ньюкасл'. В финале Лиги чемпионов 'Юнайтед' выиграл у мюнхенской 'Баварии', вырвав победу со счётом 2:1 в добавленное время.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какой лиге играет команда, тренера которой зовут Уоррен Джойс? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 683, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Президент", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется должность человека, возглавлявшего государство, гражданином которого был Хасан Ибрагим Самун?", + "support_text": "Хасан Ибрагим Самун – сирийский поэт и писатель,представитель классической и современной арабской поэзии. Автор более 10 книг.", + "text": "Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 447, + "segment": "президентов" + }, + { + "label": "passage", + "length": 11, + "offset": 447, + "segment": "Президента" + } + ], + "meta": { + "id": 385, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 22, + "segment": "сирийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Хасан Ибрагим Самун – сирийский поэт и писатель,представитель классической и современной арабской поэзии. Автор более 10 книг.\nТекст 2: Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется должность человека, возглавлявшего государство, гражданином которого был Хасан Ибрагим Самун? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Григор Оганесян?", + "support_text": "Григор Оганесян ( , Ереван, Армения) — армянский футболист, защитник клуба \"Алашкерт\", юношеской и молодёжной сборных Армении.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 47, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 21, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Григор Оганесян ( , Ереван, Армения) — армянский футболист, защитник клуба \"Алашкерт\", юношеской и молодёжной сборных Армении.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Григор Оганесян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Юрий Анатольевич Громаковский является главой администрации в городе Барановичи, где родился Сергей Васильевич Козека.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Сергей Васильевич Козека?", + "support_text": "Сергей Васильевич Козека ( 17 сентября 1986, Барановичи, БССР, СССР) — белорусский футболист, защитник клуба \"НФК Крумкачы\".\n\nКарьера.\nСергей начал заниматься футболом в 10 лет в СДЮСШ-5 города Барановичи. Его первым тренером был Валерий Черняк.", + "text": "Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи. Музей истории железной дороги. Барановичи.\n\nПредседатели Барановичского горисполкома.\n01.1995 — 06.1997 — Захарченко, Валерий Николаевич. 06.1997 — 04.2000 — Павлов, Михаил Яковлевич. 04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 346, + "segment": "Громаковский, Юрий Анатольевич" + }, + { + "label": "passage", + "length": 30, + "offset": 346, + "segment": "Юрий Анатольевич Громаковский" + } + ], + "meta": { + "id": 219, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 46, + "segment": "Барановичи" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Сергей Васильевич Козека ( 17 сентября 1986, Барановичи, БССР, СССР) — белорусский футболист, защитник клуба \"НФК Крумкачы\".\n\nКарьера.\nСергей начал заниматься футболом в 10 лет в СДЮСШ-5 города Барановичи. Его первым тренером был Валерий Черняк.\nТекст 2: Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи. Музей истории железной дороги. Барановичи.\n\nПредседатели Барановичского горисполкома.\n01.1995 — 06.1997 — Захарченко, Валерий Николаевич. 06.1997 — 04.2000 — Павлов, Михаил Яковлевич. 04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Сергей Васильевич Козека?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Туртас.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Агиян?", + "support_text": "Агиян — река в России, протекает в Тюменской области. Устье реки находится в 126 км по правому берегу реки Туртас. Длина реки составляет 13 км.", + "text": "Бассейн Иртыша. Туртас — река в Тюменской области России, правый приток Иртыша.\n\nГеография.\nТуртас образуется слиянием рек Малый Туртас (слева) и Большой Туртас (справа) на территории Уватского района Тюменской области на высоте 47 м над уровнем моря. Обе составляющие реки берут начало на западном крае Васюганских болот в 80-90 км к востоку от этого места на высоте около 90 м. От образования Туртас течёт по Западно-Сибирской равнине по заболоченной таежной местности преимущественно в северо-западном направлении. Река равнинная на всем протяжении, русло очень извилистое с множеством меандров. Туртас впадает в Иртыш в 5 км выше по его течению от райцентра Уват на высоте 30 м над уровнем моря. В устье река имеет более 50 м в ширину и глубину более 2 м, скорость течения 0,3 м/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Тобол до города Ханты-Мансийск (выше), без реки Конда, речной подбассейн реки — бассейны притоков Иртыша от Тобола до Оби. Речной бассейн реки — Иртыш." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 8, + "segment": "Иртыша" + }, + { + "label": "passage", + "length": 5, + "offset": 8, + "segment": "Иртыш" + } + ], + "meta": { + "id": 912, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 107, + "segment": "Туртас" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Агиян — река в России, протекает в Тюменской области. Устье реки находится в 126 км по правому берегу реки Туртас. Длина реки составляет 13 км.\nТекст 2: Бассейн Иртыша. Туртас — река в Тюменской области России, правый приток Иртыша.\n\nГеография.\nТуртас образуется слиянием рек Малый Туртас (слева) и Большой Туртас (справа) на территории Уватского района Тюменской области на высоте 47 м над уровнем моря. Обе составляющие реки берут начало на западном крае Васюганских болот в 80-90 км к востоку от этого места на высоте около 90 м. От образования Туртас течёт по Западно-Сибирской равнине по заболоченной таежной местности преимущественно в северо-западном направлении. Река равнинная на всем протяжении, русло очень извилистое с множеством меандров. Туртас впадает в Иртыш в 5 км выше по его течению от райцентра Уват на высоте 30 м над уровнем моря. В устье река имеет более 50 м в ширину и глубину более 2 м, скорость течения 0,3 м/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Тобол до города Ханты-Мансийск (выше), без реки Конда, речной подбассейн реки — бассейны притоков Иртыша от Тобола до Оби. Речной бассейн реки — Иртыш.\nВопрос: С какой рекой сливается река, в которую впадает Агиян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 368, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Хултымъя.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Секвангсос?", + "support_text": "Секвангсос (\"устар.\" Секванг-Сос) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 11 км по правому берегу реки Хултымъя. Длина реки составляет 13 км.", + "text": "Хултымъя (\"устар.\" Хултым-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 137 км по левому берегу реки Лепля. Длина реки составляет 24 км. В 11 км от устья, по правому берегу реки впадает река Секванг-Сос." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 133, + "segment": "Лепля" + } + ], + "meta": { + "id": 268, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 138, + "segment": "Хултымъя" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Секвангсос (\"устар.\" Секванг-Сос) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 11 км по правому берегу реки Хултымъя. Длина реки составляет 13 км.\nТекст 2: Хултымъя (\"устар.\" Хултым-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 137 км по левому берегу реки Лепля. Длина реки составляет 24 км. В 11 км от устья, по правому берегу реки впадает река Секванг-Сос.\nВопрос: С какой рекой сливается река, в которую впадает Секвангсос?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Государственная Дума", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родилась Луиза Дмитриевна Гагут?", + "support_text": "Луиза Дмитриевна Гагут (род. 28 сентября 1949 года, Мариуполь) — депутат Государственной Думы I созыва от партии ЛДПР. Кандидат экономических наук.\n\nКраткая биография.\nЛуиза Гагут родилась 28 сентября 1949 года в городе Мариуполь СССР. В 1971 году окончила Мариупольский металлургический институт. В 1992 году вступила в политическую партию ЛДПР. В декабре 1993 года была избрана от партии депутатом Государственной думы первого созыва, входила в состав комитета по природным ресурсам и природопользованию.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nТаганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовета" + }, + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовет" + } + ], + "meta": { + "id": 289, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 52, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Луиза Дмитриевна Гагут (род. 28 сентября 1949 года, Мариуполь) — депутат Государственной Думы I созыва от партии ЛДПР. Кандидат экономических наук.\n\nКраткая биография.\nЛуиза Гагут родилась 28 сентября 1949 года в городе Мариуполь СССР. В 1971 году окончила Мариупольский металлургический институт. В 1992 году вступила в политическую партию ЛДПР. В декабре 1993 года была избрана от партии депутатом Государственной думы первого созыва, входила в состав комитета по природным ресурсам и природопользованию.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nТаганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где родилась Луиза Дмитриевна Гагут? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 397, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Сергей Константинович Ситников", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Николай Александрович Смирнов (Герой Советского Союза)?", + "support_text": "Николай Александрович Смирнов (1917—1965) — сержант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nНиколай Смирнов родился 15 января 1917 года в селе Малое Доронино (ныне — Кадыйский район Костромской области). До призыва в армию проживал в городе Антрацит Ворошиловградской области Украинской ССР, работал на шахте. В 1940 году Смирнов был призван на службу в Рабоче-крестьянскую Красную Армию.", + "text": "Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта. Территория области составляет кв км.\n\nОрганы власти.\nВ апреле 2005 года Президент России В. В. Путин предложил его кандидатуру на новый губернаторский срок. 11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов. Председателем Думы I и II созывов в 1994—2000 гг. избирался Андрей Иванович Бычков." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 662, + "segment": "Ситников Сергей Константинович" + }, + { + "label": "passage", + "length": 30, + "offset": 662, + "segment": "Сергей Константинович Ситников" + } + ], + "meta": { + "id": 568, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 261, + "segment": "Костромской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Александрович Смирнов (1917—1965) — сержант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nНиколай Смирнов родился 15 января 1917 года в селе Малое Доронино (ныне — Кадыйский район Костромской области). До призыва в армию проживал в городе Антрацит Ворошиловградской области Украинской ССР, работал на шахте. В 1940 году Смирнов был призван на службу в Рабоче-крестьянскую Красную Армию.\nТекст 2: Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта. Территория области составляет кв км.\n\nОрганы власти.\nВ апреле 2005 года Президент России В. В. Путин предложил его кандидатуру на новый губернаторский срок. 11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов. Председателем Думы I и II созывов в 1994—2000 гг. избирался Андрей Иванович Бычков.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Николай Александрович Смирнов (Герой Советского Союза)? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 403, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Рустам Эмомали", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Махмадсаид Убайдуллоевич Убайдуллоев?", + "support_text": "Махмадсаид Убайдуллоевич Убайдуллоев (род. 1 февраля 1952) — советский и таджикский государственный деятель. Председатель верхней палаты парламента Таджикистана в 2000—2020 гг. Мэр столицы Таджикистана, города Душанбе (1997—2017).\n\nБиография.\nВ 1994—1996 годах — первый заместитель премьер-министра Республики Таджикистан. Принимал участие (со стороны правительственной делегации) в переговорах 1994—1997 годов по мирному урегулированию межтаджикского конфликта. С 1996 года — мэр города Душанбе, сменил на этом посту Юрия Поносова. С апреля 2000 года — председатель верхней палаты парламента — Маджлиси Милли Маджлиси Оли Республики Таджикистан. С 2005 года переизбран на этот пост, с 2010 года — член Маджлиси милли Маджлиси Оли Республики Таджикистан 4-го созыва, с 2015 года переизбран на пост председателя верхней палаты парламента 5-го созыва. 12 января 2017 года президент Таджикистана Эмомали Рахмон освободил Убайдулоева от должности мэра Душанбе.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 518, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 210, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Махмадсаид Убайдуллоевич Убайдуллоев (род. 1 февраля 1952) — советский и таджикский государственный деятель. Председатель верхней палаты парламента Таджикистана в 2000—2020 гг. Мэр столицы Таджикистана, города Душанбе (1997—2017).\n\nБиография.\nВ 1994—1996 годах — первый заместитель премьер-министра Республики Таджикистан. Принимал участие (со стороны правительственной делегации) в переговорах 1994—1997 годов по мирному урегулированию межтаджикского конфликта. С 1996 года — мэр города Душанбе, сменил на этом посту Юрия Поносова. С апреля 2000 года — председатель верхней палаты парламента — Маджлиси Милли Маджлиси Оли Республики Таджикистан. С 2005 года переизбран на этот пост, с 2010 года — член Маджлиси милли Маджлиси Оли Республики Таджикистан 4-го созыва, с 2015 года переизбран на пост председателя верхней палаты парламента 5-го созыва. 12 января 2017 года президент Таджикистана Эмомали Рахмон освободил Убайдулоева от должности мэра Душанбе.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Махмадсаид Убайдуллоевич Убайдуллоев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сергей Герасимович Митин родился в городе Горьком, который с 7 октября 1932 по 22 октября 1990 года носил название Горький. В 1990 году, после распада Советского Союза, город получил современное название Нижний Новгород. В городе, где родился Сергей Митин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Сергей Герасимович Митин?", + "support_text": "Сергей Герасимович Митин (род. 14 июня 1951, Горький, РСФСР, СССР) — российский государственный деятель, Губернатор Новгородской области (2007—2017), с 2017 года представитель от исполнительного органа государственной власти Новгородской области в Совете Федерации РФ.\n\nБиография.\nСергей Митин родился 14 июня 1951 года в городе Горьком в семье военнослужащих. После школы, с 1968 по 1969 год, работал слесарем-испытателем СКБ завода им. В. И. Ульянова в Горьком. В 1969 году поступил, а в 1974 году окончил Горьковский политехнический институт.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1438, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1438, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 978, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 45, + "segment": "Горький" + }, + { + "label": "passage", + "length": 7, + "offset": 332, + "segment": "Горьком" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Сергей Герасимович Митин (род. 14 июня 1951, Горький, РСФСР, СССР) — российский государственный деятель, Губернатор Новгородской области (2007—2017), с 2017 года представитель от исполнительного органа государственной власти Новгородской области в Совете Федерации РФ.\n\nБиография.\nСергей Митин родился 14 июня 1951 года в городе Горьком в семье военнослужащих. После школы, с 1968 по 1969 год, работал слесарем-испытателем СКБ завода им. В. И. Ульянова в Горьком. В 1969 году поступил, а в 1974 году окончил Горьковский политехнический институт.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nВопрос: Какой законодательный орган работает в городе, где появился на свет Сергей Герасимович Митин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 570, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3157894736842105, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где родился Баграт Гегамович Алекян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Баграт Гегамович Алекян?", + "support_text": "Баграт Гегамович Алекян (род. 15 апреля 1951, Ереван) — советский и российский кардиохирург. Академик РАН, профессор, главный специалист Минздрава России по рентгенэндоваскулярной диагностике и лечению, до июня 2016 года руководитель отделения Научного центра сердечно-сосудистой хирургии имени Бакулева, с 2016 года заместитель директора по науке и инновационным технологиям ФГБУ \"Национальный медицинский исследовательский центр хирургии им. А.В. Вишневского\".\n\nБиография.\nРодился 15 апреля 1951 года в Ереване, в семье служащих. Женат, имеет дочь.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 139, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Баграт Гегамович Алекян?\nТекст 1: Баграт Гегамович Алекян (род. 15 апреля 1951, Ереван) — советский и российский кардиохирург. Академик РАН, профессор, главный специалист Минздрава России по рентгенэндоваскулярной диагностике и лечению, до июня 2016 года руководитель отделения Научного центра сердечно-сосудистой хирургии имени Бакулева, с 2016 года заместитель директора по науке и инновационным технологиям ФГБУ \"Национальный медицинский исследовательский центр хирургии им. А.В. Вишневского\".\n\nБиография.\nРодился 15 апреля 1951 года в Ереване, в семье служащих. Женат, имеет дочь.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 290, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ольга Александровна Сафронова", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Александр Янганович Ередеев?", + "support_text": "Александр Янганович Ередеев (12 марта 1937 — 9 октября 2008) — алтайский писатель, поэт, журналист. Заслуженный работник культуры Российской Федерации. Член Союза писателей СССР.\n\nБиблиография.\nНа алтайском языке. Ады jок чечектер (Цветы без названия) — Горно-Алтайск: Алт. Кн. изд-во, 1963. 31 с. Быркырууш чечектин ак парашюту уулы (Маленький парашютист, сын одуванчика) — Горно-Алтайск: Алт. Кн. изд-во, 1974. 30 с. Jеримнин талазы (Просторы моей земли): стихи и поэма / А. Я. Ередеев.", + "text": "Горно-Алтайск ( до 1932 года — Улала, в 1932—1948 годах — Ойрот-Тура) — город на юге Западной Сибири России, столица и единственный город Республики Алтай. Образует городской округ \"город Горно-Алтайск\".\n\nСтатус и управление.\n# Администрация города Горно-Алтайска — исполнительно-распорядительный орган местного самоуправления (муниципального образования). # Контрольно-счетный орган муниципального образования \"Город Горно-Алтайск\" — Контрольно-счётная палата города Горно-Алтайска. Мэр города Виктор Александрович Облогин, занимал должность с 20 февраля 1992 года по 29 сентября 2017 года. С 29 сентября 2017 года мэром города является Юрий Викторович Нечаев, Главой администрации — Ольга Александровна Сафронова. Председатель городского Совета депутатов Юрий Викторович Нечаев, занимает должность с марта 2012 года. С 29 сентября 2017 года полномочия председателя городского совета депутатов переданы мэру города." + }, + "outputs": [ + { + "label": "passage", + "length": 29, + "offset": 689, + "segment": "Ольга Александровна Сафронова" + } + ], + "meta": { + "id": 227, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 257, + "segment": "Горно-Алтайск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Янганович Ередеев (12 марта 1937 — 9 октября 2008) — алтайский писатель, поэт, журналист. Заслуженный работник культуры Российской Федерации. Член Союза писателей СССР.\n\nБиблиография.\nНа алтайском языке. Ады jок чечектер (Цветы без названия) — Горно-Алтайск: Алт. Кн. изд-во, 1963. 31 с. Быркырууш чечектин ак парашюту уулы (Маленький парашютист, сын одуванчика) — Горно-Алтайск: Алт. Кн. изд-во, 1974. 30 с. Jеримнин талазы (Просторы моей земли): стихи и поэма / А. Я. Ередеев.\nТекст 2: Горно-Алтайск ( до 1932 года — Улала, в 1932—1948 годах — Ойрот-Тура) — город на юге Западной Сибири России, столица и единственный город Республики Алтай. Образует городской округ \"город Горно-Алтайск\".\n\nСтатус и управление.\n# Администрация города Горно-Алтайска — исполнительно-распорядительный орган местного самоуправления (муниципального образования). # Контрольно-счетный орган муниципального образования \"Город Горно-Алтайск\" — Контрольно-счётная палата города Горно-Алтайска. Мэр города Виктор Александрович Облогин, занимал должность с 20 февраля 1992 года по 29 сентября 2017 года. С 29 сентября 2017 года мэром города является Юрий Викторович Нечаев, Главой администрации — Ольга Александровна Сафронова. Председатель городского Совета депутатов Юрий Викторович Нечаев, занимает должность с марта 2012 года. С 29 сентября 2017 года полномочия председателя городского совета депутатов переданы мэру города.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Александр Янганович Ередеев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 483, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Печора", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большая Разбойничья?", + "support_text": "Большая Разбойничья — река в России, течёт по территории Троицко-Печорского района Республики Коми. Устье реки находится в 1436 км по левому берегу Печоры на высоте 105 м над уровнем моря. Длина реки составляет 14 км. Площадь водосборного бассейна — 69 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора. Код объекта в государственном водном реестре — 03050100112103000058266.", + "text": "Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nШирина русла здесь достигает 2 км, в долине появляются обширные пойменные луга. В районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина. Общий уклон реки — 0,373 м/км. В верхнем течении (выше устья Илыча) уклон составляет 2,5—3,0 м/км, река быстра, порожиста, её дно каменисто." + }, + "outputs": [ + { + "label": "answer", + "length": 30, + "offset": 546, + "segment": "Печорскую губу Печорского моря" + } + ], + "meta": { + "id": 905, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 148, + "segment": "Печоры" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Большая Разбойничья — река в России, течёт по территории Троицко-Печорского района Республики Коми. Устье реки находится в 1436 км по левому берегу Печоры на высоте 105 м над уровнем моря. Длина реки составляет 14 км. Площадь водосборного бассейна — 69 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора. Код объекта в государственном водном реестре — 03050100112103000058266.\nТекст 2: Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nШирина русла здесь достигает 2 км, в долине появляются обширные пойменные луга. В районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина. Общий уклон реки — 0,373 м/км. В верхнем течении (выше устья Илыча) уклон составляет 2,5—3,0 м/км, река быстра, порожиста, её дно каменисто.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Большая Разбойничья? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05, + "em": 0 + }, + "predict": " Сергей Сергеевич Голоушев жил в Российской империи, которая существовала с года до Февральской революции 1917 года. В то время в России правил император, и именно таковым был Сергей Сергеевич Голоушев, поскольку он жил в период существования Российской империи.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Сергей Сергеевич Голоушев?", + "support_text": "Сергей Сергеевич Голоушев (псевдонимы \"Сергей Глаголь\", \"С. Сергиевич\", \"De Sergy\"; , Санкт-Петербург, Российская империя — 15 июля 1920, Москва, РСФСР) — русский революционер; живописец и график; художественный и театральный критик.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 451, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 103, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Сергей Сергеевич Голоушев?\nТекст 1: Сергей Сергеевич Голоушев (псевдонимы \"Сергей Глаголь\", \"С. Сергиевич\", \"De Sergy\"; , Санкт-Петербург, Российская империя — 15 июля 1920, Москва, РСФСР) — русский революционер; живописец и график; художественный и театральный критик.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Егор Юрьевич Мишура?", + "support_text": "Егор Юрьевич Мишура (9 апреля 1995, Челябинск) — российский футболист, полузащитник, нападающий мини-футбольного клуба \"Южный Урал\". Воспитанник челябинской \"Академии футбола\" (2006—2013). В 2013—2014 годах — в составе \"Шахтёра\" Коркино, ЛФЛ. В сезоне 2014/15 был в составе клуба первой сербской лиги , но на поле не выходил. Вторую половину 2015 года провёл в армянской \"Мике\".", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 716, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 716, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 195, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 36, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Егор Юрьевич Мишура (9 апреля 1995, Челябинск) — российский футболист, полузащитник, нападающий мини-футбольного клуба \"Южный Урал\". Воспитанник челябинской \"Академии футбола\" (2006—2013). В 2013—2014 годах — в составе \"Шахтёра\" Коркино, ЛФЛ. В сезоне 2014/15 был в составе клуба первой сербской лиги , но на поле не выходил. Вторую половину 2015 года провёл в армянской \"Мике\".\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Егор Юрьевич Мишура? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 365, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Восточный Каз сливается с рекой Каз.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Восточный Каз?", + "support_text": "Восточный Каз — река в России, протекает в Таштагольском районе Кемеровской области. Длина реки составляет 5 км, площадь водосборного бассейна 8 кв км. Начинается около автодороги Новокузнецк—Таштагол, течёт параллельно ей в северо-западном направлении через лес. Устье реки находится в 6 км по правому берегу реки Каз на территории посёлка Каз.", + "text": "Каз — река в России, протекает по территории Казского городского поселения в Таштагольском районе Кемеровской области. Устье реки находится в 36 км по левому берегу от устья реки Тельбес. Длина реки составляет 10 км. Притоки: Восточный Каз и Средний Каз." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 179, + "segment": "Тельбес" + } + ], + "meta": { + "id": 591, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 10, + "segment": "Каз" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Восточный Каз — река в России, протекает в Таштагольском районе Кемеровской области. Длина реки составляет 5 км, площадь водосборного бассейна 8 кв км. Начинается около автодороги Новокузнецк—Таштагол, течёт параллельно ей в северо-западном направлении через лес. Устье реки находится в 6 км по правому берегу реки Каз на территории посёлка Каз.\nТекст 2: Каз — река в России, протекает по территории Казского городского поселения в Таштагольском районе Кемеровской области. Устье реки находится в 36 км по левому берегу от устья реки Тельбес. Длина реки составляет 10 км. Притоки: Восточный Каз и Средний Каз.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Восточный Каз?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Бременская земля", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В состав какой административно-территориальной единицы входит город, где умер Генрих Шурц?", + "support_text": "Генрих Шурц ( 11 декабря 1863, Цвиккау — 2 мая 1903, Бремен) — известный немецкий этнограф и историк.", + "text": "Бремен ( ), — город на северо-западе Германии. Вместе с приморским портом Бремерхафен образует землю Вольный ганзейский город Бремен. C населением 552 тыс. жит. (2015) входит в десятку самых населённых городов Германии.\n\nГеография.\nОбласть, лежащая слева от Нижнего Везера, носит название Везермарш. Справа расположен так называемый \"Сырой треугольник\" — болотистая равнина между устьями Эльбы и Везера. Протяжённость города составляет 38 км в длину и 16 км в ширину. Длина его границ — 136,5 км. Бремен со всех сторон окружён Нижней Саксонией. На западе он граничит с городским округом Дельменхорст (75 672 жителей) и районом Везермарш (93 725 жителей), включающим посёлки Лемвердер, Берне и Эльсфлет, на севере — с районом Остерхольц (112 587 жителей), включающим посёлки Шваневеде, Риттерхуде и Лилиенталь, Дипхольц (215 648 жителей), включающим посёлки Вайхе и Штур. Кроме того, на западе находится город Ольденбург (158 600 жителей), а на севере — город Бремерхафен (116 672 жителей). Все эти населённые пункты образуют городскую агломерацию, численностью 1 511 198 человек, из которых около 115 тысяч ежедневно отправляются на работу в Бремен, что составляет 48 % от всего бременского рынка занятости." + }, + "outputs": [ + { + "label": "passage", + "length": 31, + "offset": 101, + "segment": "Вольный ганзейский город Бремен" + } + ], + "meta": { + "id": 17, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 53, + "segment": "Бремен" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Генрих Шурц ( 11 декабря 1863, Цвиккау — 2 мая 1903, Бремен) — известный немецкий этнограф и историк.\nТекст 2: Бремен ( ), — город на северо-западе Германии. Вместе с приморским портом Бремерхафен образует землю Вольный ганзейский город Бремен. C населением 552 тыс. жит. (2015) входит в десятку самых населённых городов Германии.\n\nГеография.\nОбласть, лежащая слева от Нижнего Везера, носит название Везермарш. Справа расположен так называемый \"Сырой треугольник\" — болотистая равнина между устьями Эльбы и Везера. Протяжённость города составляет 38 км в длину и 16 км в ширину. Длина его границ — 136,5 км. Бремен со всех сторон окружён Нижней Саксонией. На западе он граничит с городским округом Дельменхорст (75 672 жителей) и районом Везермарш (93 725 жителей), включающим посёлки Лемвердер, Берне и Эльсфлет, на севере — с районом Остерхольц (112 587 жителей), включающим посёлки Шваневеде, Риттерхуде и Лилиенталь, Дипхольц (215 648 жителей), включающим посёлки Вайхе и Штур. Кроме того, на западе находится город Ольденбург (158 600 жителей), а на севере — город Бремерхафен (116 672 жителей). Все эти населённые пункты образуют городскую агломерацию, численностью 1 511 198 человек, из которых около 115 тысяч ежедневно отправляются на работу в Бремен, что составляет 48 % от всего бременского рынка занятости.\nОпираясь на данные тексты, ответьте на вопрос: В состав какой административно-территориальной единицы входит город, где умер Генрих Шурц? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижегородской области", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где умер Владимир Евгеньевич Семёнов?", + "support_text": "Владимир Евгеньевич Семёнов (11 декабря 1952, Горький — 13 октября 2017, там же) — российский учёный, доктор физико-математических наук по специальности физика и химия плазмы.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 834, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 834, + "segment": "Городская дума" + } + ], + "meta": { + "id": 307, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Владимир Евгеньевич Семёнов (11 декабря 1952, Горький — 13 октября 2017, там же) — российский учёный, доктор физико-математических наук по специальности физика и химия плазмы.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где умер Владимир Евгеньевич Семёнов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 327, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.06896551724137931, + "em": 0 + }, + "predict": " Глава государства, которому Варлаам Леванович Геловани мог быть свидетелем смерти, занимал должность императора. Это Николай II, последний император Российской империи, который правил с 1894 по 1917 год.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимал глава государства, ставшего местом смерти Варлаама Левановича Геловани?", + "support_text": "Варлаам Леванович Геловани (14 апреля 1878 — 22 февраля 1915) — князь, политический и общественный деятель, депутат IV Государственной думы Российской империи.\n\nБиография.\nВарлаам Леванович был младшим сыном князя Левана Годжаспировича Геловани и Деспины Григорьевны Шервашидзе. Родовое имение — с. Спатогори Кутаисской губернии Российской империи, ныне в составе Грузии. Нераздельно с братьями, Константином и Платоном владел имением в Лечхумском уезде Кутаисской губернии (около 1000 десятин леса и 200 десятин пахотных земель).", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 40, + "offset": 415, + "segment": "Государь, Царь и Великий Князь всея Руси" + }, + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + }, + { + "label": "passage", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + } + ], + "meta": { + "id": 1031, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 140, + "segment": "Российской империи" + }, + { + "label": "passage", + "length": 18, + "offset": 332, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за должность занимал глава государства, ставшего местом смерти Варлаама Левановича Геловани?\nТекст 1: Варлаам Леванович Геловани (14 апреля 1878 — 22 февраля 1915) — князь, политический и общественный деятель, депутат IV Государственной думы Российской империи.\n\nБиография.\nВарлаам Леванович был младшим сыном князя Левана Годжаспировича Геловани и Деспины Григорьевны Шервашидзе. Родовое имение — с. Спатогори Кутаисской губернии Российской империи, ныне в составе Грузии. Нераздельно с братьями, Константином и Платоном владел имением в Лечхумском уезде Кутаисской губернии (около 1000 десятин леса и 200 десятин пахотных земель).\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 391, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15384615384615385, + "em": 0 + }, + "predict": " Атнис сливается с рекой Туртас, которая в свою очередь впадает в Иртыш.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Атнис?", + "support_text": "Атнис — река в России, протекает в Тюменской области. Устье реки находится в 170 км по правому берегу реки Туртас. Длина реки составляет 84 км.", + "text": "Бассейн Иртыша. Туртас — река в Тюменской области России, правый приток Иртыша.\n\nГеография.\nТуртас образуется слиянием рек Малый Туртас (слева) и Большой Туртас (справа) на территории Уватского района Тюменской области на высоте 47 м над уровнем моря. Обе составляющие реки берут начало на западном крае Васюганских болот в 80-90 км к востоку от этого места на высоте около 90 м. От образования Туртас течёт по Западно-Сибирской равнине по заболоченной таежной местности преимущественно в северо-западном направлении. Река равнинная на всем протяжении, русло очень извилистое с множеством меандров. Туртас впадает в Иртыш в 5 км выше по его течению от райцентра Уват на высоте 30 м над уровнем моря. В устье река имеет более 50 м в ширину и глубину более 2 м, скорость течения 0,3 м/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Тобол до города Ханты-Мансийск (выше), без реки Конда, речной подбассейн реки — бассейны притоков Иртыша от Тобола до Оби. Речной бассейн реки — Иртыш." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 8, + "segment": "Иртыша" + }, + { + "label": "passage", + "length": 5, + "offset": 8, + "segment": "Иртыш" + } + ], + "meta": { + "id": 909, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 107, + "segment": "Туртас" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Атнис?\nТекст 1: Атнис — река в России, протекает в Тюменской области. Устье реки находится в 170 км по правому берегу реки Туртас. Длина реки составляет 84 км.\nТекст 2: Бассейн Иртыша. Туртас — река в Тюменской области России, правый приток Иртыша.\n\nГеография.\nТуртас образуется слиянием рек Малый Туртас (слева) и Большой Туртас (справа) на территории Уватского района Тюменской области на высоте 47 м над уровнем моря. Обе составляющие реки берут начало на западном крае Васюганских болот в 80-90 км к востоку от этого места на высоте около 90 м. От образования Туртас течёт по Западно-Сибирской равнине по заболоченной таежной местности преимущественно в северо-западном направлении. Река равнинная на всем протяжении, русло очень извилистое с множеством меандров. Туртас впадает в Иртыш в 5 км выше по его течению от райцентра Уват на высоте 30 м над уровнем моря. В устье река имеет более 50 м в ширину и глубину более 2 м, скорость течения 0,3 м/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Тобол до города Ханты-Мансийск (выше), без реки Конда, речной подбассейн реки — бассейны притоков Иртыша от Тобола до Оби. Речной бассейн реки — Иртыш.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 362, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1, + "em": 0 + }, + "predict": " На территории северо-западной части Южной Америки находится государство Эквадор, в котором представлял свою команду на футбольном поле Луис Айяла.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой части света находится государство, которое в спорте представлял Луис Айяла (футболист)?", + "support_text": "Луис Мигель Айяла Брусил ( ; родился 24 сентября 1993 года в Ибарра, Эквадор) — эквадорский футболист, защитник клуба \"ЛДУ Кито\".", + "text": "Эквадор (), официальное название — Республика Эквадор ( ), — государство на северо-западе Южной Америки. На западе Эквадор омывается Тихим океаном, на севере граничит с Колумбией, на востоке и юге — с Перу. В состав Эквадора входят острова Галапагос. Унитарное государство.\n\nКультура.\nЭквадор отличает сочетание испанского культурного наследия с культурными традициями коренного населения. Когда-то территория страны входила с состав империи инков. Кито, сохранившийся лучше прочих колониальных столиц Южной Америки, являет прекрасные образцы ранней колониальной архитектуры. В колониальную эпоху все виды искусства развивались под влиянием церкви и носили отпечаток господствовавшего в Европе стиля барокко. Сейчас многие действующие церкви в Кито хранят бесценные художественные произведения: картины, церковную утварь, резьбу по дереву, статуи и различные украшения." + }, + "outputs": [ + { + "label": "answer", + "length": 7, + "offset": 96, + "segment": "Америки" + } + ], + "meta": { + "id": 916, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 80, + "segment": "эквадорский" + }, + { + "label": "passage", + "length": 7, + "offset": 69, + "segment": "Эквадор" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Луис Мигель Айяла Брусил ( ; родился 24 сентября 1993 года в Ибарра, Эквадор) — эквадорский футболист, защитник клуба \"ЛДУ Кито\".\nТекст 2: Эквадор (), официальное название — Республика Эквадор ( ), — государство на северо-западе Южной Америки. На западе Эквадор омывается Тихим океаном, на севере граничит с Колумбией, на востоке и юге — с Перу. В состав Эквадора входят острова Галапагос. Унитарное государство.\n\nКультура.\nЭквадор отличает сочетание испанского культурного наследия с культурными традициями коренного населения. Когда-то территория страны входила с состав империи инков. Кито, сохранившийся лучше прочих колониальных столиц Южной Америки, являет прекрасные образцы ранней колониальной архитектуры. В колониальную эпоху все виды искусства развивались под влиянием церкви и носили отпечаток господствовавшего в Европе стиля барокко. Сейчас многие действующие церкви в Кито хранят бесценные художественные произведения: картины, церковную утварь, резьбу по дереву, статуи и различные украшения.\nОпираясь на данные тексты, ответьте на вопрос: На территории какой части света находится государство, которое в спорте представлял Луис Айяла (футболист)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Команда, за тренировки которой отвечает Йоан Андоне, играет в Лиге I.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, за тренировки которой отвечает Йоан Андоне?", + "support_text": "Йоан Андоне ( род. 15 марта 1960, , Румыния) — румынский футболист и футбольный тренер. Выступал на позиции защитника.\n\nБиография.\nПод его руководством \"Динамо\" в 2003 году стало обладателем Кубка Румынии, а годом позже стало чемпионом Румынии, а также был вновь завоёван кубок страны. В 2005 году Андоне с \"Динамо\" третий раз подряд выиграл Кубок Румынии. В том же году Йоан покинул \"Динамо\" и возглавил кипрскую \"Омонию\" из Никосии. Под его руководством \"Омония\" в чемпионате Кипра 2005/06 заняла второе место. В сезоне 2007/06 Андоне возглавил румынский ЧФР из Клужа и в первый сезон сенсационно выиграл с клубом чемпионат и Кубок Румынии. В 2008 году Йоан покинул ЧФР. В декабре 2008 году Андоне вёл переговоры с российским \"Амкаром\", для того чтобы возглавить этот клуб, но в итоге клуб предпочёл болгарского тренера Димитра Димитрова.", + "text": "ЧФР Клуж — румынский профессиональный футбольный клуб из города Клуж-Напока, Трансильвания. Шестикратный чемпион Румынии, четырёхкратный обладатель Кубка и трёхкратный Суперкубка страны. Также ЧФР является первым клубом не из Бухареста, ставшим чемпионом Румынии и пробившимся в групповой этап Лиги чемпионов.\n\nСтатистика выступлений с сезона 2002/2003.\n6. . 3. 75. . 19. 69. 2004/05. 1. . Лига I. . 11. 30. . 9. 9. . 12." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 294, + "segment": "Лиги чемпионов" + }, + { + "label": "passage", + "length": 14, + "offset": 294, + "segment": "Лига чемпионов" + } + ], + "meta": { + "id": 696, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 561, + "segment": "ЧФР из Клужа" + }, + { + "label": "passage", + "length": 3, + "offset": 561, + "segment": "ЧФР" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Йоан Андоне ( род. 15 марта 1960, , Румыния) — румынский футболист и футбольный тренер. Выступал на позиции защитника.\n\nБиография.\nПод его руководством \"Динамо\" в 2003 году стало обладателем Кубка Румынии, а годом позже стало чемпионом Румынии, а также был вновь завоёван кубок страны. В 2005 году Андоне с \"Динамо\" третий раз подряд выиграл Кубок Румынии. В том же году Йоан покинул \"Динамо\" и возглавил кипрскую \"Омонию\" из Никосии. Под его руководством \"Омония\" в чемпионате Кипра 2005/06 заняла второе место. В сезоне 2007/06 Андоне возглавил румынский ЧФР из Клужа и в первый сезон сенсационно выиграл с клубом чемпионат и Кубок Румынии. В 2008 году Йоан покинул ЧФР. В декабре 2008 году Андоне вёл переговоры с российским \"Амкаром\", для того чтобы возглавить этот клуб, но в итоге клуб предпочёл болгарского тренера Димитра Димитрова.\nТекст 2: ЧФР Клуж — румынский профессиональный футбольный клуб из города Клуж-Напока, Трансильвания. Шестикратный чемпион Румынии, четырёхкратный обладатель Кубка и трёхкратный Суперкубка страны. Также ЧФР является первым клубом не из Бухареста, ставшим чемпионом Румынии и пробившимся в групповой этап Лиги чемпионов.\n\nСтатистика выступлений с сезона 2002/2003.\n6. . 3. 75. . 19. 69. 2004/05. 1. . Лига I. . 11. 30. . 9. 9. . 12.\nВопрос: В какой лиге играет команда, за тренировки которой отвечает Йоан Андоне?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Чермода сливается с рекой Тунтор.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Чермода?", + "support_text": "Чермода — река в России, протекает в Осинском районе Пермского края. Устье реки находится в 7 км по правому берегу реки Тунтор. Длина реки составляет 15 км. Исток находится в центральной части Тулвинской возвышенности у деревни Покровка на северных склонах горы Калинова (308 м НУМ). В верховьях описывает петлю, огибая гору Калинова, затем течёт на юг. Приток — Юмыш (правый). На реке расположены деревни Верхняя Чермода и Нижняя Чермода. У южной окраины последней впадает в Тунтор.", + "text": "Тунтор — река в России, протекает в Осинском и Бардымском районах Пермского края. Устье реки находится в 20 км по правому берегу реки Тулва. Длина реки составляет 53 км, площадь водосборного бассейна 642 кв км. Исток находится в Осинском районе, в центральной части Тулвинской возвышенности, на южных склонах горы Маяк (403 м НУМ) в 8 км к северу от посёлка Искирский. Исток находится на водоразделе с бассейнами Пизьмы и Чусовой." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 134, + "segment": "Тулва" + } + ], + "meta": { + "id": 842, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 120, + "segment": "Тунтор" + }, + { + "label": "passage", + "length": 6, + "offset": 476, + "segment": "Тунтор" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Чермода — река в России, протекает в Осинском районе Пермского края. Устье реки находится в 7 км по правому берегу реки Тунтор. Длина реки составляет 15 км. Исток находится в центральной части Тулвинской возвышенности у деревни Покровка на северных склонах горы Калинова (308 м НУМ). В верховьях описывает петлю, огибая гору Калинова, затем течёт на юг. Приток — Юмыш (правый). На реке расположены деревни Верхняя Чермода и Нижняя Чермода. У южной окраины последней впадает в Тунтор.\nТекст 2: Тунтор — река в России, протекает в Осинском и Бардымском районах Пермского края. Устье реки находится в 20 км по правому берегу реки Тулва. Длина реки составляет 53 км, площадь водосборного бассейна 642 кв км. Исток находится в Осинском районе, в центральной части Тулвинской возвышенности, на южных склонах горы Маяк (403 м НУМ) в 8 км к северу от посёлка Искирский. Исток находится на водоразделе с бассейнами Пизьмы и Чусовой.\nВопрос: С какой рекой сливается река, в которую впадает Чермода?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 288, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.24000000000000002, + "em": 0 + }, + "predict": " Сергей Сергеевич Щиров умер в Казани, где главой администрации является мэр. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Сергей Сергеевич Щиров?", + "support_text": "Сергей Сергеевич Щиров (6 февраля 1916, с. Акимовка, Таврическая губерния, Российская империя — 7 апреля 1956, Казань, РСФСР) — подполковник Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1942).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 757, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 236, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 111, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Сергей Сергеевич Щиров (6 февраля 1916, с. Акимовка, Таврическая губерния, Российская империя — 7 апреля 1956, Казань, РСФСР) — подполковник Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1942).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Сергей Сергеевич Щиров?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.08333333333333334, + "em": 0 + }, + "predict": " Команда, тренером которой 116 игр провёл Карлос Майор, играет в Примере B. Это \"Альмагро\", который является клубом, тренером которого является Карлос Майор.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренером которой 116 игр был Карлос Майор?", + "support_text": "Карлос Альберто Майор (5 октября 1965, Буэнос-Айрес, Аргентина) — аргентинский футболист, защитник, ныне тренер футбольного клуба \"Альмагро\", выступающего в Примере B.\n\nКлубная карьера.\nКарлос Майор выступал за различные аргентинские и латиноамериканские клубы, также два года провёл в японском \"Ависпа Фукуока\". Больше всего игр и сезонов Майор провёл с аргентинским клубом \"Архентинос Хуниорс\", с которым становился победителем Чемпионат Насьональ и Кубка Либертадорес в 1985 году. В 1990 году покинул \"Архентинос Хуниорс\", в котором сыграл 116 игр и забил 7 голов. Затем он подписал контракт с \"Химнасия и Эсгрима\" (38 матчей, 2 гола), а затем с \"Унион (Санта-Фе)\" (32 матча, 2 гола). Потом решил перебрать в Чилийский \"Депортес Икике\" в 1993 году, а затем и вообще в Японию во вновь сформированный клуб \"Ависпа Фукуока\".", + "text": "'Архентинос Хуниорс' (полное название — ) — аргентинский футбольный клуб из города Буэнос-Айреса, располагающийся в районе Агрономия. Трёхкратный чемпион Аргентины, обладатель Кубка Либертадорес 1985 года. Выступает в аргентинской Примере.\n\nИстория клуба.\nНазвание команды можно перевести как 'Аргентинские юниоры', в полном соответствии с которым клуб воспитал таких ярчайших звёзд мирового футбола, как Диего Марадона, Фернандо Редондо и Хуан Роман Рикельме. Марадона в составе 'Архентинос' провёл 4 года, стал чемпионом мира по футболу среди молодёжи и дважды — лучшим игроком Южной Америки, после чего перешёл в 1981 году в 'Боку Хуниорс'. Уже без него команда в первой половине 1980-х годов дважды выиграла чемпионат Аргентины, а в 1985 году — Кубок Либертадорес. Этот период является лучшим в истории клуба. Лидерами клуба тогда были Серхио Батиста, Клаудио Борги (чемпионы мира 1986), Педро Паскулли (в 1986 году уже выступал в 'Лечче', также чемпион мира)." + }, + "outputs": [ + { + "label": "passage", + "length": 20, + "offset": 218, + "segment": "аргентинской Примере" + } + ], + "meta": { + "id": 667, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 379, + "segment": "Архентинос Хуниорс" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какой лиге играет команда, тренером которой 116 игр был Карлос Майор?\nТекст 1: Карлос Альберто Майор (5 октября 1965, Буэнос-Айрес, Аргентина) — аргентинский футболист, защитник, ныне тренер футбольного клуба \"Альмагро\", выступающего в Примере B.\n\nКлубная карьера.\nКарлос Майор выступал за различные аргентинские и латиноамериканские клубы, также два года провёл в японском \"Ависпа Фукуока\". Больше всего игр и сезонов Майор провёл с аргентинским клубом \"Архентинос Хуниорс\", с которым становился победителем Чемпионат Насьональ и Кубка Либертадорес в 1985 году. В 1990 году покинул \"Архентинос Хуниорс\", в котором сыграл 116 игр и забил 7 голов. Затем он подписал контракт с \"Химнасия и Эсгрима\" (38 матчей, 2 гола), а затем с \"Унион (Санта-Фе)\" (32 матча, 2 гола). Потом решил перебрать в Чилийский \"Депортес Икике\" в 1993 году, а затем и вообще в Японию во вновь сформированный клуб \"Ависпа Фукуока\".\nТекст 2: 'Архентинос Хуниорс' (полное название — ) — аргентинский футбольный клуб из города Буэнос-Айреса, располагающийся в районе Агрономия. Трёхкратный чемпион Аргентины, обладатель Кубка Либертадорес 1985 года. Выступает в аргентинской Примере.\n\nИстория клуба.\nНазвание команды можно перевести как 'Аргентинские юниоры', в полном соответствии с которым клуб воспитал таких ярчайших звёзд мирового футбола, как Диего Марадона, Фернандо Редондо и Хуан Роман Рикельме. Марадона в составе 'Архентинос' провёл 4 года, стал чемпионом мира по футболу среди молодёжи и дважды — лучшим игроком Южной Америки, после чего перешёл в 1981 году в 'Боку Хуниорс'. Уже без него команда в первой половине 1980-х годов дважды выиграла чемпионат Аргентины, а в 1985 году — Кубок Либертадорес. Этот период является лучшим в истории клуба. Лидерами клуба тогда были Серхио Батиста, Клаудио Борги (чемпионы мира 1986), Педро Паскулли (в 1986 году уже выступал в 'Лечче', также чемпион мира).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 555, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Евгений Валерьевич Константинов?", + "support_text": "Евгений Валерьевич Константинов (29 марта 1981, Казань) — российский хоккеист, вратарь. Воспитанник казанского хоккея. В настоящее время является игроком казанского \"Ак Барса\".", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 550, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 690, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 48, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Евгений Валерьевич Константинов (29 марта 1981, Казань) — российский хоккеист, вратарь. Воспитанник казанского хоккея. В настоящее время является игроком казанского \"Ак Барса\".\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Евгений Валерьевич Константинов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Лондонский район Холборн.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился основатель конкурса \"Мисс мира\"?", + "support_text": "Мисс мира — проводимый ежегодно международный смотр красоты, старейшее из мероприятий подобного рода. Входит в \"большую четверку\" конкурсов красоты наряду с конкурсами \"Мисс Вселенная\", \"Мисс Интернешнл\" и \"Мисс Земля\". Вместе с конкурсами \"Мисс Вселенная\", \"Мисс Интернешнл\", \"Мисс Гранд Интернешнл\" и \"Мисс Супранешнл\" включен сайтом \"Глобальная красота\" в \"Большой шлем\".\n\nИстория конкурса.\nКонкурс \"Мисс мира\" появился в Великобритании благодаря Эрику Морли в 1951 году. Вначале в нём участвовали только приглашённые модели, затем сформировалась своеобразная система отбора — франшиза Miss World.", + "text": "Эрик Дуглас Морли (26 сентября 1918 — 9 ноября 2000) — основатель конкурса красоты Мисс Мира в 1951 году.\n\nРанний период жизни.\nЭрик Морли появился на свет в Лондонском районе Холборн, что неподалёку от Вестминстера и Сити. Его отец — выпускник Оксфорда, подорвал науками своё здоровье и скоропостижно умер из-за туберкулёза лёгких. Вскоре за ним последовала и мать. В 11 лет мальчик стал круглым сиротой и оказался в числе немногих стипендиатов, которым посчастливилось получить бесплатное образование в закрытом учебном заведении для юношей." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 179, + "segment": "Холборн" + } + ], + "meta": { + "id": 373, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 453, + "segment": "Эрику Морли" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мисс мира — проводимый ежегодно международный смотр красоты, старейшее из мероприятий подобного рода. Входит в \"большую четверку\" конкурсов красоты наряду с конкурсами \"Мисс Вселенная\", \"Мисс Интернешнл\" и \"Мисс Земля\". Вместе с конкурсами \"Мисс Вселенная\", \"Мисс Интернешнл\", \"Мисс Гранд Интернешнл\" и \"Мисс Супранешнл\" включен сайтом \"Глобальная красота\" в \"Большой шлем\".\n\nИстория конкурса.\nКонкурс \"Мисс мира\" появился в Великобритании благодаря Эрику Морли в 1951 году. Вначале в нём участвовали только приглашённые модели, затем сформировалась своеобразная система отбора — франшиза Miss World.\nТекст 2: Эрик Дуглас Морли (26 сентября 1918 — 9 ноября 2000) — основатель конкурса красоты Мисс Мира в 1951 году.\n\nРанний период жизни.\nЭрик Морли появился на свет в Лондонском районе Холборн, что неподалёку от Вестминстера и Сити. Его отец — выпускник Оксфорда, подорвал науками своё здоровье и скоропостижно умер из-за туберкулёза лёгких. Вскоре за ним последовала и мать. В 11 лет мальчик стал круглым сиротой и оказался в числе немногих стипендиатов, которым посчастливилось получить бесплатное образование в закрытом учебном заведении для юношей.\nОпираясь на данные тексты, ответьте на вопрос: Где родился основатель конкурса \"Мисс мира\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 335, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Образуется слиянием рек Большой и Малой Сосьвы, что делает её притоком реки Северная Сосьва, а также, как указано в первом тексте, Хоханья. Таким образом, река, питающаяся от реки, притоком которой является Хоханья, называется Северная Сосьва.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Хоханъя?", + "support_text": "Хоханъя (\"устар.\" Хохан-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 290 км по левому берегу реки Северная Сосьва. Длина реки составляет 28 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.", + "text": "Бассейн Оби. Северная Сосьва — река в Ханты-Мансийском автономном округе России, протекает на Северном Урале по Западно-Сибирской равнине. Длина реки — 754 км, площадь водосборного бассейна — 98 300 кв км. Образуется слиянием рек Большой и Малой Сосьвы. Впадает в Обь слева (рукав Малая Обь) на 287 км от её устья." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 264, + "segment": "Обь" + } + ], + "meta": { + "id": 737, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 131, + "segment": "Северная Сосьва" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Хоханъя (\"устар.\" Хохан-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 290 км по левому берегу реки Северная Сосьва. Длина реки составляет 28 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.\nТекст 2: Бассейн Оби. Северная Сосьва — река в Ханты-Мансийском автономном округе России, протекает на Северном Урале по Западно-Сибирской равнине. Длина реки — 754 км, площадь водосборного бассейна — 98 300 кв км. Образуется слиянием рек Большой и Малой Сосьвы. Впадает в Обь слева (рукав Малая Обь) на 287 км от её устья.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Хоханъя?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4, + "em": 0 + }, + "predict": " Законодательный орган города, где умер Владимир Рубенович Назарян, называется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Владимир Рубенович Назарян?", + "support_text": "Владимир Рубенович Назарян ( 10 мая 1932 — Ереван, 21 июня 2002) — армянский юрист и бывший генеральный прокурор Республики Армения. Мини. 1950 — окончил среднюю школу г.Еревана. * 1957 — юридический факультет Ереванского государственного университета. 1963 — Кандидат юридических наук. Работал на разных должностях в сфере юриспруденции.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 397, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 43, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где умер Владимир Рубенович Назарян?\nТекст 1: Владимир Рубенович Назарян ( 10 мая 1932 — Ереван, 21 июня 2002) — армянский юрист и бывший генеральный прокурор Республики Армения. Мини. 1950 — окончил среднюю школу г.Еревана. * 1957 — юридический факультет Ереванского государственного университета. 1963 — Кандидат юридических наук. Работал на разных должностях в сфере юриспруденции.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Владимир Владимирович Владимиров.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Николай Николаевич Литвинов?", + "support_text": "Николай Николаевич Литвинов (1926—1983) — советский военно-промышленный деятель и организатор производства; Лауреат Ленинской премии (1961).\n\nБиография.\nРодился 8 декабря 1926 года в городе Георгиевске Ставропольского края в рабочей семье. С 1943 года в РККА, участник Великой Отечественной войны на Кавказе.", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь.\n\nРуководители края.\nГубернаторы. Александр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 449, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 570, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 205, + "segment": "Ставропольского края" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Николаевич Литвинов (1926—1983) — советский военно-промышленный деятель и организатор производства; Лауреат Ленинской премии (1961).\n\nБиография.\nРодился 8 декабря 1926 года в городе Георгиевске Ставропольского края в рабочей семье. С 1943 года в РККА, участник Великой Отечественной войны на Кавказе.\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь.\n\nРуководители края.\nГубернаторы. Александр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Николай Николаевич Литвинов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 304, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2, + "em": 0 + }, + "predict": " Город рождения Клары Вестхофф находится в административной территории земли Нижняя Саксония, которая граничит с городом Бремен.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы находится город рождения Клары Вестхофф?", + "support_text": "Клара Вестхофф (нем. \"Clara Westhoff\", имя при рождении \"Clara Henriette Sophie Westhoff\", известная также как Клара Рильке-Вестхофф, 21 сентября 1878, Бремен – 9 марта 1954, Фишерхуде) – немецкая художница и скульптор, жена поэта Райнера Марии Рильке.\n\nТворчество.\nБюст художницы Паулы Модерзон-Беккер, Бремен. Клара Вестхофф, 1908. Клара Рильке-Вестхофф сегодня считается одним из пионеров среди женщин-скульпторов Германии. Клара Вестхофф работала скульптором всю свою жизнь.", + "text": "Бремен ( ), — город на северо-западе Германии. Вместе с приморским портом Бремерхафен образует землю Вольный ганзейский город Бремен.\n\nГеография.\nСправа расположен так называемый \"Сырой треугольник\" — болотистая равнина между устьями Эльбы и Везера. Протяжённость города составляет 38 км в длину и 16 км в ширину. Длина его границ — 136,5 км. Бремен со всех сторон окружён Нижней Саксонией. На западе он граничит с городским округом Дельменхорст (75 672 жителей) и районом Везермарш (93 725 жителей), включающим посёлки Лемвердер, Берне и Эльсфлет, на севере — с районом Остерхольц (112 587 жителей), включающим посёлки Шваневеде, Риттерхуде и Лилиенталь, Дипхольц (215 648 жителей), включающим посёлки Вайхе и Штур." + }, + "outputs": [ + { + "label": "passage", + "length": 31, + "offset": 101, + "segment": "Вольный ганзейский город Бремен" + } + ], + "meta": { + "id": 921, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 152, + "segment": "Бремен" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: На территории какой административно-территориальной единицы находится город рождения Клары Вестхофф?\nТекст 1: Клара Вестхофф (нем. \"Clara Westhoff\", имя при рождении \"Clara Henriette Sophie Westhoff\", известная также как Клара Рильке-Вестхофф, 21 сентября 1878, Бремен – 9 марта 1954, Фишерхуде) – немецкая художница и скульптор, жена поэта Райнера Марии Рильке.\n\nТворчество.\nБюст художницы Паулы Модерзон-Беккер, Бремен. Клара Вестхофф, 1908. Клара Рильке-Вестхофф сегодня считается одним из пионеров среди женщин-скульпторов Германии. Клара Вестхофф работала скульптором всю свою жизнь.\nТекст 2: Бремен ( ), — город на северо-западе Германии. Вместе с приморским портом Бремерхафен образует землю Вольный ганзейский город Бремен.\n\nГеография.\nСправа расположен так называемый \"Сырой треугольник\" — болотистая равнина между устьями Эльбы и Везера. Протяжённость города составляет 38 км в длину и 16 км в ширину. Длина его границ — 136,5 км. Бремен со всех сторон окружён Нижней Саксонией. На западе он граничит с городским округом Дельменхорст (75 672 жителей) и районом Везермарш (93 725 жителей), включающим посёлки Лемвердер, Берне и Эльсфлет, на севере — с районом Остерхольц (112 587 жителей), включающим посёлки Шваневеде, Риттерхуде и Лилиенталь, Дипхольц (215 648 жителей), включающим посёлки Вайхе и Штур.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Кысъёган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пайтакулымигол?", + "support_text": "Пайтакулымигол (\"устар.\" Паптакулым-Игол) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 40 км по левому берегу реки Леленъёган. Длина реки составляет 37 км.", + "text": "Леленъёган (\"устар.\" Лелен-Еган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 15 км по правому берегу реки Кысъёган. Длина реки составляет 93 км, площадь водосборного бассейна 1020 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 137, + "segment": "Кысъёган" + } + ], + "meta": { + "id": 611, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 145, + "segment": "Леленъёган" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пайтакулымигол (\"устар.\" Паптакулым-Игол) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 40 км по левому берегу реки Леленъёган. Длина реки составляет 37 км.\nТекст 2: Леленъёган (\"устар.\" Лелен-Еган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 15 км по правому берегу реки Кысъёган. Длина реки составляет 93 км, площадь водосборного бассейна 1020 кв км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Пайтакулымигол? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Калаус", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Кианкиз?", + "support_text": "Кианкиз (балка Кианкиз) — река в России, протекает в Ставропольском крае. Устье реки находится в 24 км по правому берегу реки Янкуль. Длина реки составляет 21 км, площадь водосборного бассейна 118 кв км.", + "text": "Янкуль (балка Колонская) — река в Андроповском районе Ставропольском крае. Устье реки находится в 406 км по левому берегу реки Калаус. Длина реки составляет 40 км, площадь водосборного бассейна 292 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Донскому бассейновому округу, водохозяйственный участок реки — Калаус, речной подбассейн реки — бассейн притоков Дона ниже впадения Северского Донца. Речной бассейн реки — Дон (российская часть бассейна)." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 127, + "segment": "Калаус" + } + ], + "meta": { + "id": 339, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 126, + "segment": "Янкуль" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кианкиз (балка Кианкиз) — река в России, протекает в Ставропольском крае. Устье реки находится в 24 км по правому берегу реки Янкуль. Длина реки составляет 21 км, площадь водосборного бассейна 118 кв км.\nТекст 2: Янкуль (балка Колонская) — река в Андроповском районе Ставропольском крае. Устье реки находится в 406 км по левому берегу реки Калаус. Длина реки составляет 40 км, площадь водосборного бассейна 292 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Донскому бассейновому округу, водохозяйственный участок реки — Калаус, речной подбассейн реки — бассейн притоков Дона ниже впадения Северского Донца. Речной бассейн реки — Дон (российская часть бассейна).\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Кианкиз? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3157894736842105, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где умер Виктор Николаевич Меркулов, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где умер Виктор Николаевич Меркулов?", + "support_text": "Виктор Николаевич Меркулов (1925, Ташкент — 1968, Ереван) — советский футболист, нападающий. Играл за команды ДО Тбилиси, \"Динамо\" Ереван (1948—1953), \"Спартак\" Ереван (1954—1955), \"Пищевик\" Одесса. В чемпионате СССР в 1949—1950 годах провёл 59 матчей, забил 10 голов. В финале Кубка СССР 1954 года забил единственный мяч ереванского \"Спартака\" в ворота \"Динамо\" Киев (1:2).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 653, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за законодательный орган работает в городе, где умер Виктор Николаевич Меркулов?\nТекст 1: Виктор Николаевич Меркулов (1925, Ташкент — 1968, Ереван) — советский футболист, нападающий. Играл за команды ДО Тбилиси, \"Динамо\" Ереван (1948—1953), \"Спартак\" Ереван (1954—1955), \"Пищевик\" Одесса. В чемпионате СССР в 1949—1950 годах провёл 59 матчей, забил 10 голов. В финале Кубка СССР 1954 года забил единственный мяч ереванского \"Спартака\" в ворота \"Динамо\" Киев (1:2).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Кембридж, Англия, Великобритания.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место, в котором появился на свет человек, снявший фильм \"О, что за чудесная война\"?", + "support_text": "'О, что за чудесная война' — кинофильм режиссёра Ричарда Аттенборо, вышедший на экраны в 1969 году. Лента основана на радиопостановке 'The Long Long Trail' (1961) и мюзикле 'Oh, What a Lovely War!' (1963), поставленном на театральной сцене труппой .", + "text": "Ричард Сэмюэл Аттенборо, барон Аттенборо ( ; , Кембридж, Англия, Великобритания — Лондон, Англия, Великобритания) — британский актёр театра и кино, кинорежиссёр, кинопродюсер; пожизненный пэр в ранге барона. При жизни являлся президентом Королевской академии драматического искусства и Британской академии кино и телевизионных искусств. Лауреат премий \"Оскар\" (1983 — дважды), \"Золотой глобус\" (1967, 1968, 1983) и \"BAFTA\" (1965, 1983 — трижды, 1994), призёр Берлинского кинофестиваля." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 47, + "segment": "Кембридж" + } + ], + "meta": { + "id": 87, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 49, + "segment": "Ричарда Аттенборо" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'О, что за чудесная война' — кинофильм режиссёра Ричарда Аттенборо, вышедший на экраны в 1969 году. Лента основана на радиопостановке 'The Long Long Trail' (1961) и мюзикле 'Oh, What a Lovely War!' (1963), поставленном на театральной сцене труппой .\nТекст 2: Ричард Сэмюэл Аттенборо, барон Аттенборо ( ; , Кембридж, Англия, Великобритания — Лондон, Англия, Великобритания) — британский актёр театра и кино, кинорежиссёр, кинопродюсер; пожизненный пэр в ранге барона. При жизни являлся президентом Королевской академии драматического искусства и Британской академии кино и телевизионных искусств. Лауреат премий \"Оскар\" (1983 — дважды), \"Золотой глобус\" (1967, 1968, 1983) и \"BAFTA\" (1965, 1983 — трижды, 1994), призёр Берлинского кинофестиваля.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется место, в котором появился на свет человек, снявший фильм \"О, что за чудесная война\"? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Эразм Александрович Карамян?", + "support_text": "Эразм Александрович Карамян (настоящая фамилия — \"Мелик-Карамян\") ( 15 марта 1912, Париж — 15 июня 1985, Ереван) — армянский, советский кинорежиссёр, театральный режиссёр, сценарист. Народный артист СССР (1971).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 272, + "segment": "городским советом" + } + ], + "meta": { + "id": 79, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 106, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Эразм Александрович Карамян (настоящая фамилия — \"Мелик-Карамян\") ( 15 марта 1912, Париж — 15 июня 1985, Ереван) — армянский, советский кинорежиссёр, театральный режиссёр, сценарист. Народный артист СССР (1971).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где умер Эразм Александрович Карамян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Екатерина Николаевна Максимова родилась в Казани, и в городе, где она родилась, главой администрации является мэр. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Екатерина Николаевна Максимова?", + "support_text": "Екатерина Николаевна Максимова (12 декабря 1891 года, Казань — март 1932, Московская область) — советский архитектор-конструктивист..", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 691, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 54, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родилась Екатерина Николаевна Максимова?\nТекст 1: Екатерина Николаевна Максимова (12 декабря 1891 года, Казань — март 1932, Московская область) — советский архитектор-конструктивист..\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Владимир Сергеевич Сафронов?", + "support_text": "Владимир Сергеевич Сафронов (26 января 1939, Наманган — 21 ноября 2006, Челябинск) — советский и российский художник.\n\nВыставки.\nSafronov-vystavka. 2014 Персональная выставка \"Прогулки с ангелами\", Музей изобразительных искусств, Челябинск. 2013 Персональная выставка \"Портал Воображения\", Курганский областной художественный музей, Курган.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1093, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1093, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 229, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 72, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Владимир Сергеевич Сафронов (26 января 1939, Наманган — 21 ноября 2006, Челябинск) — советский и российский художник.\n\nВыставки.\nSafronov-vystavka. 2014 Персональная выставка \"Прогулки с ангелами\", Музей изобразительных искусств, Челябинск. 2013 Персональная выставка \"Портал Воображения\", Курганский областной художественный музей, Курган.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Владимир Сергеевич Сафронов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Австралия", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гражданином какой страны является режиссёр фильма \"Пламя в душе\"?", + "support_text": "'Пламя в душе' — американский кинофильм 1991-го года режиссёра Джиллиан Армстронг.", + "text": "Джиллиан Мэй Армстронг ( 18 декабря 1950, Мельбурн, Виктория, Австралия) — австралийский кинорежиссёр, сценарист, кинопродюсер, арт-директор.\n\nКарьера.\nВ 1970 году Джиллиан стала первым женщиной-режиссёром в Австралии, сняв фильм \"Старик и собака\", и в настоящее время она сняла 27 фильмов. Также Армстронг является сценаристом, продюсером, арт-директором и актрисой. Джиллиан — лауреат премий \"Australian Film Institute\" (1979, 1996), Премия Лондонского кружка кинокритиков (1981), \"Brisbane International Film Festival\" (1995), \"Women in Film Crystal Awards\" (1995 и \"Australian Directors Guild\" (2007, 2010)." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 63, + "segment": "Австралия" + } + ], + "meta": { + "id": 26, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 63, + "segment": "Джиллиан Армстронг" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Пламя в душе' — американский кинофильм 1991-го года режиссёра Джиллиан Армстронг.\nТекст 2: Джиллиан Мэй Армстронг ( 18 декабря 1950, Мельбурн, Виктория, Австралия) — австралийский кинорежиссёр, сценарист, кинопродюсер, арт-директор.\n\nКарьера.\nВ 1970 году Джиллиан стала первым женщиной-режиссёром в Австралии, сняв фильм \"Старик и собака\", и в настоящее время она сняла 27 фильмов. Также Армстронг является сценаристом, продюсером, арт-директором и актрисой. Джиллиан — лауреат премий \"Australian Film Institute\" (1979, 1996), Премия Лондонского кружка кинокритиков (1981), \"Brisbane International Film Festival\" (1995), \"Women in Film Crystal Awards\" (1995 и \"Australian Directors Guild\" (2007, 2010).\nОпираясь на данные тексты, ответьте на вопрос: Гражданином какой страны является режиссёр фильма \"Пламя в душе\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Мариупольский горсовет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Николай Пантелеймонович Семененко?", + "support_text": "Николай Пантелеймонович Семененко (16 ноября 1905, Мариуполь — 18 августа 1996) — советский геолог, действительный член АН УССР (1948), заслуженный деятель науки УССР (1957), академик-секретарь Президиума АН УССР (1948—1950), вице-президент АН УССР (1950—1970), основатель и директор Института геохимии и физики минералов АН УССР (1969—1977).\n\nБиография.\nРодился 16 ноября 1905 года в Мариуполе на улице Донецкой, что на Слободке, в многодетной семье. По окончании в 1927 году Днепропетровского горного института, работал в нём (с 1937 года — профессор).", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nБывшие города-побратимы . Нарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 778, + "segment": "Мариупольским горсоветом" + }, + { + "label": "passage", + "length": 24, + "offset": 778, + "segment": "Мариупольский горсовет" + } + ], + "meta": { + "id": 794, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 51, + "segment": "Мариуполь" + }, + { + "label": "passage", + "length": 9, + "offset": 388, + "segment": "Мариуполе" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Пантелеймонович Семененко (16 ноября 1905, Мариуполь — 18 августа 1996) — советский геолог, действительный член АН УССР (1948), заслуженный деятель науки УССР (1957), академик-секретарь Президиума АН УССР (1948—1950), вице-президент АН УССР (1950—1970), основатель и директор Института геохимии и физики минералов АН УССР (1969—1977).\n\nБиография.\nРодился 16 ноября 1905 года в Мариуполе на улице Донецкой, что на Слободке, в многодетной семье. По окончании в 1927 году Днепропетровского горного института, работал в нём (с 1937 года — профессор).\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nБывшие города-побратимы . Нарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Николай Пантелеймонович Семененко? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 484, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Николай Иванович Золотницкий?", + "support_text": "Николай Иванович Золотницкий (род.3.12.1829, дер. Первое Чурашево Чебоксарского уезда (ныне Мариинско-Посадского р-на Чувашии) — 14.05..1880, , , Российская империя) — российский чувашский лингвист, один из основоположников отечественного чувашского научного языкознания, тюрколог-компаративист, этнограф, педагог, общественный деятель.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 963, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 168, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Иванович Золотницкий (род.3.12.1829, дер. Первое Чурашево Чебоксарского уезда (ныне Мариинско-Посадского р-на Чувашии) — 14.05..1880, , , Российская империя) — российский чувашский лингвист, один из основоположников отечественного чувашского научного языкознания, тюрколог-компаративист, этнограф, педагог, общественный деятель.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Николай Иванович Золотницкий? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 348, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Юрий Цкипури является главой администрации в городе, где родился Олег Петрович Матвеев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Олег Петрович Матвеев?", + "support_text": "Олег Петрóвич Матвеев (1924—1945) — лейтенант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nОлег Матвеев родился в 1924 году в Туле. Окончил девять классов школы.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км. По итогам проводившегося в 2014 году Всероссийского конкурса на звание \"Самого благоустроенного городского (сельского) поселения России\" Тула заняла третье место в категории \"Городские поселения (городские округа), являющиеся административными центрами (столицами) субъектов Российской Федерации\".\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 1018, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 210, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 200, + "segment": "Туле" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Олег Петрович Матвеев?\nТекст 1: Олег Петрóвич Матвеев (1924—1945) — лейтенант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nОлег Матвеев родился в 1924 году в Туле. Окончил девять классов школы.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км. По итогам проводившегося в 2014 году Всероссийского конкурса на звание \"Самого благоустроенного городского (сельского) поселения России\" Тула заняла третье место в категории \"Городские поселения (городские округа), являющиеся административными центрами (столицами) субъектов Российской Федерации\".\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 392, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В городе, где родился Мгер Альбертович Мкртчян, работает законодательный орган в лице ереванского городского совета.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Мгер Альбертович Мкртчян?", + "support_text": "Мгер Альбертович Мкртчян ( , Ереван, Армянская ССР, СССР) — армянский кинорежиссёр, сценарист и кинопродюсер, сын известного кинорежиссёра и сценариста Альберта Мкртчяна, племянник актёра Фрунзика Мкртчяна.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 304, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 30, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Мгер Альбертович Мкртчян ( , Ереван, Армянская ССР, СССР) — армянский кинорежиссёр, сценарист и кинопродюсер, сын известного кинорежиссёра и сценариста Альберта Мкртчяна, племянник актёра Фрунзика Мкртчяна.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Что за законодательный орган работает в городе, где родился Мгер Альбертович Мкртчян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Законодательная власть в городе Ереван, где умер Вартан Рубенович Григорян, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Вартан Рубенович Григорян?", + "support_text": "Вартан Рубенович Григорян (26 января 1929, Дилижан, Армянская ССР — 28 марта 2019) — советский и армянский историк. Доктор исторических наук (1975).\n\nНаучная деятельность.\nСпециализируется на исследовании армянских колоний 15-18 веков на территории Украины и, в частности, Подолье. В 1963 году в Ереване опубликовал на армянском языке акты армянского суда Каменца-Подольского (16 века). Автор монографии на русском языке \"История армянских колоний Украины и Польши (Армяне в Подолье)\" (Ереван, 1980).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 66, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 299, + "segment": "Ереване" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Вартан Рубенович Григорян (26 января 1929, Дилижан, Армянская ССР — 28 марта 2019) — советский и армянский историк. Доктор исторических наук (1975).\n\nНаучная деятельность.\nСпециализируется на исследовании армянских колоний 15-18 веков на территории Украины и, в частности, Подолье. В 1963 году в Ереване опубликовал на армянском языке акты армянского суда Каменца-Подольского (16 века). Автор монографии на русском языке \"История армянских колоний Украины и Польши (Армяне в Подолье)\" (Ереван, 1980).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Вартан Рубенович Григорян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 291, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Генерал-лейтенант", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое звание было бы у Вона Лэнга, если бы ему дали повышение?", + "support_text": "Вон Олин Лэнг ( 10 ноября 1927, Уильямсбург, Блэр, Пенсильвания, США — 2 октября 2014, Вена, Фэрфакс, Виргиния, США) — американский военный деятель, генерал-лейтенант Армии США.", + "text": "Генерал-лейтенант — должностное воинское звание (чин) в ВС США.\n\nИстория.\nСуществует в Сухопутных войсках (US Army), Корпусе морской пехоты (US Marine Corps) и ВВС ВС США (US Air Force). Является генеральским званием старших офицеров (трехзвёздочный генерал), с денежным содержанием класса О-9 (около $11 000 в месяц). Звание \"генерал-лейтенант\" является званием выше звания генерал-майор и ниже звания (чина) (полный) генерал. Звание \"генерал-лейтенант\" эквивалентно званию вице-адмирал в ВМС ВС США и Береговой охране США. Звание является временным и присваивается Президентом США с согласия Конгресса США генералам исключительно на время нахождения их на должностях, соответствующих званию (чину) \"генерал-лейтенанта\", и при условии выслуги 20 лет в ВС." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 199, + "segment": "генерал" + } + ], + "meta": { + "id": 111, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 150, + "segment": "генерал-лейтенант" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вон Олин Лэнг ( 10 ноября 1927, Уильямсбург, Блэр, Пенсильвания, США — 2 октября 2014, Вена, Фэрфакс, Виргиния, США) — американский военный деятель, генерал-лейтенант Армии США.\nТекст 2: Генерал-лейтенант — должностное воинское звание (чин) в ВС США.\n\nИстория.\nСуществует в Сухопутных войсках (US Army), Корпусе морской пехоты (US Marine Corps) и ВВС ВС США (US Air Force). Является генеральским званием старших офицеров (трехзвёздочный генерал), с денежным содержанием класса О-9 (около $11 000 в месяц). Звание \"генерал-лейтенант\" является званием выше звания генерал-майор и ниже звания (чина) (полный) генерал. Звание \"генерал-лейтенант\" эквивалентно званию вице-адмирал в ВМС ВС США и Береговой охране США. Звание является временным и присваивается Президентом США с согласия Конгресса США генералам исключительно на время нахождения их на должностях, соответствующих званию (чину) \"генерал-лейтенанта\", и при условии выслуги 20 лет в ВС.\nОпираясь на данные тексты, ответьте на вопрос: Какое звание было бы у Вона Лэнга, если бы ему дали повышение? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 314, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.10526315789473684, + "em": 0 + }, + "predict": " Нирсос сливается с рекой Северная Сосьва. Это следует из данных водного реестра, согласно которым река Тапсуй, в которую впадает Нирсос, протекает на протяжении 283 км и имеет площадь водосборного бассейна 9430 кв км. Устье Тапсуя находится", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Нирсос?", + "support_text": "Нирсос (устар. \"Нир-Сос\") — река в Советском районе Ханты-Мансийского автономного округа. Устье реки находится в 171 км по правому берегу реки Тапсуй. Длина реки составляет 12 км.", + "text": "Тапсуй (также Тапыс) — река в России, протекает по территории Советского и Берёзовского районов Ханты-Мансийского автономного округа. Устье реки находится на 591-м км правого берега реки Северная Сосьва. Длина Тапсуя — 283 км, площадь водосборного бассейна — 9430 кв км. На всём своём протяжении река извилистая и болотистая.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 187, + "segment": "Северная Сосьва" + } + ], + "meta": { + "id": 607, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 143, + "segment": "Тапсуй" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Нирсос?\nТекст 1: Нирсос (устар. \"Нир-Сос\") — река в Советском районе Ханты-Мансийского автономного округа. Устье реки находится в 171 км по правому берегу реки Тапсуй. Длина реки составляет 12 км.\nТекст 2: Тапсуй (также Тапыс) — река в России, протекает по территории Советского и Берёзовского районов Ханты-Мансийского автономного округа. Устье реки находится на 591-м км правого берега реки Северная Сосьва. Длина Тапсуя — 283 км, площадь водосборного бассейна — 9430 кв км. На всём своём протяжении река извилистая и болотистая.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 250, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13333333333333333, + "em": 0 + }, + "predict": " В городе Санта-Моника, Калифорния наступила смерть режиссёра фильма \"Свидание с опасностью\" — Льюиса Аллена.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком городе наступила смерть режиссёра фильма \"Свидание с опасностью\"?", + "support_text": "'Свидание с опасностью' — фильм нуар режиссёра Льюиса Аллена, вышедший на экраны в 1951 году. Поставленный по сценарию Ричарда Л. Брина и Уоррена Даффа, фильм рассказывает о жёстком и хладнокровном инспекторе Почтовой службы США Эле Годдарде (Алан Лэдд), которому поручено найти и задержать преступников, задушивших его коллегу. Расследование приводит его к монахине (Филлис Калверт), которая была свидетелем убийства и может опознать убийц (Джек Уэбб и Гарри Морган), которые работают на гангстера Эрла Беттигера (Пол Стюарт). Выдавая себя за продажного чиновника, Эл входит доверие к Беттигеру и внедряется в его банду, которая разрабатывает план ограбления грузовика Почтовой службы, перевозящего миллион долларов наличными. После выхода фильма критики давали ему высокие оценки, особенно отмечая качественный сценарий и отличную игру исполнителей как главных ролей, так и ролей второго плана.", + "text": "Льюис Аллен ( 25 декабря 1905 — 3 мая 2000) — английский режиссёр театра, кино и телевидения, работавший главным образом в США. Начав карьеру как театральный актёр, менеджер и режиссёр в Англии и в США, в 1941 году Аллен подписал контракт с голливудской киностудией \"Парамаунт\". C 1943 по 1959 год Аллен проработал кинорежиссёром в США, поставив за это время 18 полнометражных художественных фильмов.\n\nЛичная жизнь.\nАллен был женат дважды, в первом браке у него был один ребёнок. Аллен умер в Санта-Монике, Калифорния, 3 мая 2000 года в возрасте 94 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 497, + "segment": "Санта-Монике" + }, + { + "label": "passage", + "length": 12, + "offset": 497, + "segment": "Санта-Моника" + } + ], + "meta": { + "id": 327, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 47, + "segment": "Льюиса Аллена" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В каком городе наступила смерть режиссёра фильма \"Свидание с опасностью\"?\nТекст 1: 'Свидание с опасностью' — фильм нуар режиссёра Льюиса Аллена, вышедший на экраны в 1951 году. Поставленный по сценарию Ричарда Л. Брина и Уоррена Даффа, фильм рассказывает о жёстком и хладнокровном инспекторе Почтовой службы США Эле Годдарде (Алан Лэдд), которому поручено найти и задержать преступников, задушивших его коллегу. Расследование приводит его к монахине (Филлис Калверт), которая была свидетелем убийства и может опознать убийц (Джек Уэбб и Гарри Морган), которые работают на гангстера Эрла Беттигера (Пол Стюарт). Выдавая себя за продажного чиновника, Эл входит доверие к Беттигеру и внедряется в его банду, которая разрабатывает план ограбления грузовика Почтовой службы, перевозящего миллион долларов наличными. После выхода фильма критики давали ему высокие оценки, особенно отмечая качественный сценарий и отличную игру исполнителей как главных ролей, так и ролей второго плана.\nТекст 2: Льюис Аллен ( 25 декабря 1905 — 3 мая 2000) — английский режиссёр театра, кино и телевидения, работавший главным образом в США. Начав карьеру как театральный актёр, менеджер и режиссёр в Англии и в США, в 1941 году Аллен подписал контракт с голливудской киностудией \"Парамаунт\". C 1943 по 1959 год Аллен проработал кинорежиссёром в США, поставив за это время 18 полнометражных художественных фильмов.\n\nЛичная жизнь.\nАллен был женат дважды, в первом браке у него был один ребёнок. Аллен умер в Санта-Монике, Калифорния, 3 мая 2000 года в возрасте 94 лет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 416, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Безбабченко, Андрей Иванович", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в месте, где родилась Нина Викторовна Шевчук?", + "support_text": "Нина Викторовна Шевчук (до замужества — Штански) ( 10 апреля 1977, Тирасполь, МССР, СССР) — бывший приднестровский государственный, политический и общественный деятель. Первая леди Приднестровья (до истечения президентского срока Е. Шевчука в 2016 г.). Кандидат политических наук (2012).\n\nБиография.\nРодилась 10 апреля 1977 года в городе Тирасполе Молдавской ССР. Окончила юридический факультет Приднестровского государственного университета им. Т. Г. Шевченко. 24 декабря 2012 года защитила диссертацию на соискание ученой степени кандидата политических наук по теме \"Проблемы урегулирования конфликта в Приднестровье/Молдове: международные аспекты\" (научные руководители — профессор Лебедева М. М., доцент Веселовский С. С.). С 2002 года по 2009 год работала в аппарате Верховного Совета Приднестровской Молдавской Республики в должностях:.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман. По данным государственной службы статистики ПМР население города в 2014 году составило 133,8 тысяч человек.\n\nОрганы власти.\nШапа, Пётр Иванович (1978—1980), 1-й секретарь горкома. Костырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 1188, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 1188, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 240, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 67, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Нина Викторовна Шевчук (до замужества — Штански) ( 10 апреля 1977, Тирасполь, МССР, СССР) — бывший приднестровский государственный, политический и общественный деятель. Первая леди Приднестровья (до истечения президентского срока Е. Шевчука в 2016 г.). Кандидат политических наук (2012).\n\nБиография.\nРодилась 10 апреля 1977 года в городе Тирасполе Молдавской ССР. Окончила юридический факультет Приднестровского государственного университета им. Т. Г. Шевченко. 24 декабря 2012 года защитила диссертацию на соискание ученой степени кандидата политических наук по теме \"Проблемы урегулирования конфликта в Приднестровье/Молдове: международные аспекты\" (научные руководители — профессор Лебедева М. М., доцент Веселовский С. С.). С 2002 года по 2009 год работала в аппарате Верховного Совета Приднестровской Молдавской Республики в должностях:.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман. По данным государственной службы статистики ПМР население города в 2014 году составило 133,8 тысяч человек.\n\nОрганы власти.\nШапа, Пётр Иванович (1978—1980), 1-й секретарь горкома. Костырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в месте, где родилась Нина Викторовна Шевчук? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 661, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Иван Дмитриевич Донцов, будучи гражданином Российской империи, занимал должность городского головы Мелитополя. Однако он умер до того, как смог вступить в должность, так как его избрание состоялось 10 марта 1894 года, а смерть наступила 11 апреля того же года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Иван Дмитриевич Донцов?", + "support_text": "Иван Дмитриевич Донцов — общественный и политический деятель Российской империи. 10 марта 1894 года избран городским головой Мелитополя, но 11 апреля 1894 умер, не успев вступить в должность. Отец теоретика украинского национализма Дмитрия Ивановича Донцова.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 102, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 61, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Иван Дмитриевич Донцов — общественный и политический деятель Российской империи. 10 марта 1894 года избран городским головой Мелитополя, но 11 апреля 1894 умер, не успев вступить в должность. Отец теоретика украинского национализма Дмитрия Ивановича Донцова.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Иван Дмитриевич Донцов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 302, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Рустам Эмомали", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Анвар Музафарович Юнусов?", + "support_text": "Анвар Музафарович Юнусов (род. 1 февраля 1987, Душанбе) — таджикский боксёр, представитель лёгкой, легчайшей и наилегчайшей весовых категорий. Выступал за сборную Таджикистана по боксу в период 2005—2016 годов, бронзовый призёр чемпионата мира, чемпион Азии, победитель и призёр многих турниров международного значения, участник трёх летних Олимпийских игр. Мастер спорта Республики Таджикистан международного класса.\n\nБиография.\nАнвар Юнусов родился 1 февраля 1987 года в городе Душанбе Таджикской ССР. Занимается боксом с 13 лет.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 956, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 47, + "segment": "Душанбе" + }, + { + "label": "passage", + "length": 7, + "offset": 483, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Анвар Музафарович Юнусов (род. 1 февраля 1987, Душанбе) — таджикский боксёр, представитель лёгкой, легчайшей и наилегчайшей весовых категорий. Выступал за сборную Таджикистана по боксу в период 2005—2016 годов, бронзовый призёр чемпионата мира, чемпион Азии, победитель и призёр многих турниров международного значения, участник трёх летних Олимпийских игр. Мастер спорта Республики Таджикистан международного класса.\n\nБиография.\nАнвар Юнусов родился 1 февраля 1987 года в городе Душанбе Таджикской ССР. Занимается боксом с 13 лет.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Анвар Музафарович Юнусов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Нившера впадает река Пысотчемъёль.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Пысотчемъёль?", + "support_text": "Пысотчемъёль (Пысочемъёль) — река в России, протекает по Республике Коми. Устье реки находится в 41 км по правому берегу реки Нившера. Длина реки составляет 12 км.", + "text": "Нившера — река в России, протекает в Республике Коми по территории Княжпогостского и Корткеросского районов, левый и крупнейший приток реки Вишеры. Длина — 215 км, площадь бассейна — 4250 кв км. Питание смешанное, с преобладанием снегового. Средний расход воды в 25 км от устья — 44,8 м³/с. Замерзает в начале ноября, вскрывается в начале мая.\n\nГеография.\nТакже на реке расположены деревни Алексеевка, Ивановка, Троицк и Пасвомын. Впадает в Вишеру в 58 км от её устья, около села Богородск. Высота устья — 93 м над уровнем моря. Система водного объекта: Вишера → Вычегда → Северная Двина → Белое море." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 140, + "segment": "Вишеры" + }, + { + "label": "passage", + "length": 6, + "offset": 140, + "segment": "Вишеру" + } + ], + "meta": { + "id": 14, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 126, + "segment": "Нившера" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Пысотчемъёль (Пысочемъёль) — река в России, протекает по Республике Коми. Устье реки находится в 41 км по правому берегу реки Нившера. Длина реки составляет 12 км.\nТекст 2: Нившера — река в России, протекает в Республике Коми по территории Княжпогостского и Корткеросского районов, левый и крупнейший приток реки Вишеры. Длина — 215 км, площадь бассейна — 4250 кв км. Питание смешанное, с преобладанием снегового. Средний расход воды в 25 км от устья — 44,8 м³/с. Замерзает в начале ноября, вскрывается в начале мая.\n\nГеография.\nТакже на реке расположены деревни Алексеевка, Ивановка, Троицк и Пасвомын. Впадает в Вишеру в 58 км от её устья, около села Богородск. Высота устья — 93 м над уровнем моря. Система водного объекта: Вишера → Вычегда → Северная Двина → Белое море.\nВопрос: В какую реку впадает река, притоком которой является Пысотчемъёль?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 280, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Эдгар Степанович Акопян?", + "support_text": "Эдгар Степанович Акопян (Акобян) (29 ноября 1981, Ереван, Армения) — эстрадный скрипач, композитор, продюсер, актёр,солист Международного центра искусств \"Русский симфонический оркестр им. С. С. Прокофьева\", обладатель Гран-при II Московского международного фестиваля-конкурса детского и юношеского художественного творчества \"Открытая Европа\" и статуса \"Национальное Достояние\" (2008).\n\nБиография.\nДетство. Первые занятия музыкой. Родился в Ереване в армянской семье. Отец — Акопян Степан Самвелович — звукооператор в Арм Концерте (Армина). Мать — Гаспарян Жанна Самвеловна — дирижёр хора, долгое время работала в Республиканском центре эстетического воспитания (г. Ереван). Мать оказала большое влияние на музыкальное и эстетическое воспитание будущего артиста. Эдгар — старший ребёнок в семье. Мальчик рос в творческой обстановке.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 977, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "Ереван" + }, + { + "label": "passage", + "length": 7, + "offset": 445, + "segment": "Ереване" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Эдгар Степанович Акопян (Акобян) (29 ноября 1981, Ереван, Армения) — эстрадный скрипач, композитор, продюсер, актёр,солист Международного центра искусств \"Русский симфонический оркестр им. С. С. Прокофьева\", обладатель Гран-при II Московского международного фестиваля-конкурса детского и юношеского художественного творчества \"Открытая Европа\" и статуса \"Национальное Достояние\" (2008).\n\nБиография.\nДетство. Первые занятия музыкой. Родился в Ереване в армянской семье. Отец — Акопян Степан Самвелович — звукооператор в Арм Концерте (Армина). Мать — Гаспарян Жанна Самвеловна — дирижёр хора, долгое время работала в Республиканском центре эстетического воспитания (г. Ереван). Мать оказала большое влияние на музыкальное и эстетическое воспитание будущего артиста. Эдгар — старший ребёнок в семье. Мальчик рос в творческой обстановке.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Эдгар Степанович Акопян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 382, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16, + "em": 0 + }, + "predict": " Ашот Ашотович Мндоянц родился в Батуми, который является городом в Грузии. В Батуми с 13 ноября 2017 года является главой администрации Лаша Комахидзе.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Ашот Ашотович Мндоянц?", + "support_text": "Ашот Ашотович Мндоянц (1909/1910 — 1966) — советский . Автор ряда проектов (совместно с М. В. Посохиным), существенно изменивших облик Москвы.\n\nБиография.\nРодился 28 декабря 1909 года (10 января 1910 года) в Батуми (ныне Грузия). Учился на архитектурном факультете Политехникума изобразительных искусств и в институте Инженеров гражданского и коммунального строительства в Одессе (1928—1932). В 1932—1935 работал в Батуми, занимая в 1934—1935 годах должность главного архитектора родного города, а затем в Москве. В 1941 году принимал участие в строительстве оборонных сооружений под Москвой. В 1945 году стал одним из авторов реконструкции бывшего дома московского генерал-губернатора на Тверской (тогда — Горького) улице.", + "text": "Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария.\n\nОрганы власти.\nАбашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 333, + "segment": "Лаша Комахидзе" + } + ], + "meta": { + "id": 476, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 211, + "segment": "Батуми" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Ашот Ашотович Мндоянц (1909/1910 — 1966) — советский . Автор ряда проектов (совместно с М. В. Посохиным), существенно изменивших облик Москвы.\n\nБиография.\nРодился 28 декабря 1909 года (10 января 1910 года) в Батуми (ныне Грузия). Учился на архитектурном факультете Политехникума изобразительных искусств и в институте Инженеров гражданского и коммунального строительства в Одессе (1928—1932). В 1932—1935 работал в Батуми, занимая в 1934—1935 годах должность главного архитектора родного города, а затем в Москве. В 1941 году принимал участие в строительстве оборонных сооружений под Москвой. В 1945 году стал одним из авторов реконструкции бывшего дома московского генерал-губернатора на Тверской (тогда — Горького) улице.\nТекст 2: Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария.\n\nОрганы власти.\nАбашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года.\nВопрос: Кто является главой администрации в городе, где родился Ашот Ашотович Мндоянц?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 406, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15, + "em": 0 + }, + "predict": " Алексей Николаевич Самохвалов родился в городе Тюмень, который является административным центром Тюменской области и Тюменского района. В городе Тюмень главой администрации является Руслан Николаевич Кухарук, назначенный на эту должность Тюменской городской Думой с 8 октября 2018 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Алексей Николаевич Самохвалов?", + "support_text": "Алексей Николаевич Самохвалов (27 марта 1922, Тюмень — 31 октября 2017, Барнаул) — ведущий мастер сцены, Заслуженный артист РСФСР (1979), артист Алтайского краевого театра драмы имени В. М. Шукшина. Член КПСС в 1943—1991 годах.", + "text": "Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре.\n\nАдминистративное деление.\nОрганы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 421, + "segment": "Руслан Николаевич Кухарук" + } + ], + "meta": { + "id": 168, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Тюмень" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Алексей Николаевич Самохвалов?\nТекст 1: Алексей Николаевич Самохвалов (27 марта 1922, Тюмень — 31 октября 2017, Барнаул) — ведущий мастер сцены, Заслуженный артист РСФСР (1979), артист Алтайского краевого театра драмы имени В. М. Шукшина. Член КПСС в 1943—1991 годах.\nТекст 2: Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре.\n\nАдминистративное деление.\nОрганы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2222222222222222, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в городе, где умер Николай Алексеевич Марушин, — Городская Дума Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Николай Алексеевич Марушин?", + "support_text": "Николай Алексеевич Марушин (1925—2001) — капитан внутренних войск МВД СССР, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nУказом Президиума Верховного Совета СССР от 24 марта 1945 года за \"образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом мужество и героизм\" сержант Николай Марушин был удостоен высокого звания Героя Советского Союза с вручением ордена Ленина и медали \"Золотая Звезда\" за номером 6986. После окончания войны Марушин продолжил службу сначала в Советской Армии, а позднее во внутренних войсках. В 1952 году он окончил Калининградское училище МВД СССР, в 1963 году — Саратовское военное училище МВД СССР. В 1967 году в звании капитана он был уволен в запас. Проживал в Нижнем Новгороде. Умер 4 марта 2001 года, похоронен на нижегородском кладбище \"Марьина Роща\".", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городская дума" + } + ], + "meta": { + "id": 133, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 787, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Николай Алексеевич Марушин (1925—2001) — капитан внутренних войск МВД СССР, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nУказом Президиума Верховного Совета СССР от 24 марта 1945 года за \"образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом мужество и героизм\" сержант Николай Марушин был удостоен высокого звания Героя Советского Союза с вручением ордена Ленина и медали \"Золотая Звезда\" за номером 6986. После окончания войны Марушин продолжил службу сначала в Советской Армии, а позднее во внутренних войсках. В 1952 году он окончил Калининградское училище МВД СССР, в 1963 году — Саратовское военное училище МВД СССР. В 1967 году в звании капитана он был уволен в запас. Проживал в Нижнем Новгороде. Умер 4 марта 2001 года, похоронен на нижегородском кладбище \"Марьина Роща\".\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nВопрос: Какой законодательный орган принимает законы в городе, где умер Николай Алексеевич Марушин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 517, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Кемпаж", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Нангъя?", + "support_text": "Нангъя (устар. \"Нанг-Я\") — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится в 93 км по левому берегу реки Огуръя. Длина реки составляет 33 км.", + "text": "Огуръя (устар. \"Огур-Я\") — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится в 154 км по левому берегу реки Кемпаж. Длина реки 135 км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 143, + "segment": "Кемпаж" + } + ], + "meta": { + "id": 424, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 142, + "segment": "Огуръя" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Нангъя (устар. \"Нанг-Я\") — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится в 93 км по левому берегу реки Огуръя. Длина реки составляет 33 км.\nТекст 2: Огуръя (устар. \"Огур-Я\") — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится в 154 км по левому берегу реки Кемпаж. Длина реки 135 км.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Нангъя? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вынгапур", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Хатамлаяха?", + "support_text": "Хатамлаяха (\"устар.\" Хытльма-Яха) — река в России, протекает в Ямало-Ненецком АО. Устье реки находится в 166 км по левому берегу реки Вынгапур. Длина реки составляет 17 км. В 4 км от устья справа впадает река без названия.", + "text": "Вынгапур — река России, протекает по территории Пуровского района Ямало-Ненецкого автономного округа. Правый приток реки Пякупур, длина реки — 319 км, площадь её водосборного бассейна — 8710 кв км. Гидроним восходит к лесн. Нен.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур. Код объекта в государственном водном реестре — 15040000112115300055837." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 121, + "segment": "Пякупур" + } + ], + "meta": { + "id": 431, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 134, + "segment": "Вынгапур" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Хатамлаяха (\"устар.\" Хытльма-Яха) — река в России, протекает в Ямало-Ненецком АО. Устье реки находится в 166 км по левому берегу реки Вынгапур. Длина реки составляет 17 км. В 4 км от устья справа впадает река без названия.\nТекст 2: Вынгапур — река России, протекает по территории Пуровского района Ямало-Ненецкого автономного округа. Правый приток реки Пякупур, длина реки — 319 км, площадь её водосборного бассейна — 8710 кв км. Гидроним восходит к лесн. Нен.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур. Код объекта в государственном водном реестре — 15040000112115300055837.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Хатамлаяха? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 281, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13793103448275862, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Джас Рам Сингх, называется двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Джас Рам Сингх?", + "support_text": "Подполковник Джас Рам Сингх (род. 1 марта 1935) — отставной офицер индийской армии и обладатель \"Ашоки Чакры\", высшего ордена Индии за героизм, проявленный в мирное время.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 860, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 860, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 81, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 127, + "segment": "Индии" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Джас Рам Сингх?\nТекст 1: Подполковник Джас Рам Сингх (род. 1 марта 1935) — отставной офицер индийской армии и обладатель \"Ашоки Чакры\", высшего ордена Индии за героизм, проявленный в мирное время.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 517, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.21052631578947367, + "em": 0 + }, + "predict": " Наивысшей точкой горного хребта, к которому принадлежит Александровская сопка, является гора Народная (1895 м над уровнем моря).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое место является наивысшей точкой горного хребта, к которому принадлежит Александровская сопка?", + "support_text": "Александровская сопка — одна из вершин водораздельного хребта Урал-Тау (Уральского хребта). Является одной из визитных карточек города Златоуст. Вершина расположена в границах Миасского городского округа.\n\nГеография и история.\nВершина сложена из причудливых скал, на склонах — курумы. Гора состоит из метаморфических горных пород и кварцитов. Склоны горы почти доверху покрыты темнохвойным лесом. По Александровской сопке, как и по всему Уральскому хребту проходит граница Европы и Азии, ближайший приграничный гранитный обелиск находится южнее, возле станции Уржумка — он возведён в 1892 по проекту инженера-путейца и известного писателя Н. Г. Гарина-Михайловского. Примерно в этом же месте проходила и граница Уфимской и Оренбургской губерний. В настоящее время по Уральскому хребту проходит граница Миасского и Златоустовского городских округов. Граница национального парка \"Таганай\" проходит по западному склону Уральского хребта, таким образом, Александровская сопка находится за пределами парка.", + "text": "Уральские горы — горная система на Урале, расположенная между Восточно-Европейской и Западно-Сибирской равнинами. Простирается примерно с севера на юг через западную часть России, от побережья Северного Ледовитого океана до реки Урал и северо-западного Казахстана. Горный массив является частью условной границы между частями света Европой и Азией. Остров Вайгач и острова Новая Земля образуют дальнейшее продолжение горной цепи на север в Северном Ледовитом океане.\n\nГеографические аспекты.\nВершины. Высочайшие вершины:. Пай-Хой — гора Мореиз (Вэсэй-Пэ) (423 м). Полярный Урал — гора Пайер (1472 м над уровнем моря). Приполярный Урал — гора Народная (1895 м), гора Манарага (1662 м). Северный Урал — гора Тельпосиз (1617 м). Средний Урал — гора Ослянка (1119 м)." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 640, + "segment": "гора Народная" + } + ], + "meta": { + "id": 1003, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 441, + "segment": "Уральскому хребту" + }, + { + "label": "passage", + "length": 8, + "offset": 62, + "segment": "Урал-Тау" + }, + { + "label": "passage", + "length": 17, + "offset": 72, + "segment": "Уральского хребта" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Александровская сопка — одна из вершин водораздельного хребта Урал-Тау (Уральского хребта). Является одной из визитных карточек города Златоуст. Вершина расположена в границах Миасского городского округа.\n\nГеография и история.\nВершина сложена из причудливых скал, на склонах — курумы. Гора состоит из метаморфических горных пород и кварцитов. Склоны горы почти доверху покрыты темнохвойным лесом. По Александровской сопке, как и по всему Уральскому хребту проходит граница Европы и Азии, ближайший приграничный гранитный обелиск находится южнее, возле станции Уржумка — он возведён в 1892 по проекту инженера-путейца и известного писателя Н. Г. Гарина-Михайловского. Примерно в этом же месте проходила и граница Уфимской и Оренбургской губерний. В настоящее время по Уральскому хребту проходит граница Миасского и Златоустовского городских округов. Граница национального парка \"Таганай\" проходит по западному склону Уральского хребта, таким образом, Александровская сопка находится за пределами парка.\nТекст 2: Уральские горы — горная система на Урале, расположенная между Восточно-Европейской и Западно-Сибирской равнинами. Простирается примерно с севера на юг через западную часть России, от побережья Северного Ледовитого океана до реки Урал и северо-западного Казахстана. Горный массив является частью условной границы между частями света Европой и Азией. Остров Вайгач и острова Новая Земля образуют дальнейшее продолжение горной цепи на север в Северном Ледовитом океане.\n\nГеографические аспекты.\nВершины. Высочайшие вершины:. Пай-Хой — гора Мореиз (Вэсэй-Пэ) (423 м). Полярный Урал — гора Пайер (1472 м над уровнем моря). Приполярный Урал — гора Народная (1895 м), гора Манарага (1662 м). Северный Урал — гора Тельпосиз (1617 м). Средний Урал — гора Ослянка (1119 м).\nВопрос: Какое место является наивысшей точкой горного хребта, к которому принадлежит Александровская сопка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 501, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Александр Студнев является главой администрации в городе Бобруйске, где родился Борис Владимирович Беленький.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Борис Владимирович Беленький?", + "support_text": "Борис Владимирович (Вульфович) Беленький ( Бобруйск, Минская губерния — 16 февраля 1987 года, Москва) — советский скрипач и педагог. Заслуженный деятель искусств РСФСР (1978).", + "text": "Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\n\"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 600, + "segment": "Александр Студнев" + } + ], + "meta": { + "id": 477, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 43, + "segment": "Бобруйск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Борис Владимирович Беленький?\nТекст 1: Борис Владимирович (Вульфович) Беленький ( Бобруйск, Минская губерния — 16 февраля 1987 года, Москва) — советский скрипач и педагог. Заслуженный деятель искусств РСФСР (1978).\nТекст 2: Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\n\"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Тистла", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место рождения человека, в честь которого был назван Герреро?", + "support_text": "Герреро ( испанское произношение: ɡeˈreɾo) — один из 31 штата Мексики. Официально: Свободный и Суверенный Штат Герреро (\"Estado Libre y Soberano de Guerrero\").\n\nЭтимология.\nНазвание штату было дано при его создании, 27 октября 1849 года, в честь борца за независимость Мексики и второго президента страны Висенте Герреро ( 1782—1831).\n\nИстория.\nМорелос взял Чильпансинго и открыл Конгресс Аньяуака, который издал 6 ноября 1813 документ под названием Sentimentos de la Nacion. Период независимости. Висенте Герреро. Этот конгресс также одобрил закон о Независимости, написанный Карлосом Марией Бустаманте. Позже здесь был сшит первый мексиканский флаг, и Висенте Герреро присоединился, в соответствии с Планом Игуала, закончившим войну в 1821. Первое правительство независимой Мексики разделило страну на 12 департаментов.", + "text": "Висенте Рамон Герреро Сальданья ( 10 августа 1782, Тистла — 14 февраля 1831, Куилапан) — мексиканский революционер и политический деятель, один из лидеров повстанческого движения в войне за независимость Мексики (1810—1821), командовал партизанскими отрядами. Президент Мексики на протяжении 1829 года.\n\nБиография.\nВоенные действия Герреро. Родился в городке Тистла в 100 километрах от Акапулько вглубь континента в Южной Сьерра-Мадре. Мать - Мария де Гуаадлупе Салданья (), африканского происхождения. Отец - Педро Герреро (), метис." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 52, + "segment": "Тистла" + } + ], + "meta": { + "id": 769, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 309, + "segment": "Висенте Герреро" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Герреро ( испанское произношение: ɡeˈreɾo) — один из 31 штата Мексики. Официально: Свободный и Суверенный Штат Герреро (\"Estado Libre y Soberano de Guerrero\").\n\nЭтимология.\nНазвание штату было дано при его создании, 27 октября 1849 года, в честь борца за независимость Мексики и второго президента страны Висенте Герреро ( 1782—1831).\n\nИстория.\nМорелос взял Чильпансинго и открыл Конгресс Аньяуака, который издал 6 ноября 1813 документ под названием Sentimentos de la Nacion. Период независимости. Висенте Герреро. Этот конгресс также одобрил закон о Независимости, написанный Карлосом Марией Бустаманте. Позже здесь был сшит первый мексиканский флаг, и Висенте Герреро присоединился, в соответствии с Планом Игуала, закончившим войну в 1821. Первое правительство независимой Мексики разделило страну на 12 департаментов.\nТекст 2: Висенте Рамон Герреро Сальданья ( 10 августа 1782, Тистла — 14 февраля 1831, Куилапан) — мексиканский революционер и политический деятель, один из лидеров повстанческого движения в войне за независимость Мексики (1810—1821), командовал партизанскими отрядами. Президент Мексики на протяжении 1829 года.\n\nБиография.\nВоенные действия Герреро. Родился в городке Тистла в 100 километрах от Акапулько вглубь континента в Южной Сьерра-Мадре. Мать - Мария де Гуаадлупе Салданья (), африканского происхождения. Отец - Педро Герреро (), метис.\nОпираясь на данные тексты, ответьте на вопрос: Как называется место рождения человека, в честь которого был назван Герреро? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.04081632653061224, + "em": 0 + }, + "predict": " Михаил Михайлович Лобанов родился в Казани, которая является столицей Республики Татарстан и крупным городом в Приволжском федеральном округе России. Согласно информации из предоставленных текстов, главой администрации в Казани является мэр, избираемый депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в месте, где родился Михаил Михайлович Лобанов (художник)?", + "support_text": "Михаил Михайлович Лобанов (29 июня 1891, Казань, Российская империя — 1970, Сан Паулу, Бразилия) — русский и бразильский художник, пейзажист, портретист, иконограф.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 413, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 556, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 41, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Михаил Михайлович Лобанов (29 июня 1891, Казань, Российская империя — 1970, Сан Паулу, Бразилия) — русский и бразильский художник, пейзажист, портретист, иконограф.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в месте, где родился Михаил Михайлович Лобанов (художник)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ай.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Мисаелга?", + "support_text": "Мисаелга (\"устар.\" Миса-Елга) — река в России, протекает по Челябинской области. Устье реки находится в 38 км по правому берегу реки Большая Арша. Длина реки составляет 29 км.", + "text": "Большая Арша — река в России, протекает по территории Челябинской области и Башкортостана. Впадает справа в реку Ай. Длина реки составляет 56 км, площадь водосборного бассейна — 910 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ай от истока и до устья, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201012111100021696." + }, + "outputs": [ + { + "label": "passage", + "length": 2, + "offset": 113, + "segment": "Ай" + } + ], + "meta": { + "id": 604, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 133, + "segment": "Большая Арша" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Мисаелга (\"устар.\" Миса-Елга) — река в России, протекает по Челябинской области. Устье реки находится в 38 км по правому берегу реки Большая Арша. Длина реки составляет 29 км.\nТекст 2: Большая Арша — река в России, протекает по территории Челябинской области и Башкортостана. Впадает справа в реку Ай. Длина реки составляет 56 км, площадь водосборного бассейна — 910 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ай от истока и до устья, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201012111100021696.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Мисаелга?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лысьва.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Зарич?", + "support_text": "Зарич — река в России, протекает в Верещагинском районе Пермского края. Устье реки находится в 26 км по правому берегу реки Лысьва. Длина реки составляет 13 км. Исток реки находится у посёлка Субботники в 4 км к юго-западу от центра города Верещагино.", + "text": "Лысьва — река в России, протекает на западе Пермского края. Правый приток Обвы. Длина реки составляет 77 км, площадь водосборного бассейна — 1370 кв км. Исток находится на Верхнекамской возвышенности вблизи границы с Удмуртией, на водоразделе бассейнов Обвы и Вятки. Большая часть течения проходит по Верещагинскому району, незадолго до устья река перетекает в Карагайский район." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Обвы" + }, + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Обва" + } + ], + "meta": { + "id": 597, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 124, + "segment": "Лысьва" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Зарич — река в России, протекает в Верещагинском районе Пермского края. Устье реки находится в 26 км по правому берегу реки Лысьва. Длина реки составляет 13 км. Исток реки находится у посёлка Субботники в 4 км к юго-западу от центра города Верещагино.\nТекст 2: Лысьва — река в России, протекает на западе Пермского края. Правый приток Обвы. Длина реки составляет 77 км, площадь водосборного бассейна — 1370 кв км. Исток находится на Верхнекамской возвышенности вблизи границы с Удмуртией, на водоразделе бассейнов Обвы и Вятки. Большая часть течения проходит по Верещагинскому району, незадолго до устья река перетекает в Карагайский район.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Зарич?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " Энтль-Энкаигль сливается с рекой Большой Балык.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Энтль-Энкаигль?", + "support_text": "Энтль-Энкаигль (\"устар.\" Энтль-Энка-Игль) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 130 км по правому берегу реки Большой Балык. Длина реки составляет 17 км.", + "text": "Большой Балык — река в России, протекает по территории Нефтеюганского и Сургутского районов Ханты-Мансийского автономного округа. Река впадает в протоку Большую Юганскую. Длина реки — 243 км, площадь водосборного бассейна — 5950 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 153, + "segment": "Большую Юганскую" + }, + { + "label": "passage", + "length": 16, + "offset": 153, + "segment": "Большой Юганской" + } + ], + "meta": { + "id": 277, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 147, + "segment": "Большой Балык" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Энтль-Энкаигль?\nТекст 1: Энтль-Энкаигль (\"устар.\" Энтль-Энка-Игль) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 130 км по правому берегу реки Большой Балык. Длина реки составляет 17 км.\nТекст 2: Большой Балык — река в России, протекает по территории Нефтеюганского и Сургутского районов Ханты-Мансийского автономного округа. Река впадает в протоку Большую Юганскую. Длина реки — 243 км, площадь водосборного бассейна — 5950 кв км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Енисей.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Элегёст?", + "support_text": "Элегёст — река в России, протекает в Республике Туве. Длина — 177 км. Площадь водосборного бассейна — 4810 кв км. Впадает в реку Енисей слева на расстоянии 3454 км от устья, вблизи посёлка Усть-Элегест Кызылского кожууна. Автотрасса а-162 \"Кызыл-Тээли\" проходит по мосту в 70 метрах от устья реки.", + "text": "Енисей (нен. \"Ензя’ ям’\", эвенк. \"Ионэси\", южноселькупск. \"Нандыс, Няндысе\", северноселькупск.\n\nГеография.\nРусло утрачивает нормальный вид в месте впадения реки Енисей в Енисейский залив в створе, проходящем через устье протоки Фунтусова (точка с координатами 69°36′40″ с. ш., 84°32′40″ в. д.) и мыс Крестовский. Ниже этого створа начинается расширение Енисейского залива с пойменной (слева) и островной (справа) многорукавностью: ниже посёлка Усть-Порт расположена собственно дельта Енисея, выдвинувшаяся в залив в виде сочетания рукавов и проток с осерёдками и пойменными массивами — вплоть до 71-й параллели, где ширина залива увеличивается до 44 км. В дельте также отмечен промывной режим. Бреховскими островами Енисейский залив делится на множество проток, из которых выделяются четыре основные рукава: \"Охотский Енисей\", \"Каменный Енисей\", \"Большой Енисей\" и \"Малый Енисей\"; общая ширина залива здесь составляет 50 км. Ниже по течению Енисейский залив Карского моря принимает форму эстуария." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 173, + "segment": "Енисейский залив" + } + ], + "meta": { + "id": 276, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 129, + "segment": "Енисей" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Элегёст — река в России, протекает в Республике Туве. Длина — 177 км. Площадь водосборного бассейна — 4810 кв км. Впадает в реку Енисей слева на расстоянии 3454 км от устья, вблизи посёлка Усть-Элегест Кызылского кожууна. Автотрасса а-162 \"Кызыл-Тээли\" проходит по мосту в 70 метрах от устья реки.\nТекст 2: Енисей (нен. \"Ензя’ ям’\", эвенк. \"Ионэси\", южноселькупск. \"Нандыс, Няндысе\", северноселькупск.\n\nГеография.\nРусло утрачивает нормальный вид в месте впадения реки Енисей в Енисейский залив в створе, проходящем через устье протоки Фунтусова (точка с координатами 69°36′40″ с. ш., 84°32′40″ в. д.) и мыс Крестовский. Ниже этого створа начинается расширение Енисейского залива с пойменной (слева) и островной (справа) многорукавностью: ниже посёлка Усть-Порт расположена собственно дельта Енисея, выдвинувшаяся в залив в виде сочетания рукавов и проток с осерёдками и пойменными массивами — вплоть до 71-й параллели, где ширина залива увеличивается до 44 км. В дельте также отмечен промывной режим. Бреховскими островами Енисейский залив делится на множество проток, из которых выделяются четыре основные рукава: \"Охотский Енисей\", \"Каменный Енисей\", \"Большой Енисей\" и \"Малый Енисей\"; общая ширина залива здесь составляет 50 км. Ниже по течению Енисейский залив Карского моря принимает форму эстуария.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Элегёст? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Алексей Николаевич Сысин, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Алексей Николаевич Сысин?", + "support_text": "Алексей Николаевич Сысин (1879—1956) — профессор гигиены, заслуженный деятель науки, участник революционно-демократического движения, один из организаторов санитарно-эпидемиологической службы, академик АМН СССР.\n\nБиография.\nАлексей Николаевич родился 17 октября 1879 года в Нижнем Новгороде в семье служащего. 1897 году оканчивает Нижегородскую классическую гимназию. В том же году поступает на медицинский факультет Московского университета.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городская дума" + } + ], + "meta": { + "id": 35, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 277, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Алексей Николаевич Сысин (1879—1956) — профессор гигиены, заслуженный деятель науки, участник революционно-демократического движения, один из организаторов санитарно-эпидемиологической службы, академик АМН СССР.\n\nБиография.\nАлексей Николаевич родился 17 октября 1879 года в Нижнем Новгороде в семье служащего. 1897 году оканчивает Нижегородскую классическую гимназию. В том же году поступает на медицинский факультет Московского университета.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nВопрос: Как называется законодательный орган города, где родился Алексей Николаевич Сысин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сенат и Палата депутатов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданкой которого является Эухения Эскудеро?", + "support_text": "Эухения Эскудеро Лават (в замужестве — Бекхофф) ( 26 ноября 1914, Мехико, Мексика — 18 января 2011, Энсенада, Мексика) — мексиканская фехтовальщица. Участвовала в летних Олимпийских играх 1932 года.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 767, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 981, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 121, + "segment": "мексиканская" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Эухения Эскудеро Лават (в замужестве — Бекхофф) ( 26 ноября 1914, Мехико, Мексика — 18 января 2011, Энсенада, Мексика) — мексиканская фехтовальщица. Участвовала в летних Олимпийских играх 1932 года.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые.\nВопрос: Какой законодательный орган принимает законы в государстве, гражданкой которого является Эухения Эскудеро?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 374, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Византийской империей.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за страной раньше было государство, гражданином которого являлся Феофан Грек?", + "support_text": "Феофан Грек (около 1340 — около 1410) — византийский и русский иконописец, миниатюрист и мастер монументальных фресковых росписей.\n\nБиография.\nВизантия. Феофан родился в Византии (отсюда прозвище Грек), до приезда на Русь работал в Константинополе, Халкидоне (пригород Константинополя), генуэзских Галате и Кафе (ныне Феодосия в Крыму) (сохранились только фрески в Феодосии). Вероятно, прибыл на Русь вместе с митрополитом Киприаном. Новгород.", + "text": "Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы. В дальнейшем под натиском многочисленных врагов государство постепенно утрачивало земли.\n\nНазвание.\nОфициальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римской империи" + }, + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Византийской империи" + } + ], + "meta": { + "id": 720, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 40, + "segment": "византийский" + }, + { + "label": "passage", + "length": 8, + "offset": 173, + "segment": "Византии" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Феофан Грек (около 1340 — около 1410) — византийский и русский иконописец, миниатюрист и мастер монументальных фресковых росписей.\n\nБиография.\nВизантия. Феофан родился в Византии (отсюда прозвище Грек), до приезда на Русь работал в Константинополе, Халкидоне (пригород Константинополя), генуэзских Галате и Кафе (ныне Феодосия в Крыму) (сохранились только фрески в Феодосии). Вероятно, прибыл на Русь вместе с митрополитом Киприаном. Новгород.\nТекст 2: Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы. В дальнейшем под натиском многочисленных врагов государство постепенно утрачивало земли.\n\nНазвание.\nОфициальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан.\nОпираясь на данные тексты, ответьте на вопрос: Что за страной раньше было государство, гражданином которого являлся Феофан Грек? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 619, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С Саратой.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Курудер?", + "support_text": "Курудер — левый приток реки Сарата, расположенный на территории Саратского районов (Одесская область, Украина). На топографической карте указано название Балка Курудера.\n\nГеография.\nНа реке создано водохранилище (севернее села Плахтиевка). Берет начало севернее села Плахтиевка. Река течёт на юго-запад. Впадает в реку Сарата (на 39-м км от её устья) севернее пгт Сарата. Притоки: (от истока к устью) . # балка Чумакова пр.", + "text": "Сарата — река на территории Каушанского района (Молдавия) и Одесской области (Украина).\n\nГеография.\nИсток реки находятся возле села Опач (Каушанский район, Молдавия), протекает в западной части Причерноморской низменности, впадает в озеро Сасик северо-западнее села Траповка (Татарбунарский район Одесской области Украины). Используется для орошения. Притоки (от истока к устью): Брезой, Копчак, Бабей, Джалаир, Курудер — левые, Кантемир — правая." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 236, + "segment": "озеро Сасик" + } + ], + "meta": { + "id": 890, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 28, + "segment": "Сарата" + }, + { + "label": "passage", + "length": 6, + "offset": 322, + "segment": "Сарата" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Курудер — левый приток реки Сарата, расположенный на территории Саратского районов (Одесская область, Украина). На топографической карте указано название Балка Курудера.\n\nГеография.\nНа реке создано водохранилище (севернее села Плахтиевка). Берет начало севернее села Плахтиевка. Река течёт на юго-запад. Впадает в реку Сарата (на 39-м км от её устья) севернее пгт Сарата. Притоки: (от истока к устью) . # балка Чумакова пр.\nТекст 2: Сарата — река на территории Каушанского района (Молдавия) и Одесской области (Украина).\n\nГеография.\nИсток реки находятся возле села Опач (Каушанский район, Молдавия), протекает в западной части Причерноморской низменности, впадает в озеро Сасик северо-западнее села Траповка (Татарбунарский район Одесской области Украины). Используется для орошения. Притоки (от истока к устью): Брезой, Копчак, Бабей, Джалаир, Курудер — левые, Кантемир — правая.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Курудер? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 302, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Леонид Степанович Попов?", + "support_text": "Леонид Степанович Попов (род. 28 ноября 1940, Казань) — Герой Российской Федерации (20.09.1994), заслуженный штурман-испытатель СССР (17.08.1984).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 952, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Леонид Степанович Попов (род. 28 ноября 1940, Казань) — Герой Российской Федерации (20.09.1994), заслуженный штурман-испытатель СССР (17.08.1984).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Леонид Степанович Попов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, притоком которой является Лептаёль, впадает в реку Ын.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Лептаёль?", + "support_text": "Лептаёль (Лепта-Ёль) — река в России, протекает по территории Республики Коми и Пермского края. Устье реки находится в 79 км по левому берегу реки Ын. Длина реки составляет 15 км.", + "text": "Ын — река в России, протекает по Республике Коми. Устье реки находится в 46 км по левому берегу реки Нем. Длина реки составляет 114 км, площадь водосборного бассейна — 716 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 101, + "segment": "Нем" + } + ], + "meta": { + "id": 342, + "bridge_answers": [ + { + "label": "passage", + "length": 2, + "offset": 147, + "segment": "Ын" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Лептаёль?\nТекст 1: Лептаёль (Лепта-Ёль) — река в России, протекает по территории Республики Коми и Пермского края. Устье реки находится в 79 км по левому берегу реки Ын. Длина реки составляет 15 км.\nТекст 2: Ын — река в России, протекает по Республике Коми. Устье реки находится в 46 км по левому берегу реки Нем. Длина реки составляет 114 км, площадь водосборного бассейна — 716 кв км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Томь впадает река Тугояковка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Тугояковка?", + "support_text": "Тугояковка — река в России, протекает в Кемеровской и Томской областях. Устье реки находится в 106 км по правому берегу реки Томь, между сёлами Батурино и Вершинино. Длина реки составляет 52 км. Мост через Тугояковку.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Томь от города Кемерово и до устья, речной подбассейн реки — Томь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.", + "text": "Томь (в верховье Правая Томь; ) — река в Западной Сибири, правый приток Оби, второй по водности после Иртыша.\n\nХозяйственное использование.\nВ конце 1960-х годов существовало предложение соединить Томь и Обь судоходным каналом в 50-60 километрах выше по течению от места впадения Томи. Предполагалось, что этот канал на несколько десятков километров сократит транспортный путь для судов, курсирующих по маршруту Томск—Новосибирск. Кроме того, Томск мог бы получить новый чистый источник водоснабжения — биологический и химический состав воды реки Оби к тому времени стал чище воды реки Томи. В 1975 году началось строительство Крапивинской гидроэлектростанции на Томи в Кемеровской области у посёлка Зеленогорский. В 1989 году строительство было заморожено." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Обь" + } + ], + "meta": { + "id": 353, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 125, + "segment": "Томь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Тугояковка — река в России, протекает в Кемеровской и Томской областях. Устье реки находится в 106 км по правому берегу реки Томь, между сёлами Батурино и Вершинино. Длина реки составляет 52 км. Мост через Тугояковку.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Томь от города Кемерово и до устья, речной подбассейн реки — Томь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nТекст 2: Томь (в верховье Правая Томь; ) — река в Западной Сибири, правый приток Оби, второй по водности после Иртыша.\n\nХозяйственное использование.\nВ конце 1960-х годов существовало предложение соединить Томь и Обь судоходным каналом в 50-60 километрах выше по течению от места впадения Томи. Предполагалось, что этот канал на несколько десятков километров сократит транспортный путь для судов, курсирующих по маршруту Томск—Новосибирск. Кроме того, Томск мог бы получить новый чистый источник водоснабжения — биологический и химический состав воды реки Оби к тому времени стал чище воды реки Томи. В 1975 году началось строительство Крапивинской гидроэлектростанции на Томи в Кемеровской области у посёлка Зеленогорский. В 1989 году строительство было заморожено.\nВопрос: В какую реку впадает река, притоком которой является Тугояковка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 367, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.0909090909090909, + "em": 0 + }, + "predict": " Уго Эхиогу является тренером молодёжной команды \"Тоттенхэма\", и команда \"Тоттенхэм Хотспур\" выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренером которой является Уго Эхиогу?", + "support_text": "Угочуку \"Уго\" Эхиогу ( 3 ноября 1972, Хакни, Большой Лондон — 21 апреля 2017, Лондон) — английский футболист, центральный защитник, тренер. Большую часть карьеры провёл в Премьер-лиге в составах \"Астон Виллы\" и \"Мидлсбро\". Играл в других английских командах, а также в шотландском \"Рейнджерс\". Провёл 4 игры за сборную Англии, забив один мяч. С 2014 года возглавлял молодёжную команду \"Тоттенхэма\".\n\nТренерская работа.\nВходил в тренерский штаб Питера Тейлора в молодёжной сборной. С 2014 года тренер молодёжной команды \"Тоттенхэма\".", + "text": "'Тоттенхэм Хотспур' (полное название — Футбольный клуб 'Тоттенхэм Хотспур', ; , 'Тоттенем Хотспер') — английский профессиональный футбольный клуб из Тоттенема, боро Харинги на севере Лондона. Выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии.\n\nДостижения.\nНациональные. Первый дивизион / Премьер-лига. ** Чемпион (2): 1950/51, 1960/61. ** 'Вице-чемпион (5):' 1921/22, 1951/52, 1956/57, 1962/63, 2016/17.\n\nРекорды.\nВторой дивизион. 'Бристоль Роверс'. 9:0. 1977. . Премьер-лига. 'Уиган Атлетик'. 9:1. 2009. . 5 голов забил Джермейн Дефо." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 204, + "segment": "Премьер-лиге" + } + ], + "meta": { + "id": 325, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 387, + "segment": "Тоттенхэма" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Угочуку \"Уго\" Эхиогу ( 3 ноября 1972, Хакни, Большой Лондон — 21 апреля 2017, Лондон) — английский футболист, центральный защитник, тренер. Большую часть карьеры провёл в Премьер-лиге в составах \"Астон Виллы\" и \"Мидлсбро\". Играл в других английских командах, а также в шотландском \"Рейнджерс\". Провёл 4 игры за сборную Англии, забив один мяч. С 2014 года возглавлял молодёжную команду \"Тоттенхэма\".\n\nТренерская работа.\nВходил в тренерский штаб Питера Тейлора в молодёжной сборной. С 2014 года тренер молодёжной команды \"Тоттенхэма\".\nТекст 2: 'Тоттенхэм Хотспур' (полное название — Футбольный клуб 'Тоттенхэм Хотспур', ; , 'Тоттенем Хотспер') — английский профессиональный футбольный клуб из Тоттенема, боро Харинги на севере Лондона. Выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии.\n\nДостижения.\nНациональные. Первый дивизион / Премьер-лига. ** Чемпион (2): 1950/51, 1960/61. ** 'Вице-чемпион (5):' 1921/22, 1951/52, 1956/57, 1962/63, 2016/17.\n\nРекорды.\nВторой дивизион. 'Бристоль Роверс'. 9:0. 1977. . Премьер-лига. 'Уиган Атлетик'. 9:1. 2009. . 5 голов забил Джермейн Дефо.\nВопрос: В какой лиге играет команда, тренером которой является Уго Эхиогу?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Вычегда", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Ергиль?", + "support_text": "Ергиль — река в России, протекает в Вилегодском районе Архангельской области. Является левым притоком реки Виледь (бассейн Северной Двины).\n\nГеография.\nУстье реки находится в 136 км по левому берегу реки Виледь, в 1.5 км к западу от д. Селяна Вилегодского района Архангельской области. Длина реки составляет 13 км. Основное направление течение — север. Река течёт по лесной, ненаселённой местности, начинается на водоразделе рек Виледь и её притока Нарчуга.", + "text": "Виледь — река в Ленском, Вилегодском и Котласском районах Архангельской области России, левый приток реки Вычегда (бассейн Северной Двины). Длина реки — 321 км, площадь водосбора — 5610 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от города Сыктывкар и до устья, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 106, + "segment": "Вычегда" + } + ], + "meta": { + "id": 595, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 107, + "segment": "Виледь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ергиль — река в России, протекает в Вилегодском районе Архангельской области. Является левым притоком реки Виледь (бассейн Северной Двины).\n\nГеография.\nУстье реки находится в 136 км по левому берегу реки Виледь, в 1.5 км к западу от д. Селяна Вилегодского района Архангельской области. Длина реки составляет 13 км. Основное направление течение — север. Река течёт по лесной, ненаселённой местности, начинается на водоразделе рек Виледь и её притока Нарчуга.\nТекст 2: Виледь — река в Ленском, Вилегодском и Котласском районах Архангельской области России, левый приток реки Вычегда (бассейн Северной Двины). Длина реки — 321 км, площадь водосбора — 5610 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от города Сыктывкар и до устья, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Ергиль? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 292, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимал глава государства, чьим гражданином был Богомир Корсов?", + "support_text": "Богомир Богомирович Корсов (настоящее имя и фамилия \"Готфрид Геринг\", также использовал псевдоним \"Готфрид Готфридович Корсов\"; 1845, Санкт-Петербург, Российская империя — 1920, Тифлис, Грузинская Демократическая Республика) — русский оперный певец (баритон). Заслуженный артист Императорских театров (1894).", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1030, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 151, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Богомир Богомирович Корсов (настоящее имя и фамилия \"Готфрид Геринг\", также использовал псевдоним \"Готфрид Готфридович Корсов\"; 1845, Санкт-Петербург, Российская империя — 1920, Тифлис, Грузинская Демократическая Республика) — русский оперный певец (баритон). Заслуженный артист Императорских театров (1894).\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Что за должность занимал глава государства, чьим гражданином был Богомир Корсов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Президент", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимает глава государства в стране, гражданином которой был Рашиди Кавава?", + "support_text": "Рашиди Мфауме Кавава ( 27 мая 1926 года, Матепвенде, подмандатная Танганьика — 31 декабря 2009 года, Дар-эс-Салам, Танзания) — первый премьер-министр Танзании (1972—1977).\n\nБиография.\nС 1960 по 1962 год был министром местного самоуправления, затем с 22 января по 9 декабря 1962 года премьер-министром Танганьики. Он был преемником Джулиуса Ньерере, который привел Танганьику к независимости, и став президентом в декабре 1962 года упразднил пост премьер-министра. Кавава стал вице-президентом (1962—1964). После образования Объединённой Республики Танзания, Кавава с 1964 по 1972 год был 2-м вице-президентом страны. С 17 февраля 1972 по 13 февраля 1977 года был премьер-министром Танзании. В 1980 году занимал пост министра обороны.", + "text": "Объединённая Республика Танзания ( , или ) — государство в Восточной Африке. Входит в Содружество наций. На севере граничит с Кенией и Угандой, на западе — с Руандой, Бурунди и Демократической Республикой Конго, а на юге — с Замбией, Малави и Мозамбиком. Восточной границей является Индийский океан. Сто­ли­ца — Додома.\n\nПолитическая структура.\nРеспублика. Глава государства и глава правительства — президент, избираемый населением на 5-летний срок, с возможностью второго срока подряд. 14 декабря 2005 на президентских выборах победу одержал кандидат от правящей Революционной партии, глава МИД Танзании Джакайя Киквете, набрав более 80 % голосов. В 2015 году Джакайю Киквете сменил на посту президента Джон Магуфули, также кандидат от правящей партии. Хотя ему пришлось столкнуться с серьёзным вызовом от оппозиционного кандидата Эдварда Ловасса, в выборах, состоявшихся 25 октября 2015 года, Магуфули был объявлен победителем президентской гонки: он получил 58 % голосов. Был приведен к присяге 5 ноября 2015 года. Киквете остался на посту лидера Революционной партии. Парламент — однопалатное Государственное собрание (Бунге), 274 депутата, из которых 232 избираются населением на 5-летний срок, 37 женщин-депутатов назначает лично президент, и 5 депутатов назначаются автономным парламентом Занзибара. Политические партии (по результатам выборов в декабре 2005):. Чама Ча Мапиндузи (Революционная партия) — 206 мест в парламенте." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 404, + "segment": "президент" + } + ], + "meta": { + "id": 449, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 116, + "segment": "Танзания" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Рашиди Мфауме Кавава ( 27 мая 1926 года, Матепвенде, подмандатная Танганьика — 31 декабря 2009 года, Дар-эс-Салам, Танзания) — первый премьер-министр Танзании (1972—1977).\n\nБиография.\nС 1960 по 1962 год был министром местного самоуправления, затем с 22 января по 9 декабря 1962 года премьер-министром Танганьики. Он был преемником Джулиуса Ньерере, который привел Танганьику к независимости, и став президентом в декабре 1962 года упразднил пост премьер-министра. Кавава стал вице-президентом (1962—1964). После образования Объединённой Республики Танзания, Кавава с 1964 по 1972 год был 2-м вице-президентом страны. С 17 февраля 1972 по 13 февраля 1977 года был премьер-министром Танзании. В 1980 году занимал пост министра обороны.\nТекст 2: Объединённая Республика Танзания ( , или ) — государство в Восточной Африке. Входит в Содружество наций. На севере граничит с Кенией и Угандой, на западе — с Руандой, Бурунди и Демократической Республикой Конго, а на юге — с Замбией, Малави и Мозамбиком. Восточной границей является Индийский океан. Сто­ли­ца — Додома.\n\nПолитическая структура.\nРеспублика. Глава государства и глава правительства — президент, избираемый населением на 5-летний срок, с возможностью второго срока подряд. 14 декабря 2005 на президентских выборах победу одержал кандидат от правящей Революционной партии, глава МИД Танзании Джакайя Киквете, набрав более 80 % голосов. В 2015 году Джакайю Киквете сменил на посту президента Джон Магуфули, также кандидат от правящей партии. Хотя ему пришлось столкнуться с серьёзным вызовом от оппозиционного кандидата Эдварда Ловасса, в выборах, состоявшихся 25 октября 2015 года, Магуфули был объявлен победителем президентской гонки: он получил 58 % голосов. Был приведен к присяге 5 ноября 2015 года. Киквете остался на посту лидера Революционной партии. Парламент — однопалатное Государственное собрание (Бунге), 274 депутата, из которых 232 избираются населением на 5-летний срок, 37 женщин-депутатов назначает лично президент, и 5 депутатов назначаются автономным парламентом Занзибара. Политические партии (по результатам выборов в декабре 2005):. Чама Ча Мапиндузи (Революционная партия) — 206 мест в парламенте.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какую должность занимает глава государства в стране, гражданином которой был Рашиди Кавава? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 709, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Коса.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Чузя?", + "support_text": "Чузя — река в Кировской области России, левый приток Косы (бассейн Волги). Протекает в Зуевском районе. Устье реки находится в 66 км по левому берегу Косы. Длина реки — 12 км. Исток реки на Красногорской возвышенности в 3 км к северу от села Лема.", + "text": "Коса — река в Кировской области России, левый приток Чепцы (бассейн Волги). Протекает в четырёх районах: Унинском, Фалёнском, Богородском и Зуевском.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Чепца от истока до устья, речной подбассейн реки Вятка. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 53, + "segment": "Чепцы" + }, + { + "label": "passage", + "length": 5, + "offset": 53, + "segment": "Чепца" + } + ], + "meta": { + "id": 357, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 53, + "segment": "Косы" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Чузя — река в Кировской области России, левый приток Косы (бассейн Волги). Протекает в Зуевском районе. Устье реки находится в 66 км по левому берегу Косы. Длина реки — 12 км. Исток реки на Красногорской возвышенности в 3 км к северу от села Лема.\nТекст 2: Коса — река в Кировской области России, левый приток Чепцы (бассейн Волги). Протекает в четырёх районах: Унинском, Фалёнском, Богородском и Зуевском.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Чепца от истока до устья, речной подбассейн реки Вятка. Речной бассейн реки — Кама.\nВопрос: В какую реку впадает река, притоком которой является Чузя?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Андрей Петрович Гаврилов родился в Казани, и в городе, где он родился, главой администрации является мэр. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Андрей Петрович Гаврилов?", + "support_text": "Андрей Петрович Гаврилов (17 октября 1942, Казань, СССР — 28 сентября 1991, там же) — советский , главный редактор газеты \"Вечерняя Казань\" (1979—1991). Народный депутат СССР (1989—1991).\n\nБиография.\nРодился 17 октября 1942 года в Казани. С 1960 по 1962 годы работал на Казанском вертолётном заводе, с 1962 по 1963 годы — в Кировском райкоме ВЛКСМ, с 1963 по 1970 годы — вновь на Казанском вертолётном заводе. В 1970 году окончил факультет журналистики Московского государственного университета и устроился корреспондентом в казанскую многотиражную газету \"Знамя труда\". Несмотря на членство в партии, журналист начал формировать облик независимого издания ещё до наступления перестройки. Гаврилов оставался главным редактором издания до конца жизни. В 1980-е годы газета обрела широкую популярность благодаря освещению острых тем, связанных как с жизнью Казани и Татарской АССР, так и с перестроечными событиями в СССР. По словам бывших работников издания, \"Вечернюю Казань\" в годы перестройки читала почти каждая казанская семья, а максимальный тираж в годы перестройки достигал 230 тысяч экземпляров. С 1989 года — народный депутат СССР.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 595, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 473, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 43, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Андрей Петрович Гаврилов (17 октября 1942, Казань, СССР — 28 сентября 1991, там же) — советский , главный редактор газеты \"Вечерняя Казань\" (1979—1991). Народный депутат СССР (1989—1991).\n\nБиография.\nРодился 17 октября 1942 года в Казани. С 1960 по 1962 годы работал на Казанском вертолётном заводе, с 1962 по 1963 годы — в Кировском райкоме ВЛКСМ, с 1963 по 1970 годы — вновь на Казанском вертолётном заводе. В 1970 году окончил факультет журналистики Московского государственного университета и устроился корреспондентом в казанскую многотиражную газету \"Знамя труда\". Несмотря на членство в партии, журналист начал формировать облик независимого издания ещё до наступления перестройки. Гаврилов оставался главным редактором издания до конца жизни. В 1980-е годы газета обрела широкую популярность благодаря освещению острых тем, связанных как с жизнью Казани и Татарской АССР, так и с перестроечными событиями в СССР. По словам бывших работников издания, \"Вечернюю Казань\" в годы перестройки читала почти каждая казанская семья, а максимальный тираж в годы перестройки достигал 230 тысяч экземпляров. С 1989 года — народный депутат СССР.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Андрей Петрович Гаврилов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 535, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Премьер-Лиге Сенегала", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой зовут Амара Траоре?", + "support_text": "Амара Траоре ( род. 25 сентября 1965 года, Сен-Луи) — сенегальский футболист, нападающий. Выступал за ряд французских клубов, а также сборную Сенегала.\n\nКарьера.\nВ составе сборной Траоре был участником чемпионата мира 2002 года в Японии и Южной Корее, где Сенегал стал одной из сенсаций турнира, а также в Кубках африканских наций 1994 в Тунисе и 2002 в Мали, где вместе с командой завоевал \"серебро\". Тренерская. В 2007 году он был назначен тренером \"Лингер\". С момента прихода в клуб он выиграл чемпионат Д2 и Кубок Сенегала в 2007 году. Траоре был назван главным тренером сборной Сенегала в декабре 2009 года, и он руководил национальной сборной более двух лет, до февраля 2012 года. В марте 2013 года он принял тренерскую работу с гвинейской командой \"Калум\".\n\nДостижения.\nОбладатель Кубка Амилькара Кабрала (2): 1991, 2001. Тренера. \"Лингер\". Чемпион Сенегала: 2009.", + "text": "'Лингер' — сенегальский футбольный клуб из города Сен-Луи. Выступает в Премьер-Лиге Сенегала. Основан в 1969 году. Домашние матчи проводит на стадионе Стад Лингер, вмещающем 8 000 зрителей.\n\nДостижения.\nПремьер-Лига Сенегала: 1. 2009. * Кубок Сенегала: 4. 1971, 1988, 1990, 2007." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 71, + "segment": "Премьер-Лиге Сенегала" + }, + { + "label": "passage", + "length": 21, + "offset": 71, + "segment": "Премьер-Лига Сенегала" + } + ], + "meta": { + "id": 1052, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 456, + "segment": "Лингер" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Амара Траоре ( род. 25 сентября 1965 года, Сен-Луи) — сенегальский футболист, нападающий. Выступал за ряд французских клубов, а также сборную Сенегала.\n\nКарьера.\nВ составе сборной Траоре был участником чемпионата мира 2002 года в Японии и Южной Корее, где Сенегал стал одной из сенсаций турнира, а также в Кубках африканских наций 1994 в Тунисе и 2002 в Мали, где вместе с командой завоевал \"серебро\". Тренерская. В 2007 году он был назначен тренером \"Лингер\". С момента прихода в клуб он выиграл чемпионат Д2 и Кубок Сенегала в 2007 году. Траоре был назван главным тренером сборной Сенегала в декабре 2009 года, и он руководил национальной сборной более двух лет, до февраля 2012 года. В марте 2013 года он принял тренерскую работу с гвинейской командой \"Калум\".\n\nДостижения.\nОбладатель Кубка Амилькара Кабрала (2): 1991, 2001. Тренера. \"Лингер\". Чемпион Сенегала: 2009.\nТекст 2: 'Лингер' — сенегальский футбольный клуб из города Сен-Луи. Выступает в Премьер-Лиге Сенегала. Основан в 1969 году. Домашние матчи проводит на стадионе Стад Лингер, вмещающем 8 000 зрителей.\n\nДостижения.\nПремьер-Лига Сенегала: 1. 2009. * Кубок Сенегала: 4. 1971, 1988, 1990, 2007.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какой лиге играет команда, тренера которой зовут Амара Траоре? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Федеральный парламент, состоящий из двух палат: палаты представителей и сената, принимает законы в государстве, гражданином которого является Густав де Молинари.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Густав де Молинари?", + "support_text": "Густав де Молинари — бельгийский экономист, стоящий в одном ряду с такими известными экономистами классической школы как Фредерик Бастиа и , член-корреспондент Петербургской академии наук. Живя в Париже в 1840-х гг., он принимал участие в \"Ligue pour la Liberté des Échanges\" (Лиге свободной торговли), основанной Фредериком Бастиа. В 1850 году, лежа на смертном одре, Бастиа назначил Молинари следующим главой своей научной школы.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 843, + "segment": "Федеральный парламент" + } + ], + "meta": { + "id": 135, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 21, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Густав де Молинари — бельгийский экономист, стоящий в одном ряду с такими известными экономистами классической школы как Фредерик Бастиа и , член-корреспондент Петербургской академии наук. Живя в Париже в 1840-х гг., он принимал участие в \"Ligue pour la Liberté des Échanges\" (Лиге свободной торговли), основанной Фредериком Бастиа. В 1850 году, лежа на смертном одре, Бастиа назначил Молинари следующим главой своей научной школы.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Густав де Молинари?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 390, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Янцзы", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Фуцзян?", + "support_text": "Фуцзян — река в Китае в областях Чунцин и Сычуань, приток реки Цзялинцзян. Длина реки около 700 км. В месте впадения Фуцзяна в Цзялинцзян располагается город Хэчуань. Долина реки находится в густонаселённой местности, среди прочих населённых пунктов на реке расположены несколько крупных городов: Суйнин, Мяньян, .", + "text": "Цзялинцзян — левый приток реки Янцзы, зарождается на южных склонах хребта Циньлин, далее пересекает Сычуаньскую котловину. Длина 1119 км, площадь бассейна около 160 тыс. кв км. Воды реки активно используются для орошения.\n\nПримечания.\nКатегория:Притоки Янцзы." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 31, + "segment": "Янцзы" + } + ], + "meta": { + "id": 355, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 63, + "segment": "Цзялинцзян" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Фуцзян — река в Китае в областях Чунцин и Сычуань, приток реки Цзялинцзян. Длина реки около 700 км. В месте впадения Фуцзяна в Цзялинцзян располагается город Хэчуань. Долина реки находится в густонаселённой местности, среди прочих населённых пунктов на реке расположены несколько крупных городов: Суйнин, Мяньян, .\nТекст 2: Цзялинцзян — левый приток реки Янцзы, зарождается на южных склонах хребта Циньлин, далее пересекает Сычуаньскую котловину. Длина 1119 км, площадь бассейна около 160 тыс. кв км. Воды реки активно используются для орошения.\n\nПримечания.\nКатегория:Притоки Янцзы.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Фуцзян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Река Ачешбок сливается с рекой Бугунж.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Тхач?", + "support_text": "Тхач — река в России, протекает по территории Мостовского района Краснодарского края. Берёт исток с гор Большой и Малый Тхач. Устье реки находится в 4 км по левому берегу реки Ачешбок. Длина реки — 13 км, площадь её водосборного бассейна — 36,6 кв км.", + "text": "Ачешбок (балка Ачешбок) — река в России, протекает в Краснодарском крае. Левый приток реки Бугунж.\n\nГеография.\nАгиге) в пихтовых лесах. Течёт на северо-восток по горной долине. В 4 км от устья, по левому берегу реки впадает река Тхач. На старых топографических картах нижнее течение реки Ачешбок обозначается как \"Уривок\". Устье реки находится в 16 км по левому берегу реки Бугунж. Длина реки составляет 14 км, площадь водосборного бассейна — 94,2 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 91, + "segment": "Бугунж" + } + ], + "meta": { + "id": 852, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 176, + "segment": "Ачешбок" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Тхач — река в России, протекает по территории Мостовского района Краснодарского края. Берёт исток с гор Большой и Малый Тхач. Устье реки находится в 4 км по левому берегу реки Ачешбок. Длина реки — 13 км, площадь её водосборного бассейна — 36,6 кв км.\nТекст 2: Ачешбок (балка Ачешбок) — река в России, протекает в Краснодарском крае. Левый приток реки Бугунж.\n\nГеография.\nАгиге) в пихтовых лесах. Течёт на северо-восток по горной долине. В 4 км от устья, по левому берегу реки впадает река Тхач. На старых топографических картах нижнее течение реки Ачешбок обозначается как \"Уривок\". Устье реки находится в 16 км по левому берегу реки Бугунж. Длина реки составляет 14 км, площадь водосборного бассейна — 94,2 кв км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Тхач?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Бисерть впадает река Лакташ, которая является её правым притоком.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Лакташ?", + "support_text": "Лакташ — река в России, протекает по Свердловской области. Устье реки находится в 138 км по правому берегу реки Бисерть. Длина реки составляет 20 км.", + "text": "Бисерть — река в России, протекает по Свердловской области. Правый приток Уфы. Длина реки составляет 193 км, площадь водосборного бассейна — 3400 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 74, + "segment": "Уфы" + }, + { + "label": "passage", + "length": 3, + "offset": 74, + "segment": "Уфа" + } + ], + "meta": { + "id": 341, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 112, + "segment": "Бисерть" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Лакташ — река в России, протекает по Свердловской области. Устье реки находится в 138 км по правому берегу реки Бисерть. Длина реки составляет 20 км.\nТекст 2: Бисерть — река в России, протекает по Свердловской области. Правый приток Уфы. Длина реки составляет 193 км, площадь водосборного бассейна — 3400 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама.\nВопрос: В какую реку впадает река, притоком которой является Лакташ?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13793103448275862, + "em": 0 + }, + "predict": " В городе, где родился Борис Фёдорович Ломов (Нижний Новгород), работает Городская Дума. Это законодательный орган, который является высшим исполнительным и законодательным органом местного самоуправления в Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Борис Фёдорович Ломов?", + "support_text": "Борис Фёдорович Ломов (20 января 1927, Нижний Новгород — 11 июля 1989, Москва) — советский психолог, специалист в области общей, инженерной и педагогической психологии, а также психологии познавательных процессов. Один из инициаторов разработки инженерной психологии в СССР. Член-корреспондент АПН РСФСР (1965; АПН СССР с 1968) по Отделению психологии и возрастной физиологии, член-корреспондент АН СССР с 23 декабря 1976 по Отделению философии и права (психология).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городская дума" + } + ], + "meta": { + "id": 649, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 39, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за законодательный орган работает в городе, где родился Борис Фёдорович Ломов?\nТекст 1: Борис Фёдорович Ломов (20 января 1927, Нижний Новгород — 11 июля 1989, Москва) — советский психолог, специалист в области общей, инженерной и педагогической психологии, а также психологии познавательных процессов. Один из инициаторов разработки инженерной психологии в СССР. Член-корреспондент АПН РСФСР (1965; АПН СССР с 1968) по Отделению психологии и возрастной физиологии, член-корреспондент АН СССР с 23 декабря 1976 по Отделению философии и права (психология).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 404, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3333333333333333, + "em": 0 + }, + "predict": " Городская Дума Нижегородской области", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Максим Давидович Франк-Каменецкий?", + "support_text": "Максим Давидович Франк-Каменецкий (род. Горький) — специалист в области биофизики, доктор физико-математических наук, профессор Бостонского университета, автор открытия (совместно с В. Лямичевым и С. Миркиным) новой, трёхспиральной, так называемой H-формы, структуры ДНК (1986).\n\nНачало.\nРодился 7 августа 1941 года в городе Горький, где семья была в эвакуации. Его отец, Давид Франк-Каменецкий — советский физик-теоретик, один из разработчиков ядерного оружия. В школу Франк-Каменецкий пошёл в городе Сарове, где в связи с работой отца семья жила в это время. В 1956 году, после переезда в Москву, с ним начал заниматься отец, а также его друзья Зельдович, Тамм, Харитон, Боголюбов, Альтшулер, Цукерман.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 757, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 795, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 40, + "segment": "Горький" + }, + { + "label": "passage", + "length": 7, + "offset": 328, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Максим Давидович Франк-Каменецкий (род. Горький) — специалист в области биофизики, доктор физико-математических наук, профессор Бостонского университета, автор открытия (совместно с В. Лямичевым и С. Миркиным) новой, трёхспиральной, так называемой H-формы, структуры ДНК (1986).\n\nНачало.\nРодился 7 августа 1941 года в городе Горький, где семья была в эвакуации. Его отец, Давид Франк-Каменецкий — советский физик-теоретик, один из разработчиков ядерного оружия. В школу Франк-Каменецкий пошёл в городе Сарове, где в связи с работой отца семья жила в это время. В 1956 году, после переезда в Москву, с ним начал заниматься отец, а также его друзья Зельдович, Тамм, Харитон, Боголюбов, Альтшулер, Цукерман.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Максим Давидович Франк-Каменецкий? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Николай Карлович Ренненкампф?", + "support_text": "Николай Карлович Ренненкампф ( с. Александровка, Сосницкий уезд, Черниговская губерния — Киев) — русский юрист, педагог, учёный, профессор и ректор киевского Императорского университета св. Владимира (1883—1887), Киевский городской голова (1875—1879).\n\nСын.\nСын Владимир Николаевич (7 февраля 1862 года, Путивль, Курская губерния, Российская империя — 1928 год, София, Болгария) — профессор государственного права в Новороссийском университете с 1892 по 1917 год, в эмиграции — профессор Софийского университета в 1920—1928 годах. В 1891 году защитил магистерскую диссертацию: \"Конституционные начала и политические воззрения князя Бисмарка\" (Киев, 1890). Читал и разрабатывал полицейское право.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 962, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 97, + "segment": "русский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Карлович Ренненкампф ( с. Александровка, Сосницкий уезд, Черниговская губерния — Киев) — русский юрист, педагог, учёный, профессор и ректор киевского Императорского университета св. Владимира (1883—1887), Киевский городской голова (1875—1879).\n\nСын.\nСын Владимир Николаевич (7 февраля 1862 года, Путивль, Курская губерния, Российская империя — 1928 год, София, Болгария) — профессор государственного права в Новороссийском университете с 1892 по 1917 год, в эмиграции — профессор Софийского университета в 1920—1928 годах. В 1891 году защитил магистерскую диссертацию: \"Конституционные начала и политические воззрения князя Бисмарка\" (Киев, 1890). Читал и разрабатывал полицейское право.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Николай Карлович Ренненкампф? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 406, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Олег Анатолиевич Довгопол", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Владимир Александрович Сафроненко?", + "support_text": "Владимир Александрович Сафроненко (18 марта 1957, Тирасполь, Молдавская ССР, СССР) — советский и молдавский футболист. Защитник, полузащитник. Мастер спорта СССР (1980).\n\nКарьера.\nВоспитанник ДЮСШ \"Тирасполь\". За свою карьеру выступал в советских и молдавских командах \"Нистру\" (Кишинев), СКА (Одесса), \"Спартак\" (Москва), \"Локомотив\" (Москва), \"Колос\" (Никополь), АПК (Азов), \"Тилигул\" (Тирасполь), \"Кодру\" (Калараш), \"Сперанца\" (Ниспорены), \"Конструкторул\" (Кишинёв), \"Виктория\" (Кахул), \"Униспорт\" (Кишинёв).", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 951, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 951, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 489, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 50, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Владимир Александрович Сафроненко (18 марта 1957, Тирасполь, Молдавская ССР, СССР) — советский и молдавский футболист. Защитник, полузащитник. Мастер спорта СССР (1980).\n\nКарьера.\nВоспитанник ДЮСШ \"Тирасполь\". За свою карьеру выступал в советских и молдавских командах \"Нистру\" (Кишинев), СКА (Одесса), \"Спартак\" (Москва), \"Локомотив\" (Москва), \"Колос\" (Никополь), АПК (Азов), \"Тилигул\" (Тирасполь), \"Кодру\" (Калараш), \"Сперанца\" (Ниспорены), \"Конструкторул\" (Кишинёв), \"Виктория\" (Кахул), \"Униспорт\" (Кишинёв).\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Владимир Александрович Сафроненко? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 540, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05714285714285715, + "em": 0 + }, + "predict": " Большая Налимка сливается с рекой Катыльга. В тексте 2 указано, что устье реки Еллёкулунъях находится в 37 км по левому берегу реки Катыльги, и в списке притоков к Еллёкулунъях упоминается Большая Налимка. Таким образом", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большая Налимка?", + "support_text": "Большая Налимка — река в России, протекает в Томской области. Устье реки находится в 45 км от устья по левому берегу реки Еллёкулунъях. В устье находится вахтовый посёлок Пионерный. Длина реки составляет 19 км.", + "text": "Еллёкулунъях — река в России, протекает в Томской области. Устье реки находится в 37 км по левому берегу реки Катыльга. Длина реки составляет 97 км. Притоки: Берёзовая, 10-й Километр, Малая Налимка, Большая Налимка, Онтынгигай, Глухая, Ктосанигай, Кумынигай." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 110, + "segment": "Катыльга" + } + ], + "meta": { + "id": 581, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 122, + "segment": "Еллёкулунъях" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Большая Налимка?\nТекст 1: Большая Налимка — река в России, протекает в Томской области. Устье реки находится в 45 км от устья по левому берегу реки Еллёкулунъях. В устье находится вахтовый посёлок Пионерный. Длина реки составляет 19 км.\nТекст 2: Еллёкулунъях — река в России, протекает в Томской области. Устье реки находится в 37 км по левому берегу реки Катыльга. Длина реки составляет 97 км. Притоки: Берёзовая, 10-й Километр, Малая Налимка, Большая Налимка, Онтынгигай, Глухая, Ктосанигай, Кумынигай.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " СССР", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое государство существовало прежде на территории страны, честь которой отстаивала в соревнованиях Анна Зубкова?", + "support_text": "Анна Викторовна Зубкова (3 февраля 1980, Челябинск, СССР) — казахская ватерполистка, участница Олимпийских игр. Мастер спорта международного класса.", + "text": "Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км.\n\nИстория.\nАнтиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы. В дальнейшем недовольство советской властью продолжало расти и находило своё выражение в политике гласности, проводимой советским лидером Михаилом Горбачёвым.\n\nКультура.\nЛитература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами." + }, + "outputs": [ + { + "label": "answer", + "length": 18, + "offset": 1242, + "segment": "Казахского ханства" + }, + { + "label": "answer", + "length": 18, + "offset": 1242, + "segment": "Казахское ханство" + } + ], + "meta": { + "id": 1008, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 60, + "segment": "казахская" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Анна Викторовна Зубкова (3 февраля 1980, Челябинск, СССР) — казахская ватерполистка, участница Олимпийских игр. Мастер спорта международного класса.\nТекст 2: Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км.\n\nИстория.\nАнтиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы. В дальнейшем недовольство советской властью продолжало расти и находило своё выражение в политике гласности, проводимой советским лидером Михаилом Горбачёвым.\n\nКультура.\nЛитература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какое государство существовало прежде на территории страны, честь которой отстаивала в соревнованиях Анна Зубкова? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 395, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Юрий Цкипури", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Леонид Павлович Мозговой?", + "support_text": "Леонид Павлович Мозговой (род. 17 апреля 1941, Тула) — советский и российский актёр театра, кино и литературной эстрады, заслуженный артист России (2002), лауреат премии \"Ника\" (2001), лауреат премий \"Золотой овен\", \"Петрополь\", \"Медный всадник\", \"Листопад\", мастер актёрского курса в СПбГИКиТ с 2015 года.\n\nБиография.\nЛеонид Мозговой родился 17 апреля 1941 года в Туле. В 1961—1965 годах учился в Ленинградском государственном институте театра, музыки и кинематографии (ныне — РГИСИ) на факультете драматического искусства (курс профессора Б. В. Зона).", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км. По итогам проводившегося в 2014 году Всероссийского конкурса на звание \"Самого благоустроенного городского (сельского) поселения России\" Тула заняла третье место в категории \"Городские поселения (городские округа), являющиеся административными центрами (столицами) субъектов Российской Федерации\".\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 1179, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 202, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 47, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Леонид Павлович Мозговой (род. 17 апреля 1941, Тула) — советский и российский актёр театра, кино и литературной эстрады, заслуженный артист России (2002), лауреат премии \"Ника\" (2001), лауреат премий \"Золотой овен\", \"Петрополь\", \"Медный всадник\", \"Листопад\", мастер актёрского курса в СПбГИКиТ с 2015 года.\n\nБиография.\nЛеонид Мозговой родился 17 апреля 1941 года в Туле. В 1961—1965 годах учился в Ленинградском государственном институте театра, музыки и кинематографии (ныне — РГИСИ) на факультете драматического искусства (курс профессора Б. В. Зона).\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км. По итогам проводившегося в 2014 году Всероссийского конкурса на звание \"Самого благоустроенного городского (сельского) поселения России\" Тула заняла третье место в категории \"Городские поселения (городские округа), являющиеся административными центрами (столицами) субъектов Российской Федерации\".\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Леонид Павлович Мозговой? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 540, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Хоульсау", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Эйстри-Раунгау?", + "support_text": "Эйстри-Раунгау — река на юго-западе Исландии, знаменитая своей лососёвой рыбалкой. Исток реки находится к северу от стратовулкана Тиндфьядлайёкюдль, далее протекает на юго-запад и впадает в реку Тверау. Эйстри-Раунгау находится всего в от Рейкьявика. Эйстри-Раунгау является второй лососёвой рекой страны после Итри-Раунгау. В сезон 2008 года было поймано более .", + "text": "Тверау — река в Исландии. Река берет своё начало из реки Маркарфльоут, где последняя разделяется на два рукава. Для предотвращения наводнений в месте, где Тверау ответвляется от Маркарфльоут, построена дамба. Тверау имеет длину около 20 км. Самый большой приток (правый) — Эйстри-Раунгау. Через 6 км после впадения Восточной Ранги Тверау соединяется с Итри-Раунгау, и вместе они образуют реку под названием Хоульсау (). Хоульсау через 11 км впадает в Атлантический океан. По-исландски означает \"приток\"." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 407, + "segment": "Хоульсау" + } + ], + "meta": { + "id": 16, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 195, + "segment": "Тверау" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Эйстри-Раунгау — река на юго-западе Исландии, знаменитая своей лососёвой рыбалкой. Исток реки находится к северу от стратовулкана Тиндфьядлайёкюдль, далее протекает на юго-запад и впадает в реку Тверау. Эйстри-Раунгау находится всего в от Рейкьявика. Эйстри-Раунгау является второй лососёвой рекой страны после Итри-Раунгау. В сезон 2008 года было поймано более .\nТекст 2: Тверау — река в Исландии. Река берет своё начало из реки Маркарфльоут, где последняя разделяется на два рукава. Для предотвращения наводнений в месте, где Тверау ответвляется от Маркарфльоут, построена дамба. Тверау имеет длину около 20 км. Самый большой приток (правый) — Эйстри-Раунгау. Через 6 км после впадения Восточной Ранги Тверау соединяется с Итри-Раунгау, и вместе они образуют реку под названием Хоульсау (). Хоульсау через 11 км впадает в Атлантический океан. По-исландски означает \"приток\".\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Эйстри-Раунгау? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 321, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Франсуа-Ксавье Виллен является главой администрации в городе Камбре, где родился Брюно Дюверже.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Брюно Дюверже?", + "support_text": "Брюно Дюверже — французский политик, депутат Национального собрания Франции.\n\nБиография.\nРодился 3 апреля 1957 г. в городе Камбре (департамент Нор). Юность провел в поселке Бланжи-сюр-Тернуаз (департамент Па-де-Кале).", + "text": "Камбре ( ) — город и коммуна на севере Франции, регион О-де-Франс, департамент Нор, центр одноименного кантона. Город расположен на реке Шельда в 52 км от Лилля и 36 км от Арраса. В центре коммуны находится железнодорожная станция Камбре линий Камбре-Дуэ и Бюзиньи-Сомен.\n\nАдминистрация.\nПост мэра Камбре с 1992 занимает член партии \"Вставай, Франция\", входящей в состав блока Союз демократов и независимых, бывший депутат Национального собрания Франции Франсуа-Ксавье Виллен (François-Xavier Villain). На муниципальных выборах 2020 года возглавляемый им правый список одержал победу в 1-м туре, получив 56,34 % голосов. + Список мэров:. Профессор литературы, сенатор, депутат Национального собрания. 1992. . Франсуа-Ксавье Виллен. Разные правые, Союз демократов и независимых." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 457, + "segment": "Франсуа-Ксавье Виллен" + } + ], + "meta": { + "id": 478, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 126, + "segment": "Камбре" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Брюно Дюверже — французский политик, депутат Национального собрания Франции.\n\nБиография.\nРодился 3 апреля 1957 г. в городе Камбре (департамент Нор). Юность провел в поселке Бланжи-сюр-Тернуаз (департамент Па-де-Кале).\nТекст 2: Камбре ( ) — город и коммуна на севере Франции, регион О-де-Франс, департамент Нор, центр одноименного кантона. Город расположен на реке Шельда в 52 км от Лилля и 36 км от Арраса. В центре коммуны находится железнодорожная станция Камбре линий Камбре-Дуэ и Бюзиньи-Сомен.\n\nАдминистрация.\nПост мэра Камбре с 1992 занимает член партии \"Вставай, Франция\", входящей в состав блока Союз демократов и независимых, бывший депутат Национального собрания Франции Франсуа-Ксавье Виллен (François-Xavier Villain). На муниципальных выборах 2020 года возглавляемый им правый список одержал победу в 1-м туре, получив 56,34 % голосов. + Список мэров:. Профессор литературы, сенатор, депутат Национального собрания. 1992. . Франсуа-Ксавье Виллен. Разные правые, Союз демократов и независимых.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Брюно Дюверже?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 321, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где родился Ашот Акопович Карагян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Ашот Акопович Карагян?", + "support_text": "Ашот Акопович Карагян ( род. 23 января 1951 года, Ереван, Армянская ССР) — советский и российский фехтовальщик, двукратный чемпион мира (1979, 1981), двукратный призёр Олимпийских игр (1980). Мастер спорта СССР международного класса (1974). Заслуженный мастер спорта России (2005).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 272, + "segment": "городским советом" + } + ], + "meta": { + "id": 138, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 51, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Ашот Акопович Карагян?\nТекст 1: Ашот Акопович Карагян ( род. 23 января 1951 года, Ереван, Армянская ССР) — советский и российский фехтовальщик, двукратный чемпион мира (1979, 1981), двукратный призёр Олимпийских игр (1980). Мастер спорта СССР международного класса (1974). Заслуженный мастер спорта России (2005).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, в которую впадает Светлик, сливается с рекой Ёлва-Мезенская.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Светлик?", + "support_text": "Светлик — река в России, течёт по территории Удорского района Республики Коми. Левый приток реки Ёлва-Мезенская. Длина реки составляет 22 км.", + "text": "Ёлва-Мезенская или Елва-Мезенская — река в России, протекает по Удорскому району Республики Коми. Устье реки находится в 747 км по левому берегу реки Мезень (окрестности поселка Усть-Елва). Длина реки составляет 84 км, площадь водосборного бассейна — 766 кв км.. Именованные притоки: Корчвож, Светлик, Кучъёль и другие.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от истока до водомерного поста у деревни Малонисогорская. Речной бассейн реки — Мезень. Код объекта в государственном водном реестре — 03030000112103000043346." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 150, + "segment": "Мезень" + } + ], + "meta": { + "id": 859, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 97, + "segment": "Ёлва-Мезенская" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Светлик — река в России, течёт по территории Удорского района Республики Коми. Левый приток реки Ёлва-Мезенская. Длина реки составляет 22 км.\nТекст 2: Ёлва-Мезенская или Елва-Мезенская — река в России, протекает по Удорскому району Республики Коми. Устье реки находится в 747 км по левому берегу реки Мезень (окрестности поселка Усть-Елва). Длина реки составляет 84 км, площадь водосборного бассейна — 766 кв км.. Именованные притоки: Корчвож, Светлик, Кучъёль и другие.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от истока до водомерного поста у деревни Малонисогорская. Речной бассейн реки — Мезень. Код объекта в государственном водном реестре — 03030000112103000043346.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Светлик?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 275, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Васильевич Маслов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Пётр Павлович Николаев?", + "support_text": "Пётр Павлович Николаев (12 июля 1927 — 29 февраля 2008) — передовик советской строительной отрасли, машинист башенного крана Марийского строительного треста, город Йошкар-Ола Марийской АССР, Герой Социалистического Труда (1965).\n\nБиография.\nТрудился на стройках, с 1971 года бригадир слесарей по ремонту и обслуживанию башенных кранов. С 1992 года на заслуженном отдыхе. Избирался депутатом Верховного Совета СССР 7-го созыва, был депутатом Йошкар-Олинского городского совета, членом Марийского обкома КПСС. Проживал в городе Йошкар-Ола. Умер 29 февраля 2008 года.", + "text": "Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск. В 1984 году был награждён орденом Трудового Красного Знамени. Население — 274 715 человек (2020), городского округа \"Город Йошкар-Ола\" — 285 508 человек (2020).\n\nОрганы власти.\nС 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 835, + "segment": "Евгений Васильевич Маслов" + } + ], + "meta": { + "id": 939, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 164, + "segment": "Йошкар-Ола" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пётр Павлович Николаев (12 июля 1927 — 29 февраля 2008) — передовик советской строительной отрасли, машинист башенного крана Марийского строительного треста, город Йошкар-Ола Марийской АССР, Герой Социалистического Труда (1965).\n\nБиография.\nТрудился на стройках, с 1971 года бригадир слесарей по ремонту и обслуживанию башенных кранов. С 1992 года на заслуженном отдыхе. Избирался депутатом Верховного Совета СССР 7-го созыва, был депутатом Йошкар-Олинского городского совета, членом Марийского обкома КПСС. Проживал в городе Йошкар-Ола. Умер 29 февраля 2008 года.\nТекст 2: Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск. В 1984 году был награждён орденом Трудового Красного Знамени. Население — 274 715 человек (2020), городского округа \"Город Йошкар-Ола\" — 285 508 человек (2020).\n\nОрганы власти.\nС 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Пётр Павлович Николаев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 488, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Артём Алексеевич Здунов?", + "support_text": "Артём Алексеевич Здунов (род. 18 мая 1978, Казань, Татарская АССР, РСФСР, СССР) — российский государственный и политический деятель. Временно исполняющий обязанности главы Республики Мордовия с 18 ноября 2020.\n\nБиография.\nАртём Алексеевич Здунов родился 18 мая 1978 года в Казани. По национальности — эрзя.\n\nНаграды.\nПобедитель конкурса Академии наук Республики Татарстан \"Лучший учёный 2009 года\" (2009). Благодарность Министра экономического развития Российской Федерации (2012). Благодарность Министра экономики Республики Татарстан (2013),. Благодарность Президента Республики Татарстан (2014),. Памятная медаль \"XXVII Всемирная летняя универсиада 2013 года в г. Казани\" (2014),. Памятная медаль \"XXII Олимпийские зимние игры и XI Паралимпийские зимние игры 2014 года в г. Сочи\" (2014). Памятный знак \"25 лет Пенсионному фонду Российской Федерации\" (2015).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 595, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 171, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 43, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Артём Алексеевич Здунов (род. 18 мая 1978, Казань, Татарская АССР, РСФСР, СССР) — российский государственный и политический деятель. Временно исполняющий обязанности главы Республики Мордовия с 18 ноября 2020.\n\nБиография.\nАртём Алексеевич Здунов родился 18 мая 1978 года в Казани. По национальности — эрзя.\n\nНаграды.\nПобедитель конкурса Академии наук Республики Татарстан \"Лучший учёный 2009 года\" (2009). Благодарность Министра экономического развития Российской Федерации (2012). Благодарность Министра экономики Республики Татарстан (2013),. Благодарность Президента Республики Татарстан (2014),. Памятная медаль \"XXVII Всемирная летняя универсиада 2013 года в г. Казани\" (2014),. Памятная медаль \"XXII Олимпийские зимние игры и XI Паралимпийские зимние игры 2014 года в г. Сочи\" (2014). Памятный знак \"25 лет Пенсионному фонду Российской Федерации\" (2015).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Артём Алексеевич Здунов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2608695652173913, + "em": 0 + }, + "predict": " Борис Джонсон является главой администрации там, где родился Тони Джонс (15 апреля 1960 года).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации там, где родился Тони Джонс (снукерист)?", + "support_text": "Тони Джонс ( род. 15 апреля 1960 года) — английский бывший профессиональный игрок в снукер.", + "text": "Англия ( ) — страна, являющаяся крупнейшей административно-политической частью Соединённого Королевства Великобритании и Северной Ирландии. Население Англии составляет 84 % от общего числа населения Великобритании. Столица — Лондон, крупнейший город Соединённого Королевства. Англия стала объединением семи некогда враждовавших королевств в 927 году и названа по имени древнегерманского племени англов, обосновавшегося на острове Великобритания в V—VI веках.\n\nПолитическое устройство.\nПосле реформ 1990-х годов по переходу к деволюции в Северной Ирландии, Уэльсе и Шотландии, Англия осталась единственной из составных частей Великобритании, не имеющей собственного парламента и правительства. Функции парламента Англии исполняет парламент Великобритании, функции правительства — правительство Великобритании. Исполнительную власть, отвечающую в том числе и за территорию Англии, возглавляет премьер-министр Великобритании, которым в настоящее время является Борис Джонсон. Борис Джонсон. Существует движение в поддержку создания самостоятельного парламента и правительства Англии. Недовольство сторонников движения вызывает тот факт, что в то время, как решения, применяемые к одной Шотландии, принимает собственный парламент Шотландии (и аналогично с Уэльсом и Северной Ирландией), решения, применяемые к одной Англии, принимает общегосударственный парламент, где голосуют шотландские, уэльские и североирландские депутаты. В 2004 году Северо-Западные регионы Англии провели о создании выборного регионального парламента, который бы послужил прототипом парламента для Англии, однако большинство избирателей высказалось против." + }, + "outputs": [ + { + "label": "answer", + "length": 80, + "offset": 894, + "segment": "премьер-министр Великобритании, которым в настоящее время является Борис Джонсон" + } + ], + "meta": { + "id": 925, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 41, + "segment": "английский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации там, где родился Тони Джонс (снукерист)?\nТекст 1: Тони Джонс ( род. 15 апреля 1960 года) — английский бывший профессиональный игрок в снукер.\nТекст 2: Англия ( ) — страна, являющаяся крупнейшей административно-политической частью Соединённого Королевства Великобритании и Северной Ирландии. Население Англии составляет 84 % от общего числа населения Великобритании. Столица — Лондон, крупнейший город Соединённого Королевства. Англия стала объединением семи некогда враждовавших королевств в 927 году и названа по имени древнегерманского племени англов, обосновавшегося на острове Великобритания в V—VI веках.\n\nПолитическое устройство.\nПосле реформ 1990-х годов по переходу к деволюции в Северной Ирландии, Уэльсе и Шотландии, Англия осталась единственной из составных частей Великобритании, не имеющей собственного парламента и правительства. Функции парламента Англии исполняет парламент Великобритании, функции правительства — правительство Великобритании. Исполнительную власть, отвечающую в том числе и за территорию Англии, возглавляет премьер-министр Великобритании, которым в настоящее время является Борис Джонсон. Борис Джонсон. Существует движение в поддержку создания самостоятельного парламента и правительства Англии. Недовольство сторонников движения вызывает тот факт, что в то время, как решения, применяемые к одной Шотландии, принимает собственный парламент Шотландии (и аналогично с Уэльсом и Северной Ирландией), решения, применяемые к одной Англии, принимает общегосударственный парламент, где голосуют шотландские, уэльские и североирландские депутаты. В 2004 году Северо-Западные регионы Англии провели о создании выборного регионального парламента, который бы послужил прототипом парламента для Англии, однако большинство избирателей высказалось против.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 380, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Гурий Константинович Щенников?", + "support_text": "Гурий Константинович Щенников (17 ноября 1931, Челябинск — 6 сентября 2010, Санкт-Петербург) — советский и российский , доктор филологических наук (1982), профессор (1983). Заслуженный деятель науки Российской Федерации (1995).\n\nНаучная деятельность.\nАкадемик РАН Г. М. Фридлендер полагал, что его монография \"Достоевский и русский реализм\" \"может быть с полным правом причислена к высшим достижениям советской историко-литературной науки 80-х годов в целом\". В 1990-х годах Г. К. Щенников организовал широкую группу российских ученых, работающих над проблемой \"Достоевский и русская культура\". Результатом этой работы явились книги \"Творчество Достоевского: искусство синтеза\" (1991), два выпуска коллективной монографии \"Достоевский и национальная культура\" (1994—1996) и крупный словарь-справочник \"Достоевский: Эстетика и поэтика\" (Челябинск, 1997) — 240 статей, в работе над которыми участвовали 37 авторов из различных вузов страны. Г. К. Щенников был также редактором сборника \"Русская литература 1870—1890-х гг.\". . Под его руководством начато издание полного собрания сочинений Д. Н. Мамина-Сибиряка, а также подготовлено 13 кандидатских и 5 докторских диссертаций.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 188, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 47, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Гурий Константинович Щенников (17 ноября 1931, Челябинск — 6 сентября 2010, Санкт-Петербург) — советский и российский , доктор филологических наук (1982), профессор (1983). Заслуженный деятель науки Российской Федерации (1995).\n\nНаучная деятельность.\nАкадемик РАН Г. М. Фридлендер полагал, что его монография \"Достоевский и русский реализм\" \"может быть с полным правом причислена к высшим достижениям советской историко-литературной науки 80-х годов в целом\". В 1990-х годах Г. К. Щенников организовал широкую группу российских ученых, работающих над проблемой \"Достоевский и русская культура\". Результатом этой работы явились книги \"Творчество Достоевского: искусство синтеза\" (1991), два выпуска коллективной монографии \"Достоевский и национальная культура\" (1994—1996) и крупный словарь-справочник \"Достоевский: Эстетика и поэтика\" (Челябинск, 1997) — 240 статей, в работе над которыми участвовали 37 авторов из различных вузов страны. Г. К. Щенников был также редактором сборника \"Русская литература 1870—1890-х гг.\". . Под его руководством начато издание полного собрания сочинений Д. Н. Мамина-Сибиряка, а также подготовлено 13 кандидатских и 5 докторских диссертаций.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Гурий Константинович Щенников? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 626, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Терепец сливается с рекой Яченка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Терепец?", + "support_text": "Терепец — река в России, протекает в Калужской области. Левый приток Яченки.\n\nГеография.\nТерепец берёт начало в районе Мухановские хутора, что примерно в 6 км выше по течению от деревни Стопкино. Течёт в черте города Калуги. Устье реки находится в 13 км по левому берегу Яченки. Длина реки составляет 22 км, площадь водосборного бассейна — 90,8 кв км.", + "text": "Яченка — река в России, протекает в Калужской области. Левый приток Оки.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Ока от города Белёв до города Калуга, без рек Упа и Угра, речной подбассейн реки — бассейны притоков Оки до впадения Мокши. Речной бассейн реки — Ока. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 09010100512110000021657." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 68, + "segment": "Оки" + }, + { + "label": "passage", + "length": 3, + "offset": 68, + "segment": "Ока" + } + ], + "meta": { + "id": 855, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 69, + "segment": "Яченки" + }, + { + "label": "passage", + "length": 6, + "offset": 274, + "segment": "Яченки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Терепец — река в России, протекает в Калужской области. Левый приток Яченки.\n\nГеография.\nТерепец берёт начало в районе Мухановские хутора, что примерно в 6 км выше по течению от деревни Стопкино. Течёт в черте города Калуги. Устье реки находится в 13 км по левому берегу Яченки. Длина реки составляет 22 км, площадь водосборного бассейна — 90,8 кв км.\nТекст 2: Яченка — река в России, протекает в Калужской области. Левый приток Оки.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Ока от города Белёв до города Калуга, без рек Упа и Угра, речной подбассейн реки — бассейны притоков Оки до впадения Мокши. Речной бассейн реки — Ока. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 09010100512110000021657.\nВопрос: С какой рекой сливается река, в которую впадает Терепец?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 297, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16666666666666669, + "em": 0 + }, + "predict": " Река Пурпе сливается с рекой, воды которой пополняются за счёт Янгнояйяхи.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, воды которой пополняются за счёт Янгнояйяхи?", + "support_text": "Янгнояйяха (\"устар.\" Янг-Нояй-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 48 км по правому берегу реки Пуритей. Длина реки составляет 23 км.", + "text": "Пуритей — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 121 км по левому берегу реки Пурпе. Длина реки составляет 100 км.\n\nПримечания.\nКатегория:Притоки Пурпе." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 110, + "segment": "Пурпе" + } + ], + "meta": { + "id": 639, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 137, + "segment": "Пуритей" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Янгнояйяха (\"устар.\" Янг-Нояй-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 48 км по правому берегу реки Пуритей. Длина реки составляет 23 км.\nТекст 2: Пуритей — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 121 км по левому берегу реки Пурпе. Длина реки составляет 100 км.\n\nПримечания.\nКатегория:Притоки Пурпе.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, воды которой пополняются за счёт Янгнояйяхи?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 177, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, притоком которой является Морочь, впадает в реку Случь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Морочь?", + "support_text": "Морочь — река в Минской области Белоруссии, правый приток Случи. Длина реки — 150 км, площадь водосборного бассейна — 2030 или 2300 кв км, среднегодовой расход в устье — 8,7 м³/с. Истоки реки находятся на Копыльской гряде около деревни Вошкаты Копыльского района, далее река протекает по Центральноберезинской равнине и Припятскому Полесью, впадая в Случь около деревни Морочь.\n\nПримечания.\nКатегория:Притоки Случи (притока Припяти).", + "text": "Случь, Северная Случь — река в Белоруссии, левый приток Припяти. Длина реки — 228 км, площадь водосборного бассейна — 5260 кв км. Среднегодовой расход воды в 46 км от устья — 20,3 м³/с. Истоки реки находятся в Вороничских болотах, на Копыльской гряде к востоку от деревни Гацук Слуцкого района. Случь протекает в основном по Полесью, течёт в Слуцком, Солигорском, Житковичском и Лунинецком районах." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 56, + "segment": "Припяти" + } + ], + "meta": { + "id": 345, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 58, + "segment": "Случи" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Морочь?\nТекст 1: Морочь — река в Минской области Белоруссии, правый приток Случи. Длина реки — 150 км, площадь водосборного бассейна — 2030 или 2300 кв км, среднегодовой расход в устье — 8,7 м³/с. Истоки реки находятся на Копыльской гряде около деревни Вошкаты Копыльского района, далее река протекает по Центральноберезинской равнине и Припятскому Полесью, впадая в Случь около деревни Морочь.\n\nПримечания.\nКатегория:Притоки Случи (притока Припяти).\nТекст 2: Случь, Северная Случь — река в Белоруссии, левый приток Припяти. Длина реки — 228 км, площадь водосборного бассейна — 5260 кв км. Среднегодовой расход воды в 46 км от устья — 20,3 м³/с. Истоки реки находятся в Вороничских болотах, на Копыльской гряде к востоку от деревни Гацук Слуцкого района. Случь протекает в основном по Полесью, течёт в Слуцком, Солигорском, Житковичском и Лунинецком районах.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 304, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Энтль-Пунигль", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Ай-Пунигль?", + "support_text": "Ай-Пунигль (\"устар.\" Ай-Пун-Игль) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 8 км по левому берегу реки Энтль-Пунигль. Длина реки составляет 12 км.", + "text": "Энтль-Пунигль (\"устар.\" Энтль-Пун-Игль) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 73 км по правому берегу реки Яккунъях. Длина реки составляет 18 км. В 8 км от устья, по левому берегу реки впадает река Ай-Пун-Игль." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 144, + "segment": "Яккунъях" + } + ], + "meta": { + "id": 767, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 136, + "segment": "Энтль-Пунигль" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ай-Пунигль (\"устар.\" Ай-Пун-Игль) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 8 км по левому берегу реки Энтль-Пунигль. Длина реки составляет 12 км.\nТекст 2: Энтль-Пунигль (\"устар.\" Энтль-Пун-Игль) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 73 км по правому берегу реки Яккунъях. Длина реки составляет 18 км. В 8 км от устья, по левому берегу реки впадает река Ай-Пун-Игль.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Ай-Пунигль? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05555555555555556, + "em": 0 + }, + "predict": " Вятка. \n\nВ тексте 1 упоминается, что Мурдюг принимает слева реку Тумана, а в тексте 2 говорится, что Вятка вливается в Каму в 17 км ниже города Мамадыш. Таким образом, Мурдюг является притоком Вятки, и В", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Мурдюг?", + "support_text": "Мурдюг (Большой Мурдюг) — река в России, протекает в Оричевском районе Кировской области. Устье реки находится в 494 км по левому берегу реки Вятки. Длина реки составляет 21 км. В 1,8 километрах от устья принимает слева реку Тумана.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от города Котельнич до водомерного поста посёлка городского типа Аркуль, речной подбассейн реки — Вятка. Речной бассейн реки — Кама.", + "text": "Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 332, + "segment": "Каму" + }, + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Камы" + } + ], + "meta": { + "id": 833, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 142, + "segment": "Вятки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Мурдюг?\nТекст 1: Мурдюг (Большой Мурдюг) — река в России, протекает в Оричевском районе Кировской области. Устье реки находится в 494 км по левому берегу реки Вятки. Длина реки составляет 21 км. В 1,8 километрах от устья принимает слева реку Тумана.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от города Котельнич до водомерного поста посёлка городского типа Аркуль, речной подбассейн реки — Вятка. Речной бассейн реки — Кама.\nТекст 2: Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 298, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " В реку Вычегда.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Ныложка?", + "support_text": "Ныложка — река в России, протекает в Архангельской области. Устье реки находится в 82 км по левому берегу реки Виледь. Длина реки составляет 17 км.", + "text": "Виледь — река в Ленском, Вилегодском и Котласском районах Архангельской области России, левый приток реки Вычегда (бассейн Северной Двины). Длина реки — 321 км, площадь водосбора — 5610 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от города Сыктывкар и до устья, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина. Код объекта в государственном водном реестре — 03020200212103000024426." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 106, + "segment": "Вычегда" + } + ], + "meta": { + "id": 346, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 111, + "segment": "Виледь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Ныложка — река в России, протекает в Архангельской области. Устье реки находится в 82 км по левому берегу реки Виледь. Длина реки составляет 17 км.\nТекст 2: Виледь — река в Ленском, Вилегодском и Котласском районах Архангельской области России, левый приток реки Вычегда (бассейн Северной Двины). Длина реки — 321 км, площадь водосбора — 5610 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от города Сыктывкар и до устья, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина. Код объекта в государственном водном реестре — 03020200212103000024426.\nВопрос: В какую реку впадает река, притоком которой является Ныложка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родился Зоир Нуралиевич Бабаев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Зоир Нуралиевич Бабаев?", + "support_text": "Зоир Нуралиевич Бабаев (род. 1961, Душанбе, Таджикская ССР, СССР) — советский футболист и таджикский тренер по футболу. Заслуженный тренер Республики Таджикистан. Главный тренер юношеской сборной Таджикистана по футболу.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 508, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 35, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Зоир Нуралиевич Бабаев (род. 1961, Душанбе, Таджикская ССР, СССР) — советский футболист и таджикский тренер по футболу. Заслуженный тренер Республики Таджикистан. Главный тренер юношеской сборной Таджикистана по футболу.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nВопрос: Кто является главой администрации в городе, где родился Зоир Нуралиевич Бабаев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большой Кизил.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Кирдас?", + "support_text": "Кирдас — река в России, протекает в Республике Башкортостан. Устье реки находится в 124 км по правому берегу реки Большой Кизил. Длина реки составляет 15 км.", + "text": "Большой Кизил — река, правый приток Урала. Длина реки — 172 км, площадь бассейна — 2080 кв км, общее падение 570 м.\n\nГидрография.\nВ бассейне реки на горно-лесных тёмно-серых, горных выщелоченных чернозёмах, горных недоразвитых почвах произрастают светлохвойные леса из сосны и лиственницы, берёзовые и сосново-берёзовые леса. На обыкновенных и выщелоченных чернозёмах низовьев — разнотравные типчаково-ковыльные низкогорные степи, большей частью распаханные на равнине. В реке водится вся рыба, присущая горным и равнинным рекам Южного Урала и Зауралья." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 36, + "segment": "Урала" + }, + { + "label": "passage", + "length": 5, + "offset": 36, + "segment": "Урал" + } + ], + "meta": { + "id": 598, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 114, + "segment": "Большой Кизил" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Кирдас — река в России, протекает в Республике Башкортостан. Устье реки находится в 124 км по правому берегу реки Большой Кизил. Длина реки составляет 15 км.\nТекст 2: Большой Кизил — река, правый приток Урала. Длина реки — 172 км, площадь бассейна — 2080 кв км, общее падение 570 м.\n\nГидрография.\nВ бассейне реки на горно-лесных тёмно-серых, горных выщелоченных чернозёмах, горных недоразвитых почвах произрастают светлохвойные леса из сосны и лиственницы, берёзовые и сосново-берёзовые леса. На обыкновенных и выщелоченных чернозёмах низовьев — разнотравные типчаково-ковыльные низкогорные степи, большей частью распаханные на равнине. В реке водится вся рыба, присущая горным и равнинным рекам Южного Урала и Зауралья.\nВопрос: С какой рекой сливается река, в которую впадает Кирдас?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Хадытаяха впадает в реку Лимбяяха.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Большая Хадытаяха?", + "support_text": "Большая Хадытаяха (\"устар.\" Большая Хадыта-Яха) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится на 13-м км правого берега реки Лимбяяхи. Длина реки — 66 км.\n\nПримечания.\nКатегория:Притоки Лимбяяхи.", + "text": "Лимбяяха (\"устар.\" Лимбя-Яха) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 17 км по правому берегу протоки Ванепарод реки Таз. Длина реки — 139 км, площадь водосборного бассейна — 1430 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Таз. Речной бассейн реки — Таз." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 177, + "segment": "Таз" + } + ], + "meta": { + "id": 332, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 177, + "segment": "Лимбяяхи" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Большая Хадытаяха?\nТекст 1: Большая Хадытаяха (\"устар.\" Большая Хадыта-Яха) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится на 13-м км правого берега реки Лимбяяхи. Длина реки — 66 км.\n\nПримечания.\nКатегория:Притоки Лимбяяхи.\nТекст 2: Лимбяяха (\"устар.\" Лимбя-Яха) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 17 км по правому берегу протоки Ванепарод реки Таз. Длина реки — 139 км, площадь водосборного бассейна — 1430 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Таз. Речной бассейн реки — Таз.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 247, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лындога сливается с рекой Северная Двина. В тексте 1 указано, что устье Лындога находится в 84 км по левому берегу реки Северная Двина (протока Койдокурка). В тексте 2 также упоминается, что Северная Двина — крупная судоходная", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Лындога?", + "support_text": "Лындога — река в России, протекает в Холмогорском районе Архангельской области. Устье реки находится в 84 км по левому берегу реки Северная Двина (протока Койдокурка). Длина реки составляет 18 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Северная Двина от впадения реки Вага и до устья, без реки Пинега, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.", + "text": "Северная Двина — крупная судоходная река на севере Европейской части России, протекающая в Вологодской и большей частью (примерно 90 % общей длины) Архангельской областях. Впадает в Белое море. Длина — 744 км (с учётом Сухоны, как основной составляющей — 1302 км).\n\nГеография.\nВозле Котласа в водоток впадает крупнейший приток Вычегда (при слиянии она несёт больше воды, чем Малая Северная Двина, годовой сток которой составляет 23 км³ против 36 км³ у Вычегды), после чего река поворачивает на северо-запад, а затем постепенно на север. Почти на самом севере сливается с Пинегой. Ниже впадения Пинеги Северная Двина разбивается на протоки с многочисленными островами, ширина долины возрастает до 18 км. Дельта Северной Двины (площадь дельты около 900 кв км) начинается от Новодвинска. Возле Архангельска и Северодвинска Северная Двина многими рукавами впадает в Двинскую губу Белого моря. Северная Двина — типично равнинная река." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 182, + "segment": "Белое море" + } + ], + "meta": { + "id": 885, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 131, + "segment": "Северная Двина" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Лындога?\nТекст 1: Лындога — река в России, протекает в Холмогорском районе Архангельской области. Устье реки находится в 84 км по левому берегу реки Северная Двина (протока Койдокурка). Длина реки составляет 18 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Северная Двина от впадения реки Вага и до устья, без реки Пинега, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.\nТекст 2: Северная Двина — крупная судоходная река на севере Европейской части России, протекающая в Вологодской и большей частью (примерно 90 % общей длины) Архангельской областях. Впадает в Белое море. Длина — 744 км (с учётом Сухоны, как основной составляющей — 1302 км).\n\nГеография.\nВозле Котласа в водоток впадает крупнейший приток Вычегда (при слиянии она несёт больше воды, чем Малая Северная Двина, годовой сток которой составляет 23 км³ против 36 км³ у Вычегды), после чего река поворачивает на северо-запад, а затем постепенно на север. Почти на самом севере сливается с Пинегой. Ниже впадения Пинеги Северная Двина разбивается на протоки с многочисленными островами, ширина долины возрастает до 18 км. Дельта Северной Двины (площадь дельты около 900 кв км) начинается от Новодвинска. Возле Архангельска и Северодвинска Северная Двина многими рукавами впадает в Двинскую губу Белого моря. Северная Двина — типично равнинная река.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Водоток, в который впадает река Нимаёль, является рекой Велью.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Нимаёль?", + "support_text": "Нимаёль — река в России, протекает в Сосногорском районе Республики Коми. Устье реки находится в 63 км по левому берегу реки Велью. Длина реки составляет 13 км. Исток реки в болотах в 13 км к северо-востоку от посёлка Конашъёль. Река в верхнем течении течёт на северо-запад, затем поворачивает на запад, всё течение проходит по заболоченному таёжному лесу.", + "text": "Бассейн Печоры. Велью (\"Вель\") — река в Республике Коми, левый приток реки Печора. Длина реки — 173 км, площадь водосборного бассейна — 4110 кв км. Питание смешанное, с преобладанием снегового.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 75, + "segment": "Печора" + } + ], + "meta": { + "id": 805, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 125, + "segment": "Велью" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется водоток, в который впадает река, притоком которой является Нимаёль?\nТекст 1: Нимаёль — река в России, протекает в Сосногорском районе Республики Коми. Устье реки находится в 63 км по левому берегу реки Велью. Длина реки составляет 13 км. Исток реки в болотах в 13 км к северо-востоку от посёлка Конашъёль. Река в верхнем течении течёт на северо-запад, затем поворачивает на запад, всё течение проходит по заболоченному таёжному лесу.\nТекст 2: Бассейн Печоры. Велью (\"Вель\") — река в Республике Коми, левый приток реки Печора. Длина реки — 173 км, площадь водосборного бассейна — 4110 кв км. Питание смешанное, с преобладанием снегового.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 275, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Локчим", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Маной?", + "support_text": "Маной — река в России, течёт по территории Корткеросского района Республики Коми. Устье реки находится в 56 км по левому берегу реки Чед. Длина реки составляет 13 км.", + "text": "Чед (устар. \"Чедь-Ю\") — река в России, протекает по Республике Коми. Устье реки находится в 125 км по левому берегу реки Локчим. Длина реки составляет 76 км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 121, + "segment": "Локчим" + } + ], + "meta": { + "id": 343, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 133, + "segment": "Чед" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Маной — река в России, течёт по территории Корткеросского района Республики Коми. Устье реки находится в 56 км по левому берегу реки Чед. Длина реки составляет 13 км.\nТекст 2: Чед (устар. \"Чедь-Ю\") — река в России, протекает по Республике Коми. Устье реки находится в 125 км по левому берегу реки Локчим. Длина реки составляет 76 км.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Маной? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимал глава государства, чьим гражданином был Павел Владимирович Засодимский?", + "support_text": "Павел Владимирович Засодимский (псевд.: Вологдин, Скиталец; 1843, Великий Устюг — 1912, Новгородская губерния) — русский писатель.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 287, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 113, + "segment": "русский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Павел Владимирович Засодимский (псевд.: Вологдин, Скиталец; 1843, Великий Устюг — 1912, Новгородская губерния) — русский писатель.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.\nОпираясь на данные тексты, ответьте на вопрос: Что за должность занимал глава государства, чьим гражданином был Павел Владимирович Засодимский? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Иван Прохорович Бедро был гражданином Российской империи, в которой главой государства был Император Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Иван Прохорович Бедро?", + "support_text": "Иван Прохорович Бедро (31 января (12 февраля) 1874, с. Смелое, Полтавская губерния, Российская империя — 28 января 1943, станица Белореченская, Краснодарский край, СССР) — российский общественный деятель, профессиональный садовод, один из основоположников и пропагандистов сибирского садоводства, основатель испытательно-научного сада (позднее Западно-Сибирской садовой станции) на Тагарском острове близ Минусинска, в 1918 году член Сибирской областной думы.\n\nБиография, научная и общественная деятельность.\nИ. П. Бедро, 1905 г. В декабре 1905 года черносотенцы и полиция пытались организовать в Лохвице еврейский погром, однако И. П. Бедро сумел предотвратить погром и выявил инициаторов, в частности помощника местного исправника. Вторично задержанный полицией в декабре 1905 года И. П. Бедро оказался на свободе лишь под давлением масс, вынудивших губернатора отдать специальное указание. После этого И. П. Бедро уехал за границу и некоторое время работал в садовых хозяйствах Французской Ривьеры. По возвращении в Россию снова был арестован (март 1906 года). Находился в тюрьме в Полтаве.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 477, + "segment": "Императора" + } + ], + "meta": { + "id": 103, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 84, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Иван Прохорович Бедро (31 января (12 февраля) 1874, с. Смелое, Полтавская губерния, Российская империя — 28 января 1943, станица Белореченская, Краснодарский край, СССР) — российский общественный деятель, профессиональный садовод, один из основоположников и пропагандистов сибирского садоводства, основатель испытательно-научного сада (позднее Западно-Сибирской садовой станции) на Тагарском острове близ Минусинска, в 1918 году член Сибирской областной думы.\n\nБиография, научная и общественная деятельность.\nИ. П. Бедро, 1905 г. В декабре 1905 года черносотенцы и полиция пытались организовать в Лохвице еврейский погром, однако И. П. Бедро сумел предотвратить погром и выявил инициаторов, в частности помощника местного исправника. Вторично задержанный полицией в декабре 1905 года И. П. Бедро оказался на свободе лишь под давлением масс, вынудивших губернатора отдать специальное указание. После этого И. П. Бедро уехал за границу и некоторое время работал в садовых хозяйствах Французской Ривьеры. По возвращении в Россию снова был арестован (март 1906 года). Находился в тюрьме в Полтаве.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Иван Прохорович Бедро?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 583, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава государства в стране, чьим гражданином был Юлиан Васильевич Сохоцкий, был императором.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Юлиан Васильевич Сохоцкий?", + "support_text": "Юлиан Васильевич Сохоцкий (2 февраля 1842, Варшава, Российская империя — 14 декабря 1927, Ленинград, СССР) — русский математик польского происхождения. Ординарный профессор Петербургского университета, член-учредитель и председатель Санкт-Петербургского математического общества.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 739, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1016, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 52, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Юлиан Васильевич Сохоцкий?\nТекст 1: Юлиан Васильевич Сохоцкий (2 февраля 1842, Варшава, Российская империя — 14 декабря 1927, Ленинград, СССР) — русский математик польского происхождения. Ординарный профессор Петербургского университета, член-учредитель и председатель Санкт-Петербургского математического общества.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 372, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Гораций Осипович Гинцбург?", + "support_text": "Барон Гораций О сипович Гинцбург (1833, Звенигородка, Киевская губерния — 1909, Петербург) — в 1870-е и 1880-е годы один из богатейших людей Российской империи, действительный статский советник, купец первой гильдии, глава финансовой династии Гинцбургов. Ктитор Большой хоральной синагоги в Петербурге.\n\nБиография.\nКроме этого, Гинцбурги были в числе учредителей Киевского частного коммерческого банка, Одесского Учётного банка, владели Товариществом Могилянского свекло-сахарного завода, которому принадлежали сахарный завод и сельхозугодья в Подольской губернии. В 1892 году банкирский дом Гинцбурга попал в полосу глубокого кризиса. Правительство отказалось поддержать оказавшийся в долгах банк и ввело в нём временную администрацию, Гинцбурги потеряли интерес к банковскому делу и переключились на золотодобычу. Гораций Гинцбург возглавил, а затем установил контроль над богатейшим Ленским золотопромышленным товариществом. Гинцбург вёл широкую благотворительную деятельность, стоял у истоков и возглавлял ряд общественных организаций, направленных на улучшение положения евреев в Российской империи. В частности, возглавлял центральный комитет Еврейского колонизационного общества, который занимался организацией переселения малоимущих единоверцев за пределы Восточной Европы. Неоднократно ходатайствовал перед имперскими властями об отмене антисемитских законов.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + } + ], + "meta": { + "id": 101, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 141, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Барон Гораций О сипович Гинцбург (1833, Звенигородка, Киевская губерния — 1909, Петербург) — в 1870-е и 1880-е годы один из богатейших людей Российской империи, действительный статский советник, купец первой гильдии, глава финансовой династии Гинцбургов. Ктитор Большой хоральной синагоги в Петербурге.\n\nБиография.\nКроме этого, Гинцбурги были в числе учредителей Киевского частного коммерческого банка, Одесского Учётного банка, владели Товариществом Могилянского свекло-сахарного завода, которому принадлежали сахарный завод и сельхозугодья в Подольской губернии. В 1892 году банкирский дом Гинцбурга попал в полосу глубокого кризиса. Правительство отказалось поддержать оказавшийся в долгах банк и ввело в нём временную администрацию, Гинцбурги потеряли интерес к банковскому делу и переключились на золотодобычу. Гораций Гинцбург возглавил, а затем установил контроль над богатейшим Ленским золотопромышленным товариществом. Гинцбург вёл широкую благотворительную деятельность, стоял у истоков и возглавлял ряд общественных организаций, направленных на улучшение положения евреев в Российской империи. В частности, возглавлял центральный комитет Еврейского колонизационного общества, который занимался организацией переселения малоимущих единоверцев за пределы Восточной Европы. Неоднократно ходатайствовал перед имперскими властями об отмене антисемитских законов.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Гораций Осипович Гинцбург? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 574, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Северная Сосьва.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Холалынгъя?", + "support_text": "Холалынгъя (\"устар.\" Хол-Алынг-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 648 км по правому берегу реки Северная Сосьва. Длина реки составляет 12 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша. Код объекта в государственном водном реестре — 15020200112115300024062.", + "text": "Бассейн Оби. Северная Сосьва — река в Ханты-Мансийском автономном округе России, протекает на Северном Урале по Западно-Сибирской равнине. Длина реки — 754 км, площадь водосборного бассейна — 98 300 кв км. Образуется слиянием рек Большой и Малой Сосьвы. Впадает в Обь слева (рукав Малая Обь) на 287 км от её устья." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 264, + "segment": "Обь" + } + ], + "meta": { + "id": 846, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 139, + "segment": "Северная Сосьва" + }, + { + "label": "passage", + "length": 15, + "offset": 342, + "segment": "Северная Сосьва" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Холалынгъя (\"устар.\" Хол-Алынг-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 648 км по правому берегу реки Северная Сосьва. Длина реки составляет 12 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша. Код объекта в государственном водном реестре — 15020200112115300024062.\nТекст 2: Бассейн Оби. Северная Сосьва — река в Ханты-Мансийском автономном округе России, протекает на Северном Урале по Западно-Сибирской равнине. Длина реки — 754 км, площадь водосборного бассейна — 98 300 кв км. Образуется слиянием рек Большой и Малой Сосьвы. Впадает в Обь слева (рукав Малая Обь) на 287 км от её устья.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Холалынгъя? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 311, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сенат.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Серхио Акоста?", + "support_text": "Серхио Акоста ( 9 сентября 1946, Энкарнасьон-де-Диас, Халиско, Мексика) — мексиканский актёр.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая." + }, + "outputs": [ + { + "label": "answer", + "length": 21, + "offset": 697, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 775, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 75, + "segment": "мексиканский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Серхио Акоста ( 9 сентября 1946, Энкарнасьон-де-Диас, Халиско, Мексика) — мексиканский актёр.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая.\nВопрос: Как называется законодательный орган государства, гражданином которого является Серхио Акоста?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 333, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.07999999999999999, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Пьер Кюллифор, — это Федеральный парламент Бельгии, состоящий из двух палат: палаты представителей и сената.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Пьер Кюллифор?", + "support_text": "Пьер Кюллифор ( Брюссель, 25 июня 1928 — 24 декабря 1992), он же Пейо — франкоязычный бельгийский художник, создатель комиксов о Смурфах.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( )." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 451, + "segment": "парламентом" + }, + { + "label": "passage", + "length": 11, + "offset": 451, + "segment": "парламент" + } + ], + "meta": { + "id": 989, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 86, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Пьер Кюллифор?\nТекст 1: Пьер Кюллифор ( Брюссель, 25 июня 1928 — 24 декабря 1992), он же Пейо — франкоязычный бельгийский художник, создатель комиксов о Смурфах.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 284, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Руслан Николаевич Кухарук является главой администрации в городе Тюмени, где родилась Татьяна Васильевна Леонтьева.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Татьяна Васильевна Леонтьева?", + "support_text": "Татьяна Васильевна Леонтьева (род. 2 апреля 1984, г.Тюмень, СССР) — современная российская .\n\nБиография.\nТатьяна Леонтьева родилась в Тюмени в 1984 году. Детство и юность провела в Томске. Затем уехала в Санкт-Петербург. В 2012 году окончила Северо-Западный институт печати Университета технологии и дизайна.", + "text": "Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре. Образует муниципальное образование \"город Тюмень\" со статусом городского округа как единственный населённый пункт в его составе.\n\nАдминистративное деление.\nОрганы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 550, + "segment": "Руслан Николаевич Кухарук" + } + ], + "meta": { + "id": 958, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 53, + "segment": "Тюмень" + }, + { + "label": "passage", + "length": 8, + "offset": 51, + "segment": "г.Тюмень" + }, + { + "label": "passage", + "length": 6, + "offset": 138, + "segment": "Тюмени" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Татьяна Васильевна Леонтьева (род. 2 апреля 1984, г.Тюмень, СССР) — современная российская .\n\nБиография.\nТатьяна Леонтьева родилась в Тюмени в 1984 году. Детство и юность провела в Томске. Затем уехала в Санкт-Петербург. В 2012 году окончила Северо-Западный институт печати Университета технологии и дизайна.\nТекст 2: Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре. Образует муниципальное образование \"город Тюмень\" со статусом городского округа как единственный населённый пункт в его составе.\n\nАдминистративное деление.\nОрганы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Татьяна Васильевна Леонтьева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 292, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сергей Валерьевич Данилюк", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Иосиф Григорьевич Колкер?", + "support_text": "Иосиф Григорьевич Колкер (22 мая 1918 года, Тирасполь — 16 сентября 2005 года, Новосибирск) — советский физик, специалист в области прочности летательных аппаратов, доктор технических наук, профессор.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nШапа, Пётр Иванович (1978—1980), 1-й секретарь горкома. Костырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 1080, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 1080, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 511, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 44, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иосиф Григорьевич Колкер (22 мая 1918 года, Тирасполь — 16 сентября 2005 года, Новосибирск) — советский физик, специалист в области прочности летательных аппаратов, доктор технических наук, профессор.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nШапа, Пётр Иванович (1978—1980), 1-й секретарь горкома. Костырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Иосиф Григорьевич Колкер? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Катания", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился брат Даниэле Гароццо?", + "support_text": "Даниэле Гароццо ( род. 4 августа 1992 года) — итальянский фехтовальщик-рапирист, олимпийский чемпион 2016 года в личном первенстве, трехкратный чемпион мира в команде (2015 и 2017), чемпион Европы 2017, чемпион Италии 2015 года. Брат Энрико Гароццо.", + "text": "Энрико Гароццо ( р.21 июня 1989) — итальянский фехтовальщик-шпажист, серебряный призёр Олимпийских игр 2016 года в командной шпаге, призёр чемпионатов мира и Европы, двукратный чемпион Италии (2013, 2015). Брат известного фехтовальщика-рапириста Даниэле Гароццо.\n\nБиография.\nРодился в 1989 году в Катании. В 2008 году стал чемпионом мира среди юниоров. В 2013 году завоевал бронзовую медаль Средиземноморских игр. В 2014 году стал бронзовым призёром чемпионата мира." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 300, + "segment": "Катании" + } + ], + "meta": { + "id": 369, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 234, + "segment": "Энрико Гароццо" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Даниэле Гароццо ( род. 4 августа 1992 года) — итальянский фехтовальщик-рапирист, олимпийский чемпион 2016 года в личном первенстве, трехкратный чемпион мира в команде (2015 и 2017), чемпион Европы 2017, чемпион Италии 2015 года. Брат Энрико Гароццо.\nТекст 2: Энрико Гароццо ( р.21 июня 1989) — итальянский фехтовальщик-шпажист, серебряный призёр Олимпийских игр 2016 года в командной шпаге, призёр чемпионатов мира и Европы, двукратный чемпион Италии (2013, 2015). Брат известного фехтовальщика-рапириста Даниэле Гароццо.\n\nБиография.\nРодился в 1989 году в Катании. В 2008 году стал чемпионом мира среди юниоров. В 2013 году завоевал бронзовую медаль Средиземноморских игр. В 2014 году стал бронзовым призёром чемпионата мира.\nОпираясь на данные тексты, ответьте на вопрос: Где родился брат Даниэле Гароццо? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 288, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родился Шод Саидович Муладжанов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Шод Саидович Муладжанов?", + "support_text": "Шод Саидович Муладжанов (1 июля 1953, Душанбе) — российский журналист и медиаменеджер, публицист. Главный редактор газеты \"Московская правда\", заместитель председателя правления Союза журналистов Москвы.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 221, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 38, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Шод Саидович Муладжанов (1 июля 1953, Душанбе) — российский журналист и медиаменеджер, публицист. Главный редактор газеты \"Московская правда\", заместитель председателя правления Союза журналистов Москвы.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nВопрос: Кто является главой администрации в городе, где родился Шод Саидович Муладжанов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вентуари сливается с рекой Ориноко. В тексте 1 указано, что Вентуари впадает в Ориноко около города Санта-Барбара на территории национального парка Явакана.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Вентуари?", + "support_text": "Вентуари — река в Венесуэле, правый приток Ориноко. Протекает по территории провинции Амасонас. Длина реки около 600 километров. Площадь водосборного бассейна — 42000 кв км. Среднегодовой расход воды в устье — 3488 м³/с. Начинается на северном склоне гор Серра-Парима в центре Гвианского нагорья у подножия горы Масивари при слиянии вблизи деревни Кабадисканья речек Антабаре и Хеуэте. Течёт сначала на северо-запад через населённые пункты Какури и Ла-Сейба, затем выходит на равнину и поворачивает на юг. В низовьях течёт на запад и впадает в Ориноко около города Санта-Барбара на территории национального парка Явакана. Бассейн реки покрыт лесами и слабо заселён. Ширина реки в нижнем течении — свыше 400 метров.", + "text": "Ориноко — река в Южной Америке, течёт в основном через Венесуэлу и впадает в Атлантический океан. Длина 2740 километров.\n\nГеография.\nВыемка грунта позволяет океанским судам дойти до Сьюдад-Боливара, в 435 км вверх по течению от Атлантического океана. Расход воды в начале дельты 29 000 м³/с. Особенностью реки Ориноко является то, что она является классическим примером бифуркации рек. Река Касикьяре, которая начинается как ответвление Ориноко и впадает в Риу-Негру, приток Амазонки, формирует естественный канал между Ориноко и Амазонкой. Ориноко пересекает субэкваториальный пояс, имеет преимущественно дождевое питание и резкие колебания уровня воды на протяжении года. В сухой сезон мелкие притоки этой реки превращаются в цепочку небольших стоячих озёр. Притоки." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 533, + "segment": "Амазонкой" + } + ], + "meta": { + "id": 899, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 43, + "segment": "Ориноко" + }, + { + "label": "passage", + "length": 7, + "offset": 544, + "segment": "Ориноко" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Вентуари?\nТекст 1: Вентуари — река в Венесуэле, правый приток Ориноко. Протекает по территории провинции Амасонас. Длина реки около 600 километров. Площадь водосборного бассейна — 42000 кв км. Среднегодовой расход воды в устье — 3488 м³/с. Начинается на северном склоне гор Серра-Парима в центре Гвианского нагорья у подножия горы Масивари при слиянии вблизи деревни Кабадисканья речек Антабаре и Хеуэте. Течёт сначала на северо-запад через населённые пункты Какури и Ла-Сейба, затем выходит на равнину и поворачивает на юг. В низовьях течёт на запад и впадает в Ориноко около города Санта-Барбара на территории национального парка Явакана. Бассейн реки покрыт лесами и слабо заселён. Ширина реки в нижнем течении — свыше 400 метров.\nТекст 2: Ориноко — река в Южной Америке, течёт в основном через Венесуэлу и впадает в Атлантический океан. Длина 2740 километров.\n\nГеография.\nВыемка грунта позволяет океанским судам дойти до Сьюдад-Боливара, в 435 км вверх по течению от Атлантического океана. Расход воды в начале дельты 29 000 м³/с. Особенностью реки Ориноко является то, что она является классическим примером бифуркации рек. Река Касикьяре, которая начинается как ответвление Ориноко и впадает в Риу-Негру, приток Амазонки, формирует естественный канал между Ориноко и Амазонкой. Ориноко пересекает субэкваториальный пояс, имеет преимущественно дождевое питание и резкие колебания уровня воды на протяжении года. В сухой сезон мелкие притоки этой реки превращаются в цепочку небольших стоячих озёр. Притоки.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательный орган города Пирятин, где родился Евгений Васильевич Неронович, называется Пирятинский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Евгений Васильевич Неронович?", + "support_text": "Евгений Васильевич Неронович (1888—1918) — украинский политический и общественный деятель, революционер. Член Украинской Центральной Рады. С марта 1918 года — народный секретарь военных дел советского правительства Украины.\n\nБиография.\nЕвгений Неронович родился 1888 года возле города Пирятин (Полтавская губерния). Получил среднее образование в Полтавской мужской гимназии и на электротехническом факультете Петербургского технологического института.", + "text": "Пирятин — город в Полтавской области Украины. Входит в Лубенский район. До 2020 года был административным центром упразднённого Пирятинского района, в котором составлял Пирятинский городской совет, в который, кроме того, входили сёла Верхояровка, Голобородько, Замостище, Заречье, Ивженки, Калинов Мост, Александровка, Ровное и Могилевщина." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 181, + "segment": "городской совет" + } + ], + "meta": { + "id": 50, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 288, + "segment": "Пирятин" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Евгений Васильевич Неронович (1888—1918) — украинский политический и общественный деятель, революционер. Член Украинской Центральной Рады. С марта 1918 года — народный секретарь военных дел советского правительства Украины.\n\nБиография.\nЕвгений Неронович родился 1888 года возле города Пирятин (Полтавская губерния). Получил среднее образование в Полтавской мужской гимназии и на электротехническом факультете Петербургского технологического института.\nТекст 2: Пирятин — город в Полтавской области Украины. Входит в Лубенский район. До 2020 года был административным центром упразднённого Пирятинского района, в котором составлял Пирятинский городской совет, в который, кроме того, входили сёла Верхояровка, Голобородько, Замостище, Заречье, Ивженки, Калинов Мост, Александровка, Ровное и Могилевщина.\nВопрос: Как называется законодательный орган города, где родился Евгений Васильевич Неронович?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1904761904761905, + "em": 0 + }, + "predict": " Евгений Дмитриевич Тюрин умер в Москве, и в городе, где умер он, — Москве, главой администрации является Юрий Цкипури.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Евграф Дмитриевич Тюрин?", + "support_text": "Евграф Дмитриевич Тюрин (1792, Москва — 1875, там же) — русский , преподаватель и коллекционер живописи.\n\nБиография.\nВ 1833—1838 годах работал архитектором Московской Медико-хирургической академии. В 1838 году являлся членом комиссии по построению Храма Христа Спасителя. В 1840 году поступил архитектором в Московскую дворцовую контору, где с 1858 года занял должность директора (старшего архитектора) чертежной. Е. Д. Тюрин являлся владельцем обширной коллекции картин европейских художников, которую предлагал городу Москве в качестве основы для создания художественного музея. В 1868 году Е. Д. Тюрин уволился со службы и поселился в Туле, лишь изредка посещая Москву. В честь Е. Д. Тюрина в Москве названа Тюрина улица.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 547, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 232, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 641, + "segment": "Туле" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где умер Евграф Дмитриевич Тюрин?\nТекст 1: Евграф Дмитриевич Тюрин (1792, Москва — 1875, там же) — русский , преподаватель и коллекционер живописи.\n\nБиография.\nВ 1833—1838 годах работал архитектором Московской Медико-хирургической академии. В 1838 году являлся членом комиссии по построению Храма Христа Спасителя. В 1840 году поступил архитектором в Московскую дворцовую контору, где с 1858 года занял должность директора (старшего архитектора) чертежной. Е. Д. Тюрин являлся владельцем обширной коллекции картин европейских художников, которую предлагал городу Москве в качестве основы для создания художественного музея. В 1868 году Е. Д. Тюрин уволился со службы и поселился в Туле, лишь изредка посещая Москву. В честь Е. Д. Тюрина в Москве названа Тюрина улица.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 392, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Руслан Николаевич Кухарук является главой администрации в городе Тюмени, где родился Валерий Николаевич Фальков.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валерий Николаевич Фальков?", + "support_text": "Валерий Николаевич Фальков (род. 18 октября 1978, Тюмень, Тюменская область, РСФСР, СССР) — российский государственный и политический деятель. Учёный-юрист. Ректор Тюменского государственного университета (2013—2020). Министр науки и высшего образования Российской Федерации с 21 января 2020 года.", + "text": "Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре.\n\nАдминистративное деление.\nЗемли особо охраняемых территорий и объектов 61 га (0,1 %). Органы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 481, + "segment": "Руслан Николаевич Кухарук" + } + ], + "meta": { + "id": 175, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "Тюмень" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Валерий Николаевич Фальков (род. 18 октября 1978, Тюмень, Тюменская область, РСФСР, СССР) — российский государственный и политический деятель. Учёный-юрист. Ректор Тюменского государственного университета (2013—2020). Министр науки и высшего образования Российской Федерации с 21 января 2020 года.\nТекст 2: Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре.\n\nАдминистративное деление.\nЗемли особо охраняемых территорий и объектов 61 га (0,1 %). Органы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный.\nВопрос: Кто является главой администрации в городе, где родился Валерий Николаевич Фальков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Большой Юган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Ай-Икмельюльх?", + "support_text": "Ай-Икмельюльх (\"устар.\" Ай-Икмель-Юльх) — река в Ханты-Мансийском АО России. Устье реки находится в 93 км по правому берегу реки Епельпетьях. Длина реки составляет 12 км.", + "text": "Епельпетьях (\"устар.\" Епель-Петь-Ях) — река в России, протекает в Ханты-Мансийском АО. Устье реки находится в 521 км по левому берегу реки Большой Юган. Длина реки составляет 114 км, площадь водосборного бассейна 1300 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 139, + "segment": "Большой Юган" + } + ], + "meta": { + "id": 577, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 129, + "segment": "Епельпетьях" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ай-Икмельюльх (\"устар.\" Ай-Икмель-Юльх) — река в Ханты-Мансийском АО России. Устье реки находится в 93 км по правому берегу реки Епельпетьях. Длина реки составляет 12 км.\nТекст 2: Епельпетьях (\"устар.\" Епель-Петь-Ях) — река в России, протекает в Ханты-Мансийском АО. Устье реки находится в 521 км по левому берегу реки Большой Юган. Длина реки составляет 114 км, площадь водосборного бассейна 1300 кв км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Ай-Икмельюльх? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " В реку Нижняя Тунгуска.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Тембенчи?", + "support_text": "Тембенчи — река в Красноярском крае России, правый приток Кочечума. Длина реки составляет 571 км. Замерзает в октябре и остаётся под ледяным покровом до мая. Питание снеговое и дождевое. Половодье с конца мая, за май — июнь проходит около 60 % годового стока реки. Впадает в реку Кочечум на Плато Сыверма, в 50 км севернее посёлка Тура. Высота устья — 145 м над уровнем моря.", + "text": "Кочечум, также встречаются названия \"Кочечума, Кочечумо, Курунчан\" — река в Сибири, в Красноярском крае. Правый и наиболее крупный приток реки Нижняя Тунгуска. Название происходит от — \"излучина реки\" и — \"береговая коса\". Берёт своё начало на южной окраине плато Путорана. Протекает по территории плато Сыверма, впадает в Нижнюю Тунгуску рядом с пгт." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 143, + "segment": "Нижняя Тунгуска" + } + ], + "meta": { + "id": 15, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 58, + "segment": "Кочечума" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Тембенчи — река в Красноярском крае России, правый приток Кочечума. Длина реки составляет 571 км. Замерзает в октябре и остаётся под ледяным покровом до мая. Питание снеговое и дождевое. Половодье с конца мая, за май — июнь проходит около 60 % годового стока реки. Впадает в реку Кочечум на Плато Сыверма, в 50 км севернее посёлка Тура. Высота устья — 145 м над уровнем моря.\nТекст 2: Кочечум, также встречаются названия \"Кочечума, Кочечумо, Курунчан\" — река в Сибири, в Красноярском крае. Правый и наиболее крупный приток реки Нижняя Тунгуска. Название происходит от — \"излучина реки\" и — \"береговая коса\". Берёт своё начало на южной окраине плато Путорана. Протекает по территории плато Сыверма, впадает в Нижнюю Тунгуску рядом с пгт.\nВопрос: В какую реку впадает река, притоком которой является Тембенчи?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " И. Р. Метшин является главой администрации в городе Казани, где родился Артём Эдуардович Скворцов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Артём Эдуардович Скворцов?", + "support_text": "Артём Эдуардович Скворцов (род. 16 апреля 1975, Казань) — российский , критик и поэт.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 548, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 172, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 48, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Артём Эдуардович Скворцов (род. 16 апреля 1975, Казань) — российский , критик и поэт.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Артём Эдуардович Скворцов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Палата депутатов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Хосе Годинеса?", + "support_text": "Хосе де Хесус Годинес Наварро ( 20 января 1997, Гвадалахара, Мексика) — мексиканский футболист, нападающий клуба \"Леон\" и сборной Мексики.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 540, + "segment": "Парламент" + } + ], + "meta": { + "id": 313, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 62, + "segment": "Мексика" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Хосе де Хесус Годинес Наварро ( 20 января 1997, Гвадалахара, Мексика) — мексиканский футболист, нападающий клуба \"Леон\" и сборной Мексики.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в стране гражданства Хосе Годинеса? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 308, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Ирина Анатольевна Костюченкова?", + "support_text": "Ирина Анатольевна Костюченкова (11 мая 1961, Челябинск) — советская и украинская легкоатлетка, участница Олимпийских игр.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 946, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 946, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 154, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 45, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ирина Анатольевна Костюченкова (11 мая 1961, Челябинск) — советская и украинская легкоатлетка, участница Олимпийских игр.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Ирина Анатольевна Костюченкова? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 358, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Алексей Дюмин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Иван Сергеевич Дорохин?", + "support_text": "Иван Сергеевич Дорохин (1909—1984) — капитан Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nИван Дорохин родился 19 января 1909 года в селе Гати (ныне — Венёвский район Тульской области) в семье крестьянина. С 1926 года проживал в Москве.", + "text": "Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров. Наибольшая протяженность территории области с севера на юг - 200 километров, с запада на восток - 190 километров. Административный центр области - город Тула.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 492, + "segment": "Алексей Дюмин" + } + ], + "meta": { + "id": 563, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 241, + "segment": "Тульской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иван Сергеевич Дорохин (1909—1984) — капитан Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nИван Дорохин родился 19 января 1909 года в селе Гати (ныне — Венёвский район Тульской области) в семье крестьянина. С 1926 года проживал в Москве.\nТекст 2: Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров. Наибольшая протяженность территории области с севера на юг - 200 километров, с запада на восток - 190 километров. Административный центр области - город Тула.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Иван Сергеевич Дорохин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3333333333333333, + "em": 0 + }, + "predict": " Мариупольский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Вячеслав Ворон?", + "support_text": "Вячеслав Ворон (настоящее имя: Вячеслав Борисович Чёрный, родился 21 октября 1967, Мариуполь) — украинский певец, автор-исполнитель русского шансона, музыкальный продюсер, клипмейкер. Автор более 60 песен в стиле шансон и дворовой романтики.\n\nБиография.\nРодился 21 октября 1967 года в городе Мариуполь, что на Украине. Учился в Средней Школе № 4 г. Мариуполя. В 9 лет начал обучаться в музыкальной студии по классу аккордеона.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 457, + "segment": "Донецкого областного совета" + }, + { + "label": "passage", + "length": 27, + "offset": 457, + "segment": "Донецкий областной совет" + } + ], + "meta": { + "id": 300, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 83, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вячеслав Ворон (настоящее имя: Вячеслав Борисович Чёрный, родился 21 октября 1967, Мариуполь) — украинский певец, автор-исполнитель русского шансона, музыкальный продюсер, клипмейкер. Автор более 60 песен в стиле шансон и дворовой романтики.\n\nБиография.\nРодился 21 октября 1967 года в городе Мариуполь, что на Украине. Учился в Средней Школе № 4 г. Мариуполя. В 9 лет начал обучаться в музыкальной студии по классу аккордеона.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Вячеслав Ворон? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 399, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " город рождения Ивана Ивановича Луцкевича находится на территории Ковенской губернии, которая в настоящее время является частью современной Республики Литва.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы находится город рождения Ивана Ивановича Луцкевича?", + "support_text": "Иван Иванович Луцкевич ( , Шавли, Ковенская губерния, Российская империя — 20 августа 1919, Закопане, Польша) — известный белорусский деятель, археолог, брат Антона Луцкевича. Братья Луцкевичи были издателями газеты \"Наша Ніва\".", + "text": "Шяуляй ( , до 1917 года — Шавли, Шавель) — город на севере Литвы, четвёртый по количеству жителей; административный центр Шяуляйского уезда и Шяуляйского района. Крупный промышленный и культурный центр. В городе находятся Шяуляйский университет, Шяуляйский Драматический театр, несколько музеев, в том числе Музей велосипедов, Музей фотографии, Музей радио и телевидения, Музей кошек и краеведческий музей \"Аушра\". Исторический центр города включен в Регистр культурных ценностей Литовской Республики, охраняется государством." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 142, + "segment": "Шяуляйского района" + }, + { + "label": "passage", + "length": 18, + "offset": 142, + "segment": "Шяуляйского уезда" + } + ], + "meta": { + "id": 922, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 27, + "segment": "Шавли" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: На территории какой административно-территориальной единицы находится город рождения Ивана Ивановича Луцкевича?\nТекст 1: Иван Иванович Луцкевич ( , Шавли, Ковенская губерния, Российская империя — 20 августа 1919, Закопане, Польша) — известный белорусский деятель, археолог, брат Антона Луцкевича. Братья Луцкевичи были издателями газеты \"Наша Ніва\".\nТекст 2: Шяуляй ( , до 1917 года — Шавли, Шавель) — город на севере Литвы, четвёртый по количеству жителей; административный центр Шяуляйского уезда и Шяуляйского района. Крупный промышленный и культурный центр. В городе находятся Шяуляйский университет, Шяуляйский Драматический театр, несколько музеев, в том числе Музей велосипедов, Музей фотографии, Музей радио и телевидения, Музей кошек и краеведческий музей \"Аушра\". Исторический центр города включен в Регистр культурных ценностей Литовской Республики, охраняется государством.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Оленёк.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Куойка?", + "support_text": "Куойка — река в Оленёкском районе Якутии, левый приток реки Оленёк. Протекает по Северо-Сибирской низменности. Длина реки — 294 км, площадь водосборного бассейна — 4750 кв км. Замерзает в начале октября и остаётся под ледяным покровом до мая.", + "text": "Оленёк — река в России в Восточной Сибири, берёт начало на территории Красноярского края, затем течёт по Якутии. Одна из самых длинных рек России. Судоходна на 92 км от устья.\n\nГеография.\nСлева. Протекает в северной части Среднесибирского плоскогорья и по Северо-Сибирской низменности. При впадении в Оленёкский залив моря Лаптевых образует дельту площадью 475 кв км. Длина реки — 2270 км, площадь водосборного бассейна — 219 тысяч кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 304, + "segment": "Оленёкский залив" + } + ], + "meta": { + "id": 266, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 16, + "segment": "Оленёк" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Куойка — река в Оленёкском районе Якутии, левый приток реки Оленёк. Протекает по Северо-Сибирской низменности. Длина реки — 294 км, площадь водосборного бассейна — 4750 кв км. Замерзает в начале октября и остаётся под ледяным покровом до мая.\nТекст 2: Оленёк — река в России в Восточной Сибири, берёт начало на территории Красноярского края, затем течёт по Якутии. Одна из самых длинных рек России. Судоходна на 92 км от устья.\n\nГеография.\nСлева. Протекает в северной части Среднесибирского плоскогорья и по Северо-Сибирской низменности. При впадении в Оленёкский залив моря Лаптевых образует дельту площадью 475 кв км. Длина реки — 2270 км, площадь водосборного бассейна — 219 тысяч кв км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Куойка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 254, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Виктор Николаевич Задков?", + "support_text": "Виктор Николаевич Задков (родился 15 августа 1958 года в Челябинске, СССР) – советский, российский физик, специалист по лазерной физике и нелинейной оптике, лазерно-индуцированной динамике молекул, физике квантовой информации и нанофотонике. Директор института спектроскопии РАН (с 2015 г.), профессор физического факультета МГУ им. М.В. Ломоносова (с 2015 г.), зав. кафедрой квантовой оптики и нанофотоники Факультета физики НИУ Высшая Школа Экономики (с 2016 г.).\n\nСемья.\nМать – Задкова Любовь Викторовна, в девичестве Кирчикова (21.01.1932, Копейск, Россия — 30.01.1996, Челябинск, Россия), инженер. Отец – Задков Николай Степанович (12.12.1926, станция Чусовская, Россия — 26.09.1988, Челябинск, Россия), инженер. Жена – Холодняк Александра Анатольевна (25.03.1966, Москва, Россия — 02.03.2014, Балтимор, США), экономист.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1190, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1190, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 179, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 57, + "segment": "Челябинске" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Виктор Николаевич Задков (родился 15 августа 1958 года в Челябинске, СССР) – советский, российский физик, специалист по лазерной физике и нелинейной оптике, лазерно-индуцированной динамике молекул, физике квантовой информации и нанофотонике. Директор института спектроскопии РАН (с 2015 г.), профессор физического факультета МГУ им. М.В. Ломоносова (с 2015 г.), зав. кафедрой квантовой оптики и нанофотоники Факультета физики НИУ Высшая Школа Экономики (с 2016 г.).\n\nСемья.\nМать – Задкова Любовь Викторовна, в девичестве Кирчикова (21.01.1932, Копейск, Россия — 30.01.1996, Челябинск, Россия), инженер. Отец – Задков Николай Степанович (12.12.1926, станция Чусовская, Россия — 26.09.1988, Челябинск, Россия), инженер. Жена – Холодняк Александра Анатольевна (25.03.1966, Москва, Россия — 02.03.2014, Балтимор, США), экономист.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Виктор Николаевич Задков? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 628, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Алексей Григорьевич Фёдоров?", + "support_text": "Алексей Григорьевич Фёдоров (10 марта 1911 года, Казань, Российская империя — после 1985 года, СССР) — советский военный деятель, лётчик, историк, мемуарист, полковник (12.04.1942), .\n\nБиография.\nРодился 10 марта 1911 года в городе Казань, ныне в Российской Федерации. Русский. Умер 29 июля 1990 г. в Москве. До службы в армии работал на военном заводе № 40 имени Ленина в городе Казань, С 8 июля по 12 декабря 1929 года учился в Объединенной военной авиашколе летчиков и техников в городе Вольск, затем был направлен на военный завод № 42 в городе Куйбышев.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 620, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 467, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Алексей Григорьевич Фёдоров (10 марта 1911 года, Казань, Российская империя — после 1985 года, СССР) — советский военный деятель, лётчик, историк, мемуарист, полковник (12.04.1942), .\n\nБиография.\nРодился 10 марта 1911 года в городе Казань, ныне в Российской Федерации. Русский. Умер 29 июля 1990 г. в Москве. До службы в армии работал на военном заводе № 40 имени Ленина в городе Казань, С 8 июля по 12 декабря 1929 года учился в Объединенной военной авиашколе летчиков и техников в городе Вольск, затем был направлен на военный завод № 42 в городе Куйбышев.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Алексей Григорьевич Фёдоров? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 364, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Хитка впадает в реку Песочню, приток Волги.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Хитка?", + "support_text": "Хитка — река в России, протекает по территории Селижаровского района Тверской области. Впадает в реку Песочню (приток Волги) в 32 км от её устья по правому берегу. Длина реки — 10 км.", + "text": "Песочня — река в России, протекает в Селижаровском районе Тверской области. Устье реки находится в 3413 км по правому берегу реки Волга. Длина реки составляет 65 км, площадь водосборного бассейна — 860 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Волга от Верхневолжского бейшлота до города Зубцов, без реки Вазуза от истока до Зубцовского гидроузла, речной подбассейн реки — бассейны притоков (Верхней) Волги до Рыбинского водохранилища. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 08010100412110000000236." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 130, + "segment": "Волга" + }, + { + "label": "passage", + "length": 5, + "offset": 130, + "segment": "Волгу" + } + ], + "meta": { + "id": 356, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 102, + "segment": "Песочню" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Хитка?\nТекст 1: Хитка — река в России, протекает по территории Селижаровского района Тверской области. Впадает в реку Песочню (приток Волги) в 32 км от её устья по правому берегу. Длина реки — 10 км.\nТекст 2: Песочня — река в России, протекает в Селижаровском районе Тверской области. Устье реки находится в 3413 км по правому берегу реки Волга. Длина реки составляет 65 км, площадь водосборного бассейна — 860 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Волга от Верхневолжского бейшлота до города Зубцов, без реки Вазуза от истока до Зубцовского гидроузла, речной подбассейн реки — бассейны притоков (Верхней) Волги до Рыбинского водохранилища. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 08010100412110000000236.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 316, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Тарон Генрихович Восканян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Тарон Генрихович Восканян?", + "support_text": "Тарон Генрихович Восканян ( 22 февраля 1993, Ереван, Армения) — армянский футболист, защитник клуба \"Алашкерт\" и национальной сборной Армении.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 63, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Тарон Генрихович Восканян ( 22 февраля 1993, Ереван, Армения) — армянский футболист, защитник клуба \"Алашкерт\" и национальной сборной Армении.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Как называется законодательный орган города, где родился Тарон Генрихович Восканян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.21052631578947367, + "em": 0 + }, + "predict": " Семён Яковлевич Вольфсон родился в Бобруйске, и в городе, где он родился, главой администрации является Александр Студнев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Семён Яковлевич Вольфсон?", + "support_text": "Семён Яковлевич Вольфсон ( 1894, Бобруйск — 1941, Минск) — советский философ и социолог, академик АН БССР (1928).", + "text": "Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\nПредседателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 660, + "segment": "Александр Студнев" + } + ], + "meta": { + "id": 216, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 34, + "segment": "Бобруйск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Семён Яковлевич Вольфсон ( 1894, Бобруйск — 1941, Минск) — советский философ и социолог, академик АН БССР (1928).\nТекст 2: Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\nПредседателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев.\nВопрос: Кто является главой администрации в городе, где родился Семён Яковлевич Вольфсон?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лок сабха", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Сону Нигам?", + "support_text": "Сону Нигам ( ; род. 30 июля 1973 года, Нью-Дели, Индия) — индийский закадровый певец, чей голос звучит преимущественно в фильмах на хинди (Болливуд). Также записал несколько песен для фильмов на каннада, малаялам, маратхи, панджаби, телугу, тамильском языке и фильмов Пакистана на урду.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 840, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 840, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 774, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 58, + "segment": "индийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сону Нигам ( ; род. 30 июля 1973 года, Нью-Дели, Индия) — индийский закадровый певец, чей голос звучит преимущественно в фильмах на хинди (Болливуд). Также записал несколько песен для фильмов на каннада, малаялам, маратхи, панджаби, телугу, тамильском языке и фильмов Пакистана на урду.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Сону Нигам? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 535, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Руслан Николаевич Кухарук является главой администрации в городе Тюмени, где умер Зиновий Биртман.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Зиновий Биртман?", + "support_text": "Зиновий Биртман — музыкальная мистификация, появившаяся в 2014 (первые видео на Youtube-канале появились в это время) году и ставшая основой для группы \"Биртман\": вымышленный советский автор-исполнитель.\n\nБиография.\nСогласно легенде, Зиновий Аркадьевич Биртман родился 12 ноября 1934 года в семье работника НКВД Аркадия Леонидовича Биртмана и преподавателя женской гимназии Нины Иосифовны Струцовской. После войны и развода родителей остался в Тюмени с матерью. Самостоятельно овладел игрой на семиструнной гитаре. Был дважды женат, есть сын Дмитрий. В 1979 году записал альбом \"Следы от компота\" вместе с городскими музыкантами ВИА \"Добрый Вечер\". Оставил также несколько рассказов. Умер 13 февраля 1981 года при трагических обстоятельствах в одном из районов Тюмени.", + "text": "Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре.\n\nАдминистративное деление.\nЗемли особо охраняемых территорий и объектов 61 га (0,1 %). Органы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 481, + "segment": "Руслан Николаевич Кухарук" + } + ], + "meta": { + "id": 942, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 447, + "segment": "Тюмени" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где умер Зиновий Биртман?\nТекст 1: Зиновий Биртман — музыкальная мистификация, появившаяся в 2014 (первые видео на Youtube-канале появились в это время) году и ставшая основой для группы \"Биртман\": вымышленный советский автор-исполнитель.\n\nБиография.\nСогласно легенде, Зиновий Аркадьевич Биртман родился 12 ноября 1934 года в семье работника НКВД Аркадия Леонидовича Биртмана и преподавателя женской гимназии Нины Иосифовны Струцовской. После войны и развода родителей остался в Тюмени с матерью. Самостоятельно овладел игрой на семиструнной гитаре. Был дважды женат, есть сын Дмитрий. В 1979 году записал альбом \"Следы от компота\" вместе с городскими музыкантами ВИА \"Добрый Вечер\". Оставил также несколько рассказов. Умер 13 февраля 1981 года при трагических обстоятельствах в одном из районов Тюмени.\nТекст 2: Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре.\n\nАдминистративное деление.\nЗемли особо охраняемых территорий и объектов 61 га (0,1 %). Органы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 393, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Холуйца.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Холуйца?", + "support_text": "Холуйца — река в Усвятском районе Псковской области и частично (верховье) в Велижском районе Смоленской области, левый приток реки Усвяча (бассейн Западной Двины). Длина реки составляет около 31 км. Исток реки находится в болотистой местности (Логуновский Мох) в Смоленской области, в районе ж.д. станции Полонея (верховье Холуйцы называется \"Полынейка\") и нежилой деревни Логуны (к юго-западу от деревни Логово). Течёт сперва на северо-восток и север, вдоль границы с Псковской областью, вступив на которую, продолжает течение на север в Усвятском районе (по границе с Куньинским районом, затем в самом Куньинском районе Псковской области), протекая через озеро Немыкля, затем меняет направление с северного на западное и, вступив вновь в Усвятский район, впадает в реку Усвяча у деревни Заголодье. Прибрежная деревня: Заголодье в составе Церковищенской волости Усвятского района.", + "text": "Усвяча — река в Псковской и Витебской области, правый приток Западной Двины. Длина реки составляет 100 км (на территории Белоруссии — 31 км). Площадь водосборного бассейна — 2340 кв км. Средний расход воды — 15,9 м³/с. Уклон реки — 0,15 м/км. Исток реки находится на территории Куньинского района Псковской области к юго-востоку от Усмынского озера, из которого вытекает и течёт на север, протекая через озёра Городно, Милицино, Озерон, после которых поворачивает на запад, затем на юг и протекает через озеро Ордосно, затем, в Усвятском районе Псковской области, через озёра Сорочино и Усвятское. Впадает в Западную Двину на территории Витебского района Витебской области в 3 км от Суража. Озёрность — 6 % (крупнейшие озёра Усвятское, Усмынь, Ордосно, Тиосто, Узмень). Густота речной сети 0,37 км/кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 61, + "segment": "Западной Двины" + }, + { + "label": "passage", + "length": 14, + "offset": 608, + "segment": "Западную Двину" + }, + { + "label": "passage", + "length": 14, + "offset": 61, + "segment": "Западная Двина" + } + ], + "meta": { + "id": 738, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 131, + "segment": "Усвяча" + }, + { + "label": "passage", + "length": 6, + "offset": 772, + "segment": "Усвяча" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Холуйца?\nТекст 1: Холуйца — река в Усвятском районе Псковской области и частично (верховье) в Велижском районе Смоленской области, левый приток реки Усвяча (бассейн Западной Двины). Длина реки составляет около 31 км. Исток реки находится в болотистой местности (Логуновский Мох) в Смоленской области, в районе ж.д. станции Полонея (верховье Холуйцы называется \"Полынейка\") и нежилой деревни Логуны (к юго-западу от деревни Логово). Течёт сперва на северо-восток и север, вдоль границы с Псковской областью, вступив на которую, продолжает течение на север в Усвятском районе (по границе с Куньинским районом, затем в самом Куньинском районе Псковской области), протекая через озеро Немыкля, затем меняет направление с северного на западное и, вступив вновь в Усвятский район, впадает в реку Усвяча у деревни Заголодье. Прибрежная деревня: Заголодье в составе Церковищенской волости Усвятского района.\nТекст 2: Усвяча — река в Псковской и Витебской области, правый приток Западной Двины. Длина реки составляет 100 км (на территории Белоруссии — 31 км). Площадь водосборного бассейна — 2340 кв км. Средний расход воды — 15,9 м³/с. Уклон реки — 0,15 м/км. Исток реки находится на территории Куньинского района Псковской области к юго-востоку от Усмынского озера, из которого вытекает и течёт на север, протекая через озёра Городно, Милицино, Озерон, после которых поворачивает на запад, затем на юг и протекает через озеро Ордосно, затем, в Усвятском районе Псковской области, через озёра Сорочино и Усвятское. Впадает в Западную Двину на территории Витебского района Витебской области в 3 км от Суража. Озёрность — 6 % (крупнейшие озёра Усвятское, Усмынь, Ордосно, Тиосто, Узмень). Густота речной сети 0,37 км/кв км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 512, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Авилов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Пётр Алексеевич Дегтярёв?", + "support_text": "Пётр Алексеевич Дегтярёв (18 октября 1903, город Тула, Российская империя — 14 сентября 1985, Москва, СССР) — советский военачальник, генерал-лейтенант артиллерии (28.09.1943). Один из организаторов гвардейских миномётных частей и Ракетных войск стратегического назначения.\n\nБиография.\nНачальная биография. Родился 18 октября 1903 года в городе Туле, в рабочей семье. В 1924 году вступил ВКП(б).", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 242, + "segment": "Евгений Авилов" + } + ], + "meta": { + "id": 532, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 50, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пётр Алексеевич Дегтярёв (18 октября 1903, город Тула, Российская империя — 14 сентября 1985, Москва, СССР) — советский военачальник, генерал-лейтенант артиллерии (28.09.1943). Один из организаторов гвардейских миномётных частей и Ракетных войск стратегического назначения.\n\nБиография.\nНачальная биография. Родился 18 октября 1903 года в городе Туле, в рабочей семье. В 1924 году вступил ВКП(б).\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Пётр Алексеевич Дегтярёв? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 407, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Григорий Вачеевич Меликсетян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Григор Вачеевич Меликсетян?", + "support_text": "Григорий Вачеевич Меликсетян ( 18 августа 1986, Ереван, Армянская ССР, СССР) — армянский футболист, вратарь клуба \"Гандзасар\" (Капан).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 46, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 49, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Григорий Вачеевич Меликсетян ( 18 августа 1986, Ереван, Армянская ССР, СССР) — армянский футболист, вратарь клуба \"Гандзасар\" (Капан).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Как называется законодательный орган города, где родился Григор Вачеевич Меликсетян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.125, + "em": 0 + }, + "predict": " Слободско-Украинская губерния. \n\nДмитрий Петрович Боткин умер 26 мая 1889 года в семейном имении Тихий Хутор Волчанского уезда Харьковской губернии. В 1835 году была образована Харьковская губерния, которая просуществовала до 1925", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая губерния раньше была на территории губернии, где умер Дмитрий Петрович Боткин?", + "support_text": "Дмитрий Петрович Боткин ( Москва — Харьковская губерния) — предприниматель, коллекционер, потомственный почётный гражданин. Совладелец чаеторговой фирмы \"Петра Боткина сыновья\". Председатель Московского общества любителей художеств (1877—1888), член Московского художественного общества, почётный член петербургской Академии художеств.\n\nБиография.\nЕщё имелись работы В. Г. Перова (\"Учитель рисования\"), Ф. А. Васильева (\"После грозы\"), В. В. Верещагина, В. Д. Поленова, А. А. Риццони, А. А. Харламова и А. П. Боголюбова. Принимал участие в открытии в Химках Арнольдовского училища для глухонемых; был членом попечительского совета Александровского коммерческого училища. Скончался 26 мая 1889 года в семейном имении Тихий Хутор Волчанского уезда Харьковской губернии. Был похоронен на кладбище московского Покровского монастыря (могила не сохранилась).", + "text": "Харьковская губерния — губерния Российской империи в XVIII — начале XX века и Украинской ССР до 1925 года. В 1765—1780 годы существовала Слободско-Украинская губерния, в период с 1780 по 1796 год — Харьковское наместничество, затем, до 1835 года — вновь Слободско-Украинская губерния. И, наконец, в 1835 году была образована Харьковская губерния, просуществовавшая по 1925 год. При каждой реорганизации значительно менялись границы и административное устройство." + }, + "outputs": [ + { + "label": "passage", + "length": 29, + "offset": 137, + "segment": "Слободско-Украинская губерния" + }, + { + "label": "passage", + "length": 29, + "offset": 254, + "segment": "Слободско-Украинская губерния" + } + ], + "meta": { + "id": 658, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 749, + "segment": "Харьковской губернии" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Дмитрий Петрович Боткин ( Москва — Харьковская губерния) — предприниматель, коллекционер, потомственный почётный гражданин. Совладелец чаеторговой фирмы \"Петра Боткина сыновья\". Председатель Московского общества любителей художеств (1877—1888), член Московского художественного общества, почётный член петербургской Академии художеств.\n\nБиография.\nЕщё имелись работы В. Г. Перова (\"Учитель рисования\"), Ф. А. Васильева (\"После грозы\"), В. В. Верещагина, В. Д. Поленова, А. А. Риццони, А. А. Харламова и А. П. Боголюбова. Принимал участие в открытии в Химках Арнольдовского училища для глухонемых; был членом попечительского совета Александровского коммерческого училища. Скончался 26 мая 1889 года в семейном имении Тихий Хутор Волчанского уезда Харьковской губернии. Был похоронен на кладбище московского Покровского монастыря (могила не сохранилась).\nТекст 2: Харьковская губерния — губерния Российской империи в XVIII — начале XX века и Украинской ССР до 1925 года. В 1765—1780 годы существовала Слободско-Украинская губерния, в период с 1780 по 1796 год — Харьковское наместничество, затем, до 1835 года — вновь Слободско-Украинская губерния. И, наконец, в 1835 году была образована Харьковская губерния, просуществовавшая по 1925 год. При каждой реорганизации значительно менялись границы и административное устройство.\nОпираясь на данные тексты, ответьте на вопрос: Какая губерния раньше была на территории губернии, где умер Дмитрий Петрович Боткин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 378, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Человек, который спроектировал Тверской железнодорожный вокзал, работал в Польше.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где работал человек, который спроектировал Тверской железнодорожный вокзал?", + "support_text": "Тверской железнодорожный вокзал (Николаевский; c 1930 по 1990 Калининский) — пассажирский терминал станции Тверь, крупнейший транспортно-пересадочный узел Твери и Тверской области. Годовой пассажиропоток (2018) составил 5 872 452 человека, из них в пригородном сообщении — 5 052 108 человек, в дальнем сообщении — 820 344. Относится к 1 классу.\n\nАрхитектура.\nНиколаевский вокзал. Вокзал был спроектирован академиком архитектуры Р. А. Желязевичем, построен инженерами Корпуса путей сообщения Волковым, Кенигом, Кирхнером, Вержбовским, Штукенбергом и другими. Строительные работы велись под руководством Н. О. Крафта.", + "text": "Рудольф Андреевич Желязевич ( 1811—1874) — российский архитектор польского происхождения, специалист по строительным конструкциям, академик и профессор Императорской Академии художеств.\n\nБиография.\nУчился за границей. В 1842 году Академией художеств присвоено звание академика, в 1845 году — звание профессора 2 степени Академии художеств за программу \"Проект православной церкви в византийском вкусе\". Работал в Польше." + }, + "outputs": [ + { + "label": "answer", + "length": 6, + "offset": 417, + "segment": "Польше" + } + ], + "meta": { + "id": 819, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 431, + "segment": "Р. А. Желязевичем" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Где работал человек, который спроектировал Тверской железнодорожный вокзал?\nТекст 1: Тверской железнодорожный вокзал (Николаевский; c 1930 по 1990 Калининский) — пассажирский терминал станции Тверь, крупнейший транспортно-пересадочный узел Твери и Тверской области. Годовой пассажиропоток (2018) составил 5 872 452 человека, из них в пригородном сообщении — 5 052 108 человек, в дальнем сообщении — 820 344. Относится к 1 классу.\n\nАрхитектура.\nНиколаевский вокзал. Вокзал был спроектирован академиком архитектуры Р. А. Желязевичем, построен инженерами Корпуса путей сообщения Волковым, Кенигом, Кирхнером, Вержбовским, Штукенбергом и другими. Строительные работы велись под руководством Н. О. Крафта.\nТекст 2: Рудольф Андреевич Желязевич ( 1811—1874) — российский архитектор польского происхождения, специалист по строительным конструкциям, академик и профессор Императорской Академии художеств.\n\nБиография.\nУчился за границей. В 1842 году Академией художеств присвоено звание академика, в 1845 году — звание профессора 2 степени Академии художеств за программу \"Проект православной церкви в византийском вкусе\". Работал в Польше.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 324, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Семиотика", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что изучает наука, которой посвятила себя Роберта Кевельзон?", + "support_text": "Роберта \"Бобби\" Кевельзон ( 4 ноября 1931 г., Фолл-Ривер, штат Массачусетс, США — 28 ноября 1998 г., Уильямсберг, штат Виргиния, США) — американская исследовательница семиотики, специалист по научному наследию Чарльза Пирса, одна из основоположников правовой (юридической) семиотики.", + "text": "Семиотика, или семиология ( < \"знак; признак\") — общая теория, исследующая свойства знаков и знаковых систем. Согласно Ю. М. Лотману, под семиотикой следует понимать науку о коммуникативных системах и знаках, используемых в процессе общения.\n\nСмотрите также.\nНевербальное общение. Проксемика. Семиозис." + }, + "outputs": [ + { + "label": "passage", + "length": 33, + "offset": 76, + "segment": "свойства знаков и знаковых систем" + } + ], + "meta": { + "id": 317, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 168, + "segment": "семиотики" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Роберта \"Бобби\" Кевельзон ( 4 ноября 1931 г., Фолл-Ривер, штат Массачусетс, США — 28 ноября 1998 г., Уильямсберг, штат Виргиния, США) — американская исследовательница семиотики, специалист по научному наследию Чарльза Пирса, одна из основоположников правовой (юридической) семиотики.\nТекст 2: Семиотика, или семиология ( < \"знак; признак\") — общая теория, исследующая свойства знаков и знаковых систем. Согласно Ю. М. Лотману, под семиотикой следует понимать науку о коммуникативных системах и знаках, используемых в процессе общения.\n\nСмотрите также.\nНевербальное общение. Проксемика. Семиозис.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что изучает наука, которой посвятила себя Роберта Кевельзон? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": [ + 48 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ик", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Сурмятка?", + "support_text": "Сурмятка — река в России, протекает в Республике Татарстан. Устье реки находится в 8 км по правому берегу реки Тиргауш. Длина реки составляет 11 км, площадь водосборного бассейна 27,9 кв км.", + "text": "Тиргауш — река в России, протекает по Татарстану. Устье реки находится в 46 км по левому берегу реки Ик. Длина реки составляет 20 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ик от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 2, + "offset": 101, + "segment": "Ик" + } + ], + "meta": { + "id": 826, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 111, + "segment": "Тиргауш" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сурмятка — река в России, протекает в Республике Татарстан. Устье реки находится в 8 км по правому берегу реки Тиргауш. Длина реки составляет 11 км, площадь водосборного бассейна 27,9 кв км.\nТекст 2: Тиргауш — река в России, протекает по Татарстану. Устье реки находится в 46 км по левому берегу реки Ик. Длина реки составляет 20 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ик от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Сурмятка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": [ + 48 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Президент.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимает глава государства в стране, гражданином которой был Френсис Чек?", + "support_text": "Френсис Чек ( 15 апреля 1982 Дар-эс-Салам, Танзания) — танзанийский боксёр, выступающий в средней и во второй средней весовых категориях.", + "text": "Объединённая Республика Танзания ( , или ) — государство в Восточной Африке. Входит в Содружество наций. На севере граничит с Кенией и Угандой, на западе — с Руандой, Бурунди и Демократической Республикой Конго, а на юге — с Замбией, Малави и Мозамбиком.\n\nПолитическая структура.\nРеспублика. Глава государства и глава правительства — президент, избираемый населением на 5-летний срок, с возможностью второго срока подряд. 14 декабря 2005 на президентских выборах победу одержал кандидат от правящей Революционной партии, глава МИД Танзании Джакайя Киквете, набрав более 80 % голосов. Его основным соперником был Ибрагим Липумба, кандидат от оппозиционного Гражданского объединённого фронта. В 2015 году Джакайю Киквете сменил на посту президента Джон Магуфули, также кандидат от правящей партии. Хотя ему пришлось столкнуться с серьёзным вызовом от оппозиционного кандидата Эдварда Ловасса, в выборах, состоявшихся 25 октября 2015 года, Магуфули был объявлен победителем президентской гонки: он получил 58 % голосов. Был приведен к присяге 5 ноября 2015 года. Киквете остался на посту лидера Революционной партии. Парламент — однопалатное Государственное собрание (Бунге), 274 депутата, из которых 232 избираются населением на 5-летний срок, 37 женщин-депутатов назначает лично президент, и 5 депутатов назначаются автономным парламентом Занзибара. Политические партии (по результатам выборов в декабре 2005):. Чама Ча Мапиндузи (Революционная партия) — 206 мест в парламенте. Гражданский Объединённый Фронт — 19 мест." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 339, + "segment": "президент" + }, + { + "label": "passage", + "length": 9, + "offset": 339, + "segment": "Президент" + } + ], + "meta": { + "id": 450, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 44, + "segment": "Танзания" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Френсис Чек ( 15 апреля 1982 Дар-эс-Салам, Танзания) — танзанийский боксёр, выступающий в средней и во второй средней весовых категориях.\nТекст 2: Объединённая Республика Танзания ( , или ) — государство в Восточной Африке. Входит в Содружество наций. На севере граничит с Кенией и Угандой, на западе — с Руандой, Бурунди и Демократической Республикой Конго, а на юге — с Замбией, Малави и Мозамбиком.\n\nПолитическая структура.\nРеспублика. Глава государства и глава правительства — президент, избираемый населением на 5-летний срок, с возможностью второго срока подряд. 14 декабря 2005 на президентских выборах победу одержал кандидат от правящей Революционной партии, глава МИД Танзании Джакайя Киквете, набрав более 80 % голосов. Его основным соперником был Ибрагим Липумба, кандидат от оппозиционного Гражданского объединённого фронта. В 2015 году Джакайю Киквете сменил на посту президента Джон Магуфули, также кандидат от правящей партии. Хотя ему пришлось столкнуться с серьёзным вызовом от оппозиционного кандидата Эдварда Ловасса, в выборах, состоявшихся 25 октября 2015 года, Магуфули был объявлен победителем президентской гонки: он получил 58 % голосов. Был приведен к присяге 5 ноября 2015 года. Киквете остался на посту лидера Революционной партии. Парламент — однопалатное Государственное собрание (Бунге), 274 депутата, из которых 232 избираются населением на 5-летний срок, 37 женщин-депутатов назначает лично президент, и 5 депутатов назначаются автономным парламентом Занзибара. Политические партии (по результатам выборов в декабре 2005):. Чама Ча Мапиндузи (Революционная партия) — 206 мест в парламенте. Гражданский Объединённый Фронт — 19 мест.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимает глава государства в стране, гражданином которой был Френсис Чек?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 503, + "generated_len": [ + 48 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Александр Сергеевич Зацепин родился в Новосибирске, СССР.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который написал музыку к фильму \"Тайна третьей планеты\"?", + "support_text": "'Тайна третьей планеты' — советский полнометражный научно-фантастический мультфильм Романа Качанова, экранизация повести Кира Булычёва 'Путешествие Алисы' ('Алиса и три капитана') из цикла 'Приключения Алисы'.\n\nСъёмки.\nИзначально Роман Качанов планировал сделать мультфильм в технологии 'Эклер' (записанные движения реальных людей перерисовываются на бумагу). Но вскоре от этой идеи отказались, и решили сделать мультфильм в традиционной анимации. При производстве мультфильма первоначально были записаны голоса актёров, после чего мультипликаторы, используя фонограмму, разработали жесты и движения персонажей. Музыку для фильма написал Александр Зацепин. Производство картины продолжалось четыре года.\n\nСъёмочная группа.\nАвтор сценария: 'Кир Булычёв'. Режиссёр: 'Роман Качанов'. Художник-постановщик: 'Наталья Орлова'. Операторы: 'Теодор Бунимович, Светлана Кащеева'. Композитор: 'Александр Зацепин'. Звукооператор: 'Борис Фильчиков'.", + "text": "Александр Сергеевич Зацепин (род. 10 марта 1926, Новосибирск, СССР) — советский и российский композитор, народный артист России (2003). Получил всенародную известность как автор музыки ко многим знаменитым фильмам, в том числе почти ко всем фильмам Леонида Гайдая." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 49, + "segment": "Новосибирск" + } + ], + "meta": { + "id": 812, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 641, + "segment": "Александр Зацепин" + }, + { + "label": "passage", + "length": 17, + "offset": 889, + "segment": "Александр Зацепин" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: 'Тайна третьей планеты' — советский полнометражный научно-фантастический мультфильм Романа Качанова, экранизация повести Кира Булычёва 'Путешествие Алисы' ('Алиса и три капитана') из цикла 'Приключения Алисы'.\n\nСъёмки.\nИзначально Роман Качанов планировал сделать мультфильм в технологии 'Эклер' (записанные движения реальных людей перерисовываются на бумагу). Но вскоре от этой идеи отказались, и решили сделать мультфильм в традиционной анимации. При производстве мультфильма первоначально были записаны голоса актёров, после чего мультипликаторы, используя фонограмму, разработали жесты и движения персонажей. Музыку для фильма написал Александр Зацепин. Производство картины продолжалось четыре года.\n\nСъёмочная группа.\nАвтор сценария: 'Кир Булычёв'. Режиссёр: 'Роман Качанов'. Художник-постановщик: 'Наталья Орлова'. Операторы: 'Теодор Бунимович, Светлана Кащеева'. Композитор: 'Александр Зацепин'. Звукооператор: 'Борис Фильчиков'.\nТекст 2: Александр Сергеевич Зацепин (род. 10 марта 1926, Новосибирск, СССР) — советский и российский композитор, народный артист России (2003). Получил всенародную известность как автор музыки ко многим знаменитым фильмам, в том числе почти ко всем фильмам Леонида Гайдая.\nОпираясь на данные тексты, ответьте на вопрос: Где родился человек, который написал музыку к фильму \"Тайна третьей планеты\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 328, + "generated_len": [ + 48 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23076923076923078, + "em": 0 + }, + "predict": " Глава администрации в городе, где умер Лев Борисович Мандельштам, является мэром Казани. С 17 ноября 2005 года мэром Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Лев Борисович Мандельштам?", + "support_text": "Лев Борисович (Лейб Берович) Мандельштам (1838, Ново-Жагоры, Шавельский уезд, Виленская губерния — 21 февраля 1901, Казань) — русский врач-педиатр, инфекционист, учёный-медик и организатор здравоохранения. Родился в Ново-Жагоре Виленской губернии (с 1842 года — Ковенская губерния), в семье Бера Лейзеровича Мандельштама (1815—?) и Ханы Мандельштам (1820—?), одним из пятерых детей.\n\nПубликации.\nК патологии поджелудочной железы в острых инфекционных болезнях. Казань: Типография Казанского университета, 1873. 57 с. Судебно-медицинский случай отравления мышьяком. Казань: Типография Императорского университета, 1881.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 595, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 941, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 116, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Лев Борисович (Лейб Берович) Мандельштам (1838, Ново-Жагоры, Шавельский уезд, Виленская губерния — 21 февраля 1901, Казань) — русский врач-педиатр, инфекционист, учёный-медик и организатор здравоохранения. Родился в Ново-Жагоре Виленской губернии (с 1842 года — Ковенская губерния), в семье Бера Лейзеровича Мандельштама (1815—?) и Ханы Мандельштам (1820—?), одним из пятерых детей.\n\nПубликации.\nК патологии поджелудочной железы в острых инфекционных болезнях. Казань: Типография Казанского университета, 1873. 57 с. Судебно-медицинский случай отравления мышьяком. Казань: Типография Императорского университета, 1881.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nВопрос: Кто является главой администрации в городе, где умер Лев Борисович Мандельштам?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 367, + "generated_len": [ + 48 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родился Фаррух Хукуматович Амонатов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Фаррух Хукуматович Амонатов?", + "support_text": "Фаррух Хукуматович Амонатов ( 13 апреля 1978) — таджикский шахматист и тренер, в настоящее время единственный в Таджикистане международный гроссмейстер (2002). Чемпион Москвы (2004 — в личном зачёте, 2003 — среди клубов в составе команды ОАО \"Вертикаль\"—МТУСИ). В составе команды \"Томск-400\" в 2009 году стал победителем командного чемпионата России. Чемпион Таджикистана 2006.\n\nБиография.\nС шести лет занимается шахматами, первым тренером был Вячеслав Ким. В 1995 году окончил среднюю школу № 20 Душанбе, в 2000 году — МТУСИ. Был чемпионом Азии среди юниоров (1992). В составе сборной Таджикистана девять раз участвовал в олимпиадах: в 1996, 1998, 2002, 2006, 2010, 2012, 2014, 2016 и 2018 гг.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 538, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 501, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Фаррух Хукуматович Амонатов ( 13 апреля 1978) — таджикский шахматист и тренер, в настоящее время единственный в Таджикистане международный гроссмейстер (2002). Чемпион Москвы (2004 — в личном зачёте, 2003 — среди клубов в составе команды ОАО \"Вертикаль\"—МТУСИ). В составе команды \"Томск-400\" в 2009 году стал победителем командного чемпионата России. Чемпион Таджикистана 2006.\n\nБиография.\nС шести лет занимается шахматами, первым тренером был Вячеслав Ким. В 1995 году окончил среднюю школу № 20 Душанбе, в 2000 году — МТУСИ. Был чемпионом Азии среди юниоров (1992). В составе сборной Таджикистана девять раз участвовал в олимпиадах: в 1996, 1998, 2002, 2006, 2010, 2012, 2014, 2016 и 2018 гг.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Фаррух Хукуматович Амонатов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 401, + "generated_len": [ + 48 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Филипп Энгельгард фон Натузиус родился в Альтхальденслебене, что указывает на то, что его брат Герман Энгельгард фон Натузиус также родился в Альтхальденслебене.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Филиппа Энгельгарда фон Натузиуса?", + "support_text": "Филипп Энгельгард фон Натузиус (5 ноября 1815, Альтхальденслебен — 16 августа 1872, Люцерн) — германский публицист и издатель консервативного направления и благотворитель, поэт, брат зоолога Германа Натузиуса и биолога Вильгельма Натузиуса. Его супругой была детская писательница Мария Натузиус, сыновьями — богослов Мартин фон Натузиус и политик Филипп Натузиус-младший.", + "text": "Герман Энгельгард фон Натузиус (9 декабря 1809, Магдебург — 29 июня 1879, Берлин) — германский землевладелец, натуралист, сельскохозяйственный деятель, зоолог, один из пионеров зоотехники в Германии, часто называемый одним из создателей современного животноводства и в особенности овцеводства в этой стране; преподаватель, научный писатель и общественный деятель в области сельского хозяйства.\n\nБиография.\nРодился в богатой семье в городе Магдебурге, вблизи которого находилось его известное по благоустройству имение Гундисбург. Изучал зоологию в Берлине. После завершения обучения в 1835 году стал преуспевающим заводчиком крупного рогатого скота, свиней, лошадей и особенно овец, а также занялся цветоводством; свой практический опыт излагал в научных работах. В 1840 году был за свою научную деятельность возведён в прусское дворянство." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 48, + "segment": "Магдебург" + } + ], + "meta": { + "id": 377, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 191, + "segment": "Германа Натузиуса" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Где родился человек, который был братом Филиппа Энгельгарда фон Натузиуса?\nТекст 1: Филипп Энгельгард фон Натузиус (5 ноября 1815, Альтхальденслебен — 16 августа 1872, Люцерн) — германский публицист и издатель консервативного направления и благотворитель, поэт, брат зоолога Германа Натузиуса и биолога Вильгельма Натузиуса. Его супругой была детская писательница Мария Натузиус, сыновьями — богослов Мартин фон Натузиус и политик Филипп Натузиус-младший.\nТекст 2: Герман Энгельгард фон Натузиус (9 декабря 1809, Магдебург — 29 июня 1879, Берлин) — германский землевладелец, натуралист, сельскохозяйственный деятель, зоолог, один из пионеров зоотехники в Германии, часто называемый одним из создателей современного животноводства и в особенности овцеводства в этой стране; преподаватель, научный писатель и общественный деятель в области сельского хозяйства.\n\nБиография.\nРодился в богатой семье в городе Магдебурге, вблизи которого находилось его известное по благоустройству имение Гундисбург. Изучал зоологию в Берлине. После завершения обучения в 1835 году стал преуспевающим заводчиком крупного рогатого скота, свиней, лошадей и особенно овец, а также занялся цветоводством; свой практический опыт излагал в научных работах. В 1840 году был за свою научную деятельность возведён в прусское дворянство.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 352, + "generated_len": [ + 48 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.24000000000000002, + "em": 0 + }, + "predict": " Глава администрации в регионе, где родился Николай Максимович Фоменко, является Владимир Владимирович Владимиров. Он был избран губернатором Ставропольского края с 2014 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Николай Максимович Фоменко?", + "support_text": "Николай Максимович Фоменко (19 декабря 1923 — 4 мая 2000) — командир батареи 469-го стрелкового полка (150-я Идрицкая стрелковая дивизия, 79-й стрелковый корпус, 3-я ударная армия, 1-й Белорусский фронт), Герой Советского Союза, старший лейтенант. Могила Фоменко на Северном кладбище Ростова-на-Дону.\n\nБиография.\nРодился 19 декабря 1923 года в селе Николина Балка (ныне Петровского района Ставропольского края), в крестьянской семье. В Красной Армии с февраля 1942 года. На фронтах Великой Отечественной войны с августа 1942 года.", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района.\n\nРуководители края.\nГубернаторы. Александр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 406, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 569, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 392, + "segment": "Ставропольского края" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в регионе, где родился Николай Максимович Фоменко?\nТекст 1: Николай Максимович Фоменко (19 декабря 1923 — 4 мая 2000) — командир батареи 469-го стрелкового полка (150-я Идрицкая стрелковая дивизия, 79-й стрелковый корпус, 3-я ударная армия, 1-й Белорусский фронт), Герой Советского Союза, старший лейтенант. Могила Фоменко на Северном кладбище Ростова-на-Дону.\n\nБиография.\nРодился 19 декабря 1923 года в селе Николина Балка (ныне Петровского района Ставропольского края), в крестьянской семье. В Красной Армии с февраля 1942 года. На фронтах Великой Отечественной войны с августа 1942 года.\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района.\n\nРуководители края.\nГубернаторы. Александр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 362, + "generated_len": [ + 48 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Васильевич Маслов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Григорий Иванович Кондратьев?", + "support_text": "Григорий Иванович Кондратьев (21 января 1912 года, д. Вторая Лесная ныне Звениговского района Марий Эл — 14 апреля 1993 года, г. Йошкар-Ола Марий Эл) — советский государственный и партийный деятель.", + "text": "Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск. В 1984 году был награждён орденом Трудового Красного Знамени. Население — 274 715 человек (2020), городского округа \"Город Йошкар-Ола\" — 285 508 человек (2020).\n\nОрганы власти.\nС 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 835, + "segment": "Евгений Васильевич Маслов" + } + ], + "meta": { + "id": 230, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 129, + "segment": "Йошкар-Ола" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Григорий Иванович Кондратьев (21 января 1912 года, д. Вторая Лесная ныне Звениговского района Марий Эл — 14 апреля 1993 года, г. Йошкар-Ола Марий Эл) — советский государственный и партийный деятель.\nТекст 2: Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск. В 1984 году был награждён орденом Трудового Красного Знамени. Население — 274 715 человек (2020), городского округа \"Город Йошкар-Ола\" — 285 508 человек (2020).\n\nОрганы власти.\nС 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где умер Григорий Иванович Кондратьев? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 385, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Монархическая форма правления", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая форма правления была в государстве, гражданином которого являлся Тулишэнь?", + "support_text": "Тулишэнь ( 1667—1741) — маньчжурский чиновник и дипломат империи Цин . Тулишэнь был маньчжуром \"чисто-жёлтого знамени\" и принадлежал к клану Аян Гьоро . В 1712 году, после того, как он проработал на некоторых второстепенных постах в цинском правительстве, император, правивший под девизом \"Канси\", назначил его в цинское посольство к Аюка-хану (годы правления 1673—1724) из торгутов, мигрировавших на нижнее течение реки Волга, где они образовали калмыцкого ханства.", + "text": "Империя Великая Цин, или государство Великая Цин ( \"дайцин гурунь\", ), часто неправильно именуемая как династия Цин, или Маньчжурская династия, — последняя империя, включавшая территорию Китая. Империя Цин существовала на собственно китайских землях с 1644 по 1912 год с краткой реставрацией в 1917 (последняя продлилась всего 11 дней), ей на этих землях предшествовала империя Мин, а сменила её Китайская республика.\n\nПравительство.\nЦинские владыки разделяли военные и гражданские должности, причём и те и другие имели по девять рангов, а каждый ранг делился на категории \"а\" и \"б\". Гражданские назначения подразделялись на виды от ассистента императора в Запретном Городе (высший ранг) до сборщика налогов, тюремщика, полицейского комиссара или экзаменатора. Военные посты ранжировались по иерархической шкале от фельдмаршала или начальника императорской охраны до сержанта третьего класса, капрала и рядовых первого и второго класса. Центральные государственные органы. Всё управление Цинской империей замыкалось на фигуре императора, обладавшего абсолютной властью, который возглавлял шесть советов (министерств, 六部), каждый из которых имел двух президентов и включал четырёх вице-президентов (侍郎) В отличие от порядков, существовавших при империи Мин, политика Цин состояла в том, чтобы важные посты были разделены между маньчжурами и ханьскими администраторами, прошедшими через сито имперских экзаменов. Гранд-Секретариат, являвшийся важным органом, вырабатывавшим политику правительства при империи Мин потерял своё значение и превратился в имперскую канцелярию. Институты, существовавшие ещё во времена Мин сформировали ядро цинского \"внешнего двора\", который занимался рутинными и текущими вопросами и располагался в южной части Запретного города." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 1054, + "segment": "абсолютной властью" + }, + { + "label": "passage", + "length": 18, + "offset": 1054, + "segment": "Абсолютной властью" + } + ], + "meta": { + "id": 440, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 57, + "segment": "империи Цин" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тулишэнь ( 1667—1741) — маньчжурский чиновник и дипломат империи Цин . Тулишэнь был маньчжуром \"чисто-жёлтого знамени\" и принадлежал к клану Аян Гьоро . В 1712 году, после того, как он проработал на некоторых второстепенных постах в цинском правительстве, император, правивший под девизом \"Канси\", назначил его в цинское посольство к Аюка-хану (годы правления 1673—1724) из торгутов, мигрировавших на нижнее течение реки Волга, где они образовали калмыцкого ханства.\nТекст 2: Империя Великая Цин, или государство Великая Цин ( \"дайцин гурунь\", ), часто неправильно именуемая как династия Цин, или Маньчжурская династия, — последняя империя, включавшая территорию Китая. Империя Цин существовала на собственно китайских землях с 1644 по 1912 год с краткой реставрацией в 1917 (последняя продлилась всего 11 дней), ей на этих землях предшествовала империя Мин, а сменила её Китайская республика.\n\nПравительство.\nЦинские владыки разделяли военные и гражданские должности, причём и те и другие имели по девять рангов, а каждый ранг делился на категории \"а\" и \"б\". Гражданские назначения подразделялись на виды от ассистента императора в Запретном Городе (высший ранг) до сборщика налогов, тюремщика, полицейского комиссара или экзаменатора. Военные посты ранжировались по иерархической шкале от фельдмаршала или начальника императорской охраны до сержанта третьего класса, капрала и рядовых первого и второго класса. Центральные государственные органы. Всё управление Цинской империей замыкалось на фигуре императора, обладавшего абсолютной властью, который возглавлял шесть советов (министерств, 六部), каждый из которых имел двух президентов и включал четырёх вице-президентов (侍郎) В отличие от порядков, существовавших при империи Мин, политика Цин состояла в том, чтобы важные посты были разделены между маньчжурами и ханьскими администраторами, прошедшими через сито имперских экзаменов. Гранд-Секретариат, являвшийся важным органом, вырабатывавшим политику правительства при империи Мин потерял своё значение и превратился в имперскую канцелярию. Институты, существовавшие ещё во времена Мин сформировали ядро цинского \"внешнего двора\", который занимался рутинными и текущими вопросами и располагался в южной части Запретного города.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какая форма правления была в государстве, гражданином которого являлся Тулишэнь? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 597, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714285, + "em": 0 + }, + "predict": " Глава администрации в городе, где родилась Наталья Николаевна Платицына, является Рустамом Эмомали.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Наталья Николаевна Платицына?", + "support_text": "Наталья Николаевна Платицына (7 ноября 1961, Душанбе — 22 января 1999, Москва) — советская и российская певица, поэтесса, художник, вокалистка группы \"07\".", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 457, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 45, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родилась Наталья Николаевна Платицына?\nТекст 1: Наталья Николаевна Платицына (7 ноября 1961, Душанбе — 22 января 1999, Москва) — советская и российская певица, поэтесса, художник, вокалистка группы \"07\".\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где умер Семён Карапетович Багдасарян?", + "support_text": "Семён (Симон) Карапетович Багдасарян ( — ) — советский офицер, участник Великой Отечественной войны, Герой Советского Союза.\n\nБиография.\nУказом Президиума Верховного Совета СССР от 24 марта 1945 года за мужество, отвагу и героизм, проявленные в борьбе с немецко-фашистскими захватчиками, лейтенанту Багдасаряну Семёну Карапетовичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали \"Золотая Звезда\" (№ 6499). После окончания Великой Отечественной войны продолжал службы в рядах Красной Армии из которых в звании капитана в 1947 году увольняется в запас. Скончался Семён Карапетович Багдасарян 4 марта 1993 года в городе Ереван.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 325, + "segment": "городским советом" + } + ], + "meta": { + "id": 309, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 647, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Семён (Симон) Карапетович Багдасарян ( — ) — советский офицер, участник Великой Отечественной войны, Герой Советского Союза.\n\nБиография.\nУказом Президиума Верховного Совета СССР от 24 марта 1945 года за мужество, отвагу и героизм, проявленные в борьбе с немецко-фашистскими захватчиками, лейтенанту Багдасаряну Семёну Карапетовичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали \"Золотая Звезда\" (№ 6499). После окончания Великой Отечественной войны продолжал службы в рядах Красной Армии из которых в звании капитана в 1947 году увольняется в запас. Скончался Семён Карапетович Багдасарян 4 марта 1993 года в городе Ереван.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где умер Семён Карапетович Багдасарян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 319, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Вырып", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Малый Вырып?", + "support_text": "Малый Вырып — река в России, течёт по территории Корткеросского района и Усть-Куломского района Республики Коми. Правая составляющая реки Вырып. Длина реки составляет 16 км.", + "text": "Вырып — река в России, течёт по территории Корткеросского района Республики Коми. Образуется слиянием рек Малый Вырып и Большой Вырып. Устье реки находится в 3 км по левому берегу реки Певк. Длина реки составляет 4 км." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 185, + "segment": "Певк" + } + ], + "meta": { + "id": 27, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 6, + "segment": "Вырып" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Малый Вырып — река в России, течёт по территории Корткеросского района и Усть-Куломского района Республики Коми. Правая составляющая реки Вырып. Длина реки составляет 16 км.\nТекст 2: Вырып — река в России, течёт по территории Корткеросского района Республики Коми. Образуется слиянием рек Малый Вырып и Большой Вырып. Устье реки находится в 3 км по левому берегу реки Певк. Длина реки составляет 4 км.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется водоток, в который впадает река, притоком которой является Малый Вырып? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Городская Дума", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Олег Александрович Кондрашов?", + "support_text": "Олег Александрович Кондрашов (род. 23 ноября 1967 года, Горький, РСФСР) — бизнесмен, политический и общественный деятель, с 3 декабря 2010 года по 22 июля 2015 года — глава администрации (сити-менеджер) Нижнего Новгорода. С апреля 2018 года находится в федеральном розыске.\n\nБиография.\nС 1989 года в бизнесе. Первый бизнес-проект в Нижнем Новгороде — сеть коммерческих магазинов \"Кристина\", спортивный магазин \"Арена\". С 1994 года возглавляет группу компаний \"Цезарь\", в состав которой, входили более 20 модных и спортивных магазинов в Москве и Санкт-Петербурге. С 2002 года Председатель Совета директоров группы компаний \"ПИР\", в которую входят более 20 ресторанов Нижнего Новгорода. Решением совета директоров ОАО \"Нижегородская сбытовая компания\" (НСК), со 2 октября 2009 года Олег Кондрашов приступил к исполнению обязанностей генерального директора НСК.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1040, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 793, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 56, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Олег Александрович Кондрашов (род. 23 ноября 1967 года, Горький, РСФСР) — бизнесмен, политический и общественный деятель, с 3 декабря 2010 года по 22 июля 2015 года — глава администрации (сити-менеджер) Нижнего Новгорода. С апреля 2018 года находится в федеральном розыске.\n\nБиография.\nС 1989 года в бизнесе. Первый бизнес-проект в Нижнем Новгороде — сеть коммерческих магазинов \"Кристина\", спортивный магазин \"Арена\". С 1994 года возглавляет группу компаний \"Цезарь\", в состав которой, входили более 20 модных и спортивных магазинов в Москве и Санкт-Петербурге. С 2002 года Председатель Совета директоров группы компаний \"ПИР\", в которую входят более 20 ресторанов Нижнего Новгорода. Решением совета директоров ОАО \"Нижегородская сбытовая компания\" (НСК), со 2 октября 2009 года Олег Кондрашов приступил к исполнению обязанностей генерального директора НСК.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Олег Александрович Кондрашов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 558, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Александр Александрович Котляревский?", + "support_text": "Александр Александрович Котляревский ( , Кременчугский уезд, Полтавская губерния, Российская империя — 29 сентября 1881, Пиза) — русский историк, славист, археолог и этнограф. Член-корреспондент Санкт-Петербургской академии наук. Отец историка Нестора Котляревского.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 477, + "segment": "Император" + }, + { + "label": "passage", + "length": 9, + "offset": 477, + "segment": "Императором" + } + ], + "meta": { + "id": 147, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 82, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Александрович Котляревский ( , Кременчугский уезд, Полтавская губерния, Российская империя — 29 сентября 1881, Пиза) — русский историк, славист, археолог и этнограф. Член-корреспондент Санкт-Петербургской академии наук. Отец историка Нестора Котляревского.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Александр Александрович Котляревский? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Алексей Дюмин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Иван Иванович Чекмазов?", + "support_text": "Иван Иванович Чекмазов (17.08.1915, Тульская область — 07.11.1995) — советский военнослужащий, участник Великой Отечественной войны, полный кавалер ордена Славы, командир миномётного расчёта 148-го гвардейского стрелкового полка, гвардии старший сержант — на момент представления к награждению орденом Славы 1-й степени.\n\nБиография.\nРодился 4 августа 1915 года в деревне Чёрная Грязь Киреевского района Тульской области. Член ВКП/КПСС с 1940 года.", + "text": "Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров. Наибольшая протяженность территории области с севера на юг - 200 километров, с запада на восток - 190 километров. Административный центр области - город Тула.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 492, + "segment": "Алексей Дюмин" + } + ], + "meta": { + "id": 562, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 36, + "segment": "Тульская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иван Иванович Чекмазов (17.08.1915, Тульская область — 07.11.1995) — советский военнослужащий, участник Великой Отечественной войны, полный кавалер ордена Славы, командир миномётного расчёта 148-го гвардейского стрелкового полка, гвардии старший сержант — на момент представления к награждению орденом Славы 1-й степени.\n\nБиография.\nРодился 4 августа 1915 года в деревне Чёрная Грязь Киреевского района Тульской области. Член ВКП/КПСС с 1940 года.\nТекст 2: Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров. Наибольшая протяженность территории области с севера на юг - 200 километров, с запада на восток - 190 километров. Административный центр области - город Тула.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Иван Иванович Чекмазов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 304, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Авилов является главой администрации в городе Тула, где родился Аркадий Семёнович Качко.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Аркадий Семёнович Качко?", + "support_text": "Аркадий Семёнович Качко (1895 год, Тула — 1959 год, Феодосия) — советский деятель образования. Директор (ректор) Уральского индустриального института с 1937 по 1951 год.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 421, + "segment": "Евгений Авилов" + } + ], + "meta": { + "id": 475, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 35, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Аркадий Семёнович Качко?\nТекст 1: Аркадий Семёнович Качко (1895 год, Тула — 1959 год, Феодосия) — советский деятель образования. Директор (ректор) Уральского индустриального института с 1937 по 1951 год.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 384, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Лаша Комахидзе", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Сесиль Дмитриевна Такаишвили?", + "support_text": "Сесиль Дмитриевна Такаишвили ( 1906—1984) — грузинская, советская актриса театра и кино. Народная артистка СССР (1966).\n\nБиография.\nРодилась а (по другим источникам — ) в Батуми (ныне в Аджарии). В 1926 году окончила Тифлисскую драматическую студию под руководством А. Пагавы и с этого же года — актриса Тифлисского театра имени Ш. Руставели. В 1930 — 1967 годах — актриса Тбилисского театра имени К. А. Марджанишвили. В кино дебютировала в 1945 году в фильме \"Строптивые соседи\".", + "text": "Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария.\n\nОрганы власти.\nАслан Смирба — 2000 год. Абашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 358, + "segment": "Лаша Комахидзе" + } + ], + "meta": { + "id": 458, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 175, + "segment": "Батуми" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сесиль Дмитриевна Такаишвили ( 1906—1984) — грузинская, советская актриса театра и кино. Народная артистка СССР (1966).\n\nБиография.\nРодилась а (по другим источникам — ) в Батуми (ныне в Аджарии). В 1926 году окончила Тифлисскую драматическую студию под руководством А. Пагавы и с этого же года — актриса Тифлисского театра имени Ш. Руставели. В 1930 — 1967 годах — актриса Тбилисского театра имени К. А. Марджанишвили. В кино дебютировала в 1945 году в фильме \"Строптивые соседи\".\nТекст 2: Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария.\n\nОрганы власти.\nАслан Смирба — 2000 год. Абашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Сесиль Дмитриевна Такаишвили? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 373, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Тимур Фанилевич Галлямов?", + "support_text": "Тимур Фанилевич Галлямов (13 мая 1980 года, Казань, Татарская АССР, РСФСР, СССР) — российский самбист и дзюдоист, чемпион и призёр чемпионатов России по самбо, чемпион мира по самбо, обладатель Кубка России по самбо, Заслуженный мастер спорта России по самбо, мастер спорта России по дзюдо.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 550, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 947, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 44, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тимур Фанилевич Галлямов (13 мая 1980 года, Казань, Татарская АССР, РСФСР, СССР) — российский самбист и дзюдоист, чемпион и призёр чемпионатов России по самбо, чемпион мира по самбо, обладатель Кубка России по самбо, Заслуженный мастер спорта России по самбо, мастер спорта России по дзюдо.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Тимур Фанилевич Галлямов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 266, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Флавий Либерал занимал должность писца при квесторе, что подразумевало ведение документации и ведение дел в рамках квесторской юрисдикции. В то время как квесторы специализировались в уголовном праве и ведении государственных архивов, их помощники, такие как Флавий Либер", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что находилось в юрисдикции Флавия Либерала в рамках занятого им поста?", + "support_text": "Флавий Либерал — отец Флавии Домициллы Старшей, жены римского императора Веспасиана и дед Тита и Домициана. Флавий Либерал происходил из среднеиталийского города Ферентиум (ныне Ференто) и принадлежал к всадническому сословию. Он занимал скромную должность писца при квесторе. Согласно Светонию, Либерал в судебном порядке добился для Флавии Домициллы Старшей римского гражданства: до этого она имела латинское гражданство.", + "text": "Квестор ( < — буквально \"расспрашивать; расследовать\") — один из римских ординарных магистратов. Были первоначально лишь общими помощниками консулов без какой-либо специальной компетенции. Позже их положение сделалось более самостоятельным: они стали избираться в трибутных комициях и тогда они постепенно стали специализироваться в двух областях — уголовной юрисдикции и заведовании государственной казной и государственным архивом. Однако пока уголовная юрисдикция находилась в руках консулов, квесторы, как их помощники, производили предварительное следствие ()." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 537, + "segment": "предварительное следствие" + } + ], + "meta": { + "id": 318, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 267, + "segment": "квесторе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Флавий Либерал — отец Флавии Домициллы Старшей, жены римского императора Веспасиана и дед Тита и Домициана. Флавий Либерал происходил из среднеиталийского города Ферентиум (ныне Ференто) и принадлежал к всадническому сословию. Он занимал скромную должность писца при квесторе. Согласно Светонию, Либерал в судебном порядке добился для Флавии Домициллы Старшей римского гражданства: до этого она имела латинское гражданство.\nТекст 2: Квестор ( < — буквально \"расспрашивать; расследовать\") — один из римских ординарных магистратов. Были первоначально лишь общими помощниками консулов без какой-либо специальной компетенции. Позже их положение сделалось более самостоятельным: они стали избираться в трибутных комициях и тогда они постепенно стали специализироваться в двух областях — уголовной юрисдикции и заведовании государственной казной и государственным архивом. Однако пока уголовная юрисдикция находилась в руках консулов, квесторы, как их помощники, производили предварительное следствие ().\nВопрос: Что находилось в юрисдикции Флавия Либерала в рамках занятого им поста?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 274, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Елена Фёдоровна Кулагина?", + "support_text": "Елена Фёдоровна Кулагина (род. 17 мая 1964, Челябинск) — советская и российская артистка балета, педагог, народный артист России (1997).", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1131, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1131, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 153, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 44, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Елена Фёдоровна Кулагина (род. 17 мая 1964, Челябинск) — советская и российская артистка балета, педагог, народный артист России (1997).\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родилась Елена Фёдоровна Кулагина? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 408, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Владимирович Мальцев?", + "support_text": "Николай Владимирович Мальцев (1891—1941) — исполняющий обязанности управляющего Центральным архивным управлением СССР и временно исполняющий должность начальника Главного архивного управления (ГАУ) НКВД СССР.\n\nБиография.\nВ 1901 семья переехала в Тюмень. Учился в реальном училище. С 1906 продолжал образование в Казанском реальном училище, где примкнул к социал-демократическому движению. Член РСДРП с 1908, большевик.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 642, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 207, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 315, + "segment": "Казанском" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Владимирович Мальцев (1891—1941) — исполняющий обязанности управляющего Центральным архивным управлением СССР и временно исполняющий должность начальника Главного архивного управления (ГАУ) НКВД СССР.\n\nБиография.\nВ 1901 семья переехала в Тюмень. Учился в реальном училище. С 1906 продолжал образование в Казанском реальном училище, где примкнул к социал-демократическому движению. Член РСДРП с 1908, большевик.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Николай Владимирович Мальцев? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 309, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Мариупольский горсовет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Георгий Михайлович Лесников?", + "support_text": "Георгий Михайлович Лесников (20 февраля 1928, Сатка — 2 июня 1981, Жданов) — советский театральный актёр и режиссёр, заслуженный артист РСФСР.\n\nБиография.\nВ 1959—1969 годах был актёром и режиссёром в Томском драматическом театре. С 1969 года играл в Донецком русском драматическом театре (город Жданов, ныне — Мариуполь). За 30 лет работы на сцене сыграл 186 ролей. Умер 2 июня 1981 года в Жданове. Семья. Вторая жена — актриса Наталья Юргенс (1932—2014), народная артистка Украинской ССР. ** Дочь — актриса Дарья Юргенс (Лесникова; род.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 360, + "segment": "Мариупольским горсоветом" + }, + { + "label": "passage", + "length": 24, + "offset": 360, + "segment": "Мариупольский горсовет" + } + ], + "meta": { + "id": 71, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 67, + "segment": "Жданов" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Георгий Михайлович Лесников (20 февраля 1928, Сатка — 2 июня 1981, Жданов) — советский театральный актёр и режиссёр, заслуженный артист РСФСР.\n\nБиография.\nВ 1959—1969 годах был актёром и режиссёром в Томском драматическом театре. С 1969 года играл в Донецком русском драматическом театре (город Жданов, ныне — Мариуполь). За 30 лет работы на сцене сыграл 186 ролей. Умер 2 июня 1981 года в Жданове. Семья. Вторая жена — актриса Наталья Юргенс (1932—2014), народная артистка Украинской ССР. ** Дочь — актриса Дарья Юргенс (Лесникова; род.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Георгий Михайлович Лесников? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 348, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Евгений Васильевич Маслов является главой администрации в городе Йошкар-Ола, где родился Михаил Петрович Краснов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Михаил Петрович Краснов?", + "support_text": "Михаил Петрович Краснов (2 ноября 1918, Царевококшайск — 10 августа 1998, Санкт-Петербург) — советский флейтист, заслуженный артист РСФСР (1972).", + "text": "Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск. В 1984 году был награждён орденом Трудового Красного Знамени.\n\nОрганы власти.\nГлава городского округа \"Город Йошкар-Ола\" подконтролен и подотчётен населению и городскому Собранию. С 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 838, + "segment": "Евгений Васильевич Маслов" + } + ], + "meta": { + "id": 205, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 40, + "segment": "Царевококшайск" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Михаил Петрович Краснов (2 ноября 1918, Царевококшайск — 10 августа 1998, Санкт-Петербург) — советский флейтист, заслуженный артист РСФСР (1972).\nТекст 2: Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск. В 1984 году был награждён орденом Трудового Красного Знамени.\n\nОрганы власти.\nГлава городского округа \"Город Йошкар-Ола\" подконтролен и подотчётен населению и городскому Собранию. С 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Михаил Петрович Краснов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 344, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Василий Александрович Мельников родился в Мариуполе, который является городом в Донецкой области Украины. В Мариуполе работает Донецкий областной совет, который является законодательным органом местного самоуправления в области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Василий Александрович Мельников?", + "support_text": "Василий Александрович Мельников (1977—2002) — младший сержант, радист-парашютист поисково-спасательного взвода 95-й отдельной аэромобильной бригады, Герой Украины.\n\nБиография.\nРодился 27 апреля 1977 года в г. Мариуполь. Окончил 9 классов в СШ № 11, г. Харькова в 1992 г. Учился в ХМТ им. Морозова. Окончил Харьковский институт физкультуры. Служил в армии, в аэромобильных войсках в г. Болград Одесской области.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 457, + "segment": "Донецкого областного совета" + }, + { + "label": "passage", + "length": 27, + "offset": 457, + "segment": "Донецкий областной совет" + } + ], + "meta": { + "id": 297, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 212, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Василий Александрович Мельников (1977—2002) — младший сержант, радист-парашютист поисково-спасательного взвода 95-й отдельной аэромобильной бригады, Герой Украины.\n\nБиография.\nРодился 27 апреля 1977 года в г. Мариуполь. Окончил 9 классов в СШ № 11, г. Харькова в 1992 г. Учился в ХМТ им. Морозова. Окончил Харьковский институт физкультуры. Служил в армии, в аэромобильных войсках в г. Болград Одесской области.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nВопрос: Что за законодательный орган работает в городе, где родился Василий Александрович Мельников?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 414, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4210526315789474, + "em": 0 + }, + "predict": " Город рождения Финна Лемке находится на территории административной единицы — земли Вольный ганзейский город Бремен.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы находится город рождения Финна Лемке?", + "support_text": "Финн Лемке ( род. 30 апреля 1992, Бремен) — немецкий гандболист, выступает за немецкий клуб МТ Мельзунген и сборную Германии на позиции левого полусреднего.", + "text": "Бремен ( ), — город на северо-западе Германии. Вместе с приморским портом Бремерхафен образует землю Вольный ганзейский город Бремен. C населением 552 тыс. жит.\n\nГеография.\nСправа расположен так называемый \"Сырой треугольник\" — болотистая равнина между устьями Эльбы и Везера. Протяжённость города составляет 38 км в длину и 16 км в ширину. Длина его границ — 136,5 км. Бремен со всех сторон окружён Нижней Саксонией. На западе он граничит с городским округом Дельменхорст (75 672 жителей) и районом Везермарш (93 725 жителей), включающим посёлки Лемвердер, Берне и Эльсфлет, на севере — с районом Остерхольц (112 587 жителей), включающим посёлки Шваневеде, Риттерхуде и Лилиенталь, Дипхольц (215 648 жителей), включающим посёлки Вайхе и Штур. Кроме того, на западе находится город Ольденбург (158 600 жителей), а на севере — город Бремерхафен (116 672 жителей)." + }, + "outputs": [ + { + "label": "passage", + "length": 31, + "offset": 101, + "segment": "Вольный ганзейский город Бремен" + } + ], + "meta": { + "id": 702, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 35, + "segment": "Бремен" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: На территории какой административно-территориальной единицы находится город рождения Финна Лемке?\nТекст 1: Финн Лемке ( род. 30 апреля 1992, Бремен) — немецкий гандболист, выступает за немецкий клуб МТ Мельзунген и сборную Германии на позиции левого полусреднего.\nТекст 2: Бремен ( ), — город на северо-западе Германии. Вместе с приморским портом Бремерхафен образует землю Вольный ганзейский город Бремен. C населением 552 тыс. жит.\n\nГеография.\nСправа расположен так называемый \"Сырой треугольник\" — болотистая равнина между устьями Эльбы и Везера. Протяжённость города составляет 38 км в длину и 16 км в ширину. Длина его границ — 136,5 км. Бремен со всех сторон окружён Нижней Саксонией. На западе он граничит с городским округом Дельменхорст (75 672 жителей) и районом Везермарш (93 725 жителей), включающим посёлки Лемвердер, Берне и Эльсфлет, на севере — с районом Остерхольц (112 587 жителей), включающим посёлки Шваневеде, Риттерхуде и Лилиенталь, Дипхольц (215 648 жителей), включающим посёлки Вайхе и Штур. Кроме того, на западе находится город Ольденбург (158 600 жителей), а на севере — город Бремерхафен (116 672 жителей).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 374, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Аган", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Гунъёган?", + "support_text": "Гунъёган (\"устар.\" Гун-Еган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 72 км по левому берегу реки Ванъёган. Длина реки составляет 50 км, площадь водосборного бассейна 330 кв км.", + "text": "Ванъёган (\"устар.\" Ван-Еган) — река в России, протекает по территории Нижневартовского района Ханты-Мансийского автономного округа. Впадает слева в Аган, в 318 км от его устья. Длина реки — 162 км, площадь её водосборного бассейна — 1660 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 148, + "segment": "Аган" + } + ], + "meta": { + "id": 415, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 132, + "segment": "Ванъёган" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Гунъёган (\"устар.\" Гун-Еган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 72 км по левому берегу реки Ванъёган. Длина реки составляет 50 км, площадь водосборного бассейна 330 кв км.\nТекст 2: Ванъёган (\"устар.\" Ван-Еган) — река в России, протекает по территории Нижневартовского района Ханты-Мансийского автономного округа. Впадает слева в Аган, в 318 км от его устья. Длина реки — 162 км, площадь её водосборного бассейна — 1660 кв км.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Гунъёган?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Варшава", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется населенный пункт, в котором родилась дочь Юлиуша Яноты?", + "support_text": "Юлиуш Янота ( — ) — польский пианист, музыкальный педагог и композитор немецкого происхождения. Был женат на Анне Олещинской, дочери Антония Олещинского; отец пианистки Наталии Яноты. С 1850 г. жил и работал в Польше. В 1859 г. сопровождал Аполлинария Контского во всепольском гастрольном турне по сбору денег на основание Варшавского музыкального института, в котором затем вёл класс фортепиано с основания этого учебного заведения в 1861 г. и до выхода на пенсию в 1879 г. (ему на смену пришёл Павел Шлёцер). Среди учеников Яноты были, в частности, Игнац Падеревский и Юзеф Сливиньский.", + "text": "Мария Цецилия Наталия Янота ( иногда \"Janothówna\"; 8 июня 1856, Варшава, Царство Польское, Российская империя — 9 июня 1932, Гаага) — польская пианистка и композитор. Дочь Юлиуша Яноты." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 64, + "segment": "Варшава" + } + ], + "meta": { + "id": 405, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 171, + "segment": "Наталии Яноты" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Юлиуш Янота ( — ) — польский пианист, музыкальный педагог и композитор немецкого происхождения. Был женат на Анне Олещинской, дочери Антония Олещинского; отец пианистки Наталии Яноты. С 1850 г. жил и работал в Польше. В 1859 г. сопровождал Аполлинария Контского во всепольском гастрольном турне по сбору денег на основание Варшавского музыкального института, в котором затем вёл класс фортепиано с основания этого учебного заведения в 1861 г. и до выхода на пенсию в 1879 г. (ему на смену пришёл Павел Шлёцер). Среди учеников Яноты были, в частности, Игнац Падеревский и Юзеф Сливиньский.\nТекст 2: Мария Цецилия Наталия Янота ( иногда \"Janothówna\"; 8 июня 1856, Варшава, Царство Польское, Российская империя — 9 июня 1932, Гаага) — польская пианистка и композитор. Дочь Юлиуша Яноты.\nОпираясь на данные тексты, ответьте на вопрос: Как называется населенный пункт, в котором родилась дочь Юлиуша Яноты?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Люк Лемонье", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Томас Робертс (архиепископ)?", + "support_text": "Томас Робертс ( 7 марта 1893, Гавр, Франция — 28 февраля 1976) — католический архиепископ, иезуит. Архиепископ Бомбея с 12 августа 1937 по 4 декабря 1950. Титулярный архиепископ Сугдеи с 4 декабря 1950.", + "text": "Гавр ( ) — город и коммуна на севере Франции, в регионе Нормандия, супрефектура в департаменте Сена Приморская. Гаврский порт — один из крупнейших во Франции.\n\nАдминистрация.\nПост мэра Гавра с 2017 года занимает член партии Республиканцы Люк Лемонье (Luc Lemonnier), член Совета департамента Приморская Сена от кантона Гавр-6. Он был избран на этот пост после отставки Эдуара Филиппа (Édouard Philippe) после его назначения премьер-министром Франции. +Муниципальные выборы 2014 года (2 тур). Кандидат. Партия." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 241, + "segment": "Люк Лемонье" + } + ], + "meta": { + "id": 537, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 31, + "segment": "Гавр" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Томас Робертс ( 7 марта 1893, Гавр, Франция — 28 февраля 1976) — католический архиепископ, иезуит. Архиепископ Бомбея с 12 августа 1937 по 4 декабря 1950. Титулярный архиепископ Сугдеи с 4 декабря 1950.\nТекст 2: Гавр ( ) — город и коммуна на севере Франции, в регионе Нормандия, супрефектура в департаменте Сена Приморская. Гаврский порт — один из крупнейших во Франции.\n\nАдминистрация.\nПост мэра Гавра с 2017 года занимает член партии Республиканцы Люк Лемонье (Luc Lemonnier), член Совета департамента Приморская Сена от кантона Гавр-6. Он был избран на этот пост после отставки Эдуара Филиппа (Édouard Philippe) после его назначения премьер-министром Франции. +Муниципальные выборы 2014 года (2 тур). Кандидат. Партия.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Томас Робертс (архиепископ)? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 279, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Курляндская губерния", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что раньше было на территории губернии, где умер Иван Карпович Эльмпт?", + "support_text": "Барон, затем (с 1790) граф Иван Карпович Эльмпт (\"Иоганн-Мартын фон Эльмпт\"; ; 1725, Клеве — 10 мая 1802, мыза Свитен, Свитенская волость Бауский уезд, Курляндская губерния) — российский военный деятель, 34-й генерал-фельдмаршал, участник основных войн екатерининского времени.\n\nБиография.\nЩедро раздавая титулы и звания, новый император рассчитывал привлечь на свою сторону высший генералитет. Граф Эльмпт, однако, не принял военные реформы Павла. Вышел в отставку в связи с достижением преклонного возраста (\"за старостью\") с разрешением ношения общего армейского мундира. Умер в пожалованном ему во время третьего раздела Польши имении Свитене (\"Schloss Schwitten\"), Курляндской губернии, 10 мая 1802 года. По характеристике Д. Н. Бантыш-Каменского, граф Эльмпт. Был высокого роста; имел и в старости маститую, красивую, приятную наружность; с великим умом соединял большие сведения по военной части, отважность, нрав веселый, обходительный; не смотрел вблизи на формы; но от природы чрезвычайно вспыльчивый, откровенный, не щадил никого для острого слова….", + "text": "Курляндская губерния (1796—1918) — одна из трёх Прибалтийских губерний Российской империи. Губернский город — Митава (ныне \"Елгава\"). Образована на территории Курляндии и Семигалии после присоединения герцогства к России в ходе третьего раздела Польши (1795). В настоящее время бóльшая часть территории в составе Латвии, незначительные части также в составе Литвы (с 1921 года — г. Поланген и посёлок Швянтойи, первоначально были единственным выходом к морю)." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 159, + "segment": "Курляндии и Семигалии" + }, + { + "label": "passage", + "length": 21, + "offset": 159, + "segment": "Курляндия и Семигалия" + } + ], + "meta": { + "id": 319, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 152, + "segment": "Курляндская губерния" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Барон, затем (с 1790) граф Иван Карпович Эльмпт (\"Иоганн-Мартын фон Эльмпт\"; ; 1725, Клеве — 10 мая 1802, мыза Свитен, Свитенская волость Бауский уезд, Курляндская губерния) — российский военный деятель, 34-й генерал-фельдмаршал, участник основных войн екатерининского времени.\n\nБиография.\nЩедро раздавая титулы и звания, новый император рассчитывал привлечь на свою сторону высший генералитет. Граф Эльмпт, однако, не принял военные реформы Павла. Вышел в отставку в связи с достижением преклонного возраста (\"за старостью\") с разрешением ношения общего армейского мундира. Умер в пожалованном ему во время третьего раздела Польши имении Свитене (\"Schloss Schwitten\"), Курляндской губернии, 10 мая 1802 года. По характеристике Д. Н. Бантыш-Каменского, граф Эльмпт. Был высокого роста; имел и в старости маститую, красивую, приятную наружность; с великим умом соединял большие сведения по военной части, отважность, нрав веселый, обходительный; не смотрел вблизи на формы; но от природы чрезвычайно вспыльчивый, откровенный, не щадил никого для острого слова….\nТекст 2: Курляндская губерния (1796—1918) — одна из трёх Прибалтийских губерний Российской империи. Губернский город — Митава (ныне \"Елгава\"). Образована на территории Курляндии и Семигалии после присоединения герцогства к России в ходе третьего раздела Польши (1795). В настоящее время бóльшая часть территории в составе Латвии, незначительные части также в составе Литвы (с 1921 года — г. Поланген и посёлок Швянтойи, первоначально были единственным выходом к морю).\nОпираясь на факты в данных текстах, ответьте на вопрос: Что раньше было на территории губернии, где умер Иван Карпович Эльмпт? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Артавазд Ашотович Геворгян?", + "support_text": "Артавазд Ашотович Геворгян ( 30 марта 1926, Кировакан, Армянская ССР, СССР — 4 сентября, 2017, Ереван, Армения) — армянский советский политический деятель и бывший генеральный прокурор Армении. Среднее образование получил в родном городе. 1944—1949 — юридический факультет Ереванского государственного университета. После окончания преподавал там же.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 123, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 95, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Артавазд Ашотович Геворгян ( 30 марта 1926, Кировакан, Армянская ССР, СССР — 4 сентября, 2017, Ереван, Армения) — армянский советский политический деятель и бывший генеральный прокурор Армении. Среднее образование получил в родном городе. 1944—1949 — юридический факультет Ереванского государственного университета. После окончания преподавал там же.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Артавазд Ашотович Геворгян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 267, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.09523809523809523, + "em": 0 + }, + "predict": " Алексей Филиппович Чернышёв жил в Российской империи, которая была монархическим государством с самодержавным правителем. Главой государства в Российской империи был Император Всероссийский, титул которого был присвоен Петром I в 1721 году. Таким образом, Алексей Филиппович Чернышёв жил в период, когда", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Алексей Филиппович Чернышёв?", + "support_text": "Алексей Филиппович Чернышёв (1824, Оренбург, Российская империя — 1863, Санкт-Петербург) — русский живописец-жанрист, академик Императорской Академии художеств.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 969, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 45, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Алексей Филиппович Чернышёв (1824, Оренбург, Российская империя — 1863, Санкт-Петербург) — русский живописец-жанрист, академик Императорской Академии художеств.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nВопрос: Какую должность занимал глава государства в стране, гражданином которой был Алексей Филиппович Чернышёв?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Римские фортификационные укрепления", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что раньше занимало территорию города, в котором закончил свои дни Максимилиан Вюртембергский?", + "support_text": "Герцог Вильгельм Фердинанд Максимилиан Карл Вюртембергский ( 3 сентября 1828, Тругенхофен — 29 июля 1888, Регенсбург) — представитель Вюртембергского королевского дома.", + "text": "Регенсбург — город в Германии, в земле Бавария. Расположен на слиянии Дуная и Регена, в самом северном изгибе Дуная. Восточнее города начинается Баварский Лес. Столица области Верхний Пфальц и резиденция епископа римско-католической церкви. Население составляет 157 234 человек (2014) — это четвёртый по численности населения город Баварии (после Мюнхена, Нюрнберга и Аугсбурга).\n\nИстория.\nВ начале 2006 года в 100 м к востоку от стен более позднего римского лагеря были найдены кельтские могилы, предметы которых были датированы 400 годом до н. э. Римский лагерь (период до 500 г. н. э.). Стена римского времени.jpg|Стена римского времени. Римская история Регенсбурга начинается с создания крепости Кастра Регина примерно в 79 н. э., расположенной в современном районе Кумпфмюль (). Это был наблюдательный пост за устьями Наб и Реген, окруженный рвом и частоколом, а позже и каменной стеной.\n\nДостопримечательности.\nОфициальный хор собора исполняет церковную музыку и известен как \"Регенсбургские Соловьи\" (Regensburger Domspatzen). Каменный мост (), построенный 1135—1146 гг., является шедевром средневекового наведения мостов. Участники 2-го и 3-го крестового похода использовали его при переходе через Дунай по пути на Святую Землю. Кастра Регина — останки римских фортификационных укреплений, включая Porta Praetoria. Церковь св. Якоба — также известная как \"Шотландская церковь\". Романская базилика 12-го столетия, получившая своё название от монастыря ирландских бенедиктинцев (Scoti), которому она принадлежала до секуляризации; главный дверной проём покрыт очень необычными резными фигурками." + }, + "outputs": [ + { + "label": "answer", + "length": 138, + "offset": 412, + "segment": "в 100 м к востоку от стен более позднего римского лагеря были найдены кельтские могилы, предметы которых были датированы 400 годом до н. э" + } + ], + "meta": { + "id": 711, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 107, + "segment": "Регенсбург" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Герцог Вильгельм Фердинанд Максимилиан Карл Вюртембергский ( 3 сентября 1828, Тругенхофен — 29 июля 1888, Регенсбург) — представитель Вюртембергского королевского дома.\nТекст 2: Регенсбург — город в Германии, в земле Бавария. Расположен на слиянии Дуная и Регена, в самом северном изгибе Дуная. Восточнее города начинается Баварский Лес. Столица области Верхний Пфальц и резиденция епископа римско-католической церкви. Население составляет 157 234 человек (2014) — это четвёртый по численности населения город Баварии (после Мюнхена, Нюрнберга и Аугсбурга).\n\nИстория.\nВ начале 2006 года в 100 м к востоку от стен более позднего римского лагеря были найдены кельтские могилы, предметы которых были датированы 400 годом до н. э. Римский лагерь (период до 500 г. н. э.). Стена римского времени.jpg|Стена римского времени. Римская история Регенсбурга начинается с создания крепости Кастра Регина примерно в 79 н. э., расположенной в современном районе Кумпфмюль (). Это был наблюдательный пост за устьями Наб и Реген, окруженный рвом и частоколом, а позже и каменной стеной.\n\nДостопримечательности.\nОфициальный хор собора исполняет церковную музыку и известен как \"Регенсбургские Соловьи\" (Regensburger Domspatzen). Каменный мост (), построенный 1135—1146 гг., является шедевром средневекового наведения мостов. Участники 2-го и 3-го крестового похода использовали его при переходе через Дунай по пути на Святую Землю. Кастра Регина — останки римских фортификационных укреплений, включая Porta Praetoria. Церковь св. Якоба — также известная как \"Шотландская церковь\". Романская базилика 12-го столетия, получившая своё название от монастыря ирландских бенедиктинцев (Scoti), которому она принадлежала до секуляризации; главный дверной проём покрыт очень необычными резными фигурками.\nОпираясь на данные тексты, ответьте на вопрос: Что раньше занимало территорию города, в котором закончил свои дни Максимилиан Вюртембергский? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 528, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Омелич. \n\nОбъяснение: В тексте 1 упоминается, что Малый Омелич протекает по Томской области и имеет притокы, включая Горелый, Берёзовый и Холодный. В тексте 2 говорится, что Омелич протекает по Парабельскому району Томской области", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Малый Омелич?", + "support_text": "Малый Омелич (Малый Амелич) — река в России, протекает по Томской области. Устье реки находится в 146 км по левому берегу реки Омелич. Длина реки составляет 51 км, площадь водосборного бассейна 336 кв км. Притоки — Верхняя, Горелый, Берёзовый, Холодный.", + "text": "Омелич (\"в верховье\" Большой Омелич; \"устар.\" Амелич, Емельджа) — река в России, протекает по Парабельскому району Томской области. Устье реки находится в 262 км по левому берегу реки Парабель. Длина реки составляет 185 км, площадь водосборного бассейна 2110 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 94, + "segment": "Парабель" + } + ], + "meta": { + "id": 423, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 6, + "segment": "Омелич" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Малый Омелич (Малый Амелич) — река в России, протекает по Томской области. Устье реки находится в 146 км по левому берегу реки Омелич. Длина реки составляет 51 км, площадь водосборного бассейна 336 кв км. Притоки — Верхняя, Горелый, Берёзовый, Холодный.\nТекст 2: Омелич (\"в верховье\" Большой Омелич; \"устар.\" Амелич, Емельджа) — река в России, протекает по Парабельскому району Томской области. Устье реки находится в 262 км по левому берегу реки Парабель. Длина реки составляет 185 км, площадь водосборного бассейна 2110 кв км.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Малый Омелич?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714288, + "em": 0 + }, + "predict": " Маравка является притоком реки Катка, которая в свою очередь впадает в реку Корожечна.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Маравка?", + "support_text": "Маравка — река в России, протекает в Некоузском районе Ярославской области; правый приток реки Катка. Есть сравнительно крупный приток справа.", + "text": "Катка (\"Кадка\", \"Кодка\") — река в России, протекает по Некоузскому, Мышкинскому и Угличскому районам Ярославской области. Устье реки находится в 34 км по левому берегу реки Корожечна от её устья. Длина реки составляет 57 км, площадь водосборного бассейна — 493 кв км. Крупнейшие притоки: Маравка (справа), Светица (слева), Чернавка (слева), Нерга (справа, 37 км от устья), Топорка (слева), Пойга (справа, 23 км от устья), Манка (слева), Кононово (справа), Роговка (слева), Шумаронка (справа). Сельские населённые пункты около реки: Некоузский район — Антипово, Яксаево, Новинки, Чижово, Ковезино, Комарово, Галицыно, Плишкино; Мышкинский район — Щербинино, Муханово, Большое Поповичево, Маурино, Кологривцево, Рождествено, Малое Поповичево, Нинорово, Антеплево, Мерга, Юрьевское, Владышино, Киндяково, Хороброво, Дьяконово; Угличский район — Нефедьево, Богданка, Медлево, Воронцово, Трухино, Ордино, Мякишево, Дягилево, Алексино, Мелехово, Ильинское, Чернятино." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 173, + "segment": "Корожечна" + }, + { + "label": "passage", + "length": 9, + "offset": 173, + "segment": "Корожечну" + } + ], + "meta": { + "id": 344, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 95, + "segment": "Катка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Маравка?\nТекст 1: Маравка — река в России, протекает в Некоузском районе Ярославской области; правый приток реки Катка. Есть сравнительно крупный приток справа.\nТекст 2: Катка (\"Кадка\", \"Кодка\") — река в России, протекает по Некоузскому, Мышкинскому и Угличскому районам Ярославской области. Устье реки находится в 34 км по левому берегу реки Корожечна от её устья. Длина реки составляет 57 км, площадь водосборного бассейна — 493 кв км. Крупнейшие притоки: Маравка (справа), Светица (слева), Чернавка (слева), Нерга (справа, 37 км от устья), Топорка (слева), Пойга (справа, 23 км от устья), Манка (слева), Кононово (справа), Роговка (слева), Шумаронка (справа). Сельские населённые пункты около реки: Некоузский район — Антипово, Яксаево, Новинки, Чижово, Ковезино, Комарово, Галицыно, Плишкино; Мышкинский район — Щербинино, Муханово, Большое Поповичево, Маурино, Кологривцево, Рождествено, Малое Поповичево, Нинорово, Антеплево, Мерга, Юрьевское, Владышино, Киндяково, Хороброво, Дьяконово; Угличский район — Нефедьево, Богданка, Медлево, Воронцово, Трухино, Ордино, Мякишево, Дягилево, Алексино, Мелехово, Ильинское, Чернятино.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 416, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Река Кутерген впадает в реку Чарыш, которая является притоком Оби.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Кутерген?", + "support_text": "Кутерген — река в России, протекает в Республике Алтай. Устье реки находится в 505 км по левому берегу реки Чарыш. Длина реки составляет 16 км.", + "text": "Чарыш (Чарас) — река в России, левый приток Оби. Протекает по территории Республики Алтай и Алтайского края.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от слияния рек Бия и Катунь до города Барнаул, без реки Алей, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 44, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 44, + "segment": "Обь" + } + ], + "meta": { + "id": 839, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 108, + "segment": "Чарыш" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Кутерген?\nТекст 1: Кутерген — река в России, протекает в Республике Алтай. Устье реки находится в 505 км по левому берегу реки Чарыш. Длина реки составляет 16 км.\nТекст 2: Чарыш (Чарас) — река в России, левый приток Оби. Протекает по территории Республики Алтай и Алтайского края.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от слияния рек Бия и Катунь до города Барнаул, без реки Алей, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Обь", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Бельсу?", + "support_text": "Бельсу — река в России, протекает в Кемеровской области. Устье реки находится в 682 км по правому берегу реки Томь. Длина реки составляет 83 км. Населённых пунктов на реке нет, вблизи устья на реке находится железнодорожный мост (участок жд Междуреченск-Теба).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Томь от истока до города Новокузнецк, без реки Кондома, речной подбассейн реки — Томь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.", + "text": "Томь (в верховье Правая Томь; ) — река в Западной Сибири, правый приток Оби, второй по водности после Иртыша.\n\nХозяйственное использование.\nВ конце 1960-х годов существовало предложение соединить Томь и Обь судоходным каналом в 50-60 километрах выше по течению от места впадения Томи. Предполагалось, что этот канал на несколько десятков километров сократит транспортный путь для судов, курсирующих по маршруту Томск—Новосибирск. Кроме того, Томск мог бы получить новый чистый источник водоснабжения — биологический и химический состав воды реки Оби к тому времени стал чище воды реки Томи. В 1975 году началось строительство Крапивинской гидроэлектростанции на Томи в Кемеровской области у посёлка Зеленогорский. В 1989 году строительство было заморожено." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Обь" + } + ], + "meta": { + "id": 907, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 110, + "segment": "Томь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Бельсу — река в России, протекает в Кемеровской области. Устье реки находится в 682 км по правому берегу реки Томь. Длина реки составляет 83 км. Населённых пунктов на реке нет, вблизи устья на реке находится железнодорожный мост (участок жд Междуреченск-Теба).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Томь от истока до города Новокузнецк, без реки Кондома, речной подбассейн реки — Томь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nТекст 2: Томь (в верховье Правая Томь; ) — река в Западной Сибири, правый приток Оби, второй по водности после Иртыша.\n\nХозяйственное использование.\nВ конце 1960-х годов существовало предложение соединить Томь и Обь судоходным каналом в 50-60 километрах выше по течению от места впадения Томи. Предполагалось, что этот канал на несколько десятков километров сократит транспортный путь для судов, курсирующих по маршруту Томск—Новосибирск. Кроме того, Томск мог бы получить новый чистый источник водоснабжения — биологический и химический состав воды реки Оби к тому времени стал чище воды реки Томи. В 1975 году началось строительство Крапивинской гидроэлектростанции на Томи в Кемеровской области у посёлка Зеленогорский. В 1989 году строительство было заморожено.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Бельсу? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 382, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валентин Борисович Карлов?", + "support_text": "Валентин Борисович Карлов (25 февраля 1947, Челябинск) ― российский кларнетист, солист заслуженного коллектива России академического симфонического оркестра Ленинградской филармонии, Народный артист Российской Федерации (2011), Заслуженный артист РСФСР (1991).", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 955, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 44, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Валентин Борисович Карлов (25 февраля 1947, Челябинск) ― российский кларнетист, солист заслуженного коллектива России академического симфонического оркестра Ленинградской филармонии, Народный артист Российской Федерации (2011), Заслуженный артист РСФСР (1991).\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Валентин Борисович Карлов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714288, + "em": 0 + }, + "predict": " Государственная Дума Федерального Собрания Российской Федерации.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Денис Павлович Москвин?", + "support_text": "Денис Павлович Москвин (род. 11 августа 1978, Горький, РСФСР, СССР) — российский государственный и политический деятель. Депутат Государственной Думы Федерального Собрания Российской Федерации VII созыва. Член фракции \"Единая Россия\", член комитета по промышленности, экономической политике, и инновационному развитию и предпринимательству. Секретарь Нижегородского регионального отделения партии \"Единая Россия\" с 19 февраля 2018 года.\n\nБиография.\nВ 2006 году возглавлял Центр социально-консервативной политики в ПФО. Являлся директором \"Фонда содействия развитию институтов гражданского общества в Приволжском федеральном округе\". С 2008 по 2009 год — член комиссии генерального совета партии \"Единая Россия\" по работе с обращениями граждан к председателю партии В. В. Путину. С 2009 по 2012 год — руководитель исполнительного комитета местного отделения партии \"Единая Россия\" города Нижнего Новгорода. В 2010 году избран депутатом городской Думы Нижнего Новгорода, исполнял депутатские полномочия до 2014 года. В городской думе был заместителем председателя постоянной комиссии по местному самоуправлению. С 2014 года — Президент Федерации баскетбола Нижнего Новгорода.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1088, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1088, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 687, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 890, + "segment": "Нижнего Новгорода" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Денис Павлович Москвин (род. 11 августа 1978, Горький, РСФСР, СССР) — российский государственный и политический деятель. Депутат Государственной Думы Федерального Собрания Российской Федерации VII созыва. Член фракции \"Единая Россия\", член комитета по промышленности, экономической политике, и инновационному развитию и предпринимательству. Секретарь Нижегородского регионального отделения партии \"Единая Россия\" с 19 февраля 2018 года.\n\nБиография.\nВ 2006 году возглавлял Центр социально-консервативной политики в ПФО. Являлся директором \"Фонда содействия развитию институтов гражданского общества в Приволжском федеральном округе\". С 2008 по 2009 год — член комиссии генерального совета партии \"Единая Россия\" по работе с обращениями граждан к председателю партии В. В. Путину. С 2009 по 2012 год — руководитель исполнительного комитета местного отделения партии \"Единая Россия\" города Нижнего Новгорода. В 2010 году избран депутатом городской Думы Нижнего Новгорода, исполнял депутатские полномочия до 2014 года. В городской думе был заместителем председателя постоянной комиссии по местному самоуправлению. С 2014 года — Президент Федерации баскетбола Нижнего Новгорода.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Денис Павлович Москвин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 590, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Сергей Иосифович Авакянц, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Сергей Иосифович Авакянц?", + "support_text": "Сергей Иосифович Авакянц ( род. 6 апреля 1958, Ереван, Армянская ССР, СССР) — российский военачальник, командующий Тихоокеанским флотом с октября 2010 года, адмирал (13 декабря 2014 года).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 62, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 48, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Сергей Иосифович Авакянц ( род. 6 апреля 1958, Ереван, Армянская ССР, СССР) — российский военачальник, командующий Тихоокеанским флотом с октября 2010 года, адмирал (13 декабря 2014 года).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Как называется законодательный орган города, где родился Сергей Иосифович Авакянц?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Окишева сливается с рекой Большой Петряк.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Окишева?", + "support_text": "Окишева — река в России, протекает в Томской области. Устье реки находится в 21 км по левому берегу реки Большой Петряк. Длина реки составляет 10 км.", + "text": "Большой Петряк — река в России, протекает в Каргасокском районе Томской области. Устье реки находится в 939 км по левому берегу реки Васюган. Длина реки составляет 81 км, площадь водосборного бассейна — 1080 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — бассейны притоков Оби (верхней) от Кети до Васюгана. Речной бассейн реки — Обь (верхняя) до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 133, + "segment": "Васюган" + } + ], + "meta": { + "id": 608, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 105, + "segment": "Большой Петряк" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Окишева — река в России, протекает в Томской области. Устье реки находится в 21 км по левому берегу реки Большой Петряк. Длина реки составляет 10 км.\nТекст 2: Большой Петряк — река в России, протекает в Каргасокском районе Томской области. Устье реки находится в 939 км по левому берегу реки Васюган. Длина реки составляет 81 км, площадь водосборного бассейна — 1080 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — бассейны притоков Оби (верхней) от Кети до Васюгана. Речной бассейн реки — Обь (верхняя) до впадения Иртыша.\nВопрос: С какой рекой сливается река, в которую впадает Окишева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Суходревка впадает в реку Суходрев, притоком которой является она сама.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Суходревка?", + "support_text": "Суходревка — река в Калужской области России. Протекает по территории Малоярославецкого района в Суходревкинском лесном массиве. Впадает в реку Суходрев в 69 км от её устья по правому берегу. Длина реки составляет 13 км.", + "text": "Суходрев — река в России, протекает по Калужской области. Устье реки находится в 9,6 км по левому берегу реки Шаня. Длина реки составляет 96 км, площадь водосборного бассейна 1340 кв км. Река берёт начало на востоке Малоярославецкого района у села Дмитриевского." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 110, + "segment": "Шаня" + }, + { + "label": "passage", + "length": 4, + "offset": 110, + "segment": "Шаню" + } + ], + "meta": { + "id": 351, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 0, + "segment": "Суходрев" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Суходревка — река в Калужской области России. Протекает по территории Малоярославецкого района в Суходревкинском лесном массиве. Впадает в реку Суходрев в 69 км от её устья по правому берегу. Длина реки составляет 13 км.\nТекст 2: Суходрев — река в России, протекает по Калужской области. Устье реки находится в 9,6 км по левому берегу реки Шаня. Длина реки составляет 96 км, площадь водосборного бассейна 1340 кв км. Река берёт начало на востоке Малоярославецкого района у села Дмитриевского.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Суходревка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Нурдия Гарифовна Джураева?", + "support_text": "Джураева Нурдия Гарифовна ( 2 июня 1937 года, Казань — хоровой дирижер, педагог, музыкально-общественный деятель, заслуженный деятель искусств ТАССР (1986), РФ (2003), народная артистка Республики Татарстан (1995).\n\nБиография.\nДжураева Нурдия Гарифовна родилась 2 июня 1937 года в Казани. В 1964 году успешно окончила Казанскую государственную консерваторию, будущий хормейстр занималась в классе профессора С.А.Казачкова. Занималась педагогической работой в музыкальном училище. С 1972 года работает преподавателем в Казанской государственной консерватории.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 642, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 159, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 47, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Джураева Нурдия Гарифовна ( 2 июня 1937 года, Казань — хоровой дирижер, педагог, музыкально-общественный деятель, заслуженный деятель искусств ТАССР (1986), РФ (2003), народная артистка Республики Татарстан (1995).\n\nБиография.\nДжураева Нурдия Гарифовна родилась 2 июня 1937 года в Казани. В 1964 году успешно окончила Казанскую государственную консерваторию, будущий хормейстр занималась в классе профессора С.А.Казачкова. Занималась педагогической работой в музыкальном училище. С 1972 года работает преподавателем в Казанской государственной консерватории.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родилась Нурдия Гарифовна Джураева? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 358, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13793103448275862, + "em": 0 + }, + "predict": " В стране гражданства Хесуса Ангуло, Мексике, работает двухпалатный Конгресс, состоящий из Сената (128 мест, избираются на 6-летний срок) и Палаты депутатов (500 мест, избираются на 3-летний срок).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в стране гражданства Хесуса Ангуло?", + "support_text": "Хесус Альберто Ангуло Уриарте ( 30 января 1998, Сапопан, Мексика) — мексиканский футболист, защитник клуба \"Сантос Лагуна\" и сборной Мексики. Воспитанник клуба \"Сантос Лагуна\".", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии." + }, + "outputs": [ + { + "label": "answer", + "length": 21, + "offset": 697, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 974, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 69, + "segment": "мексиканский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Хесус Альберто Ангуло Уриарте ( 30 января 1998, Сапопан, Мексика) — мексиканский футболист, защитник клуба \"Сантос Лагуна\" и сборной Мексики. Воспитанник клуба \"Сантос Лагуна\".\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии.\nВопрос: Какой законодательный орган работает в стране гражданства Хесуса Ангуло?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 334, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5714285714285715, + "em": 0 + }, + "predict": " Рейхскомиссариат Остланд (генеральный округ Литва).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую территориальную единицу во время немецкой оккупации включили страну, гражданином которой сейчас является Йозас Ягелавичюс?", + "support_text": "Йозас Александрович Ягелавичюс ( — Вильнюс, Литва) — советский гребец, бронзовый призёр Олимпийских игр 1968 года в гонках восьмёрок, двукратный серебряный призёр чемпионатов мира, двукратный чемпион Европы (1965, 1967), трёхкратный серебряный призёр чемпионата Европы (1963, 1964, 1969). Заслуженный мастер спорта СССР (1965).", + "text": "Литва ( ), официальное название — Литовская Республика — государство, расположенное в северной части Европы. Площадь — кв км. Протяжённость с севера на юг — 280 км, а с запада на восток — 370 км.\n\nИстория.\n10 октября 1939 года в Москве был подписан \"Договор о передаче Литве города Вильно и Виленской области и о взаимопомощи между СССР и Литвой с конфиденциальным протоколом к нему\" сроком на 15 лет, предусматривавший ввод в Литву 20-тысячного контингента советских войск. 14—15 июля 1940 года, после принятия советского ультиматума и ввода дополнительного советского военного контингента, в Литве были проведены выборы в Народный сейм, к участию в которых был допущен лишь просоветский \"Блок трудового народа\". 21 июля Народный сейм провозгласил образование Литовской ССР, 3 августа 1940 года она была принята в состав СССР. В 1940 году, уже будучи в составе СССР, Литва получила часть территории Советской Белоруссии. 22 июня 1941 года, после нападения Германии на СССР, последовали антисоветские выступления в Литве. Однако после начала фактической немецкой оккупации это Временное правительство было распущено, а территория Литвы включена в рейхскомиссариат Остланд (генеральный округ Литва), в рамках которого ей была предоставлена некоторая автономия. Оккупационную администрацию возглавлял генерал П. Кубилюнас. В 1944 году нацисты были изгнаны Красной армией с территории Литовской ССР (см. Белорусская операция (1944)). Послевоенный период." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 1151, + "segment": "рейхскомиссариат Остланд" + }, + { + "label": "passage", + "length": 24, + "offset": 1151, + "segment": "Рейхскомиссариат Остланд" + } + ], + "meta": { + "id": 662, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 44, + "segment": "Литва" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Йозас Александрович Ягелавичюс ( — Вильнюс, Литва) — советский гребец, бронзовый призёр Олимпийских игр 1968 года в гонках восьмёрок, двукратный серебряный призёр чемпионатов мира, двукратный чемпион Европы (1965, 1967), трёхкратный серебряный призёр чемпионата Европы (1963, 1964, 1969). Заслуженный мастер спорта СССР (1965).\nТекст 2: Литва ( ), официальное название — Литовская Республика — государство, расположенное в северной части Европы. Площадь — кв км. Протяжённость с севера на юг — 280 км, а с запада на восток — 370 км.\n\nИстория.\n10 октября 1939 года в Москве был подписан \"Договор о передаче Литве города Вильно и Виленской области и о взаимопомощи между СССР и Литвой с конфиденциальным протоколом к нему\" сроком на 15 лет, предусматривавший ввод в Литву 20-тысячного контингента советских войск. 14—15 июля 1940 года, после принятия советского ультиматума и ввода дополнительного советского военного контингента, в Литве были проведены выборы в Народный сейм, к участию в которых был допущен лишь просоветский \"Блок трудового народа\". 21 июля Народный сейм провозгласил образование Литовской ССР, 3 августа 1940 года она была принята в состав СССР. В 1940 году, уже будучи в составе СССР, Литва получила часть территории Советской Белоруссии. 22 июня 1941 года, после нападения Германии на СССР, последовали антисоветские выступления в Литве. Однако после начала фактической немецкой оккупации это Временное правительство было распущено, а территория Литвы включена в рейхскомиссариат Остланд (генеральный округ Литва), в рамках которого ей была предоставлена некоторая автономия. Оккупационную администрацию возглавлял генерал П. Кубилюнас. В 1944 году нацисты были изгнаны Красной армией с территории Литовской ССР (см. Белорусская операция (1944)). Послевоенный период.\nОпираясь на данные тексты, ответьте на вопрос: В какую территориальную единицу во время немецкой оккупации включили страну, гражданином которой сейчас является Йозас Ягелавичюс? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 529, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.125, + "em": 0 + }, + "predict": " Глава государства в стране, гражданином которой был Александр Петрович Рождественский, занимал должность Императора Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Александр Петрович Рождественский?", + "support_text": "Александр Петрович Рождественский (1864, Псковская губерния, Российская империя — 22 декабря 1930, Моравска-Тршебова, Чехословакия) — русский православный библеист, , протоиерей Православной российской церкви, профессор Священного Писания Ветхого Завета в Санкт-Петербургской духовной академии, в эмиграции — профессор Богословского факультета Софийского университета.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 149, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 61, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Александр Петрович Рождественский (1864, Псковская губерния, Российская империя — 22 декабря 1930, Моравска-Тршебова, Чехословакия) — русский православный библеист, , протоиерей Православной российской церкви, профессор Священного Писания Ветхого Завета в Санкт-Петербургской духовной академии, в эмиграции — профессор Богословского факультета Софийского университета.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nВопрос: Какую должность занимал глава государства в стране, гражданином которой был Александр Петрович Рождественский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 408, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Авилов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в месте, где родилась Вера Николаевна Кутейщикова?", + "support_text": "Вера Николаевна Кутейщикова (29 декабря 1919, Тула, РСФСР — 4 апреля 2012, Москва, Россия) — советский и российский -латиноамериканист, доктор филологических наук.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км.\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 594, + "segment": "Евгений Авилов" + } + ], + "meta": { + "id": 554, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 46, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вера Николаевна Кутейщикова (29 декабря 1919, Тула, РСФСР — 4 апреля 2012, Москва, Россия) — советский и российский -латиноамериканист, доктор филологических наук.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км.\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в месте, где родилась Вера Николаевна Кутейщикова? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Кети", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Щучья 2-я?", + "support_text": "Щучья 2-я — река в России, протекает по Томской области. Устье реки находится в 158 км от устья Пайдугин по правому берегу. Длина реки составляет 20 км.", + "text": "Пайдугина (южноселькупск. \"Падога\", \"Тӧгӱл кы\", \"пайдугу\" — вилять хвостом) — река в Томской области, правый приток Кети (бассейн Оби). Длина — 458 км, площадь бассейна — 8790 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения реки Кеть до впадения реки Васюган, речной подбассейн реки — Кеть. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 116, + "segment": "Кети" + }, + { + "label": "passage", + "length": 4, + "offset": 116, + "segment": "Кеть" + } + ], + "meta": { + "id": 1037, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 96, + "segment": "Пайдугин" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Щучья 2-я — река в России, протекает по Томской области. Устье реки находится в 158 км от устья Пайдугин по правому берегу. Длина реки составляет 20 км.\nТекст 2: Пайдугина (южноселькупск. \"Падога\", \"Тӧгӱл кы\", \"пайдугу\" — вилять хвостом) — река в Томской области, правый приток Кети (бассейн Оби). Длина — 458 км, площадь бассейна — 8790 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения реки Кеть до впадения реки Васюган, речной подбассейн реки — Кеть. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Щучья 2-я? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где появился на свет Роман Мушегян?", + "support_text": "Роман Мушегян ( род. Ереван, Армения) — армянский и российский кинорежиссёр. Получил широкое признание благодаря телесериалу \"Западня\", который транслировался на родине режиссёра, а впоследствии был приобретён для показа на российском телевидении.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 120, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 21, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Роман Мушегян ( род. Ереван, Армения) — армянский и российский кинорежиссёр. Получил широкое признание благодаря телесериалу \"Западня\", который транслировался на родине режиссёра, а впоследствии был приобретён для показа на российском телевидении.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где появился на свет Роман Мушегян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Глава администрации в городе Батуми, где родился Тенгиз Сулейманович Хахва, с 13 ноября 2017 года является Лаша Комахидзе.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Тенгиз Сулейманович Хахва?", + "support_text": "Тенгиз Сулейманович Хахва ( род. 3 февраля 1952 года, Батуми, Аджарская АССР, Грузинская ССР) — советский, грузинский и российский партийный и государственный деятель.\n\nБиография.\nРодился 3 февраля 1952 года в Батуми. В 1973 году окончил Белорусский политехнический институт по специальности \"инженер-электрик\". После окончания института работал электромонтёром, затем инженером Батумского нефтеперерабатывающего завода, в дальнейшем был инспектором Батумского городского Комитета народного контроля.", + "text": "Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария. Образует муниципалитет Батуми и является главным туристическим центром современной Грузии.\n\nОрганы власти.\nАбашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 424, + "segment": "Лаша Комахидзе" + } + ], + "meta": { + "id": 701, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 55, + "segment": "Батуми" + }, + { + "label": "passage", + "length": 6, + "offset": 214, + "segment": "Батуми" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Тенгиз Сулейманович Хахва?\nТекст 1: Тенгиз Сулейманович Хахва ( род. 3 февраля 1952 года, Батуми, Аджарская АССР, Грузинская ССР) — советский, грузинский и российский партийный и государственный деятель.\n\nБиография.\nРодился 3 февраля 1952 года в Батуми. В 1973 году окончил Белорусский политехнический институт по специальности \"инженер-электрик\". После окончания института работал электромонтёром, затем инженером Батумского нефтеперерабатывающего завода, в дальнейшем был инспектором Батумского городского Комитета народного контроля.\nТекст 2: Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария. Образует муниципалитет Батуми и является главным туристическим центром современной Грузии.\n\nОрганы власти.\nАбашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 333, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сергей Валерьевич Данилюк", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Михаил Аркадьевич Павлоцкий?", + "support_text": "Михаил Аркадьевич Павлоцкий (5 февраля 1922, Тирасполь — 3 июня 1999, Киев) — Герой Советского Союза (1943), подполковник (1960).\n\nБиография.\nМогила Павлоцкого на Лукьяновском военном кладбище Киева. Михаил Павлоцкий родился в Тирасполе в еврейской семье, там же окончил среднюю школу № 6. Родители — Аркадий Лейбович и Сура Павлоцкие.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nКостырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 1024, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 1024, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 520, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 45, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Михаил Аркадьевич Павлоцкий (5 февраля 1922, Тирасполь — 3 июня 1999, Киев) — Герой Советского Союза (1943), подполковник (1960).\n\nБиография.\nМогила Павлоцкого на Лукьяновском военном кладбище Киева. Михаил Павлоцкий родился в Тирасполе в еврейской семье, там же окончил среднюю школу № 6. Родители — Аркадий Лейбович и Сура Павлоцкие.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nКостырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Михаил Аркадьевич Павлоцкий? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1111111111111111, + "em": 0 + }, + "predict": " Джордж Вашингтон Ламберт был урожен Санкт-Петербурга, что делает Санкт-Петербург местом рождения художника, создавшего картину \"Миссис Энни Мёрдок\".", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место рождения человека, создавшего картину \"Миссис Энни Мёрдок\"?", + "support_text": "'Миссис Энни Мёрдок' — портрет кисти австралийского художника Джорджа Вашингтона Ламберта, написанный в 1927 году. На картине изображена Энни Мёрдок (1856—1945), мать владельца газеты Кита Мёрдока и бабушка бизнесмена Руперта Мёрдока. Находится в частной коллекции.\n\nПримечания.\nКатегория:Картины Джорджа Вашингтона Ламберта.", + "text": "Джордж Вашингтон Ламберт ( 13 сентября 1873 года, Санкт-Петербург — 28 мая 1930 года, Cobbity, Австралия) — художник, австралийский эмигрант. Скульптор и преподаватель Лондонской школы искусств." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 51, + "segment": "Санкт-Петербург" + } + ], + "meta": { + "id": 401, + "bridge_answers": [ + { + "label": "passage", + "length": 27, + "offset": 62, + "segment": "Джорджа Вашингтона Ламберта" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется место рождения человека, создавшего картину \"Миссис Энни Мёрдок\"?\nТекст 1: 'Миссис Энни Мёрдок' — портрет кисти австралийского художника Джорджа Вашингтона Ламберта, написанный в 1927 году. На картине изображена Энни Мёрдок (1856—1945), мать владельца газеты Кита Мёрдока и бабушка бизнесмена Руперта Мёрдока. Находится в частной коллекции.\n\nПримечания.\nКатегория:Картины Джорджа Вашингтона Ламберта.\nТекст 2: Джордж Вашингтон Ламберт ( 13 сентября 1873 года, Санкт-Петербург — 28 мая 1930 года, Cobbity, Австралия) — художник, австралийский эмигрант. Скульптор и преподаватель Лондонской школы искусств.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Мухсин Муслимович Мухамадиев, является Рустам Эмомали.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Мухсин Муслимович Мухамадиев?", + "support_text": "Мухсин Муслимович Мухамадиев ( 21 октября 1966, Душанбе) — советский, таджикский и российский футболист, полузащитник, нападающий. Мастер спорта СССР (1988).\n\nДостижения.\nИгрок. Чемпион России (1): 1994. Победитель в Первой лиге СССР: 1988 (с клубом \"Памир\" Душанбе, который впервые получил право на участие в высшей лиге). Главный тренер и спортивный директор. Победитель зоны \"Центр\" Второго дивизиона ПФЛ (1): 2007. Чемпион России (2): 2008, 2009.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 525, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 49, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Мухсин Муслимович Мухамадиев?\nТекст 1: Мухсин Муслимович Мухамадиев ( 21 октября 1966, Душанбе) — советский, таджикский и российский футболист, полузащитник, нападающий. Мастер спорта СССР (1988).\n\nДостижения.\nИгрок. Чемпион России (1): 1994. Победитель в Первой лиге СССР: 1988 (с клубом \"Памир\" Душанбе, который впервые получил право на участие в высшей лиге). Главный тренер и спортивный директор. Победитель зоны \"Центр\" Второго дивизиона ПФЛ (1): 2007. Чемпион России (2): 2008, 2009.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 303, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Виксинселькя", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоём, питающийся от реки, притоком которой является Пейтанйоки?", + "support_text": "Пейтанйоки — река в России, протекает по Суоярвскому району Карелии. Устье реки находится в 4 км по левому берегу реки Волгайоки. Длина реки составляет 23 км.", + "text": "Волгайоки или Волгаеки — река в России, протекает по территории Суоярвского района Карелии.\n\nОбщие сведения.\nРучей берёт начало из ламбины без названия двумя километрами севернее от урочища \"Паркулинвара\". Впадает в озеро Виксинселькя (бассейн Вуоксы), в 1 км к юго-западу от нежилой деревни Меласельки. Длина реки составляет 37 км, площадь водосборного бассейна — 204 кв км.\n\nПримечания.\nКатегория:Бассейн Виксинселькя." + }, + "outputs": [ + { + "label": "answer", + "length": 18, + "offset": 219, + "segment": "озеро Виксинселькя" + }, + { + "label": "answer", + "length": 18, + "offset": 219, + "segment": "Озеро Виксинселькя" + } + ], + "meta": { + "id": 664, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 119, + "segment": "Волгайоки" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пейтанйоки — река в России, протекает по Суоярвскому району Карелии. Устье реки находится в 4 км по левому берегу реки Волгайоки. Длина реки составляет 23 км.\nТекст 2: Волгайоки или Волгаеки — река в России, протекает по территории Суоярвского района Карелии.\n\nОбщие сведения.\nРучей берёт начало из ламбины без названия двумя километрами севернее от урочища \"Паркулинвара\". Впадает в озеро Виксинселькя (бассейн Вуоксы), в 1 км к юго-западу от нежилой деревни Меласельки. Длина реки составляет 37 км, площадь водосборного бассейна — 204 кв км.\n\nПримечания.\nКатегория:Бассейн Виксинселькя.\nОпираясь на данные тексты, ответьте на вопрос: Как называется водоём, питающийся от реки, притоком которой является Пейтанйоки? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родилась Тахмина Пулоджоновна Раджабова.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Тахмина Пулоджоновна Раджабова?", + "support_text": "Тахмина Пулоджоновна Раджабова ( род. 29 июня 1982, Душанбе, Таджикской ССР) — таджикская актриса, журналистка и телеведущая.\n\nБиография.\nТахмина Раджабова родилась 29 июня 1982 года в городе Душанбе. Её мать была врачом, а отец экономистом. С 1989 года до 3-го класса училась в средней школе имени Малики Сабировой, одновременно обучалась музыкальному искусству (фортепиано). Когда отец Тахмины был назначен на служебную должность в Москве, их семья переехала туда для временного проживания.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 460, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 53, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Тахмина Пулоджоновна Раджабова ( род. 29 июня 1982, Душанбе, Таджикской ССР) — таджикская актриса, журналистка и телеведущая.\n\nБиография.\nТахмина Раджабова родилась 29 июня 1982 года в городе Душанбе. Её мать была врачом, а отец экономистом. С 1989 года до 3-го класса училась в средней школе имени Малики Сабировой, одновременно обучалась музыкальному искусству (фортепиано). Когда отец Тахмины был назначен на служебную должность в Москве, их семья переехала туда для временного проживания.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Тахмина Пулоджоновна Раджабова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 306, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Эдуард Степанович Топчян?", + "support_text": "Эдуард Степанович Топчян ( род. 6 мая 1976 года, Ереван) — армянский дирижёр.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 64, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Эдуард Степанович Топчян ( род. 6 мая 1976 года, Ереван) — армянский дирижёр.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Эдуард Степанович Топчян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Серёжа.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Илимдиг?", + "support_text": "Илимдиг — река в России, протекает в Вачском и Навашинском районах Нижегородской области. Устье реки находится в 11 км по правому берегу реки Серёжа. Длина реки составляет 24 км, площадь бассейна — 91 кв км.", + "text": "Серёжа — река в Нижегородской области, крупнейший приток Тёши. Устье реки находится в 44 км по правому берегу реки Тёши. Длина реки составляет 196 км, площадь бассейна — 2730 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Тёша от истока до устья, речной подбассейн реки — бассейны притоков Оки от Мокши до впадения в Волгу. Речной бассейн реки — Ока." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 57, + "segment": "Тёши" + }, + { + "label": "passage", + "length": 4, + "offset": 57, + "segment": "Тёша" + } + ], + "meta": { + "id": 92, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 142, + "segment": "Серёжа" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Илимдиг — река в России, протекает в Вачском и Навашинском районах Нижегородской области. Устье реки находится в 11 км по правому берегу реки Серёжа. Длина реки составляет 24 км, площадь бассейна — 91 кв км.\nТекст 2: Серёжа — река в Нижегородской области, крупнейший приток Тёши. Устье реки находится в 44 км по правому берегу реки Тёши. Длина реки составляет 196 км, площадь бассейна — 2730 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Тёша от истока до устья, речной подбассейн реки — бассейны притоков Оки от Мокши до впадения в Волгу. Речной бассейн реки — Ока.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Илимдиг?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Онкология", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что изучает наука, которой посвятил себя Константин Петрович Сапожков?", + "support_text": "Сапожков Константин Петрович (27 мая 1874, Сестрорецк – 3 ноября 1952, Иркутск) — врач-хирург, онколог, заслуженный деятель науки РСФСР (1946), доктор медицинских наук, профессор, заведующий кафедрой факультетской хирургии Иркутского государственного медицинского института.", + "text": "Онкология (от — тяжесть, груз, и — учение) — раздел медицины, изучающий доброкачественные и злокачественные опухоли, механизмы и закономерности их возникновения и развития, методы их профилактики, диагностики и лечения. Онкологические болезни представляют собой обширный и разнородный класс заболеваний. Онкологические заболевания являются системными и затрагивают, так или иначе, все органы и системы человека. Существует множество форм и вариантов течения рака.\n\nСмотрите также.\nДоброкачественная опухоль. Злокачественная опухоль. Карцинома." + }, + "outputs": [ + { + "label": "passage", + "length": 43, + "offset": 74, + "segment": "доброкачественные и злокачественные опухоли" + }, + { + "label": "passage", + "length": 43, + "offset": 74, + "segment": "Доброкачественные и злокачественные опухоли" + } + ], + "meta": { + "id": 714, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 95, + "segment": "онколог" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сапожков Константин Петрович (27 мая 1874, Сестрорецк – 3 ноября 1952, Иркутск) — врач-хирург, онколог, заслуженный деятель науки РСФСР (1946), доктор медицинских наук, профессор, заведующий кафедрой факультетской хирургии Иркутского государственного медицинского института.\nТекст 2: Онкология (от — тяжесть, груз, и — учение) — раздел медицины, изучающий доброкачественные и злокачественные опухоли, механизмы и закономерности их возникновения и развития, методы их профилактики, диагностики и лечения. Онкологические болезни представляют собой обширный и разнородный класс заболеваний. Онкологические заболевания являются системными и затрагивают, так или иначе, все органы и системы человека. Существует множество форм и вариантов течения рака.\n\nСмотрите также.\nДоброкачественная опухоль. Злокачественная опухоль. Карцинома.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что изучает наука, которой посвятил себя Константин Петрович Сапожков? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05, + "em": 0 + }, + "predict": " В стране гражданства Чарльза Брэндона, 1-го герцога Саффолка, в то время как он был фаворитом и зятем английского короля Генриха VIII Тюдора, действовал парламент. Это был ключевой законодательный орган, который ограничивал полномочия монарха и фактически узурпировал власть в Англии", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Чарльза Брэндона, 1-го герцога Саффолка?", + "support_text": "Чарльз Брэндон, 1-й герцог Саффолк ( ок. 1484 — 22 августа 1545) — фаворит и зять английского короля Генриха VIII Тюдора. Его супругой была сестра короля, вдовствующая французская королева Мария Тюдор.\n\nБиография.\nПримерно с 1505 по 1509 годы Брэндон служил конюшим у графа Эссекса. Благодаря сэру Томасу, Чарльз также обзавёлся полезными связями и знакомствами среди придворных, а в 1510 году, когда дядя скончался, Брэндон унаследовал от него прибыльную должность маршала долговой тюрьмы в Саутуарке. В 1509 году герцог Йоркский взошёл на трон Англии под именем Генриха VIII. Этот момент можно считать началом успешной политической и придворной карьеры Чарльза Брэндона, который уже тогда был вхож в ближнее окружение молодого короля вместе с , и братьями Гилдфордами — и . С самого начала своего правления Генрих осыпал друзей подарками и всевозможными пожалованиями. Портрет работы , ок. 1500 года. Свершившийся инцидент, однако, ничуть не отразился на дружеских отношениях короля и виконта, и 1 февраля 1514 года Брэндон был возведён в достоинство герцога Саффолка. Ранее титул принадлежал дворянскому роду де ла Поль, и последним его носителем был йоркистский претендент на престол Англии Эдмунд, 3-й герцог Саффолк, казнённый в 1513 году. Наряду с титулом, Брэндон получил земельные владения, конфискованные у де ла Полей.", + "text": "Королевство Англия — государство в Западной Европе, занимавшее южную часть острова Великобритания, известное с 927 года. После объединения с королевством Шотландия в 1707 году трансформировалось в королевство Великобритания. В 927 году англосаксонские королевства были объединены Этельстаном (ок.\n\nИстория.\nНаследником Эдуарда III стал его внук, Ричард II, ставший королём в десятилетнем возрасте. Он показал себя слабым и в то же время деспотичным правителем. Его расточительность и потворство фаворитам вызвали мятеж лордов-апеллянтов, с помощью парламента ограничивших полномочия монарха и фактически узурпировавших власть в Англии. Позднее король сумел освободиться от опеки и расправиться с апеллянтами, но в 1399 году был свергнут своим двоюродным братом Генрихом Болингброком и заключён в замок Понтефракт, где вскоре умер, а сам Генрих был коронован под именем Генриха IV, основав династию Ланкастеров, и правил до 1413 года. В 1607 году была основана первая английская колония в Америке — Вирджиния, а в 1609 году открыта торговая фактория англичан в Индии. Политика абсолютизма и церковные реформы Карла I, наследника Якова I, вызвали восстания в Шотландии и Ирландии и Английскую революцию. В ходе гражданских войн Карл I потерпел поражение, был предан суду парламента и казнён 30 января 1649 года в Лондоне. Королевство было упразднено и заменено на протекторат, который возглавил Оливер Кромвель. Но вскоре после смерти Кромвеля в 1660 году произошла реставрация монархии и королём был провозглашён Карл II, сын Карла I. Его преемник, Яков II, бывший ярым католиком и начал проводить политику, вызвавшую крайнее неудовольствие протестантского большинства и привело к революции, в результате которой он был свергнут и бежал во Францию." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 551, + "segment": "парламента" + }, + { + "label": "passage", + "length": 10, + "offset": 551, + "segment": "парламент" + } + ], + "meta": { + "id": 709, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 551, + "segment": "Англии" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Чарльз Брэндон, 1-й герцог Саффолк ( ок. 1484 — 22 августа 1545) — фаворит и зять английского короля Генриха VIII Тюдора. Его супругой была сестра короля, вдовствующая французская королева Мария Тюдор.\n\nБиография.\nПримерно с 1505 по 1509 годы Брэндон служил конюшим у графа Эссекса. Благодаря сэру Томасу, Чарльз также обзавёлся полезными связями и знакомствами среди придворных, а в 1510 году, когда дядя скончался, Брэндон унаследовал от него прибыльную должность маршала долговой тюрьмы в Саутуарке. В 1509 году герцог Йоркский взошёл на трон Англии под именем Генриха VIII. Этот момент можно считать началом успешной политической и придворной карьеры Чарльза Брэндона, который уже тогда был вхож в ближнее окружение молодого короля вместе с , и братьями Гилдфордами — и . С самого начала своего правления Генрих осыпал друзей подарками и всевозможными пожалованиями. Портрет работы , ок. 1500 года. Свершившийся инцидент, однако, ничуть не отразился на дружеских отношениях короля и виконта, и 1 февраля 1514 года Брэндон был возведён в достоинство герцога Саффолка. Ранее титул принадлежал дворянскому роду де ла Поль, и последним его носителем был йоркистский претендент на престол Англии Эдмунд, 3-й герцог Саффолк, казнённый в 1513 году. Наряду с титулом, Брэндон получил земельные владения, конфискованные у де ла Полей.\nТекст 2: Королевство Англия — государство в Западной Европе, занимавшее южную часть острова Великобритания, известное с 927 года. После объединения с королевством Шотландия в 1707 году трансформировалось в королевство Великобритания. В 927 году англосаксонские королевства были объединены Этельстаном (ок.\n\nИстория.\nНаследником Эдуарда III стал его внук, Ричард II, ставший королём в десятилетнем возрасте. Он показал себя слабым и в то же время деспотичным правителем. Его расточительность и потворство фаворитам вызвали мятеж лордов-апеллянтов, с помощью парламента ограничивших полномочия монарха и фактически узурпировавших власть в Англии. Позднее король сумел освободиться от опеки и расправиться с апеллянтами, но в 1399 году был свергнут своим двоюродным братом Генрихом Болингброком и заключён в замок Понтефракт, где вскоре умер, а сам Генрих был коронован под именем Генриха IV, основав династию Ланкастеров, и правил до 1413 года. В 1607 году была основана первая английская колония в Америке — Вирджиния, а в 1609 году открыта торговая фактория англичан в Индии. Политика абсолютизма и церковные реформы Карла I, наследника Якова I, вызвали восстания в Шотландии и Ирландии и Английскую революцию. В ходе гражданских войн Карл I потерпел поражение, был предан суду парламента и казнён 30 января 1649 года в Лондоне. Королевство было упразднено и заменено на протекторат, который возглавил Оливер Кромвель. Но вскоре после смерти Кромвеля в 1660 году произошла реставрация монархии и королём был провозглашён Карл II, сын Карла I. Его преемник, Яков II, бывший ярым католиком и начал проводить политику, вызвавшую крайнее неудовольствие протестантского большинства и привело к революции, в результате которой он был свергнут и бежал во Францию.\nВопрос: Что за законодательный орган работает в стране гражданства Чарльза Брэндона, 1-го герцога Саффолка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 827, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Северная Литва и южная Латвия.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой части света находится река, воды которой пополняются за счёт реки Вадаксте?", + "support_text": "Вадаксте ( ) — река в южной Латвии и северной Литве, правый приток Венты. Длина составляет 82,2 км, из которых на протяжении более 55 км река составляет границу между этими государствами.\n\nПримечания.\nКатегория:Притоки Венты.", + "text": "Слева. Вента ( , , , ) — река в Литве (где называется Вянта) и Латвии, впадает в Балтийское море. Длина — 346 км (из них в Литве 28 %), площадь водосборного бассейна — 11 800 кв км. Истекает из озёр Мядайнис и Вяню на Жямайтской возвышенности. Наиболее крупные притоки — Абава, Вирвите, Вардува, Вадаксте и Циецере. На территории Литвы на Вянте города Ужвентис, Куршенай, Вянта, Векшняй и Мажейкяй. В Латвии на Венте стоят города Кулдига, Пилтене и Вентспилс. На Венте расположен самый широкий водопад Европы." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 502, + "segment": "Европы" + }, + { + "label": "passage", + "length": 6, + "offset": 502, + "segment": "Европе" + } + ], + "meta": { + "id": 915, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 67, + "segment": "Венты" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вадаксте ( ) — река в южной Латвии и северной Литве, правый приток Венты. Длина составляет 82,2 км, из которых на протяжении более 55 км река составляет границу между этими государствами.\n\nПримечания.\nКатегория:Притоки Венты.\nТекст 2: Слева. Вента ( , , , ) — река в Литве (где называется Вянта) и Латвии, впадает в Балтийское море. Длина — 346 км (из них в Литве 28 %), площадь водосборного бассейна — 11 800 кв км. Истекает из озёр Мядайнис и Вяню на Жямайтской возвышенности. Наиболее крупные притоки — Абава, Вирвите, Вардува, Вадаксте и Циецере. На территории Литвы на Вянте города Ужвентис, Куршенай, Вянта, Векшняй и Мажейкяй. В Латвии на Венте стоят города Кулдига, Пилтене и Вентспилс. На Венте расположен самый широкий водопад Европы.\nОпираясь на данные тексты, ответьте на вопрос: На территории какой части света находится река, воды которой пополняются за счёт реки Вадаксте? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 300, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14634146341463414, + "em": 0 + }, + "predict": " Владимир Пантелеймонович Жузе родился в Казани, которая является городом в России, столицей Республики Татарстан. В Казани главой администрации является мэр, избираемый депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Владимир Пантелеймонович Жузе?", + "support_text": "Владимир Пантелеймонович Жузе (1 октября 1904 года, Казань — 1993 год) — лауреат премии имени А. Ф. Иоффе (1985).\n\nБиография.\nРодился 1 октября 1904 года в Казани. Сын Пантелеймона Жузе. В 1925 году - окончил физический факультет Азербайджанского университета (Баку). Осужден 26 марта 1935 как \"социально опасный элемент\" к ссылке вместе с семьей на 5 лет в Саратов. Работал доцентом Саратовского университета. В 1944 вернулся в ФТИ, находившийся в это время в эвакуации в Казани. После войны возвращается с ФТИ в Ленинград.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 663, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 954, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 52, + "segment": "Казань" + }, + { + "label": "passage", + "length": 6, + "offset": 160, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Владимир Пантелеймонович Жузе?\nТекст 1: Владимир Пантелеймонович Жузе (1 октября 1904 года, Казань — 1993 год) — лауреат премии имени А. Ф. Иоффе (1985).\n\nБиография.\nРодился 1 октября 1904 года в Казани. Сын Пантелеймона Жузе. В 1925 году - окончил физический факультет Азербайджанского университета (Баку). Осужден 26 марта 1935 как \"социально опасный элемент\" к ссылке вместе с семьей на 5 лет в Саратов. Работал доцентом Саратовского университета. В 1944 вернулся в ФТИ, находившийся в это время в эвакуации в Казани. После войны возвращается с ФТИ в Ленинград.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 371, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Валерий Евгеньевич Карпов?", + "support_text": "Валерий Евгеньевич Карпов (5 августа 1971, Челябинск — 10 октября 2014, Берёзовский) — профессиональный российский хоккеист, правый нападающий. Заслуженный мастер спорта России.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1131, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1131, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 228, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 43, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Валерий Евгеньевич Карпов (5 августа 1971, Челябинск — 10 октября 2014, Берёзовский) — профессиональный российский хоккеист, правый нападающий. Заслуженный мастер спорта России.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Валерий Евгеньевич Карпов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 382, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Валентин Резниченко", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где умер Степан Афанасьевич Нечай?", + "support_text": "Степан Афанасьевич Нечай (1919—1943) — старший сержант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nВо главе диверсионной группы Нечай был направлен во вражеский тыл и подорвал 120 метров железнодорожного полотна на магистрали Пятихатки — Днепропетровск, а также сумел добыть важные разведданные. 18 октября 1943 года Нечай погиб при бомбардировке переправы немецкой авиацией. Похоронен в селе Шульговка Петриковского района Днепропетровской области Украины. Указом Президиума Верховного Совета СССР от 22 февраля 1944 года за \"героизм, мужество и отвагу, проявленные при форсировании Днепра\" старший сержант Степан Нечай посмертно был удостоен высокого звания Героя Советского Союза. Также был награждён орденами Ленина и Отечественной войны 1-й степени, медалью.", + "text": "Днепропетровская область — административно-территориальная единица в центральной части Украины. Расположена в среднем течении Днепра.\n\nАдминистративно-территориальное устройство.\n7 . Самопомощь . С 25 марта 2015 года председателем государственной администрации Днепропетровской области является Валентин Резниченко." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 298, + "segment": "Валентин Резниченко" + } + ], + "meta": { + "id": 252, + "bridge_answers": [ + { + "label": "passage", + "length": 24, + "offset": 499, + "segment": "Днепропетровской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Степан Афанасьевич Нечай (1919—1943) — старший сержант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nВо главе диверсионной группы Нечай был направлен во вражеский тыл и подорвал 120 метров железнодорожного полотна на магистрали Пятихатки — Днепропетровск, а также сумел добыть важные разведданные. 18 октября 1943 года Нечай погиб при бомбардировке переправы немецкой авиацией. Похоронен в селе Шульговка Петриковского района Днепропетровской области Украины. Указом Президиума Верховного Совета СССР от 22 февраля 1944 года за \"героизм, мужество и отвагу, проявленные при форсировании Днепра\" старший сержант Степан Нечай посмертно был удостоен высокого звания Героя Советского Союза. Также был награждён орденами Ленина и Отечественной войны 1-й степени, медалью.\nТекст 2: Днепропетровская область — административно-территориальная единица в центральной части Украины. Расположена в среднем течении Днепра.\n\nАдминистративно-территориальное устройство.\n7 . Самопомощь . С 25 марта 2015 года председателем государственной администрации Днепропетровской области является Валентин Резниченко.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где умер Степан Афанасьевич Нечай? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 311, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев является главой администрации в городе Магнитогорске, где родился Анатолий Дмитриевич Кириллов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Анатолий Дмитриевич Кириллов?", + "support_text": "Анатолий Дмитриевич Кириллов (2 октября 1947, Магнитогорск, Челябинская область, СССР — 18 февраля 2021) — доктор исторических наук, профессор Уральского федерального университета, член Академии политической науки, директор Центра истории Свердловской области.", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nЕвгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 499, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 470, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 46, + "segment": "Магнитогорск" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Анатолий Дмитриевич Кириллов (2 октября 1947, Магнитогорск, Челябинская область, СССР — 18 февраля 2021) — доктор исторических наук, профессор Уральского федерального университета, член Академии политической науки, директор Центра истории Свердловской области.\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nЕвгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Анатолий Дмитриевич Кириллов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 247, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Фёдоровка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Сордук?", + "support_text": "Сордук — река в России, протекает в Нагорском районе Кировской области. Устье реки находится в 49 км по правому берегу реки Фёдоровка. Длина реки составляет 42 км, площадь водосборного бассейна 231 кв км. В 18 км перед устьем принимает справа реку Малый Сордук. До впадения Малого Сордука также называется Большой Сордук.", + "text": "Фёдоровка — река в России, протекает главным образом в Нагорском районе Кировской области (небольшой участок верхнего течения находится в Прилузском районе Коми), крупнейший приток реки Кобры (бассейн Волги). Устье реки находится в 51 км по правому берегу реки Кобра. Длина реки составляет 139 км. Крупнейший приток — Мытец. Исток реки в лесах на Северных Увалах близ границы Кировской области и Республики Коми в 62 км к северо-западу от посёлка Нагорск." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 186, + "segment": "Кобры" + }, + { + "label": "passage", + "length": 5, + "offset": 186, + "segment": "Кобра" + } + ], + "meta": { + "id": 270, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 124, + "segment": "Фёдоровка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Сордук — река в России, протекает в Нагорском районе Кировской области. Устье реки находится в 49 км по правому берегу реки Фёдоровка. Длина реки составляет 42 км, площадь водосборного бассейна 231 кв км. В 18 км перед устьем принимает справа реку Малый Сордук. До впадения Малого Сордука также называется Большой Сордук.\nТекст 2: Фёдоровка — река в России, протекает главным образом в Нагорском районе Кировской области (небольшой участок верхнего течения находится в Прилузском районе Коми), крупнейший приток реки Кобры (бассейн Волги). Устье реки находится в 51 км по правому берегу реки Кобра. Длина реки составляет 139 км. Крупнейший приток — Мытец. Исток реки в лесах на Северных Увалах близ границы Кировской области и Республики Коми в 62 км к северо-западу от посёлка Нагорск.\nВопрос: С какой рекой сливается река, в которую впадает Сордук?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.08695652173913045, + "em": 0 + }, + "predict": " Алексей Дюмин является главой администрации в регионе, где родился Павел Александрович Афанасьев. Это подтверждается информацией из второго текста, где указано, что Алексей Дюмин вступил в должность Губернатора Тульской области 22 сентября 2016 года, и Тульская область, в которой родился Афанасьев, является субъектом Российской Федерации.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Павел Александрович Афанасьев?", + "support_text": "Павел Александрович Афанасьев (16 декабря 1922, д. Крутицы, Киреевского района Тульской области — 26 ноября 1990, Москва) — советский офицер, участник Великой Отечественной войны. Герой Советского Союза (1944).\n\nБиография.\nРодился в селе Крутицы, Крапивенского уезда, Тульской губернии (ныне Киреевского района Тульской области). Русский.", + "text": "Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 333, + "segment": "Алексей Дюмин" + } + ], + "meta": { + "id": 572, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 79, + "segment": "Тульской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Павел Александрович Афанасьев (16 декабря 1922, д. Крутицы, Киреевского района Тульской области — 26 ноября 1990, Москва) — советский офицер, участник Великой Отечественной войны. Герой Советского Союза (1944).\n\nБиография.\nРодился в селе Крутицы, Крапивенского уезда, Тульской губернии (ныне Киреевского района Тульской области). Русский.\nТекст 2: Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области.\nВопрос: Кто является главой администрации в регионе, где родился Павел Александрович Афанасьев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2, + "em": 0 + }, + "predict": " Городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Михаил Анисимович Исайко?", + "support_text": "Исайко Михаил Анисимович (1908—1992) — командир взвода автоматчиков 492-го стрелкового полка 199-й стрелковой Смоленской дивизии 49-й армии 2-го Белорусского фронта, старшина.\n\nБиография.\nЖил в Горьком (ныне — Нижний Новгород). Затем работал шофёром по перегону автомашин в спецавтохозяйстве. Избирался депутатом Горьковского городского Совета. Умер 23 декабря 1992 года. Похоронен в Нижнем Новгороде на Старом Автозаводском кладбище. Был также награждён орденами Красного Знамени (12.04.1945), 2 орденами Отечественной войны 1-й степени (26.11.1944; 06.04.1985), орденом Отечественной войны 2-й степени (14.01.1944), 2 орденами Красной Звезды (30.09.1943; 30.12.1956), медалью \"За отвагу\" (08.09.1943), другими медалями.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1088, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 790, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 387, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Исайко Михаил Анисимович (1908—1992) — командир взвода автоматчиков 492-го стрелкового полка 199-й стрелковой Смоленской дивизии 49-й армии 2-го Белорусского фронта, старшина.\n\nБиография.\nЖил в Горьком (ныне — Нижний Новгород). Затем работал шофёром по перегону автомашин в спецавтохозяйстве. Избирался депутатом Горьковского городского Совета. Умер 23 декабря 1992 года. Похоронен в Нижнем Новгороде на Старом Автозаводском кладбище. Был также награждён орденами Красного Знамени (12.04.1945), 2 орденами Отечественной войны 1-й степени (26.11.1944; 06.04.1985), орденом Отечественной войны 2-й степени (14.01.1944), 2 орденами Красной Звезды (30.09.1943; 30.12.1956), медалью \"За отвагу\" (08.09.1943), другими медалями.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где умер Михаил Анисимович Исайко? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 566, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Грязненка впадает в реку Изверь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Грязненка?", + "support_text": "Грязненка — река в Калужской области России. Протекает по территории Износковского и Дзержинского районов. Исток — в урочище Мятлевское лесничество, юго-восточнее посёлка Мятлево, впадает в реку Изверь в 20 км от её устья по левому берегу. Длина реки составляет 15 км, площадь водосборного бассейна — 79,7 кв км.", + "text": "Изверь — река в России, протекает в Калужской области по территории Износковского и Дзержинского районов. Устье реки находится в 47 км по левому берегу реки Угры. Длина реки составляет 72 км, площадь водосборного бассейна — 504 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 157, + "segment": "Угры" + }, + { + "label": "passage", + "length": 4, + "offset": 157, + "segment": "Угра" + } + ], + "meta": { + "id": 337, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 195, + "segment": "Изверь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Грязненка?\nТекст 1: Грязненка — река в Калужской области России. Протекает по территории Износковского и Дзержинского районов. Исток — в урочище Мятлевское лесничество, юго-восточнее посёлка Мятлево, впадает в реку Изверь в 20 км от её устья по левому берегу. Длина реки составляет 15 км, площадь водосборного бассейна — 79,7 кв км.\nТекст 2: Изверь — река в России, протекает в Калужской области по территории Износковского и Дзержинского районов. Устье реки находится в 47 км по левому берегу реки Угры. Длина реки составляет 72 км, площадь водосборного бассейна — 504 кв км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Палата депутатов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Марко Муньос?", + "support_text": "Марко Муньос (9 марта 1957, Ла-Пас, Мексика) — мексиканский актёр.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 551, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 779, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 47, + "segment": "мексиканский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Марко Муньос (9 марта 1957, Ла-Пас, Мексика) — мексиканский актёр.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии.\nВопрос: Как называется законодательный орган государства, гражданином которого является Марко Муньос?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 261, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Сёвъя.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Лямьинъя?", + "support_text": "Лямьинъя (\"устар.\" Лямьин-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 24 км по левому берегу реки Сёвъя. Длина реки составляет 13 км.", + "text": "Сёвъя (\"устар.\" Сёв-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 475 км по правому берегу реки Северная Сосьва. Длина реки составляет 40 км. В 24 км по левому берегу впадает река Лямьинъя.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 128, + "segment": "Северная Сосьва" + } + ], + "meta": { + "id": 837, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 132, + "segment": "Сёвъя" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Лямьинъя (\"устар.\" Лямьин-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 24 км по левому берегу реки Сёвъя. Длина реки составляет 13 км.\nТекст 2: Сёвъя (\"устар.\" Сёв-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 475 км по правому берегу реки Северная Сосьва. Длина реки составляет 40 км. В 24 км по левому берегу впадает река Лямьинъя.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Лямьинъя?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Мулонда впадает в реку Вага, которая является её притоком.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Большая Мулонда?", + "support_text": "Большая Мулонда — малая река в Вельском районе Архангельской области, правый приток Ваги. Длина — 26 км.\n\nДанные водного реестра.\n* Бассейновый округ — Двинско-Печорский. Речной бассейн — Северная Двина. Речной подбассейн — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Водохозяйственный участок — Вага.", + "text": "Вага — река в Вологодской и Архангельской областях России, крупнейший левый приток Северной Двины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 83, + "segment": "Северной Двины" + }, + { + "label": "passage", + "length": 14, + "offset": 83, + "segment": "Северную Двину" + } + ], + "meta": { + "id": 331, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 84, + "segment": "Ваги" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Большая Мулонда — малая река в Вельском районе Архангельской области, правый приток Ваги. Длина — 26 км.\n\nДанные водного реестра.\n* Бассейновый округ — Двинско-Печорский. Речной бассейн — Северная Двина. Речной подбассейн — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Водохозяйственный участок — Вага.\nТекст 2: Вага — река в Вологодской и Архангельской областях России, крупнейший левый приток Северной Двины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина.\nВопрос: В какую реку впадает река, притоком которой является Большая Мулонда?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где родилась Гульсум Мусеевна Болгарская, является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Гульсум Мусеевна Болгарская?", + "support_text": "Гульсум Мусеевна Болгарская (Азимова-Кульмамет-Мустафина) (15 октября 1891, Казань — 10 января 1968, там же), (тат. Өммегөлсем Муса кызы Әҗимова-Колмәмәт-Мостафина) — татарская актриса, Народная артистка Татарской АССР, Заслуженная артистка РСФСР.\n\nЛитература.\n\"Татарский энциклопедический словарь\" Институт Татарской энциклопедии АН РТ, Казань, 1999. Д.А.Гимранова \"Татарская энциклопедия\" Институт Татарской энциклопедии АН РТ, Казань, 2002. Ф.Шарафеев \"Гульсум Болгарская\" Казань, 1957.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 548, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 961, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 76, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Гульсум Мусеевна Болгарская (Азимова-Кульмамет-Мустафина) (15 октября 1891, Казань — 10 января 1968, там же), (тат. Өммегөлсем Муса кызы Әҗимова-Колмәмәт-Мостафина) — татарская актриса, Народная артистка Татарской АССР, Заслуженная артистка РСФСР.\n\nЛитература.\n\"Татарский энциклопедический словарь\" Институт Татарской энциклопедии АН РТ, Казань, 1999. Д.А.Гимранова \"Татарская энциклопедия\" Институт Татарской энциклопедии АН РТ, Казань, 2002. Ф.Шарафеев \"Гульсум Болгарская\" Казань, 1957.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nВопрос: Кто является главой администрации в городе, где родилась Гульсум Мусеевна Болгарская?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 395, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Мичуг сливается с рекой Межа.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Мичуг?", + "support_text": "Мичуг — река в России, протекает в Никольском районе Вологодской области и Межевском районе Костромской области. Длина реки составляет 34 км. Является левой составляющей реки Межа, образует её слиянием с рекой Конюг в 186 км от устья Межи. Мичуг начинается в лесном массиве в Вологодской области в 40 км к юго-западу от города Никольск. Неподалёку расположен исток реки Куданга (приток реки Юг), здесь проходит водораздел бассейнов Волги и Северной Двины. Течёт на юг по заболоченному ненаселённому лесу, собирая воду многочисленных небольших притоков.", + "text": "Межа — река в Костромской области России. Левый приток реки Унжи (бассейн Волги). Протекает по территории Межевского и Мантуровского районов. Длина — 186 километров, площадь бассейна — 2630 кв км, средний расход воды в 30 километрах от устья — 17,9 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Унжа от истока и до устья, речной подбассейн реки — Бассей притоков Волги ниже Рыбинского водохранилища до впадения Оки. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки)." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 60, + "segment": "Унжи" + }, + { + "label": "passage", + "length": 4, + "offset": 60, + "segment": "Унжа" + } + ], + "meta": { + "id": 878, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 175, + "segment": "Межа" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Мичуг — река в России, протекает в Никольском районе Вологодской области и Межевском районе Костромской области. Длина реки составляет 34 км. Является левой составляющей реки Межа, образует её слиянием с рекой Конюг в 186 км от устья Межи. Мичуг начинается в лесном массиве в Вологодской области в 40 км к юго-западу от города Никольск. Неподалёку расположен исток реки Куданга (приток реки Юг), здесь проходит водораздел бассейнов Волги и Северной Двины. Течёт на юг по заболоченному ненаселённому лесу, собирая воду многочисленных небольших притоков.\nТекст 2: Межа — река в Костромской области России. Левый приток реки Унжи (бассейн Волги). Протекает по территории Межевского и Мантуровского районов. Длина — 186 километров, площадь бассейна — 2630 кв км, средний расход воды в 30 километрах от устья — 17,9 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Унжа от истока и до устья, речной подбассейн реки — Бассей притоков Волги ниже Рыбинского водохранилища до впадения Оки. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки).\nВопрос: С какой рекой сливается река, в которую впадает Мичуг?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 30 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где родился Махмуд Керим оглы Керимов, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Махмуд Керим оглы Керимов?", + "support_text": "Махмуд Керим оглы Керимов ( 18 октября 1948 — 10 февраля 2013) — азербайджанский физик. Доктор физико-математических наук, профессор, президент Национальной академии наук Азербайджана (НАНА).\n\nОбщие сведения.\nРодился в Армении, в городе Ереван. В 1971 году окончил физический факультет Азербайджанского государственного университета.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 303, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 241, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за законодательный орган работает в городе, где родился Махмуд Керим оглы Керимов?\nТекст 1: Махмуд Керим оглы Керимов ( 18 октября 1948 — 10 февраля 2013) — азербайджанский физик. Доктор физико-математических наук, профессор, президент Национальной академии наук Азербайджана (НАНА).\n\nОбщие сведения.\nРодился в Армении, в городе Ереван. В 1971 году окончил физический факультет Азербайджанского государственного университета.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 254, + "generated_len": [ + 30 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.625, + "em": 0 + }, + "predict": " Михаил Евграфович Салтыков-Щедрин родился в селе Спас-Угол Калязинского уезда Тверской губернии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился автор произведения \"Дикий помещик\"?", + "support_text": "'Дикий помещик' — сатирическая сказка Салтыкова-Щедрина, впервые опубликованная в 1869 году.", + "text": "Михаил Евграфович Салтыков-Щедрин (настоящая фамилия Салтыков, псевдоним Николай Щедрин; — ) — русский писатель, журналист, редактор журнала \"Отечественные записки\", Рязанский и Тверской вице-губернатор.\n\nБиография.\nРанние годы. Михаил Евграфович Салтыков родился 15 (27) января 1826 года в старинной дворянской семье в имении родителей в селе Спас-Угол Калязинского уезда Тверской губернии. Был шестым ребёнком потомственного дворянина и коллежского советника Евграфа Васильевича Салтыкова (1776—1851).\n\nПамять.\nМемориальные музеи Салтыкова-Щедрина существует в:. ** Кирове. ** Твери. ** селе Спас-Угол Талдомского района Московской области. Памятники писателю установлены в:. Лебяжье, памятник Салтыкову-Щедрину." + }, + "outputs": [ + { + "label": "passage", + "length": 46, + "offset": 348, + "segment": "Спас-Угол Калязинского уезда Тверской губернии" + }, + { + "label": "passage", + "length": 14, + "offset": 343, + "segment": "селе Спас-Угол" + }, + { + "label": "passage", + "length": 9, + "offset": 348, + "segment": "Спас-Угол" + }, + { + "label": "passage", + "length": 14, + "offset": 343, + "segment": "Селе Спас-Угол" + } + ], + "meta": { + "id": 817, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 38, + "segment": "Салтыкова-Щедрина" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Где родился автор произведения \"Дикий помещик\"?\nТекст 1: 'Дикий помещик' — сатирическая сказка Салтыкова-Щедрина, впервые опубликованная в 1869 году.\nТекст 2: Михаил Евграфович Салтыков-Щедрин (настоящая фамилия Салтыков, псевдоним Николай Щедрин; — ) — русский писатель, журналист, редактор журнала \"Отечественные записки\", Рязанский и Тверской вице-губернатор.\n\nБиография.\nРанние годы. Михаил Евграфович Салтыков родился 15 (27) января 1826 года в старинной дворянской семье в имении родителей в селе Спас-Угол Калязинского уезда Тверской губернии. Был шестым ребёнком потомственного дворянина и коллежского советника Евграфа Васильевича Салтыкова (1776—1851).\n\nПамять.\nМемориальные музеи Салтыкова-Щедрина существует в:. ** Кирове. ** Твери. ** селе Спас-Угол Талдомского района Московской области. Памятники писателю установлены в:. Лебяжье, памятник Салтыкову-Щедрину.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": [ + 30 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Печора", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Борис-Ёль?", + "support_text": "Борис-Ёль — река в России, протекает в Республике Коми по территории района Печора. Правый приток реки Печора.", + "text": "Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nШирина русла здесь достигает 2 км, в долине появляются обширные пойменные луга. В районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 546, + "segment": "Печорскую губу Печорского моря" + }, + { + "label": "passage", + "length": 15, + "offset": 561, + "segment": "Печорского моря" + }, + { + "label": "passage", + "length": 14, + "offset": 546, + "segment": "Печорскую губу" + }, + { + "label": "passage", + "length": 15, + "offset": 561, + "segment": "Печорское море" + } + ], + "meta": { + "id": 902, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 76, + "segment": "Печора" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Борис-Ёль — река в России, протекает в Республике Коми по территории района Печора. Правый приток реки Печора.\nТекст 2: Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nШирина русла здесь достигает 2 км, в долине появляются обширные пойменные луга. В районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Борис-Ёль? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 266, + "generated_len": [ + 30 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Енисей", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Шамбато?", + "support_text": "Шамбато — река в Таймырском Долгано-Ненецком районе Красноярского края, левый приток реки Енисея. Образуется слиянием Левого Шамбато и Правого Шамбато примерно в 10 км от устья. По ГВР длина реки составляет 40 км, в Шамбато впадают два безымянных притока: в 10 км по левому берегу, длиной 33 км и в 23 км по правому, длиной 11 км. Шамбато впадает в Енисей на расстоянии 92 км от устья, севернее озера \"Прибрежное\". По данным государственного водного реестра России относится к Енисейскому бассейновому округу.", + "text": "Енисей (нен. \"Ензя’ ям’\", эвенк. \"Ионэси\", южноселькупск.\n\nГеография.\nНиже этого створа начинается расширение Енисейского залива с пойменной (слева) и островной (справа) многорукавностью: ниже посёлка Усть-Порт расположена собственно дельта Енисея, выдвинувшаяся в залив в виде сочетания рукавов и проток с осерёдками и пойменными массивами — вплоть до 71-й параллели, где ширина залива увеличивается до 44 км. В дельте также отмечен промывной режим. Бреховскими островами Енисейский залив делится на множество проток, из которых выделяются четыре основные рукава: \"Охотский Енисей\", \"Каменный Енисей\", \"Большой Енисей\" и \"Малый Енисей\"; общая ширина залива здесь составляет 50 км. Ниже по течению Енисейский залив Карского моря принимает форму эстуария." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 113, + "segment": "Енисейского залива" + } + ], + "meta": { + "id": 274, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 90, + "segment": "Енисея" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Шамбато — река в Таймырском Долгано-Ненецком районе Красноярского края, левый приток реки Енисея. Образуется слиянием Левого Шамбато и Правого Шамбато примерно в 10 км от устья. По ГВР длина реки составляет 40 км, в Шамбато впадают два безымянных притока: в 10 км по левому берегу, длиной 33 км и в 23 км по правому, длиной 11 км. Шамбато впадает в Енисей на расстоянии 92 км от устья, севернее озера \"Прибрежное\". По данным государственного водного реестра России относится к Енисейскому бассейновому округу.\nТекст 2: Енисей (нен. \"Ензя’ ям’\", эвенк. \"Ионэси\", южноселькупск.\n\nГеография.\nНиже этого створа начинается расширение Енисейского залива с пойменной (слева) и островной (справа) многорукавностью: ниже посёлка Усть-Порт расположена собственно дельта Енисея, выдвинувшаяся в залив в виде сочетания рукавов и проток с осерёдками и пойменными массивами — вплоть до 71-й параллели, где ширина залива увеличивается до 44 км. В дельте также отмечен промывной режим. Бреховскими островами Енисейский залив делится на множество проток, из которых выделяются четыре основные рукава: \"Охотский Енисей\", \"Каменный Енисей\", \"Большой Енисей\" и \"Малый Енисей\"; общая ширина залива здесь составляет 50 км. Ниже по течению Енисейский залив Карского моря принимает форму эстуария.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Шамбато? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": [ + 30 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательная власть в городе, где родился Арутюн Минасович Минасян, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Арутюн Минасович Минасян?", + "support_text": "Арутюн Минасович Минасян (15 ноября 1954, Ереван — советский и французский футболист, полузащитник. Мастер спорта СССР. Начинал играть в дубле ереванского \"Арарата\" в 1972 году.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 353, + "segment": "городским советом" + } + ], + "meta": { + "id": 648, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 42, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Арутюн Минасович Минасян (15 ноября 1954, Ереван — советский и французский футболист, полузащитник. Мастер спорта СССР. Начинал играть в дубле ереванского \"Арарата\" в 1972 году.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Что за законодательный орган работает в городе, где родился Арутюн Минасович Минасян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": [ + 30 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Олег Валентинович Горюнов?", + "support_text": "Олег Валентинович Горюнов (6 ноября 1952 года, Казань, ТатССР — 29 мая 2015 года, Пермь, Россия) — советский и российский архитектор, главный архитектор Перми (2001—2003), член Союза архитекторов СССР и России, почётный архитектор России.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 757, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 531, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 47, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Олег Валентинович Горюнов (6 ноября 1952 года, Казань, ТатССР — 29 мая 2015 года, Пермь, Россия) — советский и российский архитектор, главный архитектор Перми (2001—2003), член Союза архитекторов СССР и России, почётный архитектор России.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Олег Валентинович Горюнов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 297, + "generated_len": [ + 30 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Византийская империя.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая страна прежде находилась на территории государства, гражданином которого являлся Пахомий Русан?", + "support_text": "Пахомий Русан по прозвищу Ракендит (Рубищеносец), известный, так же как Иосиф Философ ; около 1260 или 1280, остров Итака — Фессалоника) — византийский монах с Афона, учёный-энциклопедист, исихаст.", + "text": "Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы. В дальнейшем под натиском многочисленных врагов государство постепенно утрачивало земли. После славянских, булгарских, лангобардских, вестготских и арабских завоеваний империя занимала лишь территорию Греции и Малой Азии.\n\nНазвание.\nОфициальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римской империи" + }, + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римская империя" + } + ], + "meta": { + "id": 1010, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 139, + "segment": "византийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Пахомий Русан по прозвищу Ракендит (Рубищеносец), известный, так же как Иосиф Философ ; около 1260 или 1280, остров Итака — Фессалоника) — византийский монах с Афона, учёный-энциклопедист, исихаст.\nТекст 2: Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы. В дальнейшем под натиском многочисленных врагов государство постепенно утрачивало земли. После славянских, булгарских, лангобардских, вестготских и арабских завоеваний империя занимала лишь территорию Греции и Малой Азии.\n\nНазвание.\nОфициальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи.\nВопрос: Какая страна прежде находилась на территории государства, гражданином которого являлся Пахомий Русан?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 557, + "generated_len": [ + 30 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Инцкуры впадает в реку Лыльйок.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Инцкуры?", + "support_text": "Инцкуры — река в России, протекает по Ловозерскому району Мурманской области. Длина реки составляет 14 км. Вытекает из озера Инцкуръявр, лежащего на высоте 255 метров над уровнем моря. Течёт в общем северо-западном направлении по заболоченной тундренной местности, в самых низовьях поворачивает на юго-запад. Порожиста. Устье реки находится в 22 км по правому берегу реки Лыльйок на высоте 209 метров над уровнем моря.", + "text": "Лыльйок — река в России, протекает по Ловозерскому району Мурманской области. Длина реки составляет 50 км, площадь водосборного бассейна 504 кв км. Начинается в заболоченной тундре на восточном склоне горы Ванчемтыйн на высоте около 300 метров над уровнем моря. Течёт в общем северном направлении среди обильной болотами и мелкими озёрами безлесой местности. В среднем и нижнем течении порожиста. Устье реки находится в 26 км по правому берегу реки Иоканга на высоте 96 метров над уровнем моря.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Баренцево-Беломорскому бассейновому округу, водохозяйственный участок реки — реки бассейна Баренцева моря от восточной границы бассейна реки Воронья до западной границы бассейна реки Иоканга (мыс Святой Нос). Речной бассейн реки — бассейны рек Кольского полуострова, впадает в Баренцево море." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 449, + "segment": "Иоканга" + } + ], + "meta": { + "id": 1043, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 372, + "segment": "Лыльйок" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Инцкуры?\nТекст 1: Инцкуры — река в России, протекает по Ловозерскому району Мурманской области. Длина реки составляет 14 км. Вытекает из озера Инцкуръявр, лежащего на высоте 255 метров над уровнем моря. Течёт в общем северо-западном направлении по заболоченной тундренной местности, в самых низовьях поворачивает на юго-запад. Порожиста. Устье реки находится в 22 км по правому берегу реки Лыльйок на высоте 209 метров над уровнем моря.\nТекст 2: Лыльйок — река в России, протекает по Ловозерскому району Мурманской области. Длина реки составляет 50 км, площадь водосборного бассейна 504 кв км. Начинается в заболоченной тундре на восточном склоне горы Ванчемтыйн на высоте около 300 метров над уровнем моря. Течёт в общем северном направлении среди обильной болотами и мелкими озёрами безлесой местности. В среднем и нижнем течении порожиста. Устье реки находится в 26 км по правому берегу реки Иоканга на высоте 96 метров над уровнем моря.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Баренцево-Беломорскому бассейновому округу, водохозяйственный участок реки — реки бассейна Баренцева моря от восточной границы бассейна реки Воронья до западной границы бассейна реки Иоканга (мыс Святой Нос). Речной бассейн реки — бассейны рек Кольского полуострова, впадает в Баренцево море.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 373, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Волошная впадает в реку Юзу.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Волошная?", + "support_text": "Волошная — река в Вологодской области России.\n\nОбщая информация.\nПротекает в южном направлении по территории Бабушкинского района. Впадает в реку Юзу в 29,6 км от её устья по правому берегу. Длина реки составляет 15 км, площадь водосборного бассейна — 43,6 кв км. Населённых пунктов на реке нет.", + "text": "Юза — река в Вологодской области России.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Унжа от истока и до устья, речной подбассейн реки — Бассейн притоков Волги ниже Рыбинского водохранилища до впадения Оки. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 08010300312110000014634." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 201, + "segment": "Унжа" + } + ], + "meta": { + "id": 10, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 149, + "segment": "Юзу" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Волошная — река в Вологодской области России.\n\nОбщая информация.\nПротекает в южном направлении по территории Бабушкинского района. Впадает в реку Юзу в 29,6 км от её устья по правому берегу. Длина реки составляет 15 км, площадь водосборного бассейна — 43,6 кв км. Населённых пунктов на реке нет.\nТекст 2: Юза — река в Вологодской области России.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Унжа от истока и до устья, речной подбассейн реки — Бассейн притоков Волги ниже Рыбинского водохранилища до впадения Оки. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 08010300312110000014634.\nВопрос: В какую реку впадает река, притоком которой является Волошная?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 274, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.8571428571428571, + "em": 0 + }, + "predict": " Зеленоградский административный округ, Москва.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы находится город рождения Матвея Павловича Елисеева?", + "support_text": "Матвей Павлович Елисеев (род. 31 марта 1993, Зеленоград, Москва) — российский биатлонист, бронзовый призёр чемпионата мира 2019 года в эстафете, чемпион Европы 2016 года в смешанной эстафете, чемпион Европы 2020 года в спринте. Заслуженный мастер спорта России (2019).", + "text": "Зеленоград (букв. \"зелёный город\"; офиц. \"Зеленоградский административный округ\") — один из 12 административных округов Москвы. По состоянию на 2020 год самый маленький по территории и предпоследний по населению округ Москвы. Вместе с тем Зеленоград как обособленный населённый пункт мог бы войти в пятёрку крупнейших городов Подмосковья (уступая Балашихе, Подольску, Химкам и опережая Королёв) и в первую сотню городов России. Со всех сторон окружён территорией Московской области и является самым крупным эксклавом Москвы: практически со всех сторон окружён территорией городского округа Солнечногорск, за исключением небольшого участка на юго-востоке, где Зеленоград граничит с городским округом Химки. В состав Зеленограда входят также посёлок Малино, часть посёлка Алабушево, деревни: Кутузово, Новомалино и Рожки." + }, + "outputs": [ + { + "label": "passage", + "length": 37, + "offset": 42, + "segment": "Зеленоградский административный округ" + } + ], + "meta": { + "id": 920, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 45, + "segment": "Зеленоград, Москва" + }, + { + "label": "passage", + "length": 10, + "offset": 45, + "segment": "Зеленоград" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Матвей Павлович Елисеев (род. 31 марта 1993, Зеленоград, Москва) — российский биатлонист, бронзовый призёр чемпионата мира 2019 года в эстафете, чемпион Европы 2016 года в смешанной эстафете, чемпион Европы 2020 года в спринте. Заслуженный мастер спорта России (2019).\nТекст 2: Зеленоград (букв. \"зелёный город\"; офиц. \"Зеленоградский административный округ\") — один из 12 административных округов Москвы. По состоянию на 2020 год самый маленький по территории и предпоследний по населению округ Москвы. Вместе с тем Зеленоград как обособленный населённый пункт мог бы войти в пятёрку крупнейших городов Подмосковья (уступая Балашихе, Подольску, Химкам и опережая Королёв) и в первую сотню городов России. Со всех сторон окружён территорией Московской области и является самым крупным эксклавом Москвы: практически со всех сторон окружён территорией городского округа Солнечногорск, за исключением небольшого участка на юго-востоке, где Зеленоград граничит с городским округом Химки. В состав Зеленограда входят также посёлок Малино, часть посёлка Алабушево, деревни: Кутузово, Новомалино и Рожки.\nОпираясь на факты в данных текстах, ответьте на вопрос: На территории какой административно-территориальной единицы находится город рождения Матвея Павловича Елисеева? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 329, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Мезень.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Средняя Попьюга?", + "support_text": "Средняя Попьюга (Белощельская Рассоха) — река в России, протекает по Архангельской области, Республике Коми. Устье реки находится в 8 км по правому берегу реки Попьюга. Длина реки составляет 14 км.", + "text": "Попьюга — река в России, протекает по Архангельской области, Республике Коми. Устье реки находится в 282 км по правому берегу реки Мезень. Длина реки составляет 8 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от истока до водомерного поста у деревни Малонисогорская. Речной бассейн реки — Мезень. Код объекта в государственном водном реестре — 03030000112103000045876." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 131, + "segment": "Мезень" + } + ], + "meta": { + "id": 742, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 8, + "segment": "Попьюга" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Средняя Попьюга (Белощельская Рассоха) — река в России, протекает по Архангельской области, Республике Коми. Устье реки находится в 8 км по правому берегу реки Попьюга. Длина реки составляет 14 км.\nТекст 2: Попьюга — река в России, протекает по Архангельской области, Республике Коми. Устье реки находится в 282 км по правому берегу реки Мезень. Длина реки составляет 8 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от истока до водомерного поста у деревни Малонисогорская. Речной бассейн реки — Мезень. Код объекта в государственном водном реестре — 03030000112103000045876.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Средняя Попьюга?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Альберт Ильдарович Яруллин родился в Казани, и в городе, где он родился, главой администрации является мэр. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Альберт Ильдарович Яруллин?", + "support_text": "Thumb. Альберт Ильдарович Яруллин (р. 3 мая 1993, Казань) — российский хоккеист, защитник. Воспитанник казанского хоккея. В настоящее время является игроком казанского \"Ак Барса\", выступающего в КХЛ.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 617, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 469, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Альберт Ильдарович Яруллин?\nТекст 1: Thumb. Альберт Ильдарович Яруллин (р. 3 мая 1993, Казань) — российский хоккеист, защитник. Воспитанник казанского хоккея. В настоящее время является игроком казанского \"Ак Барса\", выступающего в КХЛ.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 296, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Юрий Цкипури", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Вячеслав Александрович Артамонов?", + "support_text": "Вячеслав Александрович Артамонов (род. 2 октября 1946, Тула) — советский и российский -алгебраист.\n\nБиография.\nРодился 2 октября 1946 года в Туле. В 1963 году поступил на механико-математический факультет МГУ и в 1968 году окончил его. В 1968—1970 проходил обучение в аспирантуре мехмата; научный руководитель — профессор А. Г. Курош.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км. По итогам проводившегося в 2014 году Всероссийского конкурса на звание \"Самого благоустроенного городского (сельского) поселения России\" Тула заняла третье место в категории \"Городские поселения (городские округа), являющиеся административными центрами (столицами) субъектов Российской Федерации\".\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 1018, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 183, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 55, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вячеслав Александрович Артамонов (род. 2 октября 1946, Тула) — советский и российский -алгебраист.\n\nБиография.\nРодился 2 октября 1946 года в Туле. В 1963 году поступил на механико-математический факультет МГУ и в 1968 году окончил его. В 1968—1970 проходил обучение в аспирантуре мехмата; научный руководитель — профессор А. Г. Курош.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км. По итогам проводившегося в 2014 году Всероссийского конкурса на звание \"Самого благоустроенного городского (сельского) поселения России\" Тула заняла третье место в категории \"Городские поселения (городские округа), являющиеся административными центрами (столицами) субъектов Российской Федерации\".\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Вячеслав Александрович Артамонов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3157894736842105, + "em": 0 + }, + "predict": " Самвел Мисакович Баласанян является главой администрации в городе, где родился Левон Геворкович Исаакян, — городе Гюмри.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Левон Геворкович Исаакян?", + "support_text": "Левон Геворкович Исаакян (17 апреля 1908, Александрополь, Российская империя — 3 марта 2010) — советский кинорежиссёр и сценарист. Заслуженный деятель искусств Армянской ССР. Член КПСС с 1946 года. До своей смерти был самым пожилым кинорежиссёром в мире.\n\nБиография.\nЛевон Исаакян родился в Александрополе (ныне Гюмри). С детства увлекался кинематографом.", + "text": "Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 496, + "segment": "Баласанян, Самвел Мисакович" + }, + { + "label": "passage", + "length": 27, + "offset": 496, + "segment": "Самвел Мисакович Баласанян" + } + ], + "meta": { + "id": 201, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 315, + "segment": "Гюмри" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Левон Геворкович Исаакян?\nТекст 1: Левон Геворкович Исаакян (17 апреля 1908, Александрополь, Российская империя — 3 марта 2010) — советский кинорежиссёр и сценарист. Заслуженный деятель искусств Армянской ССР. Член КПСС с 1946 года. До своей смерти был самым пожилым кинорежиссёром в мире.\n\nБиография.\nЛевон Исаакян родился в Александрополе (ныне Гюмри). С детства увлекался кинематографом.\nТекст 2: Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 317, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кечёвка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Кечёвка?", + "support_text": "Кечёвка — река в Удмуртии, левый приток реки Иж. Длина реки — 14 км. Протекает по западной части Малопургинского района. Впадает в Иж в посёлке Яган. В верхней части течёт на север, здесь на берегах плотно расположены населённые пункты Верхнее Кечёво, Кечёво, Среднее- и Нижнее Кечёво, а реку пересекает железнодорожная магистраль Москва — Екатеринбург. В нижней части река течёт на северо-запад и на запад.", + "text": "Иж ( ) — река в Удмуртии и Татарстане, правый приток Камы. С 1978 года является памятником природы регионального значения Татарстана.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Иж от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010101212111100026890." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 53, + "segment": "Камы" + }, + { + "label": "passage", + "length": 4, + "offset": 53, + "segment": "Кама" + } + ], + "meta": { + "id": 759, + "bridge_answers": [ + { + "label": "passage", + "length": 2, + "offset": 45, + "segment": "Иж" + }, + { + "label": "passage", + "length": 2, + "offset": 131, + "segment": "Иж" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Кечёвка?\nТекст 1: Кечёвка — река в Удмуртии, левый приток реки Иж. Длина реки — 14 км. Протекает по западной части Малопургинского района. Впадает в Иж в посёлке Яган. В верхней части течёт на север, здесь на берегах плотно расположены населённые пункты Верхнее Кечёво, Кечёво, Среднее- и Нижнее Кечёво, а реку пересекает железнодорожная магистраль Москва — Екатеринбург. В нижней части река течёт на северо-запад и на запад.\nТекст 2: Иж ( ) — река в Удмуртии и Татарстане, правый приток Камы. С 1978 года является памятником природы регионального значения Татарстана.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Иж от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010101212111100026890.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 286, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " с рекой Северная Тошемка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Саума?", + "support_text": "Саума — река в Свердловской области России. Устье реки находится в 7,7 км по правому берегу реки Северная Тошемка. Длина реки составляет 15 км.", + "text": "Северная Тошемка (в верховье — Большая Тошемка) — река в Свердловской области. Устье реки находится в 501 км по правому берегу реки Лозьва. Длина реки составляет 72 км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 132, + "segment": "Лозьва" + } + ], + "meta": { + "id": 618, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 97, + "segment": "Северная Тошемка" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Саума — река в Свердловской области России. Устье реки находится в 7,7 км по правому берегу реки Северная Тошемка. Длина реки составляет 15 км.\nТекст 2: Северная Тошемка (в верховье — Большая Тошемка) — река в Свердловской области. Устье реки находится в 501 км по правому берегу реки Лозьва. Длина реки составляет 72 км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Саума?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган, который работает в стране гражданства Франсуа Вейергана, — это Федеральный парламент Бельгии, состоящий из двух палат: палаты представителей и сената. Обе палаты избираются прямым голосованием раз в четыре года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Франсуа Вейергана?", + "support_text": "Франсуа Вейерган ( 2 августа 1941, Эттербек — 27 мая 2019) — бельгийский писатель, лауреат Гонкуровской премии (2005) за роман \"Три дня у моей матери\".\n\nБиография.\nФрансуа Вейерган родился 2 августа 1941 года в Эттербеке (Брюссель), Бельгия в семье писателя Франца Вейергана. Он получил образование в Брюсселе, в коллеже Сен-Мишель, после чего поступает в Париже на курсы Института Высших Кинематографических Исследований (IDHEC), где интересуется фильмами Роберта Брессона и Жана-Люка Годара.\n\nНаграды.\nПремия Роджера-Нимье (1973) за книгу \"Питр\" . Премия Росселя (Бельгия) за роман \"Macaire le Copte\". Гран-при французского языка (1997) за книгу \"Франц и Франсуа\". Гонкуровская премия (2005) от Trois jours chez ma mére .", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 302, + "segment": "королём" + } + ], + "meta": { + "id": 726, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 62, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за законодательный орган работает в стране гражданства Франсуа Вейергана?\nТекст 1: Франсуа Вейерган ( 2 августа 1941, Эттербек — 27 мая 2019) — бельгийский писатель, лауреат Гонкуровской премии (2005) за роман \"Три дня у моей матери\".\n\nБиография.\nФрансуа Вейерган родился 2 августа 1941 года в Эттербеке (Брюссель), Бельгия в семье писателя Франца Вейергана. Он получил образование в Брюсселе, в коллеже Сен-Мишель, после чего поступает в Париже на курсы Института Высших Кинематографических Исследований (IDHEC), где интересуется фильмами Роберта Брессона и Жана-Люка Годара.\n\nНаграды.\nПремия Роджера-Нимье (1973) за книгу \"Питр\" . Премия Росселя (Бельгия) за роман \"Macaire le Copte\". Гран-при французского языка (1997) за книгу \"Франц и Франсуа\". Гонкуровская премия (2005) от Trois jours chez ma mére .\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Юрий Анатольевич Громаковский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Георгий Никитич Холостяков?", + "support_text": "Георгий Никитич Холостяков (\"белор. Георгій Мікіціч Халасцякоў;\" , Барановичи, Минская губерния — Москва) — советский военачальник, вице-адмирал (24 мая 1945 года), Герой Советского Союза (7 мая 1965 года).\n\nПамять.\nВ Барановичах действует дом-музей вице-адмирала Г. Холостякова и его имя носит ГУО \"Средняя школа №9\". В 1984 году вступил в строй сухогруз \"Вице-адмирал Холостяков\". Почётный гражданин городов Братислава (Словакия), Геленджик (Россия), Барановичи (Беларусь). В городе Новороссийске одна из улиц названа именем вице-адмирал Г. Холостякова.", + "text": "Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи. Музей истории железной дороги. Барановичи. Церковь св. Жен-Мироносиц.\n\nПредседатели Барановичского горисполкома.\n04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 275, + "segment": "Громаковский, Юрий Анатольевич" + }, + { + "label": "passage", + "length": 30, + "offset": 275, + "segment": "Юрий Анатольевич Громаковский" + } + ], + "meta": { + "id": 497, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 67, + "segment": "Барановичи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Георгий Никитич Холостяков (\"белор. Георгій Мікіціч Халасцякоў;\" , Барановичи, Минская губерния — Москва) — советский военачальник, вице-адмирал (24 мая 1945 года), Герой Советского Союза (7 мая 1965 года).\n\nПамять.\nВ Барановичах действует дом-музей вице-адмирала Г. Холостякова и его имя носит ГУО \"Средняя школа №9\". В 1984 году вступил в строй сухогруз \"Вице-адмирал Холостяков\". Почётный гражданин городов Братислава (Словакия), Геленджик (Россия), Барановичи (Беларусь). В городе Новороссийске одна из улиц названа именем вице-адмирал Г. Холостякова.\nТекст 2: Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи. Музей истории железной дороги. Барановичи. Церковь св. Жен-Мироносиц.\n\nПредседатели Барановичского горисполкома.\n04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Георгий Никитич Холостяков? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " И. Р. Метшин является главой администрации в городе Казани, где умер Мариан Альбертович Ковальский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Мариан Альбертович Ковальский?", + "support_text": "Мариан Альбертович (Войтехович) Ковальский (Marian Kowalski) ( Добжинь-над-Вислой — Казань) — российский астроном польского происхождения, член-корреспондент Петербургской АН (1862). Сын польского помещика. Начальное образование получил в гимназии Плоцка. Затем учился на инженера в Варшаве.\n\nНаучные труды.\n\"Теория движения Нептуна\" (Казань, 1852, докторская диссертация). \"Recherches sur le mouvement de Neptune, suivies des tables de cette planete\" (Казань, 1855). \"Theorie der Finsternisse\" (1856).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 620, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 549, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 84, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Мариан Альбертович (Войтехович) Ковальский (Marian Kowalski) ( Добжинь-над-Вислой — Казань) — российский астроном польского происхождения, член-корреспондент Петербургской АН (1862). Сын польского помещика. Начальное образование получил в гимназии Плоцка. Затем учился на инженера в Варшаве.\n\nНаучные труды.\n\"Теория движения Нептуна\" (Казань, 1852, докторская диссертация). \"Recherches sur le mouvement de Neptune, suivies des tables de cette planete\" (Казань, 1855). \"Theorie der Finsternisse\" (1856).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Мариан Альбертович Ковальский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 336, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кеть.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Петейга?", + "support_text": "Петейга (южноселькупск. \"Пет́т́ей Кы\" — чебаковая река) — река в России, протекает в Томской области. Устье реки находится в 15 км по левому берегу протоки Таинская Анга реки Кеть. Длина реки составляет 26 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Кеть, речной подбассейн реки — бассейн притоков (Верхней) Оби от Чулыма до Кети. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.", + "text": "Кеть ( в верховье — Большая Кеть) — река в Сибири, правый приток Оби.\n\nГеография.\nПротекает по Западно-Сибирской равнине, по территориям Красноярского края и Томской области. До впадения реки Орловки очень извилиста, ниже разбивается на многочисленные протоки, которые изобилуют перекатами и в низкую воду нередко пересыхают. В Обь Кеть впадает двумя рукавами — Тогурская Кеть (ниже города Колпашево) и Копыловская Кеть, текущая вдоль Оби до Нарыма. Среднемноголетний годовой сток — 560 м³/с, 17,7 км³/год. Половодье с мая по август." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 332, + "segment": "Обь" + }, + { + "label": "passage", + "length": 3, + "offset": 66, + "segment": "Оби" + } + ], + "meta": { + "id": 745, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 175, + "segment": "Кеть" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Петейга (южноселькупск. \"Пет́т́ей Кы\" — чебаковая река) — река в России, протекает в Томской области. Устье реки находится в 15 км по левому берегу протоки Таинская Анга реки Кеть. Длина реки составляет 26 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Кеть, речной подбассейн реки — бассейн притоков (Верхней) Оби от Чулыма до Кети. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nТекст 2: Кеть ( в верховье — Большая Кеть) — река в Сибири, правый приток Оби.\n\nГеография.\nПротекает по Западно-Сибирской равнине, по территориям Красноярского края и Томской области. До впадения реки Орловки очень извилиста, ниже разбивается на многочисленные протоки, которые изобилуют перекатами и в низкую воду нередко пересыхают. В Обь Кеть впадает двумя рукавами — Тогурская Кеть (ниже города Колпашево) и Копыловская Кеть, текущая вдоль Оби до Нарыма. Среднемноголетний годовой сток — 560 м³/с, 17,7 км³/год. Половодье с мая по август.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Петейга?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 348, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Пёза", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Яроватая?", + "support_text": "Яроватая (\"в верховье\" Правая Яроватая) — река в России, протекает в Архангельской области. Устье реки находится в 72 км по правому берегу реки Блудная. Длина реки составляет 52 км. В 36 км от устья слева впадает река Левая Яроватая. В долине реки расположено озеро Яроватое.", + "text": "Блудная — река в Архангельской области России, левый приток Пёзы (бассейн Мезени). Устье реки находится в 363 км по левому берегу реки Пёза. Длина реки составляет 150 км, площадь водосборного бассейна составляет 1390 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 60, + "segment": "Пёзы" + }, + { + "label": "passage", + "length": 4, + "offset": 60, + "segment": "Пёза" + } + ], + "meta": { + "id": 361, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 144, + "segment": "Блудная" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Яроватая (\"в верховье\" Правая Яроватая) — река в России, протекает в Архангельской области. Устье реки находится в 72 км по правому берегу реки Блудная. Длина реки составляет 52 км. В 36 км от устья слева впадает река Левая Яроватая. В долине реки расположено озеро Яроватое.\nТекст 2: Блудная — река в Архангельской области России, левый приток Пёзы (бассейн Мезени). Устье реки находится в 363 км по левому берегу реки Пёза. Длина реки составляет 150 км, площадь водосборного бассейна составляет 1390 кв км.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Яроватая? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.052631578947368425, + "em": 0 + }, + "predict": " Большая Equipcоко сливается с рекой Малка. В тексте 1 говорится, что Большая Equipcоко впадает в Малку между сёлами Каменномостское и Сармаково. В тексте 2, в свою очередь, Малка является главным левым притоком реки Терека, что подтверждает, что", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большая Экипцоко?", + "support_text": "Большая Экипцоко — река в республике Кабардино-Балкария. Протекает по территории Зольского района. Устье реки находится в 129 км по правому берегу реки Малка. Длина реки составляет 12 км, площадь водосборного бассейна 53,9 кв км. == География == . Река начинает свой путь с восточного склона горы Бгюх, и течёт далее в северо-западном направлении. Недалеко от своего устья в реку впадает её главный левый приток — Малая Экипцоко. Впадает в реку Малка между сёлами Каменномостское и Сармаково. Долина реки в верховьях и в среднем течении заняты густым хвойным лесом.", + "text": "Малка ( — тюрк. Свежая рыба) — река в России. Главный левый приток Терека.\n\nГеография.\nНа этом участке выходят на поверхность скальные породы, поэтому ложе реки ступенчатое с четырьмя водопадами высотой от 20 до 40 м. В верховьях Малка — бурная горная река, принимающая множество притоков (26), среди которых наиболее крупными являются Мушта и Кичмалка — левые и Шау-Кол — правый. Выходя на равнину в 65 километрах от устья, Малка, сохраняя общее направление течения на восток, протекает по северной части республики и впадает в Терек недалеко от станицы Екатериноградской. На равнине значительная часть воды (16 % стока) идет на орошение полей Прохладненского района Кабардино-Балкарии, Ставрополья и Северной Осетии." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 68, + "segment": "Терек" + }, + { + "label": "passage", + "length": 6, + "offset": 68, + "segment": "Терека" + } + ], + "meta": { + "id": 904, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 152, + "segment": "Малка" + }, + { + "label": "passage", + "length": 5, + "offset": 445, + "segment": "Малка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Большая Экипцоко?\nТекст 1: Большая Экипцоко — река в республике Кабардино-Балкария. Протекает по территории Зольского района. Устье реки находится в 129 км по правому берегу реки Малка. Длина реки составляет 12 км, площадь водосборного бассейна 53,9 кв км. == География == . Река начинает свой путь с восточного склона горы Бгюх, и течёт далее в северо-западном направлении. Недалеко от своего устья в реку впадает её главный левый приток — Малая Экипцоко. Впадает в реку Малка между сёлами Каменномостское и Сармаково. Долина реки в верховьях и в среднем течении заняты густым хвойным лесом.\nТекст 2: Малка ( — тюрк. Свежая рыба) — река в России. Главный левый приток Терека.\n\nГеография.\nНа этом участке выходят на поверхность скальные породы, поэтому ложе реки ступенчатое с четырьмя водопадами высотой от 20 до 40 м. В верховьях Малка — бурная горная река, принимающая множество притоков (26), среди которых наиболее крупными являются Мушта и Кичмалка — левые и Шау-Кол — правый. Выходя на равнину в 65 километрах от устья, Малка, сохраняя общее направление течения на восток, протекает по северной части республики и впадает в Терек недалеко от станицы Екатериноградской. На равнине значительная часть воды (16 % стока) идет на орошение полей Прохладненского района Кабардино-Балкарии, Ставрополья и Северной Осетии.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 378, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.33333333333333337, + "em": 0 + }, + "predict": " Охан сливается с рекой Конда.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Охан?", + "support_text": "Охан — река в России, протекает по территории Ханты-Мансийского и Кондинского районов Ханты-Мансийского автономного округа. Устье реки находится в 354 км от устья Большого Тапа по левому берегу. Длина реки — 62 км, площадь водосборного бассейна — 986 кв км. Река протекает в малонаселённой местности, вдали от населённых пунктов.\n\nПримечания.\nКатегория:Притоки Большого Тапа.", + "text": "Большой Тап — судоходная река в России, протекает по территории Кондинского и Советского районов Ханты-Мансийского автономного округа, левый приток Конды, берёт своё начало к югу от озера Тапто. Длина реки — 504 км, площадь водосборного бассейна — 6700 кв км. Общее направление течения с севера на юг. Питание реки снеговое и дождевое. Река протекает в малонаселённой местности, раньше в устье на ней располагалась одноимённая деревня Большой Тап, в настоящее время деревня упразднена.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш. Код объекта в государственном водном реестре — 14010600112115300016559." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Конды" + }, + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Конда" + } + ], + "meta": { + "id": 874, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 163, + "segment": "Большого Тапа" + }, + { + "label": "passage", + "length": 13, + "offset": 364, + "segment": "Большого Тапа" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Охан — река в России, протекает по территории Ханты-Мансийского и Кондинского районов Ханты-Мансийского автономного округа. Устье реки находится в 354 км от устья Большого Тапа по левому берегу. Длина реки — 62 км, площадь водосборного бассейна — 986 кв км. Река протекает в малонаселённой местности, вдали от населённых пунктов.\n\nПримечания.\nКатегория:Притоки Большого Тапа.\nТекст 2: Большой Тап — судоходная река в России, протекает по территории Кондинского и Советского районов Ханты-Мансийского автономного округа, левый приток Конды, берёт своё начало к югу от озера Тапто. Длина реки — 504 км, площадь водосборного бассейна — 6700 кв км. Общее направление течения с севера на юг. Питание реки снеговое и дождевое. Река протекает в малонаселённой местности, раньше в устье на ней располагалась одноимённая деревня Большой Тап, в настоящее время деревня упразднена.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш. Код объекта в государственном водном реестре — 14010600112115300016559.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Охан?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 337, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинске, где родилась Надежда Яковлевна Фридьева.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Надежда Яковлевна Фридьева?", + "support_text": "Надежда Яковлевна Фридьева (27 ноября 1894, Челябинск, Челябинская губерния, Российская империя — 17 декабря 1982, Харьков, УССР, СССР) — выдающиеся русский, советский и украинский библиотековед, Заслуженный работник культуры УССР (1966).", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 158, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 44, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Надежда Яковлевна Фридьева (27 ноября 1894, Челябинск, Челябинская губерния, Российская империя — 17 декабря 1982, Харьков, УССР, СССР) — выдающиеся русский, советский и украинский библиотековед, Заслуженный работник культуры УССР (1966).\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Надежда Яковлевна Фридьева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 408, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Заволжье, Нижегородская область.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родилась сестра Дины Алексеевны Авериной?", + "support_text": "Дина Алексеевна Аверина (13 августа 1998, Заволжье, Нижегородская область) — российская художественная гимнастка, член сборной команды России, Заслуженный Мастер Спорта, тринадцатикратная чемпионка мира (2017, 2018, 2019), в том числе трехкратная абсолютная чемпионка мира (2017, 2018, 2019), чемпионка Европейских игр (2019), шестикратная чемпионка Европы (2017, 2019), двукратная абсолютная Чемпионка России (2017, 2018). У неё есть сестра-близнец Арина Аверина, также художественная гимнастка, четырёхкратная чемпионка мира (2017, 2018) и семикратная чемпионка Европы (2017, 2018), а также старшая сестра Полина Аверина, в настоящее время тренер по художественной гимнастике.", + "text": "Арина Алексеевна Аверина (13 августа 1998, Заволжье, Нижегородская область) — российская художественная гимнастка, член сборной команды России, Заслуженный мастер спорта, четырёхкратная чемпионка мира (2017, 2018, 2019), семикратная чемпионка Европы (2017, 2018, 2019), в том числе абсолютная чемпионка Европы (2018), двукратная абсолютная чемпионка России (2019,2020). У неё есть сестра-близнец Дина Аверина, также художественная гимнастка, тринадцатикратная чемпионка мира (2017, 2018, 2019) и шестикратная чемпионка Европы (2017, 2019), а также старшая сестра Полина Аверина, в настоящее время тренер по художественной гимнастике.\n\nБиография.\nАрина Алексеевна Аверина родилась 13 августа 1998 года в Заволжье. Заниматься гимнастикой стала с 4 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 43, + "segment": "Заволжье" + }, + { + "label": "passage", + "length": 8, + "offset": 706, + "segment": "Заволжье" + } + ], + "meta": { + "id": 699, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 450, + "segment": "Арина Аверина" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Дина Алексеевна Аверина (13 августа 1998, Заволжье, Нижегородская область) — российская художественная гимнастка, член сборной команды России, Заслуженный Мастер Спорта, тринадцатикратная чемпионка мира (2017, 2018, 2019), в том числе трехкратная абсолютная чемпионка мира (2017, 2018, 2019), чемпионка Европейских игр (2019), шестикратная чемпионка Европы (2017, 2019), двукратная абсолютная Чемпионка России (2017, 2018). У неё есть сестра-близнец Арина Аверина, также художественная гимнастка, четырёхкратная чемпионка мира (2017, 2018) и семикратная чемпионка Европы (2017, 2018), а также старшая сестра Полина Аверина, в настоящее время тренер по художественной гимнастике.\nТекст 2: Арина Алексеевна Аверина (13 августа 1998, Заволжье, Нижегородская область) — российская художественная гимнастка, член сборной команды России, Заслуженный мастер спорта, четырёхкратная чемпионка мира (2017, 2018, 2019), семикратная чемпионка Европы (2017, 2018, 2019), в том числе абсолютная чемпионка Европы (2018), двукратная абсолютная чемпионка России (2019,2020). У неё есть сестра-близнец Дина Аверина, также художественная гимнастка, тринадцатикратная чемпионка мира (2017, 2018, 2019) и шестикратная чемпионка Европы (2017, 2019), а также старшая сестра Полина Аверина, в настоящее время тренер по художественной гимнастике.\n\nБиография.\nАрина Алексеевна Аверина родилась 13 августа 1998 года в Заволжье. Заниматься гимнастикой стала с 4 лет.\nВопрос: Где родилась сестра Дины Алексеевны Авериной?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 500, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Шане", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Пауля Фроммельта?", + "support_text": "Пауль Фроммельт ( род. ) — лихтенштейнский горнолыжник, призёр олимпийских игр и чемпионата мира в слаломе. Младший брат лихтенштейнского горнолыжника Вилли Фроммельта. Пауль Фроммельт родился в 1957 году в Шане. В 1978 году в Гармиш-Партенкирхене выиграл бронзу в слаломе, через 10 лет на зимней Олимпиаде в Калгари добился такого же успеха.", + "text": "Вилли Фроммельт ( род. ) — лихтенштейнский горнолыжник, призёр Олимпийских игр и чемпионатов мира. Старший брат горнолыжника Пауля Фроммельта. Вилли Фроммельт родился в 1952 году в Шане. На зимних Олимпийских играх 1976 года он завоевал бронзовую медаль в слаломе. На чемпионатах мира выиграл 3 медали: серебро в комбинации в 1976 году (награды чемпионата мира в комбинации разыгрывались в рамках Олимпийских игр), бронзу в скоростном спуске в 1974 году и бронзу в гигантском слаломе в 1978 году." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 181, + "segment": "Шане" + } + ], + "meta": { + "id": 25, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 151, + "segment": "Вилли Фроммельта" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Пауль Фроммельт ( род. ) — лихтенштейнский горнолыжник, призёр олимпийских игр и чемпионата мира в слаломе. Младший брат лихтенштейнского горнолыжника Вилли Фроммельта. Пауль Фроммельт родился в 1957 году в Шане. В 1978 году в Гармиш-Партенкирхене выиграл бронзу в слаломе, через 10 лет на зимней Олимпиаде в Калгари добился такого же успеха.\nТекст 2: Вилли Фроммельт ( род. ) — лихтенштейнский горнолыжник, призёр Олимпийских игр и чемпионатов мира. Старший брат горнолыжника Пауля Фроммельта. Вилли Фроммельт родился в 1952 году в Шане. На зимних Олимпийских играх 1976 года он завоевал бронзовую медаль в слаломе. На чемпионатах мира выиграл 3 медали: серебро в комбинации в 1976 году (награды чемпионата мира в комбинации разыгрывались в рамках Олимпийских игр), бронзу в скоростном спуске в 1974 году и бронзу в гигантском слаломе в 1978 году.\nОпираясь на данные тексты, ответьте на вопрос: Где родился человек, который был братом Пауля Фроммельта?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 302, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В Варшаве.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком городе настигла смерть режиссёра фильма \"Девочка Никто\"?", + "support_text": "'Девочка Никто' — кинофильм польского режиссёра Анджея Вайды 1996 года.\n\nСъёмочная группа.\nАвтор сценария: Пивоварский, Радослав по одноименному роману Томека Трызны. Режиссёр-постановщик: Вайда, Анджей. Продюсер: Моргенштерн, Януш.", + "text": "Анджей Витольд Вайда ( 6 марта 1926, Сувалки — 9 октября 2016, Варшава) — польский режиссёр театра и кино, классик европейского авторского кино.\n\nЛичная жизнь.\nАнджей Вайда был четырежды женат:. Первая жена — художница Габриэла Обремба ( 24 марта 1927, Мысловице — 12 января 1997, Варшава) — познакомились во время учёбы в Краковской академии искусств, брак был заключён в 1949 году, развод в 1959. Вторая жена — художница Зофия Жуховская ( 1933—1989) — выпускница варшавской художественной академии, брак был заключён 19 декабря 1959, развод оформлен 14 марта 1967 года. Третья жена — актриса Беата Тышкевич ( родилась 14 августа 1938, Вилянув) — познакомились на съёмках фильма \"Самсон\" в 1961 году." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 64, + "segment": "Варшава" + } + ], + "meta": { + "id": 326, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 48, + "segment": "Анджея Вайды" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: 'Девочка Никто' — кинофильм польского режиссёра Анджея Вайды 1996 года.\n\nСъёмочная группа.\nАвтор сценария: Пивоварский, Радослав по одноименному роману Томека Трызны. Режиссёр-постановщик: Вайда, Анджей. Продюсер: Моргенштерн, Януш.\nТекст 2: Анджей Витольд Вайда ( 6 марта 1926, Сувалки — 9 октября 2016, Варшава) — польский режиссёр театра и кино, классик европейского авторского кино.\n\nЛичная жизнь.\nАнджей Вайда был четырежды женат:. Первая жена — художница Габриэла Обремба ( 24 марта 1927, Мысловице — 12 января 1997, Варшава) — познакомились во время учёбы в Краковской академии искусств, брак был заключён в 1949 году, развод в 1959. Вторая жена — художница Зофия Жуховская ( 1933—1989) — выпускница варшавской художественной академии, брак был заключён 19 декабря 1959, развод оформлен 14 марта 1967 года. Третья жена — актриса Беата Тышкевич ( родилась 14 августа 1938, Вилянув) — познакомились на съёмках фильма \"Самсон\" в 1961 году.\nВопрос: В каком городе настигла смерть режиссёра фильма \"Девочка Никто\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 365, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Янни Хрисомаллис, композитор и дирижёр, родился в городе Каламата, Греция.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился создатель музыки к фильму \"Краденое небо\"?", + "support_text": "'Краденое небо' — фильм режиссёра Джона Хэнкока.\n\nСъёмочная группа.\nСценарист: Кристофер Вуд, Дороти Тристан. Продюсер: Йорам Бен-Ами. Оператор: Михаил Суслов. Композитор: Янни Хрисомаллис.", + "text": "Янни Хрисомаллис ( греч. Γιάννης, Ιωάννης Χρυσομάλλης) — греческий композитор, дирижёр, пианист и аранжировщик. Основатель музыкальной группы \"Yanni\", исполняющей инструментальную музыку.\n\nБиография.\nЯнни Хрисомаллис родился в 1954 г. в городе Каламата, Греция. В 14 лет он бьет национальный рекорд страны по плаванию вольным стилем, мечтает стать олимпийским чемпионом и не помышляет о музыкальной карьере." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 247, + "segment": "Каламата" + } + ], + "meta": { + "id": 374, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 175, + "segment": "Янни Хрисомаллис" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: 'Краденое небо' — фильм режиссёра Джона Хэнкока.\n\nСъёмочная группа.\nСценарист: Кристофер Вуд, Дороти Тристан. Продюсер: Йорам Бен-Ами. Оператор: Михаил Суслов. Композитор: Янни Хрисомаллис.\nТекст 2: Янни Хрисомаллис ( греч. Γιάννης, Ιωάννης Χρυσομάλλης) — греческий композитор, дирижёр, пианист и аранжировщик. Основатель музыкальной группы \"Yanni\", исполняющей инструментальную музыку.\n\nБиография.\nЯнни Хрисомаллис родился в 1954 г. в городе Каламата, Греция. В 14 лет он бьет национальный рекорд страны по плаванию вольным стилем, мечтает стать олимпийским чемпионом и не помышляет о музыкальной карьере.\nОпираясь на данные тексты, ответьте на вопрос: Где родился создатель музыки к фильму \"Краденое небо\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Горевка сливается с рекой Печора.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большая Горевка?", + "support_text": "Большая Горевка — река в России, протекает по Троицко-Печорскому району Республики Коми. Длина реки составляет 36 км, площадь водосборного бассейна — 300 кв км. Начинается и протекает в елово-берёзовом лесу на территории Печоро-Илычского заповедника. Направление течения — западное. Устье реки находится в 1510 км по правому берегу реки Печора в нескольких километрах выше посёлка Якша. Основной приток — Горевка-Сотчемвож, впадает справа.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора. Код объекта в государственном водном реестре — 03050100112103000058129.", + "text": "Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nПосле устья реки Усы поворачивает на запад, образуя широкое колено с двумя большими излучинами. Ширина русла здесь достигает 2 км, в долине появляются обширные пойменные луга. В районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина." + }, + "outputs": [ + { + "label": "answer", + "length": 30, + "offset": 642, + "segment": "Печорскую губу Печорского моря" + } + ], + "meta": { + "id": 906, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 337, + "segment": "Печора" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Большая Горевка?\nТекст 1: Большая Горевка — река в России, протекает по Троицко-Печорскому району Республики Коми. Длина реки составляет 36 км, площадь водосборного бассейна — 300 кв км. Начинается и протекает в елово-берёзовом лесу на территории Печоро-Илычского заповедника. Направление течения — западное. Устье реки находится в 1510 км по правому берегу реки Печора в нескольких километрах выше посёлка Якша. Основной приток — Горевка-Сотчемвож, впадает справа.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора. Код объекта в государственном водном реестре — 03050100112103000058129.\nТекст 2: Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nПосле устья реки Усы поворачивает на запад, образуя широкое колено с двумя большими излучинами. Ширина русла здесь достигает 2 км, в долине появляются обширные пойменные луга. В районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " С рекой Сура.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Рачамайка?", + "support_text": "Рачамайка — река в России, протекает по Барышскому району Ульяновской области. Устье реки находится в 194 км от устья реки Барыш по левому берегу, в селе Попова Мельница. Длина реки составляет 12 км. Река протекает по территории Малохомутёрского сельского поселения. На реке стоит село Алинкино и село Попова Мельница у устья.", + "text": "Барыш — река в Ульяновской области России, правый приток Суры (бассейн Волги). Длина — 247 км, площадь водосборного бассейна — 5800 кв км. Протекает по Приволжской возвышенности. Питание: родники, снеговое и дождевое. Замерзает в ноябре, вскрывается в апреле. Основные притоки: левый — Карсунка, правые — Большая Якла, Урень, Майна. На реке расположены город Барыш, посёлок Карсун, Рабочий посёлок имени В. И. Ленина. Бассейн Суры." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 57, + "segment": "Суры" + }, + { + "label": "passage", + "length": 4, + "offset": 57, + "segment": "Сура" + } + ], + "meta": { + "id": 615, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 40, + "segment": "Барыш" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Рачамайка — река в России, протекает по Барышскому району Ульяновской области. Устье реки находится в 194 км от устья реки Барыш по левому берегу, в селе Попова Мельница. Длина реки составляет 12 км. Река протекает по территории Малохомутёрского сельского поселения. На реке стоит село Алинкино и село Попова Мельница у устья.\nТекст 2: Барыш — река в Ульяновской области России, правый приток Суры (бассейн Волги). Длина — 247 км, площадь водосборного бассейна — 5800 кв км. Протекает по Приволжской возвышенности. Питание: родники, снеговое и дождевое. Замерзает в ноябре, вскрывается в апреле. Основные притоки: левый — Карсунка, правые — Большая Якла, Урень, Майна. На реке расположены город Барыш, посёлок Карсун, Рабочий посёлок имени В. И. Ленина. Бассейн Суры.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Рачамайка? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15, + "em": 0 + }, + "predict": " Ситников Сергей Константинович является главой администрации в регионе, где родился Николай Николаевич Назаров. Это область Костромская, где Николай Николаевич родился в деревне Беликово Парфеньевского района. Ситников Сергей Константинович стал губернатором этой области с 13 апреля 2012 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Николай Николаевич Назаров (полный кавалер ордена Славы)?", + "support_text": "Николай Николаевич Назаров (1924 - 8 мая 1945) — радист-пулеметчик танка Т-34 14-й гвардейской танковой бригады (4-й гвардейский танковый корпус, 59-я армия, 1-й Украинский фронт) гвардии сержант.\n\nБиография.\nНиколай Николаевич Назаров родился в деревне Беликово Парфеньевского района Костромской области в крестьянской семье. Окончил 7 классов школы, работал в колхозе.", + "text": "Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта. Территория области составляет кв км.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 558, + "segment": "Ситников Сергей Константинович" + }, + { + "label": "passage", + "length": 30, + "offset": 558, + "segment": "Сергей Константинович Ситников" + } + ], + "meta": { + "id": 571, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 288, + "segment": "Костромской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Николай Николаевич Назаров (1924 - 8 мая 1945) — радист-пулеметчик танка Т-34 14-й гвардейской танковой бригады (4-й гвардейский танковый корпус, 59-я армия, 1-й Украинский фронт) гвардии сержант.\n\nБиография.\nНиколай Николаевич Назаров родился в деревне Беликово Парфеньевского района Костромской области в крестьянской семье. Окончил 7 классов школы, работал в колхозе.\nТекст 2: Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта. Территория области составляет кв км.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Николай Николаевич Назаров (полный кавалер ордена Славы)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 315, + "generated_len": [ + 60 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Армен Багратович Миракян?", + "support_text": "Армен (наст. Имя - Мирель) Багратович Миракян ( 15 февраля 1938, Ереван, СССР - 28 августа 2018, Ереван, Армения) — советский и армянский кинооператор, режиссёр, сценарист, мультипликатор. Заслуженный деятель искусств Республики Армения.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 799, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 65, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Армен (наст. Имя - Мирель) Багратович Миракян ( 15 февраля 1938, Ереван, СССР - 28 августа 2018, Ереван, Армения) — советский и армянский кинооператор, режиссёр, сценарист, мультипликатор. Заслуженный деятель искусств Республики Армения.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Армен Багратович Миракян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где умер Вилик Маргарович Арутюнян?", + "support_text": "Вилик Маргарович Арутюнян ( 5 марта 1936, Ереван — 19 августа 2000, Ереван) — армянский политический и государственный деятель, . Заслуженный деятель науки Армянской ССР (1981).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 306, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 42, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вилик Маргарович Арутюнян ( 5 марта 1936, Ереван — 19 августа 2000, Ереван) — армянский политический и государственный деятель, . Заслуженный деятель науки Армянской ССР (1981).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где умер Вилик Маргарович Арутюнян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Человек, в честь которого был назван Холм Хасбанда, родился в городе Амарилло, Техас.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, в честь которого был назван Холм Хасбанда?", + "support_text": "Холм Хасбанда — один из Колумбийских холмов внутри кратера Гусева на Марсе, который расположен близ места посадки марсохода \"Spirit\" НАСА. Он был назван в честь Рика Д. Хазбанда, командира погибшего шаттла \"Колумбия\". В 2005 году, марсоход Спирит, производя исследования места посадки, медленно поднялся на вершину Husband Hill. Он достиг вершины 22 августа 2005 г., и начал спуск 25 сентября 2005, исследуя обнажение пород и виды вершины плато перед тем как проследовать дальше. Названные области на холме включают \"Cumberland Ridge\", где находятся скалы с более высоким, чем обычно, содержанием фосфора, и, \"El Dorado\" — тёмное образование на южной стороне.", + "text": "Ричард Даглас \"Рик\" Хасбанд ( 12 июля 1957 — 1 февраля 2003) — военный лётчик США, астронавт НАСА. Совершил два полёта в космос. При возвращении на Землю погиб в катастрофе шаттла \"Колумбия\", командиром которого он был.\n\nПамять.\nГора Хасбанда в Колумбийских горах на Марсе. Зал Хасбанда в Технологическом Институте Флориды. Международный аэропорт Ричарда Хасбанда в его родном городе Амарилло, Техас." + }, + "outputs": [ + { + "label": "answer", + "length": 15, + "offset": 388, + "segment": "Амарилло, Техас" + } + ], + "meta": { + "id": 816, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 161, + "segment": "Рика Д. Хазбанда" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Холм Хасбанда — один из Колумбийских холмов внутри кратера Гусева на Марсе, который расположен близ места посадки марсохода \"Spirit\" НАСА. Он был назван в честь Рика Д. Хазбанда, командира погибшего шаттла \"Колумбия\". В 2005 году, марсоход Спирит, производя исследования места посадки, медленно поднялся на вершину Husband Hill. Он достиг вершины 22 августа 2005 г., и начал спуск 25 сентября 2005, исследуя обнажение пород и виды вершины плато перед тем как проследовать дальше. Названные области на холме включают \"Cumberland Ridge\", где находятся скалы с более высоким, чем обычно, содержанием фосфора, и, \"El Dorado\" — тёмное образование на южной стороне.\nТекст 2: Ричард Даглас \"Рик\" Хасбанд ( 12 июля 1957 — 1 февраля 2003) — военный лётчик США, астронавт НАСА. Совершил два полёта в космос. При возвращении на Землю погиб в катастрофе шаттла \"Колумбия\", командиром которого он был.\n\nПамять.\nГора Хасбанда в Колумбийских горах на Марсе. Зал Хасбанда в Технологическом Институте Флориды. Международный аэропорт Ричарда Хасбанда в его родном городе Амарилло, Техас.\nОпираясь на данные тексты, ответьте на вопрос: Где родился человек, в честь которого был назван Холм Хасбанда?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 336, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Катуни", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Теректушка?", + "support_text": "Теректушка — река в России, протекает в Республике Алтай. Устье реки находится в 13 км по левому берегу реки Большая Теректа. Длина реки составляет 13 км.", + "text": "Большая Теректа — река в России, протекает по Усть-Коксинскому району Республики Алтай. Устье реки находится в 475 км от устья Катуни по левому берегу.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Катунь, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 127, + "segment": "Катуни" + }, + { + "label": "passage", + "length": 6, + "offset": 127, + "segment": "Катунь" + } + ], + "meta": { + "id": 856, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 109, + "segment": "Большая Теректа" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Теректушка — река в России, протекает в Республике Алтай. Устье реки находится в 13 км по левому берегу реки Большая Теректа. Длина реки составляет 13 км.\nТекст 2: Большая Теректа — река в России, протекает по Усть-Коксинскому району Республики Алтай. Устье реки находится в 475 км от устья Катуни по левому берегу.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Катунь, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Теректушка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Филимониха впадает в реку Бердь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большая Филимониха?", + "support_text": "Большая Филимониха — река в России, протекает в Новосибирской области. Устье реки находится в 198 км по правому берегу реки Бердь. Длина реки составляет 10 км.", + "text": "Бердь — река в России, правый приток Оби. Длина реки — 363 км, площадь водосборного бассейна — 8650 кв км. Средний годовой расход воды — 45,8 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Барнаул до Новосибирского гидроузла, без реки Чумыш, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 37, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 37, + "segment": "Обь" + } + ], + "meta": { + "id": 261, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 124, + "segment": "Бердь" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Большая Филимониха — река в России, протекает в Новосибирской области. Устье реки находится в 198 км по правому берегу реки Бердь. Длина реки составляет 10 км.\nТекст 2: Бердь — река в России, правый приток Оби. Длина реки — 363 км, площадь водосборного бассейна — 8650 кв км. Средний годовой расход воды — 45,8 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Барнаул до Новосибирского гидроузла, без реки Чумыш, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Большая Филимониха?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " мэр", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Евгений Евгеньевич Никольский?", + "support_text": "Евгений Евгеньевич Никольский (11 апреля 1947, Таллин, СССР — 14 июня 2018, Казань, Россия) — советский и российский . Академик Российской академии наук (2011, член-корреспондент с 2006), заслуженный деятель науки РФ и Республики Татарстан. Заместитель председателя Казанского научного центра РАН по научной работе.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 943, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 76, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Евгений Евгеньевич Никольский (11 апреля 1947, Таллин, СССР — 14 июня 2018, Казань, Россия) — советский и российский . Академик Российской академии наук (2011, член-корреспондент с 2006), заслуженный деятель науки РФ и Республики Татарстан. Заместитель председателя Казанского научного центра РАН по научной работе.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Евгений Евгеньевич Никольский? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Конгресс (двухпалатный, Сенат и Палата депутатов).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданкой которого является Мариагна Пратс?", + "support_text": "Мариагна Пратс (род. 18 января 1958, Куэрнавака, штат Морелос, Мексика) — мексиканская актриса испано-ирландского происхождения, продюсер, художник-постановщик и бывшая супруга губернатора Мехико Марсело Эбрарда (развелись в 2011 году).", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии." + }, + "outputs": [ + { + "label": "answer", + "length": 21, + "offset": 767, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 771, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 74, + "segment": "мексиканская" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мариагна Пратс (род. 18 января 1958, Куэрнавака, штат Морелос, Мексика) — мексиканская актриса испано-ирландского происхождения, продюсер, художник-постановщик и бывшая супруга губернатора Мехико Марсело Эбрарда (развелись в 2011 году).\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданкой которого является Мариагна Пратс? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 375, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Стейнс-апон-Темз находится в части света, включающей Великобританию.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за часть света включает в себя водный объект, у которого располагается Стейнс-апон-Темз?", + "support_text": "Стейнс-апон-Темз ( ) — город в графстве Суррей Великобритании. Располагается у реки Темзы.", + "text": "Темза ( , , в пределах Оксфорда также Айзис, ) — река на юге Великобритании. Длина — 330 км, площадь водосборного бассейна — 14 250 кв км. Средний расход воды на гидрологическом посту Тиддингтон-Кингстон — 78,5 м³/с.\n\nИсторические сведения.\nВ то время земли возле Темзы представляли непроходимые хвойные и лиственные леса, вперемешку с болотами. Позднее в 50 километрах от устья реки римляне соорудили деревянный мост — как раз до того места, куда морская вода доходит во время прилива. Именно в этом месте, на северном берегу реки, римляне построили город-порт, который назвали Лондиниум, что означает, согласно некоторым мнениям историков и лингвистов, город или крепость на озере. В последующие четыреста лет римляне развивали торговые связи с другими народами Европы и привозили из Средиземноморья предметы роскоши, среди которых был даже ливанский кедр. По Темзе доставлялись товары в Лондон из других частей страны, поэтому этот город с его многочисленными дорогами вскоре стал важным торгово-экономическим центром. Средневековье." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 767, + "segment": "Европы" + }, + { + "label": "passage", + "length": 6, + "offset": 767, + "segment": "Европу" + } + ], + "meta": { + "id": 315, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 84, + "segment": "Темзы" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Стейнс-апон-Темз ( ) — город в графстве Суррей Великобритании. Располагается у реки Темзы.\nТекст 2: Темза ( , , в пределах Оксфорда также Айзис, ) — река на юге Великобритании. Длина — 330 км, площадь водосборного бассейна — 14 250 кв км. Средний расход воды на гидрологическом посту Тиддингтон-Кингстон — 78,5 м³/с.\n\nИсторические сведения.\nВ то время земли возле Темзы представляли непроходимые хвойные и лиственные леса, вперемешку с болотами. Позднее в 50 километрах от устья реки римляне соорудили деревянный мост — как раз до того места, куда морская вода доходит во время прилива. Именно в этом месте, на северном берегу реки, римляне построили город-порт, который назвали Лондиниум, что означает, согласно некоторым мнениям историков и лингвистов, город или крепость на озере. В последующие четыреста лет римляне развивали торговые связи с другими народами Европы и привозили из Средиземноморья предметы роскоши, среди которых был даже ливанский кедр. По Темзе доставлялись товары в Лондон из других частей страны, поэтому этот город с его многочисленными дорогами вскоре стал важным торгово-экономическим центром. Средневековье.\nВопрос: Что за часть света включает в себя водный объект, у которого располагается Стейнс-апон-Темз?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 335, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинск, где родилась Мария Сергеевна Фарносова.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Мария Сергеевна Фарносова?", + "support_text": "Мария Сергеевна Фарносова (урождённая Савинова; р. 13 августа 1985, Челябинск) — российская бегунья на 800 метров, дисквалифицированная за нарушение антидопинговых правил и лишённая титулов олимпийской чемпионки 2012 года, чемпионки мира 2011 года и чемпионки Европы 2010 года.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 455, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 68, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Мария Сергеевна Фарносова (урождённая Савинова; р. 13 августа 1985, Челябинск) — российская бегунья на 800 метров, дисквалифицированная за нарушение антидопинговых правил и лишённая титулов олимпийской чемпионки 2012 года, чемпионки мира 2011 года и чемпионки Европы 2010 года.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Мария Сергеевна Фарносова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 375, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Стыр.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Судиловка?", + "support_text": "Судиловка — река в Радеховском районе Львовской области в Гороховском районе Волынской области, Украина. Левый приток Стыра (бассейн Днепра). Истоки расположены к югу от села Стоянов. Течёт в южной части Гороховской возвышенности (западная часть Волынской возвышенности) преимущественно на восток. Впадает в Стыр к юго-западу от города Берестечко. Длина реки 27 км, площадь бассейна 290 кв км. Речная долина слабовыраженная. Пойма местами заболочена, шириной до 500 м.", + "text": "Стыр ( ), прежнее название Стырь — река на северо-западной Украине и в Белоруссии, правый приток Припяти. Стыр берёт начало на Волынской возвышенности недалеко от села Пониква Бродовского района Львовской области. Протекает Львовскую, Волынскую и Ровненскую области, после чего пересекает границу с Брестской областью Белоруссии, где впадает в Припять. Длина реки — 494 км, из них 70 км на территории Белоруссии, площадь водосборного бассейна — 13 100 кв км, из них 493 кв км на территории Белоруссии. Пойма непрерывная, двусторонняя. Пересекается старицами в нижнем течении. Ширина поймы в нижнем течении до двух километров. В Припять Стыр впадает двумя рукавами. В ходе Ноябрьского восстания берега реки стали театром военных действий во время боя под Боремелем." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 344, + "segment": "Припять" + }, + { + "label": "passage", + "length": 7, + "offset": 97, + "segment": "Припяти" + }, + { + "label": "passage", + "length": 7, + "offset": 628, + "segment": "Припять" + } + ], + "meta": { + "id": 706, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 118, + "segment": "Стыр" + }, + { + "label": "passage", + "length": 5, + "offset": 118, + "segment": "Стыра" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Судиловка — река в Радеховском районе Львовской области в Гороховском районе Волынской области, Украина. Левый приток Стыра (бассейн Днепра). Истоки расположены к югу от села Стоянов. Течёт в южной части Гороховской возвышенности (западная часть Волынской возвышенности) преимущественно на восток. Впадает в Стыр к юго-западу от города Берестечко. Длина реки 27 км, площадь бассейна 290 кв км. Речная долина слабовыраженная. Пойма местами заболочена, шириной до 500 м.\nТекст 2: Стыр ( ), прежнее название Стырь — река на северо-западной Украине и в Белоруссии, правый приток Припяти. Стыр берёт начало на Волынской возвышенности недалеко от села Пониква Бродовского района Львовской области. Протекает Львовскую, Волынскую и Ровненскую области, после чего пересекает границу с Брестской областью Белоруссии, где впадает в Припять. Длина реки — 494 км, из них 70 км на территории Белоруссии, площадь водосборного бассейна — 13 100 кв км, из них 493 кв км на территории Белоруссии. Пойма непрерывная, двусторонняя. Пересекается старицами в нижнем течении. Ширина поймы в нижнем течении до двух километров. В Припять Стыр впадает двумя рукавами. В ходе Ноябрьского восстания берега реки стали театром военных действий во время боя под Боремелем.\nВопрос: С какой рекой сливается река, в которую впадает Судиловка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 365, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3076923076923077, + "em": 0 + }, + "predict": " Персидского залива.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На берегу какого водного объекта находится столица Кувейта?", + "support_text": "Кувейт (), официально — Государство Кувейт ( \"Давлат аль-Кувайт\") — государство (эмират) в юго-западной Азии. Граничит с Ираком на севере и западе, с Саудовской Аравией — на юге. С востока омывается Персидским заливом. Столица — город Эль-Кувейт. Важный экспортёр нефти, член ОПЕК.\n\nЭтимология.\nГосударство названо по столичному городу Эль-Кувейт — арабское \"городок, крепостица\".", + "text": "Эль-Кувейт, \"Кувейт\" — столица государства Кувейт. Население города — 60,2 тыс. жителей (2016, оценка), с пригородами образует агломерацию с населением 2,874 млн человек (2016).\n\nГеография.\nГород расположен на низком южном берегу одноимённого залива — единственной глубоководной гавани на западном побережье Персидского залива. Город делится на три зоны: промышленная (в западном пригороде Эш-Шувайх), учебная (где располагается , школы и научно-исследовательские учреждения) и оздоровительная (простирается вдоль приморской дороги на город Эль-Джахра).\n\nТранспорт.\nКрупный порт в северо-западной части Персидского залива. Международный аэропорт." + }, + "outputs": [ + { + "label": "answer", + "length": 96, + "offset": 233, + "segment": "одноимённого залива — единственной глубоководной гавани на западном побережье Персидского залива" + } + ], + "meta": { + "id": 924, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 236, + "segment": "Эль-Кувейт" + }, + { + "label": "passage", + "length": 10, + "offset": 340, + "segment": "Эль-Кувейт" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кувейт (), официально — Государство Кувейт ( \"Давлат аль-Кувайт\") — государство (эмират) в юго-западной Азии. Граничит с Ираком на севере и западе, с Саудовской Аравией — на юге. С востока омывается Персидским заливом. Столица — город Эль-Кувейт. Важный экспортёр нефти, член ОПЕК.\n\nЭтимология.\nГосударство названо по столичному городу Эль-Кувейт — арабское \"городок, крепостица\".\nТекст 2: Эль-Кувейт, \"Кувейт\" — столица государства Кувейт. Население города — 60,2 тыс. жителей (2016, оценка), с пригородами образует агломерацию с населением 2,874 млн человек (2016).\n\nГеография.\nГород расположен на низком южном берегу одноимённого залива — единственной глубоководной гавани на западном побережье Персидского залива. Город делится на три зоны: промышленная (в западном пригороде Эш-Шувайх), учебная (где располагается , школы и научно-исследовательские учреждения) и оздоровительная (простирается вдоль приморской дороги на город Эль-Джахра).\n\nТранспорт.\nКрупный порт в северо-западной части Персидского залива. Международный аэропорт.\nОпираясь на данные тексты, ответьте на вопрос: На берегу какого водного объекта находится столица Кувейта? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 331, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.8, + "em": 0 + }, + "predict": " В Первой лиге.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, за тренировки которой отвечает Вацлав Ежек?", + "support_text": "Вацлав Ежек ( 1 октября 1923, Зволен, Чехословакия — 27 августа 1995, Прага, Чехия) — чехословацкий футболист, тренер. Выступал на позиции нападающего. Тренировал пражскую \"Спарту\", нидерландские АДО Ден Хааг и \"Фейеноорд\", швейцарский \"Цюрих\" и национальную сборную Чехословакии. Под его руководством сборная выиграла чемпионат Европы 1976.\n\nКарьера.\nВ качестве игрока выступал за различные любительские клубы, после перешёл на тренерскую работу. Вначале работал с молодёжными командами, затем в 1964 году был приглашён в пражскую \"Спарту\". За 5 лет работы в клубе, он выиграл два чемпионата Чехословакии в 1965 и 1967 годах. После этого успеха, он покинул Чехословакию и переехал в Нидерланды.", + "text": "'Спарта' — чешский профессиональный футбольный клуб из Праги, выступающий в Первой лиге. Основан в 1893 году.\n\nВыступление в чемпионате и Кубке Чехии.\n1. . 5. '1/8 финала'. 2018/19. Fortuna лига. 1. . 3. '1/2 финала'. 2019/20. Fortuna лига. 1. . 3. 'Победитель'." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 76, + "segment": "Первой лиге" + } + ], + "meta": { + "id": 1055, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 174, + "segment": "Спарту" + }, + { + "label": "passage", + "length": 6, + "offset": 537, + "segment": "Спарту" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Вацлав Ежек ( 1 октября 1923, Зволен, Чехословакия — 27 августа 1995, Прага, Чехия) — чехословацкий футболист, тренер. Выступал на позиции нападающего. Тренировал пражскую \"Спарту\", нидерландские АДО Ден Хааг и \"Фейеноорд\", швейцарский \"Цюрих\" и национальную сборную Чехословакии. Под его руководством сборная выиграла чемпионат Европы 1976.\n\nКарьера.\nВ качестве игрока выступал за различные любительские клубы, после перешёл на тренерскую работу. Вначале работал с молодёжными командами, затем в 1964 году был приглашён в пражскую \"Спарту\". За 5 лет работы в клубе, он выиграл два чемпионата Чехословакии в 1965 и 1967 годах. После этого успеха, он покинул Чехословакию и переехал в Нидерланды.\nТекст 2: 'Спарта' — чешский профессиональный футбольный клуб из Праги, выступающий в Первой лиге. Основан в 1893 году.\n\nВыступление в чемпионате и Кубке Чехии.\n1. . 5. '1/8 финала'. 2018/19. Fortuna лига. 1. . 3. '1/2 финала'. 2019/20. Fortuna лига. 1. . 3. 'Победитель'.\nВопрос: В какой лиге играет команда, за тренировки которой отвечает Вацлав Ежек?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 344, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Палата представителей (нижняя палата федерального парламента Бельгии).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Густав Юберти?", + "support_text": "Густав (Леон) Юберти ( 14 апреля 1843, Брюссель, Бельгия — 28 июня 1910, Схарбек, Бельгия) — бельгийский и фламандский композитор, дирижёр, музыкальный критик и педагог. Член Королевской бельгийской академии (1891).", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nКак правило, премьер-министром становится представитель партии, набравшей большее число голосов на парламентских выборах. Правительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 593, + "segment": "королём" + } + ], + "meta": { + "id": 781, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 94, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Густав (Леон) Юберти ( 14 апреля 1843, Брюссель, Бельгия — 28 июня 1910, Схарбек, Бельгия) — бельгийский и фламандский композитор, дирижёр, музыкальный критик и педагог. Член Королевской бельгийской академии (1891).\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nКак правило, премьер-министром становится представитель партии, набравшей большее число голосов на парламентских выборах. Правительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Густав Юберти?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 369, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Западный Буг", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Кшна?", + "support_text": "Кшна — река в Польше, левый приток Западного Буга. Протекает в Бяльском повяте Люблинского воеводства. Длина реки — 120 км. Площадь водосбора 3353 кв км. Кшна образуется на юго-западной окраине города Мендзыжец-Подляски слиянием небольших рек Южная Кшна и Северная Кшна, которые до слияния текут параллельно через . Крупнейший населённый пункт на реке — город Бяла-Подляска. Помимо Бялы и Мендзыжеца река протекает несколько деревень, крупнейшие из которых Киёвец, Деречанка, Хорбув, Мокраны-Старе, Малова-Гура. Притоки: Помаранка, Клюкувка (левые); Рудка, Зелява, Чапелька (правые). Крупнейший приток — Зелява. Впадает в Западный Буг, который в этом месте образует границу с Белоруссией у деревни Напле.", + "text": "Западный Буг — река в Восточной Европе, на территории Украины, Белоруссии и Польши.\n\nТечение.\nДлина реки — 772 км, площадь водосборного бассейна — 73 470 кв км. Средний уклон — 0,8 м/км. Западный Буг проистекает с Подольской возвышенности в пределах Западной Украины. Сначала он течёт в западном направлении, но вскоре поворачивает на север. Протекает мимо Бреста по восточной окраине Люблинской возвышенности и далее по Подляшью, впадая у Варшавы в Нарев, недалеко от его впадения в Вислу." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 453, + "segment": "Нарев" + } + ], + "meta": { + "id": 888, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 622, + "segment": "Западный Буг" + }, + { + "label": "passage", + "length": 14, + "offset": 35, + "segment": "Западного Буга" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кшна — река в Польше, левый приток Западного Буга. Протекает в Бяльском повяте Люблинского воеводства. Длина реки — 120 км. Площадь водосбора 3353 кв км. Кшна образуется на юго-западной окраине города Мендзыжец-Подляски слиянием небольших рек Южная Кшна и Северная Кшна, которые до слияния текут параллельно через . Крупнейший населённый пункт на реке — город Бяла-Подляска. Помимо Бялы и Мендзыжеца река протекает несколько деревень, крупнейшие из которых Киёвец, Деречанка, Хорбув, Мокраны-Старе, Малова-Гура. Притоки: Помаранка, Клюкувка (левые); Рудка, Зелява, Чапелька (правые). Крупнейший приток — Зелява. Впадает в Западный Буг, который в этом месте образует границу с Белоруссией у деревни Напле.\nТекст 2: Западный Буг — река в Восточной Европе, на территории Украины, Белоруссии и Польши.\n\nТечение.\nДлина реки — 772 км, площадь водосборного бассейна — 73 470 кв км. Средний уклон — 0,8 м/км. Западный Буг проистекает с Подольской возвышенности в пределах Западной Украины. Сначала он течёт в западном направлении, но вскоре поворачивает на север. Протекает мимо Бреста по восточной окраине Люблинской возвышенности и далее по Подляшью, впадая у Варшавы в Нарев, недалеко от его впадения в Вислу.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Кшна? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 397, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Хайрюзова", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Рантоваям?", + "support_text": "Рантоваям — река на полуострове Камчатка. Протекает по территории Тигильского района Камчатского края России. Длина реки — 13 км. Берёт исток в распадке у безымянной сопки высотой 178 м, протекает в широтном направлении до впадения в реку Хайрюзова справа. Имеет несколько безымянных притоков. Название в переводе с корякского \"Раӈтоваям\" — \"от жилья выходящая река\". По данным государственного водного реестра России относится к Анадыро-Колымскому бассейновому округу.", + "text": "Хайрюзова (в верховьях Тихая, Байлыгинган) — река на полуострове Камчатка. Протекает по территории Быстринского и Тигильского районов Камчатского края России.\n\nГидрография.\nДлина реки — 265 км, площадь водосборного бассейна — 11600 кв км. Берёт исток у подножия сопки \"Анаун\", протекает преимущественно в северо-западном направлении, впадает в Охотское море. По данным государственного водного реестра России относится к Анадыро-Колымскому бассейновому округу.\n\nПримечания.\nКатегория:Реки, впадающие в Охотское море." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 347, + "segment": "Охотское море" + }, + { + "label": "passage", + "length": 13, + "offset": 508, + "segment": "Охотское море" + } + ], + "meta": { + "id": 743, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 239, + "segment": "Хайрюзова" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Рантоваям — река на полуострове Камчатка. Протекает по территории Тигильского района Камчатского края России. Длина реки — 13 км. Берёт исток в распадке у безымянной сопки высотой 178 м, протекает в широтном направлении до впадения в реку Хайрюзова справа. Имеет несколько безымянных притоков. Название в переводе с корякского \"Раӈтоваям\" — \"от жилья выходящая река\". По данным государственного водного реестра России относится к Анадыро-Колымскому бассейновому округу.\nТекст 2: Хайрюзова (в верховьях Тихая, Байлыгинган) — река на полуострове Камчатка. Протекает по территории Быстринского и Тигильского районов Камчатского края России.\n\nГидрография.\nДлина реки — 265 км, площадь водосборного бассейна — 11600 кв км. Берёт исток у подножия сопки \"Анаун\", протекает преимущественно в северо-западном направлении, впадает в Охотское море. По данным государственного водного реестра России относится к Анадыро-Колымскому бассейновому округу.\n\nПримечания.\nКатегория:Реки, впадающие в Охотское море.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Рантоваям? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 329, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Очаковка", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Кукринский ручей?", + "support_text": "Кукринский ручей — ручей в районе Тёплый Стан города Москвы, в Теплостанском лесопарке. Правый приток Очаковки. Длина — 850 метров.", + "text": "Очаковка (\"Тропарёвка\", в верховьях также \"Тарасовка\") — река на юго-западе Москвы, левый приток Раменки. Длина — около 10 км, в том числе 7,4 км в открытом русле (из них 1,2 км через водоёмы). Площадь бассейна — 29,3 кв км.\n\nГеография и гидрография.\nПротекает по территориям районов Тёплый Стан, Тропарёво-Никулино, Очаково-Матвеевское и Раменки. Берёт начало из Ляхвинского оврага на склоне Теплостанской возвышенности на окраине ландшафтного заказника \"Тёплый Стан\" (вблизи станции метро Тёплый Стан). Пересекает улицу Академика Бакулева, проспекты Ленинский и Вернадского, улицы Академика Анохина и Никулинскую, Мичуринский проспект и улицу Лобачевского. Между улицами Академика Бакулева и Академика Анохина протекает под землёй." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 97, + "segment": "Раменки" + }, + { + "label": "passage", + "length": 7, + "offset": 97, + "segment": "Раменка" + } + ], + "meta": { + "id": 600, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 102, + "segment": "Очаковки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Кукринский ручей?\nТекст 1: Кукринский ручей — ручей в районе Тёплый Стан города Москвы, в Теплостанском лесопарке. Правый приток Очаковки. Длина — 850 метров.\nТекст 2: Очаковка (\"Тропарёвка\", в верховьях также \"Тарасовка\") — река на юго-западе Москвы, левый приток Раменки. Длина — около 10 км, в том числе 7,4 км в открытом русле (из них 1,2 км через водоёмы). Площадь бассейна — 29,3 кв км.\n\nГеография и гидрография.\nПротекает по территориям районов Тёплый Стан, Тропарёво-Никулино, Очаково-Матвеевское и Раменки. Берёт начало из Ляхвинского оврага на склоне Теплостанской возвышенности на окраине ландшафтного заказника \"Тёплый Стан\" (вблизи станции метро Тёплый Стан). Пересекает улицу Академика Бакулева, проспекты Ленинский и Вернадского, улицы Академика Анохина и Никулинскую, Мичуринский проспект и улицу Лобачевского. Между улицами Академика Бакулева и Академика Анохина протекает под землёй.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 311, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Василий Фёдорович Болдырев посвятил себя энтомологии, которая изучает насекомых.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что изучает наука, которой посвятил себя Василий Фёдорович Болдырев?", + "support_text": "Василий Фёдорович Болдырев (1883—1957) — российский энтомолог, почётный член Всесоюзного энтомологического общества, Заслуженный деятель науки РСФСР. Открыл сперматофорное оплодотворение у насекомых, был инициатором применения авиации в защите растений от вредителей, проводил исследования биологии размножения прямокрылых, фауны прямокрылых и двукрылых.", + "text": "Энтомологические коллекции. Энтомологическое снаряжение. Энтомология (от \"насекомое\" + \"слово, учение\") — раздел зоологии, изучающий насекомых. Поскольку разнообразие насекомых очень велико (более 3 миллионов видов), то и их значение, и число специалистов, их изучающих, также огромно.\n\nПрактическое значение.\nСреди насекомых, вредящих непосредственно самому человеку, в особенности обратили на себя внимание те, которые являются разносчиками болезней. Изучение насекомых, вредных культурным растениям, дало важные и интересные результаты не только в практическом, но и в теоретическом отношении (вопросы паразитизма, способов размножения и др.). Практические мероприятия по борьбе с вредными насекомыми часто встречают разнообразные естественные препятствия и являются выполнимыми только при точном знании образа жизни вредителей; подробные биологические исследования и наблюдения над вредными насекомыми дают возможность избежать многих ошибок, основанных на незнакомстве с биологией насекомых. Сами способы борьбы постепенно совершенствуются; в этом отношении особенно важным является изобретение метода опрыскивания растений ядовитыми жидкостями с целью отравления насекомых, нападающих на эти растения. Особенно интересны как с теоретической, так и с практической точки зрения явления паразитизма и симбиоза, весьма распространённые среди насекомых. Наиболее часто встречается паразитизм среди перепончатокрылых и двукрылых, причём оказывается, что одни паразиты являются строго одноядными, то есть живущими за счёт совершенно определённого вида насекомых, тогда как другие — многоядны; мы находим также множество вторичных паразитов, то есть живущих за счёт паразитов, затем паразитов 3-го и даже 4-го ряда. Обратили на себя внимание явления симбиоза, встречающиеся, главным образом, среди муравьёв и термитов, а именно в сообществе с этими насекомыми живёт множество других насекомых (а также некоторых паукообразных), жизнь которых тесно связана с жизнью их хозяев и у которых существует целый ряд черт в организации, обусловленных приспособлением к совместной жизни (мирмекофилия и термитофилия)." + }, + "outputs": [ + { + "label": "answer", + "length": 9, + "offset": 135, + "segment": "насекомых" + } + ], + "meta": { + "id": 708, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 52, + "segment": "энтомолог" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Василий Фёдорович Болдырев (1883—1957) — российский энтомолог, почётный член Всесоюзного энтомологического общества, Заслуженный деятель науки РСФСР. Открыл сперматофорное оплодотворение у насекомых, был инициатором применения авиации в защите растений от вредителей, проводил исследования биологии размножения прямокрылых, фауны прямокрылых и двукрылых.\nТекст 2: Энтомологические коллекции. Энтомологическое снаряжение. Энтомология (от \"насекомое\" + \"слово, учение\") — раздел зоологии, изучающий насекомых. Поскольку разнообразие насекомых очень велико (более 3 миллионов видов), то и их значение, и число специалистов, их изучающих, также огромно.\n\nПрактическое значение.\nСреди насекомых, вредящих непосредственно самому человеку, в особенности обратили на себя внимание те, которые являются разносчиками болезней. Изучение насекомых, вредных культурным растениям, дало важные и интересные результаты не только в практическом, но и в теоретическом отношении (вопросы паразитизма, способов размножения и др.). Практические мероприятия по борьбе с вредными насекомыми часто встречают разнообразные естественные препятствия и являются выполнимыми только при точном знании образа жизни вредителей; подробные биологические исследования и наблюдения над вредными насекомыми дают возможность избежать многих ошибок, основанных на незнакомстве с биологией насекомых. Сами способы борьбы постепенно совершенствуются; в этом отношении особенно важным является изобретение метода опрыскивания растений ядовитыми жидкостями с целью отравления насекомых, нападающих на эти растения. Особенно интересны как с теоретической, так и с практической точки зрения явления паразитизма и симбиоза, весьма распространённые среди насекомых. Наиболее часто встречается паразитизм среди перепончатокрылых и двукрылых, причём оказывается, что одни паразиты являются строго одноядными, то есть живущими за счёт совершенно определённого вида насекомых, тогда как другие — многоядны; мы находим также множество вторичных паразитов, то есть живущих за счёт паразитов, затем паразитов 3-го и даже 4-го ряда. Обратили на себя внимание явления симбиоза, встречающиеся, главным образом, среди муравьёв и термитов, а именно в сообществе с этими насекомыми живёт множество других насекомых (а также некоторых паукообразных), жизнь которых тесно связана с жизнью их хозяев и у которых существует целый ряд черт в организации, обусловленных приспособлением к совместной жизни (мирмекофилия и термитофилия).\nВопрос: Что изучает наука, которой посвятил себя Василий Фёдорович Болдырев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 558, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Зилим", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Большой Реват?", + "support_text": "Большой Реват (устар. Агват) — река в России, протекает по Башкортостану. Устье реки находится в 96 км от устья реки Зилим по правому берегу. Длина реки составляет 33 км, площадь водосборного бассейна — 231 кв км. Высота устья — 184,4 м над уровнем моря.", + "text": "Зилим — река в России, протекает в Республике Башкортостан. Устье реки находится в 585 км по правому берегу реки Белой.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Белая от города Стерлитамака до водомерного поста у села Охлебинино, без реки Сим, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010200712111100018678." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 113, + "segment": "Белой" + }, + { + "label": "passage", + "length": 5, + "offset": 113, + "segment": "Белая" + } + ], + "meta": { + "id": 669, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 117, + "segment": "Зилим" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Большой Реват (устар. Агват) — река в России, протекает по Башкортостану. Устье реки находится в 96 км от устья реки Зилим по правому берегу. Длина реки составляет 33 км, площадь водосборного бассейна — 231 кв км. Высота устья — 184,4 м над уровнем моря.\nТекст 2: Зилим — река в России, протекает в Республике Башкортостан. Устье реки находится в 585 км по правому берегу реки Белой.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Белая от города Стерлитамака до водомерного поста у села Охлебинино, без реки Сим, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010200712111100018678.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Большой Реват? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16666666666666669, + "em": 0 + }, + "predict": " Станислав Воскресенский является главой администрации в регионе, где родилась Дарья Михайловна Балясникова. Это Ивановская область, где она родилась 26 марта 1897 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родилась Дарья Михайловна Балясникова?", + "support_text": "Дарья Михайловна Балясникова (26.03.1897, Ивановская область — 22.09.1989) — звеньевая колхоза имени Стаханова Пучежского района Ивановской области, Герой Социалистического Труда.\n\nБиография.\nРодилась 26 марта 1897 года в селе Сорвачево Пучежского района Ивановской области в крестьянской семье. Русская. В конце 1920-х годов вступила во вновь организованный колхоз, получивший позднее имя Стаханова. Работала в полеводческой бригаде у своей тезки М. И. Балясниковой, была звеньевой льноводческого звена.", + "text": "Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел. Областной центр — город Иваново (расстояние до Москвы — 275 км). Код региона — 37.\n\nОбластная власть.\nВ 22 из 24 одномандатных округов выиграли кандидаты, выдвинутые \"Единой Россией\". По партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 1290, + "segment": "Станислав Воскресенский" + } + ], + "meta": { + "id": 935, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 42, + "segment": "Ивановская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Дарья Михайловна Балясникова (26.03.1897, Ивановская область — 22.09.1989) — звеньевая колхоза имени Стаханова Пучежского района Ивановской области, Герой Социалистического Труда.\n\nБиография.\nРодилась 26 марта 1897 года в селе Сорвачево Пучежского района Ивановской области в крестьянской семье. Русская. В конце 1920-х годов вступила во вновь организованный колхоз, получивший позднее имя Стаханова. Работала в полеводческой бригаде у своей тезки М. И. Балясниковой, была звеньевой льноводческого звена.\nТекст 2: Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел. Областной центр — город Иваново (расстояние до Москвы — 275 км). Код региона — 37.\n\nОбластная власть.\nВ 22 из 24 одномандатных округов выиграли кандидаты, выдвинутые \"Единой Россией\". По партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родилась Дарья Михайловна Балясникова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 531, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Пильва", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Инидорка?", + "support_text": "Инидорка — река в России, протекает по Чердынскому району Пермского края. Устье реки находится в 182 км по левому берегу реки Пильва. Длина реки составляет 11 км.", + "text": "Пильва — река в Чердынском районе Пермского края, левый приток Камы. Устье реки находится в 1056 км по левому берегу.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Кама от истока до водомерного поста у села Бондюг, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010100112111100003581." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 63, + "segment": "Камы" + }, + { + "label": "passage", + "length": 4, + "offset": 63, + "segment": "Кама" + } + ], + "meta": { + "id": 416, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 126, + "segment": "Пильва" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Инидорка — река в России, протекает по Чердынскому району Пермского края. Устье реки находится в 182 км по левому берегу реки Пильва. Длина реки составляет 11 км.\nТекст 2: Пильва — река в Чердынском районе Пермского края, левый приток Камы. Устье реки находится в 1056 км по левому берегу.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Кама от истока до водомерного поста у села Бондюг, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010100112111100003581.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Инидорка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Андреевич Линяев?", + "support_text": "Николай Андреевич Линяев (17 июля 1933 года, Челябинск — 6 февраля 2011, ) — советский футболист, выступал на позиции полузащитника и защитника. Мастер спорта СССР (1959). Бронзовый призёр чемпионата СССР. В 1958—1959 годах был капитаном ЦСК МО.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 946, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 946, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 206, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 45, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Андреевич Линяев (17 июля 1933 года, Челябинск — 6 февраля 2011, ) — советский футболист, выступал на позиции полузащитника и защитника. Мастер спорта СССР (1959). Бронзовый призёр чемпионата СССР. В 1958—1959 годах был капитаном ЦСК МО.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Николай Андреевич Линяев? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.11764705882352941, + "em": 0 + }, + "predict": " Город, в котором родился режиссёр фильма \"Плотина против Тихого океана\" — Ритхи Пань, — это Пномпень.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за город является местом рождения режиссёра фильма \"Плотина против Тихого океана\"?", + "support_text": "'Плотина против Тихого океана' ( ) — совместная франко-бельгийско-камбоджийская картина 2008 года по одноимённому роману французской писательницы Маргерит Дюрас камбоджийского режиссёра Ритхи Пань.", + "text": "Ритхи Пань (родился в Пномпене) — камбоджийский кинорежиссёр и сценарист документальных фильмов. Фильмы режиссёра фокусируются на последствиях режима геноцида Красных кхмеров в Камбодже. Работы Ритхи Паня основаны на собственном жизненном опыте: его семья была выселена из Пномпеня в 1975 году Красными кхмерами.\n\nБиография.\nДетство, бегство из Камбоджи. Ритхи Пань родился в Пномпене. Его отец был учителем и инспектором начальных школ. Его семья вместе с другими жителями Пномпеня была выселена из столицы в 1975 году Красными кхмерами." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 23, + "segment": "Пномпене" + }, + { + "label": "passage", + "length": 8, + "offset": 23, + "segment": "Пномпень" + } + ], + "meta": { + "id": 644, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 186, + "segment": "Ритхи Пань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за город является местом рождения режиссёра фильма \"Плотина против Тихого океана\"?\nТекст 1: 'Плотина против Тихого океана' ( ) — совместная франко-бельгийско-камбоджийская картина 2008 года по одноимённому роману французской писательницы Маргерит Дюрас камбоджийского режиссёра Ритхи Пань.\nТекст 2: Ритхи Пань (родился в Пномпене) — камбоджийский кинорежиссёр и сценарист документальных фильмов. Фильмы режиссёра фокусируются на последствиях режима геноцида Красных кхмеров в Камбодже. Работы Ритхи Паня основаны на собственном жизненном опыте: его семья была выселена из Пномпеня в 1975 году Красными кхмерами.\n\nБиография.\nДетство, бегство из Камбоджи. Ритхи Пань родился в Пномпене. Его отец был учителем и инспектором начальных школ. Его семья вместе с другими жителями Пномпеня была выселена из столицы в 1975 году Красными кхмерами.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16666666666666669, + "em": 0 + }, + "predict": " В реку Уржумку впадает река Туречка, которая является её левым притоком.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Туречка?", + "support_text": "Туречка — река в России, протекает в Республике Марий Эл. Левый приток реки Ноля (бассейн Уржумки).", + "text": "Ноля — река в России, протекает в Марий Эл. Устье реки находится в 69 км по левому берегу реки Уржумки. Длина реки — 43 км, площадь её водосборного бассейна — 449 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 95, + "segment": "Уржумки" + }, + { + "label": "passage", + "length": 7, + "offset": 95, + "segment": "Уржумку" + } + ], + "meta": { + "id": 354, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 76, + "segment": "Ноля" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Туречка?\nТекст 1: Туречка — река в России, протекает в Республике Марий Эл. Левый приток реки Ноля (бассейн Уржумки).\nТекст 2: Ноля — река в России, протекает в Марий Эл. Устье реки находится в 69 км по левому берегу реки Уржумки. Длина реки — 43 км, площадь её водосборного бассейна — 449 кв км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Мария Александровна Воронцова?", + "support_text": "Мария Александровна Воронцова (11 декабря 1902, Казань, Казанская губерния, Российская Империя — 19 июня 1956, Москва, СССР) — советский биолог.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 620, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 157, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 48, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мария Александровна Воронцова (11 декабря 1902, Казань, Казанская губерния, Российская Империя — 19 июня 1956, Москва, СССР) — советский биолог.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Мария Александровна Воронцова? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Пескушь сливается с рекой Кусь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пескушь?", + "support_text": "Пескушь — река в России, протекает в Мантуровском (почти всё течение) и Нейском районах Костромской области. Устье реки находится в 16 км по левому берегу реки Кусь. Длина реки составляет 11 км. Исток Пескуши находится в 2 км к северо-западу от деревни и ж/д станции Петрушино. В верхнем течении течёт на запад, протекает по северным окраинам посёлка Октябрьский, после чего поворачивает на север, других населённых пунктов на реке нет. Впадает в Кусь в 8 км к северу от Октябрьского. Перед устьем образует границу Мантуровского и Нейского районов.", + "text": "Кусь — река в Костромской области России. Протекает преимущественно в западном направлении по территории Мантуровского и Нейского районов. Впадает в реку Нельшу в 31 км от её устья по левому берегу. Длина реки составляет 31 км, площадь водосборного бассейна — 227 кв км. Вдоль берегов расположены деревни Ивановское, Хмелевка, Ольховка и Домниково." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 154, + "segment": "Нельшу" + }, + { + "label": "passage", + "length": 6, + "offset": 154, + "segment": "Нельша" + } + ], + "meta": { + "id": 869, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 160, + "segment": "Кусь" + }, + { + "label": "passage", + "length": 4, + "offset": 447, + "segment": "Кусь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Пескушь?\nТекст 1: Пескушь — река в России, протекает в Мантуровском (почти всё течение) и Нейском районах Костромской области. Устье реки находится в 16 км по левому берегу реки Кусь. Длина реки составляет 11 км. Исток Пескуши находится в 2 км к северо-западу от деревни и ж/д станции Петрушино. В верхнем течении течёт на запад, протекает по северным окраинам посёлка Октябрьский, после чего поворачивает на север, других населённых пунктов на реке нет. Впадает в Кусь в 8 км к северу от Октябрьского. Перед устьем образует границу Мантуровского и Нейского районов.\nТекст 2: Кусь — река в Костромской области России. Протекает преимущественно в западном направлении по территории Мантуровского и Нейского районов. Впадает в реку Нельшу в 31 км от её устья по левому берегу. Длина реки составляет 31 км, площадь водосборного бассейна — 227 кв км. Вдоль берегов расположены деревни Ивановское, Хмелевка, Ольховка и Домниково.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 272, + "generated_len": [ + 46 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19354838709677416, + "em": 0 + }, + "predict": " Юрий Константинович Плугин родился в Казани, и в городе, где он родился, главой администрации является мэр. С 17 ноября 2005 года мэр города Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Юрий Константинович Плугин?", + "support_text": "Юрий Константинович Плугин (род. 1 июня 1948, Казань, Татарская АССР, РСФСР, СССР) — советский и российский деятель органов внутренних дел. Начальник Управления внутренних дел по Мурманской области с марта 1997 по декабрь 2001. Генерал-майор милиции.\n\nБиография.\nРодился 1 июня 1948 в Казани. В 1968 окончил Саратовскую среднюю специальную школу милиции МВД СССР.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 663, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 226, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Юрий Константинович Плугин (род. 1 июня 1948, Казань, Татарская АССР, РСФСР, СССР) — советский и российский деятель органов внутренних дел. Начальник Управления внутренних дел по Мурманской области с марта 1997 по декабрь 2001. Генерал-майор милиции.\n\nБиография.\nРодился 1 июня 1948 в Казани. В 1968 окончил Саратовскую среднюю специальную школу милиции МВД СССР.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Юрий Константинович Плугин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 312, + "generated_len": [ + 46 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Византийской империей.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за страной раньше было государство, гражданином которого являлся Иоанн Каминиата?", + "support_text": "Иоанн Каминиата (Камениата; греч. Ιωᾴννης Καμινιάτης) (последняя треть IX века, Фессалоники — первая половина X века) — византийский писатель.\n\nБиография.\nПринадлежал к низшему городскому клиру. Был женат, имел троих детей. Известен как автор сочинения \"О взятии Фессалоник\" (), в котором описал захват и разграбление 31 июля 904 года арабскими пиратами с Крита во главе с ренегатом второго по важности города Византийской империи. Об авторе известно лишь из текста его сочинения. Являлся очевидцем событий, попавшим со своей семьёй и родственниками (женой, детьми, отцом, матерью, дядей и двумя младшими братьями) в плен к пиратам и жившим в Тарсе в надежде вернуться на родину.", + "text": "Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы.\n\nНазвание.\nОфициальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римской империи" + }, + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Византийской империи" + } + ], + "meta": { + "id": 721, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 120, + "segment": "византийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иоанн Каминиата (Камениата; греч. Ιωᾴννης Καμινιάτης) (последняя треть IX века, Фессалоники — первая половина X века) — византийский писатель.\n\nБиография.\nПринадлежал к низшему городскому клиру. Был женат, имел троих детей. Известен как автор сочинения \"О взятии Фессалоник\" (), в котором описал захват и разграбление 31 июля 904 года арабскими пиратами с Крита во главе с ренегатом второго по важности города Византийской империи. Об авторе известно лишь из текста его сочинения. Являлся очевидцем событий, попавшим со своей семьёй и родственниками (женой, детьми, отцом, матерью, дядей и двумя младшими братьями) в плен к пиратам и жившим в Тарсе в надежде вернуться на родину.\nТекст 2: Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы.\n\nНазвание.\nОфициальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан.\nОпираясь на данные тексты, ответьте на вопрос: Что за страной раньше было государство, гражданином которого являлся Иоанн Каминиата? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 677, + "generated_len": [ + 46 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Алексей Николаевич Дрёмин?", + "support_text": "Алексей Николаевич Дрёмин (10 мая 1989, Челябинск, СССР) — российский легкоатлет, участник Олимпийских игр. Мастер спорта международного класса.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 693, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 693, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 167, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 40, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Алексей Николаевич Дрёмин (10 мая 1989, Челябинск, СССР) — российский легкоатлет, участник Олимпийских игр. Мастер спорта международного класса.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Алексей Николаевич Дрёмин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 295, + "generated_len": [ + 46 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Велью.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Симъёль?", + "support_text": "Симъёль — река в России, протекает в Сосногорском районе Республики Коми. Устье реки находится в 149 км по правому берегу реки Велью. Длина реки составляет 12 км. Исток реки в болотах в 18 км к северо-востоку от посёлка Нижний Одес.", + "text": "Бассейн Печоры. Велью (\"Вель\") — река в Республике Коми, левый приток реки Печора. Длина реки — 173 км, площадь водосборного бассейна — 4110 кв км. Питание смешанное, с преобладанием снегового. Крупнейшие притоки — Малый Тебук, Большой Тебук, Нибель (правые).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 75, + "segment": "Печора" + } + ], + "meta": { + "id": 350, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 127, + "segment": "Велью" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Симъёль — река в России, протекает в Сосногорском районе Республики Коми. Устье реки находится в 149 км по правому берегу реки Велью. Длина реки составляет 12 км. Исток реки в болотах в 18 км к северо-востоку от посёлка Нижний Одес.\nТекст 2: Бассейн Печоры. Велью (\"Вель\") — река в Республике Коми, левый приток реки Печора. Длина реки — 173 км, площадь водосборного бассейна — 4110 кв км. Питание смешанное, с преобладанием снегового. Крупнейшие притоки — Малый Тебук, Большой Тебук, Нибель (правые).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Симъёль?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": [ + 46 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Палата представителей (нижняя палата парламента).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Жоржа Минне?", + "support_text": "Барон Жорж Минне ( , — ) — бельгийский , и график, педагог.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( )." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 305, + "segment": "парламентом" + }, + { + "label": "passage", + "length": 11, + "offset": 305, + "segment": "парламент" + } + ], + "meta": { + "id": 655, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 29, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Барон Жорж Минне ( , — ) — бельгийский , и график, педагог.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ).\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в стране гражданства Жоржа Минне? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": [ + 46 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Берлин. Фридрих Гитциг родился 8 ноября 1811 года в Берлине.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место, где родился человек, обучавший Фридриха Гитцига?", + "support_text": "Георг Фридрих Генрих Гитциг ( 8 ноября 1811, Берлин — 11 октября 1881, Берлин) — немецкий архитектор.\n\nБиография.\nФридрих Гитциг — сын юриста и писателя Юлиуса Эдуарда Гитцига. В детские годы Фридрих и его сестра Мари послужили прототипами героев сказки Гофмана \"Щелкунчик и Мышиный король\" Учился в ремесленном училище, окончил Берлинскую архитектурную академию. В 1829 году сдал экзамен на геодезиста. Стажировался у Карла Фридриха Шинкеля на строительстве Берлинской обсерватории. В 1873 году сдал экзамен на архитектора и обосновался в Берлине. Гитциг получил признание и популярность во времена после Шинкеля.", + "text": "Карл Фридрих Шинкель ( 13 марта 1781, Нойруппин — 9 октября 1841, Берлин) — немецкий архитектор, живописец, рисовальщик, театральный художник. Считается лидером \"романтического историзма\" в немецком зодчестве и главным представителем архитектурного стиля прусского эллинизма." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 39, + "segment": "Нойруппин" + } + ], + "meta": { + "id": 404, + "bridge_answers": [ + { + "label": "passage", + "length": 22, + "offset": 423, + "segment": "Карла Фридриха Шинкеля" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Георг Фридрих Генрих Гитциг ( 8 ноября 1811, Берлин — 11 октября 1881, Берлин) — немецкий архитектор.\n\nБиография.\nФридрих Гитциг — сын юриста и писателя Юлиуса Эдуарда Гитцига. В детские годы Фридрих и его сестра Мари послужили прототипами героев сказки Гофмана \"Щелкунчик и Мышиный король\" Учился в ремесленном училище, окончил Берлинскую архитектурную академию. В 1829 году сдал экзамен на геодезиста. Стажировался у Карла Фридриха Шинкеля на строительстве Берлинской обсерватории. В 1873 году сдал экзамен на архитектора и обосновался в Берлине. Гитциг получил признание и популярность во времена после Шинкеля.\nТекст 2: Карл Фридрих Шинкель ( 13 марта 1781, Нойруппин — 9 октября 1841, Берлин) — немецкий архитектор, живописец, рисовальщик, театральный художник. Считается лидером \"романтического историзма\" в немецком зодчестве и главным представителем архитектурного стиля прусского эллинизма.\nОпираясь на данные тексты, ответьте на вопрос: Как называется место, где родился человек, обучавший Фридриха Гитцига?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": [ + 46 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19354838709677416, + "em": 0 + }, + "predict": " Евгений Константинович Забиякин родился в Казани, и в городе, где он родился, главой администрации является мэр. С 17 ноября 2005 года мэр города Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Евгений Константинович Забиякин?", + "support_text": "Евгений Константинович Забиякин (7 (20 марта) 1909, Казань — 29 апреля 2001, Санкт-Петербург) — театральный актёр, заслуженный артист Таджикской ССР (1967).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 550, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 193, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 52, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Евгений Константинович Забиякин (7 (20 марта) 1909, Казань — 29 апреля 2001, Санкт-Петербург) — театральный актёр, заслуженный артист Таджикской ССР (1967).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Евгений Константинович Забиякин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 279, + "generated_len": [ + 46 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714285, + "em": 0 + }, + "predict": " Глава администрации в городе, где родилась Ситора Шохиновна Алиева, является Рустамом Эмомали.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Ситора Шохиновна Алиева?", + "support_text": "Ситора Шохиновна Алиева (род. 4 октября 1963, Душанбе, Таджикская ССР) — актриса, киновед, киноредактор, директор международных кинофестивалей в Сочи и \"Лики любви\", детского международного фестиваля искусств \"Кинотаврик\", программный директор Открытого российского кинофестиваля \"Кинотавр\".\n\nБиография.\nРодилась 4 октября 1963 года в городе Душанбе. В 9 лет дебютировала в кино, сыграв в учебном фильме начинающего режиссёра Батура Арабова \"Джамиля\" (1972).", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 459, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родилась Ситора Шохиновна Алиева?\nТекст 1: Ситора Шохиновна Алиева (род. 4 октября 1963, Душанбе, Таджикская ССР) — актриса, киновед, киноредактор, директор международных кинофестивалей в Сочи и \"Лики любви\", детского международного фестиваля искусств \"Кинотаврик\", программный директор Открытого российского кинофестиваля \"Кинотавр\".\n\nБиография.\nРодилась 4 октября 1963 года в городе Душанбе. В 9 лет дебютировала в кино, сыграв в учебном фильме начинающего режиссёра Батура Арабова \"Джамиля\" (1972).\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 297, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Москва сливается река, через которую построен Белорусский железнодорожный мост.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, через которую построен Белорусский железнодорожный мост?", + "support_text": "Белорусский (Филёвский) железнодорожный мост в Москве — трёхпролётный стальной балочный мост Белорусского направления Московской железной дороги через реку Москву. В основе моста — постройка 1895 года, реконструированная дважды — в 1938 и 1961 годах.", + "text": "Москва (обычно Москва-река, в московском произношении с XIX века — \"Москварека\", первая часть в разговорной речи часто не склоняется: \"на Москва-реке\") — средняя река в Центральной России, в Московской области, Москве и, на небольшом протяжении, в Смоленской области, левый приток Оки (бассейн Волги). Длина в пределах Московской области 473 км, традиционно упоминается также 502 км (см. неоднозначность с истоком ), площадь бассейна — 17 600 кв км. Река начинается на склоне Смоленско-Московской возвышенности и впадает в Оку на территории Коломны. Общее падение от истока до устья составляет 155,5 м. Крупнейшие притоки — Руза (левый), Пахра (правый) и Истра (левый)." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 281, + "segment": "Оки" + }, + { + "label": "passage", + "length": 3, + "offset": 281, + "segment": "Ока" + } + ], + "meta": { + "id": 279, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 156, + "segment": "Москву" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, через которую построен Белорусский железнодорожный мост?\nТекст 1: Белорусский (Филёвский) железнодорожный мост в Москве — трёхпролётный стальной балочный мост Белорусского направления Московской железной дороги через реку Москву. В основе моста — постройка 1895 года, реконструированная дважды — в 1938 и 1961 годах.\nТекст 2: Москва (обычно Москва-река, в московском произношении с XIX века — \"Москварека\", первая часть в разговорной речи часто не склоняется: \"на Москва-реке\") — средняя река в Центральной России, в Московской области, Москве и, на небольшом протяжении, в Смоленской области, левый приток Оки (бассейн Волги). Длина в пределах Московской области 473 км, традиционно упоминается также 502 км (см. неоднозначность с истоком ), площадь бассейна — 17 600 кв км. Река начинается на склоне Смоленско-Московской возвышенности и впадает в Оку на территории Коломны. Общее падение от истока до устья составляет 155,5 м. Крупнейшие притоки — Руза (левый), Пахра (правый) и Истра (левый).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 286, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Людвиг Папикович Гарибджанян?", + "support_text": "Людвиг Папикович Гарибджанян ( (24 августа 1922, Ереван — 13 декабря 2011, Ереван) — армянский советский политический, общественный и государственный деятель.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 73, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 49, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Людвиг Папикович Гарибджанян ( (24 августа 1922, Ереван — 13 декабря 2011, Ереван) — армянский советский политический, общественный и государственный деятель.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Людвиг Папикович Гарибджанян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " гора Мармолада", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое место является наивысшей точкой горного хребта, к которому принадлежит Браес?", + "support_text": "Браес (Прагзер-Вильдзе, озеро Прагса; ; ) — озеро в Доломитовых Альпах в Южном Тироле, Италия. Находится на территории муниципалитета Брайеса, который расположен в Долине Прагса. Расположено у подножья горы Крода дель Бекко. Во время Второй Мировой Войны был перевалочным пунктом перевозки концентрационных лагерей в Тироль.", + "text": "Доломитовые Альпы ( ) — горный массив в Восточных Альпах, входят в систему Южных Известняковых Альп. Массив располагается в северо-восточной части Италии на территории провинций Беллуно, Больцано, Порденоне, Тренто и Удине. Массив ограничен долинами рек: Изарко (северо-запад), Пустерия (север), Пьяве (восток и юго-восток), Брента (юго-запад) и Адидже (запад). Протяжённость системы составляет около 150 км, высшая точка — гора Мармолада (3342 м). В 2009 году Доломитовые Альпы были включены в список Всемирного наследия ЮНЕСКО по критериям VII и VIII.\n\nГеоморфология.\nМассив покрывает площадь 15,9 тыс. кв км и включает в себя 18 пиков высотой более 3 тыс. м. Процессы эрозии создали ландшафты с вертикальными обрывами, голыми утёсами, а также узкими и длинными долинами, включающие ледниковые и карстовые формы рельефа. Часто происходят оползни, наводнения и сходы лавин. Дважды (в 1963 и 1966 гг.) сильные бури вызывали оползни, которые приводили к прорыву дамбы Вайонт (на притоке реки Пьяве) и затоплению деревни Лонгароне. В центральной части имеются снежники и около 40 ледников, самый крупный из которых — Мармолада площадью 3 кв км. Суммарная площадь оледенения доходит до 9 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 424, + "segment": "гора Мармолада" + }, + { + "label": "passage", + "length": 9, + "offset": 429, + "segment": "Мармолада" + } + ], + "meta": { + "id": 1002, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 52, + "segment": "Доломитовых Альпах" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Браес (Прагзер-Вильдзе, озеро Прагса; ; ) — озеро в Доломитовых Альпах в Южном Тироле, Италия. Находится на территории муниципалитета Брайеса, который расположен в Долине Прагса. Расположено у подножья горы Крода дель Бекко. Во время Второй Мировой Войны был перевалочным пунктом перевозки концентрационных лагерей в Тироль.\nТекст 2: Доломитовые Альпы ( ) — горный массив в Восточных Альпах, входят в систему Южных Известняковых Альп. Массив располагается в северо-восточной части Италии на территории провинций Беллуно, Больцано, Порденоне, Тренто и Удине. Массив ограничен долинами рек: Изарко (северо-запад), Пустерия (север), Пьяве (восток и юго-восток), Брента (юго-запад) и Адидже (запад). Протяжённость системы составляет около 150 км, высшая точка — гора Мармолада (3342 м). В 2009 году Доломитовые Альпы были включены в список Всемирного наследия ЮНЕСКО по критериям VII и VIII.\n\nГеоморфология.\nМассив покрывает площадь 15,9 тыс. кв км и включает в себя 18 пиков высотой более 3 тыс. м. Процессы эрозии создали ландшафты с вертикальными обрывами, голыми утёсами, а также узкими и длинными долинами, включающие ледниковые и карстовые формы рельефа. Часто происходят оползни, наводнения и сходы лавин. Дважды (в 1963 и 1966 гг.) сильные бури вызывали оползни, которые приводили к прорыву дамбы Вайонт (на притоке реки Пьяве) и затоплению деревни Лонгароне. В центральной части имеются снежники и около 40 ледников, самый крупный из которых — Мармолада площадью 3 кв км. Суммарная площадь оледенения доходит до 9 кв км.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какое место является наивысшей точкой горного хребта, к которому принадлежит Браес? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 507, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13793103448275862, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Пунит Раджкумар, — это двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Пунит Раджкумар?", + "support_text": "Пунит Раджкумар ( , род. 17 марта 1975, Мадрас, Индия) — индийский актёр, певец и телеведущий, который снимается в основном в фильмах на языке каннада.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. Каждые два года меняется (переизбирается) треть состава Совета штатов. 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 951, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 951, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 443, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 48, + "segment": "Индия" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Пунит Раджкумар ( , род. 17 марта 1975, Мадрас, Индия) — индийский актёр, певец и телеведущий, который снимается в основном в фильмах на языке каннада.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. Каждые два года меняется (переизбирается) треть состава Совета штатов. 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Пунит Раджкумар?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 634, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Томь", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Тузахсуг?", + "support_text": "Тузахсуг (\"устар.\" Тузухсу) — река в России, протекает по Аскизскому району Республики Хакасия. Устье реки находится в 795 км от устья Томи по левому берегу. Длина реки составляет 22 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Томь от истока до города Новокузнецк, без реки Кондома, речной подбассейн реки — Томь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.", + "text": "Томь (в верховье Правая Томь; ) — река в Западной Сибири, правый приток Оби, второй по водности после Иртыша.\n\nХозяйственное использование.\nВ конце 1960-х годов существовало предложение соединить Томь и Обь судоходным каналом в 50-60 километрах выше по течению от места впадения Томи. Предполагалось, что этот канал на несколько десятков километров сократит транспортный путь для судов, курсирующих по маршруту Томск—Новосибирск. Кроме того, Томск мог бы получить новый чистый источник водоснабжения — биологический и химический состав воды реки Оби к тому времени стал чище воды реки Томи. В 1975 году началось строительство Крапивинской гидроэлектростанции на Томи в Кемеровской области у посёлка Зеленогорский. В 1989 году строительство было заморожено." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Обь" + } + ], + "meta": { + "id": 853, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 135, + "segment": "Томи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тузахсуг (\"устар.\" Тузухсу) — река в России, протекает по Аскизскому району Республики Хакасия. Устье реки находится в 795 км от устья Томи по левому берегу. Длина реки составляет 22 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Томь от истока до города Новокузнецк, без реки Кондома, речной подбассейн реки — Томь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nТекст 2: Томь (в верховье Правая Томь; ) — река в Западной Сибири, правый приток Оби, второй по водности после Иртыша.\n\nХозяйственное использование.\nВ конце 1960-х годов существовало предложение соединить Томь и Обь судоходным каналом в 50-60 километрах выше по течению от места впадения Томи. Предполагалось, что этот канал на несколько десятков километров сократит транспортный путь для судов, курсирующих по маршруту Томск—Новосибирск. Кроме того, Томск мог бы получить новый чистый источник водоснабжения — биологический и химический состав воды реки Оби к тому времени стал чище воды реки Томи. В 1975 году началось строительство Крапивинской гидроэлектростанции на Томи в Кемеровской области у посёлка Зеленогорский. В 1989 году строительство было заморожено.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Тузахсуг? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 376, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " И. Р. Метшин является главой администрации в городе Казани, где умер Николай Петрович Слугинов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Николай Петрович Слугинов?", + "support_text": "Николай Петрович Слугинов (1854—1897) — российский учёный, профессор физики Императорского Казанского университета.\n\nБиография.\nВ 1881 году В Санкт-Петербургском университете защитил магистерскую диссертацию \"Теория электролиза\" и в качестве приват-доцента стал читать в университете лекции. В 1884 году защитил докторскую диссертацию \"Электрическое свечение\". В своих диссертацииях Слугинов первый описал явление, ставшее основой устройства прерывателя Венельта. В 1884 году поступил преподавателем физики в Императорское Московское техническое училище, а 2 августа 1886 года был утверждён экстраординарным профессором Казанского университета, где читал лекции до своей кончины, уже будучи ординарным профессором кафедры физики и физической географии. Умер в Казани в 1897 году.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 940, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 763, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Николай Петрович Слугинов (1854—1897) — российский учёный, профессор физики Императорского Казанского университета.\n\nБиография.\nВ 1881 году В Санкт-Петербургском университете защитил магистерскую диссертацию \"Теория электролиза\" и в качестве приват-доцента стал читать в университете лекции. В 1884 году защитил докторскую диссертацию \"Электрическое свечение\". В своих диссертацииях Слугинов первый описал явление, ставшее основой устройства прерывателя Венельта. В 1884 году поступил преподавателем физики в Императорское Московское техническое училище, а 2 августа 1886 года был утверждён экстраординарным профессором Казанского университета, где читал лекции до своей кончины, уже будучи ординарным профессором кафедры физики и физической географии. Умер в Казани в 1897 году.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Николай Петрович Слугинов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 345, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кура", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Шамхорчай?", + "support_text": "Шамхорчай — река на западе Азербайджана. Впадает в Шамхорское водохранилище. Ранее являлась одним из крупнейших притоков Куры. Длина реки — 95 км.\n\nПримечания.\nКатегория:Бассейн Куры.", + "text": "Кура ( , /Мтквари, /Кур); в самом верхнем течении Карасую — самая крупная река Закавказья. Берёт начало в Армянском нагорье на территории Турции. Впадает в Каспийское море, протекает по территории трёх государств: Турции, Грузии, Азербайджана, и для двух последних является основной рекой. Часть бассейна Куры (в основном, её крупнейшего притока Аракса) находится на территории Армении и Ирана. Протяжённость Куры составляет 1364 км, площадь водосборного бассейна — 188 тыс. кв км.\n\nФизиография.\nКарта бассейна Куры. Своё начало река берёт на северо-востоке Турции, в провинции Карс, на Армянском нагорье. Оттуда она течёт через Грузию в Азербайджан, где впадает в Каспийское море (Зюйдостовый Култук). В своей верхней части (до города Тбилиси) Кура течёт в основном среди котловин и ущелий, самое известное из которых — Боржомское. После Тбилиси долина реки существенно расширяется, и Кура протекает преимущественно по сухой степи." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 156, + "segment": "Каспийское море" + } + ], + "meta": { + "id": 1040, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 121, + "segment": "Куры" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Шамхорчай — река на западе Азербайджана. Впадает в Шамхорское водохранилище. Ранее являлась одним из крупнейших притоков Куры. Длина реки — 95 км.\n\nПримечания.\nКатегория:Бассейн Куры.\nТекст 2: Кура ( , /Мтквари, /Кур); в самом верхнем течении Карасую — самая крупная река Закавказья. Берёт начало в Армянском нагорье на территории Турции. Впадает в Каспийское море, протекает по территории трёх государств: Турции, Грузии, Азербайджана, и для двух последних является основной рекой. Часть бассейна Куры (в основном, её крупнейшего притока Аракса) находится на территории Армении и Ирана. Протяжённость Куры составляет 1364 км, площадь водосборного бассейна — 188 тыс. кв км.\n\nФизиография.\nКарта бассейна Куры. Своё начало река берёт на северо-востоке Турции, в провинции Карс, на Армянском нагорье. Оттуда она течёт через Грузию в Азербайджан, где впадает в Каспийское море (Зюйдостовый Култук). В своей верхней части (до города Тбилиси) Кура течёт в основном среди котловин и ущелий, самое известное из которых — Боржомское. После Тбилиси долина реки существенно расширяется, и Кура протекает преимущественно по сухой степи.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Шамхорчай?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 324, + "generated_len": [ + 52 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Рига", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой город раньше существовал отдельно от города, где умер Пётр Петрович Расланас?", + "support_text": "Пётр Петрович Расланас ( 25 марта 1914, Рига — 2002, Балашиха) — литовский коммунист, ставший сотрудником советских органов государственной безопасности, полковник КГБ.", + "text": "Балашиха — город в России, в центре Московской области, крупнейший город области. Образует город областного значения с административной территорией и одноимённое муниципальное образование городской округ Балашиха. Основан в 1830 году. Население города составляет чел.\n\nСмотрите также.\nЖелезнодорожный (Балашиха). Список улиц Балашихи." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 289, + "segment": "Железнодорожный" + } + ], + "meta": { + "id": 115, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 54, + "segment": "Балашиха" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пётр Петрович Расланас ( 25 марта 1914, Рига — 2002, Балашиха) — литовский коммунист, ставший сотрудником советских органов государственной безопасности, полковник КГБ.\nТекст 2: Балашиха — город в России, в центре Московской области, крупнейший город области. Образует город областного значения с административной территорией и одноимённое муниципальное образование городской округ Балашиха. Основан в 1830 году. Население города составляет чел.\n\nСмотрите также.\nЖелезнодорожный (Балашиха). Список улиц Балашихи.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой город раньше существовал отдельно от города, где умер Пётр Петрович Расланас? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.33333333333333337, + "em": 0 + }, + "predict": " Река Пультыткувеемкай сливается с рекой Раучуа, впадая в Восточно-Сибирское море.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пультыткувеемкай?", + "support_text": "Пультыткувеемкай — река на севере Дальнего Востока России, протекает по территории Чаунского района Чукотского автономного округа. Длина реки — 14 км. Название в переводе с — \"кривая речушка\". Берёт истоки у подножия сопки \"Радиальная\", протекает в юго-западном направлении до впадения в Раучуа справа. Устье находится в 13 км к северо-западу от горняцкого посёлка Бараниха. Имеет несколько притоков без названия.\n\nПримечания.\nКатегория:Притоки Раучуа.", + "text": "Раучуа (Раучуван, Большая Бараниха, \"Раучай\") — река на Дальнем Востоке. Протекает по территории Чаунского района Чукотского автономного округа России. По площади бассейна Раучуа занимает 7-е место среди рек Чукотки и 69-е — в России.\n\nГидрография.\nВ верховье протекает через озеро Раучувагыткын. В верхнем и среднем течении Раучуа является среднегорной тундровой рекой с галечными косами, перекатами и зарослями ивняка по берегам проток. Большая часть впадающих ручьёв и речек во второй половине лета обычно пересыхают. Дельта расположена на приморской равнине, где имеется множество озёр лагунно-термокарстового происхождения. Впадает в Восточно-Сибирское море несколькими протоками, глубина при впадении составляет 1,5-5 м. Устье подвержено сгонно-нагонными колебаниями уровня со стороны моря в пределах 1-1,5. Толщина многолетнемёрзлого слоя пород в долине Раучуа составляет 94 метра и более. При этом существует подрусловой талик.\n\nПримечания.\nКатегория:Реки, впадающие в Восточно-Сибирское море." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 642, + "segment": "Восточно-Сибирское море" + } + ], + "meta": { + "id": 866, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 289, + "segment": "Раучуа" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Пультыткувеемкай?\nТекст 1: Пультыткувеемкай — река на севере Дальнего Востока России, протекает по территории Чаунского района Чукотского автономного округа. Длина реки — 14 км. Название в переводе с — \"кривая речушка\". Берёт истоки у подножия сопки \"Радиальная\", протекает в юго-западном направлении до впадения в Раучуа справа. Устье находится в 13 км к северо-западу от горняцкого посёлка Бараниха. Имеет несколько притоков без названия.\n\nПримечания.\nКатегория:Притоки Раучуа.\nТекст 2: Раучуа (Раучуван, Большая Бараниха, \"Раучай\") — река на Дальнем Востоке. Протекает по территории Чаунского района Чукотского автономного округа России. По площади бассейна Раучуа занимает 7-е место среди рек Чукотки и 69-е — в России.\n\nГидрография.\nВ верховье протекает через озеро Раучувагыткын. В верхнем и среднем течении Раучуа является среднегорной тундровой рекой с галечными косами, перекатами и зарослями ивняка по берегам проток. Большая часть впадающих ручьёв и речек во второй половине лета обычно пересыхают. Дельта расположена на приморской равнине, где имеется множество озёр лагунно-термокарстового происхождения. Впадает в Восточно-Сибирское море несколькими протоками, глубина при впадении составляет 1,5-5 м. Устье подвержено сгонно-нагонными колебаниями уровня со стороны моря в пределах 1-1,5. Толщина многолетнемёрзлого слоя пород в долине Раучуа составляет 94 метра и более. При этом существует подрусловой талик.\n\nПримечания.\nКатегория:Реки, впадающие в Восточно-Сибирское море.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13793103448275862, + "em": 0 + }, + "predict": " Александр Тимофеевич Прокопенко родился в Бобруйске, городе в Могилёвской области Белоруссии. В городе Бобруйске главой администрации является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Тимофеевич Прокопенко?", + "support_text": "Александр Тимофеевич Прокопенко (16 ноября 1953, Бобруйск, Могилёвская область, Белорусская ССР, СССР — 29 марта 1989, Минск, Белорусская ССР, СССР) — советский футболист. Игровое амплуа — полузащитник. Мастер спорта СССР (1979). Мастер спорта международного класса (1980).\n\nБиография.\nВоспитанник Бобруйской ДЮСШ по футболу. Тренер Владимир Сасункевич. Начал играть в 1962 году в Бобруйске в детской команде, затем в клубной команде \"Строитель\" (Бобруйск) — 1971-72 (по июнь). В \"Динамо\" (Минск) — с июля 1972 года по 1983 год (год чемпионства команды). В 1983 году был отчислен из команды за систематическое нарушение режима. С 1983 по 1984 год играл за \"Торпедо\" (Минск).", + "text": "Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\nПредседателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 660, + "segment": "Александр Студнев" + } + ], + "meta": { + "id": 166, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 49, + "segment": "Бобруйск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Александр Тимофеевич Прокопенко (16 ноября 1953, Бобруйск, Могилёвская область, Белорусская ССР, СССР — 29 марта 1989, Минск, Белорусская ССР, СССР) — советский футболист. Игровое амплуа — полузащитник. Мастер спорта СССР (1979). Мастер спорта международного класса (1980).\n\nБиография.\nВоспитанник Бобруйской ДЮСШ по футболу. Тренер Владимир Сасункевич. Начал играть в 1962 году в Бобруйске в детской команде, затем в клубной команде \"Строитель\" (Бобруйск) — 1971-72 (по июнь). В \"Динамо\" (Минск) — с июля 1972 года по 1983 год (год чемпионства команды). В 1983 году был отчислен из команды за систематическое нарушение режима. С 1983 по 1984 год играл за \"Торпедо\" (Минск).\nТекст 2: Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\nПредседателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев.\nВопрос: Кто является главой администрации в городе, где родился Александр Тимофеевич Прокопенко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 413, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ай-Пим", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Тунгомыяха?", + "support_text": "Тунгомыяха (\"устар.\" Тугомы-Яга) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 199 км по левому берегу реки Ай-Пим. Длина реки составляет 40 км.", + "text": "Ай-Пим — река в России, протекает по территории Сургутского района Ханты-Мансийского автономного округа. Устье реки находится в 153 км по правому берегу реки Пим. Длина реки — 258 км, площадь её водосборного бассейна — 1780 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 3, + "segment": "Пим" + } + ], + "meta": { + "id": 430, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 137, + "segment": "Ай-Пим" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тунгомыяха (\"устар.\" Тугомы-Яга) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 199 км по левому берегу реки Ай-Пим. Длина реки составляет 40 км.\nТекст 2: Ай-Пим — река в России, протекает по территории Сургутского района Ханты-Мансийского автономного округа. Устье реки находится в 153 км по правому берегу реки Пим. Длина реки — 258 км, площадь её водосборного бассейна — 1780 кв км.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Тунгомыяха? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Президент.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность у главы государства в стране, чьим гражданином был Бахтияр Рахмани?", + "support_text": "Бахтияр Рахмани ( 23 сентября 1991, Сарполь-э-Захаб) — иранский футболист, полузащитник клуба \"Сепахан\". Выступал в сборной Ирана.\n\nКарьера в сборной.\nРахмани был впервые вызван в Сборную Ирана (до 15 лет). Он играл за Иран национальной сборной по футболу всех возрастных групп. Он был вызван и играл за Сборной Ирана (до 23) в 2011 году, в которой он стал капитаном. 14 мая 2013 года, Рахмани был вызван в Сборную Ирана Карлушем Кейрушем.\n\nСтатистика.\nИгры . Голы. Игры . Голы. Иран. Лига.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана. На протяжении многих веков эта страна играла ключевую роль на Востоке, и современный Иран обладает четвёртой по размеру ВВП (по ППС) экономикой в исламском мире и второй по размеру в Западной Азии (после Турции).\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Хотя президент назначает министров обороны и разведки, кандидатуры должны быть заранее одобрены Высшим руководителем. Совет целесообразности разрешает спорные вопросы, возникающие между Меджлисом и Советом стражей. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 664, + "segment": "Высший руководитель" + }, + { + "label": "passage", + "length": 9, + "offset": 998, + "segment": "президент" + }, + { + "label": "passage", + "length": 20, + "offset": 1145, + "segment": "Высшего руководителя" + }, + { + "label": "passage", + "length": 9, + "offset": 998, + "segment": "Президент" + } + ], + "meta": { + "id": 1015, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 56, + "segment": "иранский" + }, + { + "label": "passage", + "length": 5, + "offset": 125, + "segment": "Ирана" + }, + { + "label": "passage", + "length": 4, + "offset": 125, + "segment": "Иран" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Бахтияр Рахмани ( 23 сентября 1991, Сарполь-э-Захаб) — иранский футболист, полузащитник клуба \"Сепахан\". Выступал в сборной Ирана.\n\nКарьера в сборной.\nРахмани был впервые вызван в Сборную Ирана (до 15 лет). Он играл за Иран национальной сборной по футболу всех возрастных групп. Он был вызван и играл за Сборной Ирана (до 23) в 2011 году, в которой он стал капитаном. 14 мая 2013 года, Рахмани был вызван в Сборную Ирана Карлушем Кейрушем.\n\nСтатистика.\nИгры . Голы. Игры . Голы. Иран. Лига.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана. На протяжении многих веков эта страна играла ключевую роль на Востоке, и современный Иран обладает четвёртой по размеру ВВП (по ППС) экономикой в исламском мире и второй по размеру в Западной Азии (после Турции).\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Хотя президент назначает министров обороны и разведки, кандидатуры должны быть заранее одобрены Высшим руководителем. Совет целесообразности разрешает спорные вопросы, возникающие между Меджлисом и Советом стражей. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность у главы государства в стране, чьим гражданином был Бахтияр Рахмани? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 675, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Мариупольский горсовет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родилась Александра Захаровна Смолярова?", + "support_text": "Александра Захаровна Смолярова ( 19 июня 1925, Мариуполь, Украинская ССР, СССР — 24 мая 2014, Киев, Украина) — советская и украинская театральная актриса и педагог. Народная артистка УССР (1980).\n\nБиография.\nА. З. Смолярова родилась 19 июня 1925 года в городе Мариуполь (ныне Донецкая область, Украина). До войны училась в киевской школе № 57. В 1944—1948 годах училась в КГИТИ имени И. К. Карпенко-Карого (актёрский факультет, мастерская Л. Гакебуш).", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 679, + "segment": "Мариупольским горсоветом" + }, + { + "label": "passage", + "length": 24, + "offset": 679, + "segment": "Мариупольский горсовет" + } + ], + "meta": { + "id": 801, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 48, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александра Захаровна Смолярова ( 19 июня 1925, Мариуполь, Украинская ССР, СССР — 24 мая 2014, Киев, Украина) — советская и украинская театральная актриса и педагог. Народная артистка УССР (1980).\n\nБиография.\nА. З. Смолярова родилась 19 июня 1925 года в городе Мариуполь (ныне Донецкая область, Украина). До войны училась в киевской школе № 57. В 1944—1948 годах училась в КГИТИ имени И. К. Карпенко-Карого (актёрский факультет, мастерская Л. Гакебуш).\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родилась Александра Захаровна Смолярова? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.125, + "em": 0 + }, + "predict": " С рекой Вага сливается река, в которую впадает Пуя. Это следует из данных водного реестра, указывающих, что Вага является крупнейшим левым притоком Северной Двины, а Пуя — левым притоком Ваги.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пуя?", + "support_text": "Пуя — река в Вельском и Шенкурском районах Архангельской области, левый приток реки Вага (бассейн Северной Двины). Длина реки — 172 км, площадь водосбора — 2500 кв км.\n\nДанные водного реестра.\nБассейновый округ — Двинско-Печорский. Речной бассейн — Северная Двина. Речной подбассейн — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Водохозяйственный участок — Вага. Притоки. \"(указано расстояние от устья)\".", + "text": "Вага — река в Вологодской и Архангельской областях России, крупнейший левый приток Северной Двины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 83, + "segment": "Северной Двины" + }, + { + "label": "passage", + "length": 14, + "offset": 83, + "segment": "Северная Двина" + } + ], + "meta": { + "id": 865, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 84, + "segment": "Вага" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Пуя?\nТекст 1: Пуя — река в Вельском и Шенкурском районах Архангельской области, левый приток реки Вага (бассейн Северной Двины). Длина реки — 172 км, площадь водосбора — 2500 кв км.\n\nДанные водного реестра.\nБассейновый округ — Двинско-Печорский. Речной бассейн — Северная Двина. Речной подбассейн — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Водохозяйственный участок — Вага. Притоки. \"(указано расстояние от устья)\".\nТекст 2: Вага — река в Вологодской и Архангельской областях России, крупнейший левый приток Северной Двины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Олег Яковлевич Ухналёв, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Олег Яковлевич Ухналёв?", + "support_text": "Олег Яковлевич Ухналёв (27 ноября 1946, Горький — 14 августа 2005, Красногорск) — советский и российский эстрадный певец (баритон), Народный артист Российской Федерации.\n\nБиография.\nРодился 27 ноября 1946 года в городе Горьком в семье кадрового военного-моряка Якова Гордеевича Ухналёва. В 1962 году, когда семья проживала в Калининграде, по настоянию отца в 16 лет поступил и был зачислен певцом-юнгой в Ансамбль песни и пляски дважды Краснознамённого Балтийского флота, с которым участвовал во многих концертах. В 1963 году во время встречи с моряками-балтийцами происходит встреча начинающего певца с уже известными композиторами Александрой Пахмутовой и Николаем Добронравовым. \"Меня представили Александре Николаевне и я спел с листа очень популярную тогда песню \"Куба — любовь моя\".", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 913, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 913, + "segment": "Городская дума" + } + ], + "meta": { + "id": 59, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 40, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Олег Яковлевич Ухналёв (27 ноября 1946, Горький — 14 августа 2005, Красногорск) — советский и российский эстрадный певец (баритон), Народный артист Российской Федерации.\n\nБиография.\nРодился 27 ноября 1946 года в городе Горьком в семье кадрового военного-моряка Якова Гордеевича Ухналёва. В 1962 году, когда семья проживала в Калининграде, по настоянию отца в 16 лет поступил и был зачислен певцом-юнгой в Ансамбль песни и пляски дважды Краснознамённого Балтийского флота, с которым участвовал во многих концертах. В 1963 году во время встречи с моряками-балтийцами происходит встреча начинающего певца с уже известными композиторами Александрой Пахмутовой и Николаем Добронравовым. \"Меня представили Александре Николаевне и я спел с листа очень популярную тогда песню \"Куба — любовь моя\".\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nВопрос: Как называется законодательный орган города, где родился Олег Яковлевич Ухналёв?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 488, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15384615384615385, + "em": 0 + }, + "predict": " Слободско-Украинская губерния", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что раньше находилось на территории губернии, где умер Сергей Фёдорович Морошкин?", + "support_text": "Морошкин Сергей Фёдорович (1844—1900) — русский юрист, присяжный поверенный, судья Харьковской судебной палаты.\n\nБиография.\nВ период с 1865 по 1867 годы работал в московском архиве Министерства юстиции Российской империи под руководством Н. В. Калачова, в канцелярии московского окружного суда, товарищем прокурора в Харькове. После этого на протяжении почти 20 лет был \"одним из выдающихся\" присяжных поверенных округа Харьковской судебной палаты. После создания в 1874 году Совета присяжных поверенных при Харьковской судебной палате С. Ф. Морошкин был сначала товарищем председателя, а затем председателем Совета присяжных поверенных. В 1887 году его назначили членом (судьёй) Харьковской судебной палаты, а в начале 1890-х годов ему предлагали должность председателя департамента палаты, но он отказался, считая, что есть более достойные кандидаты. Умер в Карачёвке Харьковской губернии.", + "text": "Харьковская губерния — губерния Российской империи в XVIII — начале XX века и Украинской ССР до 1925 года. В 1765—1780 годы существовала Слободско-Украинская губерния, в период с 1780 по 1796 год — Харьковское наместничество, затем, до 1835 года — вновь Слободско-Украинская губерния. И, наконец, в 1835 году была образована Харьковская губерния, просуществовавшая по 1925 год. При каждой реорганизации значительно менялись границы и административное устройство." + }, + "outputs": [ + { + "label": "answer", + "length": 176, + "offset": 107, + "segment": "В 1765—1780 годы существовала Слободско-Украинская губерния, в период с 1780 по 1796 год — Харьковское наместничество, затем, до 1835 года — вновь Слободско-Украинская губерния" + } + ], + "meta": { + "id": 712, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 874, + "segment": "Харьковской губернии" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Морошкин Сергей Фёдорович (1844—1900) — русский юрист, присяжный поверенный, судья Харьковской судебной палаты.\n\nБиография.\nВ период с 1865 по 1867 годы работал в московском архиве Министерства юстиции Российской империи под руководством Н. В. Калачова, в канцелярии московского окружного суда, товарищем прокурора в Харькове. После этого на протяжении почти 20 лет был \"одним из выдающихся\" присяжных поверенных округа Харьковской судебной палаты. После создания в 1874 году Совета присяжных поверенных при Харьковской судебной палате С. Ф. Морошкин был сначала товарищем председателя, а затем председателем Совета присяжных поверенных. В 1887 году его назначили членом (судьёй) Харьковской судебной палаты, а в начале 1890-х годов ему предлагали должность председателя департамента палаты, но он отказался, считая, что есть более достойные кандидаты. Умер в Карачёвке Харьковской губернии.\nТекст 2: Харьковская губерния — губерния Российской империи в XVIII — начале XX века и Украинской ССР до 1925 года. В 1765—1780 годы существовала Слободско-Украинская губерния, в период с 1780 по 1796 год — Харьковское наместничество, затем, до 1835 года — вновь Слободско-Украинская губерния. И, наконец, в 1835 году была образована Харьковская губерния, просуществовавшая по 1925 год. При каждой реорганизации значительно менялись границы и административное устройство.\nОпираясь на данные тексты, ответьте на вопрос: Что раньше находилось на территории губернии, где умер Сергей Фёдорович Морошкин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 392, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев является главой администрации в городе Магнитогорске, где родился Игорь Евгеньевич Морозов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Игорь Евгеньевич Морозов?", + "support_text": "Игорь Евгеньевич Морозов (11 сентября 1968, Магнитогорск) — российский кинорежиссёр, сценарист.\n\nБиография.\nРодился в г. Магнитогорск Челябинской области. С 1986 по 1988 год служил в Вооружённых Силах СССР.", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nЕвгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 457, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 197, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 44, + "segment": "Магнитогорск" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Игорь Евгеньевич Морозов (11 сентября 1968, Магнитогорск) — российский кинорежиссёр, сценарист.\n\nБиография.\nРодился в г. Магнитогорск Челябинской области. С 1986 по 1988 год служил в Вооружённых Силах СССР.\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nЕвгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Игорь Евгеньевич Морозов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательная власть в городе, где родился Марк Владимирович Григорян, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Марк Владимирович Григорян (журналист)?", + "support_text": "Марк Владимирович Григорян ( , Ереван) — армянский и британский журналист. Внук архитектора Марка Григоряна, брат музыковеда Левона Акопяна. В 1980 году, окончив Ереванский государственный университет, поступил на работу в Ереванский научно-исследовательский и проектный институт автоматизированных систем управления городом (ЕрНИПИ АСУГ). Диссертацию по специальности \"Русский язык\" защитил в 1989 году в Институте русского языка имени В. В. Виноградова Академии Наук СССР (ныне — РАН). До 26 марта 2011 года вместе с Севой Новгородцевым вёл передачу \"Бибисева\". В 2003 получил журналистскую премию Hellman/Hammett, вручаемую ежегодно в знак \"признания храбрости перед лицом политических преследований\". В 2015-2017 годах был автором и ведущим телепрограммы \"Незнакомый Ереван\" на телеканале ATV. Всего в эфир вышла 71 передача. 12 июня 2017 года назначен исполнительным директором Общественного радио Армении. В мае 2004 года руководство азербайджанской компании ANS, транслирующей на территорию Азербайджана передачи BBC World Service, в ультимативной форме заявило что прекратит трансляции BBC, если до 1 июня Марк Григорян не будет отстранен от должности продюсера утренних программ BBC.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 55, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 31, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родился Марк Владимирович Григорян (журналист)?\nТекст 1: Марк Владимирович Григорян ( , Ереван) — армянский и британский журналист. Внук архитектора Марка Григоряна, брат музыковеда Левона Акопяна. В 1980 году, окончив Ереванский государственный университет, поступил на работу в Ереванский научно-исследовательский и проектный институт автоматизированных систем управления городом (ЕрНИПИ АСУГ). Диссертацию по специальности \"Русский язык\" защитил в 1989 году в Институте русского языка имени В. В. Виноградова Академии Наук СССР (ныне — РАН). До 26 марта 2011 года вместе с Севой Новгородцевым вёл передачу \"Бибисева\". В 2003 получил журналистскую премию Hellman/Hammett, вручаемую ежегодно в знак \"признания храбрости перед лицом политических преследований\". В 2015-2017 годах был автором и ведущим телепрограммы \"Незнакомый Ереван\" на телеканале ATV. Всего в эфир вышла 71 передача. 12 июня 2017 года назначен исполнительным директором Общественного радио Армении. В мае 2004 года руководство азербайджанской компании ANS, транслирующей на территорию Азербайджана передачи BBC World Service, в ультимативной форме заявило что прекратит трансляции BBC, если до 1 июня Марк Григорян не будет отстранен от должности продюсера утренних программ BBC.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16666666666666669, + "em": 0 + }, + "predict": " Водоток, в который впадает река, притоком которой является Кыз, называется Вятка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Кыз?", + "support_text": "Кыз — река в России, протекает в Койгородском районе Республики Коми. Устье реки находится в 301 км по левому берегу реки Кобра. Длина реки составляет 26 км, площадь водосборного бассейна 151 кв км.", + "text": "Кобра — река в Республике Коми и Кировской области, правый приток Вятки (бассейн Волги). Длина реки — 324 км, площадь её бассейна насчитывает 7810 кв км. Устье реки находится в 921 км по правому берегу реки Вятки. Питание имеет в основном снеговое и дождевое. Среднегодовой расход воды — 55 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 66, + "segment": "Вятки" + }, + { + "label": "passage", + "length": 5, + "offset": 66, + "segment": "Вятка" + } + ], + "meta": { + "id": 806, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 122, + "segment": "Кобра" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Кыз — река в России, протекает в Койгородском районе Республики Коми. Устье реки находится в 301 км по левому берегу реки Кобра. Длина реки составляет 26 км, площадь водосборного бассейна 151 кв км.\nТекст 2: Кобра — река в Республике Коми и Кировской области, правый приток Вятки (бассейн Волги). Длина реки — 324 км, площадь её бассейна насчитывает 7810 кв км. Устье реки находится в 921 км по правому берегу реки Вятки. Питание имеет в основном снеговое и дождевое. Среднегодовой расход воды — 55 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама.\nОпираясь на данные тексты, ответьте на вопрос: Как называется водоток, в который впадает река, притоком которой является Кыз?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 252, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2, + "em": 0 + }, + "predict": " В городе, где родился Евгений Платонович Иванов (Нижний Новгород), работает Городская Дума.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Евгений Платонович Иванов?", + "support_text": "Евгений Платонович Иванов (2(14) мая 1884, Нижний Новгород — 6 мая 1967) — русский и , , . Двоюродный племянник Аполлинарии Сусловой, переписка с которой, по признанию Иванова, существенно повлияла на его литературное самоопределение.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 913, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 913, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 733, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 43, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Евгений Платонович Иванов (2(14) мая 1884, Нижний Новгород — 6 мая 1967) — русский и , , . Двоюродный племянник Аполлинарии Сусловой, переписка с которой, по признанию Иванова, существенно повлияла на его литературное самоопределение.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nВопрос: Что за законодательный орган работает в городе, где родился Евгений Платонович Иванов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лямин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Амкуяха?", + "support_text": "Амкуяха (\"устар.\" Амку-Яга) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 110 км по левому берегу реки Лямин. Длина реки составляет 47 км.", + "text": "Лямин — река в Ханты-Мансийском автономном округе России, правый приток Оби.\n\nГеография.\nЛямин образуется слиянием рек Первый Лямин (справа; , ещё местные её называют Святая Лямин) и Второй Лямин (слева; , Боровая Лямин) на северо-западе Сургутского района Ханты-Мансийского автономного округа на высоте 52 м над уровнем моря; в 10 км ниже этого места в Лямин слева впадает его крупнейший приток Третий Лямин ( Язёвая Лямин). Все три реки берут начало на высоте 120—140 м в болотах на водораздельной возвышенности Сибирские Увалы, которая простирается на севере Средней Оби параллельно её руслу. Лямин течёт по заболоченной таёжной местности Западно-Сибирской низменности в южном и юго-восточном направлении; русло очень извилистое с множеством меандров. Лямин впадает в Обь у села Лямина, в 90 км к западу от Сургута, место впадения находится на высоте 24 м над уровнем моря. Первый, Второй и Третий Лямин текут по очень заболоченной местности, почти сплошь покрытой множеством озёр разного размера. Эта озерно-болотная низменность продолжается на юг по левому берегу собственно Лямина к самой Оби; из этих болот в Лямин стекают многочисленные мелкие притоки. Правый берег Лямина повышен, с холмами высотой до 80—100 м.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 774, + "segment": "Обь" + } + ], + "meta": { + "id": 911, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 132, + "segment": "Лямин" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Амкуяха (\"устар.\" Амку-Яга) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 110 км по левому берегу реки Лямин. Длина реки составляет 47 км.\nТекст 2: Лямин — река в Ханты-Мансийском автономном округе России, правый приток Оби.\n\nГеография.\nЛямин образуется слиянием рек Первый Лямин (справа; , ещё местные её называют Святая Лямин) и Второй Лямин (слева; , Боровая Лямин) на северо-западе Сургутского района Ханты-Мансийского автономного округа на высоте 52 м над уровнем моря; в 10 км ниже этого места в Лямин слева впадает его крупнейший приток Третий Лямин ( Язёвая Лямин). Все три реки берут начало на высоте 120—140 м в болотах на водораздельной возвышенности Сибирские Увалы, которая простирается на севере Средней Оби параллельно её руслу. Лямин течёт по заболоченной таёжной местности Западно-Сибирской низменности в южном и юго-восточном направлении; русло очень извилистое с множеством меандров. Лямин впадает в Обь у села Лямина, в 90 км к западу от Сургута, место впадения находится на высоте 24 м над уровнем моря. Первый, Второй и Третий Лямин текут по очень заболоченной местности, почти сплошь покрытой множеством озёр разного размера. Эта озерно-болотная низменность продолжается на юг по левому берегу собственно Лямина к самой Оби; из этих болот в Лямин стекают многочисленные мелкие притоки. Правый берег Лямина повышен, с холмами высотой до 80—100 м.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Амкуяха?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 517, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Президент.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность у главы государства в стране, чьим гражданином был Мортеза-Коли Баят?", + "support_text": "Мортеза-Коли Баят — политический и государственный деятель Ирана. Занимал должность премьер-министра Ирана во время правления шаха Мохаммеда Резы Пехлеви.\n\nБиография.\nВ 1925 году стал министром финансов в правительстве премьер-министра Ирана Мохаммеде Али Форуги. Он неоднократно избирался в парламент Ирана в качестве представителя Эрака. В 1935 году назначен министром финансов в правительстве премьер-министра Али Сухейли. С 25 ноября 1944 по 13 мая 1945 года занимал должность премьер-министра Ирана. Во время его правления состоялся визит Шарля де Голля в Тегеран, а также под давлением союзников Иран объявил войну Японии. В 1958 году Мортеза-Коли Баят скончался в Тегеране.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном.\n\nГосударственное устройство.\nВысший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок. Органы местного самоуправления присутствуют во всех городах и деревнях Ирана и избираются всенародным голосованием на четырёхлетний срок." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 351, + "segment": "Высший руководитель" + } + ], + "meta": { + "id": 437, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 59, + "segment": "Ирана" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Мортеза-Коли Баят — политический и государственный деятель Ирана. Занимал должность премьер-министра Ирана во время правления шаха Мохаммеда Резы Пехлеви.\n\nБиография.\nВ 1925 году стал министром финансов в правительстве премьер-министра Ирана Мохаммеде Али Форуги. Он неоднократно избирался в парламент Ирана в качестве представителя Эрака. В 1935 году назначен министром финансов в правительстве премьер-министра Али Сухейли. С 25 ноября 1944 по 13 мая 1945 года занимал должность премьер-министра Ирана. Во время его правления состоялся визит Шарля де Голля в Тегеран, а также под давлением союзников Иран объявил войну Японии. В 1958 году Мортеза-Коли Баят скончался в Тегеране.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном.\n\nГосударственное устройство.\nВысший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок. Органы местного самоуправления присутствуют во всех городах и деревнях Ирана и избираются всенародным голосованием на четырёхлетний срок.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность у главы государства в стране, чьим гражданином был Мортеза-Коли Баят?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 570, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Портленд, Орегон.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где был рождён человек, придумавший Лизу Симпсон?", + "support_text": "Лиза Мари Симпсон — героиня мультипликационного сериала \"Симпсоны\". Средний ребёнок в семье, восьмилетняя девочка, выделяющаяся среди остальных Симпсонов прежде всего своим умом и рассудительностью. Лиза как персонаж появилась из-под карандаша Мэтта Грейнинга в момент, когда он ожидал аудиенции в приёмной компании FOX. \"Симпсонов\" тогда ещё не существовало, но в самый последний момент Мэтт решил не продавать существующий бренд, а создать с нуля новый, так и появилась на свет Лиза и её семья.", + "text": "Мэттью Абрам Грейнинг ( МФА ; , Портленд, Орегон), более известный как Мэтт Грейнинг (\"Matt Groening\") — американский мультипликатор, создатель, творческий консультант и исполнительный продюсер мультсериалов \"Симпсоны\" и \"Футурама\", а также создатель комикса \"Жизнь в Аду\". О произношении его фамилии неоднократно спорили как в США, так и в других странах." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 32, + "segment": "Портленд" + } + ], + "meta": { + "id": 20, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 244, + "segment": "Мэтта Грейнинга" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Лиза Мари Симпсон — героиня мультипликационного сериала \"Симпсоны\". Средний ребёнок в семье, восьмилетняя девочка, выделяющаяся среди остальных Симпсонов прежде всего своим умом и рассудительностью. Лиза как персонаж появилась из-под карандаша Мэтта Грейнинга в момент, когда он ожидал аудиенции в приёмной компании FOX. \"Симпсонов\" тогда ещё не существовало, но в самый последний момент Мэтт решил не продавать существующий бренд, а создать с нуля новый, так и появилась на свет Лиза и её семья.\nТекст 2: Мэттью Абрам Грейнинг ( МФА ; , Портленд, Орегон), более известный как Мэтт Грейнинг (\"Matt Groening\") — американский мультипликатор, создатель, творческий консультант и исполнительный продюсер мультсериалов \"Симпсоны\" и \"Футурама\", а также создатель комикса \"Жизнь в Аду\". О произношении его фамилии неоднократно спорили как в США, так и в других странах.\nОпираясь на данные тексты, ответьте на вопрос: Где был рождён человек, придумавший Лизу Симпсон?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 250, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.125, + "em": 0 + }, + "predict": " Глава государства в стране, чьим гражданином был Александр Матвеевич Курганов, носил титул Императора Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Александр Матвеевич Курганов?", + "support_text": "Александр Матвеевич Курганов (5.1.1881, Москва — 5.1.1964, Алма-Ата) — российский и советский певец, педагог, заслуженный артист Казахской ССР (1951).", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 100, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 71, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Александр Матвеевич Курганов (5.1.1881, Москва — 5.1.1964, Алма-Ата) — российский и советский певец, педагог, заслуженный артист Казахской ССР (1951).\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nВопрос: Какая должность была у главы государства в стране, чьим гражданином был Александр Матвеевич Курганов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 384, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Хораюган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Ай-Хораюган?", + "support_text": "Ай-Хораюган (устар. \"Ай-Хора-Юган\") — река в Шурышкарском районе Ямало-Ненецкого АО, правая составляющая (исток) реки Хораюган. Длина реки составляет 31 км.", + "text": "Хораюган (устар. \"Хора-Юган\") — река в Шурышкарском районе Ямало-Ненецкого АО. Образуется слиянием левого истока Ун-Хораюган и правого — Ай-Хораюган. Длина реки составляет 5 км, устье находится в 322 км по левому берегу реки Куноват." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 225, + "segment": "Куноват" + } + ], + "meta": { + "id": 90, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 3, + "segment": "Хораюган" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Ай-Хораюган (устар. \"Ай-Хора-Юган\") — река в Шурышкарском районе Ямало-Ненецкого АО, правая составляющая (исток) реки Хораюган. Длина реки составляет 31 км.\nТекст 2: Хораюган (устар. \"Хора-Юган\") — река в Шурышкарском районе Ямало-Ненецкого АО. Образуется слиянием левого истока Ун-Хораюган и правого — Ай-Хораюган. Длина реки составляет 5 км, устье находится в 322 км по левому берегу реки Куноват.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Ай-Хораюган?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Парламент", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданкой которого является Джейн Шор?", + "support_text": "Джейн Шор ( настоящее имя — \"Элизабет\"; ок. 1445 года, Лондон — ок. 1527 года, там же) — любовница Эдуарда IV, короля Англии, а также нескольких других дворян, в том числе пасынка короля Томаса Грея, маркиза Дорсета, и великого камергера Англии Уильяма Гастингса, барона Гастингса из Эшби де Ла Зуш.", + "text": "Королевство Англия — государство в Западной Европе, занимавшее южную часть острова Великобритания, известное с 927 года. После объединения с королевством Шотландия в 1707 году трансформировалось в королевство Великобритания.\n\nИстория.\nСтолетняя война с перерывами продолжалась до 1453 года и закончилась потерей практически всех владений на материке. За время Столетней войны жители королевства стали ощущать свою национальную идентичность, а английский язык в качестве разговорного вытеснил французский. Наследником Эдуарда III стал его внук, Ричард II, ставший королём в десятилетнем возрасте. Он показал себя слабым и в то же время деспотичным правителем. Его расточительность и потворство фаворитам вызвали мятеж лордов-апеллянтов, с помощью парламента ограничивших полномочия монарха и фактически узурпировавших власть в Англии. Позднее король сумел освободиться от опеки и расправиться с апеллянтами, но в 1399 году был свергнут своим двоюродным братом Генрихом Болингброком и заключён в замок Понтефракт, где вскоре умер, а сам Генрих был коронован под именем Генриха IV, основав династию Ланкастеров, и правил до 1413 года. Его сын, Генрих V, в 1415 году возобновил Столетнюю войну. В 1607 году была основана первая английская колония в Америке — Вирджиния, а в 1609 году открыта торговая фактория англичан в Индии. Политика абсолютизма и церковные реформы Карла I, наследника Якова I, вызвали восстания в Шотландии и Ирландии и Английскую революцию. В ходе гражданских войн Карл I потерпел поражение, был предан суду парламента и казнён 30 января 1649 года в Лондоне. Королевство было упразднено и заменено на протекторат, который возглавил Оливер Кромвель. Но вскоре после смерти Кромвеля в 1660 году произошла реставрация монархии и королём был провозглашён Карл II, сын Карла I. Его преемник, Яков II, бывший ярым католиком и начал проводить политику, вызвавшую крайнее неудовольствие протестантского большинства и привело к революции, в результате которой он был свергнут и бежал во Францию." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 749, + "segment": "парламента" + }, + { + "label": "passage", + "length": 10, + "offset": 749, + "segment": "парламент" + } + ], + "meta": { + "id": 983, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 118, + "segment": "Англии" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Джейн Шор ( настоящее имя — \"Элизабет\"; ок. 1445 года, Лондон — ок. 1527 года, там же) — любовница Эдуарда IV, короля Англии, а также нескольких других дворян, в том числе пасынка короля Томаса Грея, маркиза Дорсета, и великого камергера Англии Уильяма Гастингса, барона Гастингса из Эшби де Ла Зуш.\nТекст 2: Королевство Англия — государство в Западной Европе, занимавшее южную часть острова Великобритания, известное с 927 года. После объединения с королевством Шотландия в 1707 году трансформировалось в королевство Великобритания.\n\nИстория.\nСтолетняя война с перерывами продолжалась до 1453 года и закончилась потерей практически всех владений на материке. За время Столетней войны жители королевства стали ощущать свою национальную идентичность, а английский язык в качестве разговорного вытеснил французский. Наследником Эдуарда III стал его внук, Ричард II, ставший королём в десятилетнем возрасте. Он показал себя слабым и в то же время деспотичным правителем. Его расточительность и потворство фаворитам вызвали мятеж лордов-апеллянтов, с помощью парламента ограничивших полномочия монарха и фактически узурпировавших власть в Англии. Позднее король сумел освободиться от опеки и расправиться с апеллянтами, но в 1399 году был свергнут своим двоюродным братом Генрихом Болингброком и заключён в замок Понтефракт, где вскоре умер, а сам Генрих был коронован под именем Генриха IV, основав династию Ланкастеров, и правил до 1413 года. Его сын, Генрих V, в 1415 году возобновил Столетнюю войну. В 1607 году была основана первая английская колония в Америке — Вирджиния, а в 1609 году открыта торговая фактория англичан в Индии. Политика абсолютизма и церковные реформы Карла I, наследника Якова I, вызвали восстания в Шотландии и Ирландии и Английскую революцию. В ходе гражданских войн Карл I потерпел поражение, был предан суду парламента и казнён 30 января 1649 года в Лондоне. Королевство было упразднено и заменено на протекторат, который возглавил Оливер Кромвель. Но вскоре после смерти Кромвеля в 1660 году произошла реставрация монархии и королём был провозглашён Карл II, сын Карла I. Его преемник, Яков II, бывший ярым католиком и начал проводить политику, вызвавшую крайнее неудовольствие протестантского большинства и привело к революции, в результате которой он был свергнут и бежал во Францию.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданкой которого является Джейн Шор? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 613, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Конда", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Мурах?", + "support_text": "Мурах — река в России, протекает по территории Кондинского района Ханты-Мансийского автономного округа. Устье реки находится в 204 км по правому берегу Большого Тапа, берёт своё начало из одноимённого озера — \"Мурах\". Длина реки — 59 км, площадь водосборного бассейна — 466 кв км.\n\nПримечания.\nКатегория:Притоки Большого Тапа.", + "text": "Большой Тап — судоходная река в России, протекает по территории Кондинского и Советского районов Ханты-Мансийского автономного округа, левый приток Конды, берёт своё начало к югу от озера Тапто. Длина реки — 504 км, площадь водосборного бассейна — 6700 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Конды" + }, + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Конда" + } + ], + "meta": { + "id": 876, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 152, + "segment": "Большого Тапа" + }, + { + "label": "passage", + "length": 13, + "offset": 315, + "segment": "Большого Тапа" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мурах — река в России, протекает по территории Кондинского района Ханты-Мансийского автономного округа. Устье реки находится в 204 км по правому берегу Большого Тапа, берёт своё начало из одноимённого озера — \"Мурах\". Длина реки — 59 км, площадь водосборного бассейна — 466 кв км.\n\nПримечания.\nКатегория:Притоки Большого Тапа.\nТекст 2: Большой Тап — судоходная река в России, протекает по территории Кондинского и Советского районов Ханты-Мансийского автономного округа, левый приток Конды, берёт своё начало к югу от озера Тапто. Длина реки — 504 км, площадь водосборного бассейна — 6700 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Мурах? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Дмитрий Юрьевич Саюстов?", + "support_text": "Дмитрий Юрьевич Саюстов (13 февраля 1988, Челябинск) — российский хоккеист, нападающий. Воспитанник магнитогорского \"Металлурга\".", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 191, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 42, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дмитрий Юрьевич Саюстов (13 февраля 1988, Челябинск) — российский хоккеист, нападающий. Воспитанник магнитогорского \"Металлурга\".\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Дмитрий Юрьевич Саюстов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 337, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Палата депутатов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Рауль Гудиньо?", + "support_text": "Рауль Маноло Гудиньо Вега ( 22 апреля 1996, Мехико, Мексика) — мексиканский футболист, вратарь клуба \"Гвадалахара\".\n\nДостижения.\nМеждународные. Мексика (до 17). Юношеский чемпионат Северной Америки — 2013. Юношеский чемпионат мира — 2013.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые." + }, + "outputs": [ + { + "label": "answer", + "length": 21, + "offset": 551, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 776, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 64, + "segment": "мексиканский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Рауль Маноло Гудиньо Вега ( 22 апреля 1996, Мехико, Мексика) — мексиканский футболист, вратарь клуба \"Гвадалахара\".\n\nДостижения.\nМеждународные. Мексика (до 17). Юношеский чемпионат Северной Америки — 2013. Юношеский чемпионат мира — 2013.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Рауль Гудиньо?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 318, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Белая", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Сикия?", + "support_text": "Сикия — река в России, протекает в Татарстане. Левый приток реки Сюнь. Длина реки 27 км, площадь водосборного бассейна 192 кв км. Исток в Муслюмовском районе на краю лесного массива в 1 км к юго-западу от села Чишма (Уразметьевское сельское поселение). Течёт на северо-восток через упомянутое село и далее через Уразметьево и деревню Сикия. Ниже на территории Актанышского района река протекает через Нижнее Яхшеево и впадает в Сюнь по левому берегу у верхней (южной) окраины села Старое Байсарово (крупнейшее село в бассейне Сикии). Основные притоки впадают слева. Сток реки и притоков зарегулирован. В низовьях реку пересекает автодорога Бакалы - Ст.", + "text": "Сюнь ( ) — река в России, протекает в Башкортостане и Татарстане, левый приток Белой.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Белая от города Бирск и до устья, речной подбассейн реки — Белая. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 79, + "segment": "Белой" + }, + { + "label": "passage", + "length": 5, + "offset": 79, + "segment": "Белую" + } + ], + "meta": { + "id": 829, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 65, + "segment": "Сюнь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сикия — река в России, протекает в Татарстане. Левый приток реки Сюнь. Длина реки 27 км, площадь водосборного бассейна 192 кв км. Исток в Муслюмовском районе на краю лесного массива в 1 км к юго-западу от села Чишма (Уразметьевское сельское поселение). Течёт на северо-восток через упомянутое село и далее через Уразметьево и деревню Сикия. Ниже на территории Актанышского района река протекает через Нижнее Яхшеево и впадает в Сюнь по левому берегу у верхней (южной) окраины села Старое Байсарово (крупнейшее село в бассейне Сикии). Основные притоки впадают слева. Сток реки и притоков зарегулирован. В низовьях реку пересекает автодорога Бакалы - Ст.\nТекст 2: Сюнь ( ) — река в России, протекает в Башкортостане и Татарстане, левый приток Белой.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Белая от города Бирск и до устья, речной подбассейн реки — Белая. Речной бассейн реки — Кама.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Сикия? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 317, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Законодательный орган города, где родилась Эрмине Микаэловна Нагдалян, называется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родилась Эрмине Микаэловна Нагдалян?", + "support_text": "Эрмине Микаэловна Нагдалян (), (28 июля 1960, Ереван, Армянская ССР) — армянский политический и общественный деятель. 1981 — окончила Ереванский институт народного хозяйства. Кандидат экономических наук. 1981—1989 — работала в армянском филиале всесоюзного НИИ потребительской кооперации в качестве младшего, затем, старшего научного сотрудника, заведующей подразделом, заведующей отделом. 1989—1991 — исполнительный директор Союза кооперативов Армении.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 353, + "segment": "городским советом" + } + ], + "meta": { + "id": 32, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родилась Эрмине Микаэловна Нагдалян?\nТекст 1: Эрмине Микаэловна Нагдалян (), (28 июля 1960, Ереван, Армянская ССР) — армянский политический и общественный деятель. 1981 — окончила Ереванский институт народного хозяйства. Кандидат экономических наук. 1981—1989 — работала в армянском филиале всесоюзного НИИ потребительской кооперации в качестве младшего, затем, старшего научного сотрудника, заведующей подразделом, заведующей отделом. 1989—1991 — исполнительный директор Союза кооперативов Армении.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15, + "em": 0 + }, + "predict": " И. Р. Метшин является главой администрации в городе Казани, где умер Хусаин Мингазетдинович Ямашев. Это следует из информации, предоставленной в тексте 2, где говорится, что с 17 ноября 2005 года должность мэра в Казани занимает И. Р.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Хусаин Мингазетдинович Ямашев?", + "support_text": "Могила Ямашева на татарском кладбище Казани. Хусаин Мингазетдинович Ямашев ( — ) — российский революционер, первый татарский большевик, публицист.\n\nПамять.\nМемориальная доска на здании татарской учительской школы, где учился Хусаин Ямашев. В честь Х. Ямашева названы:. Улица в г. Белебей (Республика Башкортостан). Проспект Ямашева — крупнейший проспект г. Казани. Бульвар Ямашева — бульвар в городе Набережные Челны. В 1971 г. учреждена премия имени Х. Ямашева для журналистов.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 620, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 238, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 37, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Могила Ямашева на татарском кладбище Казани. Хусаин Мингазетдинович Ямашев ( — ) — российский революционер, первый татарский большевик, публицист.\n\nПамять.\nМемориальная доска на здании татарской учительской школы, где учился Хусаин Ямашев. В честь Х. Ямашева названы:. Улица в г. Белебей (Республика Башкортостан). Проспект Ямашева — крупнейший проспект г. Казани. Бульвар Ямашева — бульвар в городе Набережные Челны. В 1971 г. учреждена премия имени Х. Ямашева для журналистов.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Хусаин Мингазетдинович Ямашев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 381, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23076923076923078, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где родилась Ракия Шайхаттаровна Кутлубаева, является мэром. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Ракия Шайхаттаровна Кутлубаева?", + "support_text": "Ракия Шайхаттаровна Кутлубаева (башк. Ҡотлобаева Раҡия Шәйхәттәр ҡыҙы) — выпускница медицинского факультета Казанского университета (1912), одна из первых врачей-мусульманок, акушер-гинеколог. Кавалер ордена \"Знак Почёта\".\n\nБиография.\nРакия Шайхаттаровна (Аттаровна) родилась в мае 1886 года в Казани в семье отставного капитана Шайхаттара Губаева. Окончила Ксенинскую гимназию в городе Казани. В 1902 году сдала экстерном экзамен на аттестат зрелости в Царскосельском лицее. Ракия хотела получить образование, стать полезным для общества человеком, найти свое место в обществе.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 645, + "segment": "Р. Метшин" + }, + { + "label": "passage", + "length": 12, + "offset": 642, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 959, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 297, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Ракия Шайхаттаровна Кутлубаева (башк. Ҡотлобаева Раҡия Шәйхәттәр ҡыҙы) — выпускница медицинского факультета Казанского университета (1912), одна из первых врачей-мусульманок, акушер-гинеколог. Кавалер ордена \"Знак Почёта\".\n\nБиография.\nРакия Шайхаттаровна (Аттаровна) родилась в мае 1886 года в Казани в семье отставного капитана Шайхаттара Губаева. Окончила Ксенинскую гимназию в городе Казани. В 1902 году сдала экстерном экзамен на аттестат зрелости в Царскосельском лицее. Ракия хотела получить образование, стать полезным для общества человеком, найти свое место в обществе.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Ракия Шайхаттаровна Кутлубаева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Северский Донец", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Бишконь?", + "support_text": "Бишконь (Сухой Обиток; ) — река в Луганской области Украины, правый приток Деркула (бассейн Северского Донца). Длина 26 км. Площадь водосборного бассейна 474 кв км.\n\nТечение.\nБерёт начало у села Захидное Старобельского района Луганской области. Общее направление с северо-запада на юго-восток. Впадает в реку Деркул с правой стороны, у села Семикозовка Беловодского района Луганской области, чуть севернее Беловодска. Протекает по территории Старобельского и Беловодского районов Луганской области.", + "text": "Деркул (устар. \"Деркуль\") — река в Луганской области Украины, частично по границе с Ростовской областью России, левый приток Северского Донца. Длина реки — 163 км, площадь бассейна — 5180 кв км.\n\nИсторические сведения.\nРека упоминается в Статистическом описании земли Донских Казаков, составленном в 1822—32 годах:. Речки, сообщающие воды Северскому Донцу: с левой стороны: 9) Деркуль, в который впадают Полная и Прогной; первая принимает в себя Рогалик, Нагольную, Камышную и Журавку. Из ЭСБЕ:. Деркул, река, приток Северского Донца; 120 вёрст; начало в северо-восточной части Старобельского уезда, Харьковской губернии." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 125, + "segment": "Северского Донца" + }, + { + "label": "passage", + "length": 16, + "offset": 125, + "segment": "Северский Донец" + } + ], + "meta": { + "id": 260, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 75, + "segment": "Деркул" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Бишконь (Сухой Обиток; ) — река в Луганской области Украины, правый приток Деркула (бассейн Северского Донца). Длина 26 км. Площадь водосборного бассейна 474 кв км.\n\nТечение.\nБерёт начало у села Захидное Старобельского района Луганской области. Общее направление с северо-запада на юго-восток. Впадает в реку Деркул с правой стороны, у села Семикозовка Беловодского района Луганской области, чуть севернее Беловодска. Протекает по территории Старобельского и Беловодского районов Луганской области.\nТекст 2: Деркул (устар. \"Деркуль\") — река в Луганской области Украины, частично по границе с Ростовской областью России, левый приток Северского Донца. Длина реки — 163 км, площадь бассейна — 5180 кв км.\n\nИсторические сведения.\nРека упоминается в Статистическом описании земли Донских Казаков, составленном в 1822—32 годах:. Речки, сообщающие воды Северскому Донцу: с левой стороны: 9) Деркуль, в который впадают Полная и Прогной; первая принимает в себя Рогалик, Нагольную, Камышную и Журавку. Из ЭСБЕ:. Деркул, река, приток Северского Донца; 120 вёрст; начало в северо-восточной части Старобельского уезда, Харьковской губернии.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Бишконь? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 366, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Павел Коньков", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Дмитрий Иванович Бедняков?", + "support_text": "Дмитрий Иванович Бедняков (род. 11 октября 1952, д. Рожново, Ивановская область, СССР) — советский и российский политик, советник губернатора Нижегородской области с 20 ноября 2015 года, мэр Нижнего Новгорода в 1991—1994 годах.", + "text": "Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел.\n\nОбластная власть.\nПо партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей. В этот же день состоялись выборы в Ивановскую областную думу. Десять мандатов из тринадцати получили кандидаты, выдвинутые партией \"Единая Россия\", два мандата — кандидаты от КПРФ и один мандат — кандидат от \"Справедливой России\"." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 1125, + "segment": "Станислав Воскресенский" + } + ], + "meta": { + "id": 928, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 61, + "segment": "Ивановская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дмитрий Иванович Бедняков (род. 11 октября 1952, д. Рожново, Ивановская область, СССР) — советский и российский политик, советник губернатора Нижегородской области с 20 ноября 2015 года, мэр Нижнего Новгорода в 1991—1994 годах.\nТекст 2: Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел.\n\nОбластная власть.\nПо партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей. В этот же день состоялись выборы в Ивановскую областную думу. Десять мандатов из тринадцати получили кандидаты, выдвинутые партией \"Единая Россия\", два мандата — кандидаты от КПРФ и один мандат — кандидат от \"Справедливой России\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Дмитрий Иванович Бедняков? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.0606060606060606, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Александр Сергеевич Соколов (волейболист), является Лебедевым Денис Юрьевичем. Это следует из информации о местном самоуправлении в Коломне, где Соколов родился 1 марта 1982 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Сергеевич Соколов (волейболист)?", + "support_text": "Александр Сергеевич Соколов (1 марта 1982, Коломна) — российский волейболист, либеро \"Ярославича\". Заслуженный мастер спорта (2011). Олимпийский чемпион (2012).\n\nСпортивная карьера.\nАлександр Соколов начинал заниматься волейболом в Коломне под руководством Валерия Владимировича Бельтюкова. В 1998 году дебютировал в высшей лиге чемпионата России за московский \"Спартак\". В 1999 году стал победителем чемпионата мира среди юношей, проходившего в Саудовской Аравии.", + "text": "Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика. Коломна — крупный промышленный центр Московской области. В городе зарегистрировано более 2200 предприятий и организаций различных форм собственности." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 452, + "segment": "Лебедев Денис Юрьевич" + }, + { + "label": "passage", + "length": 21, + "offset": 452, + "segment": "Денис Юрьевич Лебедев" + } + ], + "meta": { + "id": 466, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 43, + "segment": "Коломна" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Сергеевич Соколов (1 марта 1982, Коломна) — российский волейболист, либеро \"Ярославича\". Заслуженный мастер спорта (2011). Олимпийский чемпион (2012).\n\nСпортивная карьера.\nАлександр Соколов начинал заниматься волейболом в Коломне под руководством Валерия Владимировича Бельтюкова. В 1998 году дебютировал в высшей лиге чемпионата России за московский \"Спартак\". В 1999 году стал победителем чемпионата мира среди юношей, проходившего в Саудовской Аравии.\nТекст 2: Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика. Коломна — крупный промышленный центр Московской области. В городе зарегистрировано более 2200 предприятий и организаций различных форм собственности.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Александр Сергеевич Соколов (волейболист)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 306, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где умер Согомон Саакович Таронци?", + "support_text": "Согомон Саакович Таронци (наст. Фам. \"Мовсесян\"; 1905—1971) — армянский поэт.\n\nБиография.\nРодился в Копе, крупном городе Западной Армении (ныне турецкий город Буланык), в семье педагога. В 1915 г. вместе с семьёй переселился в Ереван. Окончил историко-филологический факультет Ереванского университета в 1930 г. Мемориальная доска в Ереване, на улице Касьяна. Начал печататься в 1925 году. Первая книга \"Пустыни\" вышла в 1926 г. в Гюмри.\n\nСочинения.\n\"После грозы\" (\"Ամպրոպից հետո\", 1948). \"Великие будни\" (\"Մեծ առօրյա\", 1953). \"Больше света\" (\"Ավելի լույս\", 1958). \"Золотой век\" (\"Ոսկեդար\", 1960). В русском переводе изданы \"Книга счастья\" (Ереван, 1952) и сборник \"Стихи\" (Ереван, 1956).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 17, + "offset": 325, + "segment": "городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 693, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 336, + "segment": "Ереване" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Согомон Саакович Таронци (наст. Фам. \"Мовсесян\"; 1905—1971) — армянский поэт.\n\nБиография.\nРодился в Копе, крупном городе Западной Армении (ныне турецкий город Буланык), в семье педагога. В 1915 г. вместе с семьёй переселился в Ереван. Окончил историко-филологический факультет Ереванского университета в 1930 г. Мемориальная доска в Ереване, на улице Касьяна. Начал печататься в 1925 году. Первая книга \"Пустыни\" вышла в 1926 г. в Гюмри.\n\nСочинения.\n\"После грозы\" (\"Ամպրոպից հետո\", 1948). \"Великие будни\" (\"Մեծ առօրյա\", 1953). \"Больше света\" (\"Ավելի լույս\", 1958). \"Золотой век\" (\"Ոսկեդար\", 1960). В русском переводе изданы \"Книга счастья\" (Ереван, 1952) и сборник \"Стихи\" (Ереван, 1956).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган работает в городе, где умер Согомон Саакович Таронци? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3157894736842105, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в городе, где умер Левон Оганесович Ахвердян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Левон Оганесович Ахвердян?", + "support_text": "Левон Оганесович Ахвердян — (26 декабря 1924, Каракилис — 6 февраля 2003) — советский и армянский литературный критик, драматург, переводчик, публицист. Доктор филологических наук (1967), профессор (1987). Член Союза писателей СССР с 1952 года. Член Коммунистической партии с 1955 года. Заслуженный деятель искусств Армянской ССР (1972).\n\nБиография.\nЛевон Ахвердян родился в Каракилисе. Учился в средней школе имени Хачатура Абовяна в Ереване. В 1949 году окончил театральное отделение Ереванского художественно-театрального института. Работал заведующим отдела \"Литературной газеты\" (1949—1953), редактором Армгосиздата (1953—1955), ответственным секретарем газеты \"Советакан арвест\" (1955—1959). В 1967 году защитил диссертацию на тему \"Армянская драматургия наших дней\" и получил степень кандидата филологических наук.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 131, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 438, + "segment": "Ереване" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Левон Оганесович Ахвердян — (26 декабря 1924, Каракилис — 6 февраля 2003) — советский и армянский литературный критик, драматург, переводчик, публицист. Доктор филологических наук (1967), профессор (1987). Член Союза писателей СССР с 1952 года. Член Коммунистической партии с 1955 года. Заслуженный деятель искусств Армянской ССР (1972).\n\nБиография.\nЛевон Ахвердян родился в Каракилисе. Учился в средней школе имени Хачатура Абовяна в Ереване. В 1949 году окончил театральное отделение Ереванского художественно-театрального института. Работал заведующим отдела \"Литературной газеты\" (1949—1953), редактором Армгосиздата (1953—1955), ответственным секретарем газеты \"Советакан арвест\" (1955—1959). В 1967 году защитил диссертацию на тему \"Армянская драматургия наших дней\" и получил степень кандидата филологических наук.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Левон Оганесович Ахвердян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 367, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Тотыдэоттаяха.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Кагылькы?", + "support_text": "Кагылькы — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 158 км по правому берегу реки Большая Тотыдэоттаяха. Длина реки составляет 44 км. В 6 км от устья по правому берегу впадает река Таккылькагылькы.", + "text": "Большая Тотыдэоттаяха (\"устар.\" Большая Тотыдэотта-Яха) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Впадает на 27 км по левому берегу протоки Тытылькы реки Таз). Длина реки — 239 км, площадь водосборного бассейна — 2520 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Таз, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Таз. Код объекта в государственном водном реестре — 15050000112115300070929." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 189, + "segment": "Таз" + } + ], + "meta": { + "id": 93, + "bridge_answers": [ + { + "label": "passage", + "length": 21, + "offset": 139, + "segment": "Большая Тотыдэоттаяха" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Кагылькы — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 158 км по правому берегу реки Большая Тотыдэоттаяха. Длина реки составляет 44 км. В 6 км от устья по правому берегу впадает река Таккылькагылькы.\nТекст 2: Большая Тотыдэоттаяха (\"устар.\" Большая Тотыдэотта-Яха) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Впадает на 27 км по левому берегу протоки Тытылькы реки Таз). Длина реки — 239 км, площадь водосборного бассейна — 2520 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Таз, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Таз. Код объекта в государственном водном реестре — 15050000112115300070929.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Кагылькы?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 294, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Андрей Кременчук?", + "support_text": "Андрей Кременчук ( (род. 1973), Нижний Новгород) — русский фотограф, этнограф, издатель. Основные направления в творчестве: художественная и документальная фотография.\n\nБиография.\nКременчук Андрей родился в 1973 году в Горьком. Художественное образование начал в СПбГУКИ, на факультете \"Реставрация, консервация и хранение произведений ДПИ из музейного металла\". После третьего курса поступает во Владимирское музыкальное училище на факультет \"народного хорового дирижирования\".", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1311, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1311, + "segment": "Городская дума" + } + ], + "meta": { + "id": 36, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 33, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Андрей Кременчук ( (род. 1973), Нижний Новгород) — русский фотограф, этнограф, издатель. Основные направления в творчестве: художественная и документальная фотография.\n\nБиография.\nКременчук Андрей родился в 1973 году в Горьком. Художественное образование начал в СПбГУКИ, на факультете \"Реставрация, консервация и хранение произведений ДПИ из музейного металла\". После третьего курса поступает во Владимирское музыкальное училище на факультет \"народного хорового дирижирования\".\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Андрей Кременчук?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": [ + 35 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кемь", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Туреноя?", + "support_text": "Туреноя — река в России, протекает по территории Кемского района в Карелии. Впадает в озеро Паноярви, через которое протекает река Кемь. Длина реки — 13 км. Река берёт начало из Каллиоламбины и далее течёт преимущественно в северо-западном направлении по заболоченной местности. Река в общей сложности имеет восемь малых притоков суммарной длиной 10 км. Втекает на высоте 81,0 м над уровнем моря в озеро Паноярви, через которое протекает река Кемь.", + "text": "Кемь — река в России, на севере Карелии. Впадает в Белое море. Длина 191 км (с Чирка-Кемью — свыше 410 км), площадь бассейна 27 700 кв км.\n\nГеография.\nВерхнее течение в Финляндии, где река называется Писта. Протекает через ряд озёр, в частности, между озёрами Хапъярви и Юлиярви носит название Ешанйоки. Впадает в пролив Западная Соловецкая Салма Белого моря двумя рукавами, ширина в устье более 200 метров, глубина редко более 3 метров. В устье реки находится город Кемь. Судоходна от устья до города Кемь, далее много порогов: Авни (разовый сброс около 4 метров), Мальвикия, Островной, Подужемский. Питание реки дождевое и снеговое." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 203, + "segment": "Писта" + } + ], + "meta": { + "id": 272, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 131, + "segment": "Кемь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Туреноя — река в России, протекает по территории Кемского района в Карелии. Впадает в озеро Паноярви, через которое протекает река Кемь. Длина реки — 13 км. Река берёт начало из Каллиоламбины и далее течёт преимущественно в северо-западном направлении по заболоченной местности. Река в общей сложности имеет восемь малых притоков суммарной длиной 10 км. Втекает на высоте 81,0 м над уровнем моря в озеро Паноярви, через которое протекает река Кемь.\nТекст 2: Кемь — река в России, на севере Карелии. Впадает в Белое море. Длина 191 км (с Чирка-Кемью — свыше 410 км), площадь бассейна 27 700 кв км.\n\nГеография.\nВерхнее течение в Финляндии, где река называется Писта. Протекает через ряд озёр, в частности, между озёрами Хапъярви и Юлиярви носит название Ешанйоки. Впадает в пролив Западная Соловецкая Салма Белого моря двумя рукавами, ширина в устье более 200 метров, глубина редко более 3 метров. В устье реки находится город Кемь. Судоходна от устья до города Кемь, далее много порогов: Авни (разовый сброс около 4 метров), Мальвикия, Островной, Подужемский. Питание реки дождевое и снеговое.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Туреноя? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 361, + "generated_len": [ + 35 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Пол Янсен, — это Федеральный парламент Бельгии, состоящий из Палаты представителей и Сената.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Пол Янссен?", + "support_text": "Пол Адриан Янссен (полное имя Пол Адриан Ян Барон Янссен; 12 сентября 1926, Тюрнхаут, Бельгия — 11 ноября 2003, Ватикан, Рим, Италия) — бельгийский учёный и бизнесмен, , химик-фармаколог, основатель фармацевтической компании , барон, доктор медицины, почётный профессор Университета Павии, лауреат Премии Шееле, первооткрыватель галоперидола. За это открытие номинировался Университетом Павии на Нобелевскую премию, но не вошёл в шорт-лист номинантов премии.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( )." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 494, + "segment": "парламентом" + } + ], + "meta": { + "id": 990, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 136, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Пол Янссен?\nТекст 1: Пол Адриан Янссен (полное имя Пол Адриан Ян Барон Янссен; 12 сентября 1926, Тюрнхаут, Бельгия — 11 ноября 2003, Ватикан, Рим, Италия) — бельгийский учёный и бизнесмен, , химик-фармаколог, основатель фармацевтической компании , барон, доктор медицины, почётный профессор Университета Павии, лауреат Премии Шееле, первооткрыватель галоперидола. За это открытие номинировался Университетом Павии на Нобелевскую премию, но не вошёл в шорт-лист номинантов премии.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 364, + "generated_len": [ + 35 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Брат Мориссы Танчароен, Кевин Танчароен, родился в Лос-Анджелесе, США.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился брат Мориссы Танчароен?", + "support_text": "Морисса Танчароен Уидон ( род. 28 ноября 1975 года) — американский продюсер/сценарист, актриса, певица, танцовщица и лирик.\n\nЛичная жизнь.\nТанчароен сказала, что её фамилия — тайского происхождения. Она училась в колледже Оксидентал, где она написала две пьесы, которые выиграли литературную премию Argonaut & Moore. Её отец, Томми Танчароен, является координатором транспорта для голливудских фильмов. Её брат, Кевин Танчароен, является режиссёром, чьим дебютным фильмом является \"Слава\" (2009). 19 апреля 2009 года она вышла замуж за партнёра-сценариста Джеда Уидона, брата Джосса Уидона. Их первый ребёнок, дочь Бенни Сью Уидон, родилась в июне 2015 года.", + "text": "Кевин Харвик Танчароен ( род. 23 апреля 1984, Лос-Анджелес, США) — американский танцор, хореограф и кинорежиссёр." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 47, + "segment": "Лос-Анджелес" + } + ], + "meta": { + "id": 371, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 416, + "segment": "Кевин Танчароен" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Где родился брат Мориссы Танчароен?\nТекст 1: Морисса Танчароен Уидон ( род. 28 ноября 1975 года) — американский продюсер/сценарист, актриса, певица, танцовщица и лирик.\n\nЛичная жизнь.\nТанчароен сказала, что её фамилия — тайского происхождения. Она училась в колледже Оксидентал, где она написала две пьесы, которые выиграли литературную премию Argonaut & Moore. Её отец, Томми Танчароен, является координатором транспорта для голливудских фильмов. Её брат, Кевин Танчароен, является режиссёром, чьим дебютным фильмом является \"Слава\" (2009). 19 апреля 2009 года она вышла замуж за партнёра-сценариста Джеда Уидона, брата Джосса Уидона. Их первый ребёнок, дочь Бенни Сью Уидон, родилась в июне 2015 года.\nТекст 2: Кевин Харвик Танчароен ( род. 23 апреля 1984, Лос-Анджелес, США) — американский танцор, хореограф и кинорежиссёр.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 275, + "generated_len": [ + 35 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Большой Салым", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Эне-Термотъега?", + "support_text": "Эне-Термотъега (\"устар.\" Большая Термоть-Ега) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 23 км по правому берегу реки Пывъях. Длина реки составляет 21 км.", + "text": "Пывъях (\"устар.\" Пыв-Ях) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 268 км по левому берегу реки Большой Салым. Длина реки составляет 96 км, площадь водосборного бассейна 912 кв км. Высота истока — 76,4 м над уровнем моря." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 128, + "segment": "Большой Салым" + } + ], + "meta": { + "id": 637, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 149, + "segment": "Пывъях" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Эне-Термотъега (\"устар.\" Большая Термоть-Ега) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 23 км по правому берегу реки Пывъях. Длина реки составляет 21 км.\nТекст 2: Пывъях (\"устар.\" Пыв-Ях) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 268 км по левому берегу реки Большой Салым. Длина реки составляет 96 км, площадь водосборного бассейна 912 кв км. Высота истока — 76,4 м над уровнем моря.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Эне-Термотъега? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": [ + 35 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Мезенская Пижма.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Ворка?", + "support_text": "Ворка — река в России, течёт по территории Лешуконского района Архангельской области. Правый приток реки Мезенская Пижма. Длина реки составляет 15 км. Генеральным направлением течения является юг.", + "text": "Мезенская Пижма — река в Республике Коми и Архангельской области, правый приток реки Мезень. Длина реки — 236 км, площадь её водосборного бассейна — 3830 кв км. Питание смешанное, с преобладанием снегового. Вскоре река втекает на территорию Архангельской области, по которой и течёт в дальнейшем. Река течёт в почти не населённой местности, берега покрыты заболоченным лесом, скорость течения небольшая. Напротив устья реки Четлас, на правом берегу Мезенской Пижмы, находится Усть-Четласский государственный природный ландшафтный заказник. В месте впадения реки в Мезень стоит село Родома." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 85, + "segment": "Мезень" + } + ], + "meta": { + "id": 590, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 105, + "segment": "Мезенская Пижма" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ворка — река в России, течёт по территории Лешуконского района Архангельской области. Правый приток реки Мезенская Пижма. Длина реки составляет 15 км. Генеральным направлением течения является юг.\nТекст 2: Мезенская Пижма — река в Республике Коми и Архангельской области, правый приток реки Мезень. Длина реки — 236 км, площадь её водосборного бассейна — 3830 кв км. Питание смешанное, с преобладанием снегового. Вскоре река втекает на территорию Архангельской области, по которой и течёт в дальнейшем. Река течёт в почти не населённой местности, берега покрыты заболоченным лесом, скорость течения небольшая. Напротив устья реки Четлас, на правом берегу Мезенской Пижмы, находится Усть-Четласский государственный природный ландшафтный заказник. В месте впадения реки в Мезень стоит село Родома.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Ворка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": [ + 35 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Матыра", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Шехмань?", + "support_text": "Шехмань — река в России, протекает в Петровском районе Тамбовской области. Правый приток Матыры. Река Шехмань впадает в Матыру вблизи одноимённого села Шехмань. Устье реки находится в 89 км по правому берегу реки Матыра. Длина реки составляет 26 км, площадь водосборного бассейна 313 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Донскому бассейновому округу, водохозяйственный участок реки — Матыра, речной подбассейн реки — бассейны притоков Дона до впадения Хопра. Речной бассейн реки — Дон (российская часть бассейна). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.", + "text": "Матыра — река в Тамбовской и Липецкой областях. Длина — 180 км, площадь бассейна — 5180 кв км. Исток находится у селения Большая Матыра рядом с шоссе Р119 Орёл — Тамбов. После села Яблоновец, где в неё впадает река Плавица, становится полноводной. У границы Липецка впадает в реку Воронеж (напротив Сокольского; левый приток). Питание реки по большей части снеговое. Замерзает Матыра в ноябре — начале декабря, вскрывается в конце марта — первой половине апреля. Среднегодовой расход воды — в 39 км от устья — 11,7 м³/сек.\n\nНазвание.\nОтсюда: Матыра — мать-река, Дон, Цна. Итак, Матыра — мать-река. И это символично, если иметь в виду то, что город Матхура являлся священным городом древних ариев\". # Наиболее убедительное толкование гидронима дал краевед Петровского района Гульшин И. Ф. Автор ещё в 1979 году в статье \"Матыра — древнерусское название\", опубликованной в липецкой областной газете \"Ленинское знамя\", писал, что Матыра — древнерусское, то есть восточнославянское название, занесённое как и многие другие гидронимы в тамбовский край славянами, пришедшими на Дон и Воронеж из Приднепровья. Об этом же он писал и в \"Тамбовской правде\" в 1982 году, в журнале \"Наука и жизнь\" (1984, № 7), в межвузовском сборнике Липецкого педагогического университета \"Вопросы естествознания\" (2002, № 10)." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 281, + "segment": "Воронеж" + } + ], + "meta": { + "id": 358, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 89, + "segment": "Матыры" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Шехмань — река в России, протекает в Петровском районе Тамбовской области. Правый приток Матыры. Река Шехмань впадает в Матыру вблизи одноимённого села Шехмань. Устье реки находится в 89 км по правому берегу реки Матыра. Длина реки составляет 26 км, площадь водосборного бассейна 313 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Донскому бассейновому округу, водохозяйственный участок реки — Матыра, речной подбассейн реки — бассейны притоков Дона до впадения Хопра. Речной бассейн реки — Дон (российская часть бассейна). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.\nТекст 2: Матыра — река в Тамбовской и Липецкой областях. Длина — 180 км, площадь бассейна — 5180 кв км. Исток находится у селения Большая Матыра рядом с шоссе Р119 Орёл — Тамбов. После села Яблоновец, где в неё впадает река Плавица, становится полноводной. У границы Липецка впадает в реку Воронеж (напротив Сокольского; левый приток). Питание реки по большей части снеговое. Замерзает Матыра в ноябре — начале декабря, вскрывается в конце марта — первой половине апреля. Среднегодовой расход воды — в 39 км от устья — 11,7 м³/сек.\n\nНазвание.\nОтсюда: Матыра — мать-река, Дон, Цна. Итак, Матыра — мать-река. И это символично, если иметь в виду то, что город Матхура являлся священным городом древних ариев\". # Наиболее убедительное толкование гидронима дал краевед Петровского района Гульшин И. Ф. Автор ещё в 1979 году в статье \"Матыра — древнерусское название\", опубликованной в липецкой областной газете \"Ленинское знамя\", писал, что Матыра — древнерусское, то есть восточнославянское название, занесённое как и многие другие гидронимы в тамбовский край славянами, пришедшими на Дон и Воронеж из Приднепровья. Об этом же он писал и в \"Тамбовской правде\" в 1982 году, в журнале \"Наука и жизнь\" (1984, № 7), в межвузовском сборнике Липецкого педагогического университета \"Вопросы естествознания\" (2002, № 10).\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Шехмань?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 582, + "generated_len": [ + 35 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Павел Фёдорович Дубровин?", + "support_text": "Павел Фёдорович Дубровин ( — ) — российский общественный деятель, городской голова Динабурга с 15 июня 1876 по 23 мая 1890.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + } + ], + "meta": { + "id": 106, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 33, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Павел Фёдорович Дубровин ( — ) — российский общественный деятель, городской голова Динабурга с 15 июня 1876 по 23 мая 1890.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Павел Фёдорович Дубровин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 356, + "generated_len": [ + 35 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинске, где родилась Ольга Владимировна Гречкина.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Ольга Владимировна Гречкина?", + "support_text": "О льга Владимировна Гречкина (род. 20 сентября 1958, Челябинск, Челябинская область, СССР) — российский учёный, доктор юридических наук (2011), профессор (2013). Член-корреспондент Евразийской академии административных наук, член Ассоциации юристов России, член правления Национальной ассоциации административистов России. Член редакционных советов двух входящих в перечень ВАК журналов: научно-практического \"Вестник Уральского института экономики, управления и права\" и научно-теоретического \"Философия социальных коммуникаций\".", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 878, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 878, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 160, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 53, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: О льга Владимировна Гречкина (род. 20 сентября 1958, Челябинск, Челябинская область, СССР) — российский учёный, доктор юридических наук (2011), профессор (2013). Член-корреспондент Евразийской академии административных наук, член Ассоциации юристов России, член правления Национальной ассоциации административистов России. Член редакционных советов двух входящих в перечень ВАК журналов: научно-практического \"Вестник Уральского института экономики, управления и права\" и научно-теоретического \"Философия социальных коммуникаций\".\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.\nВопрос: Кто является главой администрации в городе, где родилась Ольга Владимировна Гречкина?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Монархический, с разделением власти между маньчжурами и ханьскими администраторами, прошедшими через сито имперских экзаменов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая форма правления была в государстве, гражданином которого являлся Жуань Юань?", + "support_text": "Жуань Юань ( 1764—1849) — государственный деятель эпохи Цин, антиквар и коллекционер, интеллектуал широкого профиля: конфуцианский философ, текстолог, исследователь эпиграфики, историк астрономии и математики. Просветитель, основавший несколько учебных заведений и публичных библиотек в Ханчжоу, Янчжоу и Гуанчжоу, некоторые из которых функционировали ещё в начале XX века. Также успешно занимался живописью и каллиграфией.", + "text": "Империя Великая Цин, или государство Великая Цин ( \"дайцин гурунь\", ), часто неправильно именуемая как династия Цин, или Маньчжурская династия, — последняя империя, включавшая территорию Китая. Империя Цин существовала на собственно китайских землях с 1644 по 1912 год с краткой реставрацией в 1917 (последняя продлилась всего 11 дней), ей на этих землях предшествовала империя Мин, а сменила её Китайская республика. Мультикультурная Цинская империя существовала в течение почти трёх веков и сформировала территориальную базу для современного китайского государства. Империя была основана чжурчжэньским кланом Айсиньгьоро из Маньчжурии.\n\nПравительство.\nЦинские владыки разделяли военные и гражданские должности, причём и те и другие имели по девять рангов, а каждый ранг делился на категории \"а\" и \"б\". Гражданские назначения подразделялись на виды от ассистента императора в Запретном Городе (высший ранг) до сборщика налогов, тюремщика, полицейского комиссара или экзаменатора. Военные посты ранжировались по иерархической шкале от фельдмаршала или начальника императорской охраны до сержанта третьего класса, капрала и рядовых первого и второго класса. Центральные государственные органы. Всё управление Цинской империей замыкалось на фигуре императора, обладавшего абсолютной властью, который возглавлял шесть советов (министерств, 六部), каждый из которых имел двух президентов и включал четырёх вице-президентов (侍郎) В отличие от порядков, существовавших при империи Мин, политика Цин состояла в том, чтобы важные посты были разделены между маньчжурами и ханьскими администраторами, прошедшими через сито имперских экзаменов. Гранд-Секретариат, являвшийся важным органом, вырабатывавшим политику правительства при империи Мин потерял своё значение и превратился в имперскую канцелярию. Институты, существовавшие ещё во времена Мин сформировали ядро цинского \"внешнего двора\", который занимался рутинными и текущими вопросами и располагался в южной части Запретного города." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 1274, + "segment": "абсолютной властью" + }, + { + "label": "passage", + "length": 18, + "offset": 1274, + "segment": "Абсолютной властью" + } + ], + "meta": { + "id": 439, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 50, + "segment": "эпохи Цин" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Жуань Юань ( 1764—1849) — государственный деятель эпохи Цин, антиквар и коллекционер, интеллектуал широкого профиля: конфуцианский философ, текстолог, исследователь эпиграфики, историк астрономии и математики. Просветитель, основавший несколько учебных заведений и публичных библиотек в Ханчжоу, Янчжоу и Гуанчжоу, некоторые из которых функционировали ещё в начале XX века. Также успешно занимался живописью и каллиграфией.\nТекст 2: Империя Великая Цин, или государство Великая Цин ( \"дайцин гурунь\", ), часто неправильно именуемая как династия Цин, или Маньчжурская династия, — последняя империя, включавшая территорию Китая. Империя Цин существовала на собственно китайских землях с 1644 по 1912 год с краткой реставрацией в 1917 (последняя продлилась всего 11 дней), ей на этих землях предшествовала империя Мин, а сменила её Китайская республика. Мультикультурная Цинская империя существовала в течение почти трёх веков и сформировала территориальную базу для современного китайского государства. Империя была основана чжурчжэньским кланом Айсиньгьоро из Маньчжурии.\n\nПравительство.\nЦинские владыки разделяли военные и гражданские должности, причём и те и другие имели по девять рангов, а каждый ранг делился на категории \"а\" и \"б\". Гражданские назначения подразделялись на виды от ассистента императора в Запретном Городе (высший ранг) до сборщика налогов, тюремщика, полицейского комиссара или экзаменатора. Военные посты ранжировались по иерархической шкале от фельдмаршала или начальника императорской охраны до сержанта третьего класса, капрала и рядовых первого и второго класса. Центральные государственные органы. Всё управление Цинской империей замыкалось на фигуре императора, обладавшего абсолютной властью, который возглавлял шесть советов (министерств, 六部), каждый из которых имел двух президентов и включал четырёх вице-президентов (侍郎) В отличие от порядков, существовавших при империи Мин, политика Цин состояла в том, чтобы важные посты были разделены между маньчжурами и ханьскими администраторами, прошедшими через сито имперских экзаменов. Гранд-Секретариат, являвшийся важным органом, вырабатывавшим политику правительства при империи Мин потерял своё значение и превратился в имперскую канцелярию. Институты, существовавшие ещё во времена Мин сформировали ядро цинского \"внешнего двора\", который занимался рутинными и текущими вопросами и располагался в южной части Запретного города.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какая форма правления была в государстве, гражданином которого являлся Жуань Юань? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 605, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Гэрдъю сливается с рекой Большой Паток.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Гэрдъю?", + "support_text": "Гэрдъю, Гердъю — река в России, протекает в Республике Коми. Устье реки находится в 29 км по правому берегу реки Большой Паток. Длина реки составляет 28 км. Река образуется в заболоченной местности к западу от горы Сабля (Приполярный Урал) слиянием двух небольших рек — Левая Гэрдъю и Правая Гэрдъю. Генеральное направление течения — юг, русло извилистое. В среднем и нижнем течении ширина реки около 25-30 метров, скорость течения — 0,6-0,7 м/с. Приток — Правый Гэрдъювож (правый). Впадает в Большой Паток выше острова Бадьяди.", + "text": "Большой Паток (Иджид Поток) — река в России, протекает в Республике Коми. Устье реки находится в 53 км по правому берегу реки Щугор. Длина реки — 121 км, площадь бассейна — 2520 кв км. Крупнейший по площади бассейна и длине приток Щугора. Название связывают с русским словом \"поток\".\n\nГеография и гидрография.\nНижнее течение реки мелководное и изобилует перекатами. Берега реки покрыты лесом, в среднем и нижнем течении на берегах скалистые выходы. Впадает в Щугор в 30 км к северо-востоку от деревни Усть-Щугор." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 126, + "segment": "Щугор" + }, + { + "label": "passage", + "length": 5, + "offset": 231, + "segment": "Щугор" + } + ], + "meta": { + "id": 896, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 113, + "segment": "Большой Паток" + }, + { + "label": "passage", + "length": 13, + "offset": 493, + "segment": "Большой Паток" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Гэрдъю, Гердъю — река в России, протекает в Республике Коми. Устье реки находится в 29 км по правому берегу реки Большой Паток. Длина реки составляет 28 км. Река образуется в заболоченной местности к западу от горы Сабля (Приполярный Урал) слиянием двух небольших рек — Левая Гэрдъю и Правая Гэрдъю. Генеральное направление течения — юг, русло извилистое. В среднем и нижнем течении ширина реки около 25-30 метров, скорость течения — 0,6-0,7 м/с. Приток — Правый Гэрдъювож (правый). Впадает в Большой Паток выше острова Бадьяди.\nТекст 2: Большой Паток (Иджид Поток) — река в России, протекает в Республике Коми. Устье реки находится в 53 км по правому берегу реки Щугор. Длина реки — 121 км, площадь бассейна — 2520 кв км. Крупнейший по площади бассейна и длине приток Щугора. Название связывают с русским словом \"поток\".\n\nГеография и гидрография.\nНижнее течение реки мелководное и изобилует перекатами. Берега реки покрыты лесом, в среднем и нижнем течении на берегах скалистые выходы. Впадает в Щугор в 30 км к северо-востоку от деревни Усть-Щугор.\nВопрос: С какой рекой сливается река, в которую впадает Гэрдъю?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 369, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лудега впадает в реку Северная Двина.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Лудега?", + "support_text": "Лудега или Лудига — река в России, протекает по Виноградовскому району Архангельской области. Устье реки находится в 365 км по левому берегу реки Северная Двина. Длина реки составляет 17 км. В 11 км от устья, по левому берегу реки впадает река Ракула. Исток — в 17 км от устья, при слиянии рек Пивково и Перечка.\n\nДанные водного реестра.\nПо данным государственного водного реестра России Лудега относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Северная Двина от впадения реки Вычегда до впадения реки Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина. Код объекта в государственном водном реестре — 03020300112103000028132.", + "text": "Северная Двина — крупная судоходная река на севере Европейской части России, протекающая в Вологодской и большей частью (примерно 90 % общей длины) Архангельской областях. Впадает в Белое море. Длина — 744 км (с учётом Сухоны, как основной составляющей — 1302 км). Площадь водосборного бассейна — 357 тысяч кв км.\n\nГеография.\nНиже впадения Пинеги Северная Двина разбивается на протоки с многочисленными островами, ширина долины возрастает до 18 км. Дельта Северной Двины (площадь дельты около 900 кв км) начинается от Новодвинска. Возле Архангельска и Северодвинска Северная Двина многими рукавами впадает в Двинскую губу Белого моря. Северная Двина — типично равнинная река. Имеет многочисленные перекаты и острова." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 182, + "segment": "Белое море" + } + ], + "meta": { + "id": 886, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 146, + "segment": "Северная Двина" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Лудега или Лудига — река в России, протекает по Виноградовскому району Архангельской области. Устье реки находится в 365 км по левому берегу реки Северная Двина. Длина реки составляет 17 км. В 11 км от устья, по левому берегу реки впадает река Ракула. Исток — в 17 км от устья, при слиянии рек Пивково и Перечка.\n\nДанные водного реестра.\nПо данным государственного водного реестра России Лудега относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Северная Двина от впадения реки Вычегда до впадения реки Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина. Код объекта в государственном водном реестре — 03020300112103000028132.\nТекст 2: Северная Двина — крупная судоходная река на севере Европейской части России, протекающая в Вологодской и большей частью (примерно 90 % общей длины) Архангельской областях. Впадает в Белое море. Длина — 744 км (с учётом Сухоны, как основной составляющей — 1302 км). Площадь водосборного бассейна — 357 тысяч кв км.\n\nГеография.\nНиже впадения Пинеги Северная Двина разбивается на протоки с многочисленными островами, ширина долины возрастает до 18 км. Дельта Северной Двины (площадь дельты около 900 кв км) начинается от Новодвинска. Возле Архангельска и Северодвинска Северная Двина многими рукавами впадает в Двинскую губу Белого моря. Северная Двина — типично равнинная река. Имеет многочисленные перекаты и острова.\nВопрос: С какой рекой сливается река, в которую впадает Лудега?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Айгуль Шамилевна Бариева?", + "support_text": "Айгуль Шамилевна Бариева ( род. 22 августа 1974, Казань, Татарская АССР, РСФСР, СССР) — российская эстрадная певица и исполнительница татарских народных песен. Заслуженная артистка Республики Татарстан (2011).\n\nБиография.\nТакже в альбом вошли: \"Бер Гомер житми икен\", \"Алаларда еллар-киртэлэр\", \"Кашкарый\", \"Талы-талы\" и другие татарские хиты эстрадные жанра. Сама Айгуль призналась, что первоначально этот альбом задумывала как собрание всех ранее написанных песен, но передумала и написала новый альбом. Исполнительница главной роли Гузели в телесериале \"Бичаракай\" (\"Сиротинушка\"), пользовавшемся огромной популярностью у татароязычной зрительской аудитории телеканала ТНВ (г. (Казань). Год выхода на экран: 2009 год. Автор сценария: Рабит Батулла.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 413, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 452, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Айгуль Шамилевна Бариева ( род. 22 августа 1974, Казань, Татарская АССР, РСФСР, СССР) — российская эстрадная певица и исполнительница татарских народных песен. Заслуженная артистка Республики Татарстан (2011).\n\nБиография.\nТакже в альбом вошли: \"Бер Гомер житми икен\", \"Алаларда еллар-киртэлэр\", \"Кашкарый\", \"Талы-талы\" и другие татарские хиты эстрадные жанра. Сама Айгуль призналась, что первоначально этот альбом задумывала как собрание всех ранее написанных песен, но передумала и написала новый альбом. Исполнительница главной роли Гузели в телесериале \"Бичаракай\" (\"Сиротинушка\"), пользовавшемся огромной популярностью у татароязычной зрительской аудитории телеканала ТНВ (г. (Казань). Год выхода на экран: 2009 год. Автор сценария: Рабит Батулла.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Айгуль Шамилевна Бариева? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 401, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Атомная бомба.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что было впервые в СССР испытано на территории страны, которую в спорте представлял Михаил Алексеевич Рахманов?", + "support_text": "Михаил Алексеевич Рахманов (27 мая 1992, Усть-Каменогорск, Казахстан) — казахстанский хоккеист, нападающий. Воспитанник усть-каменогорского хоккея. В настоящее время является игроком казахстанского хоккейного клуба \"Барыс\", из столицы республики — города Астана, выступающего в КХЛ.", + "text": "Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км. Население, по оценке государственного комитета по статистике на 1 октября 2020 года, составляет человек. Плотность населения является одной из самых низких: менее 7 человек на квадратный километр. Столица — Нур-Султан.\n\nИстория.\nВ 1947 году правительство СССР в рамках проекта создания атомной бомбы создало полигон для испытаний атомной бомбы недалеко от северо-восточного города Семипалатинск, где в 1949 году было проведено первое советское испытание атомной бомбы. Сотни ядерных испытаний проводились до 1989 года и имели негативные экологические и биологические последствия. Антиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы.\n\nКультура.\nКазахстан является родиной для большого числа выдающихся авторов литературы, науки и философии: Абая Кунанбаева, Мухтара Ауэзова, Габита Мусрепова, Каныша Сатпаева, Мухтара Шаханова, Сакена Сейфуллина, Джамбула Джабаева и многих других. Литература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами." + }, + "outputs": [ + { + "label": "answer", + "length": 13, + "offset": 493, + "segment": "атомной бомбы" + }, + { + "label": "answer", + "length": 13, + "offset": 493, + "segment": "атомную бомбу" + } + ], + "meta": { + "id": 663, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 59, + "segment": "Казахстан" + }, + { + "label": "passage", + "length": 13, + "offset": 72, + "segment": "казахстанский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Михаил Алексеевич Рахманов (27 мая 1992, Усть-Каменогорск, Казахстан) — казахстанский хоккеист, нападающий. Воспитанник усть-каменогорского хоккея. В настоящее время является игроком казахстанского хоккейного клуба \"Барыс\", из столицы республики — города Астана, выступающего в КХЛ.\nТекст 2: Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км. Население, по оценке государственного комитета по статистике на 1 октября 2020 года, составляет человек. Плотность населения является одной из самых низких: менее 7 человек на квадратный километр. Столица — Нур-Султан.\n\nИстория.\nВ 1947 году правительство СССР в рамках проекта создания атомной бомбы создало полигон для испытаний атомной бомбы недалеко от северо-восточного города Семипалатинск, где в 1949 году было проведено первое советское испытание атомной бомбы. Сотни ядерных испытаний проводились до 1989 года и имели негативные экологические и биологические последствия. Антиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы.\n\nКультура.\nКазахстан является родиной для большого числа выдающихся авторов литературы, науки и философии: Абая Кунанбаева, Мухтара Ауэзова, Габита Мусрепова, Каныша Сатпаева, Мухтара Шаханова, Сакена Сейфуллина, Джамбула Джабаева и многих других. Литература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что было впервые в СССР испытано на территории страны, которую в спорте представлял Михаил Алексеевич Рахманов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 584, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Неман", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Митува?", + "support_text": "Митува — река на западе Литвы в Каунасском и Таурагском уездах. Правый приток реки Неман. Берёт начало в 5 км западнее города Арёгала, около автодороги А271, А1 Каунас—Клайпеда, недалеко от деревни Диджюляй. Основная часть русла пролегает с востока на запад, после слияния с рекой Видауйя поворачивает на юго-восток. Впадает а Неман в городе Юрбакас. Основные притоки:.", + "text": "Неман ( — \"Нямунас\") — река в Белоруссии, Литве и Калининградской области России. Длина реки — 937 км, площадь водосборного бассейна — 98 200 кв км, среднегодовой расход воды — 678 м³/с.\n\nГеография.\nРека берёт начало к югу от Минской возвышенности, затем течёт в извилистом русле по так называемой Неманской низине, а в нижнем течении — по Среднелитовской и Приморской низменностям (в районе дельты Немана последняя известна как Нижненеманская низменность). Впадает в Куршский залив Балтийского моря, образуя дельту с островами. Основные рукава в дельте: Гилия (Матросовка, левый) и Русне, который также делится на полноводный рукав Скирвите (Северная) и широкий, но мелководный Атмата (правый)." + }, + "outputs": [ + { + "label": "passage", + "length": 31, + "offset": 472, + "segment": "Куршский залив Балтийского моря" + } + ], + "meta": { + "id": 746, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 83, + "segment": "Неман" + }, + { + "label": "passage", + "length": 5, + "offset": 327, + "segment": "Неман" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Митува — река на западе Литвы в Каунасском и Таурагском уездах. Правый приток реки Неман. Берёт начало в 5 км западнее города Арёгала, около автодороги А271, А1 Каунас—Клайпеда, недалеко от деревни Диджюляй. Основная часть русла пролегает с востока на запад, после слияния с рекой Видауйя поворачивает на юго-восток. Впадает а Неман в городе Юрбакас. Основные притоки:.\nТекст 2: Неман ( — \"Нямунас\") — река в Белоруссии, Литве и Калининградской области России. Длина реки — 937 км, площадь водосборного бассейна — 98 200 кв км, среднегодовой расход воды — 678 м³/с.\n\nГеография.\nРека берёт начало к югу от Минской возвышенности, затем течёт в извилистом русле по так называемой Неманской низине, а в нижнем течении — по Среднелитовской и Приморской низменностям (в районе дельты Немана последняя известна как Нижненеманская низменность). Впадает в Куршский залив Балтийского моря, образуя дельту с островами. Основные рукава в дельте: Гилия (Матросовка, левый) и Русне, который также делится на полноводный рукав Скирвите (Северная) и широкий, но мелководный Атмата (правый).\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Митува? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 369, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Мюнхен", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой город стал местом смерти брата Фридриха Генриха Якоби?", + "support_text": "Фридрих Генрих Якоби ( 25 января 1743, Дюссельдорф — 10 марта 1819, Мюнхен) — немецкий философ.\n\nБиография.\nФридрих Якоби (1780). Младший брат Иоганна Георга Якоби (1740−1814) — поэта, профессора философии и красноречия. Фридрих Генрих Якоби был членом, потом президентом баварской академии наук. Знакомство с Виландом и Гете в 1771−74 гг. оказало большое влияние на литературную деятельность Якоби.", + "text": "Иоганн Георг Якоби ( , — Фрайбург-им-Брайсгау) — немецкий поэт, педагог, профессор философии и красноречия университета Галле.\n\nБиография.\nИзучал теологию в Гёттингенском университете, филологию и право в университетах Хельмштедта, Марбурга, Лейпцига и Йены. С 1766 года — профессор философии в университете Галле. В 1784 году стал профессором в университете Фрайбурга." + }, + "outputs": [ + { + "label": "passage", + "length": 20, + "offset": 27, + "segment": "Фрайбург-им-Брайсгау" + } + ], + "meta": { + "id": 116, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 147, + "segment": "Иоганна Георга Якоби" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Фридрих Генрих Якоби ( 25 января 1743, Дюссельдорф — 10 марта 1819, Мюнхен) — немецкий философ.\n\nБиография.\nФридрих Якоби (1780). Младший брат Иоганна Георга Якоби (1740−1814) — поэта, профессора философии и красноречия. Фридрих Генрих Якоби был членом, потом президентом баварской академии наук. Знакомство с Виландом и Гете в 1771−74 гг. оказало большое влияние на литературную деятельность Якоби.\nТекст 2: Иоганн Георг Якоби ( , — Фрайбург-им-Брайсгау) — немецкий поэт, педагог, профессор философии и красноречия университета Галле.\n\nБиография.\nИзучал теологию в Гёттингенском университете, филологию и право в университетах Хельмштедта, Марбурга, Лейпцига и Йены. С 1766 года — профессор философии в университете Галле. В 1784 году стал профессором в университете Фрайбурга.\nОпираясь на данные тексты, ответьте на вопрос: Какой город стал местом смерти брата Фридриха Генриха Якоби?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 281, + "generated_len": [ + 31 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Зоология", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что изучает наука, которой посвятил себя Александр фон Нордман?", + "support_text": "Александр (Александр Давидович) фон Нордман (иногда ошибочно с двумя \"н\" — Нордманн; ; 1803—1866) — финский и русский зоолог, ботаник и палеонтолог.", + "text": "Зоология (от — животное + — учение) — наука о представителях царства животных, в том числе человеке. Зоология связана с другими биологическими науками, медициной, ветеринарией, сельским хозяйством, с производственной деятельностью человека и защитой животных." + }, + "outputs": [ + { + "label": "answer", + "length": 31, + "offset": 48, + "segment": "представителях царства животных" + } + ], + "meta": { + "id": 716, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 118, + "segment": "зоолог" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр (Александр Давидович) фон Нордман (иногда ошибочно с двумя \"н\" — Нордманн; ; 1803—1866) — финский и русский зоолог, ботаник и палеонтолог.\nТекст 2: Зоология (от — животное + — учение) — наука о представителях царства животных, в том числе человеке. Зоология связана с другими биологическими науками, медициной, ветеринарией, сельским хозяйством, с производственной деятельностью человека и защитой животных.\nОпираясь на данные тексты, ответьте на вопрос: Что изучает наука, которой посвятил себя Александр фон Нордман? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.09756097560975609, + "em": 0 + }, + "predict": " Вардан Николаевич Гукасян родился в городе Гюмри, который является административным центром Ширакской области в Армении. Исходя из информации из обоих текстов, глава администрации в городе Гюмри, где родился Вардан Николаевич Гукасян, с 2012 года является Самвел Мисакович Бал", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Вардан Николаевич Гукасян?", + "support_text": "Вардан Николаевич Гукасян ( род. 20 января 1961, Гюмри) — армянский государственный деятель. 1978—1981 — Кироваканский торгово-экономический техникум. Удостоен почётного звания \"профессора армянского отделения естественных и общественных наук\" (2004). 1981—1984 — Ширакский университет экономики и управления. Награждён \"Золотым венцом\" олимпийского комитета Армении, медалью РФ \"15-я годовщина землетрясения в Армении\" (2004),. 2003—2008 — Гюмрийский государственный педагогический институт им. М. Налбандяна. Награждён орденом Нансена, медалью премьер-министра по случаю 15-й годовщины независимости, медалью \"Акоп Мегапарт\" за вклад в развитие города Гюмри, указом президента Армении награждён \"Медалью Анании Ширакаци\" (2006). 1984—1988 — работал товароведом в системе управления торговли Ленинакана. С 1988 — участвовал в армяно-азербайджанском конфликте в Нагорном-Карабахе, содействовал армянским вооружённым силам. С 1994 — занимается фермерской деятельностью.", + "text": "Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 496, + "segment": "Баласанян, Самвел Мисакович" + }, + { + "label": "passage", + "length": 27, + "offset": 496, + "segment": "Самвел Мисакович Баласанян" + } + ], + "meta": { + "id": 176, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 50, + "segment": "Гюмри" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Вардан Николаевич Гукасян ( род. 20 января 1961, Гюмри) — армянский государственный деятель. 1978—1981 — Кироваканский торгово-экономический техникум. Удостоен почётного звания \"профессора армянского отделения естественных и общественных наук\" (2004). 1981—1984 — Ширакский университет экономики и управления. Награждён \"Золотым венцом\" олимпийского комитета Армении, медалью РФ \"15-я годовщина землетрясения в Армении\" (2004),. 2003—2008 — Гюмрийский государственный педагогический институт им. М. Налбандяна. Награждён орденом Нансена, медалью премьер-министра по случаю 15-й годовщины независимости, медалью \"Акоп Мегапарт\" за вклад в развитие города Гюмри, указом президента Армении награждён \"Медалью Анании Ширакаци\" (2006). 1984—1988 — работал товароведом в системе управления торговли Ленинакана. С 1988 — участвовал в армяно-азербайджанском конфликте в Нагорном-Карабахе, содействовал армянским вооружённым силам. С 1994 — занимается фермерской деятельностью.\nТекст 2: Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012).\nВопрос: Кто является главой администрации в городе, где родился Вардан Николаевич Гукасян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 502, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1904761904761905, + "em": 0 + }, + "predict": " В городе, где появился на свет Матвей Соломонович Ганнушкин, — Нижнем Новгороде, работает Городская Дума, которая является законодательным органом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Матвей Соломонович Ганнушкин?", + "support_text": "Матвей Соломонович Ганнушкин (20 июня 1893, Нижний Новгород — 2 августа 1969, Москва) — советский ветеринар и организатор ветеринарного образования, доктор ветеринарных наук, профессор. Бригветврач (30 декабря 1935). Генерал-майор ветеринарной службы (1 сентября 1943).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городская дума" + } + ], + "meta": { + "id": 142, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 44, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Матвей Соломонович Ганнушкин?\nТекст 1: Матвей Соломонович Ганнушкин (20 июня 1893, Нижний Новгород — 2 августа 1969, Москва) — советский ветеринар и организатор ветеринарного образования, доктор ветеринарных наук, профессор. Бригветврач (30 декабря 1935). Генерал-майор ветеринарной службы (1 сентября 1943).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 418, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15384615384615385, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Михаил Владимирович Харачура, — это Мариупольский горсовет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Михаил Владимирович Харачура?", + "support_text": "Михаил Владимирович Харачура (род. 16 июля 1958, Жданов, Украинская ССР) — советский борец вольного стиля, тренер, чемпион СССР (1979), серебряный призёр чемпионата Европы (1981), трёхкратный обладатель Кубка мира (1979, 1981, 1982), двукратный чемпион мира (1979, 1982). Заслуженный мастер спорта СССР (1979). Главный тренер национальных сборных команд Венгрии (1992—1993), Украины (1997—2002) и Греции (2002—2004).\n\nБиография.\nМихаил Харачура родился 16 июля 1958 года в городе Жданов в греческой семье. Начал заниматься вольной борьбой в возрасте 13 лет в спортивном клубе \"Азов\" под руководством Петра Папуша.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовета" + }, + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовет" + } + ], + "meta": { + "id": 392, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 49, + "segment": "Жданов" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Михаил Владимирович Харачура (род. 16 июля 1958, Жданов, Украинская ССР) — советский борец вольного стиля, тренер, чемпион СССР (1979), серебряный призёр чемпионата Европы (1981), трёхкратный обладатель Кубка мира (1979, 1981, 1982), двукратный чемпион мира (1979, 1982). Заслуженный мастер спорта СССР (1979). Главный тренер национальных сборных команд Венгрии (1992—1993), Украины (1997—2002) и Греции (2002—2004).\n\nБиография.\nМихаил Харачура родился 16 июля 1958 года в городе Жданов в греческой семье. Начал заниматься вольной борьбой в возрасте 13 лет в спортивном клубе \"Азов\" под руководством Петра Папуша.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nВопрос: Как называется законодательный орган города, где родился Михаил Владимирович Харачура?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Василий Сергеевич Рябченко родился в Одессе.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, приходящийся Сергею Васильевичу Рябченко сыном?", + "support_text": "Сергей Васильевич Рябченко — советский и украинский художник-график.\n\nСемейная династия.\nСын — Василий Рябченко (род. 1954) — украинский художник, одна из ключевых фигур современного украинского искусства и Новой украинской волны. Внук — Степан Рябченко (род.", + "text": "Василий Сергеевич Рябченко — украинский живописец, график, фотохудожник, автор объектов и инсталляций. Одна из ключевых фигур современного украинского искусства и Новой украинской волны.\n\nБиография.\nВасилий Рябченко. \"Берег невыявленных персонажей\", 200×400 см, холст, масло, 1989. Василий Рябченко родился 23 июля 1954 года в Одессе в семье советского художника-графика Сергея Рябченко. Своё художественное образование начал в 1966 году в художественной школе, расположенной на территории Одесского художественного училища. В 1969 году поступает в Одесское художественное училище имени М. Б. Грекова на отделение живописи. С начала 1970-х он активно экспериментирует с фотографией. Основными сюжетами сначала были непостановочные натюрморты из бытовых предметов, позже — фотофиксация импровизаций с участием предметов и человеческого тела, в компоновке которых художник использует \"пустотность\" и асимметрию, свойственную восточной традиции. За цикл этих фотографий, объединённых в проекте \"Naked Dream\" (1995), получает премию и звание \"Лучший художник Украины\" по итогам первого всеукраинского арт-фестиваля \"Золотий перетин\" в 1996 году. В это же году основывает творческое объединения \"Арт Лаборатория\". Василий Рябченко живет и работает в Одессе." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 330, + "segment": "Одессе" + } + ], + "meta": { + "id": 379, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 98, + "segment": "Василий Рябченко" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Сергей Васильевич Рябченко — советский и украинский художник-график.\n\nСемейная династия.\nСын — Василий Рябченко (род. 1954) — украинский художник, одна из ключевых фигур современного украинского искусства и Новой украинской волны. Внук — Степан Рябченко (род.\nТекст 2: Василий Сергеевич Рябченко — украинский живописец, график, фотохудожник, автор объектов и инсталляций. Одна из ключевых фигур современного украинского искусства и Новой украинской волны.\n\nБиография.\nВасилий Рябченко. \"Берег невыявленных персонажей\", 200×400 см, холст, масло, 1989. Василий Рябченко родился 23 июля 1954 года в Одессе в семье советского художника-графика Сергея Рябченко. Своё художественное образование начал в 1966 году в художественной школе, расположенной на территории Одесского художественного училища. В 1969 году поступает в Одесское художественное училище имени М. Б. Грекова на отделение живописи. С начала 1970-х он активно экспериментирует с фотографией. Основными сюжетами сначала были непостановочные натюрморты из бытовых предметов, позже — фотофиксация импровизаций с участием предметов и человеческого тела, в компоновке которых художник использует \"пустотность\" и асимметрию, свойственную восточной традиции. За цикл этих фотографий, объединённых в проекте \"Naked Dream\" (1995), получает премию и звание \"Лучший художник Украины\" по итогам первого всеукраинского арт-фестиваля \"Золотий перетин\" в 1996 году. В это же году основывает творческое объединения \"Арт Лаборатория\". Василий Рябченко живет и работает в Одессе.\nОпираясь на данные тексты, ответьте на вопрос: Где родился человек, приходящийся Сергею Васильевичу Рябченко сыном?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 399, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В Волгу.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Бздыриха?", + "support_text": "Бздыриха — река в России, протекает по Сонковскому району Тверской области. Устье реки находится в 109,7 км по левому берегу реки Корожечна от её устья, в ста метрах выше устья реки Кромница. Длина реки составляет 14 км. Пересыхающий исток находится у деревни Болтино, вскоре после него речка пересекает железную дорогу Сонково — Калязин.", + "text": "Корожечна (\"Корожечня\", \"Корожишна\") — река на северо-западе европейской части России в Кесовогорском, Сонковском и Кашинском районах Тверской области и Угличском районе Ярославской области. Устье реки находится в 2830 км по левому берегу реки Волги от её устья (Волжский русловой участок Рыбинского водохранилища).\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Верхневолжскому бассейновому округу. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки), речной подбассейн реки — бассейны притоков (Верхней) Волги до Рыбинского водохранилища, водохозяйственный участок реки — Волга от Угличского гидроузла до начала Рыбинского водохранилища. Код объекта в государственном водном реестре — 08010100912110000004406." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 244, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 244, + "segment": "Волга" + } + ], + "meta": { + "id": 330, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 130, + "segment": "Корожечна" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Бздыриха — река в России, протекает по Сонковскому району Тверской области. Устье реки находится в 109,7 км по левому берегу реки Корожечна от её устья, в ста метрах выше устья реки Кромница. Длина реки составляет 14 км. Пересыхающий исток находится у деревни Болтино, вскоре после него речка пересекает железную дорогу Сонково — Калязин.\nТекст 2: Корожечна (\"Корожечня\", \"Корожишна\") — река на северо-западе европейской части России в Кесовогорском, Сонковском и Кашинском районах Тверской области и Угличском районе Ярославской области. Устье реки находится в 2830 км по левому берегу реки Волги от её устья (Волжский русловой участок Рыбинского водохранилища).\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Верхневолжскому бассейновому округу. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки), речной подбассейн реки — бассейны притоков (Верхней) Волги до Рыбинского водохранилища, водохозяйственный участок реки — Волга от Угличского гидроузла до начала Рыбинского водохранилища. Код объекта в государственном водном реестре — 08010100912110000004406.\nВопрос: В какую реку впадает река, притоком которой является Бздыриха?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 345, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.12121212121212122, + "em": 0 + }, + "predict": " В стране гражданства Даршила Сафари, Индии, законодательный орган, который работает в стране, — это двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Даршила Сафари?", + "support_text": "Даршил Сафари — ( ; род. 9 марта 1997 года, Мумбаи, Индия) — индийский актёр. Его дебютный фильм — \"Звёздочки на земле\", где он сыграл мальчика, страдающего дислексией. Сейчас Даршил — студент \"H.R. College of Commerce and Economics\" в Мумбаи.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 951, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 951, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 654, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 52, + "segment": "Индия" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Даршил Сафари — ( ; род. 9 марта 1997 года, Мумбаи, Индия) — индийский актёр. Его дебютный фильм — \"Звёздочки на земле\", где он сыграл мальчика, страдающего дислексией. Сейчас Даршил — студент \"H.R. College of Commerce and Economics\" в Мумбаи.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами.\nВопрос: Что за законодательный орган работает в стране гражданства Даршила Сафари?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 562, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ярославле", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился композитор, который написал музыку для фильма \"Люми\"?", + "support_text": "'Люми' — советский художественный фильм, снятый в 1991 году. В своем роде пересказ истории о Красной шапочке на новый лад.\n\nСъёмочная группа.\nВалерий Лукинов. Композитор . Вениамин Баснер. Продюсер . Виктор Голювинов. Звукорежиссёр .", + "text": "Могила В. Е. Баснера. Вениамин Ефимович Баснер (1 января 1925 — 3 сентября 1996) — советский и российский композитор. Автор музыки более чем к ста кинофильмам.\n\nБиография.\nРодился 1 января 1925 года в Ярославле в еврейской семье, эвакуированной из Двинска с началом Первой мировой войны Оба его деда, а также родители, несмотря на вынужденную ассимиляцию евреев в СССР, говорили на идиш. С малых лет Вениамин Баснер воспитывался в еврейском духе. Большое влияние на Баснера оказал его дед, Хирш Яковлевич Гредитор, портной по профессии, знавший большое количество еврейских народных песен. Обучался игре на скрипке в детской музыкальной школе № 1 в Ярославле. Одним из первых крупных музыкальных впечатлений в жизни юного Баснера стало исполнение в Ярославле в 1938 году Пятой симфонии Дмитрия Шостаковича. По окончании Ярославского музыкального училища в 1942 году Баснер был приглашён в Ярославскую филармонию в качестве солиста, но уже через год был призван в армию, где служил в военном оркестре аранжировщиком, а также ремонтировал музыкальные инструменты." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 204, + "segment": "Ярославле" + } + ], + "meta": { + "id": 372, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 175, + "segment": "Вениамин Баснер" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Люми' — советский художественный фильм, снятый в 1991 году. В своем роде пересказ истории о Красной шапочке на новый лад.\n\nСъёмочная группа.\nВалерий Лукинов. Композитор . Вениамин Баснер. Продюсер . Виктор Голювинов. Звукорежиссёр .\nТекст 2: Могила В. Е. Баснера. Вениамин Ефимович Баснер (1 января 1925 — 3 сентября 1996) — советский и российский композитор. Автор музыки более чем к ста кинофильмам.\n\nБиография.\nРодился 1 января 1925 года в Ярославле в еврейской семье, эвакуированной из Двинска с началом Первой мировой войны Оба его деда, а также родители, несмотря на вынужденную ассимиляцию евреев в СССР, говорили на идиш. С малых лет Вениамин Баснер воспитывался в еврейском духе. Большое влияние на Баснера оказал его дед, Хирш Яковлевич Гредитор, портной по профессии, знавший большое количество еврейских народных песен. Обучался игре на скрипке в детской музыкальной школе № 1 в Ярославле. Одним из первых крупных музыкальных впечатлений в жизни юного Баснера стало исполнение в Ярославле в 1938 году Пятой симфонии Дмитрия Шостаковича. По окончании Ярославского музыкального училища в 1942 году Баснер был приглашён в Ярославскую филармонию в качестве солиста, но уже через год был призван в армию, где служил в военном оркестре аранжировщиком, а также ремонтировал музыкальные инструменты.\nОпираясь на факты в данных текстах, ответьте на вопрос: Где родился композитор, который написал музыку для фильма \"Люми\"? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 370, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Рубен Карленович Мирзаханян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Рубен Карленович Мирзаханян?", + "support_text": "Рубен Карленович Мирзаханян (арм. Ռուբեն Միրզախանյան), (р. 1959, Ереван, Армянская ССР) — армянский общественный деятель, председатель культурного союза \"Текеян\", ректор Армянского государственного педагогического университета им. Хачатура Абовяна.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 272, + "segment": "городским советом" + } + ], + "meta": { + "id": 61, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 65, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Рубен Карленович Мирзаханян (арм. Ռուբեն Միրզախանյան), (р. 1959, Ереван, Армянская ССР) — армянский общественный деятель, председатель культурного союза \"Текеян\", ректор Армянского государственного педагогического университета им. Хачатура Абовяна.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Рубен Карленович Мирзаханян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " Марк Маркович Валентинов умер в городе Нижний Новгород. Законодательный орган города — Городская Дума.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Марк Маркович Валентинов?", + "support_text": "Марк Маркович Валентинов (14 апреля 1904 года - 26 октября 1989 года) - советский российский театральный режиссёр, искусствовед, педагог.\n\nБиография.\nВ 1949 вернулся в Горький. С 1949 по 1953 год преподавал в Горьковской Государственной Консерватории им М. И. Глинки. Умер 26 октября 1989 года, похоронен на Бугровском кладбище Нижнего Новгорода.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 913, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 913, + "segment": "Городская дума" + } + ], + "meta": { + "id": 74, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 331, + "segment": "Нижнего Новгорода" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Марк Маркович Валентинов (14 апреля 1904 года - 26 октября 1989 года) - советский российский театральный режиссёр, искусствовед, педагог.\n\nБиография.\nВ 1949 вернулся в Горький. С 1949 по 1953 год преподавал в Горьковской Государственной Консерватории им М. И. Глинки. Умер 26 октября 1989 года, похоронен на Бугровском кладбище Нижнего Новгорода.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nВопрос: Как называется законодательный орган города, где умер Марк Маркович Валентинов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 352, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13333333333333333, + "em": 0 + }, + "predict": " Александр Александрович Яхонтов посвятил свою научную деятельность энтомологии, что является разделом зоологии, изучающим насекомых.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что изучает наука, которой посвятил себя Александр Александрович Яхонтов?", + "support_text": "Александр Александрович Яхонтов ( Москва — 17 ноября 1973, там же) — советский энтомолог, педагог, методист в области естествознания; автор первого учебника по зоологии для советской школы; член-корреспондент АПН РСФСР (1946). Автор ряда учебников, учебно-методических пособий, научно-популярных книг, в которых обосновал значение исследовательского метода в обучении и роль экскурсий в преподавании естественных дисциплин.\n\nНаучная деятельность.\nЯхонтов занимался исследованиями в области энтомологии. Является автором более 30 научных работ. Результаты этих исследований нашли своё отражение в методической и учебной литературе — на основе их был составлен определитель для юннатов \"Наши дневные бабочки\", изданный в 1935 году.", + "text": "Энтомологические коллекции. Энтомологическое снаряжение. Энтомология (от \"насекомое\" + \"слово, учение\") — раздел зоологии, изучающий насекомых. Поскольку разнообразие насекомых очень велико (более 3 миллионов видов), то и их значение, и число специалистов, их изучающих, также огромно.\n\nПрактическое значение.\nПрактическое значение насекомых (главным образом, вред) для человека самого и его имущества естественно вызывало многочисленные исследования, имеющие целью изучить свойства и особенности вредных насекомых и отыскать средства для борьбы с ними. Среди насекомых, вредящих непосредственно самому человеку, в особенности обратили на себя внимание те, которые являются разносчиками болезней. Изучение насекомых, вредных культурным растениям, дало важные и интересные результаты не только в практическом, но и в теоретическом отношении (вопросы паразитизма, способов размножения и др.). Практические мероприятия по борьбе с вредными насекомыми часто встречают разнообразные естественные препятствия и являются выполнимыми только при точном знании образа жизни вредителей; подробные биологические исследования и наблюдения над вредными насекомыми дают возможность избежать многих ошибок, основанных на незнакомстве с биологией насекомых. Сами способы борьбы постепенно совершенствуются; в этом отношении особенно важным является изобретение метода опрыскивания растений ядовитыми жидкостями с целью отравления насекомых, нападающих на эти растения. Особенно интересны как с теоретической, так и с практической точки зрения явления паразитизма и симбиоза, весьма распространённые среди насекомых. Наиболее часто встречается паразитизм среди перепончатокрылых и двукрылых, причём оказывается, что одни паразиты являются строго одноядными, то есть живущими за счёт совершенно определённого вида насекомых, тогда как другие — многоядны; мы находим также множество вторичных паразитов, то есть живущих за счёт паразитов, затем паразитов 3-го и даже 4-го ряда. Обратили на себя внимание явления симбиоза, встречающиеся, главным образом, среди муравьёв и термитов, а именно в сообществе с этими насекомыми живёт множество других насекомых (а также некоторых паукообразных), жизнь которых тесно связана с жизнью их хозяев и у которых существует целый ряд черт в организации, обусловленных приспособлением к совместной жизни (мирмекофилия и термитофилия)." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 135, + "segment": "насекомых" + } + ], + "meta": { + "id": 717, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 493, + "segment": "энтомологии" + }, + { + "label": "passage", + "length": 9, + "offset": 79, + "segment": "энтомолог" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Александрович Яхонтов ( Москва — 17 ноября 1973, там же) — советский энтомолог, педагог, методист в области естествознания; автор первого учебника по зоологии для советской школы; член-корреспондент АПН РСФСР (1946). Автор ряда учебников, учебно-методических пособий, научно-популярных книг, в которых обосновал значение исследовательского метода в обучении и роль экскурсий в преподавании естественных дисциплин.\n\nНаучная деятельность.\nЯхонтов занимался исследованиями в области энтомологии. Является автором более 30 научных работ. Результаты этих исследований нашли своё отражение в методической и учебной литературе — на основе их был составлен определитель для юннатов \"Наши дневные бабочки\", изданный в 1935 году.\nТекст 2: Энтомологические коллекции. Энтомологическое снаряжение. Энтомология (от \"насекомое\" + \"слово, учение\") — раздел зоологии, изучающий насекомых. Поскольку разнообразие насекомых очень велико (более 3 миллионов видов), то и их значение, и число специалистов, их изучающих, также огромно.\n\nПрактическое значение.\nПрактическое значение насекомых (главным образом, вред) для человека самого и его имущества естественно вызывало многочисленные исследования, имеющие целью изучить свойства и особенности вредных насекомых и отыскать средства для борьбы с ними. Среди насекомых, вредящих непосредственно самому человеку, в особенности обратили на себя внимание те, которые являются разносчиками болезней. Изучение насекомых, вредных культурным растениям, дало важные и интересные результаты не только в практическом, но и в теоретическом отношении (вопросы паразитизма, способов размножения и др.). Практические мероприятия по борьбе с вредными насекомыми часто встречают разнообразные естественные препятствия и являются выполнимыми только при точном знании образа жизни вредителей; подробные биологические исследования и наблюдения над вредными насекомыми дают возможность избежать многих ошибок, основанных на незнакомстве с биологией насекомых. Сами способы борьбы постепенно совершенствуются; в этом отношении особенно важным является изобретение метода опрыскивания растений ядовитыми жидкостями с целью отравления насекомых, нападающих на эти растения. Особенно интересны как с теоретической, так и с практической точки зрения явления паразитизма и симбиоза, весьма распространённые среди насекомых. Наиболее часто встречается паразитизм среди перепончатокрылых и двукрылых, причём оказывается, что одни паразиты являются строго одноядными, то есть живущими за счёт совершенно определённого вида насекомых, тогда как другие — многоядны; мы находим также множество вторичных паразитов, то есть живущих за счёт паразитов, затем паразитов 3-го и даже 4-го ряда. Обратили на себя внимание явления симбиоза, встречающиеся, главным образом, среди муравьёв и термитов, а именно в сообществе с этими насекомыми живёт множество других насекомых (а также некоторых паукообразных), жизнь которых тесно связана с жизнью их хозяев и у которых существует целый ряд черт в организации, обусловленных приспособлением к совместной жизни (мирмекофилия и термитофилия).\nОпираясь на данные тексты, ответьте на вопрос: Что изучает наука, которой посвятил себя Александр Александрович Яхонтов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 673, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Палата депутатов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Нормы Эрреры?", + "support_text": "Норма Эдит Эррера Исунса (24 мая 1942, Мехико, Мексика) — мексиканская актриса театра и кино и певица, выступающая с благотворительными концертами для инвалидов в дуэте с актёром и гитаристом Рикардо Вера.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 756, + "segment": "Парламент" + } + ], + "meta": { + "id": 311, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 47, + "segment": "Мексика" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Норма Эдит Эррера Исунса (24 мая 1942, Мехико, Мексика) — мексиканская актриса театра и кино и певица, выступающая с благотворительными концертами для инвалидов в дуэте с актёром и гитаристом Рикардо Вера.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в стране гражданства Нормы Эрреры? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 362, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Аршак Багратович Петросян?", + "support_text": "Аршак Багратович Петросян ( род. 16 декабря 1953, Ереван) — армянский, ранее советский, шахматист и тренер; гроссмейстер (1984). По образованию — философ. Кандидат философских наук. Победитель юношеского турнира Плоешти (1973). Армении победитель чемпионата Европы 1999 г., бронзовый призёр Шахматной Олимпиады 1992 г. Тренер сб. Армении на Шахматных Олимпиадах, чемпионатах мира и Европы (1996—2012). Лучшие результаты в других международных соревнованиях: Ереван (1980) — 1—2-е, (1984) — 1-е, (1986) — 7—9-е; Албена (1980) — 1-е; Львов (1981) — 3-е; Баньё (1981, 1-е и 1982, 2—3-е); Нови-Сад (1983) — 1—3-е; Тунха (1987) — 1-2-е; Будапешт (1987) — 2—6-е места (379 участников); Хараре (1988, 1-е), Нови-Сад (1988, 3—10-е), Дортмунд-опен (1990, 1-е), Экло (1991, 2—4-е), Вал Торенс (1992, 1—5-е), Птуй (1993, 1-е), Липпштадт (1993, 3—7-е), Дортмунд, турнир \"В\" (1999 — 3—4-е), Дортмунд, турнир \"В\" (2000 — 2—4-е). Дочь София с сентября 2000 года замужем за венгерским гроссмейстером П. Леко.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 272, + "segment": "городским советом" + } + ], + "meta": { + "id": 40, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 51, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Аршак Багратович Петросян ( род. 16 декабря 1953, Ереван) — армянский, ранее советский, шахматист и тренер; гроссмейстер (1984). По образованию — философ. Кандидат философских наук. Победитель юношеского турнира Плоешти (1973). Армении победитель чемпионата Европы 1999 г., бронзовый призёр Шахматной Олимпиады 1992 г. Тренер сб. Армении на Шахматных Олимпиадах, чемпионатах мира и Европы (1996—2012). Лучшие результаты в других международных соревнованиях: Ереван (1980) — 1—2-е, (1984) — 1-е, (1986) — 7—9-е; Албена (1980) — 1-е; Львов (1981) — 3-е; Баньё (1981, 1-е и 1982, 2—3-е); Нови-Сад (1983) — 1—3-е; Тунха (1987) — 1-2-е; Будапешт (1987) — 2—6-е места (379 участников); Хараре (1988, 1-е), Нови-Сад (1988, 3—10-е), Дортмунд-опен (1990, 1-е), Экло (1991, 2—4-е), Вал Торенс (1992, 1—5-е), Птуй (1993, 1-е), Липпштадт (1993, 3—7-е), Дортмунд, турнир \"В\" (1999 — 3—4-е), Дортмунд, турнир \"В\" (2000 — 2—4-е). Дочь София с сентября 2000 года замужем за венгерским гроссмейстером П. Леко.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Аршак Багратович Петросян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 593, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1081081081081081, + "em": 0 + }, + "predict": " Страна, в которой раньше было государство, гражданином которого являлся Георгий Писида, — Византийская империя (395—1453). Это государство, известное также как Восточная Римская империя, Греческая империя или Держава Ромеев, просуществовало на протяжении почти тысячелетия истории Поздней", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за страной раньше было государство, гражданином которого являлся Георгий Писида?", + "support_text": "Георгий Писида (до 600, Антиохия Писидийская (?) — между 631 и 634, Константинополь) — византийский писатель, поэт, гимнограф, полемист и религиозный деятель. Родился в Писидии.", + "text": "Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы. В дальнейшем под натиском многочисленных врагов государство постепенно утрачивало земли.\n\nНазвание.\nЗападные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римской империи" + }, + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римская империя" + } + ], + "meta": { + "id": 707, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 87, + "segment": "византийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за страной раньше было государство, гражданином которого являлся Георгий Писида?\nТекст 1: Георгий Писида (до 600, Антиохия Писидийская (?) — между 631 и 634, Константинополь) — византийский писатель, поэт, гимнограф, полемист и религиозный деятель. Родился в Писидии.\nТекст 2: Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы. В дальнейшем под натиском многочисленных врагов государство постепенно утрачивало земли.\n\nНазвание.\nЗападные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 495, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1621621621621622, + "em": 0 + }, + "predict": " Илья Валерьевич Шикшин родился в Казани, и в городе, где он родился, главой администрации является мэр, избираемый депутатами Городской думы из своего числа. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Илья Валерьевич Шикшин?", + "support_text": "Шикшин Илья Валерьевич (род. Казань) — один из сильнейших игроков в го в Европе, 7 дан EGF и РФГ(б), 3 профессиональный дан. Заслуженный мастер спорта России.\n\nБиография.\nРодился 7 мая 1990 года, в Казани. Играть начал в 5 лет, под руководством своего отца — заслуженного тренера России Валерия Шикшина, обучившего и других чемпионов Европы по го — сестру Ильи Светлану (3-й профи дан) и Александра Динерштейна (также 3-й профи дан). Стажировался в го в Корее. В 2010 году был кандидатом в депутаты в городскую думу Казани от КПРФ. В 2014 году закончил Казанский государственный университет. Увлекается музыкой, поэзией, художественной самодеятельностью.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 617, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 510, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 29, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Шикшин Илья Валерьевич (род. Казань) — один из сильнейших игроков в го в Европе, 7 дан EGF и РФГ(б), 3 профессиональный дан. Заслуженный мастер спорта России.\n\nБиография.\nРодился 7 мая 1990 года, в Казани. Играть начал в 5 лет, под руководством своего отца — заслуженного тренера России Валерия Шикшина, обучившего и других чемпионов Европы по го — сестру Ильи Светлану (3-й профи дан) и Александра Динерштейна (также 3-й профи дан). Стажировался в го в Корее. В 2010 году был кандидатом в депутаты в городскую думу Казани от КПРФ. В 2014 году закончил Казанский государственный университет. Увлекается музыкой, поэзией, художественной самодеятельностью.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nВопрос: Кто является главой администрации в городе, где родился Илья Валерьевич Шикшин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 398, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15384615384615385, + "em": 0 + }, + "predict": " Уткин мост сливается с рекой Охтой, которая является левым притоком реки Охты.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, через которую построен Уткин мост?", + "support_text": "Уткин мост — пешеходный мост через реку Оккервиль в Красногвардейском районе Санкт-Петербурга.", + "text": "Оккервиль — река на востоке Санкт-Петербурга, левый приток реки Охты, впадающий в неё в 1,8 км выше устья. Не судоходная, движение маломерных судов по реке запрещено.\n\nГеографические сведения.\nВытекает из болот к юго-западу от Колтушских высот. Протекает по Всеволожскому району Ленинградской области, Невскому и Красногвардейскому районам Санкт-Петербурга. Длина — 18 км, ширина — 1,5—25 м, глубина от 0,25 до 0,8 м. В истоках носит название река Чёрная и имеет приток Хумалаев ручей. Система водного объекта: Охта → Нева → Балтийское море. Код объекта в государственном водном реестре — 01040300412102000009100." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 64, + "segment": "Охты" + }, + { + "label": "passage", + "length": 4, + "offset": 64, + "segment": "Охта" + } + ], + "meta": { + "id": 280, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 40, + "segment": "Оккервиль" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, через которую построен Уткин мост?\nТекст 1: Уткин мост — пешеходный мост через реку Оккервиль в Красногвардейском районе Санкт-Петербурга.\nТекст 2: Оккервиль — река на востоке Санкт-Петербурга, левый приток реки Охты, впадающий в неё в 1,8 км выше устья. Не судоходная, движение маломерных судов по реке запрещено.\n\nГеографические сведения.\nВытекает из болот к юго-западу от Колтушских высот. Протекает по Всеволожскому району Ленинградской области, Невскому и Красногвардейскому районам Санкт-Петербурга. Длина — 18 км, ширина — 1,5—25 м, глубина от 0,25 до 0,8 м. В истоках носит название река Чёрная и имеет приток Хумалаев ручей. Система водного объекта: Охта → Нева → Балтийское море. Код объекта в государственном водном реестре — 01040300412102000009100.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 261, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Человек, ответственный за режиссуру фильма \"Кошки против собак 3\", был на свет в Бербанке, Калифорния, США, 9 мая 1962 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где появился на свет человек, ответственный за режиссуру фильма \"Кошки против собак 3\"?", + "support_text": "'Кошки против собак 3' — американский комедийный семейный фильм режиссера Шона Макнамара является продолжением фильма 'Кошки против собак 2', премьера которого состоялась 15 сентября 2020 года. Однако в отличий от первых двух частей он не вышел в прокат а сразу на видео.", + "text": "Шон Макнамара ( род. 9 мая 1962 года, Бербанк, Калифорния, США) — ирландско-американский кинорежиссёр, кинопродюсер, актёр и сценарист. Наиболее известен по фильму Сёрфер души (2011). Сотрудничал с Дэвидом Бруквеллом, Сином Сан Оком, Халком Хоганом, Полом Эндрюсом. В 2016 году Макнамара начал работу над биографическим фильмом о президенте Рональде Рейгане под названием \"Рейган\", выход которого планируется в 2019 году." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 39, + "segment": "Бербанк" + } + ], + "meta": { + "id": 21, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 74, + "segment": "Шона Макнамара" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: 'Кошки против собак 3' — американский комедийный семейный фильм режиссера Шона Макнамара является продолжением фильма 'Кошки против собак 2', премьера которого состоялась 15 сентября 2020 года. Однако в отличий от первых двух частей он не вышел в прокат а сразу на видео.\nТекст 2: Шон Макнамара ( род. 9 мая 1962 года, Бербанк, Калифорния, США) — ирландско-американский кинорежиссёр, кинопродюсер, актёр и сценарист. Наиболее известен по фильму Сёрфер души (2011). Сотрудничал с Дэвидом Бруквеллом, Сином Сан Оком, Халком Хоганом, Полом Эндрюсом. В 2016 году Макнамара начал работу над биографическим фильмом о президенте Рональде Рейгане под названием \"Рейган\", выход которого планируется в 2019 году.\nОпираясь на данные тексты, ответьте на вопрос: Где появился на свет человек, ответственный за режиссуру фильма \"Кошки против собак 3\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большой Юган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Коимлох?", + "support_text": "Коимлох (\"устар.\" Коим-Лых) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 778 км по левому берегу реки Большой Юган. Длина реки составляет 102 км, площадь водосборного бассейна 672 кв км.", + "text": "Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины. Много притоков, из которых наиболее крупным является правый Малый Юган.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Обь" + } + ], + "meta": { + "id": 758, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 131, + "segment": "Большой Юган" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Коимлох (\"устар.\" Коим-Лых) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 778 км по левому берегу реки Большой Юган. Длина реки составляет 102 км, площадь водосборного бассейна 672 кв км.\nТекст 2: Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины. Много притоков, из которых наиболее крупным является правый Малый Юган.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Коимлох?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 339, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Хуанхэ", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Мацюй?", + "support_text": "Мацюй, Мочу или Хэйхэ — река в китайских провинциях Сычуань и Ганьсу, приток Хуанхэ.\n\nГеография.\nОт северных склонов гор Шахабаошань река течёт на северо-восток, образуя границу между уездами Хунъюань и Сунгчу. Далее река поворачивает на северо-запад и течёт сквозь уезд Дзёге. На границе провинций Сычуань и Ганьсу, в районе административного центра уезда Мачу, река впадает в Хуанхэ.", + "text": "Хуанхэ — река в Китае, одна из крупнейших рек Азии. В переводе с китайского языка её название — \"Жёлтая река\", что связано с обилием наносов, придающих желтоватый оттенок её водам. Именно благодаря им море, в которое впадает река, называется Жёлтым. Бассейн Хуанхэ считается местом формирования и становления китайского этноса. Хуанхэ берёт начало в восточной части Тибетского нагорья на высоте свыше 4500 м, протекает через озёра Орин-Нур и Джарин-Нур, отроги горных массивов Куньлунь и Наньшань. При пересечении Ордоса и Лёссового плато в своём среднем течении образует большую излучину, далее через ущелья Шаньсийских гор выходит на Великую Китайскую равнину, по которой течёт около 700 км до впадения в залив Бохайвань Жёлтого моря, формируя в районе впадения дельту. По разным данным длина реки от 4670 км до 5464 км, а площадь её бассейна от 745 тыс. кв км до 771 тыс. кв км. Средний расход воды в реке составляет приблизительно 2000 м³ в секунду.\n\nИстория изменений реки.\nГрязь реки Хуанхэ заблокировала устье реки Хуайхэ, вызвав наводнение, оставила тысячи людей без крова. Жёлтая река заняла своё нынешнее русло в 1897 году, до того ещё раз изменив русло в 1855 году. В настоящее время Хуанхэ протекает через Цзинань, столицу провинции Шаньдун, и впадает в залив Бохайвань, однако восточные очертания реки колебались с севера на юг от полуострова Шаньдун много раз. Русло реки менялось туда и обратно между руслом Хуайхэ и начальным маршрутом реки Хуанхэ несколько раз за последние 700 лет. Дальнейшее накопление иловых отложений было настолько большим, что Хуайхэ была не в состоянии протекать в своем историческом русле после того, как Жёлтая река вернулась к своему северному руслу раз в 1897 году. Зато её воды потекли к озеру Гонцегу, а затем на юг к реке Янцзы." + }, + "outputs": [ + { + "label": "answer", + "length": 28, + "offset": 707, + "segment": "залив Бохайвань Жёлтого моря" + } + ], + "meta": { + "id": 834, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 77, + "segment": "Хуанхэ" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мацюй, Мочу или Хэйхэ — река в китайских провинциях Сычуань и Ганьсу, приток Хуанхэ.\n\nГеография.\nОт северных склонов гор Шахабаошань река течёт на северо-восток, образуя границу между уездами Хунъюань и Сунгчу. Далее река поворачивает на северо-запад и течёт сквозь уезд Дзёге. На границе провинций Сычуань и Ганьсу, в районе административного центра уезда Мачу, река впадает в Хуанхэ.\nТекст 2: Хуанхэ — река в Китае, одна из крупнейших рек Азии. В переводе с китайского языка её название — \"Жёлтая река\", что связано с обилием наносов, придающих желтоватый оттенок её водам. Именно благодаря им море, в которое впадает река, называется Жёлтым. Бассейн Хуанхэ считается местом формирования и становления китайского этноса. Хуанхэ берёт начало в восточной части Тибетского нагорья на высоте свыше 4500 м, протекает через озёра Орин-Нур и Джарин-Нур, отроги горных массивов Куньлунь и Наньшань. При пересечении Ордоса и Лёссового плато в своём среднем течении образует большую излучину, далее через ущелья Шаньсийских гор выходит на Великую Китайскую равнину, по которой течёт около 700 км до впадения в залив Бохайвань Жёлтого моря, формируя в районе впадения дельту. По разным данным длина реки от 4670 км до 5464 км, а площадь её бассейна от 745 тыс. кв км до 771 тыс. кв км. Средний расход воды в реке составляет приблизительно 2000 м³ в секунду.\n\nИстория изменений реки.\nГрязь реки Хуанхэ заблокировала устье реки Хуайхэ, вызвав наводнение, оставила тысячи людей без крова. Жёлтая река заняла своё нынешнее русло в 1897 году, до того ещё раз изменив русло в 1855 году. В настоящее время Хуанхэ протекает через Цзинань, столицу провинции Шаньдун, и впадает в залив Бохайвань, однако восточные очертания реки колебались с севера на юг от полуострова Шаньдун много раз. Русло реки менялось туда и обратно между руслом Хуайхэ и начальным маршрутом реки Хуанхэ несколько раз за последние 700 лет. Дальнейшее накопление иловых отложений было настолько большим, что Хуайхэ была не в состоянии протекать в своем историческом русле после того, как Жёлтая река вернулась к своему северному руслу раз в 1897 году. Зато её воды потекли к озеру Гонцегу, а затем на юг к реке Янцзы.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Мацюй? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 638, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Армен Арамович Киракосян, называется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Армен Арамович Киракосян?", + "support_text": "Армен Арамович Киракосян ( 28 марта 1960, Ереван, Армянская ССР, СССР) — армянский политический и государственный деятель.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 38, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 42, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родился Армен Арамович Киракосян?\nТекст 1: Армен Арамович Киракосян ( 28 марта 1960, Ереван, Армянская ССР, СССР) — армянский политический и государственный деятель.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Тумчу", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Кутуйоки?", + "support_text": "Кутуйоки — река в Мурманской области России. Протекает по территории Кандалакшского района. Левый приток реки Тунтсайоки. Длина реки составляет 27 км. Площадь бассейна 209 кв км. Берёт начало в болотах на западе Кандалакшского района близ озера Коутамолампи. Крупнейшие притоки Якяляоя (справа) и Нудскуоя (справа). Проходит через озёра Пиериума, Суонимаярви и Кутуярви. Впадает в Тунтсайоки справа в 35 км от устья, рядом с селом Алакуртти. Населённых пунктов на реке нет.", + "text": "Тунтсайоки — река в Мурманской области России и Лапландии, Финляндия. Сливаясь с рекой Кутсайоки образует Тумчу. Длина 150 км. Порог Котёл. Берёт начало в лесах Финляндии, близ российско-финляндской границы в горах ." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 87, + "segment": "Кутсайоки" + } + ], + "meta": { + "id": 889, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 110, + "segment": "Тунтсайоки" + }, + { + "label": "passage", + "length": 10, + "offset": 381, + "segment": "Тунтсайоки" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кутуйоки — река в Мурманской области России. Протекает по территории Кандалакшского района. Левый приток реки Тунтсайоки. Длина реки составляет 27 км. Площадь бассейна 209 кв км. Берёт начало в болотах на западе Кандалакшского района близ озера Коутамолампи. Крупнейшие притоки Якяляоя (справа) и Нудскуоя (справа). Проходит через озёра Пиериума, Суонимаярви и Кутуярви. Впадает в Тунтсайоки справа в 35 км от устья, рядом с селом Алакуртти. Населённых пунктов на реке нет.\nТекст 2: Тунтсайоки — река в Мурманской области России и Лапландии, Финляндия. Сливаясь с рекой Кутсайоки образует Тумчу. Длина 150 км. Порог Котёл. Берёт начало в лесах Финляндии, близ российско-финляндской границы в горах .\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Кутуйоки? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 277, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Город, где родилась Людмила Игоревна Михалёва, находится в Шяуляйском районе Литовской Республики.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы расположен город, где родилась Людмила Игоревна Михалёва?", + "support_text": "Людмила Игоревна Михалёва (род. 7 апреля 1971 года) — российский журналист и сценарист, в прошлом корреспондент ТВЦ, член Союза журналистов России. Генеральный директор и главный редактор Пушкинского телевидения.\n\nБиография.\nРодилась в г. Шяуляй (Литовская ССР). Закончила филологический факультет Воронежского государственного университета. Работала в Волгограде в новостях \"Волгоград-ТРВ\".", + "text": "Шяуляй ( , до 1917 года — Шавли, Шавель) — город на севере Литвы, четвёртый по количеству жителей; административный центр Шяуляйского уезда и Шяуляйского района. Крупный промышленный и культурный центр. В городе находятся Шяуляйский университет, Шяуляйский Драматический театр, несколько музеев, в том числе Музей велосипедов, Музей фотографии, Музей радио и телевидения, Музей кошек и краеведческий музей \"Аушра\". Исторический центр города включен в Регистр культурных ценностей Литовской Республики, охраняется государством." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 59, + "segment": "Литвы" + } + ], + "meta": { + "id": 254, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 242, + "segment": "Шяуляй" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Людмила Игоревна Михалёва (род. 7 апреля 1971 года) — российский журналист и сценарист, в прошлом корреспондент ТВЦ, член Союза журналистов России. Генеральный директор и главный редактор Пушкинского телевидения.\n\nБиография.\nРодилась в г. Шяуляй (Литовская ССР). Закончила филологический факультет Воронежского государственного университета. Работала в Волгограде в новостях \"Волгоград-ТРВ\".\nТекст 2: Шяуляй ( , до 1917 года — Шавли, Шавель) — город на севере Литвы, четвёртый по количеству жителей; административный центр Шяуляйского уезда и Шяуляйского района. Крупный промышленный и культурный центр. В городе находятся Шяуляйский университет, Шяуляйский Драматический театр, несколько музеев, в том числе Музей велосипедов, Музей фотографии, Музей радио и телевидения, Музей кошек и краеведческий музей \"Аушра\". Исторический центр города включен в Регистр культурных ценностей Литовской Республики, охраняется государством.\nВопрос: На территории какой административно-территориальной единицы расположен город, где родилась Людмила Игоревна Михалёва?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 273, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2222222222222222, + "em": 0 + }, + "predict": " Луи Жак Бальсан родился в Шатору, Эндр, Франция.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Этьена Бальсана?", + "support_text": "Этьен Бальсан ( 11 февраля 1878, Париж — 1953, там же) — французский конезаводчик и игрок в поло. Помог сделать первые шаги в мире моды Коко Шанель.\n\nБиография.\nЭтьен Бальсан был младшим сыном богатого промышленника Огюста Бальсана (1836—1896), мэра города Шатору. Его семья владела значительным состоянием и крупной текстильной фабрикой, которая среди прочего выполняла военные заказы. Его старший брат Жак Бальсан был воздухоплавателем, одним из пионеров авиации и гидроавиации, ставший в 1921 году вторым супругом богатейшей невесты своего времени Консуэло Вандербильт. Этьен Бальсан. Отказавшись от семейного дела некоторое время служил в кавалерии, но не стал продолжать военную карьеру, чтобы посвятить себя разведению породистых лошадей и скачкам: \"лошади стали его страстью окончательно и бесповоротно, а скачки и подготовка к ним — основным времяпрепровождением\".", + "text": "Луи Жак Бальсан ( 16 сентября 1868, Шатору, Эндр, Франция — 4 ноября 1956, Нью-Йорк, США) — французский лётчик и промышленник, пионер авиации. В 1921 году, в Лондоне, стал вторым супругом американской миллионерши Консуэло Вандербильт, которая развелась со Спенсером Черчиллем, двоюродным братом Уинстона Черчилля .\n\nБиография.\nЖак Бальсан, сын Огюста Бальсана, происходил из династии текстильных промышленников. После приобретения в 1856 году бывшего королевского завода (1751) Шатору, семья Бальсан будет в течение почти столетия производить сукно для пошива различных видов униформы, в том числе и военной. Именно в мастерских Шатору во время Первой мировой Войны была разработана ткань , из которой шили форму французской пехоты в 1915—1921 годах. 7 ноября 1888 года, Бальсан, увлекавшийся верховой ездой и спортом, присоединился ко 2-му гусарскому полку, в Шалон-ан-Марн (в настоящее время — Шалон-ан-Шампань). Выйдя в отставку в 1892 году в чине лейтенанта, он путешествует по свету за счёт средств семьи в поисках шерсти высшего качества (Южная Америка, Австралия, Филиппины и Китай)." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 37, + "segment": "Шатору" + } + ], + "meta": { + "id": 378, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 409, + "segment": "Жак Бальсан" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Этьен Бальсан ( 11 февраля 1878, Париж — 1953, там же) — французский конезаводчик и игрок в поло. Помог сделать первые шаги в мире моды Коко Шанель.\n\nБиография.\nЭтьен Бальсан был младшим сыном богатого промышленника Огюста Бальсана (1836—1896), мэра города Шатору. Его семья владела значительным состоянием и крупной текстильной фабрикой, которая среди прочего выполняла военные заказы. Его старший брат Жак Бальсан был воздухоплавателем, одним из пионеров авиации и гидроавиации, ставший в 1921 году вторым супругом богатейшей невесты своего времени Консуэло Вандербильт. Этьен Бальсан. Отказавшись от семейного дела некоторое время служил в кавалерии, но не стал продолжать военную карьеру, чтобы посвятить себя разведению породистых лошадей и скачкам: \"лошади стали его страстью окончательно и бесповоротно, а скачки и подготовка к ним — основным времяпрепровождением\".\nТекст 2: Луи Жак Бальсан ( 16 сентября 1868, Шатору, Эндр, Франция — 4 ноября 1956, Нью-Йорк, США) — французский лётчик и промышленник, пионер авиации. В 1921 году, в Лондоне, стал вторым супругом американской миллионерши Консуэло Вандербильт, которая развелась со Спенсером Черчиллем, двоюродным братом Уинстона Черчилля .\n\nБиография.\nЖак Бальсан, сын Огюста Бальсана, происходил из династии текстильных промышленников. После приобретения в 1856 году бывшего королевского завода (1751) Шатору, семья Бальсан будет в течение почти столетия производить сукно для пошива различных видов униформы, в том числе и военной. Именно в мастерских Шатору во время Первой мировой Войны была разработана ткань , из которой шили форму французской пехоты в 1915—1921 годах. 7 ноября 1888 года, Бальсан, увлекавшийся верховой ездой и спортом, присоединился ко 2-му гусарскому полку, в Шалон-ан-Марн (в настоящее время — Шалон-ан-Шампань). Выйдя в отставку в 1892 году в чине лейтенанта, он путешествует по свету за счёт средств семьи в поисках шерсти высшего качества (Южная Америка, Австралия, Филиппины и Китай).\nВопрос: Где родился человек, который был братом Этьена Бальсана?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 582, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.125, + "em": 0 + }, + "predict": " Человек, который был братом Тиберия, родился в Риме 16 ноября 42 года до н. э.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Тиберия?", + "support_text": "Тиберий Юлий Цезарь Август ( урождённый Тиберий Клавдий Нерон, , 16 ноября 42 год до н. э.—16 марта 37 года) — второй римский император (с 14 года) из династии Юлиев-Клавдиев. Также великий понтифик (с 15 года), многократный консул (13 и 7 годы до н. э., 18, 21 и 31 годы), многократный трибун (ежегодно с 6 года до н. э. по 37 год, кроме периода с 1 года до н. э. по 3 год н. э.).\n\nПроисхождение.\nТак или иначе, но он развёлся со своей второй женой Скрибонией в тот самый день, когда она родила ему дочь Юлию Старшую. Тогда же Нерон Старший был вынужден развестись с Ливией, которая была на шестом месяце беременности. 14 января 38 года до н. э. у Ливии родился сын — Друз, а через 3 дня Октавиан женился на Ливии. На свадьбе присутствовал её первый муж в качестве отца детей Ливии, а также в качестве посажёного отца невесты. Ходили слухи, что Друз, брат Тиберия, на самом деле ребёнок Октавиана, а не Нерона Старшего. Благодаря второму замужеству своей матери Тиберий стал пасынком самого могущественного человека в Римской империи.", + "text": "Нерон Клавдий Друз Германик (), урожденный Децим Клавдий Друз (), часто — Друз Старший, также упоминается как Децим Клавдий Нерон, Нерон Клавдий Друз, Друз I и Друз Клавдий Нерон (14 января 38 год до н. э. 9 год до н. э.) — римский военачальник, брат императора Тиберия Клавдия. Младший сын Ливии. Отец Германика и императора Клавдия.\n\nСемья и происхождение.\nВ 40 г. до н. э. его семья была вынуждена бежать из Рима, опасаясь проскрипций и преследования со стороны победившего в гражданской войне Октавиана. Сначала Нерон Старший и Ливия устремились на Сицилию, потом спасались в Греции с маленьким Тиберием на руках, родившимся в Риме 16 ноября 42 г. до н. э.. В 39 г. до н. э. Октавиан провозгласил амнистию, и семья смогла вернуться в Рим. В том же году Ливия была представлена Октавиану. Легенда гласит, что Октавиан влюбился в Ливию с первого взгляда. Так или иначе, но он развёлся со своей второй женой Скрибонией в тот самый день, когда она родила ему дочь Юлию Старшую.\n\nКарьера.\nПока Друз мирными методами пытается усмирить недовольных, в Галлию вторгаются германцы, и нападают на несколько римских поселений. Друз выбивает германцев с римских территорий и сам переходит Рейн. Со своими легионами он доходит до Северного моря и обкладывает ежегодной данью фризов. В 11 до н. э. Друз вернулся в Рим, где получил, в награду за свой поход, чин городского претора (\"praetor urbanus\"). Однако Друз не остался в городе и снова уехал в провинции. Весной он снова перешел Рейн и вторгся на территорию германских племен, где дал несколько битв и обложил племена данью. В начале зимы, когда армия Друза возвращалась обратно в Галлию, она была атакована германцами на марше, однако Друз сумел не только перегруппировать силы, но и полностью разбить нападавших." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 415, + "segment": "Рим" + }, + { + "label": "passage", + "length": 3, + "offset": 415, + "segment": "Риме" + } + ], + "meta": { + "id": 813, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 673, + "segment": "Друз" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Где родился человек, который был братом Тиберия?\nТекст 1: Тиберий Юлий Цезарь Август ( урождённый Тиберий Клавдий Нерон, , 16 ноября 42 год до н. э.—16 марта 37 года) — второй римский император (с 14 года) из династии Юлиев-Клавдиев. Также великий понтифик (с 15 года), многократный консул (13 и 7 годы до н. э., 18, 21 и 31 годы), многократный трибун (ежегодно с 6 года до н. э. по 37 год, кроме периода с 1 года до н. э. по 3 год н. э.).\n\nПроисхождение.\nТак или иначе, но он развёлся со своей второй женой Скрибонией в тот самый день, когда она родила ему дочь Юлию Старшую. Тогда же Нерон Старший был вынужден развестись с Ливией, которая была на шестом месяце беременности. 14 января 38 года до н. э. у Ливии родился сын — Друз, а через 3 дня Октавиан женился на Ливии. На свадьбе присутствовал её первый муж в качестве отца детей Ливии, а также в качестве посажёного отца невесты. Ходили слухи, что Друз, брат Тиберия, на самом деле ребёнок Октавиана, а не Нерона Старшего. Благодаря второму замужеству своей матери Тиберий стал пасынком самого могущественного человека в Римской империи.\nТекст 2: Нерон Клавдий Друз Германик (), урожденный Децим Клавдий Друз (), часто — Друз Старший, также упоминается как Децим Клавдий Нерон, Нерон Клавдий Друз, Друз I и Друз Клавдий Нерон (14 января 38 год до н. э. 9 год до н. э.) — римский военачальник, брат императора Тиберия Клавдия. Младший сын Ливии. Отец Германика и императора Клавдия.\n\nСемья и происхождение.\nВ 40 г. до н. э. его семья была вынуждена бежать из Рима, опасаясь проскрипций и преследования со стороны победившего в гражданской войне Октавиана. Сначала Нерон Старший и Ливия устремились на Сицилию, потом спасались в Греции с маленьким Тиберием на руках, родившимся в Риме 16 ноября 42 г. до н. э.. В 39 г. до н. э. Октавиан провозгласил амнистию, и семья смогла вернуться в Рим. В том же году Ливия была представлена Октавиану. Легенда гласит, что Октавиан влюбился в Ливию с первого взгляда. Так или иначе, но он развёлся со своей второй женой Скрибонией в тот самый день, когда она родила ему дочь Юлию Старшую.\n\nКарьера.\nПока Друз мирными методами пытается усмирить недовольных, в Галлию вторгаются германцы, и нападают на несколько римских поселений. Друз выбивает германцев с римских территорий и сам переходит Рейн. Со своими легионами он доходит до Северного моря и обкладывает ежегодной данью фризов. В 11 до н. э. Друз вернулся в Рим, где получил, в награду за свой поход, чин городского претора (\"praetor urbanus\"). Однако Друз не остался в городе и снова уехал в провинции. Весной он снова перешел Рейн и вторгся на территорию германских племен, где дал несколько битв и обложил племена данью. В начале зимы, когда армия Друза возвращалась обратно в Галлию, она была атакована германцами на марше, однако Друз сумел не только перегруппировать силы, но и полностью разбить нападавших.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 829, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Григорий Миргарифанович Шафигулин?", + "support_text": "Григорий Миргарифанович Шафигулин (род. 13 января 1985, Челябинск, СССР) — российский хоккеист, центральный нападающий.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 878, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 878, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 498, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 56, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Григорий Миргарифанович Шафигулин (род. 13 января 1985, Челябинск, СССР) — российский хоккеист, центральный нападающий.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Григорий Миргарифанович Шафигулин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 375, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.06666666666666667, + "em": 0 + }, + "predict": " Топозеро. \n\nОбъяснение: В тексте 2 упоминается, что Кизрека протекает через озёра Ладваярви, Кайсляярви, Вирталампи и Майноярви, а в итоге впадает в Топозеро. В тексте 1 Улма протекает через оз", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Улма?", + "support_text": "Улма — река в России, протекает по Калевальскому району Республике Карелия. Река берёт начало из болота в трёх километрах западнее озера \"Хутарилампи\". В верхнем течении протекает через озёра Хутарилампи и Хутариярви. Течёт на север, устье реки находится в 25 км по правому берегу Кизреки. Высота устья — 137,6 м над уровнем моря. Протекает вдали от населённых пунктов.\n\nПримечания.\nКатегория:Бассейн Кизреки.", + "text": "Кизрека — река в России, протекает на севере Карелии, на границе Калевальского и Лоухского районов. Исток — озеро Оулулампи. Высота истока — 200,4 м над уровнем моря. Протекает через озёра Ладваярви, Кайсляярви, Вирталампи и Майноярви. Впадает в Топозеро на высоте 109,5 м над уровнем моря. Длина реки — 39 км, площадь водосборного бассейна — 373 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Баренцево-Беломорскому бассейновому округу, водохозяйственный участок реки — Ковда от истока до Кумского гидроузла, включая озёра Пяозеро, Топозеро. Речной бассейн реки — бассейны рек Кольского полуострова и Карелии, впадает в Белое море." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 246, + "segment": "Топозеро" + } + ], + "meta": { + "id": 675, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 281, + "segment": "Кизреки" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Улма — река в России, протекает по Калевальскому району Республике Карелия. Река берёт начало из болота в трёх километрах западнее озера \"Хутарилампи\". В верхнем течении протекает через озёра Хутарилампи и Хутариярви. Течёт на север, устье реки находится в 25 км по правому берегу Кизреки. Высота устья — 137,6 м над уровнем моря. Протекает вдали от населённых пунктов.\n\nПримечания.\nКатегория:Бассейн Кизреки.\nТекст 2: Кизрека — река в России, протекает на севере Карелии, на границе Калевальского и Лоухского районов. Исток — озеро Оулулампи. Высота истока — 200,4 м над уровнем моря. Протекает через озёра Ладваярви, Кайсляярви, Вирталампи и Майноярви. Впадает в Топозеро на высоте 109,5 м над уровнем моря. Длина реки — 39 км, площадь водосборного бассейна — 373 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Баренцево-Беломорскому бассейновому округу, водохозяйственный участок реки — Ковда от истока до Кумского гидроузла, включая озёра Пяозеро, Топозеро. Речной бассейн реки — бассейны рек Кольского полуострова и Карелии, впадает в Белое море.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Улма?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 366, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Северная Национальная лига", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, которую тренирует Говард Уилкинсон?", + "support_text": "Говард Уилкинсон ( 15 сентября 1943) — английский футболист и футбольный тренер.\n\nТренерская карьера.\nТренерская карьера Уилкинсона началась в любительском клубе \"Бостон Юнайтед\", где он был играющим тренером. Под его руководством клуб победил в Северной премьер-лиге (7-й дивизион британского футбола).", + "text": "'Бостон Юнайтед' — футбольный клуб, базирующийся в Бостоне, графство Линкольншир, Англия. Клуб выступает в Северной Национальной лиге, что соответствует 6 дивизиону английского чемпионата. В сезоне 2009/10 победил в плей-офф Премьер дивизиона Северной Премьер-лиги и вышел в Северную Конференцию. Прозвище клуба 'Пилигримы', что является отсылкой к Отцам-пилигримам." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 107, + "segment": "Северной Национальной лиге" + } + ], + "meta": { + "id": 322, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 167, + "segment": "Бостон Юнайтед" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Говард Уилкинсон ( 15 сентября 1943) — английский футболист и футбольный тренер.\n\nТренерская карьера.\nТренерская карьера Уилкинсона началась в любительском клубе \"Бостон Юнайтед\", где он был играющим тренером. Под его руководством клуб победил в Северной премьер-лиге (7-й дивизион британского футбола).\nТекст 2: 'Бостон Юнайтед' — футбольный клуб, базирующийся в Бостоне, графство Линкольншир, Англия. Клуб выступает в Северной Национальной лиге, что соответствует 6 дивизиону английского чемпионата. В сезоне 2009/10 победил в плей-офф Премьер дивизиона Северной Премьер-лиги и вышел в Северную Конференцию. Прозвище клуба 'Пилигримы', что является отсылкой к Отцам-пилигримам.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какой лиге играет команда, которую тренирует Говард Уилкинсон? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Ара Акопович Саакян, называется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Ара Акопович Саакян?", + "support_text": "Ара Акопович Саакян ( 1 января 1955, Ереван) — бывший вице-спикер парламента Армении. 1975—1980 — факультет философии Ереванского государственного университета. 1980—1988 — научный редактор в главной редакции армянской энциклопедии.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 37, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 37, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Ара Акопович Саакян ( 1 января 1955, Ереван) — бывший вице-спикер парламента Армении. 1975—1980 — факультет философии Ереванского государственного университета. 1980—1988 — научный редактор в главной редакции армянской энциклопедии.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Ара Акопович Саакян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Руслан Николаевич Кухарук является главой администрации в городе Тюмени, где родился Юрий Александрович Гуляев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Юрий Александрович Гуляев?", + "support_text": "Юрий Александрович Гуляев ( ) — советский, украинский и российский эстрадный и оперный певец (баритон), композитор. Народный артист СССР (1968).\n\nБиография.\nРодился 9 августа 1930 года (по другим источникам — 9 сентября) в Тюмени (Россия). Большое влияние на музыкальные способности Юрия оказала его мама, Вера Фёдоровна, которая знала и любила музыку, сама хорошо пела. С детства заучивал песни и романсы с пластинок с записями Ляли Чёрной, Вари Паниной, Тамары Церетели и Сергея Лемешева. Учился в музыкальной школе по классу баяна.\n\nНаграды и звания.\nГосударственная премия СССР (1975) — за концертные программы (1971—1973). Орден Трудового Красного Знамени (1971). Орден Дружбы народов (1975). Почётный гражданин Тюмени (2005).", + "text": "Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре. Образует муниципальное образование \"город Тюмень\" со статусом городского округа как единственный населённый пункт в его составе. Первый русский острог в Сибири.\n\nАдминистративное деление.\nОрганы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 567, + "segment": "Руслан Николаевич Кухарук" + } + ], + "meta": { + "id": 224, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 227, + "segment": "Тюмени" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Юрий Александрович Гуляев ( ) — советский, украинский и российский эстрадный и оперный певец (баритон), композитор. Народный артист СССР (1968).\n\nБиография.\nРодился 9 августа 1930 года (по другим источникам — 9 сентября) в Тюмени (Россия). Большое влияние на музыкальные способности Юрия оказала его мама, Вера Фёдоровна, которая знала и любила музыку, сама хорошо пела. С детства заучивал песни и романсы с пластинок с записями Ляли Чёрной, Вари Паниной, Тамары Церетели и Сергея Лемешева. Учился в музыкальной школе по классу баяна.\n\nНаграды и звания.\nГосударственная премия СССР (1975) — за концертные программы (1971—1973). Орден Трудового Красного Знамени (1971). Орден Дружбы народов (1975). Почётный гражданин Тюмени (2005).\nТекст 2: Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре. Образует муниципальное образование \"город Тюмень\" со статусом городского округа как единственный населённый пункт в его составе. Первый русский острог в Сибири.\n\nАдминистративное деление.\nОрганы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный.\nВопрос: Кто является главой администрации в городе, где родился Юрий Александрович Гуляев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 407, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.47058823529411764, + "em": 0 + }, + "predict": " Законодательный орган в стране гражданства Одила Алимжановича Ахмедова — Олий Мажлис Республики Узбекистан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Одила Алимжановича Ахмедова?", + "support_text": "Одил Алимжанович Ахмедов ( 25 ноября 1987, Наманган, Узбекская ССР, СССР) — узбекистанский футболист, полузащитник, капитан сборной Узбекистана.\n\nКарьера.\nОтборочные матчи ЧМ-2010. 2. . . 14 июня 2008 . МХСК, Ташкент, Узбекистан . 1-0 . 2-2 . Кубок Азии 2011. 7. . . 15 ноября 2011 . Пахтакор, Ташкент, Узбекистан . 2-0 .", + "text": "Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством. Столица — Ташкент.\n\nПолитическое устройство.\nСогласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан." + }, + "outputs": [ + { + "label": "passage", + "length": 33, + "offset": 356, + "segment": "Олий Мажлис Республики Узбекистан" + } + ], + "meta": { + "id": 728, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 54, + "segment": "Узбекская" + }, + { + "label": "passage", + "length": 11, + "offset": 133, + "segment": "Узбекистана" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за законодательный орган работает в стране гражданства Одила Алимжановича Ахмедова?\nТекст 1: Одил Алимжанович Ахмедов ( 25 ноября 1987, Наманган, Узбекская ССР, СССР) — узбекистанский футболист, полузащитник, капитан сборной Узбекистана.\n\nКарьера.\nОтборочные матчи ЧМ-2010. 2. . . 14 июня 2008 . МХСК, Ташкент, Узбекистан . 1-0 . 2-2 . Кубок Азии 2011. 7. . . 15 ноября 2011 . Пахтакор, Ташкент, Узбекистан . 2-0 .\nТекст 2: Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством. Столица — Ташкент.\n\nПолитическое устройство.\nСогласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 354, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2222222222222222, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе, где родился Павел Михайлович Харчик, то есть в Душанбе.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Павел Михайлович Харчик?", + "support_text": "Павел Михайлович Харчик ( 5 апреля 1979, Душанбе, СССР) — туркменский и российский футболист, вратарь.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 212, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 42, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Павел Михайлович Харчик?\nТекст 1: Павел Михайлович Харчик ( 5 апреля 1979, Душанбе, СССР) — туркменский и российский футболист, вратарь.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " С рекой Сысола.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Чугрим?", + "support_text": "Чугрим — река в России, течет по территории Койгородского района Республики Коми. Устье реки находится в 20 км по правому берегу реки Кажим. Длина реки составляет 17 км.", + "text": "Кажым или Кажим (устар. \"Кежим\", \"Кажилья\") — река в России, течет по территории Койгородского района Республики Коми. Устье реки находится в 385 км по правому берегу реки Сысола. Длина реки составляет 68 км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 172, + "segment": "Сысола" + } + ], + "meta": { + "id": 635, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 134, + "segment": "Кажим" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Чугрим — река в России, течет по территории Койгородского района Республики Коми. Устье реки находится в 20 км по правому берегу реки Кажим. Длина реки составляет 17 км.\nТекст 2: Кажым или Кажим (устар. \"Кежим\", \"Кажилья\") — река в России, течет по территории Койгородского района Республики Коми. Устье реки находится в 385 км по правому берегу реки Сысола. Длина реки составляет 68 км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Чугрим?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2727272727272727, + "em": 0 + }, + "predict": " Юрий Владимирович Галдун является главой администрации в Белгороде, где родился Юрий Николаевич Васильев (1949 — 23 июля 2014, Белгород).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в месте, где родился Юрий Николаевич Васильев (футболист)?", + "support_text": "Юрий Николаевич Васильев (1949 — 23 июля 2014, Белгород) — советский футболист, нападающий, лучший бомбардир в истории белгородского \"Салюта\", мастер спорта СССР (1968).", + "text": "Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной. Город областного значения, образует муниципальное образование \"город Белгород\" со статусом городского округа.\n\nАдминистративное устройство.\n1994—2001 Георгий Георгиевич Голиков. 2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун. В декабре 2009 года мэр Белгорода Василий Николаевич Потрясаев занял 2-е место в номинации \"Лучший глава местной администрации\" на ежегодном конкурсе \"Лучшее муниципальное образование\"." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 585, + "segment": "Юрий Владимирович Галдун" + } + ], + "meta": { + "id": 241, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 47, + "segment": "Белгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в месте, где родился Юрий Николаевич Васильев (футболист)?\nТекст 1: Юрий Николаевич Васильев (1949 — 23 июля 2014, Белгород) — советский футболист, нападающий, лучший бомбардир в истории белгородского \"Салюта\", мастер спорта СССР (1968).\nТекст 2: Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной. Город областного значения, образует муниципальное образование \"город Белгород\" со статусом городского округа.\n\nАдминистративное устройство.\n1994—2001 Георгий Георгиевич Голиков. 2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун. В декабре 2009 года мэр Белгорода Василий Николаевич Потрясаев занял 2-е место в номинации \"Лучший глава местной администрации\" на ежегодном конкурсе \"Лучшее муниципальное образование\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 300, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Самвел Мисакович Баласанян является главой администрации в городе Гюмри, где родилась Евгения Михайловна Аветисян.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Евгения Михайловна Аветисян?", + "support_text": "Евгения Михайловна Аветисян (1923—2011) — советская и армянская учёная-палинолог, ученица Армена Леоновича Тахтаджяна.\n\nБиография.\nРодилась в городе Александрополь (впоследствии — Ленинакан, ныне — Гюмри) 15 июля 1923 года в семье мастерового. С 1940 года Евгения училась на биологическом факультете Ереванского государственного университета, с 1944 года работала лаборантом в секторе эволюционной морфологии и палеоботаники Института ботаники АН Армении, организованном А. Л. Тахтаджяном.", + "text": "Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nАдамян, Левон Бабкенович (1992—1994). Варданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 534, + "segment": "Баласанян, Самвел Мисакович" + }, + { + "label": "passage", + "length": 27, + "offset": 534, + "segment": "Самвел Мисакович Баласанян" + } + ], + "meta": { + "id": 152, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 201, + "segment": "Гюмри" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Евгения Михайловна Аветисян (1923—2011) — советская и армянская учёная-палинолог, ученица Армена Леоновича Тахтаджяна.\n\nБиография.\nРодилась в городе Александрополь (впоследствии — Ленинакан, ныне — Гюмри) 15 июля 1923 года в семье мастерового. С 1940 года Евгения училась на биологическом факультете Ереванского государственного университета, с 1944 года работала лаборантом в секторе эволюционной морфологии и палеоботаники Института ботаники АН Армении, организованном А. Л. Тахтаджяном.\nТекст 2: Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nАдамян, Левон Бабкенович (1992—1994). Варданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012).\nВопрос: Кто является главой администрации в городе, где родилась Евгения Михайловна Аветисян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 384, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Шереньга впадает в реку Вага, которая является крупнейшим левым притоком Северной Двины.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Шереньга?", + "support_text": "Шереньга — река в Вельском и Шенкурском районах Архангельской области Российской Федерации, правый приток реки Вага (бассейн Северной Двины). Длина реки — 92 км, площадь водосборного бассейна — 581 кв км. Питание смешанное, с преобладанием снегового. Замерзает в октябре — ноябре, вскрывается в апреле — начале мая.\n\nДанные водного реестра.\nБассейновый округ — Двинско-Печорский. Речной бассейн — Северная Двина. Речной подбассейн — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Водохозяйственный участок — Вага. Притоки. Вамшереньга. Кастровка.", + "text": "Вага — река в Вологодской и Архангельской областях России, крупнейший левый приток Северной Двины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 83, + "segment": "Северной Двины" + }, + { + "label": "passage", + "length": 14, + "offset": 83, + "segment": "Северная Двина" + } + ], + "meta": { + "id": 636, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 111, + "segment": "Вага" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Шереньга — река в Вельском и Шенкурском районах Архангельской области Российской Федерации, правый приток реки Вага (бассейн Северной Двины). Длина реки — 92 км, площадь водосборного бассейна — 581 кв км. Питание смешанное, с преобладанием снегового. Замерзает в октябре — ноябре, вскрывается в апреле — начале мая.\n\nДанные водного реестра.\nБассейновый округ — Двинско-Печорский. Речной бассейн — Северная Двина. Речной подбассейн — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Водохозяйственный участок — Вага. Притоки. Вамшереньга. Кастровка.\nТекст 2: Вага — река в Вологодской и Архангельской областях России, крупнейший левый приток Северной Двины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина.\nВопрос: С какой рекой сливается река, в которую впадает Шереньга?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 271, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Лаша Комахидзе", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Фёдор Николаевич Юрчихин?", + "support_text": "Фёдор Николаевич Юрчихин (род. Батуми, Грузинская ССР, СССР) — российский космонавт (423-й космонавт мира и 98-й космонавт России). Герой Российской Федерации, лётчик-космонавт Российской Федерации.\n\nБиография.\nРодился в городе Батуми Аджарской АССР. Его родители — Николай Фёдорович и Микрула Софокловна — по национальности понтийские греки, в настоящее время проживают в районе Синдос города Салоники (Греция).", + "text": "Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария. Образует муниципалитет Батуми и является главным туристическим центром современной Грузии. Сегодня Батуми является важнейшим культурным, экономическим и туристическим центром Грузии.\n\nОрганы власти.\nАбашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 516, + "segment": "Лаша Комахидзе" + } + ], + "meta": { + "id": 539, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 31, + "segment": "Батуми" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Фёдор Николаевич Юрчихин (род. Батуми, Грузинская ССР, СССР) — российский космонавт (423-й космонавт мира и 98-й космонавт России). Герой Российской Федерации, лётчик-космонавт Российской Федерации.\n\nБиография.\nРодился в городе Батуми Аджарской АССР. Его родители — Николай Фёдорович и Микрула Софокловна — по национальности понтийские греки, в настоящее время проживают в районе Синдос города Салоники (Греция).\nТекст 2: Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария. Образует муниципалитет Батуми и является главным туристическим центром современной Грузии. Сегодня Батуми является важнейшим культурным, экономическим и туристическим центром Грузии.\n\nОрганы власти.\nАбашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Фёдор Николаевич Юрчихин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.048780487804878044, + "em": 0 + }, + "predict": " Глава государства, ставшим местом смерти Ивана Степановича Бароцци, занимал титул Императора Всероссийский. Иван Степанович Бароцци умер в 1822 году, что совпадает с периодом существования Российской империи, когда титул Императора был присвоен Петром I в 1721 году и сохранялся до", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимал глава государства, ставшего местом смерти Ивана Степановича Бароцци?", + "support_text": "Иван Степанович (Иван Францевич; Джованни) Бароцци (Barozzi) (1760—1822) — российский , .", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + } + ], + "meta": { + "id": 286, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 75, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за должность занимал глава государства, ставшего местом смерти Ивана Степановича Бароцци?\nТекст 1: Иван Степанович (Иван Францевич; Джованни) Бароцци (Barozzi) (1760—1822) — российский , .\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 267, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереван", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где скончался режиссёр фильма \"Тигры полосатые\"?", + "support_text": "'Тигры полосатые' — советский мультипликационный фильм года.\n\nСоздатели.\nРежиссёры-постановщики и художники — Валентин Подпомогов и Рафаэль Бабаян.", + "text": "Валентин Георгиевич Подпомогов (29 апреля 1924, Ереван — 18 июля 1998, там же) — советский художник-постановщик игрового и мультипликационного кино, художник-живописец, заслуженный художник Армянской ССР (1966), член КПСС с 1968 года." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 48, + "segment": "Ереван" + } + ], + "meta": { + "id": 380, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 114, + "segment": "Валентин Подпомогов" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Тигры полосатые' — советский мультипликационный фильм года.\n\nСоздатели.\nРежиссёры-постановщики и художники — Валентин Подпомогов и Рафаэль Бабаян.\nТекст 2: Валентин Георгиевич Подпомогов (29 апреля 1924, Ереван — 18 июля 1998, там же) — советский художник-постановщик игрового и мультипликационного кино, художник-живописец, заслуженный художник Армянской ССР (1966), член КПСС с 1968 года.\nОпираясь на данные тексты, ответьте на вопрос: Где скончался режиссёр фильма \"Тигры полосатые\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Наивысшей точкой горного хребта, к которому принадлежит Холзун, является гора Белуха, расположенная наивысшей точкой Алтайских гор, достигающей высоты 4506 метров.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое место является наивысшей точкой горного хребта, к которому принадлежит Холзун?", + "support_text": "Холзун — горный хребет на западе Алтая. По нему проходит государственная граница между Казахстаном (Восточно-Казахстанская область) и Россией (Республика Алтай).", + "text": "Алтайские горы, или Алтай ( алт. Туулу Алтай — горный Алтай, , , ) — горная система в Азии, на юге Сибири и в Центральной Азии, состоящая из высокогорных и среднегорных хребтов, разделённых глубокими долинами рек и обширными внутригорными и межгорными котловинами. На севере и северо-западе граничит с Западно-Сибирской равниной, на западе отделён от Казахского мелкосопочника долиной реки Иртыш, на юге — с Джунгарской равниной, на юго-востоке — с пустыней Гоби, на востоке — с Долиной Больших Озёр, на северо-востоке — с горами Южной Тувы и Западным Саяном. Горная система расположена на границе России (Алтайский край, Республика Тыва и Республика Алтай), Монголии (Баян-Ульгийский и Ховдский аймаки), Китая (Синцзян-Уйгурский автономный район) и Казахстана (Восточно-Казахстанская область). Алтайские горы являются водоразделом между бассейном Северного Ледовитого океана и бессточной областью Центральной Азии. Наивысшая точка — гора Белуха (4506 м). Алтайский, Катунский заповедники и плоскогорье Укок в совокупности образуют объект Всемирного наследия ЮНЕСКО \"Золотые горы Алтая\".\n\nОсобо охраняемые природные территории.\nОхранная полоса вокруг Телецкого озера,. Катунский заповедник,. Природный парк Белуха,. Зона покоя Укок." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 939, + "segment": "Белуха" + }, + { + "label": "passage", + "length": 11, + "offset": 934, + "segment": "гора Белуха" + } + ], + "meta": { + "id": 1000, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 33, + "segment": "Алтая" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Холзун — горный хребет на западе Алтая. По нему проходит государственная граница между Казахстаном (Восточно-Казахстанская область) и Россией (Республика Алтай).\nТекст 2: Алтайские горы, или Алтай ( алт. Туулу Алтай — горный Алтай, , , ) — горная система в Азии, на юге Сибири и в Центральной Азии, состоящая из высокогорных и среднегорных хребтов, разделённых глубокими долинами рек и обширными внутригорными и межгорными котловинами. На севере и северо-западе граничит с Западно-Сибирской равниной, на западе отделён от Казахского мелкосопочника долиной реки Иртыш, на юге — с Джунгарской равниной, на юго-востоке — с пустыней Гоби, на востоке — с Долиной Больших Озёр, на северо-востоке — с горами Южной Тувы и Западным Саяном. Горная система расположена на границе России (Алтайский край, Республика Тыва и Республика Алтай), Монголии (Баян-Ульгийский и Ховдский аймаки), Китая (Синцзян-Уйгурский автономный район) и Казахстана (Восточно-Казахстанская область). Алтайские горы являются водоразделом между бассейном Северного Ледовитого океана и бессточной областью Центральной Азии. Наивысшая точка — гора Белуха (4506 м). Алтайский, Катунский заповедники и плоскогорье Укок в совокупности образуют объект Всемирного наследия ЮНЕСКО \"Золотые горы Алтая\".\n\nОсобо охраняемые природные территории.\nОхранная полоса вокруг Телецкого озера,. Катунский заповедник,. Природный парк Белуха,. Зона покоя Укок.\nВопрос: Какое место является наивысшей точкой горного хребта, к которому принадлежит Холзун?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 410, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Горловский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Юрий Анатольевич Коровянский?", + "support_text": "Юрий Анатольевич Коровянский (30 сентября 1967, Горловка, Донецкая область, УССР - 8 марта 2017) — советский и украинский волейболист, игрок сборных СССР, СНГ (1991—1992) и Украины (1993—2005). Чемпион Европы 1991, обладатель Кубка мира 1991, чемпион СНГ 1992. Нападающий. Мастер спорта международного класса (1991). Рост 195 см. . Начал заниматься волейболом в Горловке. Первый тренер — В. И. Петляков.", + "text": "Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 303, + "segment": "Горловский городской совет" + } + ], + "meta": { + "id": 731, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 48, + "segment": "Горловка" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Юрий Анатольевич Коровянский (30 сентября 1967, Горловка, Донецкая область, УССР - 8 марта 2017) — советский и украинский волейболист, игрок сборных СССР, СНГ (1991—1992) и Украины (1993—2005). Чемпион Европы 1991, обладатель Кубка мира 1991, чемпион СНГ 1992. Нападающий. Мастер спорта международного класса (1991). Рост 195 см. . Начал заниматься волейболом в Горловке. Первый тренер — В. И. Петляков.\nТекст 2: Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Юрий Анатольевич Коровянский? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 304, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15384615384615385, + "em": 0 + }, + "predict": " Сай Эндфилд, режиссёр фильма \"Звук ярости\", родился в городе Скрантон, штат Пенсильвания.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уроженцем какого города является режиссёр фильма \"Звук ярости\"?", + "support_text": "'Звук ярости' (), также известный как 'Попробуй достать меня!' — фильм нуар режиссёра Сая Эндфилда, вышедший на экраны в 1950 году. Фильм поставлен по сценарию Джо Пагано, который тот написал на основе своего романа 'Приговорённые' (1947), построенного вокруг реального события, случившегося 26 ноября 1933 года, когда два человека были арестованы в Сан-Хосе, Калифорния, за похищение и убийство человека. Подозреваемые сознались, после чего, не дожидаясь суда, их повесила линчующая местная толпа. Пагано говорил, что в сценарии (и в фильме) реальные события изложены даже точнее, чем в романе. Эндфилд проводил съёмки на натуре в Фениксе, Аризона, 'чтобы достоверно передать суету и провинциализм среднего американского города'.", + "text": "Сай Эндфилд ( имя при рождении — \"Cyril Raker Endfield\") (10 ноября 1914 года — 16 апреля 1995 года) — американский сценарист, кинорежиссёр, театральный режиссёр, писатель, иллюзионист и изобретатель, с 1953 года проживавший в Великобритании. Работу Эндфилда в качестве режиссёра можно разделить на его голливудские фильмы (1944-51), которые он снимал под именем Сайрил Эндфилд, и британские фильмы (1953-59), которые он поставил или был \"руководителем постановки\" под именем Си. Рэйкер Эндфилд или под различными другими псевдонимами. В фильмах после 1960 года он указывал своё имя как Сай Эндфилд.\n\nРанние годы.\nСай Эндфилд родился 10 ноября 1914 года в Скрантоне, штат Пенсильвания, в семье обедневшего бизнесмена. С детства он обожал фокусы и великолепно умел их исполнять. В 1933 году Эндфилд поступил в Йельский университет. Во время учёбы Эндфилд увлёкся прогрессивным театром и в 1934 году впервые вышел на сцену в студенческом спектакле." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 659, + "segment": "Скрантоне" + }, + { + "label": "passage", + "length": 9, + "offset": 659, + "segment": "Скрантон" + } + ], + "meta": { + "id": 642, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 86, + "segment": "Сая Эндфилда" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Уроженцем какого города является режиссёр фильма \"Звук ярости\"?\nТекст 1: 'Звук ярости' (), также известный как 'Попробуй достать меня!' — фильм нуар режиссёра Сая Эндфилда, вышедший на экраны в 1950 году. Фильм поставлен по сценарию Джо Пагано, который тот написал на основе своего романа 'Приговорённые' (1947), построенного вокруг реального события, случившегося 26 ноября 1933 года, когда два человека были арестованы в Сан-Хосе, Калифорния, за похищение и убийство человека. Подозреваемые сознались, после чего, не дожидаясь суда, их повесила линчующая местная толпа. Пагано говорил, что в сценарии (и в фильме) реальные события изложены даже точнее, чем в романе. Эндфилд проводил съёмки на натуре в Фениксе, Аризона, 'чтобы достоверно передать суету и провинциализм среднего американского города'.\nТекст 2: Сай Эндфилд ( имя при рождении — \"Cyril Raker Endfield\") (10 ноября 1914 года — 16 апреля 1995 года) — американский сценарист, кинорежиссёр, театральный режиссёр, писатель, иллюзионист и изобретатель, с 1953 года проживавший в Великобритании. Работу Эндфилда в качестве режиссёра можно разделить на его голливудские фильмы (1944-51), которые он снимал под именем Сайрил Эндфилд, и британские фильмы (1953-59), которые он поставил или был \"руководителем постановки\" под именем Си. Рэйкер Эндфилд или под различными другими псевдонимами. В фильмах после 1960 года он указывал своё имя как Сай Эндфилд.\n\nРанние годы.\nСай Эндфилд родился 10 ноября 1914 года в Скрантоне, штат Пенсильвания, в семье обедневшего бизнесмена. С детства он обожал фокусы и великолепно умел их исполнять. В 1933 году Эндфилд поступил в Йельский университет. Во время учёбы Эндфилд увлёкся прогрессивным театром и в 1934 году впервые вышел на сцену в студенческом спектакле.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 506, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Шилея сливается с рекой Уфалейка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большая Шилея?", + "support_text": "Большая Шилея — река в России, протекает по Челябинской области. Устье реки находится в 36 км по левому берегу реки Уфалейка. Длина реки составляет 14 км.", + "text": "Уфалейка — река в России, правый приток реки Уфы, протекает в Челябинской области. Длина реки составляет 70 км, площадь водосборного бассейна 910 кв км. Первые упоминания о реке Уфалейке и эксплуатация реки как торгового пути происходит в 1766 году.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от истока до Долгобродского гидроузла, речной подбассейн реки — Белая. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 45, + "segment": "Уфы" + }, + { + "label": "passage", + "length": 3, + "offset": 45, + "segment": "Уфа" + } + ], + "meta": { + "id": 262, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 116, + "segment": "Уфалейка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Большая Шилея?\nТекст 1: Большая Шилея — река в России, протекает по Челябинской области. Устье реки находится в 36 км по левому берегу реки Уфалейка. Длина реки составляет 14 км.\nТекст 2: Уфалейка — река в России, правый приток реки Уфы, протекает в Челябинской области. Длина реки составляет 70 км, площадь водосборного бассейна 910 кв км. Первые упоминания о реке Уфалейке и эксплуатация реки как торгового пути происходит в 1766 году.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от истока до Долгобродского гидроузла, речной подбассейн реки — Белая. Речной бассейн реки — Кама.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Катунью", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Ульмень?", + "support_text": "Ульмень — река в России, протекает в Турочакском районе Республики Алтай. Устье реки находится в 194 км по правому берегу реки Бия, в селе Дмитриевка. Длина реки составляет 48 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Бия, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.", + "text": "Бия (от самод. \"би\" — \"вода\", : \"бий\" — \"господин\", \"суу\" — \"вода\") — крупная река в Республике Алтай и Алтайском крае России, правая составляющая Оби (левая — Катунь).\n\nГеография.\nБассейны Катуни и Бии. Длина — 301 км, площадь бассейна — 37 000 кв км. Вытекает из Телецкого озера и, сливаясь с Катунью, образует реку Обь. Вода на участке от Телецкого озера до впадения Сарыкокши прозрачная и холодная (10-15 °C), однако в нижнем течении существенно прогревается. Река используется туристами для сплавов, категория сложности II (для байдарок и катамаранов), на участке от истока до Верх-Бийска имеется несколько порогов с валами до 1 м и выше. Основные пороги: Юрток, Пыжинский, Кебезенский, Сарыкокшинский, порог Кипяток в селе Турочак." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 147, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 147, + "segment": "Обь" + } + ], + "meta": { + "id": 630, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 127, + "segment": "Бия" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ульмень — река в России, протекает в Турочакском районе Республики Алтай. Устье реки находится в 194 км по правому берегу реки Бия, в селе Дмитриевка. Длина реки составляет 48 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Бия, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nТекст 2: Бия (от самод. \"би\" — \"вода\", : \"бий\" — \"господин\", \"суу\" — \"вода\") — крупная река в Республике Алтай и Алтайском крае России, правая составляющая Оби (левая — Катунь).\n\nГеография.\nБассейны Катуни и Бии. Длина — 301 км, площадь бассейна — 37 000 кв км. Вытекает из Телецкого озера и, сливаясь с Катунью, образует реку Обь. Вода на участке от Телецкого озера до впадения Сарыкокши прозрачная и холодная (10-15 °C), однако в нижнем течении существенно прогревается. Река используется туристами для сплавов, категория сложности II (для байдарок и катамаранов), на участке от истока до Верх-Бийска имеется несколько порогов с валами до 1 м и выше. Основные пороги: Юрток, Пыжинский, Кебезенский, Сарыкокшинский, порог Кипяток в селе Турочак.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Ульмень? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 398, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Енисей", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Верхняя Подъёмная?", + "support_text": "Верхняя Подъёмная (в низовье Подъёмная) — река в Большемуртинском районе Красноярского края, левый приток Енисея (на 2298-м км). Длина — 88 км, площадь бассейна 1330 кв км.", + "text": "Енисей (нен. \"Ензя’ ям’\", эвенк. \"Ионэси\", южноселькупск.\n\nГеография.\nРусло утрачивает нормальный вид в месте впадения реки Енисей в Енисейский залив в створе, проходящем через устье протоки Фунтусова (точка с координатами 69°36′40″ с. ш., 84°32′40″ в. д.) и мыс Крестовский. Ниже этого створа начинается расширение Енисейского залива с пойменной (слева) и островной (справа) многорукавностью: ниже посёлка Усть-Порт расположена собственно дельта Енисея, выдвинувшаяся в залив в виде сочетания рукавов и проток с осерёдками и пойменными массивами — вплоть до 71-й параллели, где ширина залива увеличивается до 44 км. В дельте также отмечен промывной режим. Бреховскими островами Енисейский залив делится на множество проток, из которых выделяются четыре основные рукава: \"Охотский Енисей\", \"Каменный Енисей\", \"Большой Енисей\" и \"Малый Енисей\"; общая ширина залива здесь составляет 50 км. Ниже по течению Енисейский залив Карского моря принимает форму эстуария." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 136, + "segment": "Енисейский залив" + } + ], + "meta": { + "id": 336, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 106, + "segment": "Енисея" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Верхняя Подъёмная (в низовье Подъёмная) — река в Большемуртинском районе Красноярского края, левый приток Енисея (на 2298-м км). Длина — 88 км, площадь бассейна 1330 кв км.\nТекст 2: Енисей (нен. \"Ензя’ ям’\", эвенк. \"Ионэси\", южноселькупск.\n\nГеография.\nРусло утрачивает нормальный вид в месте впадения реки Енисей в Енисейский залив в створе, проходящем через устье протоки Фунтусова (точка с координатами 69°36′40″ с. ш., 84°32′40″ в. д.) и мыс Крестовский. Ниже этого створа начинается расширение Енисейского залива с пойменной (слева) и островной (справа) многорукавностью: ниже посёлка Усть-Порт расположена собственно дельта Енисея, выдвинувшаяся в залив в виде сочетания рукавов и проток с осерёдками и пойменными массивами — вплоть до 71-й параллели, где ширина залива увеличивается до 44 км. В дельте также отмечен промывной режим. Бреховскими островами Енисейский залив делится на множество проток, из которых выделяются четыре основные рукава: \"Охотский Енисей\", \"Каменный Енисей\", \"Большой Енисей\" и \"Малый Енисей\"; общая ширина залива здесь составляет 50 км. Ниже по течению Енисейский залив Карского моря принимает форму эстуария.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Верхняя Подъёмная? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 408, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3333333333333333, + "em": 0 + }, + "predict": " Сергей Иванович Морозов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Виктор Иванович Ерменеев?", + "support_text": "Виктор Иванович Ерменеев (1925, с. Сабакаево ныне Мелекесского района Ульяновской области — 1986, там же) — командир 85-мм зенитного орудия 1413-го зенитно-артиллерийского полка 32-й зенитно-артиллерийской дивизии 21-й армии Ленинградского фронта, младший сержант. Герой Советского Союза.\n\nБиография.\nРодился 18 февраля 1925 года в селе Сабакаево (по другим данным — селе Аврали), ныне Мелекесского района Ульяновской области в семье крестьянина. По национальности — чуваш. Образование семилетнее. Работал в колхозе.", + "text": "Ульяновская область — субъект Российской Федерации, входит в состав Приволжского федерального округа. Административный центр — город Ульяновск. Область на востоке граничит с Самарской областью, на юге — с Саратовской областью, на западе — с Пензенской областью и Республикой Мордовия, на севере — с Чувашской Республикой и Республикой Татарстан. Образована 19 января 1943 года Указом Президиума Верховного Совета СССР.\n\nЭкономика.\nВ 2013 году речной порт был огорожен металлическим забором и стал похож на частную пристань. Креативные индустрии. Губернатором С. И. Морозовым инициировано создание в области кластера креативных индустрий. Основную работу по созданию кластера ведёт Фонд \"Ульяновск — культурная столица\". Пилотным проектом кластера стало открытие Культурного-бизнес инкубатора \"Квартал\" (Квартал) — первого в России." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 562, + "segment": "С. И. Морозовым" + }, + { + "label": "passage", + "length": 15, + "offset": 562, + "segment": "С. И. Морозов" + } + ], + "meta": { + "id": 559, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 70, + "segment": "Ульяновской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Виктор Иванович Ерменеев (1925, с. Сабакаево ныне Мелекесского района Ульяновской области — 1986, там же) — командир 85-мм зенитного орудия 1413-го зенитно-артиллерийского полка 32-й зенитно-артиллерийской дивизии 21-й армии Ленинградского фронта, младший сержант. Герой Советского Союза.\n\nБиография.\nРодился 18 февраля 1925 года в селе Сабакаево (по другим данным — селе Аврали), ныне Мелекесского района Ульяновской области в семье крестьянина. По национальности — чуваш. Образование семилетнее. Работал в колхозе.\nТекст 2: Ульяновская область — субъект Российской Федерации, входит в состав Приволжского федерального округа. Административный центр — город Ульяновск. Область на востоке граничит с Самарской областью, на юге — с Саратовской областью, на западе — с Пензенской областью и Республикой Мордовия, на севере — с Чувашской Республикой и Республикой Татарстан. Образована 19 января 1943 года Указом Президиума Верховного Совета СССР.\n\nЭкономика.\nВ 2013 году речной порт был огорожен металлическим забором и стал похож на частную пристань. Креативные индустрии. Губернатором С. И. Морозовым инициировано создание в области кластера креативных индустрий. Основную работу по созданию кластера ведёт Фонд \"Ульяновск — культурная столица\". Пилотным проектом кластера стало открытие Культурного-бизнес инкубатора \"Квартал\" (Квартал) — первого в России.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Виктор Иванович Ерменеев? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 400, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.21428571428571425, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где родился Айрат Касимович Хаматов, является мэром. С 17 ноября 2005 года должность мэра в Казани занимает И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Айрат Касимович Хаматов?", + "support_text": "Айрат Касимович Хаматов (2 февраля 1965, Казань) — советский боксёр лёгкой и полулёгкой весовых категорий, выступал за сборную СССР в конце 1980-х — начале 1990-х годов. Чемпион мира, чемпион национального первенства, обладатель серебряной медали чемпионата Европы, бронзовый призёр Игр доброй воли, заслуженный мастер спорта. Ныне работает на должности президента Федерации бокса Татарстана, судья международной категории.\n\nБиография.\nАйрат Хаматов родился 2 февраля 1965 года в Казани. Активно заниматься спортом начал в возрасте тринадцати лет в спортивном клубе \"Ракета\" посёлка Дербышки у тренера М. Валиуллина, затем продолжил подготовку под руководством заслуженного тренера Виктора Краснова, на соревнованиях представлял добровольное спортивное общество \"Зенит\". Первого серьёзного успеха на ринге добился в 1986 году, когда в полулёгком весе выиграл Спартакиаду народов РСФСР и взял бронзу на первенстве Советского Союза. 1991 год получился не менее успешным, спортсмен удостоился серебряной медали на чемпионате Европы в Гётеборге, завоевал титул чемпиона СССР. Будучи лидером сборной, должен был участвовать в состязаниях летних Олимпийских игр 1992 года в Барселоне, однако незадолго до начала олимпийского турнира на отборочном чемпионате СНГ в Тамбове уступил своему прямому конкуренту в лёгкой весовой категории Артуру Григоряну. Оставшись без Олимпиады, Хаматов принял решение завершить карьеру, всего в его послужном списке 151 бой, из них 123 окончены победой. Позже Айрат Хаматов переехал на Украину, где попробовал выступать на профессиональном уровне, тем не менее, из-за бесперспективности вскоре оставил это занятие. Некоторое время занимался бизнесом в Москве и Казани, руководил небольшой строительной фирмой, но тоже не долго. Начиная с декабря 1999 года является спортивным функционером, занимает пост президента Федерации бокса Республики Татарстан. Женат, есть сын и дочь.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 617, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 461, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 41, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Айрат Касимович Хаматов (2 февраля 1965, Казань) — советский боксёр лёгкой и полулёгкой весовых категорий, выступал за сборную СССР в конце 1980-х — начале 1990-х годов. Чемпион мира, чемпион национального первенства, обладатель серебряной медали чемпионата Европы, бронзовый призёр Игр доброй воли, заслуженный мастер спорта. Ныне работает на должности президента Федерации бокса Татарстана, судья международной категории.\n\nБиография.\nАйрат Хаматов родился 2 февраля 1965 года в Казани. Активно заниматься спортом начал в возрасте тринадцати лет в спортивном клубе \"Ракета\" посёлка Дербышки у тренера М. Валиуллина, затем продолжил подготовку под руководством заслуженного тренера Виктора Краснова, на соревнованиях представлял добровольное спортивное общество \"Зенит\". Первого серьёзного успеха на ринге добился в 1986 году, когда в полулёгком весе выиграл Спартакиаду народов РСФСР и взял бронзу на первенстве Советского Союза. 1991 год получился не менее успешным, спортсмен удостоился серебряной медали на чемпионате Европы в Гётеборге, завоевал титул чемпиона СССР. Будучи лидером сборной, должен был участвовать в состязаниях летних Олимпийских игр 1992 года в Барселоне, однако незадолго до начала олимпийского турнира на отборочном чемпионате СНГ в Тамбове уступил своему прямому конкуренту в лёгкой весовой категории Артуру Григоряну. Оставшись без Олимпиады, Хаматов принял решение завершить карьеру, всего в его послужном списке 151 бой, из них 123 окончены победой. Позже Айрат Хаматов переехал на Украину, где попробовал выступать на профессиональном уровне, тем не менее, из-за бесперспективности вскоре оставил это занятие. Некоторое время занимался бизнесом в Москве и Казани, руководил небольшой строительной фирмой, но тоже не долго. Начиная с декабря 1999 года является спортивным функционером, занимает пост президента Федерации бокса Республики Татарстан. Женат, есть сын и дочь.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Айрат Касимович Хаматов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 646, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23076923076923078, + "em": 0 + }, + "predict": " Глава администрации в городе, где умер Кирилл Прокофьевич Ситников, является мэром Казани. С 17 ноября 2005 года мэром Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Кирилл Прокофьевич Ситников?", + "support_text": "Кирилл Прокофьевич Ситников ― советский педагог, государственный деятель. Руководитель Казанского государственного университета в 1937―1951 гг.\n\nБиография.\nВ 1922―1927 гг. учился в Московской сельскохозяйственной академии. После её окончания остался в аспирантуре и окончил в 1930 г. В 1931 году был назначен заведующим кафедрой физики Московского института агрохимии и почвоведения, в 1933 году стал заведующим кафедрой физики сельскохозяйственной академии. С августа 1937 по март 1938 года был временно исполняющим должность директора Казанского государственного университета, с апреля 1938 по октябрь 1951 года — КГУ. Назначение не-жителя Казани на этот пост было довольно необычным, поскольку за всю историю университета подобных прецедентов практически не было. По словам профессора Н. Н. Непримерова, на первом же учёном совете со своим участием Ситников заявил, что никакой наукой университет заниматься не должен и его следует сделать рабфаком для подготовки рабочих и крестьян для работы в высших учебных заведениях, отдал типографию и мастерские университета, не поддерживал какие-либо научные исследования, уволил шесть профессоров. Приходился свояком министру высшего и среднего специального образования СССР В. П. Елютину. С 1951 по 1975 года был заведующим кафедрой общей физики Казанского университета. Умер в 1988 году в Казани.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 413, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 547, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 646, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Кирилл Прокофьевич Ситников ― советский педагог, государственный деятель. Руководитель Казанского государственного университета в 1937―1951 гг.\n\nБиография.\nВ 1922―1927 гг. учился в Московской сельскохозяйственной академии. После её окончания остался в аспирантуре и окончил в 1930 г. В 1931 году был назначен заведующим кафедрой физики Московского института агрохимии и почвоведения, в 1933 году стал заведующим кафедрой физики сельскохозяйственной академии. С августа 1937 по март 1938 года был временно исполняющим должность директора Казанского государственного университета, с апреля 1938 по октябрь 1951 года — КГУ. Назначение не-жителя Казани на этот пост было довольно необычным, поскольку за всю историю университета подобных прецедентов практически не было. По словам профессора Н. Н. Непримерова, на первом же учёном совете со своим участием Ситников заявил, что никакой наукой университет заниматься не должен и его следует сделать рабфаком для подготовки рабочих и крестьян для работы в высших учебных заведениях, отдал типографию и мастерские университета, не поддерживал какие-либо научные исследования, уволил шесть профессоров. Приходился свояком министру высшего и среднего специального образования СССР В. П. Елютину. С 1951 по 1975 года был заведующим кафедрой общей физики Казанского университета. Умер в 1988 году в Казани.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nВопрос: Кто является главой администрации в городе, где умер Кирилл Прокофьевич Ситников?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 474, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " американское.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое гражданство у режиссёра фильма \"Что скрывает ложь\" (2000)?", + "support_text": "'Что скрывает ложь' — мистический триллер Роберта Земекиса, первый фильм, в котором актёр Харрисон Форд сыграл в главной роли отрицательного персонажа.\n\nПримечания.\nКатегория:Фильмы Роберта Земекиса.", + "text": "Роберт Ли Земекис ( ) — американский кинорежиссёр, сценарист и продюсер. Лауреат премий \"Оскар\" и \"Золотой глобус\" в категории \"Лучший режиссёр\". Постановщик знаковых картин: \"Назад в будущее\", \"Кто подставил кролика Роджера\" и \"Форрест Гамп\"." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 25, + "segment": "американский" + } + ], + "meta": { + "id": 1004, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 42, + "segment": "Роберта Земекиса" + }, + { + "label": "passage", + "length": 16, + "offset": 185, + "segment": "Роберта Земекиса" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Что скрывает ложь' — мистический триллер Роберта Земекиса, первый фильм, в котором актёр Харрисон Форд сыграл в главной роли отрицательного персонажа.\n\nПримечания.\nКатегория:Фильмы Роберта Земекиса.\nТекст 2: Роберт Ли Земекис ( ) — американский кинорежиссёр, сценарист и продюсер. Лауреат премий \"Оскар\" и \"Золотой глобус\" в категории \"Лучший режиссёр\". Постановщик знаковых картин: \"Назад в будущее\", \"Кто подставил кролика Роджера\" и \"Форрест Гамп\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Какое гражданство у режиссёра фильма \"Что скрывает ложь\" (2000)? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 179, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " Юрий Цкипури является главой администрации в городе Тула, где умер Игорь Владимирович Ильинский (литературовед).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Игорь Владимирович Ильинский (литературовед)?", + "support_text": "Игорь Владимирович Ильинский (1880, Санкт-Петербург — 10 декабря 1937, Тула) — российский, советский адвокат, библиограф, литературовед, сотрудник Дома-музея Л. Н. Толстого в Ясной Поляне.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км. По итогам проводившегося в 2014 году Всероссийского конкурса на звание \"Самого благоустроенного городского (сельского) поселения России\" Тула заняла третье место в категории \"Городские поселения (городские округа), являющиеся административными центрами (столицами) субъектов Российской Федерации\".\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 1018, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 546, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 71, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Игорь Владимирович Ильинский (1880, Санкт-Петербург — 10 декабря 1937, Тула) — российский, советский адвокат, библиограф, литературовед, сотрудник Дома-музея Л. Н. Толстого в Ясной Поляне.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы. Протяжённость города с севера на юг — 30 км, с запада на восток — 25 км. По итогам проводившегося в 2014 году Всероссийского конкурса на звание \"Самого благоустроенного городского (сельского) поселения России\" Тула заняла третье место в категории \"Городские поселения (городские округа), являющиеся административными центрами (столицами) субъектов Российской Федерации\".\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Игорь Владимирович Ильинский (литературовед)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 381, + "generated_len": [ + 34 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Лиги 1", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, за тренировки которой отвечает Джимми Хейган?", + "support_text": "Джимми Хейган ( , , Тайн-энд-Уир, Англия — 26 февраля 1998 года) — английский футболист, нападающий. Известен по выступлениям за \"Шеффилд Юнайтед\". После завершения карьеры футболиста тренировал ряд известных английских и португальских клубов.\n\nТренерская карьера.\nПосле завершения карьеры футболиста Хэган стал тренером в \"Питерборо Юнайтед\", затем четыре года возглавлял \"Вест Бромвич Альбион\". В 1970 году перебрался в Португалию, где тренировал различные клубы до самого конца своей тренерской карьеры. Среди клубов с которыми работал Хэган в Португалии были и два из трёх гранда португальского футбола \"Бенфика\" и \"Спортинг\", с \"Бенфикой\" он трижды становился чемпионом Португалии и завоевал один Кубок Португалии, ещё один Кубок Португалии он завоевал в дальнейшем с \"Боавиштой\". Завершил свою тренерскую карьеру Хэган в 1981 году в клубе \"Белененсиш\".", + "text": "'Питерборо Юнайтед' (полное название — Футбольный клуб 'Питерборо Юнайтед'; , ) — английский профессиональный футбольный клуб из города Питерборо, графство Кембриджшир, Восточная Англия. Основан в 1934 году. В настоящее время выступает в Лиге 1, третьем по значимости дивизионе в системе футбольных лиг Англии. Клубное прозвище — 'пош' ('The Posh'). Основные противники клуба — 'Кембридж Юнайтед', 'Нортгемптон Таун' и 'МК Донс'." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 238, + "segment": "Лиге 1" + } + ], + "meta": { + "id": 320, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 328, + "segment": "Питерборо Юнайтед" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Джимми Хейган ( , , Тайн-энд-Уир, Англия — 26 февраля 1998 года) — английский футболист, нападающий. Известен по выступлениям за \"Шеффилд Юнайтед\". После завершения карьеры футболиста тренировал ряд известных английских и португальских клубов.\n\nТренерская карьера.\nПосле завершения карьеры футболиста Хэган стал тренером в \"Питерборо Юнайтед\", затем четыре года возглавлял \"Вест Бромвич Альбион\". В 1970 году перебрался в Португалию, где тренировал различные клубы до самого конца своей тренерской карьеры. Среди клубов с которыми работал Хэган в Португалии были и два из трёх гранда португальского футбола \"Бенфика\" и \"Спортинг\", с \"Бенфикой\" он трижды становился чемпионом Португалии и завоевал один Кубок Португалии, ещё один Кубок Португалии он завоевал в дальнейшем с \"Боавиштой\". Завершил свою тренерскую карьеру Хэган в 1981 году в клубе \"Белененсиш\".\nТекст 2: 'Питерборо Юнайтед' (полное название — Футбольный клуб 'Питерборо Юнайтед'; , ) — английский профессиональный футбольный клуб из города Питерборо, графство Кембриджшир, Восточная Англия. Основан в 1934 году. В настоящее время выступает в Лиге 1, третьем по значимости дивизионе в системе футбольных лиг Англии. Клубное прозвище — 'пош' ('The Posh'). Основные противники клуба — 'Кембридж Юнайтед', 'Нортгемптон Таун' и 'МК Донс'.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какой лиге играет команда, за тренировки которой отвечает Джимми Хейган? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 391, + "generated_len": [ + 34 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Армянская.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая страна прежде находилась на территории государства, гражданином которого являлся Никифор Комнин?", + "support_text": "Никифор Комнин ( ) — византийский военачальник времён императоров Василия II Болгаробойцы (правил в 976—1025 годах) и Константина VIII (правил в 1025—1028 годах). Был губернатором армянского региона Васпуракан и является одним из первых известных членов династии Комниных, правившей в Византийской империи в 1081—1185 годах.\n\nБиография.\nЕго современник, армянский историк Аристакес Ластивертци писал, что Никифор захватил княжество Аканц на северном берегу озера Ван и присоединил его к своей провинции, хотя согласно повествованию арабоязычного христианского историка Яхьи Антиохийского, подвиг был совершён самим императором Василием. Никифор Комнин продолжал служить стратигом Васпуракана при брате и преемнике Василия II Болгаробойцы Константине VIII, но в 1026 году он был уволен по подозрению в нелояльности и отозван в Константинополь. Здесь он был ослеплён. Есть две версии причин его отзыва и последующих событий: византийский летописец Иоанн Скилица сообщал, что Никифор настаивал на письменном обещании поддержки от своих войск, которые должны были быть направлены против турецких правителей, что было истолковано Константином как попытка создать военную силу, преданную ему лично. Тогда как Скилица считает обвинение необоснованным и возлагает вину на чрезмерно подозрительного Константина, Аристакес утверждал, что Никифор действительно участвовал в предательских переговорах с царём Грузии Георгием I (правил ок. 1014—1027) и желал либо объявить себя императором, либо сделать Васпуракан независимым королевством.", + "text": "Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы. В дальнейшем под натиском многочисленных врагов государство постепенно утрачивало земли.\n\nНазвание.\nОфициальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римской империи" + }, + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римская империя" + } + ], + "meta": { + "id": 1011, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 21, + "segment": "византийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какая страна прежде находилась на территории государства, гражданином которого являлся Никифор Комнин?\nТекст 1: Никифор Комнин ( ) — византийский военачальник времён императоров Василия II Болгаробойцы (правил в 976—1025 годах) и Константина VIII (правил в 1025—1028 годах). Был губернатором армянского региона Васпуракан и является одним из первых известных членов династии Комниных, правившей в Византийской империи в 1081—1185 годах.\n\nБиография.\nЕго современник, армянский историк Аристакес Ластивертци писал, что Никифор захватил княжество Аканц на северном берегу озера Ван и присоединил его к своей провинции, хотя согласно повествованию арабоязычного христианского историка Яхьи Антиохийского, подвиг был совершён самим императором Василием. Никифор Комнин продолжал служить стратигом Васпуракана при брате и преемнике Василия II Болгаробойцы Константине VIII, но в 1026 году он был уволен по подозрению в нелояльности и отозван в Константинополь. Здесь он был ослеплён. Есть две версии причин его отзыва и последующих событий: византийский летописец Иоанн Скилица сообщал, что Никифор настаивал на письменном обещании поддержки от своих войск, которые должны были быть направлены против турецких правителей, что было истолковано Константином как попытка создать военную силу, преданную ему лично. Тогда как Скилица считает обвинение необоснованным и возлагает вину на чрезмерно подозрительного Константина, Аристакес утверждал, что Никифор действительно участвовал в предательских переговорах с царём Грузии Георгием I (правил ок. 1014—1027) и желал либо объявить себя императором, либо сделать Васпуракан независимым королевством.\nТекст 2: Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы. В дальнейшем под натиском многочисленных врагов государство постепенно утрачивало земли.\n\nНазвание.\nОфициальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 832, + "generated_len": [ + 34 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нуралы Мустафинович Садуакасов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Ахмедбек Масакбаевич Ахметжанов?", + "support_text": "Ахмедбек Масакбаевич Ахметжанов ( ) — аким Костаная (2014—2015).\n\nБиография.\nРодился 8 декабря 1966 года в посёлке Сарыузенский Костанайской области. С 1984 года работал в Чернышевском совхозрабкоопе; в 1985—1987 служил в Советской Армии, демобилизован в звании старшины. С 1991 года, по окончании по специальности \"экономика торговли\", работал в Семиозёрном районе заместителем председателя правления Сулукольского совхозрабкоопа (1991—1992), председателем правления Новонежинского совхозрабкоопа (1992—1996). С марта 1998 года — инспектор в Управлении Комитета налоговой полиции по Костанайской области, затем — председатель налогового комитета по Аулиекольскому району (с января 1999), по Костанайскому району (с апреля 2001). В 2001 году заочно окончил Костанайский государственный университет по специальности \"правоведение\". С марта 2007 года — аким Тарановского района, с 24 сентября 2010 — аким Костанайского района, с 18 июня 2014 — аким города Костанай.", + "text": "Костанайская область — область на севере Казахстана. Административный центр — город Костанай. Граничит с четырьмя областями Республики Казахстан (Актюбинской, Карагандинской, Акмолинской и Северо-Казахстанской) и тремя областями Российской Федерации (Оренбургской, Челябинской, Курганской).\n\n[[Список акимов областей Казахстана|Акимы]].\n# Шукеев, Умирзак Естаевич (август 1998 — март 2004). # Кулагин, Сергей Витальевич (март 2004 — январь 2012). # Садуакасов, Нуралы Мустафинович (20 января 2012 — 11 сентября 2015). # Мухамбетов, Архимед Бегежанович (с 11 сентября 2015)." + }, + "outputs": [ + { + "label": "passage", + "length": 31, + "offset": 523, + "segment": "Мухамбетов, Архимед Бегежанович" + }, + { + "label": "passage", + "length": 31, + "offset": 523, + "segment": "Архимед Бегежанович Мухамбетов" + } + ], + "meta": { + "id": 246, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 132, + "segment": "Костанайской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ахмедбек Масакбаевич Ахметжанов ( ) — аким Костаная (2014—2015).\n\nБиография.\nРодился 8 декабря 1966 года в посёлке Сарыузенский Костанайской области. С 1984 года работал в Чернышевском совхозрабкоопе; в 1985—1987 служил в Советской Армии, демобилизован в звании старшины. С 1991 года, по окончании по специальности \"экономика торговли\", работал в Семиозёрном районе заместителем председателя правления Сулукольского совхозрабкоопа (1991—1992), председателем правления Новонежинского совхозрабкоопа (1992—1996). С марта 1998 года — инспектор в Управлении Комитета налоговой полиции по Костанайской области, затем — председатель налогового комитета по Аулиекольскому району (с января 1999), по Костанайскому району (с апреля 2001). В 2001 году заочно окончил Костанайский государственный университет по специальности \"правоведение\". С марта 2007 года — аким Тарановского района, с 24 сентября 2010 — аким Костанайского района, с 18 июня 2014 — аким города Костанай.\nТекст 2: Костанайская область — область на севере Казахстана. Административный центр — город Костанай. Граничит с четырьмя областями Республики Казахстан (Актюбинской, Карагандинской, Акмолинской и Северо-Казахстанской) и тремя областями Российской Федерации (Оренбургской, Челябинской, Курганской).\n\n[[Список акимов областей Казахстана|Акимы]].\n# Шукеев, Умирзак Естаевич (август 1998 — март 2004). # Кулагин, Сергей Витальевич (март 2004 — январь 2012). # Садуакасов, Нуралы Мустафинович (20 января 2012 — 11 сентября 2015). # Мухамбетов, Архимед Бегежанович (с 11 сентября 2015).\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Ахмедбек Масакбаевич Ахметжанов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 560, + "generated_len": [ + 34 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Владимир Олегович Самойлов?", + "support_text": "Самойлов Владимир Олегович (7 мая 1941, Нижний Новгород) — советский и российский и , член-корреспондент РАМН (дата избрания — 16.12.1988 г.), , генерал-майор медицинской службы в запасе. С 1974 г. по 1988 г. был начальником кафедры биологической и медицинской физики ВМедА им. С. М. Кирова.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городская дума" + } + ], + "meta": { + "id": 388, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 40, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Самойлов Владимир Олегович (7 мая 1941, Нижний Новгород) — советский и российский и , член-корреспондент РАМН (дата избрания — 16.12.1988 г.), , генерал-майор медицинской службы в запасе. С 1974 г. по 1988 г. был начальником кафедры биологической и медицинской физики ВМедА им. С. М. Кирова.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Владимир Олегович Самойлов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 379, + "generated_len": [ + 34 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Федеральный парламент, состоящий из нижней палаты (палата представителей) и верхней палаты (сената), принимает законы в государстве, гражданином которого является Роберт Грослот.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Роберт Грослот?", + "support_text": "Роберт Грослот ( род. ) — бельгийский пианист, композитор, дирижёр, музыкальный педагог. Окончил Антверпенскую консерваторию как пианист, ученик Леона Флейшера и Алексиса Вейсенберга. В 1974 году выиграл международный конкурс Алессандро Касагранде в Италии, в 1978 году стал лауреатом шестой премии Международного конкурса имени королевы Елизаветы.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( )." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 471, + "segment": "королём" + } + ], + "meta": { + "id": 988, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 27, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Роберт Грослот ( род. ) — бельгийский пианист, композитор, дирижёр, музыкальный педагог. Окончил Антверпенскую консерваторию как пианист, ученик Леона Флейшера и Алексиса Вейсенберга. В 1974 году выиграл международный конкурс Алессандро Касагранде в Италии, в 1978 году стал лауреатом шестой премии Международного конкурса имени королевы Елизаветы.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ).\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Роберт Грослот?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 349, + "generated_len": [ + 34 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Нерль", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Сухода?", + "support_text": "Сухода — река в России, протекает по Ивановской области. Устье реки находится в 32 км по левому берегу реки Ухтома. Исток находится юго-западнее населённого пункта Вязовицы Большие Ильинского района Ивановской области. Длина реки составляет 46 км, площадь водосборного бассейна — 399 кв км. Не судоходна.", + "text": "Ухтома — река в России, протекает по Ивановской области. Устье реки находится в 148 км по левому берегу реки Нерль. Исток реки — в лесах Ярославской области на границе с Ильинским районом Ивановской области.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Нерль от истока и до устья, речной подбассейн реки — бассейны притоков Оки от Мокши до впадения в Волгу. Речной бассейн реки — Ока." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 109, + "segment": "Нерль" + } + ], + "meta": { + "id": 622, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 108, + "segment": "Ухтома" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сухода — река в России, протекает по Ивановской области. Устье реки находится в 32 км по левому берегу реки Ухтома. Исток находится юго-западнее населённого пункта Вязовицы Большие Ильинского района Ивановской области. Длина реки составляет 46 км, площадь водосборного бассейна — 399 кв км. Не судоходна.\nТекст 2: Ухтома — река в России, протекает по Ивановской области. Устье реки находится в 148 км по левому берегу реки Нерль. Исток реки — в лесах Ярославской области на границе с Ильинским районом Ивановской области.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Нерль от истока и до устья, речной подбассейн реки — бассейны притоков Оки от Мокши до впадения в Волгу. Речной бассейн реки — Ока.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Сухода? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": [ + 34 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вагай", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Агитка?", + "support_text": "Агитка — река в Тюменской области России, правый приток Вагая (бассейн Иртыша), протекает на юге Западно-Сибирской равнины.\n\nГеография.\nАгитка начинается в нескольких километрах на юго-запад от села Вершинская Вагайского района Тюменской области. Течёт по заболоченной равнинной местности сначала на северо-восток, потом на север и северо-запад; недалеко от объединения с рекой Вагай поворачивает на восток. Агитка впадает в Вагай на 70 км от его устья, возле села Копотилы, расположенного немного выше по течению реки Вагай. В бассейне Агитки много болот и мелких озёр, которые играют важную роль в регулировании её стока.", + "text": "Вагай — река в Тюменской области, левый приток Иртыша. Длина реки — 555 км, площадь бассейна — 23 тыс. кв км. Протекает по территории Омутинского, Голышмановского, Аромашевского и Вагайского районов Тюменской области. Питание снеговое, весной сильно разливается, летом мелеет. Среднегодовой расход воды — 8,23 м³/сек (у деревни Нововыигрышная). Крупнейшие притоки — Балахлей, Агитка (правые), Ашлык (левый). Долина Вагая густо заселена, но крупных населённых пунктов нет. В верховьях по долине проходит железнодорожная ветка Тюмень — Омск (часть Транссиба). Вагай впадает в Иртыш слева, на его 729 км от устья.\n\nИстория.\nБассейн Иртыша. В устье реки (ныне называемым \"Ермакова заводь\") погиб Ермак. В 5 км от фактического впадения реки Вагай в Иртыш находится рукотворное устье (называемое в народе \"прорва\"), прокопанное до начала 1960-х годов для удобства лесосплава. В этом месте расположено село Вагай — административный центр Вагайского района." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 47, + "segment": "Иртыша" + }, + { + "label": "passage", + "length": 5, + "offset": 47, + "segment": "Иртыш" + } + ], + "meta": { + "id": 913, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 56, + "segment": "Вагая" + }, + { + "label": "passage", + "length": 5, + "offset": 213, + "segment": "Вагай" + }, + { + "label": "passage", + "length": 5, + "offset": 381, + "segment": "Вагай" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Агитка — река в Тюменской области России, правый приток Вагая (бассейн Иртыша), протекает на юге Западно-Сибирской равнины.\n\nГеография.\nАгитка начинается в нескольких километрах на юго-запад от села Вершинская Вагайского района Тюменской области. Течёт по заболоченной равнинной местности сначала на северо-восток, потом на север и северо-запад; недалеко от объединения с рекой Вагай поворачивает на восток. Агитка впадает в Вагай на 70 км от его устья, возле села Копотилы, расположенного немного выше по течению реки Вагай. В бассейне Агитки много болот и мелких озёр, которые играют важную роль в регулировании её стока.\nТекст 2: Вагай — река в Тюменской области, левый приток Иртыша. Длина реки — 555 км, площадь бассейна — 23 тыс. кв км. Протекает по территории Омутинского, Голышмановского, Аромашевского и Вагайского районов Тюменской области. Питание снеговое, весной сильно разливается, летом мелеет. Среднегодовой расход воды — 8,23 м³/сек (у деревни Нововыигрышная). Крупнейшие притоки — Балахлей, Агитка (правые), Ашлык (левый). Долина Вагая густо заселена, но крупных населённых пунктов нет. В верховьях по долине проходит железнодорожная ветка Тюмень — Омск (часть Транссиба). Вагай впадает в Иртыш слева, на его 729 км от устья.\n\nИстория.\nБассейн Иртыша. В устье реки (ныне называемым \"Ермакова заводь\") погиб Ермак. В 5 км от фактического впадения реки Вагай в Иртыш находится рукотворное устье (называемое в народе \"прорва\"), прокопанное до начала 1960-х годов для удобства лесосплава. В этом месте расположено село Вагай — административный центр Вагайского района.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Агитка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": [ + 34 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Киимбай.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Байту?", + "support_text": "Байту (\"устар.\" Карабулак) — река в России, протекает в Оренбургской области. Устье реки находится в 18 км по правому берегу реки Киимбай. Длина реки составляет 14 км.", + "text": "Киимбай (\"устар.\" Киембай) — река в России, протекает в Оренбургской области. Устье реки находится в 48 км по правому берегу реки Камсак. Длина реки составляет 36 км. Название восходит к антропониму (у казахов есть мужское личное имя Киембай, у татар — Кыямбай)." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 130, + "segment": "Камсак" + } + ], + "meta": { + "id": 383, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 130, + "segment": "Киимбай" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Байту (\"устар.\" Карабулак) — река в России, протекает в Оренбургской области. Устье реки находится в 18 км по правому берегу реки Киимбай. Длина реки составляет 14 км.\nТекст 2: Киимбай (\"устар.\" Киембай) — река в России, протекает в Оренбургской области. Устье реки находится в 48 км по правому берегу реки Камсак. Длина реки составляет 36 км. Название восходит к антропониму (у казахов есть мужское личное имя Киембай, у татар — Кыямбай).\nВопрос: Как называется водоток, в который впадает река, притоком которой является Байту?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Исакова.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Каджеромка?", + "support_text": "Каджеромка (устар. \"Коджеромъёль\") — река в России, протекает по Республике Коми.\n\nГеография.\nУстье реки находится в 25 км по левому берегу реки Исакова, около посёлка Каджером. В посёлке и его окрестностях реку пересекают железнодорожный и несколько автомобильных мостов. Длина реки составляет 22 км.", + "text": "Исакова (Исаковка) — река в России, протекает в Республике Коми. Устье реки находится в 62 км по левому берегу реки Чикшина. Длина реки составляет 116 км, площадь водосборного бассейна 1930 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 116, + "segment": "Чикшина" + }, + { + "label": "passage", + "length": 7, + "offset": 116, + "segment": "Чикшин" + } + ], + "meta": { + "id": 417, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 148, + "segment": "Исакова" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Каджеромка (устар. \"Коджеромъёль\") — река в России, протекает по Республике Коми.\n\nГеография.\nУстье реки находится в 25 км по левому берегу реки Исакова, около посёлка Каджером. В посёлке и его окрестностях реку пересекают железнодорожный и несколько автомобильных мостов. Длина реки составляет 22 км.\nТекст 2: Исакова (Исаковка) — река в России, протекает в Республике Коми. Устье реки находится в 62 км по левому берегу реки Чикшина. Длина реки составляет 116 км, площадь водосборного бассейна 1930 кв км.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Каджеромка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Команда, тренер которой зовут Пабло Санчес, играет в аргентинской лиге. Это \"Банфилд\", который является одним из самых титулованных клубов Аргентины, выигравший чемпионат Аргентины в 2009 году.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой зовут Пабло Санчес?", + "support_text": "Пабло Андрес Санчес Спакес ( 3 января 1973, Росарио, Аргентина), — аргентинский футболист, полузащитник. Играл за ряд клубов, такие как: \"Росарио Сентраль\", \"Фейеноорд\" и другие, ныне главный тренер чилийского клуба \"Аудакс Итальяно\".\n\nБиография.\nРезультаты команды были достаточно хорошм, чтобы она заняла второе место. Позже он недолгое время представлял \"Депортиво Алавес\" из Испании и бельгийский \"Харелбек\". Завершил игровую карьеру в 2005 году в \"Кильмесе\". Впоследствии начал тренерскую карьеру. На родине работал в \"Банфилде\" и \"Росарио Сентрале\". Также тренировал боливийский \"Ориенте Петролеро\" (дважды) и ряд чилийских клубов.", + "text": "'Банфилд' (полное название — ) — аргентинский футбольный клуб из города Банфилд, расположенного в 14 км к югу от Буэнос-Айреса и входящего в Большой Буэнос-Айрес. Один раз, в 2009 году, становился чемпионом Аргентины.\n\nДостижения.\nЧемпион Аргентины (1): 2009 (Апертура). Вице-чемпион Аргентины (2): 1951, 2004/05 (Клаусура). Чемпионы Аргентины во Втором дивизионе (7): 1939, 1946, 1962, 1973, 1992/92, 2000/01, 2013/14." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 350, + "segment": "Втором дивизионе" + } + ], + "meta": { + "id": 5, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 528, + "segment": "Банфилде" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Пабло Андрес Санчес Спакес ( 3 января 1973, Росарио, Аргентина), — аргентинский футболист, полузащитник. Играл за ряд клубов, такие как: \"Росарио Сентраль\", \"Фейеноорд\" и другие, ныне главный тренер чилийского клуба \"Аудакс Итальяно\".\n\nБиография.\nРезультаты команды были достаточно хорошм, чтобы она заняла второе место. Позже он недолгое время представлял \"Депортиво Алавес\" из Испании и бельгийский \"Харелбек\". Завершил игровую карьеру в 2005 году в \"Кильмесе\". Впоследствии начал тренерскую карьеру. На родине работал в \"Банфилде\" и \"Росарио Сентрале\". Также тренировал боливийский \"Ориенте Петролеро\" (дважды) и ряд чилийских клубов.\nТекст 2: 'Банфилд' (полное название — ) — аргентинский футбольный клуб из города Банфилд, расположенного в 14 км к югу от Буэнос-Айреса и входящего в Большой Буэнос-Айрес. Один раз, в 2009 году, становился чемпионом Аргентины.\n\nДостижения.\nЧемпион Аргентины (1): 2009 (Апертура). Вице-чемпион Аргентины (2): 1951, 2004/05 (Клаусура). Чемпионы Аргентины во Втором дивизионе (7): 1939, 1946, 1962, 1973, 1992/92, 2000/01, 2013/14.\nВопрос: В какой лиге играет команда, тренера которой зовут Пабло Санчес?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 407, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Евгений Васильевич Маслов является главой администрации в городе Йошкар-Ола, где родился Александр Сергеевич Бакулевский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Сергеевич Бакулевский?", + "support_text": "Александр Сергеевич Бакулевский (род. 24 января 1936, Йошкар-Ола, Марийская АССР) — советский и российский график, народный художник Российской Федерации, автор иллюстраций к произведениям классической художественной литературы. Александр Сергеевич — мастер ксилографии.\n\nБиография.\nАлександр Сергеевич родился в городе Йошкар-Оле Марийской АССР. Отец Бакулевский Сергей Анатольевич (1900—1992) — служащий, участник гражданской и Великой Отечественной войн. С выставки графики \"Пушкиниана\" в 2010 году, прошедшей в Тобольске, началось активное сотрудничество с фондом, значительно расширившее рамки творчества художника. …я окунулся в \"океан Сибирь\", с наслаждением купаюсь в нём и не вижу берегов. Знаменитые жители Тобольска: основатель города, воевода, губернатор, митрополиты, ссыльные, современные труженики, нефтяники — стали героями его новых рисунков. Иллюстрации к повести Валентина Распутина \"Живи и помни\", оформление книжки и цветных иллюстраций к сказке П. П. Ершова \"Конек-Горбунок\" — плоды сотрудничества с общественным благотворительным фондом. В последние годы художника особенно остро волнуют проблемы общества связанные с насилием, которые вылились в серию рисунков \"Чёрная акварель войны\", представленых на выставках в Москве, Йошкар-Оле и Грозном в 2017—2019 годах. В них художник выразил весь ужас и трагизм взаимоуничтожения людей. Мысли о состоянии современного искусства, литературные зарисовки жизненных наблюдений, впечатления от встреч с интересными людьми, графические работы составили книгу-альбом художника \"Не только графика\", выпущенную Марийским книжным издательством в 2020 году.", + "text": "Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск.\n\nОрганы власти.\nГлава городского округа \"Город Йошкар-Ола\" подконтролен и подотчётен населению и городскому Собранию. С 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 776, + "segment": "Евгений Васильевич Маслов" + } + ], + "meta": { + "id": 689, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 54, + "segment": "Йошкар-Ола" + }, + { + "label": "passage", + "length": 10, + "offset": 323, + "segment": "Йошкар-Оле" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Сергеевич Бакулевский (род. 24 января 1936, Йошкар-Ола, Марийская АССР) — советский и российский график, народный художник Российской Федерации, автор иллюстраций к произведениям классической художественной литературы. Александр Сергеевич — мастер ксилографии.\n\nБиография.\nАлександр Сергеевич родился в городе Йошкар-Оле Марийской АССР. Отец Бакулевский Сергей Анатольевич (1900—1992) — служащий, участник гражданской и Великой Отечественной войн. С выставки графики \"Пушкиниана\" в 2010 году, прошедшей в Тобольске, началось активное сотрудничество с фондом, значительно расширившее рамки творчества художника. …я окунулся в \"океан Сибирь\", с наслаждением купаюсь в нём и не вижу берегов. Знаменитые жители Тобольска: основатель города, воевода, губернатор, митрополиты, ссыльные, современные труженики, нефтяники — стали героями его новых рисунков. Иллюстрации к повести Валентина Распутина \"Живи и помни\", оформление книжки и цветных иллюстраций к сказке П. П. Ершова \"Конек-Горбунок\" — плоды сотрудничества с общественным благотворительным фондом. В последние годы художника особенно остро волнуют проблемы общества связанные с насилием, которые вылились в серию рисунков \"Чёрная акварель войны\", представленых на выставках в Москве, Йошкар-Оле и Грозном в 2017—2019 годах. В них художник выразил весь ужас и трагизм взаимоуничтожения людей. Мысли о состоянии современного искусства, литературные зарисовки жизненных наблюдений, впечатления от встреч с интересными людьми, графические работы составили книгу-альбом художника \"Не только графика\", выпущенную Марийским книжным издательством в 2020 году.\nТекст 2: Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск.\n\nОрганы власти.\nГлава городского округа \"Город Йошкар-Ола\" подконтролен и подотчётен населению и городскому Собранию. С 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Александр Сергеевич Бакулевский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 655, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Владимир Иванович Алфеев родился в регионе, где является главой администрации Павел Коньков.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Владимир Иванович Алфеев?", + "support_text": "Владимир Иванович Алфеев (15 июля 1923, с. Миловское, Шуйский уезд, Иваново-Вознесенская губерния, РСФСР, ныне в составе Комсомольского района Ивановской области — 22 мая 1983, Иваново, СССР) — советский лётчик-ас Корейской войны. Представлялся к званию Героя Советского Союза. Подполковник авиации.\n\nИсточники.\nВ. И. Алфеев на сайте \"Советские асы\". В. И. Алфеев на сайте \"Красные асы\". В. И. Алфеев на сайте \"Иваново помнит\". В. И. Алфеев // Книга памяти Ивановской области.", + "text": "Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел. Областной центр — город Иваново (расстояние до Москвы — 275 км). Код региона — 37.\n\nОбластная власть.\nВ 22 из 24 одномандатных округов выиграли кандидаты, выдвинутые \"Единой Россией\". По партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей. В этот же день состоялись выборы в Ивановскую областную думу." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 1290, + "segment": "Станислав Воскресенский" + } + ], + "meta": { + "id": 929, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 143, + "segment": "Ивановской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в регионе, где родился Владимир Иванович Алфеев?\nТекст 1: Владимир Иванович Алфеев (15 июля 1923, с. Миловское, Шуйский уезд, Иваново-Вознесенская губерния, РСФСР, ныне в составе Комсомольского района Ивановской области — 22 мая 1983, Иваново, СССР) — советский лётчик-ас Корейской войны. Представлялся к званию Героя Советского Союза. Подполковник авиации.\n\nИсточники.\nВ. И. Алфеев на сайте \"Советские асы\". В. И. Алфеев на сайте \"Красные асы\". В. И. Алфеев на сайте \"Иваново помнит\". В. И. Алфеев // Книга памяти Ивановской области.\nТекст 2: Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел. Областной центр — город Иваново (расстояние до Москвы — 275 км). Код региона — 37.\n\nОбластная власть.\nВ 22 из 24 одномандатных округов выиграли кандидаты, выдвинутые \"Единой Россией\". По партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей. В этот же день состоялись выборы в Ивановскую областную думу.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 545, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2727272727272727, + "em": 0 + }, + "predict": " Владимир Борисович Барковский родился в Белгороде, и в городе Белгороде с 2019 года главой администрации является Юрий Владимирович Галдун.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Владимир Борисович Барковский?", + "support_text": "Владимир Борисович Барковский (16 октября 1913 — 21 июля 2003) — советский разведчик. Герой Российской Федерации.\n\nЛитература.\nМиненко Е., К 100-летию со дня рождения Героя России Владимира Барковского, Наш Белгород № 78(1465). Охотник за урановой бомбой — с сайта Службы Внешней разведки Российской Федерации. *Барковский Владимир Борисович // \"Иванян Э. А.\" Энциклопедия российско-американских отношений. XVIII-XX века.", + "text": "Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной.\n\nАдминистративное устройство.\n1994—2001 Георгий Георгиевич Голиков. 2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 475, + "segment": "Юрий Владимирович Галдун" + } + ], + "meta": { + "id": 493, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 211, + "segment": "Белгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Владимир Борисович Барковский?\nТекст 1: Владимир Борисович Барковский (16 октября 1913 — 21 июля 2003) — советский разведчик. Герой Российской Федерации.\n\nЛитература.\nМиненко Е., К 100-летию со дня рождения Героя России Владимира Барковского, Наш Белгород № 78(1465). Охотник за урановой бомбой — с сайта Службы Внешней разведки Российской Федерации. *Барковский Владимир Борисович // \"Иванян Э. А.\" Энциклопедия российско-американских отношений. XVIII-XX века.\nТекст 2: Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной.\n\nАдминистративное устройство.\n1994—2001 Георгий Георгиевич Голиков. 2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 304, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Малый Лез", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большой Лез?", + "support_text": "Большой Лез — река в России, течёт по территории Койгородского района Республики Коми и Верхнекамского района Кировской области. Устье реки находится в 23 км по правому берегу реки Лез. Длина реки составляет 16 км.", + "text": "Лез — река в России, течёт по территории Койгородского района Республики Коми. Образуется слиянием рек Малый Лез и Большой Лез. Устье реки находится в 414 км по левому берегу реки Сысола. Длина реки составляет 23 км. Притоки (км впадения от устья Леза): Кряжевка (7 км), Большой Лез (23 км), Малый Лез (23 км)." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 180, + "segment": "Сысола" + } + ], + "meta": { + "id": 584, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 8, + "segment": "Лез" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Большой Лез — река в России, течёт по территории Койгородского района Республики Коми и Верхнекамского района Кировской области. Устье реки находится в 23 км по правому берегу реки Лез. Длина реки составляет 16 км.\nТекст 2: Лез — река в России, течёт по территории Койгородского района Республики Коми. Образуется слиянием рек Малый Лез и Большой Лез. Устье реки находится в 414 км по левому берегу реки Сысола. Длина реки составляет 23 км. Притоки (км впадения от устья Леза): Кряжевка (7 км), Большой Лез (23 км), Малый Лез (23 км).\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Большой Лез? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Сергей Андрианович Суслов?", + "support_text": "Сергей Андрианович Суслов (25 января 1907, Казань — 24 февраля 1983, Ленинград) — российский кларнетист и педагог, артист ведущих ленинградских симфонических оркестров, Заслуженный артист РСФСР (1937).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 413, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 533, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 43, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сергей Андрианович Суслов (25 января 1907, Казань — 24 февраля 1983, Ленинград) — российский кларнетист и педагог, артист ведущих ленинградских симфонических оркестров, Заслуженный артист РСФСР (1937).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Сергей Андрианович Суслов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Юрий Владимирович Галдун.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Кузьма Архипович Лиманский?", + "support_text": "Кузьма Архипович Лиманский (7 ноября 1919, с. Кривошеевка, Курская губерния — 6 октября 1992, Белгород) — сержант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1943).\n\nЛитература.\nРатная доблесть белгородцев. Белгород, 1995.", + "text": "Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной. Город областного значения, образует муниципальное образование \"город Белгород\" со статусом городского округа. Население человек ().\n\nАдминистративное устройство.\n1992—1994 Юрий Иванович Селивёрстов. 1994—2001 Георгий Георгиевич Голиков. 2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 645, + "segment": "Юрий Владимирович Галдун" + } + ], + "meta": { + "id": 548, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 94, + "segment": "Белгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кузьма Архипович Лиманский (7 ноября 1919, с. Кривошеевка, Курская губерния — 6 октября 1992, Белгород) — сержант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1943).\n\nЛитература.\nРатная доблесть белгородцев. Белгород, 1995.\nТекст 2: Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной. Город областного значения, образует муниципальное образование \"город Белгород\" со статусом городского округа. Население человек ().\n\nАдминистративное устройство.\n1992—1994 Юрий Иванович Селивёрстов. 1994—2001 Георгий Георгиевич Голиков. 2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Кузьма Архипович Лиманский? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 329, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Адик Аскарович Абдурахманов является главой администрации в городе Челябинск, где он родился.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Адик Аскарович Абдурахманов?", + "support_text": "Адик Аскарович Абдурахманов (род. Челябинск, СССР) — дирижёр и флейтист, лауреат 1-го Всероссийского конкурса исполнителей на деревянных духовых инструментах (Ленинград, 1983), преподаватель, Заслуженный артист России (1999), основатель, художественный руководитель и дирижёр Челябинского симфонического оркестра при Челябинской государственной филармонии, профессор Челябинского института культуры. В 2019 г. указом Президента РФ В.В. Путиным удостоен медали ордена \"За заслуги перед Отечеством\" II степени. Почётный гражданин города Челябинска (2017) .", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 813, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 813, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 957, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 34, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Адик Аскарович Абдурахманов?\nТекст 1: Адик Аскарович Абдурахманов (род. Челябинск, СССР) — дирижёр и флейтист, лауреат 1-го Всероссийского конкурса исполнителей на деревянных духовых инструментах (Ленинград, 1983), преподаватель, Заслуженный артист России (1999), основатель, художественный руководитель и дирижёр Челябинского симфонического оркестра при Челябинской государственной филармонии, профессор Челябинского института культуры. В 2019 г. указом Президента РФ В.В. Путиным удостоен медали ордена \"За заслуги перед Отечеством\" II степени. Почётный гражданин города Челябинска (2017) .\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 404, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Саванка сливается с рекой Ратыня.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Саванка?", + "support_text": "Саванка — река в России, протекает в Сандовском районе Тверской области. Устье реки находится в 13 км по правому берегу реки Ратыня. Длина реки составляет 34 км, площадь водосборного бассейна — 141 кв км. У истока на реке стоит деревня Саваны Соболинского сельского поселения, ниже река течёт по территории Лукинского сельского поселения, по берегам стоят деревни Погорелка, Кресты, Борок, село Лукино, деревни Петровское, Гавриловское и Аннинское.", + "text": "Ратыня — река в Сандовском районе Тверской области России. Правый приток Мологи (бассейн Волги). Бассейн реки охватывает северную, северо-западную и центральную части Сандовского района. Длина реки — 69 км, площадь бассейна — 655 кв км. Исток у деревни Кстинкино Сандовского района, в 5 км к северу от посёлка Сандово." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 73, + "segment": "Мологи" + }, + { + "label": "passage", + "length": 6, + "offset": 73, + "segment": "Молога" + } + ], + "meta": { + "id": 616, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 125, + "segment": "Ратыня" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Саванка — река в России, протекает в Сандовском районе Тверской области. Устье реки находится в 13 км по правому берегу реки Ратыня. Длина реки составляет 34 км, площадь водосборного бассейна — 141 кв км. У истока на реке стоит деревня Саваны Соболинского сельского поселения, ниже река течёт по территории Лукинского сельского поселения, по берегам стоят деревни Погорелка, Кресты, Борок, село Лукино, деревни Петровское, Гавриловское и Аннинское.\nТекст 2: Ратыня — река в Сандовском районе Тверской области России. Правый приток Мологи (бассейн Волги). Бассейн реки охватывает северную, северо-западную и центральную части Сандовского района. Длина реки — 69 км, площадь бассейна — 655 кв км. Исток у деревни Кстинкино Сандовского района, в 5 км к северу от посёлка Сандово.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Саванка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Белая.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Упуда?", + "support_text": "Упуда (Батыриха) — река в России, протекает по Свердловской области. Устье реки находится в 642 км по правому берегу реки Уфа. Длина реки составляет 26 км. В 6,4 км от устья по правому берегу впадает река Индышняя.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 10010201112111100020841.", + "text": "Уфа (\"Уфимка\", \"Караидель\"; , — \"чёрная река\") — река на Урале и в Предуралье, в Челябинской, Свердловской областях и Башкортостане, правый и самый крупный приток реки Белой (бассейн Волги).\n\nХозяйственное использование.\nНа реке — Павловская ГЭС. Также созданы крупные водохранилища Долгобродское, Нязепетровское и Верхне-Араслановское. Воды широко используются для водоснабжения, из Нязепетровского водохранилища вода перекачивается для водоснабжения Екатеринбурга, из Долгобродского водохранилища — для водоснабжения Челябинска, Копейска, Кыштыма. Река сплавная. Судоходна от д. Усть-Аяз до устья (река Белая). Входит в перечень водных путей России. На реке расположены населённые пункты: г. Нязепетровск, д. Белянка, с. Шемаха, с." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 169, + "segment": "Белой" + }, + { + "label": "passage", + "length": 5, + "offset": 169, + "segment": "Белая" + } + ], + "meta": { + "id": 822, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 122, + "segment": "Уфа" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Упуда (Батыриха) — река в России, протекает по Свердловской области. Устье реки находится в 642 км по правому берегу реки Уфа. Длина реки составляет 26 км. В 6,4 км от устья по правому берегу впадает река Индышняя.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 10010201112111100020841.\nТекст 2: Уфа (\"Уфимка\", \"Караидель\"; , — \"чёрная река\") — река на Урале и в Предуралье, в Челябинской, Свердловской областях и Башкортостане, правый и самый крупный приток реки Белой (бассейн Волги).\n\nХозяйственное использование.\nНа реке — Павловская ГЭС. Также созданы крупные водохранилища Долгобродское, Нязепетровское и Верхне-Араслановское. Воды широко используются для водоснабжения, из Нязепетровского водохранилища вода перекачивается для водоснабжения Екатеринбурга, из Долгобродского водохранилища — для водоснабжения Челябинска, Копейска, Кыштыма. Река сплавная. Судоходна от д. Усть-Аяз до устья (река Белая). Входит в перечень водных путей России. На реке расположены населённые пункты: г. Нязепетровск, д. Белянка, с. Шемаха, с.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Упуда? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.11764705882352941, + "em": 0 + }, + "predict": " Михаил Петрович Драгоманов был гражданином Российской империи, где глава государства занимал должность императора и самодержца.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Михаил Петрович Драгоманов?", + "support_text": "Михаил Петрович Драгоманов ( , , , Российская империя — , Княжество Болгария, Османская империя) — украинский учёный и критик, публицист, историк, философ, экономист, фольклорист, общественный деятель, основатель украинского социализма. Один из организаторов \"Старой громады\" в Киеве. Доцент Киевского университета (1864-1875). Брат Ольги Косач, дядя Михаила Косача и Леси Украинки, повлиявший на её формирование как писателя, тесть Ивана Шишманова и Ивана Труша. Выдающийся идеолог украинцев-автономистов.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 964, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 36, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Михаил Петрович Драгоманов ( , , , Российская империя — , Княжество Болгария, Османская империя) — украинский учёный и критик, публицист, историк, философ, экономист, фольклорист, общественный деятель, основатель украинского социализма. Один из организаторов \"Старой громады\" в Киеве. Доцент Киевского университета (1864-1875). Брат Ольги Косач, дядя Михаила Косача и Леси Украинки, повлиявший на её формирование как писателя, тесть Ивана Шишманова и Ивана Труша. Выдающийся идеолог украинцев-автономистов.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nВопрос: Какую должность занимал глава государства в стране, гражданином которой был Михаил Петрович Драгоманов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Зубра", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Щерек?", + "support_text": "Щерек (Щирец, Щирок, Щирка) — река в Пустомытовском и Николаевском районах Львовской области Украины. Левый приток Днестра первого порядка (бассейн Чёрного моря). В 1950-х годах неподалеку от села Навария была перегорожена дамбой, в результате чего образовался хорошо известный львовянам водоём — Навария. Между сёлами Демня и Дроговиж сливается с рекой Зубра. Во время паводка часть стока Зубры поступает в Щерек. Река Щерек впадает в Днестр возле села Устье. Крупнейший приток Щерека — река Ставчанка (Бартатовка) длиной 21 км. Воды реки используются на промышленные и бытовые нужды, из-за чего в настоящее время экологическое состояние реки — неудовлетворительное.", + "text": "Днестр ( , , ) — река в Восточной Европе. Течёт с северо-запада на юго-восток в пределах территории Украины и Молдавии (в том числе по территории, подконтрольной непризнанной ПМР). Впадает в Чёрное море.\n\nФлора.\nВ степной (нижней) части бассейна леса сохранились преимущественно в оврагах и балках. Вся прустьевая часть Днестра покрыта густой растительностью (основные деревья — ивы, тополя). Вблизи лимана встречаются лишь единичные деревья. В Днестровских плавнях преобладает тростник обыкновенный. Среди водных растений распространены рдесты, сальвиния плавающая и водяной орех." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 191, + "segment": "Чёрное море" + } + ], + "meta": { + "id": 275, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 115, + "segment": "Днестр" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Щерек (Щирец, Щирок, Щирка) — река в Пустомытовском и Николаевском районах Львовской области Украины. Левый приток Днестра первого порядка (бассейн Чёрного моря). В 1950-х годах неподалеку от села Навария была перегорожена дамбой, в результате чего образовался хорошо известный львовянам водоём — Навария. Между сёлами Демня и Дроговиж сливается с рекой Зубра. Во время паводка часть стока Зубры поступает в Щерек. Река Щерек впадает в Днестр возле села Устье. Крупнейший приток Щерека — река Ставчанка (Бартатовка) длиной 21 км. Воды реки используются на промышленные и бытовые нужды, из-за чего в настоящее время экологическое состояние реки — неудовлетворительное.\nТекст 2: Днестр ( , , ) — река в Восточной Европе. Течёт с северо-запада на юго-восток в пределах территории Украины и Молдавии (в том числе по территории, подконтрольной непризнанной ПМР). Впадает в Чёрное море.\n\nФлора.\nВ степной (нижней) части бассейна леса сохранились преимущественно в оврагах и балках. Вся прустьевая часть Днестра покрыта густой растительностью (основные деревья — ивы, тополя). Вблизи лимана встречаются лишь единичные деревья. В Днестровских плавнях преобладает тростник обыкновенный. Среди водных растений распространены рдесты, сальвиния плавающая и водяной орех.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Щерек? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 396, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появилась на свет Карина Степановна Филиппова-Диодорова?", + "support_text": "Карина Степановна Филиппова-Диодорова (9 июля 1934, Горький — 25 октября 2019, Москва) — советская и российская поэтесса, актриса и театральный педагог.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1088, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1088, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 684, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 52, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Карина Степановна Филиппова-Диодорова (9 июля 1934, Горький — 25 октября 2019, Москва) — советская и российская поэтесса, актриса и театральный педагог.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган работает в городе, где появилась на свет Карина Степановна Филиппова-Диодорова? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 388, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.24000000000000002, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где родилась Наиля Файзрахмановна Гилязова, является мэром. С 17 ноября 2005 года мэр Казани И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Наиля Файзрахмановна Гилязова?", + "support_text": "Наиля Файзрахмановна Гилязова (род. Казань, Татарская АССР, РСФСР, СССР) — советская фехтовальщица на рапирах, заслуженный мастер спорта СССР (1976).\n\nДостижения.\nВ сборной команды страны с 1974 по 1985 год. 12-кратная чемпионка СССР. Выступала за \"Динамо\" (Казань). Награждена орденом Трудового Красного Знамени и медалью \"За трудовую доблесть\". Включена в энциклопедическое издание \"Гордость города Казани\" (2005 г.).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 456, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 36, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Наиля Файзрахмановна Гилязова (род. Казань, Татарская АССР, РСФСР, СССР) — советская фехтовальщица на рапирах, заслуженный мастер спорта СССР (1976).\n\nДостижения.\nВ сборной команды страны с 1974 по 1985 год. 12-кратная чемпионка СССР. Выступала за \"Динамо\" (Казань). Награждена орденом Трудового Красного Знамени и медалью \"За трудовую доблесть\". Включена в энциклопедическое издание \"Гордость города Казани\" (2005 г.).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nВопрос: Кто является главой администрации в городе, где родилась Наиля Файзрахмановна Гилязова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 354, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Лебеди", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Ушперек?", + "support_text": "Ушперек (в верховье — Большой Ушперек) — река в России, протекает в Республике Алтай, Алтайском крае. Устье реки находится в 27 км по правому берегу реки Сия. Длина реки составляет 11 км.", + "text": "Сия — река в России, протекает по территории Турочакского района Республики Алтай. Длина реки — 46 км. Начинается на склоне хребта Бийская Грива на границе Республики Алтай и Кемеровской области на высоте 676 метров над уровнем моря. Течёт в юго-западном направлении вдоль хребта Тадавар по местности, поросшей пихтово-берёзовым лесом. На реке стоит село Каяшкан, ниже него долина заболочена. У горы Моховой река поворачивает на юг. Устье реки находится на правом берегу реки Лебеди напротив урочища Аргочкин луг.\n\nПримечания.\nКатегория:Притоки Лебеди." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 476, + "segment": "Лебеди" + }, + { + "label": "passage", + "length": 6, + "offset": 548, + "segment": "Лебеди" + } + ], + "meta": { + "id": 847, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 154, + "segment": "Сия" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ушперек (в верховье — Большой Ушперек) — река в России, протекает в Республике Алтай, Алтайском крае. Устье реки находится в 27 км по правому берегу реки Сия. Длина реки составляет 11 км.\nТекст 2: Сия — река в России, протекает по территории Турочакского района Республики Алтай. Длина реки — 46 км. Начинается на склоне хребта Бийская Грива на границе Республики Алтай и Кемеровской области на высоте 676 метров над уровнем моря. Течёт в юго-западном направлении вдоль хребта Тадавар по местности, поросшей пихтово-берёзовым лесом. На реке стоит село Каяшкан, ниже него долина заболочена. У горы Моховой река поворачивает на юг. Устье реки находится на правом берегу реки Лебеди напротив урочища Аргочкин луг.\n\nПримечания.\nКатегория:Притоки Лебеди.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Ушперек? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Вардан Григорьевич Торосян?", + "support_text": "Вардан Григорьевич Торосян (р. 9 января 1948, Ереван) — российский философ, считает себя воспитанником армянской, московской и минской школ философии. Окончил факультет физики Ереванского государственного университета, по специальности \"астрофизика\" (1971), аспирантуру Института философии АН СССР (Москва), по специальности \"философские вопросы естествознания\" (1975). Доктор философских наук (1991), профессор (1996), академик Международной АН Высшей школы.\n\nБиография.\nАгасси (Мадралин, Польша). Исключительно плодотворной была также поездка в период стажировки в Чикаго к Ст. Тулмину. В 1987 году по приглашению В. Торосяна и Института философии АН СССР в Ереван приезжал Р. Коэн. Встречи с этими учёными, исключительно интересными и в чисто человеческом плане, заслуживают большой статьи или даже книги — своего рода \"Воспоминания о необычайной эпохе\".", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 325, + "segment": "городским советом" + } + ], + "meta": { + "id": 140, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вардан Григорьевич Торосян (р. 9 января 1948, Ереван) — российский философ, считает себя воспитанником армянской, московской и минской школ философии. Окончил факультет физики Ереванского государственного университета, по специальности \"астрофизика\" (1971), аспирантуру Института философии АН СССР (Москва), по специальности \"философские вопросы естествознания\" (1975). Доктор философских наук (1991), профессор (1996), академик Международной АН Высшей школы.\n\nБиография.\nАгасси (Мадралин, Польша). Исключительно плодотворной была также поездка в период стажировки в Чикаго к Ст. Тулмину. В 1987 году по приглашению В. Торосяна и Института философии АН СССР в Ереван приезжал Р. Коэн. Встречи с этими учёными, исключительно интересными и в чисто человеческом плане, заслуживают большой статьи или даже книги — своего рода \"Воспоминания о необычайной эпохе\".\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Вардан Григорьевич Торосян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 362, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Поеж сливается с рекой Белый Лух.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Поеж?", + "support_text": "Поеж — река в Нижегородской и Костромской областях России.\n\nОбщие сведения.\nРека течёт на юго-запад. Всё течение реки проходит по территории бывшего лагеря Унжлаг. Крупнейшие притоки: Брусничная, Пчелья, Чёрная (левые); Подрилка (правый). Впадает в реку Белый Лух в 88 км от её устья по правому берегу выше села Тимошино. Длина реки составляет 32 км, площадь водосборного бассейна — 180 кв км.", + "text": "Белый Лух — река в Костромской и Нижегородской областях России, левый приток Унжи. Длина реки составляет 119 км, площадь водосборного бассейна 1490 кв км. Протекает в лесах, в основном по территории Макарьевского района Костромской области. Берёт начало в заболоченной местности на востоке района, в 25 км к юго-западу от посёлка имени Калинина.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Унжа от истока и до устья, речной подбассейн реки — Бассейны притоков Волги ниже Рыбинского водохранилища до впадения Оки. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). Код водного объекта в государственном водном реестре — 08010300312110000016607." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 77, + "segment": "Унжи" + }, + { + "label": "passage", + "length": 4, + "offset": 77, + "segment": "Унжа" + } + ], + "meta": { + "id": 613, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "Белый Лух" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Поеж?\nТекст 1: Поеж — река в Нижегородской и Костромской областях России.\n\nОбщие сведения.\nРека течёт на юго-запад. Всё течение реки проходит по территории бывшего лагеря Унжлаг. Крупнейшие притоки: Брусничная, Пчелья, Чёрная (левые); Подрилка (правый). Впадает в реку Белый Лух в 88 км от её устья по правому берегу выше села Тимошино. Длина реки составляет 32 км, площадь водосборного бассейна — 180 кв км.\nТекст 2: Белый Лух — река в Костромской и Нижегородской областях России, левый приток Унжи. Длина реки составляет 119 км, площадь водосборного бассейна 1490 кв км. Протекает в лесах, в основном по территории Макарьевского района Костромской области. Берёт начало в заболоченной местности на востоке района, в 25 км к юго-западу от посёлка имени Калинина.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Унжа от истока и до устья, речной подбассейн реки — Бассейны притоков Волги ниже Рыбинского водохранилища до впадения Оки. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). Код водного объекта в государственном водном реестре — 08010300312110000016607.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 355, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16666666666666669, + "em": 0 + }, + "predict": " Родной город режиссёра фильма \"Дети Хуанг Ши\" — Оттава, Онтарио, Канада.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой город является родным для режиссёра фильма \"Дети Хуанг Ши\"?", + "support_text": "'Дети Хуан Ши' — историческая военная драма 2008 года режиссёра Роджера Споттисвуда. Сюжет фильма основан на биографии Джорджа Хогга, который спас около 60 китайских детей-сирот во время японо-китайской войны.", + "text": "Роджер Споттисвуд ( род. 5 января 1945, Оттава, Онтарио, Канада) — канадский и американский кинорежиссёр, автор телевизионных фильмов, сценарист." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 41, + "segment": "Оттава" + } + ], + "meta": { + "id": 117, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 64, + "segment": "Роджера Споттисвуда" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой город является родным для режиссёра фильма \"Дети Хуанг Ши\"?\nТекст 1: 'Дети Хуан Ши' — историческая военная драма 2008 года режиссёра Роджера Споттисвуда. Сюжет фильма основан на биографии Джорджа Хогга, который спас около 60 китайских детей-сирот во время японо-китайской войны.\nТекст 2: Роджер Споттисвуд ( род. 5 января 1945, Оттава, Онтарио, Канада) — канадский и американский кинорежиссёр, автор телевизионных фильмов, сценарист.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательная власть в городе, где умер Бабкен Адамович Колозян, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Бабкен Адамович Колозян?", + "support_text": "Бабкен Адамович Колозян (1909—1994), член Союза Художников СССР, заслуженный деятель искусств Арм. ССР, художник. Окончив гимназию, поступил в художественное училище Еревана, где учился в конце 20-х начале 30-х годов. Продолжил образование в Ленинградской Академии художеств, в мастерской профессора А. А. Осмёркина. Окончив Академию в 1938 г., в 1939 г. Бабкен Колозян переехал в Ереван, где начал преподавать в Ереванском Художественном училище. Со дня создания Ереванского Художественно-Театрального института в 1944 г. доцент и заведующий кафедрой живописи, вплоть до ухода на пенсию в 1972 г. . Награждён медалью \"За трудовое отличие\" (27.06.1956).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 125, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 166, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Бабкен Адамович Колозян (1909—1994), член Союза Художников СССР, заслуженный деятель искусств Арм. ССР, художник. Окончив гимназию, поступил в художественное училище Еревана, где учился в конце 20-х начале 30-х годов. Продолжил образование в Ленинградской Академии художеств, в мастерской профессора А. А. Осмёркина. Окончив Академию в 1938 г., в 1939 г. Бабкен Колозян переехал в Ереван, где начал преподавать в Ереванском Художественном училище. Со дня создания Ереванского Художественно-Театрального института в 1944 г. доцент и заведующий кафедрой живописи, вплоть до ухода на пенсию в 1972 г. . Награждён медалью \"За трудовое отличие\" (27.06.1956).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Какой законодательный орган принимает законы в городе, где умер Бабкен Адамович Колозян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 326, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15, + "em": 0 + }, + "predict": " Валерий Аркадьевич Дьяконов родился в городе Тюмень, который является административным центром Тюменской области и Тюменского района. Главой администрации в городе Тюмень является Руслан Николаевич Кухарук, назначенный на эту должность Тюменской городской Думой с 8 октября 2018 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валерий Аркадьевич Дьяконов?", + "support_text": "Валерий Аркадьевич Дьяконов (29 июля 1942, Тюмень — 6 мая 2015, Красноярск) — советский и российский театральный актёр и педагог. Народный артист РСФСР (1986). Лауреат Государственной премии РСФСР им. К. С. Станиславского (1982).", + "text": "Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре.\n\nАдминистративное деление.\nОрганы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 406, + "segment": "Руслан Николаевич Кухарук" + } + ], + "meta": { + "id": 480, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 43, + "segment": "Тюмень" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Валерий Аркадьевич Дьяконов?\nТекст 1: Валерий Аркадьевич Дьяконов (29 июля 1942, Тюмень — 6 мая 2015, Красноярск) — советский и российский театральный актёр и педагог. Народный артист РСФСР (1986). Лауреат Государственной премии РСФСР им. К. С. Станиславского (1982).\nТекст 2: Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре.\n\nАдминистративное деление.\nОрганы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Ёлтырева питается от реки Кеть, которая является притоком Оби.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Ёлтырева?", + "support_text": "Ёлтырева (Елтырева, Елтырёва, ; в верховьях Жигалова; южноселькупск. \"Суксигер\") — река в России, протекает по Томской области. Длина реки составляет 332 км, площадь водосборного бассейна — 5240 кв км. Берёт начало из озера Лебединого. Высота истока — 149,2 м над уровнем моря.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Кеть, речной подбассейн реки — бассейн притоков (верхней) Оби от Чулыма до Кети. Речной бассейн реки — (верхняя) Обь до впадения Иртыша.", + "text": "Кеть ( в верховье — Большая Кеть) — река в Сибири, правый приток Оби.\n\nГеография.\nПротекает по Западно-Сибирской равнине, по территориям Красноярского края и Томской области. До впадения реки Орловки очень извилиста, ниже разбивается на многочисленные протоки, которые изобилуют перекатами и в низкую воду нередко пересыхают. В Обь Кеть впадает двумя рукавами — Тогурская Кеть (ниже города Колпашево) и Копыловская Кеть, текущая вдоль Оби до Нарыма. Среднемноголетний годовой сток — 560 м³/с, 17,7 км³/год. Половодье с мая по август." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 66, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 66, + "segment": "Обь" + } + ], + "meta": { + "id": 768, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 436, + "segment": "Кеть" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Ёлтырева (Елтырева, Елтырёва, ; в верховьях Жигалова; южноселькупск. \"Суксигер\") — река в России, протекает по Томской области. Длина реки составляет 332 км, площадь водосборного бассейна — 5240 кв км. Берёт начало из озера Лебединого. Высота истока — 149,2 м над уровнем моря.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Кеть, речной подбассейн реки — бассейн притоков (верхней) Оби от Чулыма до Кети. Речной бассейн реки — (верхняя) Обь до впадения Иртыша.\nТекст 2: Кеть ( в верховье — Большая Кеть) — река в Сибири, правый приток Оби.\n\nГеография.\nПротекает по Западно-Сибирской равнине, по территориям Красноярского края и Томской области. До впадения реки Орловки очень извилиста, ниже разбивается на многочисленные протоки, которые изобилуют перекатами и в низкую воду нередко пересыхают. В Обь Кеть впадает двумя рукавами — Тогурская Кеть (ниже города Колпашево) и Копыловская Кеть, текущая вдоль Оби до Нарыма. Среднемноголетний годовой сток — 560 м³/с, 17,7 км³/год. Половодье с мая по август.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Ёлтырева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 375, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Премьер-лиге", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой зовут Сильвен Легвински?", + "support_text": "Сильвен Легвински ( 6 октября 1973, Клермон-Ферран, Пюи-де-Дом, Овернь, Франция) — французский футболист полузащитник, известен как футболист \"Монако\" и \"Фулхэма\".\n\nКлубная карьера.\nЗа клуб провел 47 матчей и забил 7 голов. В 2008 году после ухода из \"Ипсвич Таун\" пробовал свои силы на просмотре в клубах \"Гётеборг\" и \"Эргрюте\", но так и не подписал контракт ни с одним из клубов. В марте 2009 году становится играющим тренером \"Сент Неотс Таун\". Позднее был тренером молодёжи в \"Кристал Пэлас\". С 2011 года — тренер молодёжного состава \"Монако\".", + "text": "'Кристал Пэлас' (полное название — Футбольный клуб 'Кристал Пэлас', , ) — английский профессиональный футбольный клуб из Кройдона, южный Лондон. В настоящее время выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии.\n\nИстория.\nОднако, выступая в программе 'Great Britain United' на канале 'Channel Four', президент клуба Рон Нодс высказал унизительные комментарии о трудолюбии темнокожих игроков клуба. Позднее он это отрицал и настаивал, что его слова были вырваны из контекста. В ответ на эти выпады Иан Райт, лучший бомбардир клуба, посреди сезона ушёл в 'Арсенал', а 'Кристал Пэлас' завершил сезон на 10-м месте. Тем не менее, это позволило клубу стать одним из основателей Премьер-лиги, учреждённой в 1992 году. После основания Премьер-лиги. Ущерб от заявления Нодса продолжал сказываться, и после ухода нескольких игроков 'Пэлас' был обречён на борьбу за выживание." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 175, + "segment": "Премьер-лиге" + } + ], + "meta": { + "id": 700, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 485, + "segment": "Кристал Пэлас" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сильвен Легвински ( 6 октября 1973, Клермон-Ферран, Пюи-де-Дом, Овернь, Франция) — французский футболист полузащитник, известен как футболист \"Монако\" и \"Фулхэма\".\n\nКлубная карьера.\nЗа клуб провел 47 матчей и забил 7 голов. В 2008 году после ухода из \"Ипсвич Таун\" пробовал свои силы на просмотре в клубах \"Гётеборг\" и \"Эргрюте\", но так и не подписал контракт ни с одним из клубов. В марте 2009 году становится играющим тренером \"Сент Неотс Таун\". Позднее был тренером молодёжи в \"Кристал Пэлас\". С 2011 года — тренер молодёжного состава \"Монако\".\nТекст 2: 'Кристал Пэлас' (полное название — Футбольный клуб 'Кристал Пэлас', , ) — английский профессиональный футбольный клуб из Кройдона, южный Лондон. В настоящее время выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии.\n\nИстория.\nОднако, выступая в программе 'Great Britain United' на канале 'Channel Four', президент клуба Рон Нодс высказал унизительные комментарии о трудолюбии темнокожих игроков клуба. Позднее он это отрицал и настаивал, что его слова были вырваны из контекста. В ответ на эти выпады Иан Райт, лучший бомбардир клуба, посреди сезона ушёл в 'Арсенал', а 'Кристал Пэлас' завершил сезон на 10-м месте. Тем не менее, это позволило клубу стать одним из основателей Премьер-лиги, учреждённой в 1992 году. После основания Премьер-лиги. Ущерб от заявления Нодса продолжал сказываться, и после ухода нескольких игроков 'Пэлас' был обречён на борьбу за выживание.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какой лиге играет команда, тренера которой зовут Сильвен Легвински? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Верхняя Целега впадает в реку Мезень.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Верхняя Целега?", + "support_text": "Верхняя Целега — река в России, протекает по Архангельской области. Устье реки находится в 128 км по правому берегу реки Мезень. Длина реки составляет 13 км. В низовье на берегах расположены деревни Мелогора и Целегора.\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от водомерного поста деревни Малонисогорская и до устья. Речной бассейн реки — Мезень. Код объекта в государственном водном реестре — 03030000212103000048920.", + "text": "Мезень — река в России, протекает по территории Республики Коми и Архангельской области. Длина реки — 966 км, площадь водосборного бассейна — 78 000 кв км.\n\nГеография.\nБерёт своё начало из болот на западных склонах Тиманского кряжа (Республика Коми). В верхней половине часто меняет направление течения. На территории Архангельской области течёт в основном на северо-запад. Впадает в Мезенскую губу Белого моря. В устье расположен город Мезень. В верхнем течении берега высокие и скалистые, в среднем течении Мезень извилиста, много перекатов, затрудняющих судоходство." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 387, + "segment": "Мезенскую губу" + } + ], + "meta": { + "id": 264, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 121, + "segment": "Мезень" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Верхняя Целега — река в России, протекает по Архангельской области. Устье реки находится в 128 км по правому берегу реки Мезень. Длина реки составляет 13 км. В низовье на берегах расположены деревни Мелогора и Целегора.\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от водомерного поста деревни Малонисогорская и до устья. Речной бассейн реки — Мезень. Код объекта в государственном водном реестре — 03030000212103000048920.\nТекст 2: Мезень — река в России, протекает по территории Республики Коми и Архангельской области. Длина реки — 966 км, площадь водосборного бассейна — 78 000 кв км.\n\nГеография.\nБерёт своё начало из болот на западных склонах Тиманского кряжа (Республика Коми). В верхней половине часто меняет направление течения. На территории Архангельской области течёт в основном на северо-запад. Впадает в Мезенскую губу Белого моря. В устье расположен город Мезень. В верхнем течении берега высокие и скалистые, в среднем течении Мезень извилиста, много перекатов, затрудняющих судоходство.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Верхняя Целега?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 329, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вэркы-Чатылькы.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Вэркы-Чатылькы?", + "support_text": "Вэркы-Чатылькы (\"устар.\" Воргэ-Чатыль-Кы) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 47 км по левому берегу реки Чатылькы. Длина реки составляет 92 км.", + "text": "Чатылькы — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 148 км по правому берегу реки Толька. Длина реки составляет 47 км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 139, + "segment": "Толька" + } + ], + "meta": { + "id": 414, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 6, + "segment": "Чатылькы" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Вэркы-Чатылькы?\nТекст 1: Вэркы-Чатылькы (\"устар.\" Воргэ-Чатыль-Кы) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 47 км по левому берегу реки Чатылькы. Длина реки составляет 92 км.\nТекст 2: Чатылькы — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 148 км по правому берегу реки Толька. Длина реки составляет 47 км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " остров Идра", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Иоанниса Дамианоса (флотоводца)?", + "support_text": "Иоаннис Дамианос ( 31 января 1861, остров Идра — 12 июня 1920) — греческий вице-адмирал Военно-морских сил Греции, политический и государственный деятель, министр военно-морских дел Греции.\n\nБиография.\nВнук Иоанниса Дамианоса, юриста, политика, парламентария и министра юстиции Греции. Брат Константиноса Дамианоса, генерал-лейтенанта греческой армии, участник Балканских войн 1912—1913 годов. Окончил Греческую военно-морскую академию.", + "text": "Константинос Дамианос ( 1853—1915) — генерал-лейтенант греческой армии, участник Балканских войн 1912—1913 годов.\n\nБиография.\nКонстантинос Дамианос родился на острове Идра в 1853 году. Внук политика Иоанниса Дамианоса." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 170, + "segment": "Идра" + } + ], + "meta": { + "id": 24, + "bridge_answers": [ + { + "label": "passage", + "length": 23, + "offset": 295, + "segment": "Константиноса Дамианоса" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иоаннис Дамианос ( 31 января 1861, остров Идра — 12 июня 1920) — греческий вице-адмирал Военно-морских сил Греции, политический и государственный деятель, министр военно-морских дел Греции.\n\nБиография.\nВнук Иоанниса Дамианоса, юриста, политика, парламентария и министра юстиции Греции. Брат Константиноса Дамианоса, генерал-лейтенанта греческой армии, участник Балканских войн 1912—1913 годов. Окончил Греческую военно-морскую академию.\nТекст 2: Константинос Дамианос ( 1853—1915) — генерал-лейтенант греческой армии, участник Балканских войн 1912—1913 годов.\n\nБиография.\nКонстантинос Дамианос родился на острове Идра в 1853 году. Внук политика Иоанниса Дамианоса.\nОпираясь на факты в данных текстах, ответьте на вопрос: Где родился человек, который был братом Иоанниса Дамианоса (флотоводца)? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 267, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4, + "em": 0 + }, + "predict": " Верховный Совет СССР.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родилась Нина Ивановна Стрельникова (металлург)?", + "support_text": "Нина Ивановна Стрельникова ( станция Авдеевка, теперь Донецкой области — ?) — главный металлург Днепропетровского завода металлургического оборудования Днепропетровской области. Депутат Верховного Совета СССР 4-5-го созывов.", + "text": "Авдеевка — город на востоке Украины в центральной части Донецкой области. Расположен в 13 км к северу от Донецка, в верховьях реки Каменки (приток Кривого Торца, бассейн Северского Донца). Железнодорожная станция.\n\nСмотрите также.\n* Авдеевский городской совет." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 247, + "segment": "городской совет" + } + ], + "meta": { + "id": 290, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 37, + "segment": "Авдеевка" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Нина Ивановна Стрельникова ( станция Авдеевка, теперь Донецкой области — ?) — главный металлург Днепропетровского завода металлургического оборудования Днепропетровской области. Депутат Верховного Совета СССР 4-5-го созывов.\nТекст 2: Авдеевка — город на востоке Украины в центральной части Донецкой области. Расположен в 13 км к северу от Донецка, в верховьях реки Каменки (приток Кривого Торца, бассейн Северского Донца). Железнодорожная станция.\n\nСмотрите также.\n* Авдеевский городской совет.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родилась Нина Ивановна Стрельникова (металлург)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.26666666666666666, + "em": 0 + }, + "predict": " Городской совет Еревана принимает законы в городе, где умер Геворк Амбарцумович Абаджян.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Геворк Амбарцумович Абаджян?", + "support_text": "Геворк Амвросьевич Абаджян ( 12 декабря 1920, Шнох (ныне Лорийская область), Армянская ССР — 8 октября 2002, Ереван, Армения) — советский и армянский театральный и литературный критик. Заслуженный деятель искусств Армянской ССР (1972), (1956). Брат актёра Владимира Абаджяна.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 130, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 109, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Геворк Амвросьевич Абаджян ( 12 декабря 1920, Шнох (ныне Лорийская область), Армянская ССР — 8 октября 2002, Ереван, Армения) — советский и армянский театральный и литературный критик. Заслуженный деятель искусств Армянской ССР (1972), (1956). Брат актёра Владимира Абаджяна.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Геворк Амбарцумович Абаджян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.047619047619047616, + "em": 0 + }, + "predict": " С рекой Лобань. В тексте 1 указано, что Вахма впадает в Лобань у деревни Тат-Бояры, в то время как в тексте 2 Лобань описывается как правый приток реки Кильмезь, а Кильмезь — как правый приток Волги. Таким образом, Лобань является рекой", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Вахма?", + "support_text": "Вахма — река в России, протекает в Немском и Кильмезском районах Кировской области. Устье реки находится в 77 км по левому берегу реки Лобань. Длина реки составляет 19 км, площадь водосборного бассейна 131 кв км. Исток реки в лесном массиве на границе с Республикой Удмуртией в 40 км к юго-востоку от посёлка Нема. Река течёт на юго-запад по заболоченному лесному массиву. В среднем течении на реке стоит деревня Волга (Рыбно-Ватажское сельское поселение). Притоки — Прича (левый); Талык, Плащинка (правые). Впадает в Лобань у деревни Тат-Бояры.", + "text": "Лобань — река в Кировской области, правый приток реки Кильмезь (бассейн Волги). Длина реки составляет 169 км (от истока реки Белая Лобань — 207 км). Площадь водосборного бассейна — 2810 кв км. Устье реки находится в 71 км по правому берегу реки Кильмезь. Река образуется слиянием рек Белая Лобань и Чёрная Лобань в 17 км к юго-западу от посёлка Богородское. Генеральное направление течения — юго-восток. Большая часть течения проходит по ненаселённому заболоченному лесу, в среднем течении на берегах деревни Тат-Бояры, Каменный Перебор и Рыбная Ватага (все — Рыбно-Ватажское сельское поселение)." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 54, + "segment": "Кильмезь" + }, + { + "label": "passage", + "length": 8, + "offset": 245, + "segment": "Кильмезь" + } + ], + "meta": { + "id": 900, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 135, + "segment": "Лобань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Вахма — река в России, протекает в Немском и Кильмезском районах Кировской области. Устье реки находится в 77 км по левому берегу реки Лобань. Длина реки составляет 19 км, площадь водосборного бассейна 131 кв км. Исток реки в лесном массиве на границе с Республикой Удмуртией в 40 км к юго-востоку от посёлка Нема. Река течёт на юго-запад по заболоченному лесному массиву. В среднем течении на реке стоит деревня Волга (Рыбно-Ватажское сельское поселение). Притоки — Прича (левый); Талык, Плащинка (правые). Впадает в Лобань у деревни Тат-Бояры.\nТекст 2: Лобань — река в Кировской области, правый приток реки Кильмезь (бассейн Волги). Длина реки составляет 169 км (от истока реки Белая Лобань — 207 км). Площадь водосборного бассейна — 2810 кв км. Устье реки находится в 71 км по правому берегу реки Кильмезь. Река образуется слиянием рек Белая Лобань и Чёрная Лобань в 17 км к юго-западу от посёлка Богородское. Генеральное направление течения — юго-восток. Большая часть течения проходит по ненаселённому заболоченному лесу, в среднем течении на берегах деревни Тат-Бояры, Каменный Перебор и Рыбная Ватага (все — Рыбно-Ватажское сельское поселение).\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Вахма?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 366, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Верхняя Лупья", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Скырлос?", + "support_text": "Скырлос — река в России, протекает в Республике Коми, Архангельской области. Устье реки находится в 6 км по левому берегу реки Тыва. Длина реки составляет 10 км.", + "text": "Тыва — река в России, протекает в Ленском районе Архангельской области. Является правым притоком реки Верхняя Лупья (бассейн Северной Двины).\n\nГеография.\nУстье реки находится в 115 км по правому берегу реки Верхняя Лупья. У истока реку пересекает железная дорога Котлас — Микунь, река дала название железнодорожной станции и посёлку при ней — Тыва. Длина реки составляет 25 км." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 102, + "segment": "Верхняя Лупья" + } + ], + "meta": { + "id": 620, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 127, + "segment": "Тыва" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Скырлос — река в России, протекает в Республике Коми, Архангельской области. Устье реки находится в 6 км по левому берегу реки Тыва. Длина реки составляет 10 км.\nТекст 2: Тыва — река в России, протекает в Ленском районе Архангельской области. Является правым притоком реки Верхняя Лупья (бассейн Северной Двины).\n\nГеография.\nУстье реки находится в 115 км по правому берегу реки Верхняя Лупья. У истока реку пересекает железная дорога Котлас — Микунь, река дала название железнодорожной станции и посёлку при ней — Тыва. Длина реки составляет 25 км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Скырлос? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Малый Кундыш", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Шуля?", + "support_text": "Шуля — река в России, протекает в Советском районе Республики Марий Эл. Устье реки находится в 70 км по правому берегу Малого Кундыша. Длина реки составляет 32 км, площадь водосборного бассейна 191 кв км. Исток реки у деревни Шуле-Мучаш в 8 км к северо-западу от посёлка Советский. Река течёт на юг, протекает деревню Прокопьево, ниже течёт в 5 км к западу от посёлка Советский, ещё ниже протекает село Чкарино, возле которого на реке сеть мелиоративных канав, а также деревни Кукшумбал и Шуледур.", + "text": "Малый Кундыш — река в Марий Эл, левый приток Малой Кокшаги (бассейн Волги), впадает в 44 км от её устья по левому берегу. Длина реки — 107 км, площадь водосборного бассейна — 1310 кв км. Исток реки находится на Вятском Увале у деревни Янгранур в 16 км к северо-востоку от посёлка Советский. Исток находится рядом с истоком реки Шуй, здесь проходит водораздел бассейнов Малой Кокшаги и Вятки. Течёт на юго-запад, русло крайне извилистое, особенно в нижнем течении." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 45, + "segment": "Малой Кокшаги" + }, + { + "label": "passage", + "length": 13, + "offset": 45, + "segment": "Малую Кокшагу" + } + ], + "meta": { + "id": 360, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 119, + "segment": "Малого Кундыша" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Шуля — река в России, протекает в Советском районе Республики Марий Эл. Устье реки находится в 70 км по правому берегу Малого Кундыша. Длина реки составляет 32 км, площадь водосборного бассейна 191 кв км. Исток реки у деревни Шуле-Мучаш в 8 км к северо-западу от посёлка Советский. Река течёт на юг, протекает деревню Прокопьево, ниже течёт в 5 км к западу от посёлка Советский, ещё ниже протекает село Чкарино, возле которого на реке сеть мелиоративных канав, а также деревни Кукшумбал и Шуледур.\nТекст 2: Малый Кундыш — река в Марий Эл, левый приток Малой Кокшаги (бассейн Волги), впадает в 44 км от её устья по левому берегу. Длина реки — 107 км, площадь водосборного бассейна — 1310 кв км. Исток реки находится на Вятском Увале у деревни Янгранур в 16 км к северо-востоку от посёлка Советский. Исток находится рядом с истоком реки Шуй, здесь проходит водораздел бассейнов Малой Кокшаги и Вятки. Течёт на юго-запад, русло крайне извилистое, особенно в нижнем течении.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Шуля? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 327, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Всеволод Иванович Всеволодов?", + "support_text": "Всеволод Иванович Всеволодов (1790—1863) — российский , профессор ветеринарной науки в Императорской медико-хирургической академии Санкт-Петербурга; доктор медицины.\n\nБиография.\nВсеволод Всеволодов родился в 1790 году в селе Марьинское, Нерехтского уезда Костромской губернии Российской империи. В 1815 году окончил Санкт-Петербургскую медико-хирургическую академию по кафедре ветеринарии, а в следующем году завершил обучение в ИМХА по медицинскому отделению. Наиболее известные научные труды В. И. Всеволодова: \"Наружный осмотр (экстерьер) домашних животных, преимущественно лошади\" (1832); \"Зоохирургия или руководительная ветеринарная наука\" (1834); \"Курс скотоводства\" (1836); \"Краткая патология скотоврачебной науки\" (1838); \"Опыт учения о повальных болезнях между животными\" (1846); \"О чуме рогатого скота\" (1846); \"Анатомия домашних животных, преимущественно млекопитающих\" (1846—1847).", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1020, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 279, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Всеволод Иванович Всеволодов (1790—1863) — российский , профессор ветеринарной науки в Императорской медико-хирургической академии Санкт-Петербурга; доктор медицины.\n\nБиография.\nВсеволод Всеволодов родился в 1790 году в селе Марьинское, Нерехтского уезда Костромской губернии Российской империи. В 1815 году окончил Санкт-Петербургскую медико-хирургическую академию по кафедре ветеринарии, а в следующем году завершил обучение в ИМХА по медицинскому отделению. Наиболее известные научные труды В. И. Всеволодова: \"Наружный осмотр (экстерьер) домашних животных, преимущественно лошади\" (1832); \"Зоохирургия или руководительная ветеринарная наука\" (1834); \"Курс скотоводства\" (1836); \"Краткая патология скотоврачебной науки\" (1838); \"Опыт учения о повальных болезнях между животными\" (1846); \"О чуме рогатого скота\" (1846); \"Анатомия домашних животных, преимущественно млекопитающих\" (1846—1847).\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Всеволод Иванович Всеволодов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 589, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Найроби", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уроженцем какого города является режиссёр фильма \"Мистер Джонс\"?", + "support_text": "'Мистер Джонс' — американская мелодрама режиссёра Майка Фиггиса по произведению Эрика Рота. Премьера фильма состоялась 8 октября 1993 года.\n\nСъёмочная группа.\nРежиссёр-постановщик: Майк Фиггис. Сценаристы: Эрик Рот, Майкл Кристофер.", + "text": "Майк Фиггис ( род. 1948) — британский кинорежиссёр, сценарист, продюсер и композитор.\n\nБиография.\nРодился 28 февраля 1948 года в Карлайле, Англия, однако до 8 лет жил в Найроби в Кении. В юности Фиггис учился в музыкальной школе и играл в группе Брайана Ферри." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 133, + "segment": "Карлайле" + }, + { + "label": "passage", + "length": 8, + "offset": 133, + "segment": "Карлайл" + } + ], + "meta": { + "id": 643, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 50, + "segment": "Майка Фиггиса" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: 'Мистер Джонс' — американская мелодрама режиссёра Майка Фиггиса по произведению Эрика Рота. Премьера фильма состоялась 8 октября 1993 года.\n\nСъёмочная группа.\nРежиссёр-постановщик: Майк Фиггис. Сценаристы: Эрик Рот, Майкл Кристофер.\nТекст 2: Майк Фиггис ( род. 1948) — британский кинорежиссёр, сценарист, продюсер и композитор.\n\nБиография.\nРодился 28 февраля 1948 года в Карлайле, Англия, однако до 8 лет жил в Найроби в Кении. В юности Фиггис учился в музыкальной школе и играл в группе Брайана Ферри.\nОпираясь на данные тексты, ответьте на вопрос: Уроженцем какого города является режиссёр фильма \"Мистер Джонс\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Глава администрации в городе, где родилась Фарида Рашидовна Курбангалеева, является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Фарида Рашидовна Курбангалеева?", + "support_text": "Фарида Рашидовна Курбангалеева ( 27 августа 1979, Казань) — российская журналистка, в прошлом — телеведущая программы \"Вести\" на телеканале \"Россия-1\" (2007—2014).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 550, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 163, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 51, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Фарида Рашидовна Курбангалеева ( 27 августа 1979, Казань) — российская журналистка, в прошлом — телеведущая программы \"Вести\" на телеканале \"Россия-1\" (2007—2014).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nВопрос: Кто является главой администрации в городе, где родилась Фарида Рашидовна Курбангалеева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Премьер-лиге.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, которую тренирует Рой Ходжсон?", + "support_text": "Рой Ходжсон ( 9 августа 1947, Кройдон, Лондон, Англия) — английский футболист и тренер. Главный тренер клуба \"Кристал Пэлас\". Наибольшей известности Ходжсон достиг во время руководства сборной Швейцарии, он вывел швейцарцев в финальную часть чемпионат мира 1994, впервые за 28 лет и вывел её на Евро-96, впервые за 36 лет. Он тренировал многие клубы из разных стран, в том числе \"Мальмё\", \"Интер\", \"Блэкберн Роверс\", \"Удинезе\", \"Фулхэм\", \"Ливерпуль\" и \"Вест Бромвич Альбион\". Также известен как главный тренер сборной Англии.\n\nКарьера игрока.\nРой был довольно посредственным футболистом, не сумевшим пробиться в основу \"Кристал Пэлас\", большая часть его карьеры прошла в клубах низших лиг. Испытав себя в роли ассистента тренера \"Мейдстон Юнайтед\", он получил кое-какие знания и взгляды на игру, а потому решил попробовать себя на тренерском поприще. Свой первый опыт работы главным тренером он получил за границей, в Швеции.", + "text": "'Кристал Пэлас' (полное название — Футбольный клуб 'Кристал Пэлас', , ) — английский профессиональный футбольный клуб из Кройдона, южный Лондон. В настоящее время выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии. Клуб был основан в 1905 году. С 1924 года выступает на стадионе 'Селхерст Парк'.\n\nИстория.\nОднако, выступая в программе 'Great Britain United' на канале 'Channel Four', президент клуба Рон Нодс высказал унизительные комментарии о трудолюбии темнокожих игроков клуба. Позднее он это отрицал и настаивал, что его слова были вырваны из контекста. В ответ на эти выпады Иан Райт, лучший бомбардир клуба, посреди сезона ушёл в 'Арсенал', а 'Кристал Пэлас' завершил сезон на 10-м месте. Тем не менее, это позволило клубу стать одним из основателей Премьер-лиги, учреждённой в 1992 году. После основания Премьер-лиги. Ущерб от заявления Нодса продолжал сказываться, и после ухода нескольких игроков 'Пэлас' был обречён на борьбу за выживание. Несмотря на бескомпромиссную игру в шестом туре с 'Блэкберн Роверс', которая закончилась вничью 3:3, многие игроки не желали больше выступать в клубе, включая игрока сезона 1989/90 Марка Брайта." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 175, + "segment": "Премьер-лиге" + } + ], + "meta": { + "id": 323, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 111, + "segment": "Кристал Пэлас" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Рой Ходжсон ( 9 августа 1947, Кройдон, Лондон, Англия) — английский футболист и тренер. Главный тренер клуба \"Кристал Пэлас\". Наибольшей известности Ходжсон достиг во время руководства сборной Швейцарии, он вывел швейцарцев в финальную часть чемпионат мира 1994, впервые за 28 лет и вывел её на Евро-96, впервые за 36 лет. Он тренировал многие клубы из разных стран, в том числе \"Мальмё\", \"Интер\", \"Блэкберн Роверс\", \"Удинезе\", \"Фулхэм\", \"Ливерпуль\" и \"Вест Бромвич Альбион\". Также известен как главный тренер сборной Англии.\n\nКарьера игрока.\nРой был довольно посредственным футболистом, не сумевшим пробиться в основу \"Кристал Пэлас\", большая часть его карьеры прошла в клубах низших лиг. Испытав себя в роли ассистента тренера \"Мейдстон Юнайтед\", он получил кое-какие знания и взгляды на игру, а потому решил попробовать себя на тренерском поприще. Свой первый опыт работы главным тренером он получил за границей, в Швеции.\nТекст 2: 'Кристал Пэлас' (полное название — Футбольный клуб 'Кристал Пэлас', , ) — английский профессиональный футбольный клуб из Кройдона, южный Лондон. В настоящее время выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии. Клуб был основан в 1905 году. С 1924 года выступает на стадионе 'Селхерст Парк'.\n\nИстория.\nОднако, выступая в программе 'Great Britain United' на канале 'Channel Four', президент клуба Рон Нодс высказал унизительные комментарии о трудолюбии темнокожих игроков клуба. Позднее он это отрицал и настаивал, что его слова были вырваны из контекста. В ответ на эти выпады Иан Райт, лучший бомбардир клуба, посреди сезона ушёл в 'Арсенал', а 'Кристал Пэлас' завершил сезон на 10-м месте. Тем не менее, это позволило клубу стать одним из основателей Премьер-лиги, учреждённой в 1992 году. После основания Премьер-лиги. Ущерб от заявления Нодса продолжал сказываться, и после ухода нескольких игроков 'Пэлас' был обречён на борьбу за выживание. Несмотря на бескомпромиссную игру в шестом туре с 'Блэкберн Роверс', которая закончилась вничью 3:3, многие игроки не желали больше выступать в клубе, включая игрока сезона 1989/90 Марка Брайта.\nОпираясь на данные тексты, ответьте на вопрос: В какой лиге играет команда, которую тренирует Рой Ходжсон? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 610, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Павел Коньков является главой администрации в Ивановской области, где родился Виктор Дмитриевич Козлов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Виктор Дмитриевич Козлов?", + "support_text": "Виктор Дмитриевич Козлов (1916—1995) — полковник Советской Армии, участник советско-финской войны, Герой Советского Союза (1940).\n\nБиография.\nВиктор Козлов родился 7 сентября 1916 года в деревне Демнево (ныне — Ильинский район Ивановской области). Окончил семь классов школы, затем курсы трактористом и техникум механизации сельского хозяйства, после чего работал в машинно-тракторной станции.", + "text": "Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел. Областной центр — город Иваново (расстояние до Москвы — 275 км). Код региона — 37.\n\nОбластная власть.\nВ 22 из 24 одномандатных округов выиграли кандидаты, выдвинутые \"Единой Россией\". По партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей. В этот же день состоялись выборы в Ивановскую областную думу. Десять мандатов из тринадцати получили кандидаты, выдвинутые партией \"Единая Россия\", два мандата — кандидаты от КПРФ и один мандат — кандидат от \"Справедливой России\"." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 1290, + "segment": "Станислав Воскресенский" + } + ], + "meta": { + "id": 930, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 230, + "segment": "Ивановской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Виктор Дмитриевич Козлов (1916—1995) — полковник Советской Армии, участник советско-финской войны, Герой Советского Союза (1940).\n\nБиография.\nВиктор Козлов родился 7 сентября 1916 года в деревне Демнево (ныне — Ильинский район Ивановской области). Окончил семь классов школы, затем курсы трактористом и техникум механизации сельского хозяйства, после чего работал в машинно-тракторной станции.\nТекст 2: Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел. Областной центр — город Иваново (расстояние до Москвы — 275 км). Код региона — 37.\n\nОбластная власть.\nВ 22 из 24 одномандатных округов выиграли кандидаты, выдвинутые \"Единой Россией\". По партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей. В этот же день состоялись выборы в Ивановскую областную думу. Десять мандатов из тринадцати получили кандидаты, выдвинутые партией \"Единая Россия\", два мандата — кандидаты от КПРФ и один мандат — кандидат от \"Справедливой России\".\nВопрос: Кто является главой администрации в регионе, где родился Виктор Дмитриевич Козлов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 527, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательная власть в городе, где умер Степан Данилович Лисициан, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где умер Степан Данилович Лисициан?", + "support_text": "Степан Данилович Лисициан ( 22 сентября (4 октября) 1865, Тифлис, — 4 января 1947, Ереван) — известный российский и советский педагог, учёный, этнограф, филолог, географ, основатель и первый председатель Армянского географического общества. Заслуженный деятель науки Армянской ССР (1945), доктор географических наук, профессор (1941).\n\nБиография.\nСтепан Лисициан родился 4 октября 1865 года в Тифлисе в семье генерала медицинской службы Даниила Христофоровича Лисициана. В 1889 году окончил историко-филологический факультет Варшавского университета, после чего занимался преподавательской деятельностью в духовных семинариях Геворкян и Нерсисян. В 1898 году вместе со своей женой Катарине Лисициан (Ахашян) открыл в Тифлисе армянскую начальную школу, впоследствии преобразованную в гимназию. Совместно с Ованесом Туманяном и Левоном Шантом составил и издал учебник армянского языка \"Лусабер\", ставший на тот момент главным пособием по армянскому языку в Закавказье и использовавшийся в армянских школах разных стран мира вплоть до 1960-х годов. В 1924 году Степан Лисициан переехал в Ереван, где продолжил свою преподавательскую деятельность в Ереванском государственном университете. Одновременно он занимался исследования географии и этнографии Армении, издал ряд научных трудов в этой области.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 310, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 84, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Степан Данилович Лисициан ( 22 сентября (4 октября) 1865, Тифлис, — 4 января 1947, Ереван) — известный российский и советский педагог, учёный, этнограф, филолог, географ, основатель и первый председатель Армянского географического общества. Заслуженный деятель науки Армянской ССР (1945), доктор географических наук, профессор (1941).\n\nБиография.\nСтепан Лисициан родился 4 октября 1865 года в Тифлисе в семье генерала медицинской службы Даниила Христофоровича Лисициана. В 1889 году окончил историко-филологический факультет Варшавского университета, после чего занимался преподавательской деятельностью в духовных семинариях Геворкян и Нерсисян. В 1898 году вместе со своей женой Катарине Лисициан (Ахашян) открыл в Тифлисе армянскую начальную школу, впоследствии преобразованную в гимназию. Совместно с Ованесом Туманяном и Левоном Шантом составил и издал учебник армянского языка \"Лусабер\", ставший на тот момент главным пособием по армянскому языку в Закавказье и использовавшийся в армянских школах разных стран мира вплоть до 1960-х годов. В 1924 году Степан Лисициан переехал в Ереван, где продолжил свою преподавательскую деятельность в Ереванском государственном университете. Одновременно он занимался исследования географии и этнографии Армении, издал ряд научных трудов в этой области.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где умер Степан Данилович Лисициан?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В Германии", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родилась дочь Феликса Бербера?", + "support_text": "Карл Генрих Феликс Бербер ( , — ) — немецкий , . Отец Аниты Бербер.", + "text": "Анита Бербер ( 10 июня 1899 — 10 ноября 1928) — известная в 20-х годах немецкая танцовщица и актриса немого кино. Прославилась откровенными, насыщенными эротизмом танцевальными номерами и скандальным поведением.\n\nБиография.\nПосле бегства Дросте новым партнёром Бербер стал американец-гомосексуал Генри Шатен-Хоффман. 10 сентября 1924 года они сочетались браком. В паре с Шатен-Хоффманом Анита произвела фурор, выступая с танцевальными номерами \"Ракета\", \"Огни рампы\", \"Белая мышка\" и \"Звуки и дым\". Они посетили с сенсационными гастролями Кёльн, Дюссельдорф, Лейпциг и Вроцлав (в те годы — Бреслау), а в Гамбурге представили зрителям обновлённую программу под названием \"Танцы эротики и восторга\". В 1928 году супруги гастролировали на Ближнем Востоке, и это турне стало для Бербер последним. В июле, выступая в Дамаске, танцовщица прямо на сцене почувствовала сильное недомогание. Её перевезли в Берлин, и 10 ноября того же года она скончалась в больнице от туберкулёза, отягощённого последствиями пристрастия к кокаину." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 72, + "segment": "немецкая" + } + ], + "meta": { + "id": 22, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 56, + "segment": "Аниты Бербер" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Карл Генрих Феликс Бербер ( , — ) — немецкий , . Отец Аниты Бербер.\nТекст 2: Анита Бербер ( 10 июня 1899 — 10 ноября 1928) — известная в 20-х годах немецкая танцовщица и актриса немого кино. Прославилась откровенными, насыщенными эротизмом танцевальными номерами и скандальным поведением.\n\nБиография.\nПосле бегства Дросте новым партнёром Бербер стал американец-гомосексуал Генри Шатен-Хоффман. 10 сентября 1924 года они сочетались браком. В паре с Шатен-Хоффманом Анита произвела фурор, выступая с танцевальными номерами \"Ракета\", \"Огни рампы\", \"Белая мышка\" и \"Звуки и дым\". Они посетили с сенсационными гастролями Кёльн, Дюссельдорф, Лейпциг и Вроцлав (в те годы — Бреслау), а в Гамбурге представили зрителям обновлённую программу под названием \"Танцы эротики и восторга\". В 1928 году супруги гастролировали на Ближнем Востоке, и это турне стало для Бербер последним. В июле, выступая в Дамаске, танцовщица прямо на сцене почувствовала сильное недомогание. Её перевезли в Берлин, и 10 ноября того же года она скончалась в больнице от туберкулёза, отягощённого последствиями пристрастия к кокаину.\nОпираясь на факты в данных текстах, ответьте на вопрос: Где родилась дочь Феликса Бербера? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 391, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Парламент Мексики, состоящий из двухпалатного Конгресса, в котором входят Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избирается на 3-летний срок).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Марко Уриель?", + "support_text": "Марко Уриель (8 июня 1967, Пуэрто-Вальярта, Халиско, Мексика) — известный мексиканский актёр театра и кино.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 767, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 778, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 74, + "segment": "мексиканский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Марко Уриель (8 июня 1967, Пуэрто-Вальярта, Халиско, Мексика) — известный мексиканский актёр театра и кино.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\nНовый президент вступил в свою должность 1 декабря 2006 на шесть лет. 1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые.\nВопрос: Как называется законодательный орган государства, гражданином которого является Марко Уриель?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 332, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Fortuna лига", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой звали Карел Кольский?", + "support_text": "Карел Кольский ( 21 сентября 1914, Крочеглавы, Австро-Венгрия — 17 февраля 1984) — чехословацкий футболист, тренер. Выступал на позиции полузащитника.\n\nКарьера.\nРаботал с ней семь лет, одновременно в 1956 и 1958 годах возглавляя сборную. С клубом три раза становился чемпионом страны. В 1958 году руководил Чехословакией на чемпионате мира. Там команда заняла третье место в группе, уступив Северной Ирландии и сыграв вничью с ФРГ. После первенства, Кольский возглавил \"Спарту\". Четыре года работы не были плодотворными, и Карел уехал в Польшу, в \"Вислу\".", + "text": "'Спарта' — чешский профессиональный футбольный клуб из Праги, выступающий в Первой лиге. Основан в 1893 году. Является самым успешным среди всех чешских футбольных клубов. 'Спарта' 21 раз становилась чемпионом Чехословакии, 12 раз — чемпионом Чехии.\n\nВыступление в чемпионате и Кубке Чехии.\nHET лига. 1. . 5. '1/8 финала'. 2018/19. Fortuna лига. 1. . 3. '1/2 финала'. 2019/20. Fortuna лига. 1. . 3. 'Победитель'." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 76, + "segment": "Первой лиге" + } + ], + "meta": { + "id": 668, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 474, + "segment": "Спарту" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Карел Кольский ( 21 сентября 1914, Крочеглавы, Австро-Венгрия — 17 февраля 1984) — чехословацкий футболист, тренер. Выступал на позиции полузащитника.\n\nКарьера.\nРаботал с ней семь лет, одновременно в 1956 и 1958 годах возглавляя сборную. С клубом три раза становился чемпионом страны. В 1958 году руководил Чехословакией на чемпионате мира. Там команда заняла третье место в группе, уступив Северной Ирландии и сыграв вничью с ФРГ. После первенства, Кольский возглавил \"Спарту\". Четыре года работы не были плодотворными, и Карел уехал в Польшу, в \"Вислу\".\nТекст 2: 'Спарта' — чешский профессиональный футбольный клуб из Праги, выступающий в Первой лиге. Основан в 1893 году. Является самым успешным среди всех чешских футбольных клубов. 'Спарта' 21 раз становилась чемпионом Чехословакии, 12 раз — чемпионом Чехии.\n\nВыступление в чемпионате и Кубке Чехии.\nHET лига. 1. . 5. '1/8 финала'. 2018/19. Fortuna лига. 1. . 3. '1/2 финала'. 2019/20. Fortuna лига. 1. . 3. 'Победитель'.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какой лиге играет команда, тренера которой звали Карел Кольский? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 352, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Йилемнице", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где похоронен человек, написавший \"Дом в тысячу этажей\"?", + "support_text": "'Дом в тысячу этажей' — фантастический роман-антиутопия чешского писателя Яна Вайсса, впервые изданный в 1929 году. В СССР роман издавался как минимум трижды — в 1966 году издательством 'Мир', в 1986 году издательством 'Радуга' и в 1988 году издательством 'Правда'.", + "text": "Ян Вайсс ( фамилия также передается как Вайс, Вейс, Вейсс) — чешский писатель-фантаст, один из основоположников чешской научной фантастики.\n\nБиография.\nВайсс родился 10 мая 1892 года в Йилемнице в семье продавца кожи. Потерял мать в возрасте пяти лет. После окончания гимназии в Градец-Кралове (1913) Вайсс отправился в Вену, где поступил на юридический факультет Венского университета, но вскоре был мобилизован — началась Первая мировая война. В 1928 году Вайсс женился на Ярославе Рашковой, через год у них родилась дочь Яна, тоже ставшая писательницей. В этот период выходит роман-антиутопия \"Дом в тысячу этажей\" (1929) — самое значимое произведение Вайсса. В 1945 году Вайсс стал почётным гражданином родного города Йилемнице. В 1957 году посетил СССР." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 188, + "segment": "Йилемнице" + } + ], + "meta": { + "id": 365, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 74, + "segment": "Яна Вайсса" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Дом в тысячу этажей' — фантастический роман-антиутопия чешского писателя Яна Вайсса, впервые изданный в 1929 году. В СССР роман издавался как минимум трижды — в 1966 году издательством 'Мир', в 1986 году издательством 'Радуга' и в 1988 году издательством 'Правда'.\nТекст 2: Ян Вайсс ( фамилия также передается как Вайс, Вейс, Вейсс) — чешский писатель-фантаст, один из основоположников чешской научной фантастики.\n\nБиография.\nВайсс родился 10 мая 1892 года в Йилемнице в семье продавца кожи. Потерял мать в возрасте пяти лет. После окончания гимназии в Градец-Кралове (1913) Вайсс отправился в Вену, где поступил на юридический факультет Венского университета, но вскоре был мобилизован — началась Первая мировая война. В 1928 году Вайсс женился на Ярославе Рашковой, через год у них родилась дочь Яна, тоже ставшая писательницей. В этот период выходит роман-антиутопия \"Дом в тысячу этажей\" (1929) — самое значимое произведение Вайсса. В 1945 году Вайсс стал почётным гражданином родного города Йилемнице. В 1957 году посетил СССР.\nОпираясь на данные тексты, ответьте на вопрос: Где похоронен человек, написавший \"Дом в тысячу этажей\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 348, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " США", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гражданином какой страны является режиссёр фильма \"В постели с врагом\"?", + "support_text": "'В постели с врагом' — американский психологический триллер, режиссёра Джозефа Рубена, вышедший на экраны в 1991 году, основан на одноимённом романе Нэнси Прайс. В главной роли снялась Джулия Робертс.", + "text": "Джозеф Портер Рубен ( род. 10 мая 1950, Брайрклифф-Мэнор, Нью-Йорк) — американский кинорежиссёр, продюсер и сценарист." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 71, + "segment": "американский" + }, + { + "label": "passage", + "length": 12, + "offset": 71, + "segment": "Американец" + } + ], + "meta": { + "id": 381, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 71, + "segment": "Джозефа Рубена" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: 'В постели с врагом' — американский психологический триллер, режиссёра Джозефа Рубена, вышедший на экраны в 1991 году, основан на одноимённом романе Нэнси Прайс. В главной роли снялась Джулия Робертс.\nТекст 2: Джозеф Портер Рубен ( род. 10 мая 1950, Брайрклифф-Мэнор, Нью-Йорк) — американский кинорежиссёр, продюсер и сценарист.\nОпираясь на данные тексты, ответьте на вопрос: Гражданином какой страны является режиссёр фильма \"В постели с врагом\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Люк Лемонье является главой администрации в городе Гавр, где родился Андре Капле.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Андре Капле?", + "support_text": "Андре Капле ( 23 ноября 1878, Гавр, Франция — 22 апреля 1925, Нёйи-сюр-Сен, департамент О-де-Сен) — французский композитор и дирижёр. В его творчестве прослеживается влияние эстетики музыкального символизма и импрессионизма, что во многом было обусловлено его тесными и дружескими контактами с композитором Клодом Дебюсси, для которого он осуществил несколько переложений и оркестровых аранжировок.", + "text": "Гавр ( ) — город и коммуна на севере Франции, в регионе Нормандия, супрефектура в департаменте Сена Приморская. Гаврский порт — один из крупнейших во Франции.\n\nАдминистрация.\nПост мэра Гавра с 2017 года занимает член партии Республиканцы Люк Лемонье (Luc Lemonnier), член Совета департамента Приморская Сена от кантона Гавр-6. Он был избран на этот пост после отставки Эдуара Филиппа (Édouard Philippe) после его назначения премьер-министром Франции. +Муниципальные выборы 2014 года (2 тур)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 241, + "segment": "Люк Лемонье" + } + ], + "meta": { + "id": 170, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 31, + "segment": "Гавр" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Андре Капле?\nТекст 1: Андре Капле ( 23 ноября 1878, Гавр, Франция — 22 апреля 1925, Нёйи-сюр-Сен, департамент О-де-Сен) — французский композитор и дирижёр. В его творчестве прослеживается влияние эстетики музыкального символизма и импрессионизма, что во многом было обусловлено его тесными и дружескими контактами с композитором Клодом Дебюсси, для которого он осуществил несколько переложений и оркестровых аранжировок.\nТекст 2: Гавр ( ) — город и коммуна на севере Франции, в регионе Нормандия, супрефектура в департаменте Сена Приморская. Гаврский порт — один из крупнейших во Франции.\n\nАдминистрация.\nПост мэра Гавра с 2017 года занимает член партии Республиканцы Люк Лемонье (Luc Lemonnier), член Совета департамента Приморская Сена от кантона Гавр-6. Он был избран на этот пост после отставки Эдуара Филиппа (Édouard Philippe) после его назначения премьер-министром Франции. +Муниципальные выборы 2014 года (2 тур).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 284, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Налиминка сливается с рекой Кельват, которая является её левым притоком.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Налиминка?", + "support_text": "Налиминка — река в России, протекает в Томской области. Устье реки находится в 135 км по правому берегу реки Кельват. Длина реки составляет 10 км.", + "text": "Кельват — река в России, протекает в Томской области, левый приток Васюгана. Устье реки находится в 517 км по левому берегу реки Васюган. Длина реки Кельват составляет 199 км. В устье Кельвата находятся археологические памятники: древнее городище и следы землянок. Также с рекой связано множество местных легенд.\n\nДанные водного реестра.\nПо данным государственного водного реестра России Кельват относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — бассейны притоков Оби (верхней) от Кети до Васюгана. Речной бассейн реки — Обь (верхняя) до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 67, + "segment": "Васюгана" + }, + { + "label": "passage", + "length": 8, + "offset": 67, + "segment": "Васюган" + } + ], + "meta": { + "id": 605, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 109, + "segment": "Кельват" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Налиминка?\nТекст 1: Налиминка — река в России, протекает в Томской области. Устье реки находится в 135 км по правому берегу реки Кельват. Длина реки составляет 10 км.\nТекст 2: Кельват — река в России, протекает в Томской области, левый приток Васюгана. Устье реки находится в 517 км по левому берегу реки Васюган. Длина реки Кельват составляет 199 км. В устье Кельвата находятся археологические памятники: древнее городище и следы землянок. Также с рекой связано множество местных легенд.\n\nДанные водного реестра.\nПо данным государственного водного реестра России Кельват относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — бассейны притоков Оби (верхней) от Кети до Васюгана. Речной бассейн реки — Обь (верхняя) до впадения Иртыша.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Метуе сливается с рекой Эльба.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Метуе?", + "support_text": "Метуе — река в Чехии (Краловеградецкий край). Длина реки — 77 км. Площадь водосборного бассейна — 607 кв км. Среднегодовой расход воды — 5 м³/с. Приток реки Эльба.", + "text": "Эльба ( (), , ) или Лаба ( (), ) — река бассейна Северного моря. Берёт начало в Чехии, основное течение на территории Германии. Длина реки — 1165 км." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 49, + "segment": "Северного моря" + } + ], + "meta": { + "id": 267, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 157, + "segment": "Эльба" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Метуе — река в Чехии (Краловеградецкий край). Длина реки — 77 км. Площадь водосборного бассейна — 607 кв км. Среднегодовой расход воды — 5 м³/с. Приток реки Эльба.\nТекст 2: Эльба ( (), , ) или Лаба ( (), ) — река бассейна Северного моря. Берёт начало в Чехии, основное течение на территории Германии. Длина реки — 1165 км.\nВопрос: С какой рекой сливается река, в которую впадает Метуе?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Косец (Косес).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Пуджелга?", + "support_text": "Пуджелга (южноселькупск. \"Пуҗэль кыге\" — речка в чаще) — река в России, протекает в Томской области. Устье реки находится в 3 км по левому берегу реки Косец. Длина реки составляет 76 км, площадь водосборного бассейна 329 кв км.", + "text": "Косец (Косес) — река в России, протекает по территории Каргасокского района Томской области. Устье реки находится в 319 км по правому берегу реки Тым. Длина реки составляет 249 км, площадь водосборного бассейна 3610 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 146, + "segment": "Тым" + } + ], + "meta": { + "id": 347, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 151, + "segment": "Косец" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Пуджелга (южноселькупск. \"Пуҗэль кыге\" — речка в чаще) — река в России, протекает в Томской области. Устье реки находится в 3 км по левому берегу реки Косец. Длина реки составляет 76 км, площадь водосборного бассейна 329 кв км.\nТекст 2: Косец (Косес) — река в России, протекает по территории Каргасокского района Томской области. Устье реки находится в 319 км по правому берегу реки Тым. Длина реки составляет 249 км, площадь водосборного бассейна 3610 кв км.\nВопрос: В какую реку впадает река, притоком которой является Пуджелга?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13333333333333333, + "em": 0 + }, + "predict": " Большая Брусенка впадает в реку Брусенку, которая в свою очередь является притоком реки Сухона.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Большая Брусенка?", + "support_text": "Большая Брусенка — река в России, протекает в Вологодской области, в Бабушкинском и Нюксенском районах. Правая составляющая реки Брусенка, образует её сливаясь с Малой Брусенкой. В 1 км от устья, по правому берегу реки впадает река Гавриловка. Длина реки составляет 27 км. Исток Большой Брусенки находится в Бабушкинском районе, в болотах в 3 км к югу от деревни Васильево (Городищенское сельское поселение, в 26 км к юго-востоку от посёлка Игмас и в 20 км к юго-западу от села Городищна. Первые километры река течёт по территории Бабушкинского района, затем — по территории Нюксенского. Направление течения — на север. В верхнем и среднем течении река течёт по лесному массиву и не населена, за два километра до устья протекает через деревни Новая Дуброва и Дор. За километр до устья принимает справа крупнейший приток — Гавриловку. Сливается с Малой Брусенкой, образуя Брусенку, в центре деревни Слекишино (Городищенское сельское поселение).", + "text": "Брусенка — река в России, протекает в Вологодской области, в Нюксенском районе. Устье реки находится в 192 км по правому берегу реки Сухона. Длина реки составляет 13 км. Брусенка образуется слиянием Большой Брусенки (правая составляющая) и Малой Брусенки (левая) в центре деревни Слекишино (Городищенское сельское поселение).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Северная Двина от начала реки до впадения реки Вычегда, без рек Юг и Сухона (от истока до Кубенского гидроузла), речной подбассейн реки — Сухона. Речной бассейн реки — Северная Двина." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 133, + "segment": "Сухона" + } + ], + "meta": { + "id": 8, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 8, + "segment": "Брусенка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Большая Брусенка?\nТекст 1: Большая Брусенка — река в России, протекает в Вологодской области, в Бабушкинском и Нюксенском районах. Правая составляющая реки Брусенка, образует её сливаясь с Малой Брусенкой. В 1 км от устья, по правому берегу реки впадает река Гавриловка. Длина реки составляет 27 км. Исток Большой Брусенки находится в Бабушкинском районе, в болотах в 3 км к югу от деревни Васильево (Городищенское сельское поселение, в 26 км к юго-востоку от посёлка Игмас и в 20 км к юго-западу от села Городищна. Первые километры река течёт по территории Бабушкинского района, затем — по территории Нюксенского. Направление течения — на север. В верхнем и среднем течении река течёт по лесному массиву и не населена, за два километра до устья протекает через деревни Новая Дуброва и Дор. За километр до устья принимает справа крупнейший приток — Гавриловку. Сливается с Малой Брусенкой, образуя Брусенку, в центре деревни Слекишино (Городищенское сельское поселение).\nТекст 2: Брусенка — река в России, протекает в Вологодской области, в Нюксенском районе. Устье реки находится в 192 км по правому берегу реки Сухона. Длина реки составляет 13 км. Брусенка образуется слиянием Большой Брусенки (правая составляющая) и Малой Брусенки (левая) в центре деревни Слекишино (Городищенское сельское поселение).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Северная Двина от начала реки до впадения реки Вычегда, без рек Юг и Сухона (от истока до Кубенского гидроузла), речной подбассейн реки — Сухона. Речной бассейн реки — Северная Двина.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Леокадия Серафинович родилась в городе Ионава, Литва. Исходя из этого, глава администрации в городе, где родилась Леокадия Серафинович, — это мэр Ионавы.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Леокадия Серафинович?", + "support_text": "Леокадия Серафинович (23 февраля 1915, Ионава, Литва — 24 ноября 2007, Пущиково (Познанский повят, Польша) — польская артистка театра кукол и театра для детей; актриса-кукловод, режиссёр, сценограф, автор пьес, адаптаций для театра и кино. Директор и художественный руководитель Театра куклы и актёра \"Марцинек\" в Познани (1960—1976 гг.), организатор множества мероприятий, связанных с развитием и продвижением польского театра кукол и театра для детей (например, проходящей в Познани с 1973 года Биеннале искусства для детей); одна из основателей и первый председатель польского отделения Международной ассоциации театров для детей и молодежи АССИТЕЖ (1981—1982), почетный член Международного союза деятелей кукольных театров UNIMA (с 2000 года). За свою творческую, организаторскую и популяризаторскую деятельность получила ряд наград, в том числе Золотую медаль за художественные поиски в театральной сценографии на II Квадриеннале сценографии в Праге (1971), Орден Улыбки (1978) и Офицерский крест Ордена Возрождения Польши (1985).", + "text": "Ионава, также — \"Йонава\" — город в Литве, административный центр Ионавского района.\n\nИзвестные уроженцы.\nЯнина Мищюкайте-Бразайтене — литовская и советская эстрадная певица. Заслуженная артистка Литовской ССР. Миндаугас Синкявичюс — литовский политик, мэр Ионавы (2011—2016). Алексис Хургинас — литовский поэт и переводчик; заслуженный деятель культуры Литовской ССР." + }, + "outputs": [ + { + "label": "passage", + "length": 20, + "offset": 213, + "segment": "Миндаугас Синкявичюс" + } + ], + "meta": { + "id": 156, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 39, + "segment": "Ионава" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родилась Леокадия Серафинович?\nТекст 1: Леокадия Серафинович (23 февраля 1915, Ионава, Литва — 24 ноября 2007, Пущиково (Познанский повят, Польша) — польская артистка театра кукол и театра для детей; актриса-кукловод, режиссёр, сценограф, автор пьес, адаптаций для театра и кино. Директор и художественный руководитель Театра куклы и актёра \"Марцинек\" в Познани (1960—1976 гг.), организатор множества мероприятий, связанных с развитием и продвижением польского театра кукол и театра для детей (например, проходящей в Познани с 1973 года Биеннале искусства для детей); одна из основателей и первый председатель польского отделения Международной ассоциации театров для детей и молодежи АССИТЕЖ (1981—1982), почетный член Международного союза деятелей кукольных театров UNIMA (с 2000 года). За свою творческую, организаторскую и популяризаторскую деятельность получила ряд наград, в том числе Золотую медаль за художественные поиски в театральной сценографии на II Квадриеннале сценографии в Праге (1971), Орден Улыбки (1978) и Офицерский крест Ордена Возрождения Польши (1985).\nТекст 2: Ионава, также — \"Йонава\" — город в Литве, административный центр Ионавского района.\n\nИзвестные уроженцы.\nЯнина Мищюкайте-Бразайтене — литовская и советская эстрадная певица. Заслуженная артистка Литовской ССР. Миндаугас Синкявичюс — литовский политик, мэр Ионавы (2011—2016). Алексис Хургинас — литовский поэт и переводчик; заслуженный деятель культуры Литовской ССР.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Верховный Совет СССР", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Алексей Михайлович Розанов?", + "support_text": "Алексей Михайлович Розанов (1900, Нижний Новгород — 23 февраля 1939) — деятель госбезопасности СССР, лейтенант государственной безопасности (1937); депутат Верховного Совета СССР 1-го созыва. Член РКП(б) с 1919 г. Нарком внутренних дел Чувашской АССР (1937—1938).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 834, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 834, + "segment": "Городская дума" + } + ], + "meta": { + "id": 445, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 34, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Алексей Михайлович Розанов (1900, Нижний Новгород — 23 февраля 1939) — деятель госбезопасности СССР, лейтенант государственной безопасности (1937); депутат Верховного Совета СССР 1-го созыва. Член РКП(б) с 1919 г. Нарком внутренних дел Чувашской АССР (1937—1938).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Алексей Михайлович Розанов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 324, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.0625, + "em": 0 + }, + "predict": " Михаил Наумович Герчик родился в Бобруйске, который является городом областного подчинения в Белоруссии. В городе Бобруйске главой администрации является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Михаил Наумович Герчик?", + "support_text": "Михаил Наумович (Моисей Беньяминович) Герчик (7 июня 1932, Бобруйск — 3 июня 2008, Минск) — русский и белорусский советский писатель и поэт. Член Союза писателей СССР (1958).", + "text": "Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\nПредседателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 404, + "segment": "Михаил Викторович Желудов" + } + ], + "meta": { + "id": 204, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 59, + "segment": "Бобруйск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Михаил Наумович Герчик?\nТекст 1: Михаил Наумович (Моисей Беньяминович) Герчик (7 июня 1932, Бобруйск — 3 июня 2008, Минск) — русский и белорусский советский писатель и поэт. Член Союза писателей СССР (1958).\nТекст 2: Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\nПредседателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Хопер", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Мокрая Панда?", + "support_text": "Мокрая Панда — река в Тамбовской области России. Устье реки находится в 170 км по правому берегу реки Ворона. Длина реки составляет 69 км, площадь водосборного бассейна 820 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Донскому бассейновому округу, водохозяйственный участок реки — Ворона, речной подбассейн реки — Хопер. Речной бассейн реки — Дон (российская часть бассейна).", + "text": "Ворона — средняя река в Пензенской, Тамбовской и Воронежской областях России, правый приток Хопра (бассейн Дона). В основе гидронима скорее всего лежит древнефинно-угорское слово \"вор, вур\" — \"лес\", \"ворайн\" (коми) — \"лесная\"." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 92, + "segment": "Хопра" + }, + { + "label": "passage", + "length": 5, + "offset": 92, + "segment": "Хопер" + } + ], + "meta": { + "id": 877, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 102, + "segment": "Ворона" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мокрая Панда — река в Тамбовской области России. Устье реки находится в 170 км по правому берегу реки Ворона. Длина реки составляет 69 км, площадь водосборного бассейна 820 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Донскому бассейновому округу, водохозяйственный участок реки — Ворона, речной подбассейн реки — Хопер. Речной бассейн реки — Дон (российская часть бассейна).\nТекст 2: Ворона — средняя река в Пензенской, Тамбовской и Воронежской областях России, правый приток Хопра (бассейн Дона). В основе гидронима скорее всего лежит древнефинно-угорское слово \"вор, вур\" — \"лес\", \"ворайн\" (коми) — \"лесная\".\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Мокрая Панда? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Александр Николаевич Пушечников?", + "support_text": "Александр Николаевич Пушечников (1850 — 1916) — Действительный статский советник (1901) Российской империи, инженер, специалист по изысканиям, строительству и эксплуатации железных дорог, выпускник Петербургского института инженеров путей сообщения (1876).\n\nБиография.\nВ 1885 году Пушечников получил назначение уже на казённую Екатерининскую железную дорогу, где в должности Начальника службы пути руководил изысканиями при проектировании и строительстве участков к угольным разрезам и рудникам. Вскоре его ввели в штат Министерства путей сообщения. Весной 1890 года Пушечников получил назначение на Закавказские железные дороги. Строительство транспортных магистралей в этом районе имело особое значение в укреплении военно-политического господства Российской империи на границах с Турцией и Персией. Закавказская дорога, строящаяся в горных и труднодоступных участках отличалась чрезвычайной сложностью. Здесь был сооружен самый протяжённый на то время в России Сурамский тоннель. После начала эксплуатации линии Поти — Тифлис выявились конструктивные недочёты крутых уклонов на участке Квирилы — Михайлово.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 148, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 88, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Николаевич Пушечников (1850 — 1916) — Действительный статский советник (1901) Российской империи, инженер, специалист по изысканиям, строительству и эксплуатации железных дорог, выпускник Петербургского института инженеров путей сообщения (1876).\n\nБиография.\nВ 1885 году Пушечников получил назначение уже на казённую Екатерининскую железную дорогу, где в должности Начальника службы пути руководил изысканиями при проектировании и строительстве участков к угольным разрезам и рудникам. Вскоре его ввели в штат Министерства путей сообщения. Весной 1890 года Пушечников получил назначение на Закавказские железные дороги. Строительство транспортных магистралей в этом районе имело особое значение в укреплении военно-политического господства Российской империи на границах с Турцией и Персией. Закавказская дорога, строящаяся в горных и труднодоступных участках отличалась чрезвычайной сложностью. Здесь был сооружен самый протяжённый на то время в России Сурамский тоннель. После начала эксплуатации линии Поти — Тифлис выявились конструктивные недочёты крутых уклонов на участке Квирилы — Михайлово.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Александр Николаевич Пушечников? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Самвел Мисакович Баласанян является главой администрации в городе Гюмри, где родился Гурген Тигранович Чолахян.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Гурген Тигранович Чолахян?", + "support_text": "Гурген Тигранович Чолахян ( 9 мая 1909, Александрополь — 26 декабря 1992, Ереван) — советский армянский государственный и партийный деятель. Председатель Исполнительного комитета Ереванского совета депутатов трудящихся с 6 апреля 1955 по 1 июня 1957 года.\n\nБиография.\nМемориальная доска Гургена Чолахяна в Ереване. Гурген Чолахян родился 9 мая 1909 года в Александрополе (ныне Гюмри). В 1928 году с отличием окончил Ереванский электромеханический техникум. Затем учился в Москве в МВТУ им. Баумана, но через два года вынужден был вернуться в Ереван, чтобы кормить семью. Работал на станкостроительном заводе им. Дзержинского.", + "text": "Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области.\n\nМэры.\nАдамян, Левон Бабкенович (1992—1994). Варданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 338, + "segment": "Баласанян, Самвел Мисакович" + }, + { + "label": "passage", + "length": 27, + "offset": 338, + "segment": "Самвел Мисакович Баласанян" + } + ], + "meta": { + "id": 187, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 381, + "segment": "Гюмри" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Гурген Тигранович Чолахян ( 9 мая 1909, Александрополь — 26 декабря 1992, Ереван) — советский армянский государственный и партийный деятель. Председатель Исполнительного комитета Ереванского совета депутатов трудящихся с 6 апреля 1955 по 1 июня 1957 года.\n\nБиография.\nМемориальная доска Гургена Чолахяна в Ереване. Гурген Чолахян родился 9 мая 1909 года в Александрополе (ныне Гюмри). В 1928 году с отличием окончил Ереванский электромеханический техникум. Затем учился в Москве в МВТУ им. Баумана, но через два года вынужден был вернуться в Ереван, чтобы кормить семью. Работал на станкостроительном заводе им. Дзержинского.\nТекст 2: Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области.\n\nМэры.\nАдамян, Левон Бабкенович (1992—1994). Варданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Гурген Тигранович Чолахян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 375, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган, работающий в городе, где родился Леон Арменович Тахтаджян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Леон Арменович Тахтаджян?", + "support_text": "Леон Арменович Тахтаджян ( род. 1 октября 1950, Ереван, Армянская ССР) — российский, советский, армянский физик, математик, профессор математики Университета в Стоуни-Брук и ведущий научный сотрудник Международного математического института им. Л. Эйлера в Санкт-Петербурге.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + } + ], + "meta": { + "id": 302, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 49, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Леон Арменович Тахтаджян ( род. 1 октября 1950, Ереван, Армянская ССР) — российский, советский, армянский физик, математик, профессор математики Университета в Стоуни-Брук и ведущий научный сотрудник Международного математического института им. Л. Эйлера в Санкт-Петербурге.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Что за законодательный орган работает в городе, где родился Леон Арменович Тахтаджян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Городской совет, или ереванский городской совет, является законодательным органом города, где родился Гурген Норикович Варданян.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Гурген Норикович Варданян?", + "support_text": "Гурген Норикович Варданян ( ; род. 18 октября 1963, Ереван, Армянская ССР) — известный тренер по фигурному катанию, воспитавший первую венгерскую чемпионку Европы в женском одиночном катании Юлию Шебештьен. В настоящее время работает в Великобритании.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + } + ], + "meta": { + "id": 48, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 52, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родился Гурген Норикович Варданян?\nТекст 1: Гурген Норикович Варданян ( ; род. 18 октября 1963, Ереван, Армянская ССР) — известный тренер по фигурному катанию, воспитавший первую венгерскую чемпионку Европы в женском одиночном катании Юлию Шебештьен. В настоящее время работает в Великобритании.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": [ + 47 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Сергей Константинович Ситников", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Николай Никонорович Гуров?", + "support_text": "Николай Никонорович Гуров (1922-1997) — Гвардии старшина Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nНиколай Гуров родился 9 декабря 1922 года в деревне Зверниха (ныне — Островский район Костромской области) в крестьянской семье. Окончил девять классов школы, после чего работал на бумажной фабрике в посёлке Александровское Семёновского района Ивановской области.", + "text": "Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов. Председателем Думы I и II созывов в 1994—2000 гг. избирался Андрей Иванович Бычков." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 520, + "segment": "Ситников Сергей Константинович" + }, + { + "label": "passage", + "length": 30, + "offset": 520, + "segment": "Сергей Константинович Ситников" + } + ], + "meta": { + "id": 249, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 244, + "segment": "Костромской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Никонорович Гуров (1922-1997) — Гвардии старшина Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nНиколай Гуров родился 9 декабря 1922 года в деревне Зверниха (ныне — Островский район Костромской области) в крестьянской семье. Окончил девять классов школы, после чего работал на бумажной фабрике в посёлке Александровское Семёновского района Ивановской области.\nТекст 2: Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов. Председателем Думы I и II созывов в 1994—2000 гг. избирался Андрей Иванович Бычков.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Николай Никонорович Гуров? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 350, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1621621621621622, + "em": 0 + }, + "predict": " Павел Иванович Крупко родился в городе Тирасполь, который является столицей непризнанной Приднестровской Молдавской Республики. В настоящее время главой администрации в этом городе является Олег Анатолиевич Довгопол, занимавший эту должность с 23 декабря 2016 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Павел Иванович Крупко?", + "support_text": "Павел Иванович Крупко (24 апреля 1967, Тирасполь) — советский гребец, выступал за сборную СССР по академической гребле в 1980-х годах. Чемпион мира среди юниоров, многократный победитель республиканских и всесоюзных регат, участник летних Олимпийских игр в Сеуле. На соревнованиях представлял спортивное общество \"Динамо\", мастер спорта международного класса. Также известен как тренер и спортивный чиновник.\n\nБиография.\nПавел Крупко родился 24 апреля 1967 года в городе Тирасполе Молдавской ССР. Активно заниматься академической греблей начал в раннем детстве, проходил подготовку под руководством тренера Н. С. Бессонова. Впоследствии проживал в Минске, где выступал за добровольное спортивное общество \"Динамо\". Первого серьёзного успеха добился в сезоне 1984 года, когда попал в юниорскую сборную СССР и побывал на молодёжном чемпионате мира в шведском городе Йёнчёпинге, откуда привёз награду серебряного достоинства, выигранную в зачёте парных четырёхместных экипажей.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nКостырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 1024, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 1024, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 211, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 39, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Павел Иванович Крупко (24 апреля 1967, Тирасполь) — советский гребец, выступал за сборную СССР по академической гребле в 1980-х годах. Чемпион мира среди юниоров, многократный победитель республиканских и всесоюзных регат, участник летних Олимпийских игр в Сеуле. На соревнованиях представлял спортивное общество \"Динамо\", мастер спорта международного класса. Также известен как тренер и спортивный чиновник.\n\nБиография.\nПавел Крупко родился 24 апреля 1967 года в городе Тирасполе Молдавской ССР. Активно заниматься академической греблей начал в раннем детстве, проходил подготовку под руководством тренера Н. С. Бессонова. Впоследствии проживал в Минске, где выступал за добровольное спортивное общество \"Динамо\". Первого серьёзного успеха добился в сезоне 1984 года, когда попал в юниорскую сборную СССР и побывал на молодёжном чемпионате мира в шведском городе Йёнчёпинге, откуда привёз награду серебряного достоинства, выигранную в зачёте парных четырёхместных экипажей.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nКостырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nВопрос: Кто является главой администрации в городе, где родился Павел Иванович Крупко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 586, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Станислав Юрьевич Шадрин?", + "support_text": "Станислав Юрьевич Шадрин (6 февраля 1964, Челябинск, Челябинская область, РСФСР, СССР — 28 февраля 2018, Челябинск, Челябинская область, Россия) — советский хоккеист, российский тренер.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 878, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 878, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 237, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 42, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Станислав Юрьевич Шадрин (6 февраля 1964, Челябинск, Челябинская область, РСФСР, СССР — 28 февраля 2018, Челябинск, Челябинская область, Россия) — советский хоккеист, российский тренер.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Станислав Юрьевич Шадрин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 351, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Гонконг", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое гражданство у режиссёра фильма \"Без лица\"?", + "support_text": "'Без лица' — боевик с элементами научной фантастики, снятый Джоном Ву с Джоном Траволтой и Николасом Кейджем в главных ролях и вышедший на киноэкраны в 1997 году. Слоган фильма: 'Взгляни на мир глазами своего врага'. Картина была удостоена двух премий 'Сатурн' в категориях 'Лучший режиссер' и 'Лучший сценарий'.", + "text": "Джон Ву ( , кант. \"Ын Юсам\", в англ. транскр. \"Ng Yu-Sum\"; род.\n\nБиография.\nРежиссёр экшн-фильмов Джон Ву родился в Гуанчжоу в 1946 году, а уже через пять лет его родители покинули коммунистический Китай и бежали в Гонконг. Отец Ву был исследователем и философом. Он был болен туберкулёзом и в течение десяти лет постоянно лежал в больницах. Наконец, в 1980 году в титрах фильма \"Из князей в грязи\" впервые появляется имя Джон Ву. В те годы он снимал стандартную гонконгскую кинопродукцию, преимущественно комедии. В начале восьмидесятых Ву пытался перебраться на Тайвань, но его фильмы (\"Время, когда тебе нужен друг\", \"Беги, тигр, беги\") также успеха не имели. В 1985 году он вернулся в Гонконг и на следующий год буквально взорвал местный кинорынок гангстерским фильмом \"Светлое будущее\", побившим все рекорды популярности. В этой ленте, во многом вдохновлённой знаменитым \"Самураем\" Жан-Пьера Мельвилля и японскими якудза-фильмами Такакура Кэна, Ву удалось нащупать свой собственный стиль, в котором кровавая эстетика жестокости и насилия достигает балетной отточенности картин о боевых искусствах или вестернов Сэма Пекинпы. Снятые в последующие годы фильмы не только неизменно становились кассовыми хитами, но и принесли Джону Ву всемирную славу. Особенно это относится к таким картинам как \"Наёмный убийца\" (1989), \"Пуля в голове\" (1990) и \"Круто сваренные\" (1992)." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 219, + "segment": "Гонконг" + }, + { + "label": "passage", + "length": 7, + "offset": 219, + "segment": "Гонконга" + } + ], + "meta": { + "id": 1005, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 60, + "segment": "Джоном Ву" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Без лица' — боевик с элементами научной фантастики, снятый Джоном Ву с Джоном Траволтой и Николасом Кейджем в главных ролях и вышедший на киноэкраны в 1997 году. Слоган фильма: 'Взгляни на мир глазами своего врага'. Картина была удостоена двух премий 'Сатурн' в категориях 'Лучший режиссер' и 'Лучший сценарий'.\nТекст 2: Джон Ву ( , кант. \"Ын Юсам\", в англ. транскр. \"Ng Yu-Sum\"; род.\n\nБиография.\nРежиссёр экшн-фильмов Джон Ву родился в Гуанчжоу в 1946 году, а уже через пять лет его родители покинули коммунистический Китай и бежали в Гонконг. Отец Ву был исследователем и философом. Он был болен туберкулёзом и в течение десяти лет постоянно лежал в больницах. Наконец, в 1980 году в титрах фильма \"Из князей в грязи\" впервые появляется имя Джон Ву. В те годы он снимал стандартную гонконгскую кинопродукцию, преимущественно комедии. В начале восьмидесятых Ву пытался перебраться на Тайвань, но его фильмы (\"Время, когда тебе нужен друг\", \"Беги, тигр, беги\") также успеха не имели. В 1985 году он вернулся в Гонконг и на следующий год буквально взорвал местный кинорынок гангстерским фильмом \"Светлое будущее\", побившим все рекорды популярности. В этой ленте, во многом вдохновлённой знаменитым \"Самураем\" Жан-Пьера Мельвилля и японскими якудза-фильмами Такакура Кэна, Ву удалось нащупать свой собственный стиль, в котором кровавая эстетика жестокости и насилия достигает балетной отточенности картин о боевых искусствах или вестернов Сэма Пекинпы. Снятые в последующие годы фильмы не только неизменно становились кассовыми хитами, но и принесли Джону Ву всемирную славу. Особенно это относится к таким картинам как \"Наёмный убийца\" (1989), \"Пуля в голове\" (1990) и \"Круто сваренные\" (1992).\nОпираясь на данные тексты, ответьте на вопрос: Какое гражданство у режиссёра фильма \"Без лица\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 517, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Николай Николаевич Бантыш-Каменский?", + "support_text": "Николай Николаевич Бантыш-Каменский ( Нежин, Российская империя — Москва, Российская империя) — русский , и , с 1800 года управляющий Московским главным архивом. Подготовил к печати и обнародовал многие древнерусские памятники и международные договоры. Отец историка Д. Н. Бантыш-Каменского.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 104, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 45, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Николаевич Бантыш-Каменский ( Нежин, Российская империя — Москва, Российская империя) — русский , и , с 1800 года управляющий Московским главным архивом. Подготовил к печати и обнародовал многие древнерусские памятники и международные договоры. Отец историка Д. Н. Бантыш-Каменского.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Николай Николаевич Бантыш-Каменский? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Алексей Павлович Евченко?", + "support_text": "Алексей Павлович Евченко (5 июля 1983, Челябинск) — российский боксёр-профессионал, представитель полусредней весовой категории. Начинал карьеру в кикбоксинге, победитель и призёр турниров национального и международного значения, чемпион мира среди юниоров в разделе фулл-контакт, мастер спорта России международного класса. Начиная с 2006 года боксирует на профессиональном ринге, двукратный чемпион России в первом полусреднем весе, в разное время владел титулами чемпиона Европы по версии WBO, чемпиона PABA, чемпиона EBU-EE.\n\nСтатистика в профессиональном боксе.\nRTD4 (10). 29. . 7 сентября 2018. Бруно Леонардо Ромай (21-5-0). Ледовая Арена \"Трактор\", Челябинск, Россия. RTD6 (10). 28. . 23 июня 2018. (28-3-1).", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 693, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 693, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 169, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 39, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Алексей Павлович Евченко (5 июля 1983, Челябинск) — российский боксёр-профессионал, представитель полусредней весовой категории. Начинал карьеру в кикбоксинге, победитель и призёр турниров национального и международного значения, чемпион мира среди юниоров в разделе фулл-контакт, мастер спорта России международного класса. Начиная с 2006 года боксирует на профессиональном ринге, двукратный чемпион России в первом полусреднем весе, в разное время владел титулами чемпиона Европы по версии WBO, чемпиона PABA, чемпиона EBU-EE.\n\nСтатистика в профессиональном боксе.\nRTD4 (10). 29. . 7 сентября 2018. Бруно Леонардо Ромай (21-5-0). Ледовая Арена \"Трактор\", Челябинск, Россия. RTD6 (10). 28. . 23 июня 2018. (28-3-1).\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Алексей Павлович Евченко? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Левон Гумединович Варданян?", + "support_text": "Левон Гумединович Варданян ( 12 декабря 1958, Ереван — 5 января 2015, Москва) — советский и российский профессиональный музыкант, композитор, вокалист, гитарист-виртуоз армянского происхождения. Известен своими сольными работами, а также композиторской и продюсерской работой.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 54, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 47, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Левон Гумединович Варданян ( 12 декабря 1958, Ереван — 5 января 2015, Москва) — советский и российский профессиональный музыкант, композитор, вокалист, гитарист-виртуоз армянского происхождения. Известен своими сольными работами, а также композиторской и продюсерской работой.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Левон Гумединович Варданян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Варка-Сылькы (Варка-Сыль-Кы).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Кыталькы?", + "support_text": "Кыталькы — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 42 км по правому берегу реки Кыпа-Сылькы. Также соединяется протокой Сылькыльтэймы с рекой Варка-Сылькы, впадая в неё слева на 40-м км от устья. Длина реки составляет 42 км.", + "text": "Варка-Сылькы (Варга-Сылькы) (\"устар.\" Варка-Сыль-Кы) — река на севере Западной Сибири, в Ямало-Ненецком автономном округе России. Варка-Сыль-Кы с селькупского языка означает Большая соболиная река.\n\nГеография.\nДлина реки — 249 км. Площадь водосборного бассейна — 5760 кв км. Впадает в реку Таз слева, на 354-м км от устья в 40 км к северу от с. Красноселькуп. Течёт по северо-восточной части Западно-Сибирской равнины. В бассейне реки насчитывается около 230 рек и ручьев, в том числе семь рек длиной свыше 50 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Таз. Речной бассейн реки — Таз. Код объекта в государственном водном реестре — 15050000112115300069596." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 293, + "segment": "Таз" + } + ], + "meta": { + "id": 94, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 200, + "segment": "Варка-Сылькы" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Кыталькы — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 42 км по правому берегу реки Кыпа-Сылькы. Также соединяется протокой Сылькыльтэймы с рекой Варка-Сылькы, впадая в неё слева на 40-м км от устья. Длина реки составляет 42 км.\nТекст 2: Варка-Сылькы (Варга-Сылькы) (\"устар.\" Варка-Сыль-Кы) — река на севере Западной Сибири, в Ямало-Ненецком автономном округе России. Варка-Сыль-Кы с селькупского языка означает Большая соболиная река.\n\nГеография.\nДлина реки — 249 км. Площадь водосборного бассейна — 5760 кв км. Впадает в реку Таз слева, на 354-м км от устья в 40 км к северу от с. Красноселькуп. Течёт по северо-восточной части Западно-Сибирской равнины. В бассейне реки насчитывается около 230 рек и ручьев, в том числе семь рек длиной свыше 50 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Таз. Речной бассейн реки — Таз. Код объекта в государственном водном реестре — 15050000112115300069596.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Кыталькы?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 386, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Иринарх Аркадьевич Стратонов?", + "support_text": "Иринарх Аркадьевич Стратонов (10 января 1881, Казань — 1942, концлагерь Бухенвальд) — российский историк, профессор Казанского университета.\n\nБиография.\nВ начале 1919 года Главное управление архивным делом назначило его на должность уполномоченного в отделе охраны и разборки архивов Казанской губернии. В августе 1920 года был избран заместителем декана историко-филологического факультета. В ночь с 1 на 2 августа 1922 года И. А. Стратонов был арестован Татполитотделом ГПУ в Казани. Осенью 1922 года выслан из Советской России в Германию, затем переехал во Францию. В Париже опубликовал ряд трудов по истории русской церкви.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 757, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 199, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иринарх Аркадьевич Стратонов (10 января 1881, Казань — 1942, концлагерь Бухенвальд) — российский историк, профессор Казанского университета.\n\nБиография.\nВ начале 1919 года Главное управление архивным делом назначило его на должность уполномоченного в отделе охраны и разборки архивов Казанской губернии. В августе 1920 года был избран заместителем декана историко-филологического факультета. В ночь с 1 на 2 августа 1922 года И. А. Стратонов был арестован Татполитотделом ГПУ в Казани. Осенью 1922 года выслан из Советской России в Германию, затем переехал во Францию. В Париже опубликовал ряд трудов по истории русской церкви.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Иринарх Аркадьевич Стратонов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 384, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава государства в стране, чьим гражданским был Михаил Васильевич Авдеев, был императором.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданном был Михаил Васильевич Авдеев (писатель)?", + "support_text": "Михаил Васильевич Авдеев ( , Оренбург — Санкт-Петербург) — русский беллетрист и критик.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 110, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 59, + "segment": "русский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданном был Михаил Васильевич Авдеев (писатель)?\nТекст 1: Михаил Васильевич Авдеев ( , Оренбург — Санкт-Петербург) — русский беллетрист и критик.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Президент", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимает глава государства, чьим гражданином был Низар Каббани?", + "support_text": "Низар Тауфик Каббани – сирийский поэт и дипломат. Один из наиболее значимых арабских поэтов XX века.\n\nБиография.\nОни прожили в браке 8 лет (с 1973 по 1981 год). В 1981 году Балкыс погибла в результате теракта в багдадском посольстве в Бейруте, где она работала. Низар Каббани также имел романтические отношения с Колет Хури, внучкой сирийского политика Фариса аль-Хури. Вскоре после гибели Балкыс, Каббани покинул арабский мир, жил в Женеве, Париже и Лондоне. Каббани скончался от сердечного приступа, в Лондоне, в возрасте 75 лет. После смерти, согласно его завещанию, он был перевезён в Дамаск и похоронен на кладбище Баб Сагир, , .\n\nТворчество.\nОсобенности поэзии. Первые стихи Каббани писал, используя классические формы арабской поэзии, однако затем он перешёл к свободному стиху, став, таким образом, одним из его основоположников в современной арабской поэзии. Стихи Каббани, в большинстве своём, написаны простым языком, часто отражающим реалии сирийского разговорного языка, современного Каббани. В общей сложности, за свою жизнь Каббани опубликовал 35 поэтических сборников. Основные темы поэзии Каббани.", + "text": "Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э. Столица — Дамаск, один из древнейших постоянно заселённых городов мира.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 519, + "segment": "президентов" + }, + { + "label": "passage", + "length": 11, + "offset": 519, + "segment": "президента" + } + ], + "meta": { + "id": 647, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 23, + "segment": "сирийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Низар Тауфик Каббани – сирийский поэт и дипломат. Один из наиболее значимых арабских поэтов XX века.\n\nБиография.\nОни прожили в браке 8 лет (с 1973 по 1981 год). В 1981 году Балкыс погибла в результате теракта в багдадском посольстве в Бейруте, где она работала. Низар Каббани также имел романтические отношения с Колет Хури, внучкой сирийского политика Фариса аль-Хури. Вскоре после гибели Балкыс, Каббани покинул арабский мир, жил в Женеве, Париже и Лондоне. Каббани скончался от сердечного приступа, в Лондоне, в возрасте 75 лет. После смерти, согласно его завещанию, он был перевезён в Дамаск и похоронен на кладбище Баб Сагир, , .\n\nТворчество.\nОсобенности поэзии. Первые стихи Каббани писал, используя классические формы арабской поэзии, однако затем он перешёл к свободному стиху, став, таким образом, одним из его основоположников в современной арабской поэзии. Стихи Каббани, в большинстве своём, написаны простым языком, часто отражающим реалии сирийского разговорного языка, современного Каббани. В общей сложности, за свою жизнь Каббани опубликовал 35 поэтических сборников. Основные темы поэзии Каббани.\nТекст 2: Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э. Столица — Дамаск, один из древнейших постоянно заселённых городов мира.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958).\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за должность занимает глава государства, чьим гражданином был Низар Каббани? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 510, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Юрий Цкипури является главой администрации в городе Тула, где родился Дмитрий Александрович Бурмистров.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Дмитрий Александрович Бурмистров?", + "support_text": "Дмитрий Александрович Бурмистров (14 октября 1983, Тула, СССР) — российский футболист, нападающий.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 887, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 499, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 51, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Дмитрий Александрович Бурмистров (14 октября 1983, Тула, СССР) — российский футболист, нападающий.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Дмитрий Александрович Бурмистров?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 344, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, питающаяся от реки, притоком которой является Ядкан, называется Чёка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Ядкан?", + "support_text": "Ядкан — река в Новосибирской области России. Устье реки находится в 71 км по правому берегу реки Чёка. Длина реки составляет 13 км.", + "text": "Чёка (Чека, Чок) — река в Кыштовском районе Новосибирской области России. Устье реки находится в 318 км по правому берегу реки Тары. Длина реки — 295 км, площадь водосборного бассейна — 4010 кв км.\n\nПримечания.\nКатегория:Притоки Тары (притока Иртыша)." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 127, + "segment": "Тары" + }, + { + "label": "passage", + "length": 4, + "offset": 232, + "segment": "Тары" + }, + { + "label": "passage", + "length": 4, + "offset": 127, + "segment": "Тара" + } + ], + "meta": { + "id": 1024, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 97, + "segment": "Чёка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Ядкан?\nТекст 1: Ядкан — река в Новосибирской области России. Устье реки находится в 71 км по правому берегу реки Чёка. Длина реки составляет 13 км.\nТекст 2: Чёка (Чека, Чок) — река в Кыштовском районе Новосибирской области России. Устье реки находится в 318 км по правому берегу реки Тары. Длина реки — 295 км, площадь водосборного бассейна — 4010 кв км.\n\nПримечания.\nКатегория:Притоки Тары (притока Иртыша).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 177, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Шварце-Лабер сливается с Дунаем.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Шварце-Лабер?", + "support_text": "Шварце-Лабер — река в Германии, левый приток Дуная. Речной индекс 1398. Образуется в окрестностях Пильзаха (район Ноймаркт-ин-дер-Оберпфальц, Бавария). Впадает в Дунай в окрестностях Зинцинга.\n\nПримечания.\nКатегория:Бассейн Дуная.", + "text": "Дунай — вторая по протяжённости река в Европе (после Волги), \"интернациональная\" река, самая длинная река на территории Европейского Союза. Длина — 2860 км. Берёт исток в горах Шварцвальда в Германии. Дунай протекает по территории или является границей десяти государств: Германии, Австрии, Словакии, Венгрии, Хорватии, Сербии, Болгарии, Румынии, Украины и Молдавии; проходит через такие столицы Центральной и Юго-Восточной Европы, как Вена, Братислава, Будапешт и Белград. Помимо этих десяти стран в бассейне Дуная находятся те или иные территории ещё девяти европейских государств.\n\nФизическая география.\nЭто направление сохраняется до города Регенсбург (2379 км), где находится самая северная точка течения реки (49°03' с. ш.). Возле Регенсбурга Дунай поворачивает на юго-восток, затем пересекает Венскую котловину, и дальше более чем 600 км течёт по Среднедунайской низменности. Проложив русло через горные цепи Южных Карпат по ущелью Железные ворота, до самого Чёрного моря (более 900 км) протекает по Нижнедунайской низменности. Самая южная точка реки находится возле города Свиштов (Болгария) — 43°38' с. ш.\n\nВодосбор.\nОбщая площадь водосборного бассейна Дуная составляет 817 тыс. кв км. Её крайними точками являются 42°12' и 50°05' с. ш., 8°10' и 29°40' в. д. Длина бассейна с запада на восток 1690 км, ширина 820 км. Дунайский бассейн граничит на севере с водосборами рек Везер, Эльба, Одра, Висла, на северо-востоке — Днестр, на западе и северо-западе — Рейн. К югу от бассейна Дуная расположены бассейны мелких рек Адриатического, Эгейского и Чёрного морей. Дунай питается дождевыми водами, талыми снегами и ледниками Альп и Карпат, а также подземными водами." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 969, + "segment": "Чёрного моря" + } + ], + "meta": { + "id": 1039, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 162, + "segment": "Дунай" + }, + { + "label": "passage", + "length": 5, + "offset": 45, + "segment": "Дуная" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Шварце-Лабер — река в Германии, левый приток Дуная. Речной индекс 1398. Образуется в окрестностях Пильзаха (район Ноймаркт-ин-дер-Оберпфальц, Бавария). Впадает в Дунай в окрестностях Зинцинга.\n\nПримечания.\nКатегория:Бассейн Дуная.\nТекст 2: Дунай — вторая по протяжённости река в Европе (после Волги), \"интернациональная\" река, самая длинная река на территории Европейского Союза. Длина — 2860 км. Берёт исток в горах Шварцвальда в Германии. Дунай протекает по территории или является границей десяти государств: Германии, Австрии, Словакии, Венгрии, Хорватии, Сербии, Болгарии, Румынии, Украины и Молдавии; проходит через такие столицы Центральной и Юго-Восточной Европы, как Вена, Братислава, Будапешт и Белград. Помимо этих десяти стран в бассейне Дуная находятся те или иные территории ещё девяти европейских государств.\n\nФизическая география.\nЭто направление сохраняется до города Регенсбург (2379 км), где находится самая северная точка течения реки (49°03' с. ш.). Возле Регенсбурга Дунай поворачивает на юго-восток, затем пересекает Венскую котловину, и дальше более чем 600 км течёт по Среднедунайской низменности. Проложив русло через горные цепи Южных Карпат по ущелью Железные ворота, до самого Чёрного моря (более 900 км) протекает по Нижнедунайской низменности. Самая южная точка реки находится возле города Свиштов (Болгария) — 43°38' с. ш.\n\nВодосбор.\nОбщая площадь водосборного бассейна Дуная составляет 817 тыс. кв км. Её крайними точками являются 42°12' и 50°05' с. ш., 8°10' и 29°40' в. д. Длина бассейна с запада на восток 1690 км, ширина 820 км. Дунайский бассейн граничит на севере с водосборами рек Везер, Эльба, Одра, Висла, на северо-востоке — Днестр, на западе и северо-западе — Рейн. К югу от бассейна Дуная расположены бассейны мелких рек Адриатического, Эгейского и Чёрного морей. Дунай питается дождевыми водами, талыми снегами и ледниками Альп и Карпат, а также подземными водами.\nВопрос: С какой рекой сливается река, в которую впадает Шварце-Лабер?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 587, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23529411764705882, + "em": 0 + }, + "predict": " Законодательный орган, работающий в городе, где родился Дмитрий Анатольевич Индейцев, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Дмитрий Анатольевич Индейцев?", + "support_text": "Дмитрий Анатольевич Индейцев (род. 2 декабря 1948 года, г. Горький) — советский и российский учёный в области механики, член-корреспондент РАН.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1088, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1088, + "segment": "Городская дума" + } + ], + "meta": { + "id": 301, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 59, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Дмитрий Анатольевич Индейцев (род. 2 декабря 1948 года, г. Горький) — советский и российский учёный в области механики, член-корреспондент РАН.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Дмитрий Анатольевич Индейцев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 322, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.32258064516129037, + "em": 0 + }, + "predict": " Город Алитус, где родился Миколас Мартинович Бурокявичюс, находится в Алитусском районе и Алитусском уезде, что является частью Алитусского уезда и Алитусского района в южной части Литвы.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Внутри какой административно-территориальной единицы расположен город, где родился Миколас Мартинович Бурокявичюс?", + "support_text": "Миколас Мартинович Бурокявичюс (Бурокявичус) ( 7 октября 1927, Алитус — 20 января 2016, Вильнюс) — советский литовский партийный деятель, ученый. Член КПСС с 1946 года. Первый секретарь Коммунистической партии Литвы на платформе КПСС в 1990—1991 гг. Был осуждён на 12 лет заключения за участие в попытке государственного переворота и соучастие в убийстве во время вильнюсских событий в январе 1991 года.", + "text": "Алитус или Алитус ( уст. ) — город на юге Литвы, в Дзукии, административный центр Алитусского уезда и Алитусского района; шестой в Литве по числу жителей." + }, + "outputs": [ + { + "label": "passage", + "length": 38, + "offset": 82, + "segment": "Алитусского уезда и Алитусского района" + } + ], + "meta": { + "id": 18, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 64, + "segment": "Алитус" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Миколас Мартинович Бурокявичюс (Бурокявичус) ( 7 октября 1927, Алитус — 20 января 2016, Вильнюс) — советский литовский партийный деятель, ученый. Член КПСС с 1946 года. Первый секретарь Коммунистической партии Литвы на платформе КПСС в 1990—1991 гг. Был осуждён на 12 лет заключения за участие в попытке государственного переворота и соучастие в убийстве во время вильнюсских событий в январе 1991 года.\nТекст 2: Алитус или Алитус ( уст. ) — город на юге Литвы, в Дзукии, административный центр Алитусского уезда и Алитусского района; шестой в Литве по числу жителей.\nВопрос: Внутри какой административно-территориальной единицы расположен город, где родился Миколас Мартинович Бурокявичюс?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Виктор Григорьевич Лебедев (дирижёр)?", + "support_text": "Виктор Григорьевич Лебедев (18 января 1949, Челябинск, Челябинская область, СССР) — советский и российский музыкант, заслуженный работник культуры РСФСР (1989), заслуженный деятель искусств РФ (1996), профессор, член-корреспондент Петровской академии наук и искусств (Санкт-Петербург). Народный артист Российской Федерации (2005).", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1346, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1346, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 177, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 44, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Виктор Григорьевич Лебедев (18 января 1949, Челябинск, Челябинская область, СССР) — советский и российский музыкант, заслуженный работник культуры РСФСР (1989), заслуженный деятель искусств РФ (1996), профессор, член-корреспондент Петровской академии наук и искусств (Санкт-Петербург). Народный артист Российской Федерации (2005).\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Виктор Григорьевич Лебедев (дирижёр)? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Юган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Канциях?", + "support_text": "Канциях (\"устар.\" Канци-Ях) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 467 км по правому берегу реки Большой Юган. Длина реки составляет 38 км.", + "text": "Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины. Много притоков, из которых наиболее крупным является правый Малый Юган.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Обь" + } + ], + "meta": { + "id": 763, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 132, + "segment": "Большой Юган" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Канциях (\"устар.\" Канци-Ях) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 467 км по правому берегу реки Большой Юган. Длина реки составляет 38 км.\nТекст 2: Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины. Много притоков, из которых наиболее крупным является правый Малый Юган.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Канциях?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 320, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Евграф Николаевич Серчевский?", + "support_text": "Евграф Николаевич Серчевский (1814—188?) — российский педагог, учитель русского языка.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 477, + "segment": "Императора" + }, + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + }, + { + "label": "passage", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + } + ], + "meta": { + "id": 966, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 43, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Евграф Николаевич Серчевский (1814—188?) — российский педагог, учитель русского языка.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Евграф Николаевич Серчевский? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 362, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.07407407407407407, + "em": 0 + }, + "predict": " Валерий Закирович Гатаев родился в Казани, которая является городом в России, и в городе Казани находится мэр, который является главой администрации в этом городе.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валерий Закирович Гатаев?", + "support_text": "Валерий Закирович Гатаев (16 сентября 1938, Казань, СССР — 24 июня 2011, Москва, Россия) — советский и российский актёр театра и кино, народный артист РСФСР (1986).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 757, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 483, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 44, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Валерий Закирович Гатаев?\nТекст 1: Валерий Закирович Гатаев (16 сентября 1938, Казань, СССР — 24 июня 2011, Москва, Россия) — советский и российский актёр театра и кино, народный артист РСФСР (1986).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 315, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.8, + "em": 0 + }, + "predict": " Малая Горная Обь", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Васяхъёган?", + "support_text": "Васяхъёган (устар. \"Васях-Юган\", Харъёган) — река в Шурышкарском районе Ямало-Ненецкого АО. Устье находится у села Восяхово, в 62 км по левому берегу протоки Малая Горная Обь. Длина реки 36 км, в 9 км от устья, по левому берегу реки впадает река Грубею. До впадения Грубею река называется Харъёган.", + "text": "Малая Горная Обь — рукав Оби, протекает по Ямало-Ненецкому АО. Впадает в рукав Малая Обь в 34 км от устья. Длина рукава составляет 72 км." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 79, + "segment": "Малая Обь" + } + ], + "meta": { + "id": 587, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 158, + "segment": "Малая Горная Обь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Васяхъёган (устар. \"Васях-Юган\", Харъёган) — река в Шурышкарском районе Ямало-Ненецкого АО. Устье находится у села Восяхово, в 62 км по левому берегу протоки Малая Горная Обь. Длина реки 36 км, в 9 км от устья, по левому берегу реки впадает река Грубею. До впадения Грубею река называется Харъёган.\nТекст 2: Малая Горная Обь — рукав Оби, протекает по Ямало-Ненецкому АО. Впадает в рукав Малая Обь в 34 км от устья. Длина рукава составляет 72 км.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Васяхъёган? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Станислав Воскресенский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Борис Иванович Сизов?", + "support_text": "Борис Иванович Сизов (1921—1945) — участник Великой Отечественной войны, Герой Советского Союза (1946 год), помощник начальника политического отдела (политотдела) по работе среди комсомольцев 3-й гвардейской кавалерийской дивизии (2-й гвардейский кавалерийский корпус, 1-й Белорусский фронт), гвардии старший лейтенант.\n\nБиография.\nРодился 28 июня 1921 года в деревне Москвино ныне Тейковского района Ивановской области. Русский.\n\nПамять.\nПриказом Министра обороны СССР № 95 от 26 апреля 1995 года ? навечно зачислен в списки 255-го гвардейского Мозырского Краснознамённого ордена Суворова танкового полка. В посёлке Нерль Тейковского района Ивановской области имя Сизова носит улица, установлен памятник-барельеф Герою, а на здании школы, носящей имя Сизова — находится мемориальная доска. С 1965 года его имя носит и школа в селе Малышево Владимирской области, откуда герой ушёл на фронт. В школе также организован музей.", + "text": "Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью.\n\nОбластная власть.\nПо партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей. В этот же день состоялись выборы в Ивановскую областную думу." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 1089, + "segment": "Станислав Воскресенский" + } + ], + "meta": { + "id": 932, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 404, + "segment": "Ивановской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Борис Иванович Сизов (1921—1945) — участник Великой Отечественной войны, Герой Советского Союза (1946 год), помощник начальника политического отдела (политотдела) по работе среди комсомольцев 3-й гвардейской кавалерийской дивизии (2-й гвардейский кавалерийский корпус, 1-й Белорусский фронт), гвардии старший лейтенант.\n\nБиография.\nРодился 28 июня 1921 года в деревне Москвино ныне Тейковского района Ивановской области. Русский.\n\nПамять.\nПриказом Министра обороны СССР № 95 от 26 апреля 1995 года ? навечно зачислен в списки 255-го гвардейского Мозырского Краснознамённого ордена Суворова танкового полка. В посёлке Нерль Тейковского района Ивановской области имя Сизова носит улица, установлен памятник-барельеф Герою, а на здании школы, носящей имя Сизова — находится мемориальная доска. С 1965 года его имя носит и школа в селе Малышево Владимирской области, откуда герой ушёл на фронт. В школе также организован музей.\nТекст 2: Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью.\n\nОбластная власть.\nПо партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей. В этот же день состоялись выборы в Ивановскую областную думу.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Борис Иванович Сизов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 578, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Молога.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Атемеша?", + "support_text": "Атемеша (Атемежа) — река в России, протекает по Бежецкому и Максатихинскому районам Тверской области. Устье реки находится в 323 км по правому берегу реки Мологи. Длина реки составляет 30 км, площадь водосборного бассейна — 315 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Молога от истока и до устья, речной подбассейн реки — Реки бассейна Рыбинского водохранилища. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки).", + "text": "Молога — река в Тверской, Новгородской и Вологодской областях России, впадает в Весьегонский плёс Рыбинского водохранилища на Волге. Длина — 456 км (до создания Рыбинского водохранилища — 607 км), площадь водосборного бассейна — 29,7 тыс. кв км. Среднегодовой расход воды у города Устюжны — 131 м³/с, что соответствует объёму стока 4,134 км³/год, и 237 м³/с (7,48 км³/год) в устье реки. Крупные притоки — Ривица, Волчина, Кеза, Сарагожа, Кирва, Кобожа, Чагодоща (левые); Остречина, Осень, Ратыня (правые).\n\nОписание.\nНаибольшая ширина реки — в районе деревни Слуды, где она составляет 250—260 метров. Средняя глубина составляет 1,5—2 метра, а за Слудами до устья — до 6,5 метров. По мнению археолога В. И. Равдоникаса один из вариантов Волжско-Балтийского пути (из варяг в арабы) проходил по реке Сяси, Воложбе, волока до реки Чагоды, Чагодоще, Мологе и Волге до города Булгар. На реке расположены города Бежецк, Устюжна, Пестово, посёлок городского типа Максатиха. Город Весьегонск, стоящий на берегу залива Рыбинского водохранилища, ранее также стоял на берегу Мологи, однако после создания Рыбинского водохранилища река в нижнем течении превратилась в залив. Стоявший у впадения Мологи в Волгу город Молога был полностью затоплен." + }, + "outputs": [ + { + "label": "answer", + "length": 51, + "offset": 80, + "segment": "Весьегонский плёс Рыбинского водохранилища на Волге" + } + ], + "meta": { + "id": 910, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 155, + "segment": "Мологи" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Атемеша (Атемежа) — река в России, протекает по Бежецкому и Максатихинскому районам Тверской области. Устье реки находится в 323 км по правому берегу реки Мологи. Длина реки составляет 30 км, площадь водосборного бассейна — 315 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Молога от истока и до устья, речной подбассейн реки — Реки бассейна Рыбинского водохранилища. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки).\nТекст 2: Молога — река в Тверской, Новгородской и Вологодской областях России, впадает в Весьегонский плёс Рыбинского водохранилища на Волге. Длина — 456 км (до создания Рыбинского водохранилища — 607 км), площадь водосборного бассейна — 29,7 тыс. кв км. Среднегодовой расход воды у города Устюжны — 131 м³/с, что соответствует объёму стока 4,134 км³/год, и 237 м³/с (7,48 км³/год) в устье реки. Крупные притоки — Ривица, Волчина, Кеза, Сарагожа, Кирва, Кобожа, Чагодоща (левые); Остречина, Осень, Ратыня (правые).\n\nОписание.\nНаибольшая ширина реки — в районе деревни Слуды, где она составляет 250—260 метров. Средняя глубина составляет 1,5—2 метра, а за Слудами до устья — до 6,5 метров. По мнению археолога В. И. Равдоникаса один из вариантов Волжско-Балтийского пути (из варяг в арабы) проходил по реке Сяси, Воложбе, волока до реки Чагоды, Чагодоще, Мологе и Волге до города Булгар. На реке расположены города Бежецк, Устюжна, Пестово, посёлок городского типа Максатиха. Город Весьегонск, стоящий на берегу залива Рыбинского водохранилища, ранее также стоял на берегу Мологи, однако после создания Рыбинского водохранилища река в нижнем течении превратилась в залив. Стоявший у впадения Мологи в Волгу город Молога был полностью затоплен.\nВопрос: С какой рекой сливается река, в которую впадает Атемеша?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 571, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.09302325581395349, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где появился на свет Александр Давидович Познанский, — Городская Дума Нижегородской области. Это следует из информации о том, что Нижний Новгород был переименован в Горький с 7 октября 1932 по 22 октября 1990 года, и", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Александр Давидович Познанский?", + "support_text": "Александр Давидович Познанский (род. 6 ноября 1929, Нижний Новгород) — советский и российский театральный актёр, мастер художественного слова, народный артист РСФСР.\n\nБиография.\nВпоследствии отец был реабилитирован и умер от цирроза печени. В 1947 году поступил в Московское театральное училище при Государственном Еврейском театре (ГОСЕТ); после его закрытия в 1949 году перешёл в Театральное училище им. Щукина, который окончил в 1953 году. В 1950 году участвовал в первом послевоенном Всесоюзном конкурсе чтецов, посвященном 20-летию со дня смерти В. В. Маяковского. Вернувшись в Горький, играл в Горьковском театре юного зрителя и одновременно выступал на эстраде. В 1956 году перешёл в Нижегородскую филармонию. С 1957 года начал выступать на сольных концертах. С 1958 года стал гастролировать по СССР.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городская дума" + } + ], + "meta": { + "id": 444, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 52, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Давидович Познанский (род. 6 ноября 1929, Нижний Новгород) — советский и российский театральный актёр, мастер художественного слова, народный артист РСФСР.\n\nБиография.\nВпоследствии отец был реабилитирован и умер от цирроза печени. В 1947 году поступил в Московское театральное училище при Государственном Еврейском театре (ГОСЕТ); после его закрытия в 1949 году перешёл в Театральное училище им. Щукина, который окончил в 1953 году. В 1950 году участвовал в первом послевоенном Всесоюзном конкурсе чтецов, посвященном 20-летию со дня смерти В. В. Маяковского. Вернувшись в Горький, играл в Горьковском театре юного зрителя и одновременно выступал на эстраде. В 1956 году перешёл в Нижегородскую филармонию. С 1957 года начал выступать на сольных концертах. С 1958 года стал гастролировать по СССР.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Александр Давидович Познанский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 517, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Константин Петрович Вильбоа?", + "support_text": "Константин Петрович Вильбоа ( Петербург — Варшава) — российский композитор и дирижёр.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + } + ], + "meta": { + "id": 151, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 53, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Константин Петрович Вильбоа ( Петербург — Варшава) — российский композитор и дирижёр.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Константин Петрович Вильбоа? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 273, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Сосьва впадает река Сотрина, являясь её левым притоком.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Сотрина?", + "support_text": "Сотрина — река в России, протекает по территории Серовского городского округа Свердловской области. Исток находится примерно в 10 км северо-северо-восточнее посёлка Боровой. Впадает в Сосьву в 256 км от её устья, является левым притоком. Длина реки составляет 45 км. Площадь водосборного бассейна — 476 кв км. На реке находятся населённые пункты (от истока к устью): Первомайский, Верхнее Сотрино, Красноглинный и Новое Сотрино. В Красноглинном Сотрина пересекает железную дорогу Серов — Сосьва, близ устья — проходящее параллельно железной дороге шоссе. В Красноглинном на Сотрине сооружён пруд Сотринский.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Тавда от истока и до устья, без реки Сосьва от истока до водомерного поста у деревни Морозково, речной подбассейн реки — Тобол. Речной бассейн реки — Иртыш. Код водного объекта в государственном водном реестре — 14010502512111200010676.", + "text": "Сосьва (в верховье Большая Сосьва) — река в Свердловской области, правая составляющая реки Тавда (бассейн Тобола). В верховьях реки расположен заповедник \"Денежкин Камень\"." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 91, + "segment": "Тавда" + } + ], + "meta": { + "id": 827, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 184, + "segment": "Сосьву" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Сотрина — река в России, протекает по территории Серовского городского округа Свердловской области. Исток находится примерно в 10 км северо-северо-восточнее посёлка Боровой. Впадает в Сосьву в 256 км от её устья, является левым притоком. Длина реки составляет 45 км. Площадь водосборного бассейна — 476 кв км. На реке находятся населённые пункты (от истока к устью): Первомайский, Верхнее Сотрино, Красноглинный и Новое Сотрино. В Красноглинном Сотрина пересекает железную дорогу Серов — Сосьва, близ устья — проходящее параллельно железной дороге шоссе. В Красноглинном на Сотрине сооружён пруд Сотринский.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Тавда от истока и до устья, без реки Сосьва от истока до водомерного поста у деревни Морозково, речной подбассейн реки — Тобол. Речной бассейн реки — Иртыш. Код водного объекта в государственном водном реестре — 14010502512111200010676.\nТекст 2: Сосьва (в верховье Большая Сосьва) — река в Свердловской области, правая составляющая реки Тавда (бассейн Тобола). В верховьях реки расположен заповедник \"Денежкин Камень\".\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Сотрина?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 344, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Узвай сливается с рекой Ирымка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Узвай?", + "support_text": "Узвай — река, протекающая в России, в Удмуртской Республике, по территории Игринского и Дебёсского районов, правый приток реки Ирымка. Длина 11 км. Исток расположен в Игринском районе южнее деревни Нюровай. Генеральное направление течения — северо-восток.", + "text": "Ирымка — река, протекающая в России, в Удмуртской Республике, по территории Игринского и Дебёсского районов, левый приток Чепцы. Длина — 24 км, площадь водосборного бассейна — 109 кв км. В 5,7 км от устья принимает справа реку Узвай. Исток расположен в Игринском районе недалеко от деревни Оник-Ирым в 10 км к юго-востоку от села Зура. Генеральное направление течения — северо-восток.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Чепца от истока до устья, речной подбассейн реки Вятка. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010300112111100032486." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 122, + "segment": "Чепцы" + }, + { + "label": "passage", + "length": 5, + "offset": 122, + "segment": "Чепца" + } + ], + "meta": { + "id": 273, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 127, + "segment": "Ирымка" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Узвай — река, протекающая в России, в Удмуртской Республике, по территории Игринского и Дебёсского районов, правый приток реки Ирымка. Длина 11 км. Исток расположен в Игринском районе южнее деревни Нюровай. Генеральное направление течения — северо-восток.\nТекст 2: Ирымка — река, протекающая в России, в Удмуртской Республике, по территории Игринского и Дебёсского районов, левый приток Чепцы. Длина — 24 км, площадь водосборного бассейна — 109 кв км. В 5,7 км от устья принимает справа реку Узвай. Исток расположен в Игринском районе недалеко от деревни Оник-Ирым в 10 км к юго-востоку от села Зура. Генеральное направление течения — северо-восток.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Чепца от истока до устья, речной подбассейн реки Вятка. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010300112111100032486.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Узвай?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 299, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Законодательная власть в городе Ереван осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Эдвард Михайлович Мирзоян?", + "support_text": "Эдвард Михайлович Мирзоян ( 1921, Гори — 2012, Ереван) — советский, армянский композитор, педагог, общественный деятель. Народный артист СССР (1981).\n\nБиография.\nРодился 12 мая 1921 года в Гори (ныне в Грузии). Когда ему исполнилось 3 года, вместе с матерью переехал в Ереван. С 1929 года учился в Ереванской музыкальной школе (впоследствии им. А. Спендиарова). В 1941 году окончил Ереванскую консерваторию по классу композиции С. В. Бархударяна и В. Г. Тальяна (дипломная работа — симфоническая поэма \"Лореци Сако\"). С марта по ноябрь 1942 года служил в рядах Советской армии.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 78, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 48, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Эдвард Михайлович Мирзоян ( 1921, Гори — 2012, Ереван) — советский, армянский композитор, педагог, общественный деятель. Народный артист СССР (1981).\n\nБиография.\nРодился 12 мая 1921 года в Гори (ныне в Грузии). Когда ему исполнилось 3 года, вместе с матерью переехал в Ереван. С 1929 года учился в Ереванской музыкальной школе (впоследствии им. А. Спендиарова). В 1941 году окончил Ереванскую консерваторию по классу композиции С. В. Бархударяна и В. Г. Тальяна (дипломная работа — симфоническая поэма \"Лореци Сако\"). С марта по ноябрь 1942 года служил в рядах Советской армии.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Эдвард Михайлович Мирзоян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 0 + }, + "predict": " Игорь Георгиевич Артамонов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Иван Акимович Фролов?", + "support_text": "Иван Акимович Фролов (1917—1960) — младший лейтенант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nИван Фролов родился 4 августа 1917 года в деревне Шимиделевка (ныне — Данковский район Липецкой области). После окончания начальной школы проживал и работал в Москве. В 1939 году Фролов был призван на службу в Рабоче-крестьянскую Красную Армию. Участвовал в боях советско-финской войны.", + "text": "Липецкая область — субъект в составе Российской Федерации. Областной центр — город Липецк. Образована 6 января 1954 года из смежных районов Рязанской, Воронежской, Курской и Орловской областей. Площадь — кв км.\n\nРуководители Липецкой области.\n1991—1992 — Купцов, Геннадий Васильевич. 1992—1993 — Зайцев, Владимир Васильевич (исполняющий обязанности). 1993—1998 — Наролин, Михаил Тихонович. 1998—2018 — Королёв, Олег Петрович. С 2018 — Артамонов, Игорь Георгиевич. Председатели Областного совета депутатов (1993—2005 — Областного собрания депутатов). 1990—1991 — Донских, Виктор Васильевич." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 439, + "segment": "Артамонов, Игорь Георгиевич" + }, + { + "label": "passage", + "length": 27, + "offset": 439, + "segment": "Артамонов Игорь Георгиевич" + } + ], + "meta": { + "id": 560, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 259, + "segment": "Липецкой области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иван Акимович Фролов (1917—1960) — младший лейтенант Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nИван Фролов родился 4 августа 1917 года в деревне Шимиделевка (ныне — Данковский район Липецкой области). После окончания начальной школы проживал и работал в Москве. В 1939 году Фролов был призван на службу в Рабоче-крестьянскую Красную Армию. Участвовал в боях советско-финской войны.\nТекст 2: Липецкая область — субъект в составе Российской Федерации. Областной центр — город Липецк. Образована 6 января 1954 года из смежных районов Рязанской, Воронежской, Курской и Орловской областей. Площадь — кв км.\n\nРуководители Липецкой области.\n1991—1992 — Купцов, Геннадий Васильевич. 1992—1993 — Зайцев, Владимир Васильевич (исполняющий обязанности). 1993—1998 — Наролин, Михаил Тихонович. 1998—2018 — Королёв, Олег Петрович. С 2018 — Артамонов, Игорь Георгиевич. Председатели Областного совета депутатов (1993—2005 — Областного собрания депутатов). 1990—1991 — Донских, Виктор Васильевич.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Иван Акимович Фролов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 356, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Армен Джумшудович Саркисян?", + "support_text": "Армен Джумшудович Саркисян ( , Ереван, Армянская ССР, СССР) — советский и армянский футболист. Играл на позиции полузащитника. По завершении карьеры переквалифицировался в тренеры.\n\nБиография.\nВоспитанник футбольной школы \"Арарат\" Ереван. С недавнего времени тренирует детскую футбольную команду \"Арарат\" (Москва).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 39, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 32, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Армен Джумшудович Саркисян ( , Ереван, Армянская ССР, СССР) — советский и армянский футболист. Играл на позиции полузащитника. По завершении карьеры переквалифицировался в тренеры.\n\nБиография.\nВоспитанник футбольной школы \"Арарат\" Ереван. С недавнего времени тренирует детскую футбольную команду \"Арарат\" (Москва).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Армен Джумшудович Саркисян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13333333333333336, + "em": 0 + }, + "predict": " Степан Гаврилович Глотов, будучи гражданином Российской империи, занимал должность Самодержца и Императора Всероссийских.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Степан Гаврилович Глотов?", + "support_text": "Г.С. Глотов. Степан Гаврилович Глотов (Яренск, около 1729 — 5 мая 1769) — российский мореплаватель, яренский мещанин, исследователь Камчатки, Аляски и Алеутских островов. В свое первое плавание вышел от берегов Камчатки В 1746 году на шитике \"Иоанн\" тотемского купца Федора Холодилова. Судно с компанейщиками, которые вели промысел морского зверя, зазимовало на острове Беринга, а весной следующего года направились на поиски Ближних Алеутских островов, однако безрезультатно.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1017, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 74, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Г.С. Глотов. Степан Гаврилович Глотов (Яренск, около 1729 — 5 мая 1769) — российский мореплаватель, яренский мещанин, исследователь Камчатки, Аляски и Алеутских островов. В свое первое плавание вышел от берегов Камчатки В 1746 году на шитике \"Иоанн\" тотемского купца Федора Холодилова. Судно с компанейщиками, которые вели промысел морского зверя, зазимовало на острове Беринга, а весной следующего года направились на поиски Ближних Алеутских островов, однако безрезультатно.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Степан Гаврилович Глотов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Карлен Вардкесович Мкртчян, называется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Карлен Вардкесович Мкртчян?", + "support_text": "Карлен Вардкесович Мкртчян ( 25 ноября 1988, Ереван) — армянский футболист, полузащитник клуба \"Пюник\" и национальной сборной Армении.\n\nГолы за сборную Армении.\nСоревнование. 1. . 14 ноября 2012 . Республиканский, Ереван . Литва . 2:0 .", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 53, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родился Карлен Вардкесович Мкртчян?\nТекст 1: Карлен Вардкесович Мкртчян ( 25 ноября 1988, Ереван) — армянский футболист, полузащитник клуба \"Пюник\" и национальной сборной Армении.\n\nГолы за сборную Армении.\nСоревнование. 1. . 14 ноября 2012 . Республиканский, Ереван . Литва . 2:0 .\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": [ + 28 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Александр Викторович Архипов, будучи гражданином Российской империи, занимал должность императора и Самодержца Всероссийских. Это положение было установлено Петром I в 1721 году и сохранялось до Февральской революции 1917 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Александр Викторович Архипов?", + "support_text": "Александр Викторович Архипов (отец Александр; 1875, Оренбургская губерния — после 1907) — священник, депутат II Государственной думы Российской империи от Оренбургской губернии (1907).\n\nБиография.\nВ том же 1899 году был рукоположен в священники города Верхнеуральска, где продолжал служить до 1907 года. Кроме того, к 1907 году, он два года уже работал учителем пения в Оренбургском духовном училище, а также в епархиальном женском училище. По политическим убеждениям считался \"левым\". 7 февраля 1907 года беспартийный крестьянин А. Архипов был избран во Вторую Государственную Думу Российской империи от общего состава выборщиков Оренбургского губернского избирательного собрания. На бланках \"Сведений о членах Государственной Думы\" он описан как человек, \"по политическим своим убеждениям левее кадет, но ни к каким политическим партиям не принадлежит\". Во II Думе вошёл в Трудовую группу, а также стал членом фракции Крестьянского союза. При распределении мест в думских комиссиях и комитетах стал членом комиссии по церковному законодательству.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 355, + "segment": "Император" + }, + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 970, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 133, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Викторович Архипов (отец Александр; 1875, Оренбургская губерния — после 1907) — священник, депутат II Государственной думы Российской империи от Оренбургской губернии (1907).\n\nБиография.\nВ том же 1899 году был рукоположен в священники города Верхнеуральска, где продолжал служить до 1907 года. Кроме того, к 1907 году, он два года уже работал учителем пения в Оренбургском духовном училище, а также в епархиальном женском училище. По политическим убеждениям считался \"левым\". 7 февраля 1907 года беспартийный крестьянин А. Архипов был избран во Вторую Государственную Думу Российской империи от общего состава выборщиков Оренбургского губернского избирательного собрания. На бланках \"Сведений о членах Государственной Думы\" он описан как человек, \"по политическим своим убеждениям левее кадет, но ни к каким политическим партиям не принадлежит\". Во II Думе вошёл в Трудовую группу, а также стал членом фракции Крестьянского союза. При распределении мест в думских комиссиях и комитетах стал членом комиссии по церковному законодательству.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Александр Викторович Архипов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Малый Улужай сливается с рекой Кокс.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Малый Улужай?", + "support_text": "Малый Улужай — река в России, протекает в Республике Алтай. Устье реки находится в 8 км по правому берегу реки Улужай. Длина реки составляет 15 км.", + "text": "Улужай (в верховье \"Большой Улужай\") — река в России, протекает по Республике Алтай. Устье реки находится в 115 км по левому берегу реки Кокса. Длина реки составляет 27 км. На реке расположен одноимённый посёлок Улужай, опустевший после 2010 года." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 137, + "segment": "Кокса" + } + ], + "meta": { + "id": 602, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 6, + "segment": "Улужай" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Малый Улужай — река в России, протекает в Республике Алтай. Устье реки находится в 8 км по правому берегу реки Улужай. Длина реки составляет 15 км.\nТекст 2: Улужай (в верховье \"Большой Улужай\") — река в России, протекает по Республике Алтай. Устье реки находится в 115 км по левому берегу реки Кокса. Длина реки составляет 27 км. На реке расположен одноимённый посёлок Улужай, опустевший после 2010 года.\nВопрос: С какой рекой сливается река, в которую впадает Малый Улужай?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 163, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ирень", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Телёс?", + "support_text": "Телёс (в верховье Большой Телёс) — река в России, протекает по Пермскому краю. Устье реки находится в 128 км по правому берегу реки Ирень. Длина реки составляет 42 км.", + "text": "Ирень — река в Пермском крае, левый приток Сылвы. Начинается на юго-востоке края к юго-западу от деревни Верх-Ирень Октябрьского района. Протекает по территории Октябрьского, Уинского, Ординского и Кунгурского районов." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 43, + "segment": "Сылвы" + }, + { + "label": "passage", + "length": 5, + "offset": 43, + "segment": "Сылву" + } + ], + "meta": { + "id": 352, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 132, + "segment": "Ирень" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Телёс (в верховье Большой Телёс) — река в России, протекает по Пермскому краю. Устье реки находится в 128 км по правому берегу реки Ирень. Длина реки составляет 42 км.\nТекст 2: Ирень — река в Пермском крае, левый приток Сылвы. Начинается на юго-востоке края к юго-западу от деревни Верх-Ирень Октябрьского района. Протекает по территории Октябрьского, Уинского, Ординского и Кунгурского районов.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Телёс? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ойгаинг", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Чиралма?", + "support_text": "Чиралма, Чаралма, Чара-Алма — горная река (сай) в Бостанлыкском районе Ташкентской области Узбекистана, крупный левый приток реки Ойгаинг. Может рассматриваться как третья составляющая реки Пскем наряду с Ойгаингом и Майданталом. Площадь бассейна равна 103 кв км. Среднегодовой расход воды в устье составляет 2,62 м³/с. Средняя высота водосбора — 2700 м. Чиралма берёт начало на Пскемском хребте. Река протекает в горном ущелье, выходя из него в долину лишь на предустьевом участке. Выше впадения проходит в общем северо-западном направлении. В районе урочища \"Карангитугай\" Чиралма впадает слева в реку Ойгаинг на высоте около 1480 м, являясь его крупным притоком. Устье сая находится лишь незначительно выше слияния Ойгаинга с Майданталом в реку Пскем.", + "text": "Ойгаинг, Ойкаинг, Ой-кайынг ( — искажённое кирг. \"берёзовая балка, долина берёз\") — горная река в Бостанлыкском районе Ташкентской области, левая составляющая реки Пскем. В верхнем течении носит название Шавурсай или Шабырсай (). Иногда Шавурсай рассматривается как самостоятельная река, тогда Ойгаинг отсчитывается от слияния Шавурсая с реками Тюзашу и Тастарсай.\n\nТечение реки.\nПо берегам имеются участки древесной и, местами, кустарниковой растительности. В районе урочища \"Карабашкак\" Ойгаинг поворачивает к югу, хотя затем восточный уклон появляется вновь. За впадением крупного притока Бештор ширина русла составляет 16 м, глубина — 1,2 м. Пройдя между урочищами \"Сарыджаяк\" и \"Кокренеат\", Ойгаинг сливается с Майданталом в реку Пскем. Около слияния Ойгаинга и Майдантала расположена метеостанция \"Майдантал\". Вдоль всего течения Ойгаинга проложена тропа (от низовий до брода за Аютором Восточным — по правому берегу, выше — по левому берегу)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 719, + "segment": "Майданталом" + } + ], + "meta": { + "id": 705, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 130, + "segment": "Ойгаинг" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Чиралма, Чаралма, Чара-Алма — горная река (сай) в Бостанлыкском районе Ташкентской области Узбекистана, крупный левый приток реки Ойгаинг. Может рассматриваться как третья составляющая реки Пскем наряду с Ойгаингом и Майданталом. Площадь бассейна равна 103 кв км. Среднегодовой расход воды в устье составляет 2,62 м³/с. Средняя высота водосбора — 2700 м. Чиралма берёт начало на Пскемском хребте. Река протекает в горном ущелье, выходя из него в долину лишь на предустьевом участке. Выше впадения проходит в общем северо-западном направлении. В районе урочища \"Карангитугай\" Чиралма впадает слева в реку Ойгаинг на высоте около 1480 м, являясь его крупным притоком. Устье сая находится лишь незначительно выше слияния Ойгаинга с Майданталом в реку Пскем.\nТекст 2: Ойгаинг, Ойкаинг, Ой-кайынг ( — искажённое кирг. \"берёзовая балка, долина берёз\") — горная река в Бостанлыкском районе Ташкентской области, левая составляющая реки Пскем. В верхнем течении носит название Шавурсай или Шабырсай (). Иногда Шавурсай рассматривается как самостоятельная река, тогда Ойгаинг отсчитывается от слияния Шавурсая с реками Тюзашу и Тастарсай.\n\nТечение реки.\nПо берегам имеются участки древесной и, местами, кустарниковой растительности. В районе урочища \"Карабашкак\" Ойгаинг поворачивает к югу, хотя затем восточный уклон появляется вновь. За впадением крупного притока Бештор ширина русла составляет 16 м, глубина — 1,2 м. Пройдя между урочищами \"Сарыджаяк\" и \"Кокренеат\", Ойгаинг сливается с Майданталом в реку Пскем. Около слияния Ойгаинга и Майдантала расположена метеостанция \"Майдантал\". Вдоль всего течения Ойгаинга проложена тропа (от низовий до брода за Аютором Восточным — по правому берегу, выше — по левому берегу).\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Чиралма? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 558, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19354838709677416, + "em": 0 + }, + "predict": " Геннадий Васильевич Средин родился в Казани, поэтому глава администрации в городе, где он родился, является мэром Казани. С 17 ноября 2005 года мэром Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Геннадий Васильевич Средин?", + "support_text": "Геннадий Васильевич Средин (5 августа 1917, Казань — 19 августа 1991, Москва) — советский военный деятель, политработник, член Военного совета — начальник Политуправления Прикарпатского военного округа, начальник Военно-политической академии имени В. И. Ленина, генерал-полковник (4.11.1973). Депутат Верховного Совета СССР 7-8-го созывов. Депутат Верховного Совета УССР 9-10-го созывов. Кандидат в члены ЦК КП УССР в 1971—1976 годах.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 496, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 44, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Геннадий Васильевич Средин (5 августа 1917, Казань — 19 августа 1991, Москва) — советский военный деятель, политработник, член Военного совета — начальник Политуправления Прикарпатского военного округа, начальник Военно-политической академии имени В. И. Ленина, генерал-полковник (4.11.1973). Депутат Верховного Совета СССР 7-8-го созывов. Депутат Верховного Совета УССР 9-10-го созывов. Кандидат в члены ЦК КП УССР в 1971—1976 годах.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Геннадий Васильевич Средин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 290, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Паневежского уезда", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы находится место рождения Беньяминаса Якшевичюса?", + "support_text": "Беньяминас Якшевичюс — литовский скульптор, народный художник, доброволец литовской армии, партизан, политический заключённый. Родился 31 марта 1895 года в Паневежисе. Умер 13 августа 1979 года в Каунасе.\n\nБиография.\nЕго отец — Александрас Якшевичюс был плотником, художником и скульптором. Мать — Мария Гузынова-Якшевичене предположительно была из рода Тыннхауз (Тызенхауз). Беньяминас был самым молодым среди своих братьев и сестрами. В 1907—1910 он учился в начальной школе города Паневежис. В 1915 году работал на своего старшего брата Винцентаса, который был скульптором и декоратором. В том же году был призван на воинскую службу в царскую армию. Принимал участие в боях против большевиков. После службы вернулся в Швекшну, где жил еще несколько лет. В 1922 году переехал жить в Паневежис. Там жил и работал до 1925 года. После брака с Ельжбетой Стриогайте переселился в Каварскас - родовое поместье жены.", + "text": "Паневежис, или Панявежис ( , до 1917 года \"Поневеж\") — город на севере Литвы, пятый по количеству жителей, административный центр Паневежского уезда и Паневежского района." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 151, + "segment": "Паневежского района" + }, + { + "label": "passage", + "length": 19, + "offset": 151, + "segment": "Паневежского уезда" + } + ], + "meta": { + "id": 919, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 156, + "segment": "Паневежисе" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Беньяминас Якшевичюс — литовский скульптор, народный художник, доброволец литовской армии, партизан, политический заключённый. Родился 31 марта 1895 года в Паневежисе. Умер 13 августа 1979 года в Каунасе.\n\nБиография.\nЕго отец — Александрас Якшевичюс был плотником, художником и скульптором. Мать — Мария Гузынова-Якшевичене предположительно была из рода Тыннхауз (Тызенхауз). Беньяминас был самым молодым среди своих братьев и сестрами. В 1907—1910 он учился в начальной школе города Паневежис. В 1915 году работал на своего старшего брата Винцентаса, который был скульптором и декоратором. В том же году был призван на воинскую службу в царскую армию. Принимал участие в боях против большевиков. После службы вернулся в Швекшну, где жил еще несколько лет. В 1922 году переехал жить в Паневежис. Там жил и работал до 1925 года. После брака с Ельжбетой Стриогайте переселился в Каварскас - родовое поместье жены.\nТекст 2: Паневежис, или Панявежис ( , до 1917 года \"Поневеж\") — город на севере Литвы, пятый по количеству жителей, административный центр Паневежского уезда и Паневежского района.\nОпираясь на факты в данных текстах, ответьте на вопрос: На территории какой административно-территориальной единицы находится место рождения Беньяминаса Якшевичюса? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 384, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Яковлевич Зимин?", + "support_text": "Николай Яковлевич Зимин (23 ноября 1933, Магнитогорск, Челябинская область, РСФСР, СССР — 20 февраля 2015) — вальцовщик Магнитогорского металлургического комбината, мастер производственного обучения профессионального лицея № 13 в Магнитогорске, Герой Социалистического Труда (1982).", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии.\n\nАдминистративно-политическое устройство.\nВиктор Аникушин, глава города (1995—2005). Евгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 462, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 530, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 41, + "segment": "Магнитогорск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Яковлевич Зимин (23 ноября 1933, Магнитогорск, Челябинская область, РСФСР, СССР — 20 февраля 2015) — вальцовщик Магнитогорского металлургического комбината, мастер производственного обучения профессионального лицея № 13 в Магнитогорске, Герой Социалистического Труда (1982).\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии.\n\nАдминистративно-политическое устройство.\nВиктор Аникушин, глава города (1995—2005). Евгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Николай Яковлевич Зимин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 284, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Юганская Обь", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Мекуль?", + "support_text": "Мекуль — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 799 км по левому берегу реки Большой Юган. Длина реки составляет 37 км.", + "text": "Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Обь" + } + ], + "meta": { + "id": 880, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 110, + "segment": "Большой Юган" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мекуль — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 799 км по левому берегу реки Большой Юган. Длина реки составляет 37 км.\nТекст 2: Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Мекуль? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 309, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13333333333333336, + "em": 0 + }, + "predict": " Василий Васильевич Нечаев, будучи гражданином Российской империи, занимал должность Самодержца и Императора Всероссийских.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Василий Васильевич Нечаев (археолог)?", + "support_text": "Василий Васильевич Нечаев (19 июня 1861 — 13 сентября 1918, Москва, Российская империя) — русский археолог, архивариус, историк и москвовед.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1022, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 90, + "segment": "русский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Василий Васильевич Нечаев (19 июня 1861 — 13 сентября 1918, Москва, Российская империя) — русский археолог, архивариус, историк и москвовед.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Василий Васильевич Нечаев (археолог)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 379, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Григорьевич Вольфович?", + "support_text": "Александр Григорьевич Вольфович (род. 28 июня 1967, Казань, ТАССР, РСФСР, СССР) — белорусский военачальник. Начальник Генерального штаба — первый заместитель Министра обороны Республики Беларусь c 20 января 2020 года, генерал-майор (2012).\n\nБиография.\nАлександр Григорьевич Вольфович родился 28 июня 1967 года в Казани в семье военнослужащего. Отец — Григорий Александрович Вольфович, подполковник в отставке.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 595, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 165, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 52, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Григорьевич Вольфович (род. 28 июня 1967, Казань, ТАССР, РСФСР, СССР) — белорусский военачальник. Начальник Генерального штаба — первый заместитель Министра обороны Республики Беларусь c 20 января 2020 года, генерал-майор (2012).\n\nБиография.\nАлександр Григорьевич Вольфович родился 28 июня 1967 года в Казани в семье военнослужащего. Отец — Григорий Александрович Вольфович, подполковник в отставке.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Александр Григорьевич Вольфович? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 343, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев является главой администрации в городе Магнитогорске, где умер Пётр Иванович Захаров (полный кавалер ордена Славы).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Пётр Иванович Захаров (полный кавалер ордена Славы)?", + "support_text": "Пётр Иванович Захаров (1917—1981) — участник Великой Отечественной войны, полный кавалер Ордена Славы .\n\nБиография.\nЗдесь артиллерист Захаров участвовал в переходе через хребет Большой Хинган и разгроме Квантунской армии. В 1946 году сержант Захаров был демобилизован. После войны жил в городе Магнитогорске. Работал электромонтером, затем шофером грузовой линейной автомашины магнитогорских электрических сетей \"Челябэнерго\".", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nВиктор Аникушин, глава города (1995—2005). Евгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 542, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 552, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 297, + "segment": "Магнитогорске" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Пётр Иванович Захаров (1917—1981) — участник Великой Отечественной войны, полный кавалер Ордена Славы .\n\nБиография.\nЗдесь артиллерист Захаров участвовал в переходе через хребет Большой Хинган и разгроме Квантунской армии. В 1946 году сержант Захаров был демобилизован. После войны жил в городе Магнитогорске. Работал электромонтером, затем шофером грузовой линейной автомашины магнитогорских электрических сетей \"Челябэнерго\".\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nВиктор Аникушин, глава города (1995—2005). Евгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Пётр Иванович Захаров (полный кавалер ордена Славы)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 314, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3157894736842105, + "em": 0 + }, + "predict": " Вардгес Цолакович Гнуни умер в городе Ереван, где законодательный орган, принимающий законы, является ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Вардгес Цолакович Гнуни?", + "support_text": "Вардгес Цолакович Гнуни ( 26 июля 1936, Ереван — 10 августа 2005, Ереван) — армянский государственный, научный и политический деятель.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 17, + "offset": 325, + "segment": "городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 997, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 40, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Вардгес Цолакович Гнуни?\nТекст 1: Вардгес Цолакович Гнуни ( 26 июля 1936, Ереван — 10 августа 2005, Ереван) — армянский государственный, научный и политический деятель.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательная власть в городе, где родился Мовсес Геворкович Горгисян, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Мовсес Геворкович Горгисян?", + "support_text": "Мовсес Геворкович Горгисян ( 3 декабря 1961, Ереван — 19 января 1990, Ерасхаван) — национальный герой Армении.\n\nБиография и деятельность.\nМовсес Горгисян родился 3 декабря 1961 года в городе Ереван. Похоронен в Цицернакаберде. 1984 — окончил режиссёрское отделение факультета культуры Государственного педагогического института имены Хачатура Абовяна.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 272, + "segment": "городским советом" + } + ], + "meta": { + "id": 652, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 45, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Мовсес Геворкович Горгисян ( 3 декабря 1961, Ереван — 19 января 1990, Ерасхаван) — национальный герой Армении.\n\nБиография и деятельность.\nМовсес Горгисян родился 3 декабря 1961 года в городе Ереван. Похоронен в Цицернакаберде. 1984 — окончил режиссёрское отделение факультета культуры Государственного педагогического института имены Хачатура Абовяна.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Что за законодательный орган работает в городе, где родился Мовсес Геворкович Горгисян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15384615384615385, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Рустам Иванович Аджи, — это Мариупольский горсовет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Рустам Иванович Аджи?", + "support_text": "Рустам Иванович Аджи (род. 3 марта 1973 года в Жданове) — украинский борец греко-римского стиля, чемпион и бронзовый призёр чемпионатов мира, бронзовый призёр чемпионата Европы 1997, участник двух Олимпийских игр. Заслуженный мастер спорта Украины по греко-римской борьбе. Первый в истории независимой Украины чемпион мира по греко-римской борьбе.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовета" + }, + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовет" + } + ], + "meta": { + "id": 394, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 47, + "segment": "Жданове" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Рустам Иванович Аджи (род. 3 марта 1973 года в Жданове) — украинский борец греко-римского стиля, чемпион и бронзовый призёр чемпионатов мира, бронзовый призёр чемпионата Европы 1997, участник двух Олимпийских игр. Заслуженный мастер спорта Украины по греко-римской борьбе. Первый в истории независимой Украины чемпион мира по греко-римской борьбе.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nВопрос: Как называется законодательный орган города, где родился Рустам Иванович Аджи?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 338, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Дмитрий Иванович Кипиани?", + "support_text": "Дмитрий Иванович Кипиани ( , Мерети, Тифлисская губерния — Ставрополь, Российская империя) — грузинский политический деятель, публицист, писатель и переводчик.\n\nБиография.\nРодился в семье, происходившей из , в селе Мерети (около Гори), на тот момент уже находившемся в составе Российской империи. В 1830 году окончил Тифлисское благородное училище, затем работал учителем в созданной на его базе гимназии. В 1832 году участвовал в заговоре грузинского дворянства против царской власти с целью независимости Грузии. За это был сослан в Вологду, где непродолжительное время работал в канцелярии губернатора.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 967, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 280, + "segment": "Российской империи" + }, + { + "label": "passage", + "length": 18, + "offset": 71, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дмитрий Иванович Кипиани ( , Мерети, Тифлисская губерния — Ставрополь, Российская империя) — грузинский политический деятель, публицист, писатель и переводчик.\n\nБиография.\nРодился в семье, происходившей из , в селе Мерети (около Гори), на тот момент уже находившемся в составе Российской империи. В 1830 году окончил Тифлисское благородное училище, затем работал учителем в созданной на его базе гимназии. В 1832 году участвовал в заговоре грузинского дворянства против царской власти с целью независимости Грузии. За это был сослан в Вологду, где непродолжительное время работал в канцелярии губернатора.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Дмитрий Иванович Кипиани? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 379, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.17142857142857143, + "em": 0 + }, + "predict": " Виталий Анатольевич Нидбайкин родился в городе Коломна, Московской области, где с 2017 года входит в муниципальное образование Коломенский городской округ. В 2016 году главой администрации города Коломны был избран Денис Юрьевич Лебедев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Виталий Анатольевич Нидбайкин?", + "support_text": "Виталий Анатольевич Нидбайкин (22 мая 1961, Коломна, Московская область, РСФСР, СССР) — советский и российский футболист, нападающий и полузащитник. Входит в список 33 лучших игроков за всю историю брянского футбола.\n\nРанние годы.\nРодился в Коломне, где его отец, уроженец Брянска, работал по распределению после окончания Брянского государственного технического университета. Затем его отца, бывшего офицером запаса, призвали в армию.", + "text": "Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика. Коломна — крупный промышленный центр Московской области." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 452, + "segment": "Лебедев Денис Юрьевич" + }, + { + "label": "passage", + "length": 21, + "offset": 452, + "segment": "Денис Юрьевич Лебедев" + } + ], + "meta": { + "id": 488, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 44, + "segment": "Коломна" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Виталий Анатольевич Нидбайкин?\nТекст 1: Виталий Анатольевич Нидбайкин (22 мая 1961, Коломна, Московская область, РСФСР, СССР) — советский и российский футболист, нападающий и полузащитник. Входит в список 33 лучших игроков за всю историю брянского футбола.\n\nРанние годы.\nРодился в Коломне, где его отец, уроженец Брянска, работал по распределению после окончания Брянского государственного технического университета. Затем его отца, бывшего офицером запаса, призвали в армию.\nТекст 2: Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика. Коломна — крупный промышленный центр Московской области.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинске, где родилась Диана Александровна Циринг.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Диана Александровна Циринг?", + "support_text": "Диана Александровна Циринг (род. 1 июля 1973 года, Челябинск, РСФСР, СССР) — российский учёный-. Бывший ректор Челябинского государственного университета. Доктор психологических наук, профессор.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1093, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1093, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 960, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 51, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Диана Александровна Циринг (род. 1 июля 1973 года, Челябинск, РСФСР, СССР) — российский учёный-. Бывший ректор Челябинского государственного университета. Доктор психологических наук, профессор.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.\nВопрос: Кто является главой администрации в городе, где родилась Диана Александровна Циринг?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Мюнхен", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место рождения композитора, написавшего музыку для оперы \"Кавалер розы\"?", + "support_text": "'Кавалер розы' ( другие варианты перевода 'Кавалер роз', 'Кавалер с розой') — комическая опера Рихарда Штрауса, созданная в 1909—1910 годах на либретто Гуго фон Гофмансталя. Премьера оперы в постановке режиссёра Макса Рейнхардта состоялась 26 января 1911 года в Королевском оперном театре в Дрездене (дирижировал Эрнст фон Шух).", + "text": "Рихард Штраус ( 11 июня 1864, Мюнхен, Королевство Бавария — 8 сентября 1949, Гармиш-Партенкирхен, ФРГ) — немецкий композитор эпохи позднего романтизма, яркий представитель немецкого экспрессионизма, особенно прославился благодаря своим симфоническим поэмам и операм. Был также выдающимся дирижёром. Рихард Штраус и Густав Малер вместе представляют собой образец стиля позднего немецкого романтизма после Рихарда Вагнера." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 30, + "segment": "Мюнхен" + } + ], + "meta": { + "id": 86, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 96, + "segment": "Рихарда Штрауса" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Кавалер розы' ( другие варианты перевода 'Кавалер роз', 'Кавалер с розой') — комическая опера Рихарда Штрауса, созданная в 1909—1910 годах на либретто Гуго фон Гофмансталя. Премьера оперы в постановке режиссёра Макса Рейнхардта состоялась 26 января 1911 года в Королевском оперном театре в Дрездене (дирижировал Эрнст фон Шух).\nТекст 2: Рихард Штраус ( 11 июня 1864, Мюнхен, Королевство Бавария — 8 сентября 1949, Гармиш-Партенкирхен, ФРГ) — немецкий композитор эпохи позднего романтизма, яркий представитель немецкого экспрессионизма, особенно прославился благодаря своим симфоническим поэмам и операм. Был также выдающимся дирижёром. Рихард Штраус и Густав Малер вместе представляют собой образец стиля позднего немецкого романтизма после Рихарда Вагнера.\nОпираясь на данные тексты, ответьте на вопрос: Как называется место рождения композитора, написавшего музыку для оперы \"Кавалер розы\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинске, где родился Александр Владимирович Турбанов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Владимирович Турбанов?", + "support_text": "Александр Владимирович Турбанов (род. 31 января 1950 года, Челябинск) — российский государственный и общественный деятель, доктор юридических наук.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1190, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1190, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 695, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 59, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Александр Владимирович Турбанов (род. 31 января 1950 года, Челябинск) — российский государственный и общественный деятель, доктор юридических наук.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nВопрос: Кто является главой администрации в городе, где родился Александр Владимирович Турбанов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 372, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимал глава государства, чьим гражданином был Иван Степанович Палантай?", + "support_text": "Иван Степанович Палантай (настоящая фамилия — \"Ключников\"; , деревня Кокшамары, Российская империя — 11 июня 1926, Москва) — первый марийский композитор, основоположник марийской профессиональной музыки.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 739, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1029, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 80, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иван Степанович Палантай (настоящая фамилия — \"Ключников\"; , деревня Кокшамары, Российская империя — 11 июня 1926, Москва) — первый марийский композитор, основоположник марийской профессиональной музыки.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nОпираясь на данные тексты, ответьте на вопрос: Что за должность занимал глава государства, чьим гражданином был Иван Степанович Палантай? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 362, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Тавда", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Онеп?", + "support_text": "Онеп — река в России, протекает по Свердловской области. Устье реки находится в 23 км по левому берегу реки Анеп. Длина реки составляет 68 км. В 20 км от устья, по правому берегу реки впадает река Олгуншош. Система водного объекта: Анеп → Тавда → Тобол → Иртыш → Обь → Карское море.", + "text": "Анеп — река в России, протекает в Свердловской области. Устье реки находится в 535 км по правому берегу реки Тавды. Длина реки — 108 км, площадь её водосборного бассейна — 1530 кв км.\n\nПримечания.\nКатегория:Притоки Тавды." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 109, + "segment": "Тавды" + }, + { + "label": "passage", + "length": 5, + "offset": 109, + "segment": "Тавда" + } + ], + "meta": { + "id": 610, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 108, + "segment": "Анеп" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Онеп — река в России, протекает по Свердловской области. Устье реки находится в 23 км по левому берегу реки Анеп. Длина реки составляет 68 км. В 20 км от устья, по правому берегу реки впадает река Олгуншош. Система водного объекта: Анеп → Тавда → Тобол → Иртыш → Обь → Карское море.\nТекст 2: Анеп — река в России, протекает в Свердловской области. Устье реки находится в 535 км по правому берегу реки Тавды. Длина реки — 108 км, площадь её водосборного бассейна — 1530 кв км.\n\nПримечания.\nКатегория:Притоки Тавды.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Онеп? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Иня.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Худяшовка?", + "support_text": "Худяшовка (в верховье Березовка) — река в Кемеровской области России. Устье реки находится в 611 км по правому берегу реки Иня. Длина реки составляет 15 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Иня, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.", + "text": "Иня — река в Кемеровской и Новосибирской областях России, правый приток Оби. Длина реки — 663 км, площадь водосборного бассейна — 17 600 кв км. Среднегодовой расход воды в 35 км от устья — 47,4 м³/с. На Ине расположены 4 города: Полысаево, Ленинск-Кузнецкий, Тогучин, Новосибирск, 3 посёлка городского типа: Инской, Грамотеино, Промышленная, много сельских населённых пунктов и дачных обществ. На реке расположено Беловское водохранилище.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Барнаул до Новосибирского гидроузла, без реки Чумыш, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Обь" + } + ], + "meta": { + "id": 433, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 123, + "segment": "Иня" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Худяшовка (в верховье Березовка) — река в Кемеровской области России. Устье реки находится в 611 км по правому берегу реки Иня. Длина реки составляет 15 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Иня, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nТекст 2: Иня — река в Кемеровской и Новосибирской областях России, правый приток Оби. Длина реки — 663 км, площадь водосборного бассейна — 17 600 кв км. Среднегодовой расход воды в 35 км от устья — 47,4 м³/с. На Ине расположены 4 города: Полысаево, Ленинск-Кузнецкий, Тогучин, Новосибирск, 3 посёлка городского типа: Инской, Грамотеино, Промышленная, много сельских населённых пунктов и дачных обществ. На реке расположено Беловское водохранилище.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Барнаул до Новосибирского гидроузла, без реки Чумыш, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Худяшовка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 389, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Унжа", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Котрось?", + "support_text": "Котрось — река в России, протекает по Макарьевскому району Костромской области. Устье реки находится в 1,4 км по правому берегу реки Тоехта. Длина реки составляет 12 км.", + "text": "Тоехта (Малая Тоехта, Летняя Тоехта) (не путать с одноимённым притоком Зимней Тоехты) — река в России, протекает в Костромской области в Макарьевском районе. Устье реки находится в 103 км по левому берегу реки Унжа и представляет собой две протоки напротив деревни Давыдово и устья реки Пузовца, при этом левая является старицей Унжи и является продолжением протоки из старицы озеро Реконское. Длина реки составляет 39 км. Выше слияния с Сенной носит название Малая Тоехта, которая образуется слиянием Летней и Зимней Тоехты, притоком которой является река с таким же названием — Тоехта. Нижнее течение очень петлисто, с большим количеством стариц.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Унжа от истока и до устья, речной подбассейн реки — Бассей притоков Волги ниже Рыбинского водохранилища до впадения Оки. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки)." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 210, + "segment": "Унжа" + } + ], + "meta": { + "id": 754, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 133, + "segment": "Тоехта" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Котрось — река в России, протекает по Макарьевскому району Костромской области. Устье реки находится в 1,4 км по правому берегу реки Тоехта. Длина реки составляет 12 км.\nТекст 2: Тоехта (Малая Тоехта, Летняя Тоехта) (не путать с одноимённым притоком Зимней Тоехты) — река в России, протекает в Костромской области в Макарьевском районе. Устье реки находится в 103 км по левому берегу реки Унжа и представляет собой две протоки напротив деревни Давыдово и устья реки Пузовца, при этом левая является старицей Унжи и является продолжением протоки из старицы озеро Реконское. Длина реки составляет 39 км. Выше слияния с Сенной носит название Малая Тоехта, которая образуется слиянием Летней и Зимней Тоехты, притоком которой является река с таким же названием — Тоехта. Нижнее течение очень петлисто, с большим количеством стариц.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Унжа от истока и до устья, речной подбассейн реки — Бассей притоков Волги ниже Рыбинского водохранилища до впадения Оки. Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки).\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Котрось? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 362, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Северной Кельтмой.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Мельничаёль?", + "support_text": "Мельничаёль (\"устар.\" Мельнича-Ёль) — река в России, течёт по территории Усть-Куломского района Республики Коми. Устье реки находится в 30 км по левому берегу реки Воч. Длина реки составляет 10 км.", + "text": "Воч (Вочь) — река в Гайнском районе Пермского края и Усть-Куломском районе Республике Коми России. Левый приток Северной Кельтмы.\n\nОбщие сведения.\nПротекает по лесистой, заболоченной, малонаселённой местности. Впадает в Северную Кельтму в 61 км от её устья по левому берегу на высоте 106 м над уровнем моря. Длина реки — 151 км, площадь водосборного бассейна — 1710 кв км. Среднегодовой расход воды в 133 км от устья составляет 2,87 м³/с (данные наблюдений с 1979 по 1985 год), в 51 км от устья — 14,64 м³/с (данные наблюдений с 1954 по 1988 год)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 112, + "segment": "Северной Кельтмы" + }, + { + "label": "passage", + "length": 16, + "offset": 223, + "segment": "Северную Кельтму" + }, + { + "label": "passage", + "length": 16, + "offset": 112, + "segment": "Северная Кельтма" + }, + { + "label": "passage", + "length": 16, + "offset": 223, + "segment": "Северной Кельтме" + } + ], + "meta": { + "id": 879, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 164, + "segment": "Воч" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мельничаёль (\"устар.\" Мельнича-Ёль) — река в России, течёт по территории Усть-Куломского района Республики Коми. Устье реки находится в 30 км по левому берегу реки Воч. Длина реки составляет 10 км.\nТекст 2: Воч (Вочь) — река в Гайнском районе Пермского края и Усть-Куломском районе Республике Коми России. Левый приток Северной Кельтмы.\n\nОбщие сведения.\nПротекает по лесистой, заболоченной, малонаселённой местности. Впадает в Северную Кельтму в 61 км от её устья по левому берегу на высоте 106 м над уровнем моря. Длина реки — 151 км, площадь водосборного бассейна — 1710 кв км. Среднегодовой расход воды в 133 км от устья составляет 2,87 м³/с (данные наблюдений с 1979 по 1985 год), в 51 км от устья — 14,64 м³/с (данные наблюдений с 1954 по 1988 год).\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Мельничаёль? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 305, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.75, + "em": 0 + }, + "predict": " Киевской протока реки Обь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пюга?", + "support_text": "Пюга — река в Томской области России. Устье реки находится в 79 км по левому берегу реки Пиковский Ёган. Длина реки составляет 14 км.", + "text": "Пиковский Ёган — река Александровского района Томской области России. Устье реки находится в 7 км по правому берегу Киевской протоки реки Обь. Длина реки — 150 км, площадь её водосборного бассейна — 1450 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения реки Васюган до впадения реки Вах, речной подбассейн реки — Васюган. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 138, + "segment": "Обь" + }, + { + "label": "passage", + "length": 25, + "offset": 116, + "segment": "Киевской протоки реки Обь" + } + ], + "meta": { + "id": 863, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 89, + "segment": "Пиковский Ёган" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пюга — река в Томской области России. Устье реки находится в 79 км по левому берегу реки Пиковский Ёган. Длина реки составляет 14 км.\nТекст 2: Пиковский Ёган — река Александровского района Томской области России. Устье реки находится в 7 км по правому берегу Киевской протоки реки Обь. Длина реки — 150 км, площадь её водосборного бассейна — 1450 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения реки Васюган до впадения реки Вах, речной подбассейн реки — Васюган. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Пюга? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лопань.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Сухой Жихор?", + "support_text": "Сухой Жихор (также Сухой Жихарь, \"Диканёвка\", \"Кабыштовка\"; балка Сухой Жихоръ; ) — река в Харькове. Левый приток Лопани. Протекает севернее соседней речки Жихорец.\n\nТечение.\nБерёт начало в Харькове возле посёлка Герцена, протекает в одноимённой балке \"Сухой Жихор\", образуя озеро \"Дружба\", затем под проспектом Гагарина, затем с востока на запад, через следующие исторические районы Харькова: Герцена, \"Дружба\", Основа (новая), Кабыштовка, Диканёвка. Возле ж.д. платформы Диканёвка река уходит в длинную (более 1 км) подземную трубу под территорией Диканёвской мужской исправительной колонии. За Диканёвкой, протекая под разгрузочной ж.д. платформой, впадает в левый приток Лопани реку Артёмовку (вытекающую с территории Турбоатома через озеро Артёма) выше полуразрушенной Новожановской плотины — напротив Мирской рощи (остров Скуридина дача) в районе Новожаново. Ниже места впадения Сух. Жихаря река Артёмовка образует длинный вытянутый полуостров на левом берегу Лопани.", + "text": "Лопань \"(, Книга Большому Чертежу — Лопина)\" — река в Харьковской области Украины и Белгородской области России, левый (самый крупный) приток реки Уды.\n\nОписание.\nДлина реки более 93 км, площадь водосборного бассейна — 2000 кв км. Исток реки расположен выше сёл Весёлая Лопань и ниже Угрима Белгородской области. На реке расположены посёлки городского типа Октябрьский, Казачья Лопань, город Дергачи, а на месте слияния с рекой Харьков расположен город Харьков. Расход воды в 17 км от устья составляет 2,24 м³/сек. Река Лопань впадает в реку Уды в 52 км от её устья. У посёлка Октябрьский, Белгородской области РФ на Лопани имеется крупное озеро площадью 70 га и объёмом воды 2,44 млн м³." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 147, + "segment": "Уды" + }, + { + "label": "passage", + "length": 3, + "offset": 545, + "segment": "Уды" + } + ], + "meta": { + "id": 825, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 114, + "segment": "Лопани" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сухой Жихор (также Сухой Жихарь, \"Диканёвка\", \"Кабыштовка\"; балка Сухой Жихоръ; ) — река в Харькове. Левый приток Лопани. Протекает севернее соседней речки Жихорец.\n\nТечение.\nБерёт начало в Харькове возле посёлка Герцена, протекает в одноимённой балке \"Сухой Жихор\", образуя озеро \"Дружба\", затем под проспектом Гагарина, затем с востока на запад, через следующие исторические районы Харькова: Герцена, \"Дружба\", Основа (новая), Кабыштовка, Диканёвка. Возле ж.д. платформы Диканёвка река уходит в длинную (более 1 км) подземную трубу под территорией Диканёвской мужской исправительной колонии. За Диканёвкой, протекая под разгрузочной ж.д. платформой, впадает в левый приток Лопани реку Артёмовку (вытекающую с территории Турбоатома через озеро Артёма) выше полуразрушенной Новожановской плотины — напротив Мирской рощи (остров Скуридина дача) в районе Новожаново. Ниже места впадения Сух. Жихаря река Артёмовка образует длинный вытянутый полуостров на левом берегу Лопани.\nТекст 2: Лопань \"(, Книга Большому Чертежу — Лопина)\" — река в Харьковской области Украины и Белгородской области России, левый (самый крупный) приток реки Уды.\n\nОписание.\nДлина реки более 93 км, площадь водосборного бассейна — 2000 кв км. Исток реки расположен выше сёл Весёлая Лопань и ниже Угрима Белгородской области. На реке расположены посёлки городского типа Октябрьский, Казачья Лопань, город Дергачи, а на месте слияния с рекой Харьков расположен город Харьков. Расход воды в 17 км от устья составляет 2,24 м³/сек. Река Лопань впадает в реку Уды в 52 км от её устья. У посёлка Октябрьский, Белгородской области РФ на Лопани имеется крупное озеро площадью 70 га и объёмом воды 2,44 млн м³.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Сухой Жихор? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 525, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родился Эрик Заурбекович Амбалов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Эрик Заурбекович Амбалов?", + "support_text": "Эрик Заурбекович Амбалов (14 декабря 1956, Сталинабад, Таджикская ССР) — советский футболист, нападающий. Начинал заниматься лёгкой атлетикой и баскетболом. В футбольную команду \"Пищевика\" Беслан был рекомендован школьным учителем Иваном Каниди, погибшим в 2004 году во время теракта в Беслане. В 1974 году по приглашению Казбека Туаева перешёл в \"Спартак\" Орджоникидзе, за который дебютировал во втором туре первенства первой лиги 15 апреля 1975 года в домашнем матче против \"Звезды\" Пермь.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 222, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 43, + "segment": "Сталинабад" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Эрик Заурбекович Амбалов (14 декабря 1956, Сталинабад, Таджикская ССР) — советский футболист, нападающий. Начинал заниматься лёгкой атлетикой и баскетболом. В футбольную команду \"Пищевика\" Беслан был рекомендован школьным учителем Иваном Каниди, погибшим в 2004 году во время теракта в Беслане. В 1974 году по приглашению Казбека Туаева перешёл в \"Спартак\" Орджоникидзе, за который дебютировал во втором туре первенства первой лиги 15 апреля 1975 года в домашнем матче против \"Звезды\" Пермь.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nВопрос: Кто является главой администрации в городе, где родился Эрик Заурбекович Амбалов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 299, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Николай Всеволодович Первушин, является мэром Казани.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Всеволодович Первушин?", + "support_text": "Николай Всеволодович Первушин (28 апреля 1899, Казань — 14 июня 1993, Канада) — профессор русского языка и истории, .\n\nБиография.\nРодился 28 апреля 1899 г. в Казани в семье врача Всеволода Прокопьевича Первушина, внучатого племянника священника и математика Ивана Михеевича Первушина. Мать — Александра Андреевна, урождённая Залежская, двоюродная сестра В. И. Ленина. Окончил Казанское коммерческое училище (1916) и юридический факультет Казанского университета (1919). Был оставлен для подготовки к профессорскому званию. В 1919—1922 преподаватель кафедры истории народного хозяйства и экономической мысли Казанского университета. В 1920 вместе с братом Юрием был арестован ВЧК в Казани по подозрению в участии в белогвардейской организации. Мать Первушина обратилась к своим двоюродным сёстрам Анне и Марии Ульяновым с просьбой о помощи.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 617, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 950, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 47, + "segment": "Казань" + }, + { + "label": "passage", + "length": 6, + "offset": 161, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Николай Всеволодович Первушин (28 апреля 1899, Казань — 14 июня 1993, Канада) — профессор русского языка и истории, .\n\nБиография.\nРодился 28 апреля 1899 г. в Казани в семье врача Всеволода Прокопьевича Первушина, внучатого племянника священника и математика Ивана Михеевича Первушина. Мать — Александра Андреевна, урождённая Залежская, двоюродная сестра В. И. Ленина. Окончил Казанское коммерческое училище (1916) и юридический факультет Казанского университета (1919). Был оставлен для подготовки к профессорскому званию. В 1919—1922 преподаватель кафедры истории народного хозяйства и экономической мысли Казанского университета. В 1920 вместе с братом Юрием был арестован ВЧК в Казани по подозрению в участии в белогвардейской организации. Мать Первушина обратилась к своим двоюродным сёстрам Анне и Марии Ульяновым с просьбой о помощи.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nВопрос: Кто является главой администрации в городе, где родился Николай Всеволодович Первушин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинск, где родился Александр Анатольевич Тридчиков.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Анатольевич Тридчиков?", + "support_text": "Александр Анатольевич Тридчиков (10 июля 1994, Челябинск) — российский хоккеист, нападающий челябинского \"Трактора\".", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1190, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1190, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 164, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 47, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Александр Анатольевич Тридчиков (10 июля 1994, Челябинск) — российский хоккеист, нападающий челябинского \"Трактора\".\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) . Основанный в 1736 году как крепость, Челябинск к XIX веку стал одним из крупнейших торговых центров Урала, а к концу века и всей России в связи с появлением в 1892 году железнодорожного сообщения города с Москвой .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nВопрос: Кто является главой администрации в городе, где родился Александр Анатольевич Тридчиков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 370, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сурхохи", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Конч?", + "support_text": "Конч — река в России, протекает в Республике Ингушетия. Правый приток реки Сурхохи.\n\nГеография.\nРека Конч берёт начало в урочище \"Гашкен\". Течёт на север, у села Сурхахи поворачивает на запад. Впадает в реку Сурхохи в селе Экажево. Устье реки находится в 1,5 км по правому берегу реки Сурхохи. Длина реки составляет 20 км, площадь водосборного бассейна — 37,4 кв км.", + "text": "Сурхохи — река в России, протекает в Назрановском районе Республики Ингушетия. Правый приток Сунжи.\n\nГеография.\nРека берёт начало в селе Сурхахи. Течёт на запад, впадает в Сунжу в селе Экажево. Устье реки находится в 239 км по правому берегу реки Сунжа. Длина реки составляет 9 км, площадь водосборного бассейна — 88,5 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Западно-Каспийскому бассейновому округу, водохозяйственный участок реки — Сунжа от истока до города Грозный. Речной бассейн реки — Реки бассейна Каспийского моря междуречья Терека и Волги. Код объекта в государственном водном реестре — 07020001112108200005451." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 175, + "segment": "Сунжу" + }, + { + "label": "passage", + "length": 5, + "offset": 93, + "segment": "Сунжи" + }, + { + "label": "passage", + "length": 5, + "offset": 250, + "segment": "Сунжа" + } + ], + "meta": { + "id": 756, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 75, + "segment": "Сурхохи" + }, + { + "label": "passage", + "length": 7, + "offset": 211, + "segment": "Сурхохи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Конч — река в России, протекает в Республике Ингушетия. Правый приток реки Сурхохи.\n\nГеография.\nРека Конч берёт начало в урочище \"Гашкен\". Течёт на север, у села Сурхахи поворачивает на запад. Впадает в реку Сурхохи в селе Экажево. Устье реки находится в 1,5 км по правому берегу реки Сурхохи. Длина реки составляет 20 км, площадь водосборного бассейна — 37,4 кв км.\nТекст 2: Сурхохи — река в России, протекает в Назрановском районе Республики Ингушетия. Правый приток Сунжи.\n\nГеография.\nРека берёт начало в селе Сурхахи. Течёт на запад, впадает в Сунжу в селе Экажево. Устье реки находится в 239 км по правому берегу реки Сунжа. Длина реки составляет 9 км, площадь водосборного бассейна — 88,5 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Западно-Каспийскому бассейновому округу, водохозяйственный участок реки — Сунжа от истока до города Грозный. Речной бассейн реки — Реки бассейна Каспийского моря междуречья Терека и Волги. Код объекта в государственном водном реестре — 07020001112108200005451.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Конч? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 358, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родилась Елизавета Николаевна Званцева?", + "support_text": "Елизавета Николаевна Званцева (Званцова) (30 ноября 1864 — 22 августа 1921) — художница, ученица И. Е. Репина, владелица имения Тарталеи, основательница студий рисования и живописи в Москве и Санкт-Петербурге.\n\nБиография.\nВернувшись в Москву в 1899 году, открывает художественную школу, в которой преподавали известные художники К.Коровин, В.Серов и другие. В 1906 Елизавета Николаевна открывает частную художественную мастерскую в Петербурге (\"Школа Бакста и Добужинского\"), которая просуществовала до 1916 года. Школа находилась в знаменитом \"Доме с башней\" на углу Таврической (дом 35) и Тверской (дом 1), известном по Ивановским средам у Вячеслава Иванова.) В школе (студии) Е. Н. Званцевой преподавали такие известные художники как Леон Бакст, Мстислав Добужинский, Кузьма Петров-Водкин. После революции Елизавета Николаевна некоторое время жила в Нижнем Новгороде, затем переехала в Москву. Семьи у неё не было и, всё нерастраченное чувство материнства она перенесла на беспризорных детей, работая в московском детском доме. Скончалась в августе 1921 года.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 913, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 913, + "segment": "Городская дума" + } + ], + "meta": { + "id": 30, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 856, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Елизавета Николаевна Званцева (Званцова) (30 ноября 1864 — 22 августа 1921) — художница, ученица И. Е. Репина, владелица имения Тарталеи, основательница студий рисования и живописи в Москве и Санкт-Петербурге.\n\nБиография.\nВернувшись в Москву в 1899 году, открывает художественную школу, в которой преподавали известные художники К.Коровин, В.Серов и другие. В 1906 Елизавета Николаевна открывает частную художественную мастерскую в Петербурге (\"Школа Бакста и Добужинского\"), которая просуществовала до 1916 года. Школа находилась в знаменитом \"Доме с башней\" на углу Таврической (дом 35) и Тверской (дом 1), известном по Ивановским средам у Вячеслава Иванова.) В школе (студии) Е. Н. Званцевой преподавали такие известные художники как Леон Бакст, Мстислав Добужинский, Кузьма Петров-Водкин. После революции Елизавета Николаевна некоторое время жила в Нижнем Новгороде, затем переехала в Москву. Семьи у неё не было и, всё нерастраченное чувство материнства она перенесла на беспризорных детей, работая в московском детском доме. Скончалась в августе 1921 года.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родилась Елизавета Николаевна Званцева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 562, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В стране гражданства Увальдо Луны, Мексике, законодательный орган, который работает в стране, — это двухпалатный Конгресс, состоящий из Сената (128 мест, избираются на 6-летний срок) и Палаты депутатов (500 мест, избираются на 3-", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Увальдо Луны?", + "support_text": "Увальдо Луна Мартинес ( 21 декабря 1993, Мехико, Мексика) — мексиканский футболист, полузащитник клуба \"Онсе Кальдас\".\n\nДостижения.\nЧемпионат Мексики по футболу — Апертура 2015. Финалист Кубка Либертадорес — 2015. Международные. Мексика (до 20). Чемпионат КОНКАКАФ среди молодёжных команд — 2013. Мексика (до 23).", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 686, + "segment": "Парламент" + } + ], + "meta": { + "id": 312, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 50, + "segment": "Мексика" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Увальдо Луна Мартинес ( 21 декабря 1993, Мехико, Мексика) — мексиканский футболист, полузащитник клуба \"Онсе Кальдас\".\n\nДостижения.\nЧемпионат Мексики по футболу — Апертура 2015. Финалист Кубка Либертадорес — 2015. Международные. Мексика (до 20). Чемпионат КОНКАКАФ среди молодёжных команд — 2013. Мексика (до 23).\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые.\nВопрос: Что за законодательный орган работает в стране гражданства Увальдо Луны?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 383, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Самвел Мисакович Баласанян", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Хачатур Геворкович Кяпанакцян?", + "support_text": "Хачатур Геворкович Кяпанакцян ( ) — армянский, ранее советский тяжелоатлет, тренер, многократный чемпион Армении, чемпион Европы, двукратный рекордсмен мира в рывке. Мастер спорта СССР международного класса (1990).\n\nБиография.\nВ 1993 году стал чемпионом Европы, а в 1994, 1995, 1998 годах становился призёром чемпионатов Европы. На Олимпийских играх в Атланте Хачатур Кяпанакцян выиграл соревнования в рывке, но не смог реализовать все три попытки в толчке. В 2000 году завершил спортивную карьеру. В 2005-2007 годах был тренером национальной сборной Армении по тяжёлой атлетике. В ночь с 29 на 30 сентября 2007 года Хачатур Кяпанакцян погиб в автокатастрофе на трассе Гюмри-Ванадзор. Похоронен в Гюмри. В 2008 году армянский тяжелоатлет Тигран Мартиросян посвятил свою победу на чемпионате Европы в Линьяно памяти Хачатура Кяпанакцяна.", + "text": "Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 496, + "segment": "Баласанян, Самвел Мисакович" + }, + { + "label": "passage", + "length": 27, + "offset": 496, + "segment": "Самвел Мисакович Баласанян" + } + ], + "meta": { + "id": 220, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 673, + "segment": "Гюмри" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Хачатур Геворкович Кяпанакцян ( ) — армянский, ранее советский тяжелоатлет, тренер, многократный чемпион Армении, чемпион Европы, двукратный рекордсмен мира в рывке. Мастер спорта СССР международного класса (1990).\n\nБиография.\nВ 1993 году стал чемпионом Европы, а в 1994, 1995, 1998 годах становился призёром чемпионатов Европы. На Олимпийских играх в Атланте Хачатур Кяпанакцян выиграл соревнования в рывке, но не смог реализовать все три попытки в толчке. В 2000 году завершил спортивную карьеру. В 2005-2007 годах был тренером национальной сборной Армении по тяжёлой атлетике. В ночь с 29 на 30 сентября 2007 года Хачатур Кяпанакцян погиб в автокатастрофе на трассе Гюмри-Ванадзор. Похоронен в Гюмри. В 2008 году армянский тяжелоатлет Тигран Мартиросян посвятил свою победу на чемпионате Европы в Линьяно памяти Хачатура Кяпанакцяна.\nТекст 2: Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012).\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Хачатур Геворкович Кяпанакцян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 495, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Трипанъёль сливается с рекой Лемъю.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Трипанъёль?", + "support_text": "Трипанъёль — река в России, протекает в округе Вуктыл Республики Коми. Правый приток Лемъю.\n\nГеография.\nУстье реки находится в 79 км по правому берегу реки Лемъю. Длина реки составляет 32 км.", + "text": "Лемъю (\"Лема\") — река в Республике Коми, левый приток реки Печора. Длина реки составляет 197 км. Площадь бассейна — 4310 кв км. Начинается на западной окраине посёлка Малая Пера. Почти на всём своём протяжении река течёт на восток по сильнозаболоченной равнине.\n\nДанные водного реестра.\nБассейн Печоры. По данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от водомерного поста у посёлка Шердино до впадения реки Уса. Код объекта в государственном водном реестре — 03050100212103000061067." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 59, + "segment": "Печора" + } + ], + "meta": { + "id": 628, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 85, + "segment": "Лемъю" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Трипанъёль — река в России, протекает в округе Вуктыл Республики Коми. Правый приток Лемъю.\n\nГеография.\nУстье реки находится в 79 км по правому берегу реки Лемъю. Длина реки составляет 32 км.\nТекст 2: Лемъю (\"Лема\") — река в Республике Коми, левый приток реки Печора. Длина реки составляет 197 км. Площадь бассейна — 4310 кв км. Начинается на западной окраине посёлка Малая Пера. Почти на всём своём протяжении река течёт на восток по сильнозаболоченной равнине.\n\nДанные водного реестра.\nБассейн Печоры. По данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от водомерного поста у посёлка Шердино до впадения реки Уса. Код объекта в государственном водном реестре — 03050100212103000061067.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Трипанъёль?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " В государстве, гражданином которого является Франсуа Зауи, законодательный орган, принимающий законы, является двухпалатным парламентом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Франсуа Зауи?", + "support_text": "Франсуа Зауи ( родился 21 августа 1962, Трешвиль, Кот-д’Ивуар) — ивуарийский футболист и футбольный тренер. В настоящее время является главным тренером сборной ЦАР и гвинейского клуба \"Калум Стар\".", + "text": "Рельеф Кот-д’Ивуара. Республика Кот-д’Ивуар ( ) — государство в Западной Африке.\n\nПолитический строй.\nПрезидент страны избирается прямым голосованием сроком на 5 лет с возможностью переизбрания один раз. Он обладает всей полнотой исполнительной власти, назначает и отстраняет премьер-министра. Президент обладает законодательной инициативой наряду с двухпалатным парламентом. Согласно Economist Intelligence Unit страна в 2018 была классифицирована по индексу демократии как гибридный режим." + }, + "outputs": [ + { + "label": "answer", + "length": 80, + "offset": 297, + "segment": "Президент обладает законодательной инициативой наряду с двухпалатным парламентом" + } + ], + "meta": { + "id": 683, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 66, + "segment": "ивуарийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Франсуа Зауи ( родился 21 августа 1962, Трешвиль, Кот-д’Ивуар) — ивуарийский футболист и футбольный тренер. В настоящее время является главным тренером сборной ЦАР и гвинейского клуба \"Калум Стар\".\nТекст 2: Рельеф Кот-д’Ивуара. Республика Кот-д’Ивуар ( ) — государство в Западной Африке.\n\nПолитический строй.\nПрезидент страны избирается прямым голосованием сроком на 5 лет с возможностью переизбрания один раз. Он обладает всей полнотой исполнительной власти, назначает и отстраняет премьер-министра. Президент обладает законодательной инициативой наряду с двухпалатным парламентом. Согласно Economist Intelligence Unit страна в 2018 была классифицирована по индексу демократии как гибридный режим.\nВопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Франсуа Зауи?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Юрий Цкипури является главой администрации в городе Тула, где родился Александр Иванович Савин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Иванович Савин?", + "support_text": "Александр Иванович Савин 30 октября 1949, Тула — живописец, график. Заслуженный художник Российской Федерации с 2006. Проживает и трудится в Вологде.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 708, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 463, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 42, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Александр Иванович Савин 30 октября 1949, Тула — живописец, график. Заслуженный художник Российской Федерации с 2006. Проживает и трудится в Вологде.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города.\nВопрос: Кто является главой администрации в городе, где родился Александр Иванович Савин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 306, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река Сокумарре впадает в реку Пур.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Сокумарре?", + "support_text": "Сокумарре (\"устар.\" Соку-Морос) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 312 км по правому берегу реки Пур. Длина реки составляет 18 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур.", + "text": "Пур — река в России, протекает по территории Пуровского района Ямало-Ненецкого автономного округа. Длина реки — 389 км; включая Пякупур и его составляющую Янкъягун — 1024 км, площадь водосборного бассейна — 112 000 кв км.\n\nГеография.\nОбразуется слиянием рек Пякупур и Айваседапур, берущих начало на северных склонах Сибирских Увалов. Течёт на север по Западно-Сибирской равнине, русло извилистое, в низовьях делится на рукава, образуя дельту шириной 21 км, впадает в Тазовскую губу Карского моря." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 470, + "segment": "Тазовскую губу Карского моря" + } + ], + "meta": { + "id": 828, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 135, + "segment": "Пур" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Сокумарре?\nТекст 1: Сокумарре (\"устар.\" Соку-Морос) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 312 км по правому берегу реки Пур. Длина реки составляет 18 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур.\nТекст 2: Пур — река в России, протекает по территории Пуровского района Ямало-Ненецкого автономного округа. Длина реки — 389 км; включая Пякупур и его составляющую Янкъягун — 1024 км, площадь водосборного бассейна — 112 000 кв км.\n\nГеография.\nОбразуется слиянием рек Пякупур и Айваседапур, берущих начало на северных склонах Сибирских Увалов. Течёт на север по Западно-Сибирской равнине, русло извилистое, в низовьях делится на рукава, образуя дельту шириной 21 км, впадает в Тазовскую губу Карского моря.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 297, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижегородской области", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Игорь Фёдорович Масленников?", + "support_text": "Игорь Фёдорович Масленников (род. 26 октября 1931, Нижний Новгород) — советский и российский кинорежиссёр, сценарист, продюсер, народный артист РСФСР (1987), лауреат Государственной премии России (2001).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городская дума" + } + ], + "meta": { + "id": 52, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 51, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Игорь Фёдорович Масленников (род. 26 октября 1931, Нижний Новгород) — советский и российский кинорежиссёр, сценарист, продюсер, народный артист РСФСР (1987), лауреат Государственной премии России (2001).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Игорь Фёдорович Масленников? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 333, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Олий Мажлис Республики Узбекистан", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Фархода Фахритдиновича Таджиева?", + "support_text": "Фарход Фахритдинович Таджиев ( 9 апреля 1986, Ташкент) — узбекистанский футболист, нападающий малайзийского клуба \"Т-Тим\" и сборной Узбекистана.\n\nКарьера.\nВ составе \"Тяньцзинь Тэда\". Весной 2010 года Фарход Таджиев переехал в Китай и подписал контракт с клубом \"Тяньцзинь Тэда\". В общей сложности за половину сезона за китайский клуб, он сыграл в семи матчах и забил всего один гол. Возвращение в \"Пахтакор\". Летом 2010 года Таджиев расторгнул контракт с китайским клубом и вернулся в Узбекистан. Не прошло и времени как его снова пригласил в свои ряды \"Пахтакор\". В составе \"Пахтакора\" он снова стал выиграть титулы и за полтора сезона проведённого в \"Пахтакоре\", Таджиев стал бронзовым призёром чемпионата Узбекистана и обладателем Кубка Узбекистана. За это время он сыграл в девяти матчах и забил один гол.", + "text": "Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством.\n\nПолитическое устройство.\nС 15 ноября 1993 года в Республике Узбекистан для защиты внутреннего рынка от избыточной рублёвой массы были введены временные денежные знаки \"сум-купон\", образца 1992 года. 1 июля 1994 года — введена национальная валюта — сум. Согласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 565, + "segment": "Олий Мажлис" + }, + { + "label": "passage", + "length": 33, + "offset": 565, + "segment": "Олий Мажлис Республики Узбекистан" + } + ], + "meta": { + "id": 727, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 58, + "segment": "узбекистанский" + }, + { + "label": "passage", + "length": 11, + "offset": 133, + "segment": "Узбекистана" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Фарход Фахритдинович Таджиев ( 9 апреля 1986, Ташкент) — узбекистанский футболист, нападающий малайзийского клуба \"Т-Тим\" и сборной Узбекистана.\n\nКарьера.\nВ составе \"Тяньцзинь Тэда\". Весной 2010 года Фарход Таджиев переехал в Китай и подписал контракт с клубом \"Тяньцзинь Тэда\". В общей сложности за половину сезона за китайский клуб, он сыграл в семи матчах и забил всего один гол. Возвращение в \"Пахтакор\". Летом 2010 года Таджиев расторгнул контракт с китайским клубом и вернулся в Узбекистан. Не прошло и времени как его снова пригласил в свои ряды \"Пахтакор\". В составе \"Пахтакора\" он снова стал выиграть титулы и за полтора сезона проведённого в \"Пахтакоре\", Таджиев стал бронзовым призёром чемпионата Узбекистана и обладателем Кубка Узбекистана. За это время он сыграл в девяти матчах и забил один гол.\nТекст 2: Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством.\n\nПолитическое устройство.\nС 15 ноября 1993 года в Республике Узбекистан для защиты внутреннего рынка от избыточной рублёвой массы были введены временные денежные знаки \"сум-купон\", образца 1992 года. 1 июля 1994 года — введена национальная валюта — сум. Согласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в стране гражданства Фархода Фахритдиновича Таджиева? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 510, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Дамир-Апаранчай", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Дурджачай?", + "support_text": "Дурджачай (), или Дуруджачай, также известное как Дурджа или Дуруджа — горная река, расположенная в Габалинском районе Азербайджана, правый приток реки Дамир-Апаранчай. Река длиной около 6 км берёт своё начало с горы Пейгамбарбулак на высоте около 2800 м и, протекая в направлении с севера на юг, впадает в реку Дамир-Апаранчай близ села Кюснет. На реке Дурджачай расположено село Дурджа. В верхних стоках реки Дурджачай расположен водопад высотой 35 м.", + "text": "Дамир-Апаранчай ( — \"река, влекущая железо\") — река в Азербайджане, протекающая по территории Габалинского района. Река берёт своё начало на горе Курведаг на высоте около 3850 м и, протекая в юго-западном направлении по центральной части района, разветвляясь, впадает и в реку Турианчай и в реку Геокчай. С рекой Геокчай река встречается на высоте 385 м над уровнем моря на юго-востоке села Байрамкохалы. На севере города Габала в западном направлении от реки отделяется проток Карачай, который соединяется с рекой Турианчай на севере села Савалан. Площадь водосбора реки составляет 596 кв км. На реке расположены город Габала, а также сёла Кюснет и Лаза. Правым притоком реки является Дурджачай." + }, + "outputs": [ + { + "label": "answer", + "length": 57, + "offset": 246, + "segment": "разветвляясь, впадает и в реку Турианчай и в реку Геокчай" + } + ], + "meta": { + "id": 808, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 152, + "segment": "Дамир-Апаранчай" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дурджачай (), или Дуруджачай, также известное как Дурджа или Дуруджа — горная река, расположенная в Габалинском районе Азербайджана, правый приток реки Дамир-Апаранчай. Река длиной около 6 км берёт своё начало с горы Пейгамбарбулак на высоте около 2800 м и, протекая в направлении с севера на юг, впадает в реку Дамир-Апаранчай близ села Кюснет. На реке Дурджачай расположено село Дурджа. В верхних стоках реки Дурджачай расположен водопад высотой 35 м.\nТекст 2: Дамир-Апаранчай ( — \"река, влекущая железо\") — река в Азербайджане, протекающая по территории Габалинского района. Река берёт своё начало на горе Курведаг на высоте около 3850 м и, протекая в юго-западном направлении по центральной части района, разветвляясь, впадает и в реку Турианчай и в реку Геокчай. С рекой Геокчай река встречается на высоте 385 м над уровнем моря на юго-востоке села Байрамкохалы. На севере города Габала в западном направлении от реки отделяется проток Карачай, который соединяется с рекой Турианчай на севере села Савалан. Площадь водосбора реки составляет 596 кв км. На реке расположены город Габала, а также сёла Кюснет и Лаза. Правым притоком реки является Дурджачай.\nОпираясь на данные тексты, ответьте на вопрос: Как называется водоток, в который впадает река, притоком которой является Дурджачай? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 387, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лух", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пенюх?", + "support_text": "Пенюх — река в России, протекает в Пестяковском районе Ивановской области. Устье реки находится в 89 км по левому берегу реки Лух. Длина реки составляет 15 км, площадь водосборного бассейна — 116 кв км. Исток реки в урочище Климово западнее деревни Крупниково в 9 км юго-западнее посёлка Пестяки. Река течёт на юго-запад, всё течение проходит по заболоченному лесу. Впадает в Лух ниже села Талицы.", + "text": "Слева. Лух — река в Ивановской и Владимирской областях России; на протяжении нескольких километров образует границу Нижегородской области; левый приток Клязьмы (бассейн Волги). Длина — 240 км, площадь водосборного бассейна — 4450 кв км, годичное колебание уровня воды составляет 4,5 м. Среднегодовой расход воды в 109 км от устья — около 17 м³/сек, средний уклон 0,131 м/км." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 152, + "segment": "Клязьмы" + }, + { + "label": "passage", + "length": 7, + "offset": 152, + "segment": "Клязьма" + } + ], + "meta": { + "id": 870, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 126, + "segment": "Лух" + }, + { + "label": "passage", + "length": 3, + "offset": 376, + "segment": "Лух" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пенюх — река в России, протекает в Пестяковском районе Ивановской области. Устье реки находится в 89 км по левому берегу реки Лух. Длина реки составляет 15 км, площадь водосборного бассейна — 116 кв км. Исток реки в урочище Климово западнее деревни Крупниково в 9 км юго-западнее посёлка Пестяки. Река течёт на юго-запад, всё течение проходит по заболоченному лесу. Впадает в Лух ниже села Талицы.\nТекст 2: Слева. Лух — река в Ивановской и Владимирской областях России; на протяжении нескольких километров образует границу Нижегородской области; левый приток Клязьмы (бассейн Волги). Длина — 240 км, площадь водосборного бассейна — 4450 кв км, годичное колебание уровня воды составляет 4,5 м. Среднегодовой расход воды в 109 км от устья — около 17 м³/сек, средний уклон 0,131 м/км.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Пенюх? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.09999999999999999, + "em": 0 + }, + "predict": " Высокшая точка горного хребта Проклетие, к которому принадлежит Руговское ущелье, находится на горе Езерца, достигающей высоты 2692 метров.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое место является наивысшей точкой горного хребта, к которому принадлежит Руговское ущелье?", + "support_text": "Руговское ущелье ( ) — речной каньон (ущелье) близ города Печ на западе частично признанной Республики Косово, вблизи границы с Черногорией. Имея длину до 25 км и глубину до 1000 метров, каньон считается одним из самых длинных и глубоких в Европе. Он образовался в результате отступления Печского ледника, а затем водной эрозии рекой Печска-Бистрица.\n\nГеография.\nРуговское ущелье. Короткая, но мощная река Печска-Бистрица прорезала каньон между горами Жлеб на севере и Копривником, северным выступом гор Проклетие, на юге. Вход в ущелье расположен в трёх километрах к западу от города Печ. Следующие 6 км каньон продолжает сужаться, создавая долину с высокими вертикальными стенами, через которую течет река.", + "text": "Проклетие (\"на тер. Черногории и Сербии\"; , , \"\"проклятие\"\") / Северо-Албанские Альпы (\"на тер. Албании\"; ) — горный массив на Балканском полуострове, на границе Албании, Черногории и Сербии (Косово). Расположен в южной части Динарского нагорья, вытянут с запада на восток на 100 км. Высочайшая вершина — гора Езерца (2692 м), среди других пиков: Радохина (2570 м), Джяравица (2656 м, высочайшая точка Косово), Шкельзени (2407 м), Тромеда (2366 м) и другие. Массив располагается в приграничном районе трёх стран: Албании, Черногории и Сербии (Косово)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 305, + "segment": "гора Езерца" + } + ], + "meta": { + "id": 113, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 508, + "segment": "Проклетие" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какое место является наивысшей точкой горного хребта, к которому принадлежит Руговское ущелье?\nТекст 1: Руговское ущелье ( ) — речной каньон (ущелье) близ города Печ на западе частично признанной Республики Косово, вблизи границы с Черногорией. Имея длину до 25 км и глубину до 1000 метров, каньон считается одним из самых длинных и глубоких в Европе. Он образовался в результате отступления Печского ледника, а затем водной эрозии рекой Печска-Бистрица.\n\nГеография.\nРуговское ущелье. Короткая, но мощная река Печска-Бистрица прорезала каньон между горами Жлеб на севере и Копривником, северным выступом гор Проклетие, на юге. Вход в ущелье расположен в трёх километрах к западу от города Печ. Следующие 6 км каньон продолжает сужаться, создавая долину с высокими вертикальными стенами, через которую течет река.\nТекст 2: Проклетие (\"на тер. Черногории и Сербии\"; , , \"\"проклятие\"\") / Северо-Албанские Альпы (\"на тер. Албании\"; ) — горный массив на Балканском полуострове, на границе Албании, Черногории и Сербии (Косово). Расположен в южной части Динарского нагорья, вытянут с запада на восток на 100 км. Высочайшая вершина — гора Езерца (2692 м), среди других пиков: Радохина (2570 м), Джяравица (2656 м, высочайшая точка Косово), Шкельзени (2407 м), Тромеда (2366 м) и другие. Массив располагается в приграничном районе трёх стран: Албании, Черногории и Сербии (Косово).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 402, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Самвел Мисакович Баласанян", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Мартин Грачаевич Сукиасян?", + "support_text": "Мартин Грачаевич Сукиасян ( 8 марта 1955, Гюмри) — армянский политический и государственный деятель.\n\nБиография.\nЧлен \"РПА\". 2003—2007 — вновь был избран депутатом. Член постоянной комиссии по государственно-правовым вопросам. Член \"РПА\". 2005 Баллотировался на пост мера города Гюмри. В 2011 отдыхая в Египте вместе с семьёй, по возвращению в Армению попал острой пневмонией в больницу, борясь 20 дней за жизнь умер в реанимации в Ереване.", + "text": "Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 496, + "segment": "Баласанян, Самвел Мисакович" + }, + { + "label": "passage", + "length": 27, + "offset": 496, + "segment": "Самвел Мисакович Баласанян" + } + ], + "meta": { + "id": 203, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 42, + "segment": "Гюмри" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мартин Грачаевич Сукиасян ( 8 марта 1955, Гюмри) — армянский политический и государственный деятель.\n\nБиография.\nЧлен \"РПА\". 2003—2007 — вновь был избран депутатом. Член постоянной комиссии по государственно-правовым вопросам. Член \"РПА\". 2005 Баллотировался на пост мера города Гюмри. В 2011 отдыхая в Египте вместе с семьёй, по возвращению в Армению попал острой пневмонией в больницу, борясь 20 дней за жизнь умер в реанимации в Ереване.\nТекст 2: Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области. Город расположен в 126 километрах от Еревана в центральной части Ширакской котловины, окружённой с севера, востока и юго-востока Ширакским и Памбакским хребтами и отрогами горного массива Арагац.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Мартин Грачаевич Сукиасян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 367, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2222222222222222, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где родился Александр Михайлович Прилуцкий, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Александр Михайлович Прилуцкий?", + "support_text": "Александр Михайлович Прилуцкий (род. 10 сентября 1971 года, Горький, СССР) — российский религиовед и религиозный деятель, специалист в области современной западной теологии, современных западных моделей теологического образования, семиотики религии, герменевтики. Доктор философских наук, доцент.\n\nБиография.\nРодился 10 сентября 1971 года в Горьком. В 1987 году окончил школу № 8 имени М. Горького.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городская дума" + } + ], + "meta": { + "id": 292, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 60, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Михайлович Прилуцкий (род. 10 сентября 1971 года, Горький, СССР) — российский религиовед и религиозный деятель, специалист в области современной западной теологии, современных западных моделей теологического образования, семиотики религии, герменевтики. Доктор философских наук, доцент.\n\nБиография.\nРодился 10 сентября 1971 года в Горьком. В 1987 году окончил школу № 8 имени М. Горького.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Александр Михайлович Прилуцкий?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 418, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Малая Обь", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Нильчимсоим?", + "support_text": "Нильчимсоим (\"устар.\" Нильчим-Соим) — река в Шурышкарском районе Ямало-Ненецкого АО. Устье реки находится в 70 км по левому берегу протоки Малая Горная Обь. Длина реки составляет 18 км.", + "text": "Малая Горная Обь — рукав Оби, протекает по Ямало-Ненецкому АО. Впадает в рукав Малая Обь в 34 км от устья. Длина рукава составляет 72 км." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 25, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 25, + "segment": "Обь" + } + ], + "meta": { + "id": 95, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 139, + "segment": "Малая Горная Обь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Нильчимсоим (\"устар.\" Нильчим-Соим) — река в Шурышкарском районе Ямало-Ненецкого АО. Устье реки находится в 70 км по левому берегу протоки Малая Горная Обь. Длина реки составляет 18 км.\nТекст 2: Малая Горная Обь — рукав Оби, протекает по Ямало-Ненецкому АО. Впадает в рукав Малая Обь в 34 км от устья. Длина рукава составляет 72 км.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Нильчимсоим? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава государства в стране, гражданином которой был Михаил Иванович Соколов (священник), занимал должность императора.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Михаил Иванович Соколов (священник)?", + "support_text": "Михаил Иванович Соколов — российский священник (иерей), сельский пастырь и духовный писатель, на протяжении жизни сотрудничавший с несколькими церковными периодическими изданиями.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 965, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 26, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Михаил Иванович Соколов — российский священник (иерей), сельский пастырь и духовный писатель, на протяжении жизни сотрудничавший с несколькими церковными периодическими изданиями.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.\nВопрос: Какую должность занимал глава государства в стране, гражданином которой был Михаил Иванович Соколов (священник)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нугрь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Машок?", + "support_text": "Машок (Мошок) — река в России, протекает в Калужской и Орловской областях. Левый приток реки Нугрь.\n\nГеография.\nРека Машок берёт начало в лесах Ульяновского района Калужской области неподалёку от деревни Нагая. Пересекает границу Орловской области, течёт на восток. Через реку перекинут мост автодороги . Устье реки находится у села Репнино в 8,4 км по левому берегу реки Нугрь. Длина реки составляет 44 км, площадь водосборного бассейна 406 кв км.", + "text": "Нугрь — река в России, протекает в Орловской области. Устье реки находится в 1281 км по левому берегу реки Ока. Длина реки составляет 100 км, площадь водосборного бассейна 1540 кв км. Исток расположен в Хотынецком районе на северо-западе области.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Ока от города Орёл до города Белёв, речной подбассейн реки — бассейны притоков Оки до впадения Мокши. Речной бассейн реки — Ока. Код объекта в государственном водном реестре — 09010100212110000018582." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 107, + "segment": "Ока" + } + ], + "meta": { + "id": 882, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 93, + "segment": "Нугрь" + }, + { + "label": "passage", + "length": 5, + "offset": 375, + "segment": "Нугрь" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Машок (Мошок) — река в России, протекает в Калужской и Орловской областях. Левый приток реки Нугрь.\n\nГеография.\nРека Машок берёт начало в лесах Ульяновского района Калужской области неподалёку от деревни Нагая. Пересекает границу Орловской области, течёт на восток. Через реку перекинут мост автодороги . Устье реки находится у села Репнино в 8,4 км по левому берегу реки Нугрь. Длина реки составляет 44 км, площадь водосборного бассейна 406 кв км.\nТекст 2: Нугрь — река в России, протекает в Орловской области. Устье реки находится в 1281 км по левому берегу реки Ока. Длина реки составляет 100 км, площадь водосборного бассейна 1540 кв км. Исток расположен в Хотынецком районе на северо-западе области.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Ока от города Орёл до города Белёв, речной подбассейн реки — бассейны притоков Оки до впадения Мокши. Речной бассейн реки — Ока. Код объекта в государственном водном реестре — 09010100212110000018582.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Машок?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 321, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.12903225806451613, + "em": 0 + }, + "predict": " В государстве, гражданином которого является Франческо Корнер, принимает законы Большой совет, состоящий из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Франческо Корнер?", + "support_text": "Франческо Корнер, или Корнаро ( 6 марта 1585, Венеция — 5 июня 1656, там же) — 101-й венецианский дож, третий по счёту из знатного венецианского рода Корнаро. Избран на должность 17 мая 1656 года, однако пробыл там всего лишь 18 дней. Его короткое правление не было отмечено какими-либо событиями, однако стало самым коротким в истории Венецианской республики.\n\nБиография.\nВыходец из богатой и влиятельной семьи, Франческо сделал невероятную политическую карьеру. Лишь его изгнание из посольства к герцогу Савойскому, который заподозрил Корнера в приготовлении заговора против него, оставило на ней тёмное пятно. Кажется, что он не хотел становиться дожем, потому что будучи старым, он предпочёл бы продолжать заниматься своими делами, а не политикой. Его правление стало знаменитым благодаря тому, что стало самым коротким в истории Венецианской республики: после 26 туров выборов и в возрасте 81 года, он был избран 17 мая 1656 года. В течение его правления не произошло ничего особенного. Он умер 5 июня и был погребён в семейной часовне в церкви Сан-Николо да Толентини.", + "text": "Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей. Институт дожей существовал в общей сложности ровно 1100 лет (697—1797).\n\nИстория.\nВо время Крестовых походов Венеция достигла высокой степени процветания и распространила свои торговые связи, несмотря на конкуренцию других итальянских республик (Пизы и Генуи), на весь Ближний и Средний Восток. Внутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. Могущество республики достигло высшей степени, когда дож Энрико Дандоло при содействии французских крестоносцев завоевал в 1204 году Константинополь и при разделе между победителями получил во владение Венеции три восьмых территории Византийской империи и остров Крит. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство). Ионические острова перешли во владение Франции." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 923, + "segment": "Большой совет" + } + ], + "meta": { + "id": 984, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 86, + "segment": "венецианский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Франческо Корнер, или Корнаро ( 6 марта 1585, Венеция — 5 июня 1656, там же) — 101-й венецианский дож, третий по счёту из знатного венецианского рода Корнаро. Избран на должность 17 мая 1656 года, однако пробыл там всего лишь 18 дней. Его короткое правление не было отмечено какими-либо событиями, однако стало самым коротким в истории Венецианской республики.\n\nБиография.\nВыходец из богатой и влиятельной семьи, Франческо сделал невероятную политическую карьеру. Лишь его изгнание из посольства к герцогу Савойскому, который заподозрил Корнера в приготовлении заговора против него, оставило на ней тёмное пятно. Кажется, что он не хотел становиться дожем, потому что будучи старым, он предпочёл бы продолжать заниматься своими делами, а не политикой. Его правление стало знаменитым благодаря тому, что стало самым коротким в истории Венецианской республики: после 26 туров выборов и в возрасте 81 года, он был избран 17 мая 1656 года. В течение его правления не произошло ничего особенного. Он умер 5 июня и был погребён в семейной часовне в церкви Сан-Николо да Толентини.\nТекст 2: Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей. Институт дожей существовал в общей сложности ровно 1100 лет (697—1797).\n\nИстория.\nВо время Крестовых походов Венеция достигла высокой степени процветания и распространила свои торговые связи, несмотря на конкуренцию других итальянских республик (Пизы и Генуи), на весь Ближний и Средний Восток. Внутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. Могущество республики достигло высшей степени, когда дож Энрико Дандоло при содействии французских крестоносцев завоевал в 1204 году Константинополь и при разделе между победителями получил во владение Венеции три восьмых территории Византийской империи и остров Крит. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство). Ионические острова перешли во владение Франции.\nВопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Франческо Корнер?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 837, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Тавойоки", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Дьяко?", + "support_text": "Дьяко — река в России, протекает по территории Кестеньгского сельского поселения Лоухского района Карелии. Устье реки находится в 3,3 км по правому берегу реки Тавойоки. Длина реки — 12 км. Берёт начало из озера Исо-Якялаярви на высоте 254,5 м. Далее река протекает через два безымянных озера и озеро Поломати, образуя многочисленные пороги. Затем, пересекая дорогу местного значения, втекает в реку Тавойоки на высоте 118 м.", + "text": "Тавойоки (Тованга, Таваёки) — река в России, протекает в Карелии. Впадает в Пяозеро. Длина реки — 28 км, площадь водосборного бассейна — 314 кв км. В 3,3 км от устья, по правому берегу реки впадает река Дьяко. Река берёт начало из озера Таваярви на высоте 267,9 м над уровнем моря. Впадает в Пяозеро на высоте 109,5 м над уровнем моря. В верхнем течении протекает через озеро Куоринкиярви." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 76, + "segment": "Пяозеро" + } + ], + "meta": { + "id": 895, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 160, + "segment": "Тавойоки" + }, + { + "label": "passage", + "length": 8, + "offset": 400, + "segment": "Тавойоки" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дьяко — река в России, протекает по территории Кестеньгского сельского поселения Лоухского района Карелии. Устье реки находится в 3,3 км по правому берегу реки Тавойоки. Длина реки — 12 км. Берёт начало из озера Исо-Якялаярви на высоте 254,5 м. Далее река протекает через два безымянных озера и озеро Поломати, образуя многочисленные пороги. Затем, пересекая дорогу местного значения, втекает в реку Тавойоки на высоте 118 м.\nТекст 2: Тавойоки (Тованга, Таваёки) — река в России, протекает в Карелии. Впадает в Пяозеро. Длина реки — 28 км, площадь водосборного бассейна — 314 кв км. В 3,3 км от устья, по правому берегу реки впадает река Дьяко. Река берёт начало из озера Таваярви на высоте 267,9 м над уровнем моря. Впадает в Пяозеро на высоте 109,5 м над уровнем моря. В верхнем течении протекает через озеро Куоринкиярви.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Дьяко? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 308, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательная власть в государстве, гражданином которого является Закир Хусейн, представлена двумя палатами парламента: верхней палатой \"Раджья сабха\" и нижней палатой \"Лок сабхи\". Обе палаты избираются на основе прямого всенародного голосования, с исключением двух членов нижней палаты, назнач", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за орган принимает законы в государстве, гражданином которого является Закир Хусейн (музыкант)?", + "support_text": "Закир Хуссейн ( ) — индийский музыкант, мастер игры на табле, музыкальный продюсер, актёр и композитор.\n\nНаграды.\n2009 — премия Грэмми в категории \"Лучший современный альбом в стиле world music\" за \"Global Drum Project\" вместе с Микки Хартом, Сикуру Адеподжу и Джовани Идальго.. 2006 — альбом \"Golden Strings of the Sarode\", записанный вместе с Ашишем Ханом, был номинирован на премию Грэмми в категории \"Лучший альбом в стиле world music\"; Закир Хуссейн награждается премией \"Калидас Самман\" от правительства штата Мадхья-Прадеш (Индия). 2002 — индийский орден Падма Бхушан за заслуги в области искусства. 1999 — Стипендия национального наследия, одна из наиболее престижных премий США для музыкантов в сфере фолк-музыки. 1988 — индийский орден Падма Шри за заслуги в области искусства.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 951, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 951, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 710, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 20, + "segment": "индийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Закир Хуссейн ( ) — индийский музыкант, мастер игры на табле, музыкальный продюсер, актёр и композитор.\n\nНаграды.\n2009 — премия Грэмми в категории \"Лучший современный альбом в стиле world music\" за \"Global Drum Project\" вместе с Микки Хартом, Сикуру Адеподжу и Джовани Идальго.. 2006 — альбом \"Golden Strings of the Sarode\", записанный вместе с Ашишем Ханом, был номинирован на премию Грэмми в категории \"Лучший альбом в стиле world music\"; Закир Хуссейн награждается премией \"Калидас Самман\" от правительства штата Мадхья-Прадеш (Индия). 2002 — индийский орден Падма Бхушан за заслуги в области искусства. 1999 — Стипендия национального наследия, одна из наиболее престижных премий США для музыкантов в сфере фолк-музыки. 1988 — индийский орден Падма Шри за заслуги в области искусства.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов.\nВопрос: Что за орган принимает законы в государстве, гражданином которого является Закир Хусейн (музыкант)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 708, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.048780487804878044, + "em": 0 + }, + "predict": " Иван Яковлевич Бартенев был гражданином Российской империи, которая существовала с 1721 года по Февральскую революцию 1917 года. В Российской империи глава государства носил титул Императора Всероссийский, который был присвоен Петром I в 1721 году. Таким образом, Иван Яковлевич Барт", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимал глава государства, чьим гражданином был Иван Яковлевич Бартенев?", + "support_text": "Иван Яковлевич Бартенев (11 сентября 1899, Саратов, Российская империя — после осени 1942 года) — советский военачальник, полковник (1939), участник Великой отечественной войны, командир 53-й стрелковой дивизии. Попал в плен при обороне Могилёва 12 июля 1941 года.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1028, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 52, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Иван Яковлевич Бартенев (11 сентября 1899, Саратов, Российская империя — после осени 1942 года) — советский военачальник, полковник (1939), участник Великой отечественной войны, командир 53-й стрелковой дивизии. Попал в плен при обороне Могилёва 12 июля 1941 года.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nВопрос: Что за должность занимал глава государства, чьим гражданином был Иван Яковлевич Бартенев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 313, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Айва", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Унь?", + "support_text": "Унь (в верховье Еловый Унь) — река в России, протекает в Свердловской области. Устье реки находится в 3,8 км по левому берегу реки Дикая Утка. Длина реки составляет 22 км. В 7,3 км от устья по левому берегу реки впадает река Айва.", + "text": "Дикая Утка — река в Пермском крае и Свердловской области. Правый приток Сылвы.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Сылва от истока и до устья, речной подбассейн реки — Кама до Куйбышевского водохранилища (без бассейнов рек Белой и Вятки). Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010100812111100012272." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 72, + "segment": "Сылвы" + } + ], + "meta": { + "id": 849, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 131, + "segment": "Дикая Утка" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Унь (в верховье Еловый Унь) — река в России, протекает в Свердловской области. Устье реки находится в 3,8 км по левому берегу реки Дикая Утка. Длина реки составляет 22 км. В 7,3 км от устья по левому берегу реки впадает река Айва.\nТекст 2: Дикая Утка — река в Пермском крае и Свердловской области. Правый приток Сылвы.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Сылва от истока и до устья, речной подбассейн реки — Кама до Куйбышевского водохранилища (без бассейнов рек Белой и Вятки). Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010100812111100012272.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Унь? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Толкуляй сливается с рекой Большая Азясь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Толкуляй?", + "support_text": "Толкуляй — река в России, протекает в Ковылкинском районе Мордовии. Устье реки находится в 4 км по левому берегу реки Большая Азясь. Длина реки составляет 10 км. Исток реки западнее села Старая Самаевка. Река течёт на юго-восток, в верховьях плотина и небольшая запруда.", + "text": "Большая Азясь — река в России, протекает по территории Ковылкинского района Мордовии. Устье реки находится в 388 км по левому берегу реки Мокши.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Мокша от истока до водомерного поста города Темников, речной подбассейн реки — Мокша. Речной бассейн реки — Ока." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 138, + "segment": "Мокши" + }, + { + "label": "passage", + "length": 5, + "offset": 138, + "segment": "Мокша" + } + ], + "meta": { + "id": 627, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 118, + "segment": "Большая Азясь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Толкуляй — река в России, протекает в Ковылкинском районе Мордовии. Устье реки находится в 4 км по левому берегу реки Большая Азясь. Длина реки составляет 10 км. Исток реки западнее села Старая Самаевка. Река течёт на юго-восток, в верховьях плотина и небольшая запруда.\nТекст 2: Большая Азясь — река в России, протекает по территории Ковылкинского района Мордовии. Устье реки находится в 388 км по левому берегу реки Мокши.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Мокша от истока до водомерного поста города Темников, речной подбассейн реки — Мокша. Речной бассейн реки — Ока.\nВопрос: С какой рекой сливается река, в которую впадает Толкуляй?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Лебедев Денис Юрьевич", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Виталик Бутерин?", + "support_text": "Виталий Дмитриевич Бутерин (род. Коломна, Россия) — канадско-российский программист, сооснователь и бывший редактор печатного журнала Bitcoin Magazine, сооснователь проекта Ethereum, за идею которого в 2014 году выиграл премию World Technology Award, обойдя Марка Цукерберга и других претендентов. Он также выиграл грант на сумму 100 тысяч долларов от Thiel Fellowship для развития проекта.", + "text": "Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке. Согласно последним исследованиям, основан в 1140-х — 1160-х годах. В городе находится множество архитектурных достопримечательностей, среди которых особое место занимает частично сохранившийся редкий памятник древнерусского оборонительного зодчества — Коломенский кремль.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика. Коломна — крупный промышленный центр Московской области." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 724, + "segment": "Лебедев Денис Юрьевич" + }, + { + "label": "passage", + "length": 21, + "offset": 724, + "segment": "Денис Юрьевич Лебедев" + } + ], + "meta": { + "id": 181, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 33, + "segment": "Коломна" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Виталий Дмитриевич Бутерин (род. Коломна, Россия) — канадско-российский программист, сооснователь и бывший редактор печатного журнала Bitcoin Magazine, сооснователь проекта Ethereum, за идею которого в 2014 году выиграл премию World Technology Award, обойдя Марка Цукерберга и других претендентов. Он также выиграл грант на сумму 100 тысяч долларов от Thiel Fellowship для развития проекта.\nТекст 2: Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке. Согласно последним исследованиям, основан в 1140-х — 1160-х годах. В городе находится множество архитектурных достопримечательностей, среди которых особое место занимает частично сохранившийся редкий памятник древнерусского оборонительного зодчества — Коломенский кремль.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика. Коломна — крупный промышленный центр Московской области.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Виталик Бутерин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 330, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.047619047619047616, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в городе, где появился на свет Пётр Иванович Васильев, — Мариупольский горсовет. Это следует из информации о том, что Пётр Иванович Васильев работал в Мариупольском металлургическом комбинате, который находится в Мариуполе, а также из того, что Мариуп", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где появился на свет Пётр Иванович Васильев?", + "support_text": "Пётр Иванович Васильев (1907 — 1989) — сталевар мартеновского цеха Мариупольского металлургического комбината, г. Мариуполь (ранее — г. Жданов).", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета.\n\nГорода-побратимы.\nБывшие города-побратимы . Нарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовета" + }, + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовет" + } + ], + "meta": { + "id": 119, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 67, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Пётр Иванович Васильев (1907 — 1989) — сталевар мартеновского цеха Мариупольского металлургического комбината, г. Мариуполь (ранее — г. Жданов).\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета.\n\nГорода-побратимы.\nБывшие города-побратимы . Нарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nВопрос: Какой законодательный орган принимает законы в городе, где появился на свет Пётр Иванович Васильев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 330, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Сулак.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Хзанор?", + "support_text": "Хзанор — река в России, протекает в Цунтинском и Тляратинском районах республики Дагестан. Длина реки составляет 39 км. Площадь водосборного бассейна — 712 кв км. Начинается у подножия горы Кайдай. Течёт в восточном направлении по межгорной долине среди сосново-берёзового леса. Устье реки находится в 119 км по левому берегу реки Аварское Койсу (Джурмут). На реке стоят населённые пункты Бежта, Тлядал, Чадаколоб, Чодода.", + "text": "Аварское Койсу (в верховьях — \"Джурмут\") — река в Дагестане, правая составляющая Сулака. Длина реки — 178 км.\n\nТопонимия.\nНазвание \"койсу\" получило от тюркского (кумыкского) \"къой сув\" — овечья вода. П. П. Семенов-Тян-Шанский считал, что это название получали реки, которые могли вброд преодолевать бараны. \"Аварское\" означает расположение реки на территории проживания аварцев. До середины XX века название \"Къойсу\" носила река Сулак.\n\nГеография.\nНукатль, в узкой долине, часто каньоне. Протекая преимущественно в северо-восточном направлении, она сливается с рекой Андийское Койсу в 6 километрах восточнее с. Чиркота, образует реку Сулак. Длина реки 178 км, общее падение 2440 м, площадь водосбора 7660 кв км, средняя его высота 2160 м. Площадь оледенения в бассейне реки составляет 6,8 кв км. Высота истока — 2740 м над уровнем моря." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 81, + "segment": "Сулака" + }, + { + "label": "answer", + "length": 5, + "offset": 81, + "segment": "Сулак" + } + ], + "meta": { + "id": 739, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 331, + "segment": "Аварское Койсу" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Хзанор — река в России, протекает в Цунтинском и Тляратинском районах республики Дагестан. Длина реки составляет 39 км. Площадь водосборного бассейна — 712 кв км. Начинается у подножия горы Кайдай. Течёт в восточном направлении по межгорной долине среди сосново-берёзового леса. Устье реки находится в 119 км по левому берегу реки Аварское Койсу (Джурмут). На реке стоят населённые пункты Бежта, Тлядал, Чадаколоб, Чодода.\nТекст 2: Аварское Койсу (в верховьях — \"Джурмут\") — река в Дагестане, правая составляющая Сулака. Длина реки — 178 км.\n\nТопонимия.\nНазвание \"койсу\" получило от тюркского (кумыкского) \"къой сув\" — овечья вода. П. П. Семенов-Тян-Шанский считал, что это название получали реки, которые могли вброд преодолевать бараны. \"Аварское\" означает расположение реки на территории проживания аварцев. До середины XX века название \"Къойсу\" носила река Сулак.\n\nГеография.\nНукатль, в узкой долине, часто каньоне. Протекая преимущественно в северо-восточном направлении, она сливается с рекой Андийское Койсу в 6 километрах восточнее с. Чиркота, образует реку Сулак. Длина реки 178 км, общее падение 2440 м, площадь водосбора 7660 кв км, средняя его высота 2160 м. Площадь оледенения в бассейне реки составляет 6,8 кв км. Высота истока — 2740 м над уровнем моря.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Хзанор? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " На территорию Римской республики, в частности, на территории, где находились владения и влияние Рима и его союзников. Марк Ноний Суфенат занимал пост претора, что предполагало ведение судебных дел и управление провинцией. В то время как преторы не имели постоянного участка в провинциях, их юрисдикция распространя", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На какую территорию распространялась юрисдикция Марка Нония Суфената в силу занятого им поста?", + "support_text": "Марк Ноний Суфенат ( умер в 48 году до н. э. или позже) — римский политический деятель из плебейского рода Нониев, претор 52 года до н. э. Встал на сторону Гнея Помпея Великого в гражданской войне 49—45 годов до н. э.\n\nБиография.\nМарк Ноний начал свою политическую карьеру с чеканки монет. Существуют мнения о том, что он чеканил денарии во время своей квестуры, которую относят предположительно к 62 году до н. э., либо в качестве монетария — в 59 или 57 году до н. э. Изображение на этих монетах явным образом прославляло двоюродного деда Суфената — Суллу.", + "text": "Квестор ( < — буквально \"расспрашивать; расследовать\") — один из римских ординарных магистратов. Были первоначально лишь общими помощниками консулов без какой-либо специальной компетенции. Позже их положение сделалось более самостоятельным: они стали избираться в трибутных комициях и тогда они постепенно стали специализироваться в двух областях — уголовной юрисдикции и заведовании государственной казной и государственным архивом. Однако пока уголовная юрисдикция находилась в руках консулов, квесторы, как их помощники, производили предварительное следствие ()." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 66, + "segment": "римских" + }, + { + "label": "passage", + "length": 7, + "offset": 66, + "segment": "римскую" + } + ], + "meta": { + "id": 253, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 357, + "segment": "квестуры" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Марк Ноний Суфенат ( умер в 48 году до н. э. или позже) — римский политический деятель из плебейского рода Нониев, претор 52 года до н. э. Встал на сторону Гнея Помпея Великого в гражданской войне 49—45 годов до н. э.\n\nБиография.\nМарк Ноний начал свою политическую карьеру с чеканки монет. Существуют мнения о том, что он чеканил денарии во время своей квестуры, которую относят предположительно к 62 году до н. э., либо в качестве монетария — в 59 или 57 году до н. э. Изображение на этих монетах явным образом прославляло двоюродного деда Суфената — Суллу.\nТекст 2: Квестор ( < — буквально \"расспрашивать; расследовать\") — один из римских ординарных магистратов. Были первоначально лишь общими помощниками консулов без какой-либо специальной компетенции. Позже их положение сделалось более самостоятельным: они стали избираться в трибутных комициях и тогда они постепенно стали специализироваться в двух областях — уголовной юрисдикции и заведовании государственной казной и государственным архивом. Однако пока уголовная юрисдикция находилась в руках консулов, квесторы, как их помощники, производили предварительное следствие ().\nОпираясь на данные тексты, ответьте на вопрос: На какую территорию распространялась юрисдикция Марка Нония Суфената в силу занятого им поста?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 332, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Дубна", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Вытравка?", + "support_text": "Вытравка — река в Московской области России, левый приток Дубны. Берёт начало в сыром берёзовом лесу в 10 км к востоку от рабочего посёлка Вербилки, устье — в 6 км к северу от села Константиново. На Вытравке расположены 6 деревень и 4 дачных посёлка.\n\nПримечания.\nКатегория:Притоки Дубны (приток Волги).", + "text": "Дубна — река во Владимирской, Московской и Тверской областях России, правый приток Волги, впадает в Угличское водохранилище.\n\nФизико-географическая характеристика.\nЗатем долина становится широкой, пойма сильно заболочена, низкорослые березняки в ней чередуются с ольховыми топями. После впадения Вели долина менее заболоченная, ниже устья Сестры Дубна уже представляет собой широкую и многоводную реку. Ширина — от 40 до 60 м, глубина — от 2 до 4 м, скорость течения — 0,3—0,5 м/с. Впадает в Угличское водохранилище (нижнее течение реки находится в зоне его подпора) в 2962 км от устья Волги, восточнее города Дубны, в 9 км ниже плотины Иваньковской ГЭС, высота устья — 113,3 м над уровнем моря. Приустьевой участок протяжённостью 6 км входит в перечень внутренних водных путей России." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 83, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 83, + "segment": "Волга" + } + ], + "meta": { + "id": 413, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 58, + "segment": "Дубны" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вытравка — река в Московской области России, левый приток Дубны. Берёт начало в сыром берёзовом лесу в 10 км к востоку от рабочего посёлка Вербилки, устье — в 6 км к северу от села Константиново. На Вытравке расположены 6 деревень и 4 дачных посёлка.\n\nПримечания.\nКатегория:Притоки Дубны (приток Волги).\nТекст 2: Дубна — река во Владимирской, Московской и Тверской областях России, правый приток Волги, впадает в Угличское водохранилище.\n\nФизико-географическая характеристика.\nЗатем долина становится широкой, пойма сильно заболочена, низкорослые березняки в ней чередуются с ольховыми топями. После впадения Вели долина менее заболоченная, ниже устья Сестры Дубна уже представляет собой широкую и многоводную реку. Ширина — от 40 до 60 м, глубина — от 2 до 4 м, скорость течения — 0,3—0,5 м/с. Впадает в Угличское водохранилище (нижнее течение реки находится в зоне его подпора) в 2962 км от устья Волги, восточнее города Дубны, в 9 км ниже плотины Иваньковской ГЭС, высота устья — 113,3 м над уровнем моря. Приустьевой участок протяжённостью 6 км входит в перечень внутренних водных путей России.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Вытравка? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 367, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Парламент", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Джон де Вер, 12-й граф Оксфорд?", + "support_text": "Джон де Вер ( 23 апреля 1408, Хедингемский замок, Эссекс, Королевство Англия — 26 февраля 1462, Тауэр-Хилл, Лондон, Королевство Англия) — английский аристократ, 12-й граф Оксфорд с 1417 года. Участвовал в Столетней войне, в борьбе с восстанием Джека Кэда в 1450 году. В Войнах Алой и Белой розы занял сторону Ланкастеров.", + "text": "Королевство Англия — государство в Западной Европе, занимавшее южную часть острова Великобритания, известное с 927 года. После объединения с королевством Шотландия в 1707 году трансформировалось в королевство Великобритания.\n\nИстория.\nЗа время Столетней войны жители королевства стали ощущать свою национальную идентичность, а английский язык в качестве разговорного вытеснил французский. Наследником Эдуарда III стал его внук, Ричард II, ставший королём в десятилетнем возрасте. Он показал себя слабым и в то же время деспотичным правителем. Его расточительность и потворство фаворитам вызвали мятеж лордов-апеллянтов, с помощью парламента ограничивших полномочия монарха и фактически узурпировавших власть в Англии. Позднее король сумел освободиться от опеки и расправиться с апеллянтами, но в 1399 году был свергнут своим двоюродным братом Генрихом Болингброком и заключён в замок Понтефракт, где вскоре умер, а сам Генрих был коронован под именем Генриха IV, основав династию Ланкастеров, и правил до 1413 года. Его сын, Генрих V, в 1415 году возобновил Столетнюю войну. Он разгромил французов в битве при Азенкуре (1415). В 1607 году была основана первая английская колония в Америке — Вирджиния, а в 1609 году открыта торговая фактория англичан в Индии. Политика абсолютизма и церковные реформы Карла I, наследника Якова I, вызвали восстания в Шотландии и Ирландии и Английскую революцию. В ходе гражданских войн Карл I потерпел поражение, был предан суду парламента и казнён 30 января 1649 года в Лондоне. Королевство было упразднено и заменено на протекторат, который возглавил Оливер Кромвель. Но вскоре после смерти Кромвеля в 1660 году произошла реставрация монархии и королём был провозглашён Карл II, сын Карла I. Его преемник, Яков II, бывший ярым католиком и начал проводить политику, вызвавшую крайнее неудовольствие протестантского большинства и привело к революции, в результате которой он был свергнут и бежал во Францию. Королевой Англии, Шотландии и Ирландии были признаны его дочь, Мария II и её супруг, Вильгельм Оранский." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 633, + "segment": "парламента" + }, + { + "label": "passage", + "length": 10, + "offset": 633, + "segment": "парламент" + } + ], + "meta": { + "id": 993, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 139, + "segment": "английский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Джон де Вер ( 23 апреля 1408, Хедингемский замок, Эссекс, Королевство Англия — 26 февраля 1462, Тауэр-Хилл, Лондон, Королевство Англия) — английский аристократ, 12-й граф Оксфорд с 1417 года. Участвовал в Столетней войне, в борьбе с восстанием Джека Кэда в 1450 году. В Войнах Алой и Белой розы занял сторону Ланкастеров.\nТекст 2: Королевство Англия — государство в Западной Европе, занимавшее южную часть острова Великобритания, известное с 927 года. После объединения с королевством Шотландия в 1707 году трансформировалось в королевство Великобритания.\n\nИстория.\nЗа время Столетней войны жители королевства стали ощущать свою национальную идентичность, а английский язык в качестве разговорного вытеснил французский. Наследником Эдуарда III стал его внук, Ричард II, ставший королём в десятилетнем возрасте. Он показал себя слабым и в то же время деспотичным правителем. Его расточительность и потворство фаворитам вызвали мятеж лордов-апеллянтов, с помощью парламента ограничивших полномочия монарха и фактически узурпировавших власть в Англии. Позднее король сумел освободиться от опеки и расправиться с апеллянтами, но в 1399 году был свергнут своим двоюродным братом Генрихом Болингброком и заключён в замок Понтефракт, где вскоре умер, а сам Генрих был коронован под именем Генриха IV, основав династию Ланкастеров, и правил до 1413 года. Его сын, Генрих V, в 1415 году возобновил Столетнюю войну. Он разгромил французов в битве при Азенкуре (1415). В 1607 году была основана первая английская колония в Америке — Вирджиния, а в 1609 году открыта торговая фактория англичан в Индии. Политика абсолютизма и церковные реформы Карла I, наследника Якова I, вызвали восстания в Шотландии и Ирландии и Английскую революцию. В ходе гражданских войн Карл I потерпел поражение, был предан суду парламента и казнён 30 января 1649 года в Лондоне. Королевство было упразднено и заменено на протекторат, который возглавил Оливер Кромвель. Но вскоре после смерти Кромвеля в 1660 году произошла реставрация монархии и королём был провозглашён Карл II, сын Карла I. Его преемник, Яков II, бывший ярым католиком и начал проводить политику, вызвавшую крайнее неудовольствие протестантского большинства и привело к революции, в результате которой он был свергнут и бежал во Францию. Королевой Англии, Шотландии и Ирландии были признаны его дочь, Мария II и её супруг, Вильгельм Оранский.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Джон де Вер, 12-й граф Оксфорд? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 652, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Войтоловка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Медников ручей?", + "support_text": "Медников — ручей в Кировской районе Ленинградской области, левый приток реки Войтоловки. В конце XVIII — начале XIX веков у истока ручья располагалась несуществующая ныне деревня Боровая. Ручей пересекает железнодорожная линия Мга — Саблино.", + "text": "Войтоловка — река в России, протекает по территории Тосненского и Кировского районов Ленинградской области, левый приток Мги. Длина реки — 23 км, площадь водосборного бассейна — 266 кв км. Образуется в болоте Гладкое в Тосненском районе, к северо-востоку от города Тосно, слиянием реки Гурловка (справа) и ручья Иголинка (слева) и течёт на север, вскоре пересекая границу Кировского района. На левом берегу реки находится деревня Войтолово.\n\nПримечания.\nКатегория:Бассейн Мги." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 121, + "segment": "Мги" + }, + { + "label": "passage", + "length": 3, + "offset": 121, + "segment": "Мга" + } + ], + "meta": { + "id": 881, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 77, + "segment": "Войтоловки" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Медников — ручей в Кировской районе Ленинградской области, левый приток реки Войтоловки. В конце XVIII — начале XIX веков у истока ручья располагалась несуществующая ныне деревня Боровая. Ручей пересекает железнодорожная линия Мга — Саблино.\nТекст 2: Войтоловка — река в России, протекает по территории Тосненского и Кировского районов Ленинградской области, левый приток Мги. Длина реки — 23 км, площадь водосборного бассейна — 266 кв км. Образуется в болоте Гладкое в Тосненском районе, к северо-востоку от города Тосно, слиянием реки Гурловка (справа) и ручья Иголинка (слева) и течёт на север, вскоре пересекая границу Кировского района. На левом берегу реки находится деревня Войтолово.\n\nПримечания.\nКатегория:Бассейн Мги.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Медников ручей? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кокса", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Тюдет?", + "support_text": "Тюдет — река в России, протекает в Усть-Коксинском районе Республики Алтай. Устье реки находится в 26 км по правому берегу реки Кокса. Длина реки составляет 16 км. Притоки: Большой Тюдет, Малый Тюдет, Фирсиха,.", + "text": "Кокса ( — синяя вода) — река на юго-западе Республики Алтай, левый приток Катуни. Протекает по территории Усть-Канского и Усть-Коксинского районов.\n\nГеография и гидрология.\nПлощадь водосборного бассейна Коксы — 5600 кв км, по этому показателю она является вторым после Чуи притоком Катуни. Среднегодовой расход воды — 84,5 м³/с. Кокса берёт своё начало в месте слияния рек Хайдун и Ночная в центральной части Холзунского хребта, после чего протекает в юго-восточном направлении. По долине реки идёт автодорога Усть-Кан — Усть-Кокса. В месте впадения Коксы в Катунь расположено село Усть-Кокса. Ширина русла варьируется от 50 до 3 метров (в протоках).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Катунь, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 74, + "segment": "Катуни" + }, + { + "label": "passage", + "length": 6, + "offset": 74, + "segment": "Катунь" + } + ], + "meta": { + "id": 629, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 128, + "segment": "Кокса" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тюдет — река в России, протекает в Усть-Коксинском районе Республики Алтай. Устье реки находится в 26 км по правому берегу реки Кокса. Длина реки составляет 16 км. Притоки: Большой Тюдет, Малый Тюдет, Фирсиха,.\nТекст 2: Кокса ( — синяя вода) — река на юго-западе Республики Алтай, левый приток Катуни. Протекает по территории Усть-Канского и Усть-Коксинского районов.\n\nГеография и гидрология.\nПлощадь водосборного бассейна Коксы — 5600 кв км, по этому показателю она является вторым после Чуи притоком Катуни. Среднегодовой расход воды — 84,5 м³/с. Кокса берёт своё начало в месте слияния рек Хайдун и Ночная в центральной части Холзунского хребта, после чего протекает в юго-восточном направлении. По долине реки идёт автодорога Усть-Кан — Усть-Кокса. В месте впадения Коксы в Катунь расположено село Усть-Кокса. Ширина русла варьируется от 50 до 3 метров (в протоках).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Катунь, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Тюдет? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 365, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Немда", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Шолнерка?", + "support_text": "Шолнерка, Шолонерка — река в России, протекает в Сернурском районе Республике Марий Эл. Устье реки находится в 34 км по левому берегу реки Лаж. Длина реки составляет 10 км. Исток реки у деревни Мари-Шолнер в 7 км к северу от посёлка Сернур. Река течёт на северо-восток, протекает деревни Обронино, Лоскутово, Скулкино. Впадает в Лаж близ границы с Кировской областью.", + "text": "Лаж — река в Республике Марий Эл и Кировской области, правый приток Немды (бассейн Волги). Устье реки находится в 73 км по правому берегу реки Немда. Длина реки составляет 73 км, площадь водосборного бассейна 1140 кв км. Высота устья — 94 м над уровнем моря. Система водного объекта: Немда → Пижма → Вятка → Кама → Волга → Каспийское море." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 68, + "segment": "Немды" + }, + { + "label": "passage", + "length": 5, + "offset": 143, + "segment": "Немда" + } + ], + "meta": { + "id": 1025, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 139, + "segment": "Лаж" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Шолнерка, Шолонерка — река в России, протекает в Сернурском районе Республике Марий Эл. Устье реки находится в 34 км по левому берегу реки Лаж. Длина реки составляет 10 км. Исток реки у деревни Мари-Шолнер в 7 км к северу от посёлка Сернур. Река течёт на северо-восток, протекает деревни Обронино, Лоскутово, Скулкино. Впадает в Лаж близ границы с Кировской областью.\nТекст 2: Лаж — река в Республике Марий Эл и Кировской области, правый приток Немды (бассейн Волги). Устье реки находится в 73 км по правому берегу реки Немда. Длина реки составляет 73 км, площадь водосборного бассейна 1140 кв км. Высота устья — 94 м над уровнем моря. Система водного объекта: Немда → Пижма → Вятка → Кама → Волга → Каспийское море.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Шолнерка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Смбат Жирайрович Айвазян?", + "support_text": "Смбат Жирайрович Айвазян ( 10 марта 1959, Ереван — 8 июня 2014, Париж) — армянский государственный деятель. 1975—1980 — Ереванский институт народного хозяйства, . 1980—1982 — служил в советской армии.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 305, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 43, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Смбат Жирайрович Айвазян ( 10 марта 1959, Ереван — 8 июня 2014, Париж) — армянский государственный деятель. 1975—1980 — Ереванский институт народного хозяйства, . 1980—1982 — служил в советской армии.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Смбат Жирайрович Айвазян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Казань", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Ахмедхади Низамутдиновича Максуди?", + "support_text": "Ахмедхади Низамутдинович Максудов или Хади Максуди (Ахмад-Хади б. Низам ад-дин; — ) — татарский языковед, педагог, исламовед-популяризатор, политический и общественный деятель. Один из наиболее известных татарских интеллигентов начала XX в. Брат С. Н. Максудова.", + "text": "С. Н. Максудов, 1910. Садретдин Низаметдинович Максудов (\"Садри Максуди\", , , ) ( Казанская губерния, Российская империя — 20 февраля 1957, Стамбул, Турция) — российский, а впоследствии турецкий юрист, государственный и общественно-политический деятель.\n\nБиография.\nРодился в семье татарского муллы в д. Ташсу Казанского уезда Казанской губернии (ныне Высокогорский район Татарстана, Россия). Происходил из казанских татар. С 1888 года учился в медресе Апанаева в Казани. В 1893 году в течение года учился в бахчисарайском медресе Исмаила Гаспринского, где в это же время преподавал его старший брат Ахмедхади Максуди. После смерти их отца братья в 1894 году возвращаются в Казань, где Ахмедхади пишет прошение о зачислении своего младшего брата в русскую учительскую школу, которую Садретдин закончил в 1901 году. Член Думы Максудов, мусульманин и татарин вам говорит: \"Я чувствую себя русским, я русский!\", а вы отвечаете: \"Забудьте, что вы русский, потому что того что вам нужно, чтобы любить Россию, мы вам не дадим!\". В 1910 году совершил поездку в Поволжье, на Урал, в Туркестан, на Кавказ для ознакомления населения с деятельностью Думы и мусульманской фракции. В четвёртый созыв Думы не был избран и вернулся в Казань, где занимался адвокатской практикой. Стоят: Г. И. Петрухин, А. Ф. Фёдоров, С. Н. Максудов, Г. М. Мусин; сидят: З. М. Таланцев, М. В. Батуров, М. Я. Капустин, Д. А. Кушников, С. Т. Максютов. Во время революции. После Февральской революции член Казанского мусульманского комитета (создан 7 марта), член Временного центрального бюро российских мусульман, участвовал в нескольких съездах российских мусульман в Казани. Был избран членом Икомус (Исполнительного комитета Всероссийского мусульманского совета)." + }, + "outputs": [ + { + "label": "answer", + "length": 89, + "offset": 305, + "segment": "д. Ташсу Казанского уезда Казанской губернии (ныне Высокогорский район Татарстана, Россия" + }, + { + "label": "answer", + "length": 89, + "offset": 305, + "segment": "д. Ташсу Казанского уезда Казанской губернии (ныне Высокогорский район Татарстана, Россия)" + } + ], + "meta": { + "id": 815, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 247, + "segment": "С. Н. Максудова" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ахмедхади Низамутдинович Максудов или Хади Максуди (Ахмад-Хади б. Низам ад-дин; — ) — татарский языковед, педагог, исламовед-популяризатор, политический и общественный деятель. Один из наиболее известных татарских интеллигентов начала XX в. Брат С. Н. Максудова.\nТекст 2: С. Н. Максудов, 1910. Садретдин Низаметдинович Максудов (\"Садри Максуди\", , , ) ( Казанская губерния, Российская империя — 20 февраля 1957, Стамбул, Турция) — российский, а впоследствии турецкий юрист, государственный и общественно-политический деятель.\n\nБиография.\nРодился в семье татарского муллы в д. Ташсу Казанского уезда Казанской губернии (ныне Высокогорский район Татарстана, Россия). Происходил из казанских татар. С 1888 года учился в медресе Апанаева в Казани. В 1893 году в течение года учился в бахчисарайском медресе Исмаила Гаспринского, где в это же время преподавал его старший брат Ахмедхади Максуди. После смерти их отца братья в 1894 году возвращаются в Казань, где Ахмедхади пишет прошение о зачислении своего младшего брата в русскую учительскую школу, которую Садретдин закончил в 1901 году. Член Думы Максудов, мусульманин и татарин вам говорит: \"Я чувствую себя русским, я русский!\", а вы отвечаете: \"Забудьте, что вы русский, потому что того что вам нужно, чтобы любить Россию, мы вам не дадим!\". В 1910 году совершил поездку в Поволжье, на Урал, в Туркестан, на Кавказ для ознакомления населения с деятельностью Думы и мусульманской фракции. В четвёртый созыв Думы не был избран и вернулся в Казань, где занимался адвокатской практикой. Стоят: Г. И. Петрухин, А. Ф. Фёдоров, С. Н. Максудов, Г. М. Мусин; сидят: З. М. Таланцев, М. В. Батуров, М. Я. Капустин, Д. А. Кушников, С. Т. Максютов. Во время революции. После Февральской революции член Казанского мусульманского комитета (создан 7 марта), член Временного центрального бюро российских мусульман, участвовал в нескольких съездах российских мусульман в Казани. Был избран членом Икомус (Исполнительного комитета Всероссийского мусульманского совета).\nОпираясь на факты в данных текстах, ответьте на вопрос: Где родился человек, который был братом Ахмедхади Низамутдиновича Максуди? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 595, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Северная Сосьва.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Саклингсос?", + "support_text": "Саклингсос (\"устар.\" Саклинг-Сос) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 10 км по правому берегу реки Лепля. Длина реки составляет 12 км.", + "text": "Лепля — река в России, протекает в Ханты-Мансийскоом автономном округе и Свердловской области. Устье реки находится в 675 км по правому берегу реки Северная Сосьва. Длина реки — 169 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 148, + "segment": "Северная Сосьва" + } + ], + "meta": { + "id": 862, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 138, + "segment": "Лепля" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Саклингсос (\"устар.\" Саклинг-Сос) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 10 км по правому берегу реки Лепля. Длина реки составляет 12 км.\nТекст 2: Лепля — река в России, протекает в Ханты-Мансийскоом автономном округе и Свердловской области. Устье реки находится в 675 км по правому берегу реки Северная Сосьва. Длина реки — 169 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Саклингсос? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Юм впадает река Маркова Речка, приток которой находится в Юрлинском районе Пермского края.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Маркова Речка?", + "support_text": "Маркова Речка — река в России, протекает в Юрлинском районе Пермского края. Устье реки находится в 15 км по левому берегу реки Юм. Длина реки составляет 14 км. Исток реки на Верхнекамской возвышенности у деревни Петракова (Юрлинское сельское поселение) в 26 км к северо-западу от районного центра села Юрла. Река течёт на восток, всё течение проходит по ненаселённому лесу. Впадает в Юм у деревни Келич в 17 км к северо-западу от Юрлы.", + "text": "Юм — река в России, протекает в Юрлинском районе Пермского края. Устье реки находится на 190-м км по правому берегу реки Коса. Длина составляет 59 км. Берёт начало от слияния Северного Юма и Южного Юма." + }, + "outputs": [ + { + "label": "answer", + "length": 4, + "offset": 121, + "segment": "Коса" + }, + { + "label": "answer", + "length": 4, + "offset": 121, + "segment": "Косу" + } + ], + "meta": { + "id": 835, + "bridge_answers": [ + { + "label": "passage", + "length": 2, + "offset": 127, + "segment": "Юм" + }, + { + "label": "passage", + "length": 2, + "offset": 384, + "segment": "Юм" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Маркова Речка?\nТекст 1: Маркова Речка — река в России, протекает в Юрлинском районе Пермского края. Устье реки находится в 15 км по левому берегу реки Юм. Длина реки составляет 14 км. Исток реки на Верхнекамской возвышенности у деревни Петракова (Юрлинское сельское поселение) в 26 км к северо-западу от районного центра села Юрла. Река течёт на восток, всё течение проходит по ненаселённому лесу. Впадает в Юм у деревни Келич в 17 км к северо-западу от Юрлы.\nТекст 2: Юм — река в России, протекает в Юрлинском районе Пермского края. Устье реки находится на 190-м км по правому берегу реки Коса. Длина составляет 59 км. Берёт начало от слияния Северного Юма и Южного Юма.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Федеральный парламент, состоящий из нижней палаты (палата представителей) и верхней палаты (сената).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Аксель Ирсу?", + "support_text": "Аксель Ирсу ( род. Манаж, Бельгия) — бельгийский певец, который представлял Бельгию на конкурсе песни \"Евровидение 2014\", с песней \"Mother\".\n\nСмотрите также.\nБельгия на конкурсе песни Евровидение 2014.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 282, + "segment": "королём" + } + ], + "meta": { + "id": 788, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 38, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Аксель Ирсу ( род. Манаж, Бельгия) — бельгийский певец, который представлял Бельгию на конкурсе песни \"Евровидение 2014\", с песней \"Mother\".\n\nСмотрите также.\nБельгия на конкурсе песни Евровидение 2014.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Аксель Ирсу?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 308, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сергей Валерьевич Данилюк", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Алевтина Алексеевна Слинченко?", + "support_text": "Алевтина Алексеевна Слинченко ( Тирасполь, МССР, СССР) — приднестровский государственный и политический деятель, экономист и юрист. Первый заместитель Председателя Правительства Приднестровской Молдавской Республики (с 18 февраля 2016 г.). Заслуженный экономист ПМР.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города.\n\nОрганы власти.\nКостырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 607, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 607, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 453, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 32, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Алевтина Алексеевна Слинченко ( Тирасполь, МССР, СССР) — приднестровский государственный и политический деятель, экономист и юрист. Первый заместитель Председателя Правительства Приднестровской Молдавской Республики (с 18 февраля 2016 г.). Заслуженный экономист ПМР.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города.\n\nОрганы власти.\nКостырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Алевтина Алексеевна Слинченко? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 334, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16666666666666669, + "em": 0 + }, + "predict": " В реку Кильмезь впадает река Лумпун, которая является притоком реки Ирзек.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Ирзек?", + "support_text": "Ирзек — река в России, протекает в Унинском районе Кировской области. Устье реки находится в 85 км по правому берегу реки Лумпун. Длина реки составляет 27 км, площадь водосборного бассейна 138 кв км. Исток реки у деревни Ермаки в 16 км к юго-востоку от посёлка Уни. Река течёт на юг, затем поворачивает на юго-запад. В верхнем течении протекает рядом с деревнями Булатовцы и Злобинцы, в нижнем течении входит в ненаселённый, частично заболоченный лесной массив, где и впадает в Лумпун неподалёку от границы с Удмуртией.", + "text": "Лумпун — река в республике Удмуртия и Кировской области, правый приток реки Кильмезь (бассейн Волги). Длина реки — 158 км, площадь бассейна — 1550 кв км. Берёт начало на востоке Кировской области близ деревни Урай Унинского района. Средний уклон 1,3-1,4 м/км. Населённых пунктов на реке немного, крупнейший из них районный центр посёлок Уни. Протекает в основном в лесной зоне. Верховья реки отличаются большой извилистостью, в нижнем течении река образует множество меандров, стариц и затонов. В Лумпун впадает множество притоков — ручьёв и ключей. Река впадает в Кильмезь на 89 км от устья по правому берегу у деревни Балма (Сюмсинский район Республики Удмуртия) чуть выше села Кильмезь." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 76, + "segment": "Кильмезь" + }, + { + "label": "passage", + "length": 8, + "offset": 565, + "segment": "Кильмезь" + } + ], + "meta": { + "id": 1042, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 122, + "segment": "Лумпун" + }, + { + "label": "passage", + "length": 6, + "offset": 478, + "segment": "Лумпун" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Ирзек — река в России, протекает в Унинском районе Кировской области. Устье реки находится в 85 км по правому берегу реки Лумпун. Длина реки составляет 27 км, площадь водосборного бассейна 138 кв км. Исток реки у деревни Ермаки в 16 км к юго-востоку от посёлка Уни. Река течёт на юг, затем поворачивает на юго-запад. В верхнем течении протекает рядом с деревнями Булатовцы и Злобинцы, в нижнем течении входит в ненаселённый, частично заболоченный лесной массив, где и впадает в Лумпун неподалёку от границы с Удмуртией.\nТекст 2: Лумпун — река в республике Удмуртия и Кировской области, правый приток реки Кильмезь (бассейн Волги). Длина реки — 158 км, площадь бассейна — 1550 кв км. Берёт начало на востоке Кировской области близ деревни Урай Унинского района. Средний уклон 1,3-1,4 м/км. Населённых пунктов на реке немного, крупнейший из них районный центр посёлок Уни. Протекает в основном в лесной зоне. Верховья реки отличаются большой извилистостью, в нижнем течении река образует множество меандров, стариц и затонов. В Лумпун впадает множество притоков — ручьёв и ключей. Река впадает в Кильмезь на 89 км от устья по правому берегу у деревни Балма (Сюмсинский район Республики Удмуртия) чуть выше села Кильмезь.\nВопрос: В какую реку впадает река, притоком которой является Ирзек?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 380, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Раис Халитович Рахматуллин?", + "support_text": "Раис Халитович Рахматуллин (23 мая 1975 года, Горький, СССР) — российский самбист и дзюдоист, 7-кратный чемпион мира по самбо, 3-кратный чемпион Европы, 5-кратный обладатель Кубка мира, многократный победитель международных и национальных турниров по самбо. Заслуженный мастер спорта России по самбо, мастер спорта России по дзюдо, кавалер медали ордена \"За заслуги перед отечеством\" II степени.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 834, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 834, + "segment": "Городская дума" + } + ], + "meta": { + "id": 144, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Раис Халитович Рахматуллин (23 мая 1975 года, Горький, СССР) — российский самбист и дзюдоист, 7-кратный чемпион мира по самбо, 3-кратный чемпион Европы, 5-кратный обладатель Кубка мира, многократный победитель международных и национальных турниров по самбо. Заслуженный мастер спорта России по самбо, мастер спорта России по дзюдо, кавалер медали ордена \"За заслуги перед отечеством\" II степени.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Раис Халитович Рахматуллин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 348, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вагой.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Вайманьга?", + "support_text": "Вайманьга — малая река в Шенкурском районе Архангельской области Российской Федерации, левый приток реки Вага (бассейн Северной Двины). Берёт начало из озера Вайманское. На всём течении реки ширина русла не превышает 10 метров. Протекает через Вайманское болото, где русло реки становится неразличимым. Впадает в Вагу близ деревни Никифоровская Муниципального образования \"Шеговарское\".\n\nДанные водного реестра.\nПо данным государственного водного реестра России и геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Бассейновый округ — Двинско-Печорский. Речной бассейн — Северная Двина. Речной подбассейн — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Водохозяйственный участок — Вага.", + "text": "Вага — река в Вологодской и Архангельской областях России, крупнейший левый приток Северной Двины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 83, + "segment": "Северной Двины" + }, + { + "label": "passage", + "length": 14, + "offset": 83, + "segment": "Северной Двине" + } + ], + "meta": { + "id": 901, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 105, + "segment": "Вага" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вайманьга — малая река в Шенкурском районе Архангельской области Российской Федерации, левый приток реки Вага (бассейн Северной Двины). Берёт начало из озера Вайманское. На всём течении реки ширина русла не превышает 10 метров. Протекает через Вайманское болото, где русло реки становится неразличимым. Впадает в Вагу близ деревни Никифоровская Муниципального образования \"Шеговарское\".\n\nДанные водного реестра.\nПо данным государственного водного реестра России и геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Бассейновый округ — Двинско-Печорский. Речной бассейн — Северная Двина. Речной подбассейн — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Водохозяйственный участок — Вага.\nТекст 2: Вага — река в Вологодской и Архангельской областях России, крупнейший левый приток Северной Двины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вага, речной подбассейн реки — Северная Двина ниже места слияния Вычегды и Малой Северной Двины. Речной бассейн реки — Северная Двина.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Вайманьга? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе, где родился Николай Григорьевич Глазков.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Григорьевич Глазков?", + "support_text": "Николай Григорьевич Глазков (род. 16 февраля 1949, Челябинск) — солист (ведущий мастер сцены, тенор) Челябинского государственного театра оперы и балета имени М. И. Глинки, педагог, народный артист Российской Федерации (2008).", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 1131, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 1131, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 209, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 51, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Николай Григорьевич Глазков?\nТекст 1: Николай Григорьевич Глазков (род. 16 февраля 1949, Челябинск) — солист (ведущий мастер сцены, тенор) Челябинского государственного театра оперы и балета имени М. И. Глинки, педагог, народный артист Российской Федерации (2008).\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": [ + 23 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Васильевич Маслов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Рубин Кабирович Абдуллин?", + "support_text": "Рубин Кабирович Абдуллин ( 19 августа 1950, Йошкар-Ола) — пианист, органист, педагог, музыкально-общественный деятель. Ректор Казанской государственной консерватории имени Н. Г. Жиганова. Народный артист Республики Татарстан (1992). Лауреат Республиканской премии им. М. Джалиля в области литературы и искусства (1988).\n\nБиография.\nРубин Кабирович Абдуллин родился 19 августа 1950 года в г. Йошкар-Ола. В 1973 году окончил Казанскую государственную консерваторию по классу фортепиано (класс преподавателя Э. А. Монасзона).", + "text": "Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\".\n\nОрганы власти.\n31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 503, + "segment": "Евгений Васильевич Маслов" + } + ], + "meta": { + "id": 948, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 45, + "segment": "Йошкар-Ола" + }, + { + "label": "passage", + "length": 10, + "offset": 395, + "segment": "Йошкар-Ола" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Рубин Кабирович Абдуллин ( 19 августа 1950, Йошкар-Ола) — пианист, органист, педагог, музыкально-общественный деятель. Ректор Казанской государственной консерватории имени Н. Г. Жиганова. Народный артист Республики Татарстан (1992). Лауреат Республиканской премии им. М. Джалиля в области литературы и искусства (1988).\n\nБиография.\nРубин Кабирович Абдуллин родился 19 августа 1950 года в г. Йошкар-Ола. В 1973 году окончил Казанскую государственную консерваторию по классу фортепиано (класс преподавателя Э. А. Монасзона).\nТекст 2: Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\".\n\nОрганы власти.\n31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Рубин Кабирович Абдуллин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 351, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Данилюк, Сергей Валерьевич", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Сергей Игоревич Степанов?", + "support_text": "Сергей Игоревич Степанов (род. 3 сентября 1984, Тирасполь, МССР, СССР) — молдавский музыкант и композитор, участник группы \"SunStroke Project\".\n\nБиография.\nВ детстве играл в школьных музыкальных коллективах и мечтал стать известным саксофонистом. В 2005 году Сергей Степанов закончил Приднестровский Высший музыкальный колледж в городе Тирасполе. После окончания колледжа он проходил срочную военную службу в Приднестровье, где и познакомился с Антоном Рагозой. Знакомство переросло в группу \"Sunstroke\", которая на сегодняшний день известна публике как \"SunStroke Project\". SunStroke Project.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман. По данным государственной службы статистики ПМР население города в 2014 году составило 133,8 тысяч человек.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 1059, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 1059, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 535, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 48, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сергей Игоревич Степанов (род. 3 сентября 1984, Тирасполь, МССР, СССР) — молдавский музыкант и композитор, участник группы \"SunStroke Project\".\n\nБиография.\nВ детстве играл в школьных музыкальных коллективах и мечтал стать известным саксофонистом. В 2005 году Сергей Степанов закончил Приднестровский Высший музыкальный колледж в городе Тирасполе. После окончания колледжа он проходил срочную военную службу в Приднестровье, где и познакомился с Антоном Рагозой. Знакомство переросло в группу \"Sunstroke\", которая на сегодняшний день известна публике как \"SunStroke Project\". SunStroke Project.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман. По данным государственной службы статистики ПМР население города в 2014 году составило 133,8 тысяч человек.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Сергей Игоревич Степанов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 524, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Висконсин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется населенный пункт, в котором родился человек, занимающий пост главы администрации в Неваде?", + "support_text": "Невада ( ; ) — штат в западной части США. Столица штата — город Карсон-Сити, самый большой город — Лас-Вегас. Невада вошла в состав США во время Гражданской войны между южными и северными штатами. Слово \"Невада\" переводится с испанского языка как \"заснеженный\" и происходит от названия гор Сьерра-Невада (\"заснеженные горы\"). \"Штат, рождённый в боях\" — официальный слоган Невады.\n\nЗакон и правительство.\nКарсон-Сити — столица штата Невада. Губернатор штата — демократ Стив Сайсолак. Демократы Кэтрин Кортес-Масто и Джеки Роузен — сенаторы от штата Невада. Ни одна из главных политических партий не является доминирующей в штате. Демократ Билл Клинтон победил в штате в 1992 году и выиграл президентские выборы в 1996, а республиканец Джордж Буш победил в Неваде в 2000 и в 2004 году.", + "text": "Стивен Ф. Сайсолак ( род. 26 декабря 1953) — американский предприниматель и политик, представляющий Демократическую партию. Губернатор штата Невада (с 2019).\n\nБиография.\nВ 1972 году окончил среднюю школу в (штат Висконсин), затем учился в в Милуоки, а в 1978 году получил степень магистра в Невадском университете в Лас-Вегасе. Занимался предпринимательством, являлся совладельцем American Distributing Company." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 247, + "segment": "Милуоки" + } + ], + "meta": { + "id": 89, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 471, + "segment": "Стив Сайсолак" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Невада ( ; ) — штат в западной части США. Столица штата — город Карсон-Сити, самый большой город — Лас-Вегас. Невада вошла в состав США во время Гражданской войны между южными и северными штатами. Слово \"Невада\" переводится с испанского языка как \"заснеженный\" и происходит от названия гор Сьерра-Невада (\"заснеженные горы\"). \"Штат, рождённый в боях\" — официальный слоган Невады.\n\nЗакон и правительство.\nКарсон-Сити — столица штата Невада. Губернатор штата — демократ Стив Сайсолак. Демократы Кэтрин Кортес-Масто и Джеки Роузен — сенаторы от штата Невада. Ни одна из главных политических партий не является доминирующей в штате. Демократ Билл Клинтон победил в штате в 1992 году и выиграл президентские выборы в 1996, а республиканец Джордж Буш победил в Неваде в 2000 и в 2004 году.\nТекст 2: Стивен Ф. Сайсолак ( род. 26 декабря 1953) — американский предприниматель и политик, представляющий Демократическую партию. Губернатор штата Невада (с 2019).\n\nБиография.\nВ 1972 году окончил среднюю школу в (штат Висконсин), затем учился в в Милуоки, а в 1978 году получил степень магистра в Невадском университете в Лас-Вегасе. Занимался предпринимательством, являлся совладельцем American Distributing Company.\nОпираясь на данные тексты, ответьте на вопрос: Как называется населенный пункт, в котором родился человек, занимающий пост главы администрации в Неваде?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 373, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714288, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Хариш Ханде, называется двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Хариш Ханде?", + "support_text": "Хариш Ханде ( род. 1 марта 1967 года, Удипи, Майсур, Индия) — индийский социальный предприниматель, сооснователь SELCO India, бангалорской фирмы, занимающейся электрификацией бедных районов Индии с помощью солнечной энергии.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 931, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 931, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 772, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 63, + "segment": "индийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Хариш Ханде?\nТекст 1: Хариш Ханде ( род. 1 марта 1967 года, Удипи, Майсур, Индия) — индийский социальный предприниматель, сооснователь SELCO India, бангалорской фирмы, занимающейся электрификацией бедных районов Индии с помощью солнечной энергии.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 501, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Васюган", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Тумольигай?", + "support_text": "Тумольигай (устар. Тумоль-Игай) — река в России, протекает в Томской области. Устье реки находится в 82 км по правому берегу реки Нюролька. Длина реки составляет 11 км.", + "text": "Нюролька (южноселькупск. \"Нюрэл кы\" — луговая река) (в верховье — Большая Нюролька) — река в Томской области, правый приток Васюгана.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — Васюган. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 124, + "segment": "Васюгана" + }, + { + "label": "passage", + "length": 8, + "offset": 124, + "segment": "Васюган" + } + ], + "meta": { + "id": 823, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 130, + "segment": "Нюролька" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тумольигай (устар. Тумоль-Игай) — река в России, протекает в Томской области. Устье реки находится в 82 км по правому берегу реки Нюролька. Длина реки составляет 11 км.\nТекст 2: Нюролька (южноселькупск. \"Нюрэл кы\" — луговая река) (в верховье — Большая Нюролька) — река в Томской области, правый приток Васюгана.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — Васюган. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Тумольигай? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.33333333333333337, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Павлос Нирванас, — Мариупольский горсовет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Павлос Нирванас?", + "support_text": "Павлос Нирванас ( 1866, Мариуполь— 28 ноября 1937, Афины) — греческий учёный, писатель и поэт.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 360, + "segment": "Мариупольским горсоветом" + }, + { + "label": "passage", + "length": 24, + "offset": 360, + "segment": "Мариупольский горсовет" + } + ], + "meta": { + "id": 60, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 25, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Павлос Нирванас ( 1866, Мариуполь— 28 ноября 1937, Афины) — греческий учёный, писатель и поэт.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nВопрос: Как называется законодательный орган города, где родился Павлос Нирванас?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Усень сливается с рекой Ик.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Усень?", + "support_text": "Усень — река в России, протекает в Республике Башкортостан. Устье реки находится у 342 км по правому берегу реки Ик. Длина реки 147 км, площадь водосборного бассейна 2460 кв км. Исток расположен к северу от деревни Красная Заря. Русло запружено возле Белебея (Комсомольский пруд).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ик от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010101312111100028213.", + "text": "Ик ( ) — река в Башкортостане, Татарстане и Оренбургской области, левый приток Камы. Название реки со старотюркского языка переводится как \"текущая вода\", созвучно с названием реки Яик (ныне Урал).\n\nОписание.\nСлева. Длина реки составляет 436 км, площадь бассейна 14 990 кв км. Протекает в основном в пределах Бугульминско-Белебеевской возвышенности. Исток Ика находится у деревни Ик-Вершина в Белебеевском районе Башкирии. Впадает в Нижнекамское водохранилище у села Бикбулово Мензелинского района Татарстана. До образования водохранилища Ик впадал в Каму примерно в 60 км к северо-западу от этого места — напротив села Икское Устье в Менделеевском районе Татарстана." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 79, + "segment": "Камы" + }, + { + "label": "passage", + "length": 4, + "offset": 554, + "segment": "Каму" + }, + { + "label": "passage", + "length": 4, + "offset": 79, + "segment": "Кама" + } + ], + "meta": { + "id": 848, + "bridge_answers": [ + { + "label": "passage", + "length": 2, + "offset": 113, + "segment": "Ик" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Усень — река в России, протекает в Республике Башкортостан. Устье реки находится у 342 км по правому берегу реки Ик. Длина реки 147 км, площадь водосборного бассейна 2460 кв км. Исток расположен к северу от деревни Красная Заря. Русло запружено возле Белебея (Комсомольский пруд).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Ик от истока и до устья, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010101312111100028213.\nТекст 2: Ик ( ) — река в Башкортостане, Татарстане и Оренбургской области, левый приток Камы. Название реки со старотюркского языка переводится как \"текущая вода\", созвучно с названием реки Яик (ныне Урал).\n\nОписание.\nСлева. Длина реки составляет 436 км, площадь бассейна 14 990 кв км. Протекает в основном в пределах Бугульминско-Белебеевской возвышенности. Исток Ика находится у деревни Ик-Вершина в Белебеевском районе Башкирии. Впадает в Нижнекамское водохранилище у села Бикбулово Мензелинского района Татарстана. До образования водохранилища Ик впадал в Каму примерно в 60 км к северо-западу от этого места — напротив села Икское Устье в Менделеевском районе Татарстана.\nВопрос: С какой рекой сливается река, в которую впадает Усень?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 391, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Тигран Ахназарян?", + "support_text": "Тигран Ахназарян ( , Ереван, Армянская ССР, СССР) — армянский футболист, защитник клуба \"Алашкерт\", выступающего в Премьер-лиге.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 792, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 22, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тигран Ахназарян ( , Ереван, Армянская ССР, СССР) — армянский футболист, защитник клуба \"Алашкерт\", выступающего в Премьер-лиге.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Тигран Ахназарян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": [ + 54 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Президент", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимает глава государства, ставшего местом смерти Романа Николаевича Филипова?", + "support_text": "Роман Николаевич Филипов (13 августа 1984, Воронеж, РСФСР, СССР — 3 февраля 2018, близ Серакиба, Идлиб, Сирия) — российский военный лётчик, заместитель командира эскадрильи 187 гвардейского штурмового авиационного полка, гвардии майор. Герой Российской Федерации (2018). Погиб 3 февраля 2018 года при выполнении боевого задания в Сирийской Арабской Республике.", + "text": "Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 314, + "segment": "президентов" + }, + { + "label": "passage", + "length": 11, + "offset": 314, + "segment": "Президента" + } + ], + "meta": { + "id": 284, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 104, + "segment": "Сирия" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Роман Николаевич Филипов (13 августа 1984, Воронеж, РСФСР, СССР — 3 февраля 2018, близ Серакиба, Идлиб, Сирия) — российский военный лётчик, заместитель командира эскадрильи 187 гвардейского штурмового авиационного полка, гвардии майор. Герой Российской Федерации (2018). Погиб 3 февраля 2018 года при выполнении боевого задания в Сирийской Арабской Республике.\nТекст 2: Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958).\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за должность занимает глава государства, ставшего местом смерти Романа Николаевича Филипова? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Фёдор Михайлович Цомакион был гражданином Российской империи, в которой главой государства была должность императора или самодержца. В соответствии с данными текстов, в Российской империи с 1696 года по Февральскую революцию 1917 года существовала должность императора, которую занимали 14 человек, включая", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Фёдор Михайлович Цомакион?", + "support_text": "Фёдор Михайлович Цомакион (1848—1887) — российский физик, метеоролог.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 108, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 40, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Фёдор Михайлович Цомакион (1848—1887) — российский физик, метеоролог.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nВопрос: Какая должность была у главы государства в стране, чьим гражданином был Фёдор Михайлович Цомакион?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Рустам Эмомали", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Андреас Штайнбах?", + "support_text": "Андреас Штайнбах ( 7 июля 1965, Душанбе, Таджикская ССР, СССР) — немецкий борец греко-римского стиля. Участник летних Олимпийских игр 1988 и 1992 годов, серебряный призёр чемпионата Европы 1991 года, двукратный бронзовый призёр чемпионата Европы 1989 и 1992 годов.\n\nБиография.\nАндреас Штайнбах родился 7 июля 1965 года в Душанбе. В дальнейшем переехал в ФРГ. Выступал в соревнованиях по греко-римской борьбе за клубы \"Лар-Кубах\" из Лара и \"Шифферштадт\", тренировался под началом Франка Хартмана.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 471, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 32, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Андреас Штайнбах ( 7 июля 1965, Душанбе, Таджикская ССР, СССР) — немецкий борец греко-римского стиля. Участник летних Олимпийских игр 1988 и 1992 годов, серебряный призёр чемпионата Европы 1991 года, двукратный бронзовый призёр чемпионата Европы 1989 и 1992 годов.\n\nБиография.\nАндреас Штайнбах родился 7 июля 1965 года в Душанбе. В дальнейшем переехал в ФРГ. Выступал в соревнованиях по греко-римской борьбе за клубы \"Лар-Кубах\" из Лара и \"Шифферштадт\", тренировался под началом Франка Хартмана.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Андреас Штайнбах? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 329, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Джо Мадиат, — это нижняя палата парламента, известная как \"Лок сабха\" (Народная палата).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Джо Мадиат?", + "support_text": "Джо Мадиат ( род. 3 декабря 1950, Индия) — индийский предприниматель, основатель и исполнительный директор Gram Vikas, общественной организации, базирующейся в штате Орисса и работающей над повышением уровня жизни бедных сельских общин экологически устойчивым путём.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии.\n\nГосударственное устройство.\nВ преамбуле конституции Индия определяется как суверенная, социалистическая, светская либерально-демократическая республика, имеющая двухпалатный парламент, функционирующий по вестминстерской парламентской модели. Государственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. Каждые два года меняется (переизбирается) треть состава Совета штатов. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 428, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 428, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 780, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 44, + "segment": "индийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Джо Мадиат ( род. 3 декабря 1950, Индия) — индийский предприниматель, основатель и исполнительный директор Gram Vikas, общественной организации, базирующейся в штате Орисса и работающей над повышением уровня жизни бедных сельских общин экологически устойчивым путём.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии.\n\nГосударственное устройство.\nВ преамбуле конституции Индия определяется как суверенная, социалистическая, светская либерально-демократическая республика, имеющая двухпалатный парламент, функционирующий по вестминстерской парламентской модели. Государственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. Каждые два года меняется (переизбирается) треть состава Совета штатов. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Джо Мадиат?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 636, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Законодательная власть в городе, где умер Наири Зарьян, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Наири Зарьян?", + "support_text": "Наири Зарьян (Նաիրի Զարյան, наст. Имя и фамилия — \"Айастан Егиазарьян\" (Հայաստան Եղիազարյան); 31 декабря 1900 (13 января 1901), село Хараконис Ванского вилайета Османской империи, ныне Турция — 12 июля 1969, Ереван) — армянский прозаик, поэт и драматург.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + } + ], + "meta": { + "id": 75, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 208, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Наири Зарьян (Նաիրի Զարյան, наст. Имя и фамилия — \"Айастан Егиазарьян\" (Հայաստան Եղիազարյան); 31 декабря 1900 (13 января 1901), село Хараконис Ванского вилайета Османской империи, ныне Турция — 12 июля 1969, Ереван) — армянский прозаик, поэт и драматург.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Наири Зарьян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 312, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Алексей Дюмин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Михаил Иванович Кондаков?", + "support_text": "Михаил Иванович Кондаков ( д. Медовая, Тульская область — ) — советский и российский деятель образования, доктор педагогических наук, академик АПН СССР (1981).", + "text": "Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 333, + "segment": "Алексей Дюмин" + } + ], + "meta": { + "id": 567, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 39, + "segment": "Тульская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Михаил Иванович Кондаков ( д. Медовая, Тульская область — ) — советский и российский деятель образования, доктор педагогических наук, академик АПН СССР (1981).\nТекст 2: Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России. Тульская область занимает площадь 25,7 тыс. кв. километров.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Михаил Иванович Кондаков? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 179, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родился Евгений Виллиевич Вальц.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Евгений Виллиевич Вальц?", + "support_text": "Евгений Виллиевич Вальц (род. 12 ноября 1981) — российский актёр театра и кино, певец, ведущий артист Московского театра мюзикла, исполнитель главной роли в рок-опере \"Иисус Христос — суперзвезда\" Театра им. Моссовета, актер озвучивания.\n\nБиография.\nРодился 12 ноября 1981 года в городе Душанбе (Таджикистан). С 1990 года живет в Москве. Участвует в различных театрально-концертных мероприятиях на таких площадках как Концертный зал имени П. И. Чайковского, Большой зал Московской консерватории, Московский международный Дом музыки, концертный зал \"Зарядье\", Крокус Сити холл, Московский государственный театр эстрады, Зал Церковных Соборов Храма Христа Спасителя. Принимает участие в концертных программах Российского государственного симфонического оркестра кинематографии (художественный руководитель и главный дирижёр С.Скрипка). Начиная с апреля 2017 года выступает с сольными концертами. 18 февраля 2019 года представил свою сольную программу на сцене Московского театра мюзикла в рамках цикла творческих вечеров \"Михаил Швыдкой приглашает\". В мае — июне 2019 года в рамках проекта Россотрудничества принял участие в зарубежном концертном туре \"Мы помним\", посвященном 74 годовщине Великой Отечественной войны (вместе с актрисой Московского театра мюзикла Еленой Моисеевой), и выступил с концертами в Душанбе, Будапеште, Бухаресте, Праге, Нур-Султане и Ташкенте.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 504, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 290, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Евгений Виллиевич Вальц?\nТекст 1: Евгений Виллиевич Вальц (род. 12 ноября 1981) — российский актёр театра и кино, певец, ведущий артист Московского театра мюзикла, исполнитель главной роли в рок-опере \"Иисус Христос — суперзвезда\" Театра им. Моссовета, актер озвучивания.\n\nБиография.\nРодился 12 ноября 1981 года в городе Душанбе (Таджикистан). С 1990 года живет в Москве. Участвует в различных театрально-концертных мероприятиях на таких площадках как Концертный зал имени П. И. Чайковского, Большой зал Московской консерватории, Московский международный Дом музыки, концертный зал \"Зарядье\", Крокус Сити холл, Московский государственный театр эстрады, Зал Церковных Соборов Храма Христа Спасителя. Принимает участие в концертных программах Российского государственного симфонического оркестра кинематографии (художественный руководитель и главный дирижёр С.Скрипка). Начиная с апреля 2017 года выступает с сольными концертами. 18 февраля 2019 года представил свою сольную программу на сцене Московского театра мюзикла в рамках цикла творческих вечеров \"Михаил Швыдкой приглашает\". В мае — июне 2019 года в рамках проекта Россотрудничества принял участие в зарубежном концертном туре \"Мы помним\", посвященном 74 годовщине Великой Отечественной войны (вместе с актрисой Московского театра мюзикла Еленой Моисеевой), и выступил с концертами в Душанбе, Будапеште, Бухаресте, Праге, Нур-Султане и Ташкенте.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 509, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16666666666666669, + "em": 0 + }, + "predict": " Еринат впадает в реку Большой Абакан, который является притоком реки Абакан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Еринат?", + "support_text": "Еринат — река хребтов зоны сочленения Западного Саяна и Горного Алтая, левый приток реки Большой Абакан (бассейн реки Абакан). Длина — 30 км, протекает по территории Таштыпского района, близ южной границы Республики Хакасия. Исток — в 10 км восточнее горы Косбажи (абсолютная высота — около 2340 м). Устье расположено в 168 км от устья реки Большой Абакан. Еринат имеет более 60 мелких притоков без названий, вытекающих из небольших озёр и из-под курумов, наиболее крупный — Узункарасу (длиной 12 км). Русло слабо извилистое, дно каменистое. Питание преимущественно снеговое.", + "text": "Большой Абакан — река, один из главных притоков, который при слиянии с Малым Абаканом образует реку Абакан. Длина реки — 187 км, площадь водосборного бассейна — 5650 кв км, протекает по таёжной зоне, на территории Таштыпского района. Сток реки формируется в основном в отрогах Западного Саяна. Густота речной сети на площади водосбора — от 0,5 до 0,7 км/кв км. У Большого Абакана более 20 крупных и мелких притоков; основные: реки Ташту-Су (протяжённость 10 км, площадь водосбора 31 кв км), Еринат (30 км, 22 кв км), Сакты-Озек (2 км, 17 кв км), Каир-Су (32 км, 19 кв км), Оэн-Су (36 км, 36 кв км), Кубуй (16 км, 18 кв км), Козан (19 км, 16 кв км), Каный (28 км, 31 кв км), Бедуй (34 км, 41 кв км), Ташты-Узук (20 км, 27 кв км), Беже (20 км, 201 кв км), Каменушка (14 км, 34 кв км), Иксу (21 км, 15 кв км), Большой Кызырсук (41 км, 35 кв км), Озёрная (27 км, 35 кв км), Казыр (20 км, 85 кв км).\n\nЛитература.\nЭнциклопедия Республики Хакасия : в 2 т. / Правительство Респ. Хакасия; науч.-ред. совет.: В. А. Кузьмин (пред.) и др.. Абакан : Поликор, 2007. Т. 1 : А — Н. — 2007. 430, 2 с." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 8, + "segment": "Абакан" + } + ], + "meta": { + "id": 1044, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 89, + "segment": "Большой Абакан" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Еринат?\nТекст 1: Еринат — река хребтов зоны сочленения Западного Саяна и Горного Алтая, левый приток реки Большой Абакан (бассейн реки Абакан). Длина — 30 км, протекает по территории Таштыпского района, близ южной границы Республики Хакасия. Исток — в 10 км восточнее горы Косбажи (абсолютная высота — около 2340 м). Устье расположено в 168 км от устья реки Большой Абакан. Еринат имеет более 60 мелких притоков без названий, вытекающих из небольших озёр и из-под курумов, наиболее крупный — Узункарасу (длиной 12 км). Русло слабо извилистое, дно каменистое. Питание преимущественно снеговое.\nТекст 2: Большой Абакан — река, один из главных притоков, который при слиянии с Малым Абаканом образует реку Абакан. Длина реки — 187 км, площадь водосборного бассейна — 5650 кв км, протекает по таёжной зоне, на территории Таштыпского района. Сток реки формируется в основном в отрогах Западного Саяна. Густота речной сети на площади водосбора — от 0,5 до 0,7 км/кв км. У Большого Абакана более 20 крупных и мелких притоков; основные: реки Ташту-Су (протяжённость 10 км, площадь водосбора 31 кв км), Еринат (30 км, 22 кв км), Сакты-Озек (2 км, 17 кв км), Каир-Су (32 км, 19 кв км), Оэн-Су (36 км, 36 кв км), Кубуй (16 км, 18 кв км), Козан (19 км, 16 кв км), Каный (28 км, 31 кв км), Бедуй (34 км, 41 кв км), Ташты-Узук (20 км, 27 кв км), Беже (20 км, 201 кв км), Каменушка (14 км, 34 кв км), Иксу (21 км, 15 кв км), Большой Кызырсук (41 км, 35 кв км), Озёрная (27 км, 35 кв км), Казыр (20 км, 85 кв км).\n\nЛитература.\nЭнциклопедия Республики Хакасия : в 2 т. / Правительство Респ. Хакасия; науч.-ред. совет.: В. А. Кузьмин (пред.) и др.. Абакан : Поликор, 2007. Т. 1 : А — Н. — 2007. 430, 2 с.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 665, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15789473684210528, + "em": 0 + }, + "predict": " Геннадий Васильевич Киселёв родился в городе Коломна, Московской области, и в настоящее время является главой администрации в городе Коломна, так как на 3 ноября 2016 года главой городского округа Коломны был избран Лебедев Денис Юрьевич.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Геннадий Васильевич Киселёв?", + "support_text": "Геннадий Васильевич Киселёв ( 19 марта 1931, Коломна — 14 ноября 2008, Минск) — белорусский советский , , , . Кандидат исторических наук, доктор филологических наук (1994).\n\nБиография.\nРодился 19 марта 1931 года в семье служащих в городе Коломне Московской области РСФСР. Окончил среднюю школу в Витебске (1948). Окончил Московский историко-архивный институт (1953). Затем работал в архивах Вильнюса.", + "text": "Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке. Согласно последним исследованиям, основан в 1140-х — 1160-х годах.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика. Коломна — крупный промышленный центр Московской области. В городе зарегистрировано более 2200 предприятий и организаций различных форм собственности." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 519, + "segment": "Лебедев Денис Юрьевич" + }, + { + "label": "passage", + "length": 21, + "offset": 519, + "segment": "Денис Юрьевич Лебедев" + } + ], + "meta": { + "id": 185, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Коломна" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Геннадий Васильевич Киселёв?\nТекст 1: Геннадий Васильевич Киселёв ( 19 марта 1931, Коломна — 14 ноября 2008, Минск) — белорусский советский , , , . Кандидат исторических наук, доктор филологических наук (1994).\n\nБиография.\nРодился 19 марта 1931 года в семье служащих в городе Коломне Московской области РСФСР. Окончил среднюю школу в Витебске (1948). Окончил Московский историко-архивный институт (1953). Затем работал в архивах Вильнюса.\nТекст 2: Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке. Согласно последним исследованиям, основан в 1140-х — 1160-х годах.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика. Коломна — крупный промышленный центр Московской области. В городе зарегистрировано более 2200 предприятий и организаций различных форм собственности.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 332, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Печора", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Малый Кодач?", + "support_text": "Малый Кодач — река в России, протекает в Троицко-Печорском районе Республики Коми. Устье реки находится в 1311 км по левому берегу реки Печора. Длина реки составляет 24 км, площадь бассейна — 138 кв км. В 13 км по левому берегу принимает реку Седвож. Исток реки в урочище Растворово в 37 км к северу от города Троицко-Печорск.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора.", + "text": "Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nВ районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 466, + "segment": "Печорскую губу Печорского моря" + } + ], + "meta": { + "id": 748, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 136, + "segment": "Печора" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Малый Кодач — река в России, протекает в Троицко-Печорском районе Республики Коми. Устье реки находится в 1311 км по левому берегу реки Печора. Длина реки составляет 24 км, площадь бассейна — 138 кв км. В 13 км по левому берегу принимает реку Седвож. Исток реки в урочище Растворово в 37 км к северу от города Троицко-Печорск.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора.\nТекст 2: Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nВ районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Малый Кодач? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 383, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где появился на свет Михаил Александрович Костюков, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Михаил Александрович Костюков?", + "support_text": "Михаил Александрович Костюков (род. 9 августа 1991, Нижний Новгород, СССР) — российский футболист, полузащитник.\n\nФутбольная карьера.\nВоспитанник нижегородского футбола. В 2008 году выступал за третью команду ФК \"Нижний Новгород\", в 2009—2010 — за дубль \"Волги\" в МФС \"Приволжье\". В 2011—2014 годах сыграл 102 матча в составе дзержинского \"Химика\", забил 7 мячей. В 2015—2016 годах провёл 38 матчей, забил 4 гола за \"Волгу\" НН в первенстве ФНЛ.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городская дума" + } + ], + "meta": { + "id": 446, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 52, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Михаил Александрович Костюков (род. 9 августа 1991, Нижний Новгород, СССР) — российский футболист, полузащитник.\n\nФутбольная карьера.\nВоспитанник нижегородского футбола. В 2008 году выступал за третью команду ФК \"Нижний Новгород\", в 2009—2010 — за дубль \"Волги\" в МФС \"Приволжье\". В 2011—2014 годах сыграл 102 матча в составе дзержинского \"Химика\", забил 7 мячей. В 2015—2016 годах провёл 38 матчей, забил 4 гола за \"Волгу\" НН в первенстве ФНЛ.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nВопрос: Какой законодательный орган работает в городе, где появился на свет Михаил Александрович Костюков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Юрий Александрович Дементьев?", + "support_text": "Юрий Александрович Дементьев (1925—1995) — капитан Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nВ дальнейшем Дементьев участвовал в Балатонской и Венской операциях. За время своего участия в войне он трижды был ранен и один раз контужен. В 1946 году в звании капитана Дементьев был уволен в запас. Проживал в городе Горький (ныне — Нижний Новгород), работал военруком, вагонным мастером, служил во внутренних войсках. Позднее работал начальником стеклодувного цеха артели \"Детская игрушка\", осмотрщиком вагонов Горьковской железной дороги. Умер 5 июля 1995 года, похоронен на кладбище деревни Тимирязево Гороховецкого района Владимирской области.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городская дума" + } + ], + "meta": { + "id": 80, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 388, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Юрий Александрович Дементьев (1925—1995) — капитан Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nВ дальнейшем Дементьев участвовал в Балатонской и Венской операциях. За время своего участия в войне он трижды был ранен и один раз контужен. В 1946 году в звании капитана Дементьев был уволен в запас. Проживал в городе Горький (ныне — Нижний Новгород), работал военруком, вагонным мастером, служил во внутренних войсках. Позднее работал начальником стеклодувного цеха артели \"Детская игрушка\", осмотрщиком вагонов Горьковской железной дороги. Умер 5 июля 1995 года, похоронен на кладбище деревни Тимирязево Гороховецкого района Владимирской области.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Юрий Александрович Дементьев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Команда, за тренировки которой отвечает Крис Саттон, играет в Лиге 1, третьем по значимости дивизионе в системе футбольных лиг Англии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, за тренировки которой отвечает Крис Саттон?", + "support_text": "Кристофер Рой Саттон ( родился 10 марта 1973, Ноттингем), более известный как Крис Саттон — английский футболист, нападающий и тренер. Сын футболиста Майка Саттона, старший брат футболиста Джона Саттона. В игре исполняет роль быстрого и мощного центр-форварда.\n\nКарьера тренера.\nВ январе 2009 года кандидатуру Саттона рассматривали в качестве возможного главного тренера шотландского \"Инвернесс Каледониан Тисл\". 28 сентября 2009 года Саттон возглавил клуб Второй Футбольной лиги \"Линкольн Сити\", его помощниками стали Саймон Кларк и Иэн Пирс. Первую игру во главе \"Линкольн Сити\" Крис выиграл, переиграв на выезде \"Олдершот Таун\" (1:0). В Кубке команда впервые с 1999 года дошла до 1/32 финала, где уступила клубу из Премьер-Лиги \"Болтон Уондерерс\".", + "text": "'Линкольн Сити' (полное название — Футбольный клуб 'Линкольн Сити'; , ) — английский профессиональный футбольный клуб из города Линкольн, графство Линкольншир, Восточный Мидленд. В настоящее время выступает в Лиге 1, третьем по значимости дивизионе в системе футбольных лиг Англии. Домашние матчи с 1895 года проводит на стадионе '', вмещающем более 10 тысяч зрителей.\n\nДостижения.\n** Финалист плей-офф: 2004/05. ** Полуфиналист плей-офф (2): 2005/06, 2006/07. Национальная лига. ** Победитель (2): 1987/88, 2016/17." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 209, + "segment": "Лиге 1" + } + ], + "meta": { + "id": 321, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 485, + "segment": "Линкольн Сити" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Кристофер Рой Саттон ( родился 10 марта 1973, Ноттингем), более известный как Крис Саттон — английский футболист, нападающий и тренер. Сын футболиста Майка Саттона, старший брат футболиста Джона Саттона. В игре исполняет роль быстрого и мощного центр-форварда.\n\nКарьера тренера.\nВ январе 2009 года кандидатуру Саттона рассматривали в качестве возможного главного тренера шотландского \"Инвернесс Каледониан Тисл\". 28 сентября 2009 года Саттон возглавил клуб Второй Футбольной лиги \"Линкольн Сити\", его помощниками стали Саймон Кларк и Иэн Пирс. Первую игру во главе \"Линкольн Сити\" Крис выиграл, переиграв на выезде \"Олдершот Таун\" (1:0). В Кубке команда впервые с 1999 года дошла до 1/32 финала, где уступила клубу из Премьер-Лиги \"Болтон Уондерерс\".\nТекст 2: 'Линкольн Сити' (полное название — Футбольный клуб 'Линкольн Сити'; , ) — английский профессиональный футбольный клуб из города Линкольн, графство Линкольншир, Восточный Мидленд. В настоящее время выступает в Лиге 1, третьем по значимости дивизионе в системе футбольных лиг Англии. Домашние матчи с 1895 года проводит на стадионе '', вмещающем более 10 тысяч зрителей.\n\nДостижения.\n** Финалист плей-офф: 2004/05. ** Полуфиналист плей-офф (2): 2005/06, 2006/07. Национальная лига. ** Победитель (2): 1987/88, 2016/17.\nОпираясь на данные тексты, ответьте на вопрос: В какой лиге играет команда, за тренировки которой отвечает Крис Саттон?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Неман", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Сермеж?", + "support_text": "Сермеж (Сырмеж) — река в Поставском районе Витебской области и Мядельском районе Минской области Белоруссии. Приток реки Большой Перекоп. Относится к бассейну реки Неман.\n\nОписание.\nРека Сермеж начинается неподалёку от деревни Ясево Поставского района. Течёт по южной стороне Свенцянской возвышенности, протекает через озеро Кузьмичи. Впадает в реку Большой Перекоп юго-восточнее деревни Мельники. Длина реки составляет 15 км. Площадь водосбора 35 кв км. Русло на протяжении 5,2 км канализовано: на участке 3,1 км до деревни Нарочь и 2,1 км до устья.", + "text": "Большой Перекоп — река в Мядельском районе Минской области Белоруссии. Относится к бассейну реки Неман.\n\nОсновная информация.\nРека Большой Перекоп начинается южнее деревни Матясы. Верхнее течение реки носит второе название Малиновка. Впадает в озеро Свирь с юго-востока. Основные притоки — Малый Перекоп, Сермеж и ручей Первый. Длина реки составляет 35 км. Площадь водосбора — 241 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 97, + "segment": "Неман" + }, + { + "label": "passage", + "length": 5, + "offset": 97, + "segment": "Немана" + } + ], + "meta": { + "id": 269, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 121, + "segment": "Большой Перекоп" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сермеж (Сырмеж) — река в Поставском районе Витебской области и Мядельском районе Минской области Белоруссии. Приток реки Большой Перекоп. Относится к бассейну реки Неман.\n\nОписание.\nРека Сермеж начинается неподалёку от деревни Ясево Поставского района. Течёт по южной стороне Свенцянской возвышенности, протекает через озеро Кузьмичи. Впадает в реку Большой Перекоп юго-восточнее деревни Мельники. Длина реки составляет 15 км. Площадь водосбора 35 кв км. Русло на протяжении 5,2 км канализовано: на участке 3,1 км до деревни Нарочь и 2,1 км до устья.\nТекст 2: Большой Перекоп — река в Мядельском районе Минской области Белоруссии. Относится к бассейну реки Неман.\n\nОсновная информация.\nРека Большой Перекоп начинается южнее деревни Матясы. Верхнее течение реки носит второе название Малиновка. Впадает в озеро Свирь с юго-востока. Основные притоки — Малый Перекоп, Сермеж и ручей Первый. Длина реки составляет 35 км. Площадь водосбора — 241 кв км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Сермеж? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 312, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Владимир Владимирович Владимиров", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Александр Иванович Скоков?", + "support_text": "Александр Иванович Скоков (25 июля 1925 — 7 декабря 1942) — руководитель подпольной комсомольской организации на Ставрополье. Герой Советского Союза(1965).\n\nБиография.\nРодился 25 июля 1925 года в селе Величаевское ныне Левокумского района Ставропольского края. В период оккупации Ставрополья в сентябре 1942 года под руководством Скокова в селе Величаевское была создана комсомольская организация, связанная с партизанским отрядом.", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nАлександр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 509, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 242, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 113, + "segment": "Ставрополье" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Иванович Скоков (25 июля 1925 — 7 декабря 1942) — руководитель подпольной комсомольской организации на Ставрополье. Герой Советского Союза(1965).\n\nБиография.\nРодился 25 июля 1925 года в селе Величаевское ныне Левокумского района Ставропольского края. В период оккупации Ставрополья в сентябре 1942 года под руководством Скокова в селе Величаевское была создана комсомольская организация, связанная с партизанским отрядом.\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nАлександр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Александр Иванович Скоков? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 342, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Дмитрий Александрович Рыжов (1972)?", + "support_text": "Дмитрий Александрович Рыжов (7 мая 1972, Горький, СССР) — российский футболист, полузащитник.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1155, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1155, + "segment": "Городская дума" + } + ], + "meta": { + "id": 390, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 41, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родился Дмитрий Александрович Рыжов (1972)?\nТекст 1: Дмитрий Александрович Рыжов (7 мая 1972, Горький, СССР) — российский футболист, полузащитник.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 328, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Кинг Ху Цзиньцюань скончался в Тайбэе из-за осложнений от ангиопластики.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где скончался создатель сценария к фильму \"Прикосновение дзена\"?", + "support_text": "'Прикосновение дзена' ( буквальный перевод — 'Рыцарша') — тайваньский фильм жанра уся режиссёра Кинга Ху. Основан на рассказах Пу Сунлина 'Ляо-чжай-чжи-и'. Картина заняла девятое место в списке 100 лучших китайских кинолент по версии Hong Kong Film Award. Несмотря на то, что съёмки начались в 1968, до 1971 года фильм не был полностью завершён. Первоначальный выход на экраны Тайваня состоялся в двух частях, в 1970 и 1971 годах (съёмки ещё продолжались во время выхода первой части) с эпизодом в бамбуковом лесу, который завершает первую часть и начинает вторую часть; эта версия имеет суммарную продолжительность в 200 минут.", + "text": "Кинг Ху Цзиньцюань ( 29 апреля 1932 года, Пекин, Китай — 14 января 1997 года, Тайбэй, Тайвань) — китайский, гонконгский и тайваньский кинорежиссёр, сценарист и актёр. Известен благодаря режиссированию фильмов в жанре уся 1960-х и 1970-х годов, которые вывели китайский кинематограф и Тайваня к новым художественным высотам. Его фильмы \"Выпей со мной\" (1966), \"Таверна у врат дракона\" (1967), \"Прикосновение дзена\" (1969-1971) положили начало новой эпохи фильмам жанра \"уся\" в конце 1960-х годов. Кинг Ху также был сценаристом и художником по декорациям.\n\nКарьера.\nВ обоих фильмах бои ставил Саммо Хун. Несмотря на благосклонные отзывы кинокритиков, более поздние картины Ху были менее успешными в прокате. К концу своей жизни, в 90-х годах, Кинг Ху поработал над двумя последними фильмами, \"Виртуоз\" и \"Раскрашенная кожа\", которые не смогли достичь уровня популярности ранних уся-хитов. Последнее десятилетие своей жизни режиссёр жил в Лос-Анджелесе. Ху Цзиньцюань умер в Тайбэе из-за осложнений от ангиопластики." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 976, + "segment": "Тайбэе" + }, + { + "label": "passage", + "length": 6, + "offset": 79, + "segment": "Тайбэй" + } + ], + "meta": { + "id": 698, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 96, + "segment": "Кинга Ху" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: 'Прикосновение дзена' ( буквальный перевод — 'Рыцарша') — тайваньский фильм жанра уся режиссёра Кинга Ху. Основан на рассказах Пу Сунлина 'Ляо-чжай-чжи-и'. Картина заняла девятое место в списке 100 лучших китайских кинолент по версии Hong Kong Film Award. Несмотря на то, что съёмки начались в 1968, до 1971 года фильм не был полностью завершён. Первоначальный выход на экраны Тайваня состоялся в двух частях, в 1970 и 1971 годах (съёмки ещё продолжались во время выхода первой части) с эпизодом в бамбуковом лесу, который завершает первую часть и начинает вторую часть; эта версия имеет суммарную продолжительность в 200 минут.\nТекст 2: Кинг Ху Цзиньцюань ( 29 апреля 1932 года, Пекин, Китай — 14 января 1997 года, Тайбэй, Тайвань) — китайский, гонконгский и тайваньский кинорежиссёр, сценарист и актёр. Известен благодаря режиссированию фильмов в жанре уся 1960-х и 1970-х годов, которые вывели китайский кинематограф и Тайваня к новым художественным высотам. Его фильмы \"Выпей со мной\" (1966), \"Таверна у врат дракона\" (1967), \"Прикосновение дзена\" (1969-1971) положили начало новой эпохи фильмам жанра \"уся\" в конце 1960-х годов. Кинг Ху также был сценаристом и художником по декорациям.\n\nКарьера.\nВ обоих фильмах бои ставил Саммо Хун. Несмотря на благосклонные отзывы кинокритиков, более поздние картины Ху были менее успешными в прокате. К концу своей жизни, в 90-х годах, Кинг Ху поработал над двумя последними фильмами, \"Виртуоз\" и \"Раскрашенная кожа\", которые не смогли достичь уровня популярности ранних уся-хитов. Последнее десятилетие своей жизни режиссёр жил в Лос-Анджелесе. Ху Цзиньцюань умер в Тайбэе из-за осложнений от ангиопластики.\nВопрос: Где скончался создатель сценария к фильму \"Прикосновение дзена\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 526, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1111111111111111, + "em": 0 + }, + "predict": " Анатолий Резников, режиссёр мультфильма \"Леопольд и золотая рыбка\", скончался в немецком городе Золинген 31 января 2018 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где скончался человек, снявший фильм \"Леопольд и золотая рыбка\"?", + "support_text": "'Леопольд и золотая рыбка' — второй мультипликационный фильм из сериала 'Кот Леопольд' про доброго кота Леопольда, которого в многочисленных ситуациях донимают двое хулиганов — мышей. Снимался на творческом объединении 'Экран' в 1975 году.\n\nСъёмочная группа.\n* Авторы сценария — Аркадий Хайт. Режиссёр — Анатолий Резников. Художники-постановщики — Юрий Евмешкин, Анатолий Резников. Оператор — Эрнст Гаман. Композитор — Борис Савельев.", + "text": "Анатолий Израилевич Резников (20 декабря 1940, Белосток, БССР, СССР — 31 января 2018, Золинген, Германия) — советский режиссёр мультипликационных фильмов. Заслуженный деятель искусств Российской Федерации (2012). Лауреат Государственной премии СССР за произведения литературы и искусства для детей (1985).\n\nБиография.\nВ честь 75-летия режиссёра вышел его новый мультсериал — \"Новые приключения кота Леопольда\", созданный совместно с итальянскими мультипликаторами. Премьера мультсериала состоялась в начале 2016 года. В последние годы жизни болел, почти потерял зрение. Скончался в немецком городе Золинген 31 января 2018 года." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 86, + "segment": "Золинген" + }, + { + "label": "passage", + "length": 18, + "offset": 86, + "segment": "Золинген, Германия" + }, + { + "label": "passage", + "length": 8, + "offset": 601, + "segment": "Золинген" + } + ], + "meta": { + "id": 811, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 307, + "segment": "Анатолий Резников" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Где скончался человек, снявший фильм \"Леопольд и золотая рыбка\"?\nТекст 1: 'Леопольд и золотая рыбка' — второй мультипликационный фильм из сериала 'Кот Леопольд' про доброго кота Леопольда, которого в многочисленных ситуациях донимают двое хулиганов — мышей. Снимался на творческом объединении 'Экран' в 1975 году.\n\nСъёмочная группа.\n* Авторы сценария — Аркадий Хайт. Режиссёр — Анатолий Резников. Художники-постановщики — Юрий Евмешкин, Анатолий Резников. Оператор — Эрнст Гаман. Композитор — Борис Савельев.\nТекст 2: Анатолий Израилевич Резников (20 декабря 1940, Белосток, БССР, СССР — 31 января 2018, Золинген, Германия) — советский режиссёр мультипликационных фильмов. Заслуженный деятель искусств Российской Федерации (2012). Лауреат Государственной премии СССР за произведения литературы и искусства для детей (1985).\n\nБиография.\nВ честь 75-летия режиссёра вышел его новый мультсериал — \"Новые приключения кота Леопольда\", созданный совместно с итальянскими мультипликаторами. Премьера мультсериала состоялась в начале 2016 года. В последние годы жизни болел, почти потерял зрение. Скончался в немецком городе Золинген 31 января 2018 года.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 319, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Сумульта.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Куруткан?", + "support_text": "Куруткан — река в России, протекает в Республике Алтай. Устье реки находится в 59 км по левому берегу реки Большая Сумульта. Длина реки составляет 13 км.", + "text": "Большая Сумульта (в верховье Кызылтобрак) — река в Онгудайском районе Республики Алтай России.\n\nОписание.\nПрозрачная синяя вода Большой Сумульты впадает в мутную воду Катуни. Исток река берет на западном склоне хребта Сумультинские Белки. Направление течения западное. Устье находится в 296 км по правому берегу реки Катунь. Длина реки — 76 км, площадь водосборного бассейна — 2300 кв км. Уклон Большой Сумульты 6-8 метров на 1 км. Нижнее течение реки приходит по особой природно-климатической зоне.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Катунь, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 320, + "segment": "Катунь" + }, + { + "label": "passage", + "length": 6, + "offset": 170, + "segment": "Катуни" + } + ], + "meta": { + "id": 840, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 107, + "segment": "Большая Сумульта" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Куруткан — река в России, протекает в Республике Алтай. Устье реки находится в 59 км по левому берегу реки Большая Сумульта. Длина реки составляет 13 км.\nТекст 2: Большая Сумульта (в верховье Кызылтобрак) — река в Онгудайском районе Республики Алтай России.\n\nОписание.\nПрозрачная синяя вода Большой Сумульты впадает в мутную воду Катуни. Исток река берет на западном склоне хребта Сумультинские Белки. Направление течения западное. Устье находится в 296 км по правому берегу реки Катунь. Длина реки — 76 км, площадь водосборного бассейна — 2300 кв км. Уклон Большой Сумульты 6-8 метров на 1 км. Нижнее течение реки приходит по особой природно-климатической зоне.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Катунь, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Куруткан?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 288, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Мариупольский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родилась Екатерина Михайловна Турова?", + "support_text": "Екатерина Михайловна Турова ( 10 ноября 1981, Мариуполь, Украинская ССР) — украинский продюсер сценарист и шеф-редактор. Автор идеи тревел-шоу \"Орёл и решка\" и \"Вокруг М\" с Лесей Никитюк. Шеф-редактор программы \"Жизнь других\" с Жанной Бадоевой на Первом канале.\n\nБиография.\nЕкатерина Турова родилась 10 ноября 1981 года в Мариуполе. Окончила Институт журналистики Киевского национального университета имени Тараса Шевченко. Карьера. После окончания института, Екатерина работала на телевидении журналистом и в рекламных агентствах копирайтером.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 374, + "segment": "горсоветом" + }, + { + "label": "passage", + "length": 10, + "offset": 374, + "segment": "горсовет" + } + ], + "meta": { + "id": 29, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 47, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Екатерина Михайловна Турова ( 10 ноября 1981, Мариуполь, Украинская ССР) — украинский продюсер сценарист и шеф-редактор. Автор идеи тревел-шоу \"Орёл и решка\" и \"Вокруг М\" с Лесей Никитюк. Шеф-редактор программы \"Жизнь других\" с Жанной Бадоевой на Первом канале.\n\nБиография.\nЕкатерина Турова родилась 10 ноября 1981 года в Мариуполе. Окончила Институт журналистики Киевского национального университета имени Тараса Шевченко. Карьера. После окончания института, Екатерина работала на телевидении журналистом и в рекламных агентствах копирайтером.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родилась Екатерина Михайловна Турова? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 328, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Высший руководитель", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется должность человека, возглавлявшего государство, гражданином которого был Мохаммад Носрати?", + "support_text": "Мохаммад Носрати ( ; 11 января 1982, Кередж, Иран) — иранский футболист, защитник клуба Нафт Тегеран. С 2002 по 2013 год выступал за национальную сборную Ирана.\n\nДостижения.\n\"Трактор Сази\". Серебряный призёр Иранской Про-лиги (1): 2012. Обладатель Кубка Хазфи (1): 2013. Национальные. \"Иран\". Чемпион Азиатских игр (1): 2002. Чемпион Федерации футбола Западной Азии (1): 2004. Чемпион Кубка вызова АФК/ОФК (1): 2003.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана. На протяжении многих веков эта страна играла ключевую роль на Востоке, и современный Иран обладает четвёртой по размеру ВВП (по ППС) экономикой в исламском мире и второй по размеру в Западной Азии (после Турции).\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Хотя президент назначает министров обороны и разведки, кандидатуры должны быть заранее одобрены Высшим руководителем. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок. Органы местного самоуправления присутствуют во всех городах и деревнях Ирана и избираются всенародным голосованием на четырёхлетний срок." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 664, + "segment": "Высший руководитель" + }, + { + "label": "passage", + "length": 20, + "offset": 1145, + "segment": "Высшего руководителя" + } + ], + "meta": { + "id": 802, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 53, + "segment": "иранский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мохаммад Носрати ( ; 11 января 1982, Кередж, Иран) — иранский футболист, защитник клуба Нафт Тегеран. С 2002 по 2013 год выступал за национальную сборную Ирана.\n\nДостижения.\n\"Трактор Сази\". Серебряный призёр Иранской Про-лиги (1): 2012. Обладатель Кубка Хазфи (1): 2013. Национальные. \"Иран\". Чемпион Азиатских игр (1): 2002. Чемпион Федерации футбола Западной Азии (1): 2004. Чемпион Кубка вызова АФК/ОФК (1): 2003.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана. На протяжении многих веков эта страна играла ключевую роль на Востоке, и современный Иран обладает четвёртой по размеру ВВП (по ППС) экономикой в исламском мире и второй по размеру в Западной Азии (после Турции).\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Хотя президент назначает министров обороны и разведки, кандидатуры должны быть заранее одобрены Высшим руководителем. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок. Органы местного самоуправления присутствуют во всех городах и деревнях Ирана и избираются всенародным голосованием на четырёхлетний срок.\nОпираясь на данные тексты, ответьте на вопрос: Как называется должность человека, возглавлявшего государство, гражданином которого был Мохаммад Носрати? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 690, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05882352941176471, + "em": 0 + }, + "predict": " Глава государства, на территории которого скончался Муаз ибн Джабаль, занимал должность президента. Это Сирия, которая была провозглашена Сирийской Арабской Республикой в 1944 году, что совпадает с периодом жизни и смерти Муаза ибн Джабаля.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимает глава государства, ставшего местом смерти Муаза ибн Джабаля?", + "support_text": "Могила Муаза ибн Джабаля (Иордания). Му’аз ибн Джабаль аль-Хазраджи ( ум.\n\nБиография.\nБыл отправлен Пророком в Йемен для призыва к исламу. Вернулся оттуда в период правления Праведного халифа Абу Бакра ас-Сиддика. Уехал в Сирию, заразился чумой и скончался в возрасте 38 лет. В передаче Муаз известно более 150 хадисов.", + "text": "Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э. Столица — Дамаск, один из древнейших постоянно заселённых городов мира.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 519, + "segment": "президентов" + }, + { + "label": "passage", + "length": 11, + "offset": 519, + "segment": "президента" + } + ], + "meta": { + "id": 646, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 226, + "segment": "Сирию" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Могила Муаза ибн Джабаля (Иордания). Му’аз ибн Джабаль аль-Хазраджи ( ум.\n\nБиография.\nБыл отправлен Пророком в Йемен для призыва к исламу. Вернулся оттуда в период правления Праведного халифа Абу Бакра ас-Сиддика. Уехал в Сирию, заразился чумой и скончался в возрасте 38 лет. В передаче Муаз известно более 150 хадисов.\nТекст 2: Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э. Столица — Дамаск, один из древнейших постоянно заселённых городов мира.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии. Сирийская республика (1930—1958).\nОпираясь на данные тексты, ответьте на вопрос: Что за должность занимает глава государства, ставшего местом смерти Муаза ибн Джабаля?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 316, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13043478260869565, + "em": 0 + }, + "predict": " Владимир Владимирович Владимиров является главой администрации в регионе, где родился Александр Николаевич Ситковский. Это связано с тем, что Александр Ситковский родился в селе Урожайное, что находится в Левокумском районе Ставропольского края, а Владимир Владимирович Владимиров с 2013 года исполняет обязанности губернатора и в ", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Александр Николаевич Ситковский?", + "support_text": "Александр Николаевич Ситковский (1914—2000) — лётчик-ас, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nАлександр Ситковский родился в селе Урожайное Ставропольской губернии (сейчас Левокумский район Ставропольского края). Позже его семья переезжает в слободу Хасавюрт, а после революции в город Махачкала. В 1922 году поступил на учёбу в Махачкалинскую школу № 1.", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь.\n\nРуководители края.\nВалерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 383, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 243, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 238, + "segment": "Ставропольского края" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Николаевич Ситковский (1914—2000) — лётчик-ас, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nАлександр Ситковский родился в селе Урожайное Ставропольской губернии (сейчас Левокумский район Ставропольского края). Позже его семья переезжает в слободу Хасавюрт, а после революции в город Махачкала. В 1922 году поступил на учёбу в Махачкалинскую школу № 1.\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь.\n\nРуководители края.\nВалерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Александр Николаевич Ситковский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 296, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городской думы Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Евгений Владимирович Крестьянинов?", + "support_text": "Евгений Владимирович Крестьянинов (род. 12 июля 1948, Горький) — российский государственный деятель.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 757, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 757, + "segment": "Городская дума" + } + ], + "meta": { + "id": 391, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 54, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родился Евгений Владимирович Крестьянинов?\nТекст 1: Евгений Владимирович Крестьянинов (род. 12 июля 1948, Горький) — российский государственный деятель.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " И. Р. Метшин является главой администрации в городе Казани, где родился Андрей Олегович Макаров.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Андрей Олегович Макаров?", + "support_text": "Андрей Олегович Макаров (20 апреля 1993, Казань, Россия) — российский хоккеист, вратарь. В настоящее время является игроком \"Автомобилиста\", выступающего в КХЛ.\n\nБиография.\nРанние годы. Андрей начал заниматься хоккеем в возрасте 7 лет в своём родном городе Казань, причём поначалу играл на позиции нападающего. В 11 лет переезжает в Тольятти и продолжает тренироваться в системе местного клуба \"Лада\".", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 642, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 472, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 41, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Андрей Олегович Макаров (20 апреля 1993, Казань, Россия) — российский хоккеист, вратарь. В настоящее время является игроком \"Автомобилиста\", выступающего в КХЛ.\n\nБиография.\nРанние годы. Андрей начал заниматься хоккеем в возрасте 7 лет в своём родном городе Казань, причём поначалу играл на позиции нападающего. В 11 лет переезжает в Тольятти и продолжает тренироваться в системе местного клуба \"Лада\".\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Андрей Олегович Макаров?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 316, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Эдуард Дамирович Кудерметов?", + "support_text": "Эдуард Дамирович Кудерметов — советский и российский хоккеист, выступавший на позиции нападающего, хват клюшки — левый. Воспитанник казанского \"Ак Барса\".\n\nДостижения.\nЧемпион России в составе казанского \"Ак Барса\" в 1998 году. Чемпион России в составе магнитогорского \"Металлурга\" в 2007 году.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 595, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 946, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 132, + "segment": "казанского" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Эдуард Дамирович Кудерметов — советский и российский хоккеист, выступавший на позиции нападающего, хват клюшки — левый. Воспитанник казанского \"Ак Барса\".\n\nДостижения.\nЧемпион России в составе казанского \"Ак Барса\" в 1998 году. Чемпион России в составе магнитогорского \"Металлурга\" в 2007 году.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Эдуард Дамирович Кудерметов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 335, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1142857142857143, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Николай Владимирович Сиротинин, является Юрий Парахин. Это подтверждается данными из второго текста, где указано, что с 2020 года Юрий Парахин занимает должность главы администрации в городе Орёл.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Владимирович Сиротинин?", + "support_text": "Николай Владимирович Сиротинин (7 марта 1921, Орёл — 17 июля 1941, Кричев, Белорусская ССР) — старший сержант артиллерии. 17 июля 1941 года, во время Смоленского сражения, прикрывая отступление своего полка, в одном бою, согласно ряду источников, в одиночку уничтожил 11 танков, 7 бронемашин, 57 солдат и офицеров противника.\n\nБиография.\nДо войны работал на заводе \"Текмаш\" в Орле. Призван в РККА 5 октября 1940 года, проходил службу в Полоцке. Член ВЛКСМ. По одним данным, 22 июня 1941 года получил лёгкое ранение при авианалёте.\n\nПамять.\nБратская могила в Кричеве на улице Сиротинина. В 1948 году останки Николая Сиротинина были перезахоронены в братской могиле (согласно данным учётной карточки воинского захоронения на сайте ОБД Мемориал — в 1943 году), на которой установлен памятник в виде скульптуры солдата, скорбящего о погибших товарищах, а на мраморных досках в списке захороненных указана фамилия Сиротинина Н. В. * В 1961 году на месте подвига у шоссе поставлен памятник в виде обелиска с именем героя, возле которого на постаменте установлено настоящее 76-мм орудие. В городе Кричеве именем Сиротинина названа улица. На заводе \"Текмаш\" в Орле установлена мемориальная доска с краткой справкой о Н. В. Сиротинине. В музее боевой славы в средней школе № 17 города Орла имеются материалы, посвящённые Н. В. Сиротинину. В 2015 году совет школы № 7 города Орла ходатайствовал о присвоении школе имени Николая Сиротинина. На торжественных мероприятиях присутствовала сестра Николая Таисия Владимировна.", + "text": "Орёл — город (с 1566) в России, административный центр Орловской области и Орловского района, в который сам не входит. Являясь городом областного значения, образует муниципальное образование городской округ \"город Орёл\". Расположен в 368 км к юго-западу от Москвы, на Среднерусской возвышенности в европейской части России, по обоим берегам реки Оки и её притока Орлика. Орёл и Орловская область входят в состав Центрального федерального округа, а также Центрального экономического района. Город первого салюта (5 августа 1943 года) и город воинской славы (27 апреля 2007 года).\n\nАдминистративное устройство.\n2009—2010 — Василий Ерёмин (и. о.). 2010—2012 — Виктор Сафьянов. 2012—2015 — Сергей Ступин. 2015—2020 — Василий Новиков. 2020— — Юрий Парахин." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 741, + "segment": "Юрий Парахин" + } + ], + "meta": { + "id": 527, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 46, + "segment": "Орёл" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Николай Владимирович Сиротинин?\nТекст 1: Николай Владимирович Сиротинин (7 марта 1921, Орёл — 17 июля 1941, Кричев, Белорусская ССР) — старший сержант артиллерии. 17 июля 1941 года, во время Смоленского сражения, прикрывая отступление своего полка, в одном бою, согласно ряду источников, в одиночку уничтожил 11 танков, 7 бронемашин, 57 солдат и офицеров противника.\n\nБиография.\nДо войны работал на заводе \"Текмаш\" в Орле. Призван в РККА 5 октября 1940 года, проходил службу в Полоцке. Член ВЛКСМ. По одним данным, 22 июня 1941 года получил лёгкое ранение при авианалёте.\n\nПамять.\nБратская могила в Кричеве на улице Сиротинина. В 1948 году останки Николая Сиротинина были перезахоронены в братской могиле (согласно данным учётной карточки воинского захоронения на сайте ОБД Мемориал — в 1943 году), на которой установлен памятник в виде скульптуры солдата, скорбящего о погибших товарищах, а на мраморных досках в списке захороненных указана фамилия Сиротинина Н. В. * В 1961 году на месте подвига у шоссе поставлен памятник в виде обелиска с именем героя, возле которого на постаменте установлено настоящее 76-мм орудие. В городе Кричеве именем Сиротинина названа улица. На заводе \"Текмаш\" в Орле установлена мемориальная доска с краткой справкой о Н. В. Сиротинине. В музее боевой славы в средней школе № 17 города Орла имеются материалы, посвящённые Н. В. Сиротинину. В 2015 году совет школы № 7 города Орла ходатайствовал о присвоении школе имени Николая Сиротинина. На торжественных мероприятиях присутствовала сестра Николая Таисия Владимировна.\nТекст 2: Орёл — город (с 1566) в России, административный центр Орловской области и Орловского района, в который сам не входит. Являясь городом областного значения, образует муниципальное образование городской округ \"город Орёл\". Расположен в 368 км к юго-западу от Москвы, на Среднерусской возвышенности в европейской части России, по обоим берегам реки Оки и её притока Орлика. Орёл и Орловская область входят в состав Центрального федерального округа, а также Центрального экономического района. Город первого салюта (5 августа 1943 года) и город воинской славы (27 апреля 2007 года).\n\nАдминистративное устройство.\n2009—2010 — Василий Ерёмин (и. о.). 2010—2012 — Виктор Сафьянов. 2012—2015 — Сергей Ступин. 2015—2020 — Василий Новиков. 2020— — Юрий Парахин.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 674, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Койбыш сливается с рекой Иня.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Койбыш?", + "support_text": "Койбыш — река в Кемеровской и Новосибирской областях России. Устье реки находится в 263 км по левому берегу реки Иня. Длина реки составляет 15 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Иня, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.", + "text": "Иня — река в Кемеровской и Новосибирской областях России, правый приток Оби. Длина реки — 663 км, площадь водосборного бассейна — 17 600 кв км. Среднегодовой расход воды в 35 км от устья — 47,4 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Барнаул до Новосибирского гидроузла, без реки Чумыш, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 72, + "segment": "Обь" + } + ], + "meta": { + "id": 891, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 113, + "segment": "Иня" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Койбыш — река в Кемеровской и Новосибирской областях России. Устье реки находится в 263 км по левому берегу реки Иня. Длина реки составляет 15 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Иня, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nТекст 2: Иня — река в Кемеровской и Новосибирской областях России, правый приток Оби. Длина реки — 663 км, площадь водосборного бассейна — 17 600 кв км. Среднегодовой расход воды в 35 км от устья — 47,4 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Барнаул до Новосибирского гидроузла, без реки Чумыш, речной подбассейн реки — бассейны притоков (Верхней) Оби до впадения Томи. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Койбыш?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 316, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Владимир Николаевич Воробьёв (хоккеист)?", + "support_text": "Владимир Николаевич Воробьев (9 ноября 1959, Горький) — советский хоккеист, вратарь. Мастер спорта СССР. Тренер.\n\nБиография.\nВоспитанник горьковского хоккея. Выступал за \"Сибирь\" (Новосибирск) и \"Торпедо\" (Горький). Один из лучших вратарей в истории горьковского хоккея. Завершил карьеру в связи с травмой позвоночника.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городская дума" + } + ], + "meta": { + "id": 43, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 45, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Владимир Николаевич Воробьев (9 ноября 1959, Горький) — советский хоккеист, вратарь. Мастер спорта СССР. Тренер.\n\nБиография.\nВоспитанник горьковского хоккея. Выступал за \"Сибирь\" (Новосибирск) и \"Торпедо\" (Горький). Один из лучших вратарей в истории горьковского хоккея. Завершил карьеру в связи с травмой позвоночника.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Владимир Николаевич Воробьёв (хоккеист)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава государства в Исламской Республике Иран, гражданкой которой была Марьян Калхор, занимает должность Высшего руководителя.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимает глава государства в стране, гражданкой которой была Марьян Калхор?", + "support_text": "Марьян Калхор ( ) — иранская горнолыжница, первая иранка, принявшая участие в Зимних Олимпийских играх. Калхор начала кататься на горных лыжах с четырехлетнего возраста на курортах, которые располагались в горной системе Эльбурс. В одиннадцатилетнем возрасте она стала чемпионкой своей страны. Позднее она достаточно успешно выступала на континентальный и региональных соревнованиях, завоевывая на них медали.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана.\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Совет целесообразности разрешает спорные вопросы, возникающие между Меджлисом и Советом стражей. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 451, + "segment": "Высший руководитель" + } + ], + "meta": { + "id": 971, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 21, + "segment": "иранская" + }, + { + "label": "passage", + "length": 6, + "offset": 51, + "segment": "иранка" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Марьян Калхор ( ) — иранская горнолыжница, первая иранка, принявшая участие в Зимних Олимпийских играх. Калхор начала кататься на горных лыжах с четырехлетнего возраста на курортах, которые располагались в горной системе Эльбурс. В одиннадцатилетнем возрасте она стала чемпионкой своей страны. Позднее она достаточно успешно выступала на континентальный и региональных соревнованиях, завоевывая на них медали.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана.\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Совет целесообразности разрешает спорные вопросы, возникающие между Меджлисом и Советом стражей. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимает глава государства в стране, гражданкой которой была Марьян Калхор?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 529, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23076923076923078, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где умер Наиль Шамсутдинович Шайхутдинов, является мэром. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Наиль Шамсутдинович Шайхутдинов?", + "support_text": "Наиль Шамсутдинович Шайхутдинов (1 марта 1941, д. Лашманка, Черемшанский район — 25 января 2016, Казань) — советский и российский театральный актёр, народный артист Российской Федерации.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 757, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 235, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 97, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Наиль Шамсутдинович Шайхутдинов (1 марта 1941, д. Лашманка, Черемшанский район — 25 января 2016, Казань) — советский и российский театральный актёр, народный артист Российской Федерации.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Наиль Шамсутдинович Шайхутдинов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 328, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Премьер-лиге.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой зовут Андрис Йонкер?", + "support_text": "Андрис Йонкер ( ) — нидерландский футбольный тренер и функционер. Исполнял обязанности главного тренера мюнхенской \"Баварии\" в переходный период между отставкой Луи ван Гала и приходом Юппа Хайнкеса. До середины апреля являлся главным тренером фарм-клуба \"Баварии\", \"Баварии II\", но в середине апреля покинул команду по семейным обстоятельствам. В конце июня 2012 года присоединился к тренерскому штабу Феликса Магата в \"Вольфсбурге\". 27 февраля 2017 года назначен главным тренером \"Вольфсбурга\".\n\nКарьера.\nПроведя в качестве тренера второй команды хороший сезон, Андрис внезапно ушёл с поста по собственному желанию, покинув с семьёй Мюнхен в середине апреля 2012 года. В конце июня 2012 года присоединился к тренерскому штабу Феликса Магата в \"Вольфсбурге\". 20 января 2014 года официальный сайт \"Арсенала\" объявил, что после окончания сезона Йонкер получит должность главы юношеской академии клуба. 27 февраля 2017 года назначен главным тренером \"Вольфсбурга\". Контракт подписан до лета 2018 года. На тренерском мостике Йонкер сменил Валерьена Исмаэля, который был уволен после поражения в домашнем матче с бременским \"Вердером\".", + "text": "'Арсенал' (официальное полное название — Футбольный клуб 'Арсенал', , ) — английский профессиональный футбольный клуб из Северного Лондона (боро Ислингтон), выступающий в Премьер-лиге. Основан в октябре 1886 года. Клуб 13 раз становился чемпионом Англии, 14 раз выигрывал Кубок Англии.\n\nДостижения.\nНациональные. Первый дивизион / Премьер-лига. ** Чемпион (13): 1930/31, 1932/33, 1933/34, 1934/35, 1937/38, 1947/48, 1952/53, 1970/71, 1988/89, 1990/91, 1997/98, 2001/02, 2003/04." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 171, + "segment": "Премьер-лиге" + } + ], + "meta": { + "id": 4, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 802, + "segment": "Арсенала" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Андрис Йонкер ( ) — нидерландский футбольный тренер и функционер. Исполнял обязанности главного тренера мюнхенской \"Баварии\" в переходный период между отставкой Луи ван Гала и приходом Юппа Хайнкеса. До середины апреля являлся главным тренером фарм-клуба \"Баварии\", \"Баварии II\", но в середине апреля покинул команду по семейным обстоятельствам. В конце июня 2012 года присоединился к тренерскому штабу Феликса Магата в \"Вольфсбурге\". 27 февраля 2017 года назначен главным тренером \"Вольфсбурга\".\n\nКарьера.\nПроведя в качестве тренера второй команды хороший сезон, Андрис внезапно ушёл с поста по собственному желанию, покинув с семьёй Мюнхен в середине апреля 2012 года. В конце июня 2012 года присоединился к тренерскому штабу Феликса Магата в \"Вольфсбурге\". 20 января 2014 года официальный сайт \"Арсенала\" объявил, что после окончания сезона Йонкер получит должность главы юношеской академии клуба. 27 февраля 2017 года назначен главным тренером \"Вольфсбурга\". Контракт подписан до лета 2018 года. На тренерском мостике Йонкер сменил Валерьена Исмаэля, который был уволен после поражения в домашнем матче с бременским \"Вердером\".\nТекст 2: 'Арсенал' (официальное полное название — Футбольный клуб 'Арсенал', , ) — английский профессиональный футбольный клуб из Северного Лондона (боро Ислингтон), выступающий в Премьер-лиге. Основан в октябре 1886 года. Клуб 13 раз становился чемпионом Англии, 14 раз выигрывал Кубок Англии.\n\nДостижения.\nНациональные. Первый дивизион / Премьер-лига. ** Чемпион (13): 1930/31, 1932/33, 1933/34, 1934/35, 1937/38, 1947/48, 1952/53, 1970/71, 1988/89, 1990/91, 1997/98, 2001/02, 2003/04.\nОпираясь на данные тексты, ответьте на вопрос: В какой лиге играет команда, тренера которой зовут Андрис Йонкер? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 562, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Максим Валентинович Андреев?", + "support_text": "Максим Валентинович Андреев (род. 10 ноября 1977 года, Казань) — российский учёный и общественный деятель, доктор юридических наук, профессор Казанского юридического института МВД России. Учредитель и генеральный директор издательского дома \"Логос\" им. академика В. И. Андреева.\n\nПубликации.\nАндреев М. В. Современные стратегии реформирования Совета безопасности ООН. Казань: Центр инновационеых технологий, 2002. 198 с. ISBN 5-93962-004-3. Андреев М. В. Обеспечение международной и региональной безопасности: пути повышения эффективности.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 435, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 513, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 55, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Максим Валентинович Андреев (род. 10 ноября 1977 года, Казань) — российский учёный и общественный деятель, доктор юридических наук, профессор Казанского юридического института МВД России. Учредитель и генеральный директор издательского дома \"Логос\" им. академика В. И. Андреева.\n\nПубликации.\nАндреев М. В. Современные стратегии реформирования Совета безопасности ООН. Казань: Центр инновационеых технологий, 2002. 198 с. ISBN 5-93962-004-3. Андреев М. В. Обеспечение международной и региональной безопасности: пути повышения эффективности.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Максим Валентинович Андреев? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13793103448275862, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в государстве, гражданкой которого является Селина Джейтли, — это двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданкой которого является Селина Джейтли?", + "support_text": "Селина Джия Джейтли ( род. 24 ноября 1981 года, Шимла, Химчал Прадеш, Индия) — индийская актриса и фотомодель. Победительница конкурса \"Мисс Индия\" и 4-я вице-мисс Вселенная 2001.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 860, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 860, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 982, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 80, + "segment": "индийская" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Селина Джия Джейтли ( род. 24 ноября 1981 года, Шимла, Химчал Прадеш, Индия) — индийская актриса и фотомодель. Победительница конкурса \"Мисс Индия\" и 4-я вице-мисс Вселенная 2001.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами.\nВопрос: Какой законодательный орган принимает законы в государстве, гражданкой которого является Селина Джейтли?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 594, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сухая Чеварда сливается с Мокрой Чевардой.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Сухая Чеварда?", + "support_text": "Сухая Чеварда — река в России, протекает в Лукояновском районе Нижегородской области. Устье реки находится в 2 км по левому берегу реки Мокрая Чеварда. Длина реки составляет 12 км. Исток реки южнее посёлка Кузнецкий в 16 км к юго-западу от города Лукоянов. Река течёт на юго-запад, большая часть течения проходит по ненаселённому лесному массиву (Разинское лесничество).", + "text": "Мокрая Чеварда — река в России, протекает в Лукояновском районе Нижегородской области. Устье реки находится в 240 км по левому берегу реки Алатырь. Длина реки составляет 17 км, площадь водосборного бассейна 116 кв км. В 2 км от устья принимает слева реку Сухая Чеварда. Исток реки южнее села Салдаманов Майдан в 16 км к юго-западу от города Лукоянов. Исток находится на водоразделе Суры и Оки, севернее села Салдаманов Майдан берёт начало Патерга. Река течёт на юг, протекает село Новый Майдан, ниже течёт по ненаселённому лесному массиву (Разинское лесничество). Впадает в Алатырь напротив села Санки в 5 км к юго-западу от посёлка Степана Разина." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 139, + "segment": "Алатырь" + }, + { + "label": "passage", + "length": 7, + "offset": 574, + "segment": "Алатырь" + } + ], + "meta": { + "id": 858, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 136, + "segment": "Мокрая Чеварда" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Сухая Чеварда — река в России, протекает в Лукояновском районе Нижегородской области. Устье реки находится в 2 км по левому берегу реки Мокрая Чеварда. Длина реки составляет 12 км. Исток реки южнее посёлка Кузнецкий в 16 км к юго-западу от города Лукоянов. Река течёт на юго-запад, большая часть течения проходит по ненаселённому лесному массиву (Разинское лесничество).\nТекст 2: Мокрая Чеварда — река в России, протекает в Лукояновском районе Нижегородской области. Устье реки находится в 240 км по левому берегу реки Алатырь. Длина реки составляет 17 км, площадь водосборного бассейна 116 кв км. В 2 км от устья принимает слева реку Сухая Чеварда. Исток реки южнее села Салдаманов Майдан в 16 км к юго-западу от города Лукоянов. Исток находится на водоразделе Суры и Оки, севернее села Салдаманов Майдан берёт начало Патерга. Река течёт на юг, протекает село Новый Майдан, ниже течёт по ненаселённому лесному массиву (Разинское лесничество). Впадает в Алатырь напротив села Санки в 5 км к юго-западу от посёлка Степана Разина.\nВопрос: С какой рекой сливается река, в которую впадает Сухая Чеварда?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 332, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Авилов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Сергей Антонович Пивоваров?", + "support_text": "Сергей Антонович Пивоваров ( Тула — Москва) — Герой Советского Союза, командир миномётного расчёта 229-го стрелкового полка 8-й стрелковой дивизии. Красноармеец.\n\nИсточники.\nБессмертен подвиг их высокий. Тула: Приокское кн. изд., 1983.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 521, + "segment": "Евгений Авилов" + } + ], + "meta": { + "id": 218, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 29, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сергей Антонович Пивоваров ( Тула — Москва) — Герой Советского Союза, командир миномётного расчёта 229-го стрелкового полка 8-й стрелковой дивизии. Красноармеец.\n\nИсточники.\nБессмертен подвиг их высокий. Тула: Приокское кн. изд., 1983.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Сергей Антонович Пивоваров? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Максимилиан Максимилианович Голлербах посвятил себя науке альгологии, которая изучает водоросли.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что изучает наука, которой посвятил себя Максимилиан Максимилианович Голлербах?", + "support_text": "Максимилиан Максимилианович Голлербах (2 июня 1907, Царское Село — 1989) — русский альголог, ученик А. А. Еленкина.", + "text": "Альгология (от — морская трава, водоросль и — учение) — раздел биологии, изучающий водоросли.Файл:Lines of sargassum Sargasso Sea.jpg|thumb|Саргассовые водоросли|альт=. Ранее все водоросли относили к растениям, а потому альгологию рассматривали как раздел ботаники. В современном же понимании водоросли — не таксон, а гетерогенная экологическая группа, к которой относятся представители царств протист, бактерий и растений.\n\nИстория.\nПервые упоминания о применении водорослей приведены в ранней китайской литературе. В то время как древние греки и римляне изучали водоросли, древние китайцы даже использовали определённые сорта в качестве пищи, научное исследование водорослей началось в конце XVIII века. Классификация растений потерпела много изменений, так как Теофраст (372—287 до н. э.) и Аристотель (384—322 гг. до н. э.), сгруппировали их как \"кустарники\" и \"травы\" (Смит, 1955 г. р. 1)." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 85, + "segment": "водоросли" + } + ], + "meta": { + "id": 656, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 83, + "segment": "альголог" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Максимилиан Максимилианович Голлербах (2 июня 1907, Царское Село — 1989) — русский альголог, ученик А. А. Еленкина.\nТекст 2: Альгология (от — морская трава, водоросль и — учение) — раздел биологии, изучающий водоросли.Файл:Lines of sargassum Sargasso Sea.jpg|thumb|Саргассовые водоросли|альт=. Ранее все водоросли относили к растениям, а потому альгологию рассматривали как раздел ботаники. В современном же понимании водоросли — не таксон, а гетерогенная экологическая группа, к которой относятся представители царств протист, бактерий и растений.\n\nИстория.\nПервые упоминания о применении водорослей приведены в ранней китайской литературе. В то время как древние греки и римляне изучали водоросли, древние китайцы даже использовали определённые сорта в качестве пищи, научное исследование водорослей началось в конце XVIII века. Классификация растений потерпела много изменений, так как Теофраст (372—287 до н. э.) и Аристотель (384—322 гг. до н. э.), сгруппировали их как \"кустарники\" и \"травы\" (Смит, 1955 г. р. 1).\nОпираясь на данные тексты, ответьте на вопрос: Что изучает наука, которой посвятил себя Максимилиан Максимилианович Голлербах?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 330, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Золотанка сливается с рекой Улс.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большая Золотанка?", + "support_text": "Большая Золотанка — река в России, протекает в Пермском крае.\n\nОписание.\nПротекает полностью на территории Красновишерского района Пермского края. Течёт преимущественно в северо-восточном и северном направлениях. Устье реки находится в 11 км по левому берегу реки Улс, на территории населённого пункта Золотанка. Длина реки составляет 19 км.", + "text": "Улс — река в России, протекает главным образом в Пермском крае. Устье реки находится в 233 км по левому берегу реки Вишера. Длина реки составляет 89 км, площадь водосборного бассейна — 2190 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 116, + "segment": "Вишера" + } + ], + "meta": { + "id": 580, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 267, + "segment": "Улс" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Большая Золотанка — река в России, протекает в Пермском крае.\n\nОписание.\nПротекает полностью на территории Красновишерского района Пермского края. Течёт преимущественно в северо-восточном и северном направлениях. Устье реки находится в 11 км по левому берегу реки Улс, на территории населённого пункта Золотанка. Длина реки составляет 19 км.\nТекст 2: Улс — река в России, протекает главным образом в Пермском крае. Устье реки находится в 233 км по левому берегу реки Вишера. Длина реки составляет 89 км, площадь водосборного бассейна — 2190 кв км.\nВопрос: С какой рекой сливается река, в которую впадает Большая Золотанка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сергей Валерьевич Данилюк", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Дмитрий Николаевич Паламарчук?", + "support_text": "Дмитрий Николаевич Паламарчук (род. 23 мая 1989) — приднестровский государственный и политический деятель, приднестровский дипломат. Заместитель министра иностранных дел ПМР (19 августа 2015 года — 30 декабря 2016). Имеет дипломатический ранг Чрезвычайного и Полномочного Посланника II класса.\n\nБиография.\nРодился 23 мая 1989 года в городе Тирасполь. В 2006 году окончил Тираспольскую гуманитарно-математическую гимназию, а в 2011 году Приднестровский государственный университет им. Т.Г. Шевченко по специальности \"политология, международные отношения и геополитика\". В 2015 году получил второе высшее образование на факультете Управления Российского Государственного гуманитарного университета по специальности \"Государственное и муниципальное управление\". С 9 февраля 2009 года работает в системе Министерства иностранных дел Приднестровской Молдавской Республики, где прошел всю карьерную лестницу от должности референта до заместителя Министра иностранных дел ПМР.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики.\n\nОрганы власти.\nШапа, Пётр Иванович (1978—1980), 1-й секретарь горкома. Костырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 853, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 853, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 501, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 343, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дмитрий Николаевич Паламарчук (род. 23 мая 1989) — приднестровский государственный и политический деятель, приднестровский дипломат. Заместитель министра иностранных дел ПМР (19 августа 2015 года — 30 декабря 2016). Имеет дипломатический ранг Чрезвычайного и Полномочного Посланника II класса.\n\nБиография.\nРодился 23 мая 1989 года в городе Тирасполь. В 2006 году окончил Тираспольскую гуманитарно-математическую гимназию, а в 2011 году Приднестровский государственный университет им. Т.Г. Шевченко по специальности \"политология, международные отношения и геополитика\". В 2015 году получил второе высшее образование на факультете Управления Российского Государственного гуманитарного университета по специальности \"Государственное и муниципальное управление\". С 9 февраля 2009 года работает в системе Министерства иностранных дел Приднестровской Молдавской Республики, где прошел всю карьерную лестницу от должности референта до заместителя Министра иностранных дел ПМР.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики.\n\nОрганы власти.\nШапа, Пётр Иванович (1978—1980), 1-й секретарь горкома. Костырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Дмитрий Николаевич Паламарчук? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 577, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.11764705882352941, + "em": 0 + }, + "predict": " Александр Сергиенко является главой администрации в городе Старый Оскол, где родился Евгений Иванович Постников.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Евгений Иванович Постников?", + "support_text": "Евгений Иванович Постников (16 апреля 1986, Старый Оскол, РСФСР, СССР) — российский и казахстанский футболист, защитник клуба \"Астана\". Чемпион Латвии (2011), пятикратный чемпион Казахстана.", + "text": "Памятная монета Банка России номиналом 10 рублей (2014). Старый Оскол — город (с 1593) в Белгородской области России. Административный центр Старооскольского городского округа. Город воинской славы.\n\nПолитика и власть.\n4 декабря 2011 года в городе прошли выборы в Государственную думу Федерального Собрания VI созыва, на которых с результатом 35,4 % выиграла Единая Россия. В мае 2013 года уходит в отставку третий мэр города Павел Шишкин. В сентябре того же года на выборах главы города победил генерал-лейтенант налоговой службы А. В. Гнедых. В ноябре 2017 года уходит в отставку Александр Гнедых. Новым главой города стал Александр Сергиенко. Администрация. Администрацию Старооскольского городского округа в настоящий момент возглавляет А. Н. Сергиенко." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 744, + "segment": "А. Н. Сергиенко" + } + ], + "meta": { + "id": 192, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 44, + "segment": "Старый Оскол" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Евгений Иванович Постников (16 апреля 1986, Старый Оскол, РСФСР, СССР) — российский и казахстанский футболист, защитник клуба \"Астана\". Чемпион Латвии (2011), пятикратный чемпион Казахстана.\nТекст 2: Памятная монета Банка России номиналом 10 рублей (2014). Старый Оскол — город (с 1593) в Белгородской области России. Административный центр Старооскольского городского округа. Город воинской славы.\n\nПолитика и власть.\n4 декабря 2011 года в городе прошли выборы в Государственную думу Федерального Собрания VI созыва, на которых с результатом 35,4 % выиграла Единая Россия. В мае 2013 года уходит в отставку третий мэр города Павел Шишкин. В сентябре того же года на выборах главы города победил генерал-лейтенант налоговой службы А. В. Гнедых. В ноябре 2017 года уходит в отставку Александр Гнедых. Новым главой города стал Александр Сергиенко. Администрация. Администрацию Старооскольского городского округа в настоящий момент возглавляет А. Н. Сергиенко.\nВопрос: Кто является главой администрации в городе, где родился Евгений Иванович Постников?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 289, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Волманга.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Рамитница?", + "support_text": "Рамитница — река в России, протекает в Опаринском районе Кировской области. Устье реки находится в 14 км по правому берегу реки Белая. Длина реки составляет 12 км.", + "text": "Белая — река в России, протекает в Опаринском районе Кировской области. Устье реки находится в 52 км по левому берегу реки Волманга. Длина реки составляет 40 км, площадь бассейна 316 кв км. Белая берёт исток в лесах близ точки, где сходятся Кировская, Вологодская и Костромская область в 22 км к северо-западу от посёлка Верхняя Волманга. Река течёт на юго-восток по ненаселённому заболоченному лесу. Впадает в Волмангу в посёлке Верхняя Волманга." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 123, + "segment": "Волманга" + } + ], + "meta": { + "id": 614, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 128, + "segment": "Белая" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Рамитница — река в России, протекает в Опаринском районе Кировской области. Устье реки находится в 14 км по правому берегу реки Белая. Длина реки составляет 12 км.\nТекст 2: Белая — река в России, протекает в Опаринском районе Кировской области. Устье реки находится в 52 км по левому берегу реки Волманга. Длина реки составляет 40 км, площадь бассейна 316 кв км. Белая берёт исток в лесах близ точки, где сходятся Кировская, Вологодская и Костромская область в 22 км к северо-западу от посёлка Верхняя Волманга. Река течёт на юго-восток по ненаселённому заболоченному лесу. Впадает в Волмангу в посёлке Верхняя Волманга.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Рамитница?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательная власть в городе, где родился Микаэл Мовсесович Погосян, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Микаэл Мовсесович Погосян?", + "support_text": "Микаел Мовсесович Погосян ( род. 31 мая 1954 г. в Ереване, Армения) — армянский актёр театра и кино, певец. Народный артист Республики Армения.\n\nФильмография.\n*1991 — Срок 7 дней. *1991 — Глас вопиющего в пустыне. *1995 — Ереван — Лос-Анджелес — Ереван. *1997 — Хатабалада. *1998 — Ереван Блюз. *1998 — Высокочтимые попрошайки. *2000 — Сумасшедший ангел.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 57, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 50, + "segment": "Ереване" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Микаел Мовсесович Погосян ( род. 31 мая 1954 г. в Ереване, Армения) — армянский актёр театра и кино, певец. Народный артист Республики Армения.\n\nФильмография.\n*1991 — Срок 7 дней. *1991 — Глас вопиющего в пустыне. *1995 — Ереван — Лос-Анджелес — Ереван. *1997 — Хатабалада. *1998 — Ереван Блюз. *1998 — Высокочтимые попрошайки. *2000 — Сумасшедший ангел.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Микаэл Мовсесович Погосян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В государстве, гражданином которого является Шарль Бельгийский, законы принимает Федеральный парламент, состоящий из двух палат: палаты представителей и сената.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за орган принимает законы в государстве, гражданином которого является Шарль Бельгийский?", + "support_text": "Шарль Теодор Анри Антуан Мейнрад Бельгийский ( 10 октября 1903, Брюссель — 2 июня 1983, Остенде, Бельгия) — принц Саксен-Кобург-Готский, герцог Саксонский, граф Фландрский, принц-регент Бельгии в 1944—1950 годах.\n\nВойна и регентство.\nВторая мировая война и оккупация Бельгии Германией вывели принца Шарля на авансцену политической жизни Бельгии. Он принял активное участие в 18-дневной военной кампании по обороне от наступающих германских войск: посещал командные пункты и каждый вечер делал доклад королю Леопольду III, он одобрил капитуляцию бельгийской армии, решение о которой было принято братом, но их мнения о дальнейшем участии в войне кардинально разошлись: Шарль был англофилом, в то время как окружение Леопольда пыталось наладить хорошие отношения с Германией.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nКак правило, премьер-министром становится представитель партии, набравшей большее число голосов на парламентских выборах. Правительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( )." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 404, + "segment": "королём" + }, + { + "label": "passage", + "length": 7, + "offset": 404, + "segment": "Королем" + } + ], + "meta": { + "id": 722, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 97, + "segment": "Бельгия" + }, + { + "label": "passage", + "length": 7, + "offset": 186, + "segment": "Бельгии" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Шарль Теодор Анри Антуан Мейнрад Бельгийский ( 10 октября 1903, Брюссель — 2 июня 1983, Остенде, Бельгия) — принц Саксен-Кобург-Готский, герцог Саксонский, граф Фландрский, принц-регент Бельгии в 1944—1950 годах.\n\nВойна и регентство.\nВторая мировая война и оккупация Бельгии Германией вывели принца Шарля на авансцену политической жизни Бельгии. Он принял активное участие в 18-дневной военной кампании по обороне от наступающих германских войск: посещал командные пункты и каждый вечер делал доклад королю Леопольду III, он одобрил капитуляцию бельгийской армии, решение о которой было принято братом, но их мнения о дальнейшем участии в войне кардинально разошлись: Шарль был англофилом, в то время как окружение Леопольда пыталось наладить хорошие отношения с Германией.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nКак правило, премьер-министром становится представитель партии, набравшей большее число голосов на парламентских выборах. Правительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ).\nОпираясь на данные тексты, ответьте на вопрос: Что за орган принимает законы в государстве, гражданином которого является Шарль Бельгийский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Кембридж", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился брат Джерарда Макберни?", + "support_text": "Джерард Макберни ( род. 20 июня 1954 года, Кембридж) — британский , аранжировщик, музыковед, теле- и радиоведущий, преподаватель и писатель. Родился в семье американского археолога Чарльза Макберни и секретарши Анны Фрэнсис Эдмонстон, сочетавшей английские, шотландские и ирландские корни. Брат Джерарда Саймон Макберни — английский актер, писатель и режиссер. Обучался в Кембридже и в Московской государственной консерватории у Эдисона Денисова и Романа Леденева.", + "text": "Саймон Монтагью Макберни ( род. 25 августа 1957, Кембридж) — английский актёр, сценарист и режиссёр.\n\nБиография.\nОтец — американский археолог, работавший в Великобритании. Саймон закончил Кембридж по специальности \"Английская литература\". После смерти отца (1979) переехал во Францию, где учился театральному искусству в Институте Жака Лекока. В 1983 году создал театральную компанию \"Соучастие\". Активно работает как актёр в кино и на телевидении, выступает как драматург и сценарист." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 50, + "segment": "Кембридж" + } + ], + "meta": { + "id": 370, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 305, + "segment": "Саймон Макберни" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Джерард Макберни ( род. 20 июня 1954 года, Кембридж) — британский , аранжировщик, музыковед, теле- и радиоведущий, преподаватель и писатель. Родился в семье американского археолога Чарльза Макберни и секретарши Анны Фрэнсис Эдмонстон, сочетавшей английские, шотландские и ирландские корни. Брат Джерарда Саймон Макберни — английский актер, писатель и режиссер. Обучался в Кембридже и в Московской государственной консерватории у Эдисона Денисова и Романа Леденева.\nТекст 2: Саймон Монтагью Макберни ( род. 25 августа 1957, Кембридж) — английский актёр, сценарист и режиссёр.\n\nБиография.\nОтец — американский археолог, работавший в Великобритании. Саймон закончил Кембридж по специальности \"Английская литература\". После смерти отца (1979) переехал во Францию, где учился театральному искусству в Институте Жака Лекока. В 1983 году создал театральную компанию \"Соучастие\". Активно работает как актёр в кино и на телевидении, выступает как драматург и сценарист.\nОпираясь на факты в данных текстах, ответьте на вопрос: Где родился брат Джерарда Макберни? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 289, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Большой совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Джованни Дольфин?", + "support_text": "Джованни Дольфин ( 1303 — 12 июля 1361, Венеция, Венецианская республика) — 57-й дож Венеции (с 1356 года до смерти).", + "text": "Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей. Институт дожей существовал в общей сложности ровно 1100 лет (697—1797).\n\nИстория.\nВо время Крестовых походов Венеция достигла высокой степени процветания и распространила свои торговые связи, несмотря на конкуренцию других итальянских республик (Пизы и Генуи), на весь Ближний и Средний Восток. Внутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. Когда Бонапарт в 1797 году вторгся в Штирию, в тылу у него восстало против французов сельское население Террафермы. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство)." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 923, + "segment": "Большой совет" + } + ], + "meta": { + "id": 995, + "bridge_answers": [ + { + "label": "passage", + "length": 23, + "offset": 50, + "segment": "Венецианская республика" + }, + { + "label": "passage", + "length": 7, + "offset": 86, + "segment": "Венеции" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Джованни Дольфин ( 1303 — 12 июля 1361, Венеция, Венецианская республика) — 57-й дож Венеции (с 1356 года до смерти).\nТекст 2: Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей. Институт дожей существовал в общей сложности ровно 1100 лет (697—1797).\n\nИстория.\nВо время Крестовых походов Венеция достигла высокой степени процветания и распространила свои торговые связи, несмотря на конкуренцию других итальянских республик (Пизы и Генуи), на весь Ближний и Средний Восток. Внутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. Когда Бонапарт в 1797 году вторгся в Штирию, в тылу у него восстало против французов сельское население Террафермы. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство).\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Джованни Дольфин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 599, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Иван Никандрович Просвирнин умер в городе Мариуполь, который является крупнейшим городом на берегу Азовского моря в Донецкой области Украины. В Украине законодательные акты принимаются Верховным Советом Украины, который является высшим законодательным органом страны. Таким образом, законы, принятые в Мариуполе, также принимаются Верхов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Иван Никандрович Просвирнин?", + "support_text": "Иван Никандрович Просвирнин (9 апреля 1928, село Оксино — 26 марта 2006, Мариуполь) — советский и украинский общественный деятель, краевед и , капитан первого ранга.\n\nЛитература.\nПамяти Ивана Никандровича Просвирнина // Няръяна вындер. 2006. — 30 марта. С. 4. Отдадим должное земляку // Няръяна вындер. 2004. * \"Пичков А. И.\" Мариуполь — Нарьян-Мар — города-побратимы // Няръяна вындер. 1998. — 28 августа. \"Михайлов А. А.\" Просвирнин вёсла не сушит // \"Правда Севера\". 6 августа 1998.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 752, + "segment": "Мариупольским горсоветом" + } + ], + "meta": { + "id": 686, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 73, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Иван Никандрович Просвирнин (9 апреля 1928, село Оксино — 26 марта 2006, Мариуполь) — советский и украинский общественный деятель, краевед и , капитан первого ранга.\n\nЛитература.\nПамяти Ивана Никандровича Просвирнина // Няръяна вындер. 2006. — 30 марта. С. 4. Отдадим должное земляку // Няръяна вындер. 2004. * \"Пичков А. И.\" Мариуполь — Нарьян-Мар — города-побратимы // Няръяна вындер. 1998. — 28 августа. \"Михайлов А. А.\" Просвирнин вёсла не сушит // \"Правда Севера\". 6 августа 1998.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nВопрос: Какой законодательный орган принимает законы в городе, где умер Иван Никандрович Просвирнин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.21428571428571425, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где родилась Сара Гарифовна Садыкова, является мэром. С 17 ноября 2005 года должность мэра в Казани занимает И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Сара Гарифовна Садыкова?", + "support_text": "Сара Садыкова (\"Сара Гарифовна Садыкова\", ; 1 ноября 1906, Казань — 7 июня 1986, там же) — татарский композитор, актриса и певица. Была первой женщиной — профессиональным композитором среди татар.\n\nБиография.\nРодилась в центре Казани, на улице Парижской Коммуны, дом № 18. При рождении получила имя \"Бибисара.\". Родители — Гариф и Бибигайша Садыковы, дед — Ахмадша (служил казначеем казанской пристани в слобода Бишбалта (Адмиралтейская)). Училась в знаменитой татарской женской гимназии Фатихи Аитовой, затем в Казанском педагогическом техникуме. В 1922—1928 годах (по классу сольного пения) и в 1934—1938 годах (татарская оперная студия) училась в Московской консерватории имени П. И. Чайковского. Среди её учителей — Цыбущенко, Мария Григорьевна. В 1930—1934 годах работала в Казани в труппе Татарского государственного академического театра. В 1938—1948 годах — солистка Татарского театра оперы и балета.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 161, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 59, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Сара Садыкова (\"Сара Гарифовна Садыкова\", ; 1 ноября 1906, Казань — 7 июня 1986, там же) — татарский композитор, актриса и певица. Была первой женщиной — профессиональным композитором среди татар.\n\nБиография.\nРодилась в центре Казани, на улице Парижской Коммуны, дом № 18. При рождении получила имя \"Бибисара.\". Родители — Гариф и Бибигайша Садыковы, дед — Ахмадша (служил казначеем казанской пристани в слобода Бишбалта (Адмиралтейская)). Училась в знаменитой татарской женской гимназии Фатихи Аитовой, затем в Казанском педагогическом техникуме. В 1922—1928 годах (по классу сольного пения) и в 1934—1938 годах (татарская оперная студия) училась в Московской консерватории имени П. И. Чайковского. Среди её учителей — Цыбущенко, Мария Григорьевна. В 1930—1934 годах работала в Казани в труппе Татарского государственного академического театра. В 1938—1948 годах — солистка Татарского театра оперы и балета.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nВопрос: Кто является главой администрации в городе, где родилась Сара Гарифовна Садыкова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появилась на свет Гоар Агабековна Енокян?", + "support_text": "Гоар Агабековна Енокян ( 25 января 1942, Ереван — 24 января 2019) — депутат парламента Армении. 1959—1962 — Ереванское профессионально-техническое училище № 2. 1970—1975 — Киевский технологический институт лёгкой промышленности. 1962—1965 — мастер отдела сбыта на Ереванской швейной фабрике № 5. 1965—1975 — работала на Ереванском станкостроительном заводе в качестве старшего товарного эксперта, затем начальником отдела сбыта. 1975—1979 — работала в управлении плановой экономики министерства лёгкой промышленности Армянской ССР в качестве главного экономиста отдела шитья, обуви и кожаной галантереи, затем начальника отдела. 1982—1985 — была директором Ереванского филиала \"Красный Швейник\" ассоциации производства предмета одежды Клары Цеткин. 1985—1987 — генеральный директор \"Гарун\" (г. Ереван). 1987—1991 — депутат районного совета Армянской ССР, а в 1989—1992 — депутат Верховного совета Армянской ССР. 1991—1997 — член правления Всеармянского женского союза.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 136, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 41, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Гоар Агабековна Енокян ( 25 января 1942, Ереван — 24 января 2019) — депутат парламента Армении. 1959—1962 — Ереванское профессионально-техническое училище № 2. 1970—1975 — Киевский технологический институт лёгкой промышленности. 1962—1965 — мастер отдела сбыта на Ереванской швейной фабрике № 5. 1965—1975 — работала на Ереванском станкостроительном заводе в качестве старшего товарного эксперта, затем начальником отдела сбыта. 1975—1979 — работала в управлении плановой экономики министерства лёгкой промышленности Армянской ССР в качестве главного экономиста отдела шитья, обуви и кожаной галантереи, затем начальника отдела. 1982—1985 — была директором Ереванского филиала \"Красный Швейник\" ассоциации производства предмета одежды Клары Цеткин. 1985—1987 — генеральный директор \"Гарун\" (г. Ереван). 1987—1991 — депутат районного совета Армянской ССР, а в 1989—1992 — депутат Верховного совета Армянской ССР. 1991—1997 — член правления Всеармянского женского союза.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган работает в городе, где появилась на свет Гоар Агабековна Енокян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река Шудог впадает в реку Нёбъю.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Шудог?", + "support_text": "Шудог или Шудэг — река в России, течет по территории Корткеросского района Республики Коми. Вытекает из болота Ыджыднюр с западной стороны на высоте 131 м над уровнем моря. Устье реки находится в 33 км по левому берегу реки Нёбъю на высоте 96 м над уровнем моря возле урочища Шудог. Длина реки составляет 14 км.", + "text": "Нёбъю (в верхнем течении — Нёбь; устар.: \"Нёб-Ю\", \"Ниод\") — река в России, течет по территории Корткеросского района Республики Коми. Устье реки находится в 334 км по правому берегу реки Вычегда на высоте 86 м над уровнем моря. Длина реки составляет 80 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от истока до города Сыктывкар, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 187, + "segment": "Вычегда" + } + ], + "meta": { + "id": 359, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 224, + "segment": "Нёбъю" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Шудог?\nТекст 1: Шудог или Шудэг — река в России, течет по территории Корткеросского района Республики Коми. Вытекает из болота Ыджыднюр с западной стороны на высоте 131 м над уровнем моря. Устье реки находится в 33 км по левому берегу реки Нёбъю на высоте 96 м над уровнем моря возле урочища Шудог. Длина реки составляет 14 км.\nТекст 2: Нёбъю (в верхнем течении — Нёбь; устар.: \"Нёб-Ю\", \"Ниод\") — река в России, течет по территории Корткеросского района Республики Коми. Устье реки находится в 334 км по правому берегу реки Вычегда на высоте 86 м над уровнем моря. Длина реки составляет 80 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от истока до города Сыктывкар, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2222222222222222, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в городе, где умер Андрей Глебович Покровский, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Андрей Глебович Покровский?", + "support_text": "Андрей Глебович Покровский (1919 — 1990) — советский конструктор радиоаппаратуры.\n\nБиография.\nДелегат XX съезда КПСС (1956). Умер 26 ноября 1990 года. Похоронен в Нижнем Новгороде на Красном кладбище (13 квартал).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1294, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1294, + "segment": "Городская дума" + } + ], + "meta": { + "id": 122, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 166, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Андрей Глебович Покровский (1919 — 1990) — советский конструктор радиоаппаратуры.\n\nБиография.\nДелегат XX съезда КПСС (1956). Умер 26 ноября 1990 года. Похоронен в Нижнем Новгороде на Красном кладбище (13 квартал).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nВопрос: Какой законодательный орган принимает законы в городе, где умер Андрей Глебович Покровский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 413, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.04545454545454545, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Филип Вольтер, — это Федеральный парламент Бельгии. Он состоит из двух палат: палаты представителей и сената, обе избираются прямым голосованием раз в четыре года. Законодательная власть в Бельгии разделена между федеральным и провинциальным уровня", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Филип Вольтер?", + "support_text": "Филипп Вольтер ( 23 марта 1959 года, Уккел — 13 апреля 2005 года, Париж) — бельгийский актёр, сын конструктора Клода Вольтера и актрисы Жаклин Бир. Известное высказывание Ф.Вольтера: \"Прекрасная мысль теряет всю свою цену, если она дурно выражена\". В возрасте 46 лет совершил самоубийство.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 451, + "segment": "парламентом" + }, + { + "label": "passage", + "length": 11, + "offset": 451, + "segment": "парламент" + } + ], + "meta": { + "id": 986, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 76, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Филип Вольтер?\nТекст 1: Филипп Вольтер ( 23 марта 1959 года, Уккел — 13 апреля 2005 года, Париж) — бельгийский актёр, сын конструктора Клода Вольтера и актрисы Жаклин Бир. Известное высказывание Ф.Вольтера: \"Прекрасная мысль теряет всю свою цену, если она дурно выражена\". В возрасте 46 лет совершил самоубийство.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 344, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава администрации в городе, где родилась Татьяна Вячеславовна Аристовская, является мэром Казани.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Татьяна Вячеславовна Аристовская?", + "support_text": "Татьяна Вячеславовна Аристовская (02.10.1912, Казань — 29.05.2004, Тель-Авив) — российский учёный, микробиолог, доктор биологических наук, лауреат премий Докучаева и Вильямса.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 757, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 162, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родилась Татьяна Вячеславовна Аристовская?\nТекст 1: Татьяна Вячеславовна Аристовская (02.10.1912, Казань — 29.05.2004, Тель-Авив) — российский учёный, микробиолог, доктор биологических наук, лауреат премий Докучаева и Вильямса.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 267, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, питающаяся от реки, притоком которой является Карагала, называется Сакмара.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Карагала?", + "support_text": "Карагала — река в России, протекает в Республике Башкортостан, Оренбургской области. Устье реки находится в 432 км по левому берегу реки Сакмара. Длина реки составляет 43 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Уральскому бассейновому округу, водохозяйственный участок реки — Сакмара от истока до впадения реки Большой Ик, речной подбассейн реки — Подбассейн отсутствует. Речной бассейн реки — Урал (российская часть бассейна). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.", + "text": "Сакмара — река в России. Протекает через территории Башкортостана (348 км) и Оренбургской области (412 км). Впадает в реку Урал в 327 км от её устья на границе города Оренбурга и Оренбургского района.\n\nГеографические сведения.\nЯвляется довольно полноводной рекой. Течение быстрое, ближе к Оренбургу более спокойное. Вода в реке холодная даже летом (достигает в жаркие дни 23 градусов). Ширина доходит местами до 80 метров и более, глубина до 5 метров. По сравнению с температурой в реке Урал, температура в Сакмаре на 2 градуса ниже." + }, + "outputs": [ + { + "label": "answer", + "length": 4, + "offset": 123, + "segment": "Урал" + } + ], + "meta": { + "id": 762, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 137, + "segment": "Сакмара" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Карагала — река в России, протекает в Республике Башкортостан, Оренбургской области. Устье реки находится в 432 км по левому берегу реки Сакмара. Длина реки составляет 43 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Уральскому бассейновому округу, водохозяйственный участок реки — Сакмара от истока до впадения реки Большой Ик, речной подбассейн реки — Подбассейн отсутствует. Речной бассейн реки — Урал (российская часть бассейна). По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.\nТекст 2: Сакмара — река в России. Протекает через территории Башкортостана (348 км) и Оренбургской области (412 км). Впадает в реку Урал в 327 км от её устья на границе города Оренбурга и Оренбургского района.\n\nГеографические сведения.\nЯвляется довольно полноводной рекой. Течение быстрое, ближе к Оренбургу более спокойное. Вода в реке холодная даже летом (достигает в жаркие дни 23 градусов). Ширина доходит местами до 80 метров и более, глубина до 5 метров. По сравнению с температурой в реке Урал, температура в Сакмаре на 2 градуса ниже.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Карагала?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 325, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.20689655172413793, + "em": 0 + }, + "predict": " Аманулла Габдулхаевич Рамазанов родился в Павлодарской области, которая является областью Республики Казахстан. В Павлодарской области с 21 января 2020 года главой администрации является Скаков Абылкаир Бактыбаевич.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Аманулла Габдулхаевич Рамазанов?", + "support_text": "Аманулла Габдулхаевич Рамазанов (1928, Павлодарская область — 2003) — советский общественный деятель. В 1972 — 78 годах — первый секретарь Чимкентского областного комитета партии.", + "text": "Павлодарская область — область Республики Казахстан, расположена на берегу Иртыша, самой крупной реки Казахстана. Образована в январе 1938 года. Областной центр — город Павлодар.\n\nАдминистративное деление.\n# Сагинтаев, Бакытжан Абдирович (30 сентября 2008 — 20 января 2012). # Арын, Ерлан Мухтарулы (20 января 2012 — 20 декабря 2013). # Бозумбаев, Канат Алдабергенович (20 декабря 2013 — 25 марта 2016). # Бакауов, Булат Жумабекович (25 марта 2016 — 15 января 2020). # Скаков Абылкаир Бактыбаевич (с 21 января 2020)." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 409, + "segment": "Бакауов, Булат Жумабекович" + }, + { + "label": "passage", + "length": 27, + "offset": 472, + "segment": "Скаков Абылкаир Бактыбаевич" + }, + { + "label": "passage", + "length": 26, + "offset": 409, + "segment": "Булат Жумабекович Бакауов" + } + ], + "meta": { + "id": 933, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 39, + "segment": "Павлодарская область" + }, + { + "label": "passage", + "length": 12, + "offset": 39, + "segment": "Павлодарская" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Аманулла Габдулхаевич Рамазанов (1928, Павлодарская область — 2003) — советский общественный деятель. В 1972 — 78 годах — первый секретарь Чимкентского областного комитета партии.\nТекст 2: Павлодарская область — область Республики Казахстан, расположена на берегу Иртыша, самой крупной реки Казахстана. Образована в январе 1938 года. Областной центр — город Павлодар.\n\nАдминистративное деление.\n# Сагинтаев, Бакытжан Абдирович (30 сентября 2008 — 20 января 2012). # Арын, Ерлан Мухтарулы (20 января 2012 — 20 декабря 2013). # Бозумбаев, Канат Алдабергенович (20 декабря 2013 — 25 марта 2016). # Бакауов, Булат Жумабекович (25 марта 2016 — 15 января 2020). # Скаков Абылкаир Бактыбаевич (с 21 января 2020).\nВопрос: Кто является главой администрации в регионе, где родился Аманулла Габдулхаевич Рамазанов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 312, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Чаршан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Чаршан?", + "support_text": "Чаршан — река в России, протекает по Томской области. Устье реки находится в 12 км по правому берегу протоки Пуриянга реки Кеть. Длина реки составляет 22 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Кеть, речной подбассейн реки — бассейн притоков (Верхней) Оби от Чулыма до Кети. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.", + "text": "Кеть ( в верховье — Большая Кеть) — река в Сибири, правый приток Оби.\n\nГеография.\nДлина — 1621 км, площадь бассейна — 94,2 тыс. кв км. Берёт начало из болот Обь-Енисейского водораздела. Протекает по Западно-Сибирской равнине, по территориям Красноярского края и Томской области. До впадения реки Орловки очень извилиста, ниже разбивается на многочисленные протоки, которые изобилуют перекатами и в низкую воду нередко пересыхают. В Обь Кеть впадает двумя рукавами — Тогурская Кеть (ниже города Колпашево) и Копыловская Кеть, текущая вдоль Оби до Нарыма. Среднемноголетний годовой сток — 560 м³/с, 17,7 км³/год. Половодье с мая по август. Замерзает в конце октября — начале ноября, вскрывается в конце апреля — начале мая." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 66, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 161, + "segment": "Обь" + } + ], + "meta": { + "id": 736, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 123, + "segment": "Кеть" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Чаршан?\nТекст 1: Чаршан — река в России, протекает по Томской области. Устье реки находится в 12 км по правому берегу протоки Пуриянга реки Кеть. Длина реки составляет 22 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Кеть, речной подбассейн реки — бассейн притоков (Верхней) Оби от Чулыма до Кети. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nТекст 2: Кеть ( в верховье — Большая Кеть) — река в Сибири, правый приток Оби.\n\nГеография.\nДлина — 1621 км, площадь бассейна — 94,2 тыс. кв км. Берёт начало из болот Обь-Енисейского водораздела. Протекает по Западно-Сибирской равнине, по территориям Красноярского края и Томской области. До впадения реки Орловки очень извилиста, ниже разбивается на многочисленные протоки, которые изобилуют перекатами и в низкую воду нередко пересыхают. В Обь Кеть впадает двумя рукавами — Тогурская Кеть (ниже города Колпашево) и Копыловская Кеть, текущая вдоль Оби до Нарыма. Среднемноголетний годовой сток — 560 м³/с, 17,7 км³/год. Половодье с мая по август. Замерзает в конце октября — начале ноября, вскрывается в конце апреля — начале мая.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 382, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Мариупольский горсовет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Андрей Яковлевич Булыгин?", + "support_text": "Андрей Яковлевич Булыгин (1884—1906) — российский революционер.\n\nБиография.\nВ Екатеринославе принимал активное участие в революции 1905 г., занимаясь организацией Совета рабочих депутатов. Попал под надзор полиции и в начале 1906 г. уехал в Москву, где вёл пропаганду в рабочей среде. Вскоре из-за болезни вынужден был вернуться на юг России. Андрей Яковлевич умер в 1906 году от туберкулёза. Это произошло в Мариуполе, куда он незадолго до того переехал.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nБывшие города-побратимы . Нарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 10, + "offset": 400, + "segment": "горсоветом" + }, + { + "label": "passage", + "length": 10, + "offset": 400, + "segment": "горсовет" + } + ], + "meta": { + "id": 65, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 412, + "segment": "Мариуполе" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Андрей Яковлевич Булыгин (1884—1906) — российский революционер.\n\nБиография.\nВ Екатеринославе принимал активное участие в революции 1905 г., занимаясь организацией Совета рабочих депутатов. Попал под надзор полиции и в начале 1906 г. уехал в Москву, где вёл пропаганду в рабочей среде. Вскоре из-за болезни вынужден был вернуться на юг России. Андрей Яковлевич умер в 1906 году от туберкулёза. Это произошло в Мариуполе, куда он незадолго до того переехал.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nБывшие города-побратимы . Нарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Андрей Яковлевич Булыгин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 298, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4, + "em": 0 + }, + "predict": " Аварское Койсу (Джурмут).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Калакор?", + "support_text": "Калакор — река в России, протекает в Тляратинском районе Республики Дагестан. Длина реки составляет 22 км. Площадь водосборного бассейна — 84,9 кв км. Начинается при слиянии рек Рохноор и Тунсарибор у подножия горы Цумбеганабгу. Течёт в общем северо-западном направлении вдоль хребта Дамалда. Устье реки находится в 156 км по левому берегу реки Джурмут. Основной приток — река Джихикалты, впадает справа.", + "text": "Аварское Койсу (в верховьях — \"Джурмут\") — река в Дагестане, правая составляющая Сулака. Длина реки — 178 км.\n\nТопонимия.\nНазвание \"койсу\" получило от тюркского (кумыкского) \"къой сув\" — овечья вода. П. П. Семенов-Тян-Шанский считал, что это название получали реки, которые могли вброд преодолевать бараны. \"Аварское\" означает расположение реки на территории проживания аварцев. До середины XX века название \"Къойсу\" носила река Сулак.\n\nГеография.\nБерёт начало на склоне г. Гутон (Главный Кавказский хребет), течёт, огибая хр. Нукатль, в узкой долине, часто каньоне. Протекая преимущественно в северо-восточном направлении, она сливается с рекой Андийское Койсу в 6 километрах восточнее с. Чиркота, образует реку Сулак. Длина реки 178 км, общее падение 2440 м, площадь водосбора 7660 кв км, средняя его высота 2160 м. Площадь оледенения в бассейне реки составляет 6,8 кв км. Высота истока — 2740 м над уровнем моря." + }, + "outputs": [ + { + "label": "answer", + "length": 15, + "offset": 652, + "segment": "Андийское Койсу" + } + ], + "meta": { + "id": 892, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 345, + "segment": "Джурмут" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Калакор — река в России, протекает в Тляратинском районе Республики Дагестан. Длина реки составляет 22 км. Площадь водосборного бассейна — 84,9 кв км. Начинается при слиянии рек Рохноор и Тунсарибор у подножия горы Цумбеганабгу. Течёт в общем северо-западном направлении вдоль хребта Дамалда. Устье реки находится в 156 км по левому берегу реки Джурмут. Основной приток — река Джихикалты, впадает справа.\nТекст 2: Аварское Койсу (в верховьях — \"Джурмут\") — река в Дагестане, правая составляющая Сулака. Длина реки — 178 км.\n\nТопонимия.\nНазвание \"койсу\" получило от тюркского (кумыкского) \"къой сув\" — овечья вода. П. П. Семенов-Тян-Шанский считал, что это название получали реки, которые могли вброд преодолевать бараны. \"Аварское\" означает расположение реки на территории проживания аварцев. До середины XX века название \"Къойсу\" носила река Сулак.\n\nГеография.\nБерёт начало на склоне г. Гутон (Главный Кавказский хребет), течёт, огибая хр. Нукатль, в узкой долине, часто каньоне. Протекая преимущественно в северо-восточном направлении, она сливается с рекой Андийское Койсу в 6 километрах восточнее с. Чиркота, образует реку Сулак. Длина реки 178 км, общее падение 2440 м, площадь водосбора 7660 кв км, средняя его высота 2160 м. Площадь оледенения в бассейне реки составляет 6,8 кв км. Высота истока — 2740 м над уровнем моря.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Калакор?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Яузой", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, через которую построен Глебовский мост?", + "support_text": "Глебовский мост — низкий автодорожный однопролётный балочный металлический мост через реку Яузу, соединяет районы Преображенское, Богородское и Сокольники Восточного административного округа города Москвы. Соединяет Олений и Богородский валы. Область применения: автомобильный.\n\nСмотрите также.\nМосты через Яузу.", + "text": "Яуза — малая река в Московской области и Москве, левый, самый крупный в пределах столицы приток реки Москвы. Длина — 48 км. Протяжённость реки в черте столицы составляет 27,6 км. Площадь водосборного бассейна — 452 кв км. Среднегодовой расход воды в устье — 6 м³/с. Устье Яузы находится в центре Москвы, у Большого Устьинского моста. В 1908 году правый берег Яузы на участке от впадения реки Копытовки до пересечения с Камер-Коллежским валом становится официальной границей города Москвы." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 101, + "segment": "Москвы" + } + ], + "meta": { + "id": 1034, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 91, + "segment": "Яузу" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Глебовский мост — низкий автодорожный однопролётный балочный металлический мост через реку Яузу, соединяет районы Преображенское, Богородское и Сокольники Восточного административного округа города Москвы. Соединяет Олений и Богородский валы. Область применения: автомобильный.\n\nСмотрите также.\nМосты через Яузу.\nТекст 2: Яуза — малая река в Московской области и Москве, левый, самый крупный в пределах столицы приток реки Москвы. Длина — 48 км. Протяжённость реки в черте столицы составляет 27,6 км. Площадь водосборного бассейна — 452 кв км. Среднегодовой расход воды в устье — 6 м³/с. Устье Яузы находится в центре Москвы, у Большого Устьинского моста. В 1908 году правый берег Яузы на участке от впадения реки Копытовки до пересечения с Камер-Коллежским валом становится официальной границей города Москвы.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, через которую построен Глебовский мост? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в городе, где умер Гамлет Арутюанович Вартапетян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Гамлет Арутюнович Вартапетян?", + "support_text": "Гамлет Арутюнович Вартапетян ( 26 мая 1927, Ереван — 22 января 2013, там же) — армянский , специалист по экспериментальной физике. Академик АН Армянской ССР (1977, член-корреспондент с 1968), доктор физико-математических наук (1961), профессор (1972). Лауреат Государственной премии Армянской ССР в области науки и техники (1980). Исследования относятся к ядерной физике низких и высоких энергий, физике элементарных частиц. Доказал влияние структуры ядер на величину коэффициента внутренней конверсии -излучения для определённого класса запрещённых -переходов.\n\nБиография.\nНачиная с 1952 года Гамлет Вартапетян работал в лаборатории имени Кьюри Радиевого института Национального центра научных исследований в Париже. Его научным руководителем был известный физик, лауреат Нобелевской премии Фредерик Жолио-Кюри. В 1957 году Гамлет Вартапетян защитил докторскую диссертацию. В 1957—1958 годах работал в Институте ядерной физики в Орсе. В 1958 году Гамлет Вартапетян вместе с семьëй вернулся в Советскую Армению — Ереван. С того же года он работал в Физическом институте АН Армянской ССР (с 1962 года — Ереванский физический институт) как заведующий лабораторией. В 1961 году защитил диссертацию на соискание учëной степени доктора физико-математических наук. В 1964 году вступил в КПСС.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + } + ], + "meta": { + "id": 129, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 45, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Гамлет Арутюнович Вартапетян?\nТекст 1: Гамлет Арутюнович Вартапетян ( 26 мая 1927, Ереван — 22 января 2013, там же) — армянский , специалист по экспериментальной физике. Академик АН Армянской ССР (1977, член-корреспондент с 1968), доктор физико-математических наук (1961), профессор (1972). Лауреат Государственной премии Армянской ССР в области науки и техники (1980). Исследования относятся к ядерной физике низких и высоких энергий, физике элементарных частиц. Доказал влияние структуры ядер на величину коэффициента внутренней конверсии -излучения для определённого класса запрещённых -переходов.\n\nБиография.\nНачиная с 1952 года Гамлет Вартапетян работал в лаборатории имени Кьюри Радиевого института Национального центра научных исследований в Париже. Его научным руководителем был известный физик, лауреат Нобелевской премии Фредерик Жолио-Кюри. В 1957 году Гамлет Вартапетян защитил докторскую диссертацию. В 1957—1958 годах работал в Институте ядерной физики в Орсе. В 1958 году Гамлет Вартапетян вместе с семьëй вернулся в Советскую Армению — Ереван. С того же года он работал в Физическом институте АН Армянской ССР (с 1962 года — Ереванский физический институт) как заведующий лабораторией. В 1961 году защитил диссертацию на соискание учëной степени доктора физико-математических наук. В 1964 году вступил в КПСС.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 512, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1, + "em": 0 + }, + "predict": " Наивысшей точкой среди гор, включая Кардамоновы горы, является гора Анай-Муди, расположенная на территории Керала и достигающая высоты 2695 метров.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за место является наивысшей точкой гор, среди которых расположены Кардамоновы горы?", + "support_text": "Кардамоновы горы ( ) — южная часть Западных Гатов на юге Индии. Высшая точка — Анай-Муди (2695 м), является высшей точкой Индии к югу от Гималаев, геологически также относится к горным цепям Анаймалай и Палани. Кардамоновы горы находятся южнее гор Нилгири и севернее хребта Агастьямалай. Площадь горной цепи около 2800 кв км.", + "text": "Западные Гаты (), Сахьядри — горная цепь на западе Индостана. Они тянутся с севера на юг вдоль западного края плато Декан, отделяя это плато от узкой прибрежной равнины вдоль Аравийского моря. Горная цепь начинается возле границы Гуджарата и Махараштры, южнее реки Тапти, тянется примерно на 1600 км через штаты Махараштра, Гоа, Карнатака, Тамилнад и Керала, заканчивается в Каньякумари, южном конце Индостана. Около 60 % Западных Гат расположено в Карнатаке. Горы занимают 60 000 кв км, средняя высота — 1200 м, наивысшая точка — Анай-Муди (2695 м).\n\nГоры.\nЗападные Гаты простираются от гор Сатпура на севере, проходят на юг через Гоа, Карнатаку, в Кералу и Тамилнад. Большая горная цепь начинающаяся на севере — Сахьядри, на ней есть много горных станций. Среди малых цепей можно выделить Кардамоновы горы, Нилгири, Анаймалай и Палани в Керале и Тамилнаде. В Западных Гхатах лежит высшая точка Индии южнее Гималаев — Анай-Муди (2695 м). Близ города Палгхад в Керале расположен широкий Палаккадский проход, отделяющий самую южную часть Западных Гатов от северной части системы." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 531, + "segment": "Анай-Муди" + } + ], + "meta": { + "id": 724, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 36, + "segment": "Западных Гатов" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Кардамоновы горы ( ) — южная часть Западных Гатов на юге Индии. Высшая точка — Анай-Муди (2695 м), является высшей точкой Индии к югу от Гималаев, геологически также относится к горным цепям Анаймалай и Палани. Кардамоновы горы находятся южнее гор Нилгири и севернее хребта Агастьямалай. Площадь горной цепи около 2800 кв км.\nТекст 2: Западные Гаты (), Сахьядри — горная цепь на западе Индостана. Они тянутся с севера на юг вдоль западного края плато Декан, отделяя это плато от узкой прибрежной равнины вдоль Аравийского моря. Горная цепь начинается возле границы Гуджарата и Махараштры, южнее реки Тапти, тянется примерно на 1600 км через штаты Махараштра, Гоа, Карнатака, Тамилнад и Керала, заканчивается в Каньякумари, южном конце Индостана. Около 60 % Западных Гат расположено в Карнатаке. Горы занимают 60 000 кв км, средняя высота — 1200 м, наивысшая точка — Анай-Муди (2695 м).\n\nГоры.\nЗападные Гаты простираются от гор Сатпура на севере, проходят на юг через Гоа, Карнатаку, в Кералу и Тамилнад. Большая горная цепь начинающаяся на севере — Сахьядри, на ней есть много горных станций. Среди малых цепей можно выделить Кардамоновы горы, Нилгири, Анаймалай и Палани в Керале и Тамилнаде. В Западных Гхатах лежит высшая точка Индии южнее Гималаев — Анай-Муди (2695 м). Близ города Палгхад в Керале расположен широкий Палаккадский проход, отделяющий самую южную часть Западных Гатов от северной части системы.\nОпираясь на данные тексты, ответьте на вопрос: Что за место является наивысшей точкой гор, среди которых расположены Кардамоновы горы?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Мариуполь является городом в Донецкой области Украины, и в Украине законы принимаются Верховным Советом Украины (позже Верховным Собранием Украины). Таким образом, законодательный орган, принимающий законы в городе Мариуполь, где умерла Наталья Никитична Юргенс, — это Верховное Собрание Украины.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умерла Наталья Никитична Юргенс?", + "support_text": "Наталья Никитична Юргенс (14 февраля 1932, Ленинград — 2 июня 2014, Мариуполь) — советская и украинская театральная актриса, народная артистка Украинской ССР.\n\nБиография.\nВ 1954 году окончила Ленинабадское музыкальное училище, после которого работала в театрах Ташкента, Якутска и Сыктывкара. В 1960—1969 годах играла в Томском драматическом театре. С 1969 года была актрисой Донецкого областного русского драматического театра (Мариуполь), где проработала 45 лет и сыграла более 150 ролей. Умерла 2 июня 2014 года.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nТаганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовета" + }, + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовет" + } + ], + "meta": { + "id": 134, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 68, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Наталья Никитична Юргенс (14 февраля 1932, Ленинград — 2 июня 2014, Мариуполь) — советская и украинская театральная актриса, народная артистка Украинской ССР.\n\nБиография.\nВ 1954 году окончила Ленинабадское музыкальное училище, после которого работала в театрах Ташкента, Якутска и Сыктывкара. В 1960—1969 годах играла в Томском драматическом театре. С 1969 года была актрисой Донецкого областного русского драматического театра (Мариуполь), где проработала 45 лет и сыграла более 150 ролей. Умерла 2 июня 2014 года.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nТаганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умерла Наталья Никитична Юргенс?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 402, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Бисерть", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Барышан?", + "support_text": "Барышан — река в России, протекает по Свердловской области. Устье реки находится в 152 км по правому берегу реки Бисерть. Длина реки составляет 21 км. В 13 км от устья по правому берегу реки впадает река Северный Барышан.", + "text": "Бисерть — река в России, протекает по Свердловской области. Правый приток Уфы. Длина реки составляет 193 км, площадь водосборного бассейна — 3400 кв км. На реке расположен Бисертский пруд площадью 3,42 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201112111100021015." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 74, + "segment": "Уфы" + }, + { + "label": "passage", + "length": 3, + "offset": 74, + "segment": "Уфа" + } + ], + "meta": { + "id": 678, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 113, + "segment": "Бисерть" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Барышан — река в России, протекает по Свердловской области. Устье реки находится в 152 км по правому берегу реки Бисерть. Длина реки составляет 21 км. В 13 км от устья по правому берегу реки впадает река Северный Барышан.\nТекст 2: Бисерть — река в России, протекает по Свердловской области. Правый приток Уфы. Длина реки составляет 193 км, площадь водосборного бассейна — 3400 кв км. На реке расположен Бисертский пруд площадью 3,42 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201112111100021015.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Барышан? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 282, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Безбабченко, Андрей Иванович", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валерий Васильевич Колбасюк?", + "support_text": "Валерий Васильевич Колбасюк (15 февраля 1940, Тирасполь, Молдавская АССР, Украинская ССР — 4 февраля 2013, Молдавия) — советский футболист, защитник; арбитр и инспектор (Молдавия). С 1959 года — в составе кишинёвской \"Молдовы\", в 1959 году дебютировал в чемпионате СССР, за шесть сезонов сыграл 120 матчей, забил три гола. В 1965 году играл за дубль СКА Одесса, в следующем году сыграл 28 игр в классе \"А\", в 1967 — 29 в классе \"Б\". В 1968 году выступал за \"Молдову\" в классе \"Б\", завершил карьеру в 1969—1972 годах в \"Буковине\" Черновцы, в 1971 году — тренер в клубе.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 724, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 724, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 481, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 46, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Валерий Васильевич Колбасюк (15 февраля 1940, Тирасполь, Молдавская АССР, Украинская ССР — 4 февраля 2013, Молдавия) — советский футболист, защитник; арбитр и инспектор (Молдавия). С 1959 года — в составе кишинёвской \"Молдовы\", в 1959 году дебютировал в чемпионате СССР, за шесть сезонов сыграл 120 матчей, забил три гола. В 1965 году играл за дубль СКА Одесса, в следующем году сыграл 28 игр в классе \"А\", в 1967 — 29 в классе \"Б\". В 1968 году выступал за \"Молдову\" в классе \"Б\", завершил карьеру в 1969—1972 годах в \"Буковине\" Черновцы, в 1971 году — тренер в клубе.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Валерий Васильевич Колбасюк? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 491, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нилка сливается с рекой Нерль.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Нилка?", + "support_text": "Нилка (в верховьях Лампея) — река в России, протекает в Переславском районе Ярославской области. Исток находится к северу от деревни Куряниново. Протекает через деревни Нила, Ивановское, впадает в реку Нерль.\n\nУстье.\nВ настоящий момент впадает в Нерль, а ранее впадала в Тошма. Ранее длина реки составляла — 21 км, площадь её водосборного бассейна оценивалась — 81,5 кв км.", + "text": "Нерль — река в Ярославской, Ивановской и Владимирской областях России, левый приток реки Клязьмы (бассейна Волги). Для отличия от одноимённой реки, впадающей в Волгу (\"Нерли Большой\"), иногда применяются уточняющие названия — \"Нерль Малая\", \"Нерль Клязьменская\".\n\nЭтимология.\nВ основе гидронима Нерль древний озёрно-речной термин \"нер-\" (ср. озеро Неро); формант \"-ль\" может рассматриваться как краткая форма речного термина \"лей\", принадлежавшего древнему финно-угорскому населению. Возможно и более древнее, дофинское происхождение из индоевропейского языка, близкого к балтийским: основа \"нер\" сопоставима с литовским \"nara\" \"поток\", а литовский суффикс \"-el\" может отражаться в виде \"-ль-\". Одноимённость притока Клязьмы и притока Волги, почти соприкасающихся верховьями, рассматривается как топонимическое свидетельство их использования в качестве водного пути из Новгорода в Суздаль и Владимир или даже в целом на пути \"из варяг в арабы\"." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 89, + "segment": "Клязьмы" + }, + { + "label": "passage", + "length": 7, + "offset": 89, + "segment": "Клязьма" + } + ], + "meta": { + "id": 875, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 202, + "segment": "Нерль" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Нилка (в верховьях Лампея) — река в России, протекает в Переславском районе Ярославской области. Исток находится к северу от деревни Куряниново. Протекает через деревни Нила, Ивановское, впадает в реку Нерль.\n\nУстье.\nВ настоящий момент впадает в Нерль, а ранее впадала в Тошма. Ранее длина реки составляла — 21 км, площадь её водосборного бассейна оценивалась — 81,5 кв км.\nТекст 2: Нерль — река в Ярославской, Ивановской и Владимирской областях России, левый приток реки Клязьмы (бассейна Волги). Для отличия от одноимённой реки, впадающей в Волгу (\"Нерли Большой\"), иногда применяются уточняющие названия — \"Нерль Малая\", \"Нерль Клязьменская\".\n\nЭтимология.\nВ основе гидронима Нерль древний озёрно-речной термин \"нер-\" (ср. озеро Неро); формант \"-ль\" может рассматриваться как краткая форма речного термина \"лей\", принадлежавшего древнему финно-угорскому населению. Возможно и более древнее, дофинское происхождение из индоевропейского языка, близкого к балтийским: основа \"нер\" сопоставима с литовским \"nara\" \"поток\", а литовский суффикс \"-el\" может отражаться в виде \"-ль-\". Одноимённость притока Клязьмы и притока Волги, почти соприкасающихся верховьями, рассматривается как топонимическое свидетельство их использования в качестве водного пути из Новгорода в Суздаль и Владимир или даже в целом на пути \"из варяг в арабы\".\nВопрос: С какой рекой сливается река, в которую впадает Нилка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 388, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Комсесъёган", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Оккынигол?", + "support_text": "Оккынигол (\"устар.\" Оккын-Игол) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 18 км по правому берегу реки Пьюкинъёган. Длина реки составляет 13 км.", + "text": "Пьюкинъёган (\"устар.\" Пьюкин-Еган) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 26 км по левому берегу реки Комсесъёган. Длина реки составляет 31 км." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 137, + "segment": "Комсесъёган" + } + ], + "meta": { + "id": 609, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 136, + "segment": "Пьюкинъёган" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Оккынигол (\"устар.\" Оккын-Игол) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 18 км по правому берегу реки Пьюкинъёган. Длина реки составляет 13 км.\nТекст 2: Пьюкинъёган (\"устар.\" Пьюкин-Еган) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 26 км по левому берегу реки Комсесъёган. Длина реки составляет 31 км.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Оккынигол? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Константин Павлович Воскресенский?", + "support_text": "Константин Павлович Воскресенский (1838 — ) — российский . Основатель и директор известного московского реального училища. Происходил из духовного звания. Окончил Московский университет со степенью кандидата.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "passage", + "length": 40, + "offset": 415, + "segment": "Государь, Царь и Великий Князь всея Руси" + }, + { + "label": "passage", + "length": 10, + "offset": 477, + "segment": "Императора" + }, + { + "label": "passage", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 739, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 685, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 46, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Константин Павлович Воскресенский (1838 — ) — российский . Основатель и директор известного московского реального училища. Происходил из духовного звания. Окончил Московский университет со степенью кандидата.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Константин Павлович Воскресенский? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 364, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Большой совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Франческо Фоскари?", + "support_text": "Франческо Фоскари ( , — ) — 65-й венецианский дож. Его правление было самым продолжительным среди всех венецианских дожей — 34,5 года.\n\nБиография.\nМиланом в то время управлял герцог Филиппо Мария Висконти, чьи амбиции распространялись на доминирование над всей Северной и Средней Италией. Несмотря на победы, война была чрезвычайно дорогостоящей для Венеции и её союзника Флоренции. В конечном счете Милан под руководством Франческо Сфорцы одержал вверх. В 1454 году Сфорца установил окончательные границы между Миланским герцогством и Венецианской республикой. Герб дожа Франческо Фоскари.", + "text": "Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей. Институт дожей существовал в общей сложности ровно 1100 лет (697—1797).\n\nИстория.\nРасцвет республики. Во время Крестовых походов Венеция достигла высокой степени процветания и распространила свои торговые связи, несмотря на конкуренцию других итальянских республик (Пизы и Генуи), на весь Ближний и Средний Восток. Внутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. Когда Бонапарт в 1797 году вторгся в Штирию, в тылу у него восстало против французов сельское население Террафермы. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство)." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 943, + "segment": "Большой совет" + } + ], + "meta": { + "id": 773, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 35, + "segment": "венецианский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Франческо Фоскари ( , — ) — 65-й венецианский дож. Его правление было самым продолжительным среди всех венецианских дожей — 34,5 года.\n\nБиография.\nМиланом в то время управлял герцог Филиппо Мария Висконти, чьи амбиции распространялись на доминирование над всей Северной и Средней Италией. Несмотря на победы, война была чрезвычайно дорогостоящей для Венеции и её союзника Флоренции. В конечном счете Милан под руководством Франческо Сфорцы одержал вверх. В 1454 году Сфорца установил окончательные границы между Миланским герцогством и Венецианской республикой. Герб дожа Франческо Фоскари.\nТекст 2: Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей. Институт дожей существовал в общей сложности ровно 1100 лет (697—1797).\n\nИстория.\nРасцвет республики. Во время Крестовых походов Венеция достигла высокой степени процветания и распространила свои торговые связи, несмотря на конкуренцию других итальянских республик (Пизы и Генуи), на весь Ближний и Средний Восток. Внутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. Когда Бонапарт в 1797 году вторгся в Штирию, в тылу у него восстало против французов сельское население Террафермы. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство).\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Франческо Фоскари?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 679, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.06666666666666667, + "em": 0 + }, + "predict": " Тобыш. \n\nДикарская Рассоха протекает по Республике Коми и впадает в Сарёду, а Сарёда протекает по Республике Коми и впадает в Тобыш. Таким образом, Дикарская Рассоха сливается с рекой Тобыш.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Дикарская Рассоха?", + "support_text": "Дикарская Рассоха — река в России, протекает по Республике Коми. Устье реки находится в 30 км по правому берегу реки Сарёда. Длина реки составляет 13 км.", + "text": "Сарёда — река в России, протекает по Республике Коми. Устье реки находится в 141 км по левому берегу реки Тобыш. Длина реки составляет 67 км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 106, + "segment": "Тобыш" + } + ], + "meta": { + "id": 592, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 117, + "segment": "Сарёда" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Дикарская Рассоха — река в России, протекает по Республике Коми. Устье реки находится в 30 км по правому берегу реки Сарёда. Длина реки составляет 13 км.\nТекст 2: Сарёда — река в России, протекает по Республике Коми. Устье реки находится в 141 км по левому берегу реки Тобыш. Длина реки составляет 67 км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Дикарская Рассоха?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.047619047619047616, + "em": 0 + }, + "predict": " Василий Иванович Покровский, будучи гражданином Российской империи, в которой существовала монархия, занимал должность главы государства в качестве императора. В Российской империи, начиная с Петра Великого и до Февральской революции 1917 года, главой государства являлся император, который носил титул Императора Всероссийского.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Василий Иванович Покровский?", + "support_text": "Василий Иванович Покровский (1838/1839—1915) — русский земский статистик, экономист, редактор. Член-корреспондент Петербургской академии наук (1902).\n\nБиография.\nВ ноябре 1869 года получил разрешение поступить на гражданскую службу в Ржевский окружной суд. От полицейского надзора был освобождён в апреле 1871 года. В 1871 году был приглашён тверским губернским земством заведующим статистическими работами; таким образом, В. И. Покровский вместе с Н. Н. Романовым был одним из первых по времени земских статистиков в России. Литературную деятельность Покровский начал в 1859 году, в \"Московских ведомостях\". Через год им был издан \"Статистический очерк С.-Петербурга; Планы города и театров\" (СПб.: тип. А. С. Суворина, 1894). С 1895 года Покровский занимал должность статистика департамента таможенных сборов министерства финансов Российской империи. Кроме редактирования издаваемых департаментом ежемесячных и годичных \"Обзоров внешней торговли\", он издал книгу \"К вопросу об устойчивости активного баланса русской внешней торговли\" и составил \"Краткий очерк внешней торговли и таможенных доходов России\" (СПб.: тип. В. Ф. Киршбаума, 1895).", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1021, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 47, + "segment": "русский" + }, + { + "label": "passage", + "length": 18, + "offset": 837, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Василий Иванович Покровский (1838/1839—1915) — русский земский статистик, экономист, редактор. Член-корреспондент Петербургской академии наук (1902).\n\nБиография.\nВ ноябре 1869 года получил разрешение поступить на гражданскую службу в Ржевский окружной суд. От полицейского надзора был освобождён в апреле 1871 года. В 1871 году был приглашён тверским губернским земством заведующим статистическими работами; таким образом, В. И. Покровский вместе с Н. Н. Романовым был одним из первых по времени земских статистиков в России. Литературную деятельность Покровский начал в 1859 году, в \"Московских ведомостях\". Через год им был издан \"Статистический очерк С.-Петербурга; Планы города и театров\" (СПб.: тип. А. С. Суворина, 1894). С 1895 года Покровский занимал должность статистика департамента таможенных сборов министерства финансов Российской империи. Кроме редактирования издаваемых департаментом ежемесячных и годичных \"Обзоров внешней торговли\", он издал книгу \"К вопросу об устойчивости активного баланса русской внешней торговли\" и составил \"Краткий очерк внешней торговли и таможенных доходов России\" (СПб.: тип. В. Ф. Киршбаума, 1895).\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Василий Иванович Покровский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 506, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4444444444444444, + "em": 0 + }, + "predict": " На территории земли Вольный ганзейский город Бремен расположен город, где родился Карл Карстенс.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы расположен город, где родился Карл Карстенс?", + "support_text": "Карл Вальтер Клаус Карстенс ( 14 декабря 1914 года, Бремен, — 30 мая 1992 года, Меккенхайм, Северный Рейн-Вестфалия) — немецкий консервативный политик и государственный деятель, видный деятель ХДС. С 1976 по 1979 — председатель бундестага, в 1979—1984 — федеральный президент ФРГ.", + "text": "Бремен ( ), — город на северо-западе Германии. Вместе с приморским портом Бремерхафен образует землю Вольный ганзейский город Бремен. C населением 552 тыс. жит. (2015) входит в десятку самых населённых городов Германии.\n\nГеография.\nОбласть, лежащая слева от Нижнего Везера, носит название Везермарш. Справа расположен так называемый \"Сырой треугольник\" — болотистая равнина между устьями Эльбы и Везера. Протяжённость города составляет 38 км в длину и 16 км в ширину. Длина его границ — 136,5 км. Бремен со всех сторон окружён Нижней Саксонией. На западе он граничит с городским округом Дельменхорст (75 672 жителей) и районом Везермарш (93 725 жителей), включающим посёлки Лемвердер, Берне и Эльсфлет, на севере — с районом Остерхольц (112 587 жителей), включающим посёлки Шваневеде, Риттерхуде и Лилиенталь, Дипхольц (215 648 жителей), включающим посёлки Вайхе и Штур." + }, + "outputs": [ + { + "label": "passage", + "length": 37, + "offset": 95, + "segment": "землю Вольный ганзейский город Бремен" + } + ], + "meta": { + "id": 918, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 53, + "segment": "Бремен" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: На территории какой административно-территориальной единицы расположен город, где родился Карл Карстенс?\nТекст 1: Карл Вальтер Клаус Карстенс ( 14 декабря 1914 года, Бремен, — 30 мая 1992 года, Меккенхайм, Северный Рейн-Вестфалия) — немецкий консервативный политик и государственный деятель, видный деятель ХДС. С 1976 по 1979 — председатель бундестага, в 1979—1984 — федеральный президент ФРГ.\nТекст 2: Бремен ( ), — город на северо-западе Германии. Вместе с приморским портом Бремерхафен образует землю Вольный ганзейский город Бремен. C населением 552 тыс. жит. (2015) входит в десятку самых населённых городов Германии.\n\nГеография.\nОбласть, лежащая слева от Нижнего Везера, носит название Везермарш. Справа расположен так называемый \"Сырой треугольник\" — болотистая равнина между устьями Эльбы и Везера. Протяжённость города составляет 38 км в длину и 16 км в ширину. Длина его границ — 136,5 км. Бремен со всех сторон окружён Нижней Саксонией. На западе он граничит с городским округом Дельменхорст (75 672 жителей) и районом Везермарш (93 725 жителей), включающим посёлки Лемвердер, Берне и Эльсфлет, на севере — с районом Остерхольц (112 587 жителей), включающим посёлки Шваневеде, Риттерхуде и Лилиенталь, Дипхольц (215 648 жителей), включающим посёлки Вайхе и Штур.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Казахстан. Ян Владимирович Вороговский родился в Казахстане, и его семья также проживает в этой стране, что указывает на то, что Казахстан является его родиной и страной, где он начал свою спортивную карьеру.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое государство существовало раньше на территории страны, честь которой отстаивал в соревнованиях Ян Владимирович Вороговский?", + "support_text": "Ян Владимирович Вороговский (род. 7 августа 1996, Талгар, Алматинская область, Казахстан) — казахстанский футболист, полузащитник бельгийского клуба \"Беерсхот\" и сборной Казахстана.", + "text": "Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км. Население, по оценке государственного комитета по статистике на 1 октября 2020 года, составляет человек. Плотность населения является одной из самых низких: менее 7 человек на квадратный километр. Столица — Нур-Султан.\n\nИстория.\nАнтиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы. В дальнейшем недовольство советской властью продолжало расти и находило своё выражение в политике гласности, проводимой советским лидером Михаилом Горбачёвым. Независимость.\n\nКультура.\nВ последующем Золотая Орда продолжала распространять ислам среди племён в регионе в течение XIV века. Казахстан является родиной для большого числа выдающихся авторов литературы, науки и философии: Абая Кунанбаева, Мухтара Ауэзова, Габита Мусрепова, Каныша Сатпаева, Мухтара Шаханова, Сакена Сейфуллина, Джамбула Джабаева и многих других. Литература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 1816, + "segment": "Казахского ханства" + }, + { + "label": "passage", + "length": 18, + "offset": 1816, + "segment": "Казахское ханство" + } + ], + "meta": { + "id": 1007, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 92, + "segment": "казахстанский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Ян Владимирович Вороговский (род. 7 августа 1996, Талгар, Алматинская область, Казахстан) — казахстанский футболист, полузащитник бельгийского клуба \"Беерсхот\" и сборной Казахстана.\nТекст 2: Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км. Население, по оценке государственного комитета по статистике на 1 октября 2020 года, составляет человек. Плотность населения является одной из самых низких: менее 7 человек на квадратный километр. Столица — Нур-Султан.\n\nИстория.\nАнтиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы. В дальнейшем недовольство советской властью продолжало расти и находило своё выражение в политике гласности, проводимой советским лидером Михаилом Горбачёвым. Независимость.\n\nКультура.\nВ последующем Золотая Орда продолжала распространять ислам среди племён в регионе в течение XIV века. Казахстан является родиной для большого числа выдающихся авторов литературы, науки и философии: Абая Кунанбаева, Мухтара Ауэзова, Габита Мусрепова, Каныша Сатпаева, Мухтара Шаханова, Сакена Сейфуллина, Джамбула Джабаева и многих других. Литература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами.\nВопрос: Какое государство существовало раньше на территории страны, честь которой отстаивал в соревнованиях Ян Владимирович Вороговский?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 531, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Карагуж.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Карагуж?", + "support_text": "Карагуж — река в России, протекает в Республике Алтай, Алтайском крае. Устье реки находится в 29 км по левому берегу реки Иша. Длина реки составляет 27 км. Населённые пункты: Карагуж и Верх-Карагуж.", + "text": "Иша — река в Республике Алтай и Алтайском крае России, правый приток Катуни.\n\nГеография.\nОт истока на значительное расстояние течёт преимущественно на запад в широкой долине между горами высотой 500—1000 м. После райцентра Чоя река поворачивает на северо-запад, принимает слева воды своего крупнейшего притока Малой Иши и вскоре после этого резко поворачивает на север, образуя на этом отрезке границу между Республикой Алтай и Алтайским краем. Сразу после выхода на территорию Алтайского края снова отклоняется к северо-западу и течёт мимо невысокого хребта Становая Грива до посёлка Карагайка, где поворачивает на запад, после слияния с правым притоком Чапшей — на юго-запад. От села Новозыково течёт на запад, перед селом Усть-Иша поворачивает на север. Незадолго до села Новая Суртайка резко обращает на запад и через 10 км впадает в Катунь вблизи села Мост-Иша на высоте 220 м над уровнем моря. Устье реки находится в 80 км от устья реки Катунь по правому берегу. В районе устья Иша имеет 90-130 м в ширину и глубину до 1 м, скорость течения 0,4 м/с." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 841, + "segment": "Катунь" + }, + { + "label": "passage", + "length": 6, + "offset": 946, + "segment": "Катунь" + }, + { + "label": "passage", + "length": 6, + "offset": 69, + "segment": "Катуни" + } + ], + "meta": { + "id": 761, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 122, + "segment": "Иша" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Карагуж?\nТекст 1: Карагуж — река в России, протекает в Республике Алтай, Алтайском крае. Устье реки находится в 29 км по левому берегу реки Иша. Длина реки составляет 27 км. Населённые пункты: Карагуж и Верх-Карагуж.\nТекст 2: Иша — река в Республике Алтай и Алтайском крае России, правый приток Катуни.\n\nГеография.\nОт истока на значительное расстояние течёт преимущественно на запад в широкой долине между горами высотой 500—1000 м. После райцентра Чоя река поворачивает на северо-запад, принимает слева воды своего крупнейшего притока Малой Иши и вскоре после этого резко поворачивает на север, образуя на этом отрезке границу между Республикой Алтай и Алтайским краем. Сразу после выхода на территорию Алтайского края снова отклоняется к северо-западу и течёт мимо невысокого хребта Становая Грива до посёлка Карагайка, где поворачивает на запад, после слияния с правым притоком Чапшей — на юго-запад. От села Новозыково течёт на запад, перед селом Усть-Иша поворачивает на север. Незадолго до села Новая Суртайка резко обращает на запад и через 10 км впадает в Катунь вблизи села Мост-Иша на высоте 220 м над уровнем моря. Устье реки находится в 80 км от устья реки Катунь по правому берегу. В районе устья Иша имеет 90-130 м в ширину и глубину до 1 м, скорость течения 0,4 м/с.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 367, + "generated_len": [ + 63 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Молома", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Вохомка?", + "support_text": "Вохомка — река в России, протекает в Кичменгско-Городецком районе Вологодской области и Опаринском районе Кировской области. Устье реки находится в 32 км по левому берегу реки Паломица. Длина реки составляет 12 км. Исток реки в лесах близ границы Вологодской и Кировской областей в 70 км к юго-западу от посёлка Опарино. Рядом с истоком Вохомки находится исток реки Карюг, здесь проходит водораздел бассейнов Вятки и Ветлуги. Река течёт на северо-восток по ненаселённому лесу, протекает границу областей и впадает в Паломицу к югу от деревень Верхняя Паломица и Нижняя Паломица.", + "text": "Паломица — река в Кировской области России, правый приток Моломы (бассейн Волги). Устье реки находится в 359 км по правому берегу реки Молома. Длина реки составляет 49 км. Площадь водосборного бассейна — 262 кв км. Река берёт исток в лесах близ точки, где сходятся Кировская, Вологодская и Костромская область в 24 км к северо-западу от посёлка Верхняя Волманга. Река течёт на север по заболоченному лесному массиву, в среднем течении протекает деревни Верхняя Паломица и Нижняя Паломица. Впадает в Молому у деревни Нижний Починок. Система водного объекта: Молома → Вятка → Кама → Волга → Каспийское море." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 58, + "segment": "Моломы" + }, + { + "label": "passage", + "length": 6, + "offset": 58, + "segment": "Молома" + } + ], + "meta": { + "id": 412, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 176, + "segment": "Паломица" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Вохомка — река в России, протекает в Кичменгско-Городецком районе Вологодской области и Опаринском районе Кировской области. Устье реки находится в 32 км по левому берегу реки Паломица. Длина реки составляет 12 км. Исток реки в лесах близ границы Вологодской и Кировской областей в 70 км к юго-западу от посёлка Опарино. Рядом с истоком Вохомки находится исток реки Карюг, здесь проходит водораздел бассейнов Вятки и Ветлуги. Река течёт на северо-восток по ненаселённому лесу, протекает границу областей и впадает в Паломицу к югу от деревень Верхняя Паломица и Нижняя Паломица.\nТекст 2: Паломица — река в Кировской области России, правый приток Моломы (бассейн Волги). Устье реки находится в 359 км по правому берегу реки Молома. Длина реки составляет 49 км. Площадь водосборного бассейна — 262 кв км. Река берёт исток в лесах близ точки, где сходятся Кировская, Вологодская и Костромская область в 24 км к северо-западу от посёлка Верхняя Волманга. Река течёт на север по заболоченному лесному массиву, в среднем течении протекает деревни Верхняя Паломица и Нижняя Паломица. Впадает в Молому у деревни Нижний Починок. Система водного объекта: Молома → Вятка → Кама → Волга → Каспийское море.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Вохомка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 360, + "generated_len": [ + 27 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3333333333333333, + "em": 0 + }, + "predict": " Городская Дума Нижегородской области", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Василий Владимирович Казаков?", + "support_text": "Василий Владимирович Казаков (род. 3 апреля 1962, Горький) — российский бизнесмен и политик, глава администрации Советского района Нижнего Новгорода с 2011 по 2013 годы.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1011, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 798, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 50, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Василий Владимирович Казаков (род. 3 апреля 1962, Горький) — российский бизнесмен и политик, глава администрации Советского района Нижнего Новгорода с 2011 по 2013 годы.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Василий Владимирович Казаков? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 349, + "generated_len": [ + 27 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Иван Корнильевич Покровский?", + "support_text": "Иван Корнильевич Покровский (в Думе Покровский 1-й; 1845, Челябинск, Российская империя — после 1912) — подпоручик, губернский секретарь, предприниматель, меценат, почётный блюститель городского училища, гласный Челябинской городской думы, партийный \"агент\" кадетов в Челябинске, депутат III Государственной Думы (1907—1912). Жил и работал в Бельгии, затем владел золотыми приисками на Урале и был совладельцем винокуренного и сахарного заводов. Брат городского головы В. К. Покровского.\n\nБиография.\nВладел золотыми приисками в Челябинском и Верхнеуральском уездах Оренбургской губернии, сахарным заводом, был совладельцем винокуренного завода фирмы \"Братьев Покровских\". Имел в собственности 3500 (по другим данным 3000) десятин земли в Челябинском уезде; был домовладельцем в Челябинске и Верхнеуральске. Совокупная стоимость его имущества оценивалось в 500 тысяч рублей. Челябинск в начале XX века. Покровский являлся общественным деятелем и меценатом: состоял в целом ряде благотворительных обществ. В 1881 году он стал почётным смотрителем Второго Челябинского мужского приходского училища, а с 1891 года — почётным блюстителем Первого Челябинского городского училища (затем — Челябинское высшее начальное училище). С 1898 года Покровский был почётным членом Челябинского общества попечения о начальном образовании — в том же году он пожертвовал обществу 200 рублей.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 969, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 196, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 58, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иван Корнильевич Покровский (в Думе Покровский 1-й; 1845, Челябинск, Российская империя — после 1912) — подпоручик, губернский секретарь, предприниматель, меценат, почётный блюститель городского училища, гласный Челябинской городской думы, партийный \"агент\" кадетов в Челябинске, депутат III Государственной Думы (1907—1912). Жил и работал в Бельгии, затем владел золотыми приисками на Урале и был совладельцем винокуренного и сахарного заводов. Брат городского головы В. К. Покровского.\n\nБиография.\nВладел золотыми приисками в Челябинском и Верхнеуральском уездах Оренбургской губернии, сахарным заводом, был совладельцем винокуренного завода фирмы \"Братьев Покровских\". Имел в собственности 3500 (по другим данным 3000) десятин земли в Челябинском уезде; был домовладельцем в Челябинске и Верхнеуральске. Совокупная стоимость его имущества оценивалось в 500 тысяч рублей. Челябинск в начале XX века. Покровский являлся общественным деятелем и меценатом: состоял в целом ряде благотворительных обществ. В 1881 году он стал почётным смотрителем Второго Челябинского мужского приходского училища, а с 1891 года — почётным блюстителем Первого Челябинского городского училища (затем — Челябинское высшее начальное училище). С 1898 года Покровский был почётным членом Челябинского общества попечения о начальном образовании — в том же году он пожертвовал обществу 200 рублей.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог. Из-за критического состояния дорожной инфраструктуры и отсутствия адекватных действий на исправление этой проблемы, жители города в некоторых случаях ремонтируют дороги собственными силами.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Иван Корнильевич Покровский? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 707, + "generated_len": [ + 27 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Пур", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, воды которой питает Нягуяха?", + "support_text": "Нягуяха (\"устар.\" Нягу-Яха) — река в России, протекает в Ямало-Ненецком АО. Устье реки находится в 114 км по правому берегу реки Малхойяха. Длина реки составляет 15 км.", + "text": "Малхойяха (\"устар.\" Малхой-Яха) — река в России, протекает по территории Пуровского района Ямало-Ненецкого автономного округа. Устье реки находится в 140 км по левому берегу реки Пур. Длина реки — 141 км, площадь водосборного бассейна — 2080 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 73, + "segment": "Пур" + } + ], + "meta": { + "id": 328, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 129, + "segment": "Малхойяха" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Нягуяха (\"устар.\" Нягу-Яха) — река в России, протекает в Ямало-Ненецком АО. Устье реки находится в 114 км по правому берегу реки Малхойяха. Длина реки составляет 15 км.\nТекст 2: Малхойяха (\"устар.\" Малхой-Яха) — река в России, протекает по территории Пуровского района Ямало-Ненецкого автономного округа. Устье реки находится в 140 км по левому берегу реки Пур. Длина реки — 141 км, площадь водосборного бассейна — 2080 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, воды которой питает Нягуяха? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": [ + 27 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Вячеслав Иванович Мясников?", + "support_text": "Вячеслав Иванович Мясников (1930—2010) — советский и российский учёный, доктор медицинских наук, профессор, академик РАМН, полковник медицинской службы.\n\nБиография.\nРодился 12 июня 1930 года, на окраине Нижнего Новгорода. Окончив институт, переехал в Москву. До апреля 1964 года, в качестве военврача служил в Государственном научно-исследовательском испытательном институте авиационной и космической медицины в Управлении космической биологии и медицины.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 913, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 913, + "segment": "Городская дума" + } + ], + "meta": { + "id": 44, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 206, + "segment": "Нижнего Новгорода" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вячеслав Иванович Мясников (1930—2010) — советский и российский учёный, доктор медицинских наук, профессор, академик РАМН, полковник медицинской службы.\n\nБиография.\nРодился 12 июня 1930 года, на окраине Нижнего Новгорода. Окончив институт, переехал в Москву. До апреля 1964 года, в качестве военврача служил в Государственном научно-исследовательском испытательном институте авиационной и космической медицины в Управлении космической биологии и медицины.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Вячеслав Иванович Мясников? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 382, + "generated_len": [ + 27 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательный орган города Горловки, где умер Василий Гаврилович Петренко, называется Горловский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Василий Гаврилович Петренко?", + "support_text": "Василий Гаврилович Петренко (18 июня 1922, с. Шиловичи, ныне Ичнянский район, Черниговская область — 09 августа 1988, Горловка, Донецкая область) — наводчик миномёта 2-й миномётной роты 25-го гвардейского стрелкового полка 6-й гвардейской Ровенской Краснознамённой ордена Суворова стрелковой дивизии 13-й армии 1-го Украинского фронта, гвардии старший сержант, Герой Советского Союза.\n\nБиография.\nРодился 18 июня 1922 года в семье крестьянина. Украинец. Окончил 7 классов. В 1939 году переехал в город Горловка Донецкой области Украины. Работал слесарем на шахте \"Кочегарка\". В Красной Армии с июня 1941 года.", + "text": "Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 282, + "segment": "Горловский городской совет" + } + ], + "meta": { + "id": 67, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 118, + "segment": "Горловка" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Василий Гаврилович Петренко (18 июня 1922, с. Шиловичи, ныне Ичнянский район, Черниговская область — 09 августа 1988, Горловка, Донецкая область) — наводчик миномёта 2-й миномётной роты 25-го гвардейского стрелкового полка 6-й гвардейской Ровенской Краснознамённой ордена Суворова стрелковой дивизии 13-й армии 1-го Украинского фронта, гвардии старший сержант, Герой Советского Союза.\n\nБиография.\nРодился 18 июня 1922 года в семье крестьянина. Украинец. Окончил 7 классов. В 1939 году переехал в город Горловка Донецкой области Украины. Работал слесарем на шахте \"Кочегарка\". В Красной Армии с июня 1941 года.\nТекст 2: Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Василий Гаврилович Петренко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 326, + "generated_len": [ + 27 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1904761904761905, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Михаил Александрович Иосилевич, называется Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Михаил Александрович Иосилевич?", + "support_text": "Михаил Александрович Иосилевич (род. 23 декабря 1976, Горький, РСФСР, СССР) — российский журналист и общественный деятель.\n\nБиография.\nРодился 23 декабря 1976 года в Горьком. В 1993 году закончил школу № 42 Нижнего Новгорода. В 1993 поступил и 1998 году закончил Нижегородский государственный университет имени Н. И. Лобачевского, факультет вычислительной математики и кибернетики.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1011, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 674, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 54, + "segment": "Горький" + }, + { + "label": "passage", + "length": 7, + "offset": 169, + "segment": "Горьком" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родился Михаил Александрович Иосилевич?\nТекст 1: Михаил Александрович Иосилевич (род. 23 декабря 1976, Горький, РСФСР, СССР) — российский журналист и общественный деятель.\n\nБиография.\nРодился 23 декабря 1976 года в Горьком. В 1993 году закончил школу № 42 Нижнего Новгорода. В 1993 поступил и 1998 году закончил Нижегородский государственный университет имени Н. И. Лобачевского, факультет вычислительной математики и кибернетики.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 394, + "generated_len": [ + 27 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Драва", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Дравиня?", + "support_text": "Дравиня — река в Словении, правый приток Дравы. Река берёт начало на горном хребте Похорье, к юго-западу от горы Рогла, на высоте около 1150 м над уровнем моря. Протекает через город Словенске-Конице. Длина реки составляет 73 км.\n\nПримечания.\nКатегория:Притоки Дравы.", + "text": "Драва — река в юго-восточной Европе, правый приток Дуная. Длина реки — 720 км, площадь бассейна — 40 400 кв км. Средний расход воды — 610 м³/с. Протекает по территории Италии, Австрии, Словении, Хорватии и Венгрии (образуя её южную границу).\n\nПримечания.\nКатегория:Притоки Дуная." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 51, + "segment": "Дуная" + }, + { + "label": "passage", + "length": 5, + "offset": 51, + "segment": "Дунай" + } + ], + "meta": { + "id": 594, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 41, + "segment": "Дравы" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дравиня — река в Словении, правый приток Дравы. Река берёт начало на горном хребте Похорье, к юго-западу от горы Рогла, на высоте около 1150 м над уровнем моря. Протекает через город Словенске-Конице. Длина реки составляет 73 км.\n\nПримечания.\nКатегория:Притоки Дравы.\nТекст 2: Драва — река в юго-восточной Европе, правый приток Дуная. Длина реки — 720 км, площадь бассейна — 40 400 кв км. Средний расход воды — 610 м³/с. Протекает по территории Италии, Австрии, Словении, Хорватии и Венгрии (образуя её южную границу).\n\nПримечания.\nКатегория:Притоки Дуная.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Дравиня? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": [ + 27 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1904761904761905, + "em": 0 + }, + "predict": " Законодательный орган города, где умер Валентин Арсеньевич Николаев, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Валентин Арсеньевич Николаев?", + "support_text": "Николаев Валентин Арсеньевич ( — ) — русский писатель, и очеркист, инженер-механик.\n\nБиография.\nС 1974 года В. А. Николаев жил в г. Мантурово на Унже и писал свою книгу о шкиперах \"Не убежит река\". Член Союза писателей (СССР), России с 1978 года, заслуженный работник культуры РФ, лауреат премии Нижнего Новгорода (2000). Лауреат Всесоюзного литературного конкурса им. Н. Островского (1986). Удостоен премий журналов \"Волга\" (за повесть \"Шумит Шилекша\", 1985) и Нижний Новгород (за публицистический цикл \"Тоска по мастеру\" из кн. \"В России в непогоду\", 1997).\n\nТворчество.\nМ.: Мол. Гвардия, 1988.- 196 с. Светлым — светло: Рассказы. Нижний Новгород: Волго-Вят. Кн. изд-во, 1991.- 366 с. ** Содерж.: Над рыбами, под звездами: Записки с полуострова, или Радости и страдания на Макарьевском тракте; Не убежит река: Повествование о шкиперах; Среди моря, среди сопок; Светлым — светло; Мы ходили по зимней Оссоре и др. рассказы.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1155, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 791, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 300, + "segment": "Нижнего Новгорода" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Николаев Валентин Арсеньевич ( — ) — русский писатель, и очеркист, инженер-механик.\n\nБиография.\nС 1974 года В. А. Николаев жил в г. Мантурово на Унже и писал свою книгу о шкиперах \"Не убежит река\". Член Союза писателей (СССР), России с 1978 года, заслуженный работник культуры РФ, лауреат премии Нижнего Новгорода (2000). Лауреат Всесоюзного литературного конкурса им. Н. Островского (1986). Удостоен премий журналов \"Волга\" (за повесть \"Шумит Шилекша\", 1985) и Нижний Новгород (за публицистический цикл \"Тоска по мастеру\" из кн. \"В России в непогоду\", 1997).\n\nТворчество.\nМ.: Мол. Гвардия, 1988.- 196 с. Светлым — светло: Рассказы. Нижний Новгород: Волго-Вят. Кн. изд-во, 1991.- 366 с. ** Содерж.: Над рыбами, под звездами: Записки с полуострова, или Радости и страдания на Макарьевском тракте; Не убежит река: Повествование о шкиперах; Среди моря, среди сопок; Светлым — светло; Мы ходили по зимней Оссоре и др. рассказы.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Валентин Арсеньевич Николаев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 629, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Евгений Валерьевич Гладских?", + "support_text": "Евгений Валерьевич Гладских (24 апреля 1982 года, Магнитогорск, СССР) — российский хоккеист, правый нападающий. Воспитанник магнитогорского \"Металлурга\", где провёл основную часть карьеры. В составе национальной сборной России участник Еврохоккейтура 2005 и 2006 годов.", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии.\n\nАдминистративно-политическое устройство.\nЕвгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 419, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 503, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 50, + "segment": "Магнитогорск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Евгений Валерьевич Гладских (24 апреля 1982 года, Магнитогорск, СССР) — российский хоккеист, правый нападающий. Воспитанник магнитогорского \"Металлурга\", где провёл основную часть карьеры. В составе национальной сборной России участник Еврохоккейтура 2005 и 2006 годов.\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии.\n\nАдминистративно-политическое устройство.\nЕвгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Евгений Валерьевич Гладских? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Максим Расимович Шарафутдинов, является мэром Казани.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Максим Расимович Шарафутдинов?", + "support_text": "Максим Расимович Шарафутдинов (15 сентября 1980, Казань— российский журналист, телеведущий на \"Первом канале\".\n\nБиография.\nРодился 15 сентября 1980 года в Казани. Играл в КВН в составе команды \"Четыре татарина\". Окончил среднюю школу № 39 в Казани. Дом, в котором рос Максим, находился прямо в школьном дворе, в настоящее время дом расселен. Во время учёбы в школе ходил в художественную студию, работал ди-джеем на радио \"Татурос\", занимался в вокальной студии \"Irene Studio\".", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 620, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 514, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 49, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Максим Расимович Шарафутдинов?\nТекст 1: Максим Расимович Шарафутдинов (15 сентября 1980, Казань— российский журналист, телеведущий на \"Первом канале\".\n\nБиография.\nРодился 15 сентября 1980 года в Казани. Играл в КВН в составе команды \"Четыре татарина\". Окончил среднюю школу № 39 в Казани. Дом, в котором рос Максим, находился прямо в школьном дворе, в настоящее время дом расселен. Во время учёбы в школе ходил в художественную студию, работал ди-джеем на радио \"Татурос\", занимался в вокальной студии \"Irene Studio\".\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 319, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Франсуа-Ксавье Виллен является главой администрации в городе Камбре, где умер Эндрю Минарски.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Эндрю Минарски?", + "support_text": "Эндрю Чарльз Минарски (14 октября 1916, Виннипег, Канада — 13 июня 1944, Камбре, Франция) — бортстрелок канадских военно-воздушных сил, кавалер Креста Виктории, награждённый за мужество и героизм, проявленные при попытке спасти члена экипажа своего самолёта.", + "text": "Камбре ( ) — город и коммуна на севере Франции, регион О-де-Франс, департамент Нор, центр одноименного кантона. Город расположен на реке Шельда в 52 км от Лилля и 36 км от Арраса. В центре коммуны находится железнодорожная станция Камбре линий Камбре-Дуэ и Бюзиньи-Сомен. Население (2017) — 32 558 человек.\n\nАдминистрация.\nПост мэра Камбре с 1992 занимает член партии \"Вставай, Франция\", входящей в состав блока Союз демократов и независимых, бывший депутат Национального собрания Франции Франсуа-Ксавье Виллен (François-Xavier Villain). На муниципальных выборах 2020 года возглавляемый им правый список одержал победу в 1-м туре, получив 56,34 % голосов. Профессор литературы, сенатор, депутат Национального собрания. 1992. . Франсуа-Ксавье Виллен. Разные правые, Союз демократов и независимых. Адвокат, вице-президент Генерального совета департамента, депутат Национального собрания." + }, + "outputs": [ + { + "label": "answer", + "length": 21, + "offset": 492, + "segment": "Франсуа-Ксавье Виллен" + } + ], + "meta": { + "id": 937, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 73, + "segment": "Камбре" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Эндрю Чарльз Минарски (14 октября 1916, Виннипег, Канада — 13 июня 1944, Камбре, Франция) — бортстрелок канадских военно-воздушных сил, кавалер Креста Виктории, награждённый за мужество и героизм, проявленные при попытке спасти члена экипажа своего самолёта.\nТекст 2: Камбре ( ) — город и коммуна на севере Франции, регион О-де-Франс, департамент Нор, центр одноименного кантона. Город расположен на реке Шельда в 52 км от Лилля и 36 км от Арраса. В центре коммуны находится железнодорожная станция Камбре линий Камбре-Дуэ и Бюзиньи-Сомен. Население (2017) — 32 558 человек.\n\nАдминистрация.\nПост мэра Камбре с 1992 занимает член партии \"Вставай, Франция\", входящей в состав блока Союз демократов и независимых, бывший депутат Национального собрания Франции Франсуа-Ксавье Виллен (François-Xavier Villain). На муниципальных выборах 2020 года возглавляемый им правый список одержал победу в 1-м туре, получив 56,34 % голосов. Профессор литературы, сенатор, депутат Национального собрания. 1992. . Франсуа-Ксавье Виллен. Разные правые, Союз демократов и независимых. Адвокат, вице-президент Генерального совета департамента, депутат Национального собрания.\nВопрос: Кто является главой администрации в городе, где умер Эндрю Минарски?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 362, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Рустем Игоревич Литвинов?", + "support_text": "Рустем Игоревич Литвинов (род. 28 января 1954, Казань) — специалист в области свертывания крови, кровотечений и тромбозов. Профессор кафедры биохимии, биотехнологии и фармакологии Казанского (Приволжского) федерального университета; главный научный сотрудник, руководитель научно-исследовательской лаборатории Института фундаментальной медицины и биологии Казанского (Приволжского) федерального университета. Старший исследователь Департамента клеточной биологии Медицинского факультета Пенсильванского университета. Имеет около 300 публикаций, более 5000 цитирований.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 663, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 215, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 47, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Рустем Игоревич Литвинов (род. 28 января 1954, Казань) — специалист в области свертывания крови, кровотечений и тромбозов. Профессор кафедры биохимии, биотехнологии и фармакологии Казанского (Приволжского) федерального университета; главный научный сотрудник, руководитель научно-исследовательской лаборатории Института фундаментальной медицины и биологии Казанского (Приволжского) федерального университета. Старший исследователь Департамента клеточной биологии Медицинского факультета Пенсильванского университета. Имеет около 300 публикаций, более 5000 цитирований.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Рустем Игоревич Литвинов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 355, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.24000000000000002, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где родился Наиль Абдуллович Сахибуллин, является мэром. С 17 ноября 2005 года мэр Казани И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Наиль Абдуллович Сахибуллин?", + "support_text": "Наиль Абдуллович Сахибуллин (8 октября 1940 года, Казань) — заведующий кафедрой Казанского государственного университета (КГУ), лауреат премии имени А. А. Белопольского, Заслуженный деятель науки Российской Федерации.\n\nБиография.\nРодился 8 октября 1940 года в Казани. В 1963 году окончил Казанский университет, физический факультет. С 1965 по 1972 годы — ассистент кафедры астрономии, с 1972 по 1987 годы — доцент КГУ, с 1988 по 1991 годы — декан физического факультета. С 1987 года — директор астрономической обсерватории Казанского университета.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 413, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 526, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Наиль Абдуллович Сахибуллин (8 октября 1940 года, Казань) — заведующий кафедрой Казанского государственного университета (КГУ), лауреат премии имени А. А. Белопольского, Заслуженный деятель науки Российской Федерации.\n\nБиография.\nРодился 8 октября 1940 года в Казани. В 1963 году окончил Казанский университет, физический факультет. С 1965 по 1972 годы — ассистент кафедры астрономии, с 1972 по 1987 годы — доцент КГУ, с 1988 по 1991 годы — декан физического факультета. С 1987 года — директор астрономической обсерватории Казанского университета.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nВопрос: Кто является главой администрации в городе, где родился Наиль Абдуллович Сахибуллин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 308, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23076923076923078, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где родился Мансур Ахметович Музафаров, является мэром. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Мансур Ахметович Музафаров?", + "support_text": "Музафаров (Мозаффаров) Мансур Ахметович (6. 3. 1902, Казань — 20.11.1966, Казань) — татарский композитор, педагог, заслуженный деятель искусств Татарской АССР (1950 г.), Народный артист ТАССР (1964 г.), лауреат Республиканской премии имени Габдуллы Тукая (1959 г.).\n\nБиография.\nМузафаров Мансур Ахметович родился в Казани 6 марта 1902 г. Получил высшее специальное образование. Он начал свою творческую деятельность как участник национальных инструментальных ансамблей. В в 1931 г. окончил этнографическое отделение Московской консерватории по классу композиции Ан. Александрова. В период 1934—1938 гг. проходил обучение в Татарской оперной студии при Московской консерватории. В 1945 г. он начал преподавать в Казанской консерватории, а в 1949—1961 гг. работал заведующим кафедрой композиции. В течение жизни Мансур Музафаров вёл творческую работу на радио, а также в Татарском театре оперы и балета в Казани. К его наследию относятся как фольклорные напевы, песни и романсы, так и значительные музыкальные произведения в жанрах оперы, симфонической поэмы, инструментального концерта.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 548, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 515, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 53, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Музафаров (Мозаффаров) Мансур Ахметович (6. 3. 1902, Казань — 20.11.1966, Казань) — татарский композитор, педагог, заслуженный деятель искусств Татарской АССР (1950 г.), Народный артист ТАССР (1964 г.), лауреат Республиканской премии имени Габдуллы Тукая (1959 г.).\n\nБиография.\nМузафаров Мансур Ахметович родился в Казани 6 марта 1902 г. Получил высшее специальное образование. Он начал свою творческую деятельность как участник национальных инструментальных ансамблей. В в 1931 г. окончил этнографическое отделение Московской консерватории по классу композиции Ан. Александрова. В период 1934—1938 гг. проходил обучение в Татарской оперной студии при Московской консерватории. В 1945 г. он начал преподавать в Казанской консерватории, а в 1949—1961 гг. работал заведующим кафедрой композиции. В течение жизни Мансур Музафаров вёл творческую работу на радио, а также в Татарском театре оперы и балета в Казани. К его наследию относятся как фольклорные напевы, песни и романсы, так и значительные музыкальные произведения в жанрах оперы, симфонической поэмы, инструментального концерта.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nВопрос: Кто является главой администрации в городе, где родился Мансур Ахметович Музафаров?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 523, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Константин Васильевич Сивков родился в Белгороде, поэтому глава администрации в этом городе является Константин Алексеевич Полежаев, который занимал эту должность с 2015 по 2019 год.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Константин Васильевич Сивков?", + "support_text": "Константин Васильевич Сивков (13 мая 1882, Белгород, Курская губерния, Российская империя — 12 декабря 1959, Москва, СССР) — русский и советский историк и москвовед.", + "text": "Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной.\n\nАдминистративное устройство.\n2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун. В декабре 2009 года мэр Белгорода Василий Николаевич Потрясаев занял 2-е место в номинации \"Лучший глава местной администрации\" на ежегодном конкурсе \"Лучшее муниципальное образование\"." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 437, + "segment": "Юрий Владимирович Галдун" + } + ], + "meta": { + "id": 200, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 43, + "segment": "Белгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Константин Васильевич Сивков (13 мая 1882, Белгород, Курская губерния, Российская империя — 12 декабря 1959, Москва, СССР) — русский и советский историк и москвовед.\nТекст 2: Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной.\n\nАдминистративное устройство.\n2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун. В декабре 2009 года мэр Белгорода Василий Николаевич Потрясаев занял 2-е место в номинации \"Лучший глава местной администрации\" на ежегодном конкурсе \"Лучшее муниципальное образование\".\nВопрос: Кто является главой администрации в городе, где родился Константин Васильевич Сивков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": [ + 45 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Рустам Эмомали", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Шахоб Бахрамов?", + "support_text": "Шахоб Бахромов (1 июня 1978, Душанбе, Таджикистан) — таджикистанский и российский спортсмен тхэквондист, Мастер спорта международного класса, Заслуженный мастер спорта Республики Таджикистан. Первый из спортсменов стран СНГ завоевавший титул Чемпиона Мира по тхэквондо ITF, проходившем в г. Санкт-Петербурге в июле 1997 года. Пятикратный Чемпион России, неоднократный победитель турниров по кикбоксингу и рукопашному бою.\n\nБиография.\nРодился 1 июня 1978 года в г. Душанбе Республики Таджикистан. C 2002 года проживает в г. Волжский Волгоградской области России. Является председателем спортивного клуба \"Гелиос\" и руководителем Федерации Южного Федерального округа по таэквон-до (ИТФ).", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 540, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 29, + "segment": "Душанбе" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Шахоб Бахромов (1 июня 1978, Душанбе, Таджикистан) — таджикистанский и российский спортсмен тхэквондист, Мастер спорта международного класса, Заслуженный мастер спорта Республики Таджикистан. Первый из спортсменов стран СНГ завоевавший титул Чемпиона Мира по тхэквондо ITF, проходившем в г. Санкт-Петербурге в июле 1997 года. Пятикратный Чемпион России, неоднократный победитель турниров по кикбоксингу и рукопашному бою.\n\nБиография.\nРодился 1 июня 1978 года в г. Душанбе Республики Таджикистан. C 2002 года проживает в г. Волжский Волгоградской области России. Является председателем спортивного клуба \"Гелиос\" и руководителем Федерации Южного Федерального округа по таэквон-до (ИТФ).\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Шахоб Бахрамов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 345, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родился Акрам Ахматович Джураев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Акрам Ахматович Джураев?", + "support_text": "Акрам Ахматович Джураев ( , Сталинабад, СССР — Таджикистан) — учёный в области ядерной физики и использования её достижений в народном хозяйстве. Руководитель отрасли атомной энергетики Таджикистана. Кандидат физико-математических наук, бывший ведущий научный сотрудник Международного центра ядерно-физических исследований Физико-технического института им. С. Умарова АН РТ. Опубликовал более 100 научных и научно-популярных работ. Акрам Джураев выявил феномен аномального осаждения техногенных, космогенных и природных изотопов в природных средах.", + "text": "Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 430, + "segment": "Рустам Эмомали" + } + ], + "meta": { + "id": 462, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 29, + "segment": "Сталинабад" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Акрам Ахматович Джураев ( , Сталинабад, СССР — Таджикистан) — учёный в области ядерной физики и использования её достижений в народном хозяйстве. Руководитель отрасли атомной энергетики Таджикистана. Кандидат физико-математических наук, бывший ведущий научный сотрудник Международного центра ядерно-физических исследований Физико-технического института им. С. Умарова АН РТ. Опубликовал более 100 научных и научно-популярных работ. Акрам Джураев выявил феномен аномального осаждения техногенных, космогенных и природных изотопов в природных средах.\nТекст 2: Душанбе ( — букв. \"понедельник\") — столица Таджикистана, город республиканского значения, самый крупный научно-культурный, политический, экономический, промышленный и административный центр страны. В Душанбе расположены высшие органы государственной власти страны. Население города на 1 января 2019 года составляло 846,4 тыс. чел., он является центром Душанбинской агломерации. С 12 января 2017 года мэром города Душанбе является Рустам Эмомали.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Акрам Ахматович Джураев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 282, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " гора Пиццо-Карбонара", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за место является наивысшей точкой горного хребта, к которому принадлежит Пелоритани?", + "support_text": "Пелоритани (\"Пелоританские горы\"; , ) — горный хребет на северо-востоке острова Сицилия. Горы Пелоритани располагаются на территории провинции Мессина. Высшая точка — Монтанья-Гранде (1374 м), большая территория массива находится на высотах 800—1000 м. Пелоритани вместе с горными массивами Неброди и Мадоние образуют \"Сицилийские Апеннины\". Геологически горы сложены преимущественно песчаником, реже встречаются известняки и сланцы.", + "text": "Сицилийские Апеннины — горная система на Сицилии, расположена на территории провинций Мессина и Палермо. Система отделена от Южных Апеннин Мессинским проливом и тянется вдоль Тирренского побережья острова. В Сицилийские Апеннины включают горные хребты Мадоние, Неброди и Пелоритани, расположенные между Палермо на западе и Мессинским проливом на востоке. В систему не входят вулкан Этна, а также Иблейские и Эрейские горы. Высшая точка — гора Пиццо-Карбонара (1979 м), по абсолютной высоте уступающая лишь Этне. Геологически Сицилийские Апеннины сложены сланцами, песчаниками, флишем, вершины — известняками. Горы покрыты хвойными лесами (пиния, сосна алеппская, сосна приморская), но встречаются также дуб, каштан, бук. На южных склонах и на побережье встречаются средиземноморские кустарники." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 443, + "segment": "Пиццо-Карбонара" + } + ], + "meta": { + "id": 314, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 319, + "segment": "Сицилийские Апеннины" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пелоритани (\"Пелоританские горы\"; , ) — горный хребет на северо-востоке острова Сицилия. Горы Пелоритани располагаются на территории провинции Мессина. Высшая точка — Монтанья-Гранде (1374 м), большая территория массива находится на высотах 800—1000 м. Пелоритани вместе с горными массивами Неброди и Мадоние образуют \"Сицилийские Апеннины\". Геологически горы сложены преимущественно песчаником, реже встречаются известняки и сланцы.\nТекст 2: Сицилийские Апеннины — горная система на Сицилии, расположена на территории провинций Мессина и Палермо. Система отделена от Южных Апеннин Мессинским проливом и тянется вдоль Тирренского побережья острова. В Сицилийские Апеннины включают горные хребты Мадоние, Неброди и Пелоритани, расположенные между Палермо на западе и Мессинским проливом на востоке. В систему не входят вулкан Этна, а также Иблейские и Эрейские горы. Высшая точка — гора Пиццо-Карбонара (1979 м), по абсолютной высоте уступающая лишь Этне. Геологически Сицилийские Апеннины сложены сланцами, песчаниками, флишем, вершины — известняками. Горы покрыты хвойными лесами (пиния, сосна алеппская, сосна приморская), но встречаются также дуб, каштан, бук. На южных склонах и на побережье встречаются средиземноморские кустарники.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за место является наивысшей точкой горного хребта, к которому принадлежит Пелоритани? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 390, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.07692307692307693, + "em": 0 + }, + "predict": " Угутка сливается в реку Юганскую Обь. Это следует из данных водного реестра, согласно которым река Угутка является притоком реки Большой Юган, впадающей в Юганскую Обь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Угутка?", + "support_text": "Угутка — река в России, протекает в Ханты-Мансийском АО. Устье реки находится в 168 км по правому берегу реки Большой Юган. Длина реки составляет 42 км. Непосредственно ниже устья Угутки расположено село Угут. Река имеет природоохранное значение, как зимовальная для местных пород рыб, прежде всего для ельца сибирского.", + "text": "Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Обь" + } + ], + "meta": { + "id": 851, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 110, + "segment": "Большой Юган" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Угутка — река в России, протекает в Ханты-Мансийском АО. Устье реки находится в 168 км по правому берегу реки Большой Юган. Длина реки составляет 42 км. Непосредственно ниже устья Угутки расположено село Угут. Река имеет природоохранное значение, как зимовальная для местных пород рыб, прежде всего для ельца сибирского.\nТекст 2: Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Угутка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 328, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " В реку Вятка", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Трубная-Солоная?", + "support_text": "Трубная-Солоная — река в России, протекает в Нагорском районе Кировской области. Устье реки находится в 16 км по левому берегу реки Солоная. Длина реки составляет 12 км. Исток реки в 23 км к северо-востоку от города Нагорск.", + "text": "Солоная — река в России, протекает в Нагорском районе Кировской области. Устье реки находится в 956 км по правому берегу реки Вятки. Длина реки составляет 30 км, площадь водосборного бассейна 206 кв км. Исток реки у деревни Назаровцы (Мулинское сельское поселение) в 17 км к северо-востоку от города Нагорск.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 10010300212111100030597." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 126, + "segment": "Вятки" + }, + { + "label": "passage", + "length": 5, + "offset": 126, + "segment": "Вятка" + } + ], + "meta": { + "id": 854, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 8, + "segment": "Солоная" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Трубная-Солоная — река в России, протекает в Нагорском районе Кировской области. Устье реки находится в 16 км по левому берегу реки Солоная. Длина реки составляет 12 км. Исток реки в 23 км к северо-востоку от города Нагорск.\nТекст 2: Солоная — река в России, протекает в Нагорском районе Кировской области. Устье реки находится в 956 км по правому берегу реки Вятки. Длина реки составляет 30 км, площадь водосборного бассейна 206 кв км. Исток реки у деревни Назаровцы (Мулинское сельское поселение) в 17 км к северо-востоку от города Нагорск.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 10010300212111100030597.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Трубная-Солоная? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 328, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вожер сливается с рекой Шиес.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Вожер?", + "support_text": "Вожер — река в России, протекает по Ленскому району Архангельской области. Устье реки находится в 67 км по правому берегу реки Шиес. Длина реки составляет 18 км.", + "text": "Шиес (\"Шиэс\"; ) — река в России, левый приток Вычегды. Протекает в Ленском районе Архангельской области. Название происходит от нижневычегодского диалектного \"хомут\" и \"ёль\" \"лесная речка\", буквально — \"речка, изогнутая как хомут\". Станция Шиес Северной железной дороги и посёлок лесопункта на берегу получили наименование по названию реки.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от города Сыктывкар и до устья, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина. Код объекта в государственном водном реестре — 03020200212103000023627." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Вычегды" + }, + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Вычегда" + } + ], + "meta": { + "id": 588, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 127, + "segment": "Шиес" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Вожер — река в России, протекает по Ленскому району Архангельской области. Устье реки находится в 67 км по правому берегу реки Шиес. Длина реки составляет 18 км.\nТекст 2: Шиес (\"Шиэс\"; ) — река в России, левый приток Вычегды. Протекает в Ленском районе Архангельской области. Название происходит от нижневычегодского диалектного \"хомут\" и \"ёль\" \"лесная речка\", буквально — \"речка, изогнутая как хомут\". Станция Шиес Северной железной дороги и посёлок лесопункта на берегу получили наименование по названию реки.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от города Сыктывкар и до устья, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина. Код объекта в государственном водном реестре — 03020200212103000023627.\nВопрос: С какой рекой сливается река, в которую впадает Вожер?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 274, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нижняя палата парламента (Лок сабха).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Нарендра Кармаркар?", + "support_text": "Нарендра Кармаркар ( род. 1957) — индийский и американский , разработавший алгоритм, ставший известным под его именем (алгоритм Кармаркара).", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели. Официальные языки — хинди и английский.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 991, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 991, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 991, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 35, + "segment": "индийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Нарендра Кармаркар ( род. 1957) — индийский и американский , разработавший алгоритм, ставший известным под его именем (алгоритм Кармаркара).\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели. Официальные языки — хинди и английский.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Нарендра Кармаркар? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 517, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Гонконг", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за город стал местом смерти человека, в честь которого был назван \"Чатер-хаус\"?", + "support_text": "Чатер-хаус (Chater House, 遮打大廈) — 30-этажный гонконгский небоскрёб, расположенный в округе Сентрал-энд-Вестерн, на пересечении улиц Чатер-роуд и Педдер-стрит. Построен в 2000 — 2002 годах в стиле модерн, стоимость проекта составила 133 млн долларов. Девелопером здания является компания Hongkong Land — часть группы Jardine Matheson. Небоскрёб назван в честь знаменитого гонконгского застройщика и филантропа сэра Пола Чатера. Имеет три подземных этажа, где расположен паркинг, и трёхуровневый подиум, в котором расположены магазины Giorgio Armani, Bulgari, Loro Piana и Paule Ka.", + "text": "Сэр Хачик Пол Чатер (Sir Catchick Paul Chater, Փոլ Չաթեր, 遮打, 8 сентября 1846 года, Калькутта — 27 мая 1926 года, Гонконг) — влиятельный предприниматель и филантроп армянского происхождения, сделавший карьеру в Британском Гонконге, был консулом Высшего мирового суда Гонконга (1876—1926), членом Исполнительного совета Гонконга (1896—1926) и Законодательного совета Гонконга (1900—1906), более сорока лет являлся советником губернаторов Гонконга, рыцарь ордена Британской империи и ордена Святого Михаила и Святого Георгия." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 114, + "segment": "Гонконг" + } + ], + "meta": { + "id": 282, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 414, + "segment": "Пола Чатера" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Чатер-хаус (Chater House, 遮打大廈) — 30-этажный гонконгский небоскрёб, расположенный в округе Сентрал-энд-Вестерн, на пересечении улиц Чатер-роуд и Педдер-стрит. Построен в 2000 — 2002 годах в стиле модерн, стоимость проекта составила 133 млн долларов. Девелопером здания является компания Hongkong Land — часть группы Jardine Matheson. Небоскрёб назван в честь знаменитого гонконгского застройщика и филантропа сэра Пола Чатера. Имеет три подземных этажа, где расположен паркинг, и трёхуровневый подиум, в котором расположены магазины Giorgio Armani, Bulgari, Loro Piana и Paule Ka.\nТекст 2: Сэр Хачик Пол Чатер (Sir Catchick Paul Chater, Փոլ Չաթեր, 遮打, 8 сентября 1846 года, Калькутта — 27 мая 1926 года, Гонконг) — влиятельный предприниматель и филантроп армянского происхождения, сделавший карьеру в Британском Гонконге, был консулом Высшего мирового суда Гонконга (1876—1926), членом Исполнительного совета Гонконга (1896—1926) и Законодательного совета Гонконга (1900—1906), более сорока лет являлся советником губернаторов Гонконга, рыцарь ордена Британской империи и ордена Святого Михаила и Святого Георгия.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за город стал местом смерти человека, в честь которого был назван \"Чатер-хаус\"? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " каталанский язык.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой язык был родным для отца Изабеллы де Вильены?", + "support_text": "Изабелла де Вильена (1430—1490) — испанская религиозная писательница, настоятельница в Валенсии. Считается одной из первых писательниц на каталанском языке; её важнейшим произведением является \"\" (\"Жизнь Христа\"). Также рассматривается как протофеминистка в связи с её попытками улучшить восприятие женщин в обществе. Незаконнорождённая дочь поэта Энрике де Вильена (1384—1434).", + "text": "Энрике де Вильена (1384—1434) — кастильский и арагонский аристократ и писатель, имевший также репутацию чернокнижника.\n\nЛитературная деятельность.\nК их числу относится \"Arte Cisoria\" (\"Искусство разрезывать мясо за столом\"), написанное по просьбе его друга, главного стольника короля Хуана II, и посвящённое тщательному описанию тайн правильной сервировки стола. \"Arte de Trobar\" (\"Искусство трубадура\", 1433) посвящено поэту маркизу Сантильяне и является руководством по поэзии трубадуров; это произведение сохранилось в сокращённом виде. Также Вильена был автором переводов произведений Цицерона, Данте и Вергилия, большей частью утраченных; его перевод \"Энеида\" является первым на испанском языке. Наиболее известным трудом де Вильены является \"Trobajos de Hercules\" (\"Подвиги Геркулеса\"), появившимся в результате желания одного из его кастильских друзей познакомиться с этим мифологическим сюжетом. Ещё в рукописи это сочинение имело большой успех, после изобретения книгопечатания до 1500 года выдержало два издания, однако вскоре было забыто. Этот небольшой трактат (тридцать листов в издании 1483 года) состоит из 12 частей по числу подвигов Геркулеса, каждая из которых состоит из четырёх глав." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 687, + "segment": "испанском языке" + }, + { + "label": "passage", + "length": 15, + "offset": 687, + "segment": "Испанском языке" + } + ], + "meta": { + "id": 688, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 349, + "segment": "Энрике де Вильена" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой язык был родным для отца Изабеллы де Вильены?\nТекст 1: Изабелла де Вильена (1430—1490) — испанская религиозная писательница, настоятельница в Валенсии. Считается одной из первых писательниц на каталанском языке; её важнейшим произведением является \"\" (\"Жизнь Христа\"). Также рассматривается как протофеминистка в связи с её попытками улучшить восприятие женщин в обществе. Незаконнорождённая дочь поэта Энрике де Вильена (1384—1434).\nТекст 2: Энрике де Вильена (1384—1434) — кастильский и арагонский аристократ и писатель, имевший также репутацию чернокнижника.\n\nЛитературная деятельность.\nК их числу относится \"Arte Cisoria\" (\"Искусство разрезывать мясо за столом\"), написанное по просьбе его друга, главного стольника короля Хуана II, и посвящённое тщательному описанию тайн правильной сервировки стола. \"Arte de Trobar\" (\"Искусство трубадура\", 1433) посвящено поэту маркизу Сантильяне и является руководством по поэзии трубадуров; это произведение сохранилось в сокращённом виде. Также Вильена был автором переводов произведений Цицерона, Данте и Вергилия, большей частью утраченных; его перевод \"Энеида\" является первым на испанском языке. Наиболее известным трудом де Вильены является \"Trobajos de Hercules\" (\"Подвиги Геркулеса\"), появившимся в результате желания одного из его кастильских друзей познакомиться с этим мифологическим сюжетом. Ещё в рукописи это сочинение имело большой успех, после изобретения книгопечатания до 1500 года выдержало два издания, однако вскоре было забыто. Этот небольшой трактат (тридцать листов в издании 1483 года) состоит из 12 частей по числу подвигов Геркулеса, каждая из которых состоит из четырёх глав.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Юган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Портынпеу?", + "support_text": "Портынпеу (\"устар.\" Портын-Пеу) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 607 км по правому берегу реки Большой Юган. Длина реки составляет 26 км.", + "text": "Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины. Много притоков, из которых наиболее крупным является правый Малый Юган.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 142, + "segment": "Обь" + } + ], + "meta": { + "id": 679, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 136, + "segment": "Большой Юган" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Портынпеу (\"устар.\" Портын-Пеу) — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 607 км по правому берегу реки Большой Юган. Длина реки составляет 26 км.\nТекст 2: Большой Юган — река в России, протекает по территории Сургутского и Нефтеюганского районов Ханты-Мансийского автономного округа, левый приток Оби, впадает в Юганскую Обь. Длина реки — 1063 км, площадь водосборного бассейна — 34 700 кв км. В 118 км от устья среднегодовой расход воды — 177,67 м³/с. Исток в болотах Васюганья (Васюганские болота), протекает по заболоченной территории Западно-Сибирской равнины. Много притоков, из которых наиболее крупным является правый Малый Юган.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Портынпеу?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 330, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.125, + "em": 0 + }, + "predict": " Глава государства в стране, чьим гражданином был Сергей Фёдорович Чубаров, занимал должность Императора Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Сергей Фёдорович Чубаров?", + "support_text": "Сергей Федорович Чубаров (1845 Пензенская губерния Российская империя — 10 октября 1879 Одесса Российская империя) — русский революционер-народник.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 477, + "segment": "Император" + }, + { + "label": "passage", + "length": 23, + "offset": 593, + "segment": "Император Всероссийский" + }, + { + "label": "passage", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + } + ], + "meta": { + "id": 1018, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 51, + "segment": "Российская империя" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Сергей Федорович Чубаров (1845 Пензенская губерния Российская империя — 10 октября 1879 Одесса Российская империя) — русский революционер-народник.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Сергей Фёдорович Чубаров?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 274, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кисьма", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Ворговаш?", + "support_text": "Ворговаш — река в России, протекает на северо-западе Переславского района Ярославской области; правый приток реки Кисьма. Сельские населённые пункты около реки: Паньково, Кормолиха, Колокарёво, Даратники, Кисьма; напротив устья — Бурцево.", + "text": "Кисьма — река в России, протекает на северо-западе Переславского района Ярославской области. Начинается к югу Тархова холм. Устье реки находится в 34 км по левому берегу реки Сабля от её устья. Длина реки составляет 32 км, площадь водосборного бассейна — 198 кв км. Крупнейшие притоки: Светишонка (слева), Безделиха (справа), Чёрная (слева), Мошница (справа, 12 км от устья), Ворговаш (справа)." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 175, + "segment": "Сабля" + } + ], + "meta": { + "id": 411, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 114, + "segment": "Кисьма" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ворговаш — река в России, протекает на северо-западе Переславского района Ярославской области; правый приток реки Кисьма. Сельские населённые пункты около реки: Паньково, Кормолиха, Колокарёво, Даратники, Кисьма; напротив устья — Бурцево.\nТекст 2: Кисьма — река в России, протекает на северо-западе Переславского района Ярославской области. Начинается к югу Тархова холм. Устье реки находится в 34 км по левому берегу реки Сабля от её устья. Длина реки составляет 32 км, площадь водосборного бассейна — 198 кв км. Крупнейшие притоки: Светишонка (слева), Безделиха (справа), Чёрная (слева), Мошница (справа, 12 км от устья), Ворговаш (справа).\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Ворговаш? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 254, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Владимир Григорьевич Сухарев?", + "support_text": "Владимир Григорьевич Сухарев (Сухарёв) (30 октября 1946, Казань, Татарская АССР, СССР) — советский футболист, защитник. Воспитанник казанской ДЮСШ \"Стрела\". В команде мастеров дебютировал в 1956 году в классе \"Б\" в составе \"Нефтяника\" Бугульма. В 1966—1967 годах проходил армейскую службу. В 1966 году провёл четыре матча за дубль ЦСКА.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 617, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 182, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 58, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Владимир Григорьевич Сухарев (Сухарёв) (30 октября 1946, Казань, Татарская АССР, СССР) — советский футболист, защитник. Воспитанник казанской ДЮСШ \"Стрела\". В команде мастеров дебютировал в 1956 году в классе \"Б\" в составе \"Нефтяника\" Бугульма. В 1966—1967 годах проходил армейскую службу. В 1966 году провёл четыре матча за дубль ЦСКА.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Владимир Григорьевич Сухарев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 359, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Большой совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Маркантонио Бассетти?", + "support_text": "Маркантонио Бассетти ( 1586, Верона, Венецианская республика — 1630, там же) — итальянский живописец, писавший картины в стиле маньеризма и караваджизма.", + "text": "Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей. Институт дожей существовал в общей сложности ровно 1100 лет (697—1797).\n\nИстория.\nВнутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. В войнах, возникших вследствие Французской революции, Венеция утратила свою самостоятельность. Когда Бонапарт в 1797 году вторгся в Штирию, в тылу у него восстало против французов сельское население Террафермы. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство)." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 710, + "segment": "Большой совет" + } + ], + "meta": { + "id": 399, + "bridge_answers": [ + { + "label": "passage", + "length": 23, + "offset": 38, + "segment": "Венецианская республика" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Маркантонио Бассетти ( 1586, Верона, Венецианская республика — 1630, там же) — итальянский живописец, писавший картины в стиле маньеризма и караваджизма.\nТекст 2: Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей. Институт дожей существовал в общей сложности ровно 1100 лет (697—1797).\n\nИстория.\nВнутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. В войнах, возникших вследствие Французской революции, Венеция утратила свою самостоятельность. Когда Бонапарт в 1797 году вторгся в Штирию, в тылу у него восстало против французов сельское население Террафермы. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство).\nВопрос: Как называется законодательный орган государства, гражданином которого является Маркантонио Бассетти?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 570, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Пысса", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Пыл?", + "support_text": "Пыл (устар. \"Пыл-Ю\") — река в России, течёт по территории Удорского района Республики Коми. Левый приток реки Пысса. Длина реки составляет 15 км.", + "text": "Пысса — река в Республике Коми, левый приток реки Мезень. Длина 164 км, площадь бассейна 1160 кв км. Питание смешанное, с преобладанием снегового. Пысса начинается на западе Республики Коми, течёт на всём протяжении на восток вдоль границы Архангельской области по лесистой, ненаселённой местности. Русло извилистое, течение слабое. В месте впадения Пыссы в Мезень стоит село Большая Пысса. Ранее по реке проводился лесосплав." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 51, + "segment": "Мезень" + }, + { + "label": "passage", + "length": 6, + "offset": 359, + "segment": "Мезень" + } + ], + "meta": { + "id": 744, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 110, + "segment": "Пысса" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пыл (устар. \"Пыл-Ю\") — река в России, течёт по территории Удорского района Республики Коми. Левый приток реки Пысса. Длина реки составляет 15 км.\nТекст 2: Пысса — река в Республике Коми, левый приток реки Мезень. Длина 164 км, площадь бассейна 1160 кв км. Питание смешанное, с преобладанием снегового. Пысса начинается на западе Республики Коми, течёт на всём протяжении на восток вдоль границы Архангельской области по лесистой, ненаселённой местности. Русло извилистое, течение слабое. В месте впадения Пыссы в Мезень стоит село Большая Пысса. Ранее по реке проводился лесосплав.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Пыл? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 220, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Безбабченко, Андрей Иванович", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Михаил Пасечнюк?", + "support_text": "Михаил Пасечнюк ( 9 марта 1991, Тирасполь) — молдавский футболист, полузащитник.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 534, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 534, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 522, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 33, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Михаил Пасечнюк ( 9 марта 1991, Тирасполь) — молдавский футболист, полузащитник.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Михаил Пасечнюк? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": [ + 24 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3076923076923077, + "em": 0 + }, + "predict": " Карол Добиаш работал с командой \"Спарта\", которая играет в Первой лиге.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой зовут Карол Добиаш?", + "support_text": "Карол Добиаш ( 18 декабря 1947, Гандлова, Чехословакия) — чехословацкий футболист, правый защитник и полузащитник, впоследствии — словацкий футбольный тренер.\n\nКарьера.\nТренерская. Как тренер Карол Добиаш 4 года работал с молодёжным составом \"Богемианса\", а в 1988 году возглавил клуб \"Градец-Кралове\", но вскоре был уволен. В сентябре 1990 года Добиаш стал главным тренером \"Зброёвки\", первый сезон под руководством Добиаша закончился для клуба из Брно неудачей: заняв последнее место в турнирной таблице, команда покинула Первую лигу. Добиаш продолжил работу с клубом и за один сезон вернул его в Первую лигу (в то время клуб назывался \"Боби-Брно\"). В сезоне 1993/94 Карол Добиаш тренировал пражскую \"Спарту\", с которой выиграл первый чемпионат Чехии. Позже возглавлял клуб \"Спарта\" (Крч), работал скаутом в \"Спарте\", а в сезоне 2003/04 — помощником главного тренера \"Богемианса\". Во время чемпионата Европы-2008 был экспертом на чешской версии канала \"Eurosport\".", + "text": "'Спарта' — чешский профессиональный футбольный клуб из Праги, выступающий в Первой лиге. Основан в 1893 году. Является самым успешным среди всех чешских футбольных клубов. 'Спарта' 21 раз становилась чемпионом Чехословакии, 12 раз — чемпионом Чехии.\n\nВыступление в чемпионате и Кубке Чехии.\nHET лига. 1. . 5. '1/8 финала'. 2018/19. Fortuna лига. 1. . 3. '1/2 финала'. 2019/20. Fortuna лига. 1. . 3. 'Победитель'." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 76, + "segment": "Первой лиге" + } + ], + "meta": { + "id": 1050, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 707, + "segment": "Спарту" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Карол Добиаш ( 18 декабря 1947, Гандлова, Чехословакия) — чехословацкий футболист, правый защитник и полузащитник, впоследствии — словацкий футбольный тренер.\n\nКарьера.\nТренерская. Как тренер Карол Добиаш 4 года работал с молодёжным составом \"Богемианса\", а в 1988 году возглавил клуб \"Градец-Кралове\", но вскоре был уволен. В сентябре 1990 года Добиаш стал главным тренером \"Зброёвки\", первый сезон под руководством Добиаша закончился для клуба из Брно неудачей: заняв последнее место в турнирной таблице, команда покинула Первую лигу. Добиаш продолжил работу с клубом и за один сезон вернул его в Первую лигу (в то время клуб назывался \"Боби-Брно\"). В сезоне 1993/94 Карол Добиаш тренировал пражскую \"Спарту\", с которой выиграл первый чемпионат Чехии. Позже возглавлял клуб \"Спарта\" (Крч), работал скаутом в \"Спарте\", а в сезоне 2003/04 — помощником главного тренера \"Богемианса\". Во время чемпионата Европы-2008 был экспертом на чешской версии канала \"Eurosport\".\nТекст 2: 'Спарта' — чешский профессиональный футбольный клуб из Праги, выступающий в Первой лиге. Основан в 1893 году. Является самым успешным среди всех чешских футбольных клубов. 'Спарта' 21 раз становилась чемпионом Чехословакии, 12 раз — чемпионом Чехии.\n\nВыступление в чемпионате и Кубке Чехии.\nHET лига. 1. . 5. '1/8 финала'. 2018/19. Fortuna лига. 1. . 3. '1/2 финала'. 2019/20. Fortuna лига. 1. . 3. 'Победитель'.\nОпираясь на данные тексты, ответьте на вопрос: В какой лиге играет команда, тренера которой зовут Карол Добиаш?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Тихий океан", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой части света находится страна, которую в спорте представлял Хордан Ресабала?", + "support_text": "Хордан Ленин Ресабала Ансулес ( род. 26 февраля 2000 года в Портовьехо, Эквадор) — эквадорский футболист, полузащитник клуба \"Тихуана\".\n\nДостижения.\nМеждународные. Эквадор (до 20). Победитель Молодёжного чемпионата Южной Америки — 2019.", + "text": "Эквадор (), официальное название — Республика Эквадор ( ), — государство на северо-западе Южной Америки. На западе Эквадор омывается Тихим океаном, на севере граничит с Колумбией, на востоке и юге — с Перу. В состав Эквадора входят острова Галапагос. Унитарное государство.\n\nКультура.\nЭквадор отличает сочетание испанского культурного наследия с культурными традициями коренного населения. Когда-то территория страны входила с состав империи инков. Кито, сохранившийся лучше прочих колониальных столиц Южной Америки, являет прекрасные образцы ранней колониальной архитектуры. В колониальную эпоху все виды искусства развивались под влиянием церкви и носили отпечаток господствовавшего в Европе стиля барокко." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 90, + "segment": "Южной Америки" + } + ], + "meta": { + "id": 575, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 73, + "segment": "Эквадор" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Хордан Ленин Ресабала Ансулес ( род. 26 февраля 2000 года в Портовьехо, Эквадор) — эквадорский футболист, полузащитник клуба \"Тихуана\".\n\nДостижения.\nМеждународные. Эквадор (до 20). Победитель Молодёжного чемпионата Южной Америки — 2019.\nТекст 2: Эквадор (), официальное название — Республика Эквадор ( ), — государство на северо-западе Южной Америки. На западе Эквадор омывается Тихим океаном, на севере граничит с Колумбией, на востоке и юге — с Перу. В состав Эквадора входят острова Галапагос. Унитарное государство.\n\nКультура.\nЭквадор отличает сочетание испанского культурного наследия с культурными традициями коренного населения. Когда-то территория страны входила с состав империи инков. Кито, сохранившийся лучше прочих колониальных столиц Южной Америки, являет прекрасные образцы ранней колониальной архитектуры. В колониальную эпоху все виды искусства развивались под влиянием церкви и носили отпечаток господствовавшего в Европе стиля барокко.\nОпираясь на данные тексты, ответьте на вопрос: На территории какой части света находится страна, которую в спорте представлял Хордан Ресабала? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 281, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714288, + "em": 0 + }, + "predict": " Большая Сыя сливается с Чёрным Июсом, который в свою очередь сливается с рекой Чулым. Таким образом, Большая Сыя сливается с Чулымом, который является правым притоком Оби.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большая Сыя?", + "support_text": "Большая Сыя (в верховье — Леонтьевский) — горная река северо-восточных отрогов Кузнецкого Алатау, левый приток реки Белый Июс. Длина — 29 км. Протекает по территории Ширинского района Хакасии.", + "text": "Белый Июс ((), \"ах\" \"белый\", \"ӱӱс\" \"река\" (от др.-тюрк. \"ӱгӱз\" \"река\")) (Пихтерек) — река в Республике Хакасия, Россия.\n\nОписание.\nВ верховьях Белый Июс именуется Пихтерек и имеет характер быстрой горной реки, в низовьях течёт среди холмистых степных пространств западной окраины Чулымо-Енисейской котловины. Питание главным образом снеговое. Сплавная. Сливаясь с Чёрным Июсом, образуют реку Чулым, правый приток Оби. Протекает по территории Орджоникидзевского и Ширинского районов. Истоками являются мелкие горные озера на высоте 1000 м. В верхнем течении (до села Ефремкино) река типично горная, остальная часть — равнинная. Густота речной сети 0,5—0,7 км/кв км. Длина — 224 км. Является притоком реки Чулым. Модуль стока — 5—10 л/сек·кв км. Основные притоки первого порядка: левые — Тюхтерек, Большая Сыя, Малая Сыя, Тарга, Чёрная и др.; правые — Харатас, Тунгужуль, Шаблык, Тюрим и др." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 367, + "segment": "Чёрным Июсом" + }, + { + "label": "passage", + "length": 12, + "offset": 367, + "segment": "Чёрный Июс" + } + ], + "meta": { + "id": 582, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 116, + "segment": "Белый Июс" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Большая Сыя?\nТекст 1: Большая Сыя (в верховье — Леонтьевский) — горная река северо-восточных отрогов Кузнецкого Алатау, левый приток реки Белый Июс. Длина — 29 км. Протекает по территории Ширинского района Хакасии.\nТекст 2: Белый Июс ((), \"ах\" \"белый\", \"ӱӱс\" \"река\" (от др.-тюрк. \"ӱгӱз\" \"река\")) (Пихтерек) — река в Республике Хакасия, Россия.\n\nОписание.\nВ верховьях Белый Июс именуется Пихтерек и имеет характер быстрой горной реки, в низовьях течёт среди холмистых степных пространств западной окраины Чулымо-Енисейской котловины. Питание главным образом снеговое. Сплавная. Сливаясь с Чёрным Июсом, образуют реку Чулым, правый приток Оби. Протекает по территории Орджоникидзевского и Ширинского районов. Истоками являются мелкие горные озера на высоте 1000 м. В верхнем течении (до села Ефремкино) река типично горная, остальная часть — равнинная. Густота речной сети 0,5—0,7 км/кв км. Длина — 224 км. Является притоком реки Чулым. Модуль стока — 5—10 л/сек·кв км. Основные притоки первого порядка: левые — Тюхтерек, Большая Сыя, Малая Сыя, Тарга, Чёрная и др.; правые — Харатас, Тунгужуль, Шаблык, Тюрим и др.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 399, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, питающаяся от реки, притоком которой является Эбогон, называется Кан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Эбогон?", + "support_text": "Эбогон (Ебогон) — река в России, протекает в Республике Алтай. Устье реки находится в 12 км по левому берегу реки Кан. Длина реки составляет 16 км.", + "text": "Кан — река в Республике Алтай, протекает по территории Усть-Канского района. Длина реки составляет 30 километров. Начинается на южном склоне Бащелакского хребта, около перевала Келейский. Течёт в общем южном направлении между хребтами Тышкен, Караучук, Кулашта, в низовьях поворачивает к западу. Долина реки в нижнем течении заболочена. Впадает в Чарыш справа на расстоянии 506 километров от его устья. В среднем течении на левом берегу расположено село Яконур, в устье — Усть-Кан." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 347, + "segment": "Чарыш" + } + ], + "meta": { + "id": 434, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 114, + "segment": "Кан" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Эбогон (Ебогон) — река в России, протекает в Республике Алтай. Устье реки находится в 12 км по левому берегу реки Кан. Длина реки составляет 16 км.\nТекст 2: Кан — река в Республике Алтай, протекает по территории Усть-Канского района. Длина реки составляет 30 километров. Начинается на южном склоне Бащелакского хребта, около перевала Келейский. Течёт в общем южном направлении между хребтами Тышкен, Караучук, Кулашта, в низовьях поворачивает к западу. Долина реки в нижнем течении заболочена. Впадает в Чарыш справа на расстоянии 506 километров от его устья. В среднем течении на левом берегу расположено село Яконур, в устье — Усть-Кан.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Эбогон?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Инсар", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Аморда?", + "support_text": "Аморда — река в России, правый приток Инсара, протекает по Лямбирскому и Ромодановскому районам Мордовии. Длина реки составляет 47 км, площадь водосборного бассейна — 608 кв км. Устье находится в 51 км от устья Инсара. В 9,5 км от устья принимает справа реку Сухая Аморда. Исток реки у деревни Старая Уда на границе с Кочкуровским районом в 18 км к востоку от центра города Саранск.", + "text": "Инсар ( ) — река в России, правый приток реки Алатырь, крупнейший приток этой реки. Протекает по территории Мордовии. Длина — 168 км, площадь водосборного бассейна — 3860 кв км. Питание преимущественно снеговое.\n\nГеография.\nДалее по левому берегу село Нижняя Муравьёвка, затем приток Картлей и деревня Макаровка (Рузаевский район), по правому берегу — село Инсар-Акшино, деревни Старый Усад, Трускляй и Красное Сельцо. В Рузаевке в Инсар впадают крупный левый приток Пишля и правый Шебдас, далее река поворачивает на северо-восток. Ниже Рузаевки вдоль реки до устья и далее проложена железнодорожная ветка Рузаевка — Саранск — Красный Узел — Алатырь — Канаш. Дорога переходит с одного берега реки на другой: левый между Рузаевкой и Саранском, правый от Саранска до Ромоданово, затем снова левый от Ромоданово до устья Инсара. Ниже Рузаевки по левому берегу Инсара находятся посёлки Красный Клин, Надеждинка и Новые Полянки, по правому — Зыково и село Монастырское." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Алатырь" + } + ], + "meta": { + "id": 578, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 38, + "segment": "Инсара" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Аморда — река в России, правый приток Инсара, протекает по Лямбирскому и Ромодановскому районам Мордовии. Длина реки составляет 47 км, площадь водосборного бассейна — 608 кв км. Устье находится в 51 км от устья Инсара. В 9,5 км от устья принимает справа реку Сухая Аморда. Исток реки у деревни Старая Уда на границе с Кочкуровским районом в 18 км к востоку от центра города Саранск.\nТекст 2: Инсар ( ) — река в России, правый приток реки Алатырь, крупнейший приток этой реки. Протекает по территории Мордовии. Длина — 168 км, площадь водосборного бассейна — 3860 кв км. Питание преимущественно снеговое.\n\nГеография.\nДалее по левому берегу село Нижняя Муравьёвка, затем приток Картлей и деревня Макаровка (Рузаевский район), по правому берегу — село Инсар-Акшино, деревни Старый Усад, Трускляй и Красное Сельцо. В Рузаевке в Инсар впадают крупный левый приток Пишля и правый Шебдас, далее река поворачивает на северо-восток. Ниже Рузаевки вдоль реки до устья и далее проложена железнодорожная ветка Рузаевка — Саранск — Красный Узел — Алатырь — Канаш. Дорога переходит с одного берега реки на другой: левый между Рузаевкой и Саранском, правый от Саранска до Ромоданово, затем снова левый от Ромоданово до устья Инсара. Ниже Рузаевки по левому берегу Инсара находятся посёлки Красный Клин, Надеждинка и Новые Полянки, по правому — Зыково и село Монастырское.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Аморда? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава администрации в городе, где родилась Евгения Максимовна Тарасова, является мэром Казани.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Евгения Максимовна Тарасова?", + "support_text": "Евгения Максимовна Тарасова (род. 17 декабря 1994 года в Казани, Татарстан, Россия) — российская фигуристка, выступающая в парном катании с Владимиром Морозовым. Вместе они серебряные призёры Олимпийских игр 2018 года в командных соревнованиях, двукратные серебряные (2018, 2019) и бронзовые (2017) призеры чемпионата мира, победители (2016) и бронзовые призеры (2018) финала Гран-при, двукратные чемпионы Европы (2017, 2018), двукратные серебряные (2019, 2020) и двукратные бронзовые призёры чемпионата Европы (2015, 2016), серебряные призёры зимней Универсиады в 2013 году, двукратные серебряные призёры юниорского чемпионата (2014 год), многократные призёры чемпионатов России и чемпионы России среди юниоров 2014 года. Заслуженный мастер спорта России. По состоянию на апрель 2020 года пара занимает 2-е место в рейтинге Международного союза конькобежцев (ИСУ).\n\nКарьера.\nНачальный этап. Евгения Тарасова родилась 17 декабря 1994 года в Казани и в четыре года начала заниматься фигурным катанием. Первым её тренером был Геннадий Тарасов, после его гибели она тренировалась у Вячеслава Головлёва. Была одной из самых успешных фигуристок-одиночниц Татарстана.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 642, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 454, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 57, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родилась Евгения Максимовна Тарасова?\nТекст 1: Евгения Максимовна Тарасова (род. 17 декабря 1994 года в Казани, Татарстан, Россия) — российская фигуристка, выступающая в парном катании с Владимиром Морозовым. Вместе они серебряные призёры Олимпийских игр 2018 года в командных соревнованиях, двукратные серебряные (2018, 2019) и бронзовые (2017) призеры чемпионата мира, победители (2016) и бронзовые призеры (2018) финала Гран-при, двукратные чемпионы Европы (2017, 2018), двукратные серебряные (2019, 2020) и двукратные бронзовые призёры чемпионата Европы (2015, 2016), серебряные призёры зимней Универсиады в 2013 году, двукратные серебряные призёры юниорского чемпионата (2014 год), многократные призёры чемпионатов России и чемпионы России среди юниоров 2014 года. Заслуженный мастер спорта России. По состоянию на апрель 2020 года пара занимает 2-е место в рейтинге Международного союза конькобежцев (ИСУ).\n\nКарьера.\nНачальный этап. Евгения Тарасова родилась 17 декабря 1994 года в Казани и в четыре года начала заниматься фигурным катанием. Первым её тренером был Геннадий Тарасов, после его гибели она тренировалась у Вячеслава Головлёва. Была одной из самых успешных фигуристок-одиночниц Татарстана.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 583, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Художник, написавший \"Групповой портрет художников общества «Мир искусства»\", Борис Михайлович Кустодиев, был рождён в Астрахани.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где был рождён художник, написавший \"Групповой портрет художников общества «Мир искусства»\"?", + "support_text": "'Групповой портрет художников общества „Мир искусства“' российского художника Бориса Кустодиева, был начат им в 1920 году, но остался незаконченным. Сохранилось множество отдельных этюдов к картине.\n\nОписание.\nКартина размерами написана маслом на холсте. Справа внизу подпись: 'Б. Кустодиевъ/1916—1920'. На портрете в порядке слева направо изображены: Игорь Грабарь, Николай Рерих, Евгений Лансере, Борис Кустодиев, Иван Билибин, Анна Остроумова-Лебедева, Александр Бенуа, Георгий Нарбут, Кузьма Петров-Водкин, Николай Милиоти, Константин Сомов, Мстислав Добужинский. Все художники запечатлены серьезными и творчески одухотвореными в увлечённом горячем споре, в объединяющем их всех обсуждении дальнейшей судьбы общества. Каждый изображён индивидуальной и яркой личностью, со своим особым выражением лица и выразительной позой. Картина живописует собрание художников в непринуждённой, но изысканной обстановке гостиной квартиры Добужинского.", + "text": "Борис Михайлович Кустодиев ( Астрахань — 26 мая 1927, Ленинград) — русский и советский художник. Академик живописи ИАХ (1909). Член Ассоциации художников революционной России (с 1923 года). Портретист, театральный художник, декоратор.\n\nБиография.\nБорис Кустодиев родился в Астрахани. Его отец, Михаил Лукич Кустодиев (1841—1879, Астрахань ), был профессором философии, истории литературы и преподавал логику в местной духовной семинарии.\n\nПамять.\nВ 1978 году были изданы серия марок с почтовым блоком и художественный маркированный конверт, посвящённые художнику и его творчеству. Также художественный маркированный конверт с изображением Б. М. Кустодиева был выпущен в 2003 году (художник Б. Илюхин, тираж 1 000 000 экземпляров). В Астрахани рядом с Астраханской картинной галереей имени П. М. Догадина (ранее им. Б. М. Кустодиева) расположен памятник Б. М. Кустодиеву. Дом-музей Б. М. Кустодиева в Астрахани находится по адресу ул. Калинина, 26 / ул. Свердлова, 68." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 29, + "segment": "Астрахань" + } + ], + "meta": { + "id": 363, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 78, + "segment": "Бориса Кустодиева" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Где был рождён художник, написавший \"Групповой портрет художников общества «Мир искусства»\"?\nТекст 1: 'Групповой портрет художников общества „Мир искусства“' российского художника Бориса Кустодиева, был начат им в 1920 году, но остался незаконченным. Сохранилось множество отдельных этюдов к картине.\n\nОписание.\nКартина размерами написана маслом на холсте. Справа внизу подпись: 'Б. Кустодиевъ/1916—1920'. На портрете в порядке слева направо изображены: Игорь Грабарь, Николай Рерих, Евгений Лансере, Борис Кустодиев, Иван Билибин, Анна Остроумова-Лебедева, Александр Бенуа, Георгий Нарбут, Кузьма Петров-Водкин, Николай Милиоти, Константин Сомов, Мстислав Добужинский. Все художники запечатлены серьезными и творчески одухотвореными в увлечённом горячем споре, в объединяющем их всех обсуждении дальнейшей судьбы общества. Каждый изображён индивидуальной и яркой личностью, со своим особым выражением лица и выразительной позой. Картина живописует собрание художников в непринуждённой, но изысканной обстановке гостиной квартиры Добужинского.\nТекст 2: Борис Михайлович Кустодиев ( Астрахань — 26 мая 1927, Ленинград) — русский и советский художник. Академик живописи ИАХ (1909). Член Ассоциации художников революционной России (с 1923 года). Портретист, театральный художник, декоратор.\n\nБиография.\nБорис Кустодиев родился в Астрахани. Его отец, Михаил Лукич Кустодиев (1841—1879, Астрахань ), был профессором философии, истории литературы и преподавал логику в местной духовной семинарии.\n\nПамять.\nВ 1978 году были изданы серия марок с почтовым блоком и художественный маркированный конверт, посвящённые художнику и его творчеству. Также художественный маркированный конверт с изображением Б. М. Кустодиева был выпущен в 2003 году (художник Б. Илюхин, тираж 1 000 000 экземпляров). В Астрахани рядом с Астраханской картинной галереей имени П. М. Догадина (ранее им. Б. М. Кустодиева) расположен памятник Б. М. Кустодиеву. Дом-музей Б. М. Кустодиева в Астрахани находится по адресу ул. Калинина, 26 / ул. Свердлова, 68.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 564, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Авилов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Иван Фёдорович Панькин?", + "support_text": "Иван Фёдорович Панькин (1 декабря 1921, село Пылково, Саратовская губерния — 19 октября 1998, Тула) — советский и российский писатель фольклорного направления, член Союза писателей СССР (с 1958), заслуженный работник культуры РФ (1992), почётный гражданин города Тулы.\n\nБиография.\nПочётная грамота Президиума Верховного Совета РСФСР (22.01.1982). Орден Отечественной войны 1-й степени (6.4.1985). Премия имени Сергия Радонежского (1991). Почётный гражданин Тулы (5.10.1994) — \"За многолетнюю литературную и общественную деятельность\". Премия имени Н. Лескова \"Левша\" (1995). Память. Скончался Иван Федорович 18 октября 1998 года в городе Туле.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 342, + "segment": "Евгений Авилов" + } + ], + "meta": { + "id": 233, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 94, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Иван Фёдорович Панькин (1 декабря 1921, село Пылково, Саратовская губерния — 19 октября 1998, Тула) — советский и российский писатель фольклорного направления, член Союза писателей СССР (с 1958), заслуженный работник культуры РФ (1992), почётный гражданин города Тулы.\n\nБиография.\nПочётная грамота Президиума Верховного Совета РСФСР (22.01.1982). Орден Отечественной войны 1-й степени (6.4.1985). Премия имени Сергия Радонежского (1991). Почётный гражданин Тулы (5.10.1994) — \"За многолетнюю литературную и общественную деятельность\". Премия имени Н. Лескова \"Левша\" (1995). Память. Скончался Иван Федорович 18 октября 1998 года в городе Туле.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где умер Иван Фёдорович Панькин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 509, + "generated_len": [ + 49 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сарагулка", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Ченковка?", + "support_text": "Ченковка — река в России, протекает по Свердловской области. Длина реки составляет 19 км. Начинается из болота Ченково к северу от посёлка Сарапулка. Течёт на юг, пересекает железную дорогу Устье-Аха — Егоршино (станция). Далее протекает по берёзовому лесу, отклоняясь к юго-западу, в низовьях снова направляется на юг. Устье реки находится в 58 км по правому берегу реки Сарагулка.", + "text": "Сарагулка — река в Свердловской области России. Устье реки находится в 358 км по левому берегу реки Тура. Длина реки составляет 58 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Тура от впадения реки Тагил и до устья, без рек Тагил, Ница и Пышма, речной подбассейн реки — Тобол. Речной бассейн реки — Иртыш. Код объекта в государственном водном реестре — 14010502312111200006244." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 100, + "segment": "Тура" + } + ], + "meta": { + "id": 735, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 372, + "segment": "Сарагулка" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ченковка — река в России, протекает по Свердловской области. Длина реки составляет 19 км. Начинается из болота Ченково к северу от посёлка Сарапулка. Течёт на юг, пересекает железную дорогу Устье-Аха — Егоршино (станция). Далее протекает по берёзовому лесу, отклоняясь к юго-западу, в низовьях снова направляется на юг. Устье реки находится в 58 км по правому берегу реки Сарагулка.\nТекст 2: Сарагулка — река в Свердловской области России. Устье реки находится в 358 км по левому берегу реки Тура. Длина реки составляет 58 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Тура от впадения реки Тагил и до устья, без рек Тагил, Ница и Пышма, речной подбассейн реки — Тобол. Речной бассейн реки — Иртыш. Код объекта в государственном водном реестре — 14010502312111200006244.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Ченковка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 299, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Автор произведения \"Зеркало и свет\", Хилари Мэнтел, родилась в Глоссопе, Дербишир.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился автор произведения \"Зеркало и свет\"?", + "support_text": "'Зеркало и свет' — исторический роман британской писательницы Хилари Мэнтел, впервые опубликованный в 2020 году. Заключительная часть трилогии, начатой романами 'Волчий зал' и 'Внесите тела'.", + "text": "Дама Хилари Мэри Мэнтел ( фамилия при рождении — Томпсон \"(Thompson),\" род. 6 июля 1952 года, Глоссоп, Дербишир) — британская писательница, литературный критик. Автор 14 книг (на 2015 год). Первая в мире писательница, ставшая дважды лауреатом Букеровской премии (2009, 2012). Дама-Командор ордена Британской империи." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 94, + "segment": "Глоссоп" + } + ], + "meta": { + "id": 23, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 62, + "segment": "Хилари Мэнтел" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: 'Зеркало и свет' — исторический роман британской писательницы Хилари Мэнтел, впервые опубликованный в 2020 году. Заключительная часть трилогии, начатой романами 'Волчий зал' и 'Внесите тела'.\nТекст 2: Дама Хилари Мэри Мэнтел ( фамилия при рождении — Томпсон \"(Thompson),\" род. 6 июля 1952 года, Глоссоп, Дербишир) — британская писательница, литературный критик. Автор 14 книг (на 2015 год). Первая в мире писательница, ставшая дважды лауреатом Букеровской премии (2009, 2012). Дама-Командор ордена Британской империи.\nВопрос: Где родился автор произведения \"Зеркало и свет\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереван", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется населенный пункт, в котором родился сын Гамлета Апетнаковича Мхитаряна?", + "support_text": "Гамлет Апетнакович Мхитарян ( ) — советский и армянский футболист, нападающий. Выступал за ереванский \"Арарат\", абовянский \"Котайк\" и французский \"Валанс\". Сын Генрих — игрок сборной Армении.", + "text": "Генрих Гамлетович Мхитарян ( род. 21 января 1989, Ереван, Армянская ССР, СССР) — армянский футболист, полузащитник итальянского клуба \"Рома\". Капитан национальной сборной Армении.\n\nБиография.\nРодился в Ереване 21 января 1989 года в семье футболиста. В 1990 году переехал во Францию, где играл его отец Гамлет Мхитарян, там Генрих выучил французский язык. После смерти отца с семьёй вернулся в Ереван, где начал заниматься футболом в академии \"Пюника\". В 2003 году в возрасте 14 лет отправился на четырёхмесячную стажировку в бразильский клуб \"Сан-Паулу\", где познакомился с такими футболистами как Эрнанес, Лукас, Оскар, Денилсон. В 2017 году награждён орденом \"За заслуги перед Отечеством\" 1-й степени." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 51, + "segment": "Ереван" + } + ], + "meta": { + "id": 406, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 161, + "segment": "Генрих" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Гамлет Апетнакович Мхитарян ( ) — советский и армянский футболист, нападающий. Выступал за ереванский \"Арарат\", абовянский \"Котайк\" и французский \"Валанс\". Сын Генрих — игрок сборной Армении.\nТекст 2: Генрих Гамлетович Мхитарян ( род. 21 января 1989, Ереван, Армянская ССР, СССР) — армянский футболист, полузащитник итальянского клуба \"Рома\". Капитан национальной сборной Армении.\n\nБиография.\nРодился в Ереване 21 января 1989 года в семье футболиста. В 1990 году переехал во Францию, где играл его отец Гамлет Мхитарян, там Генрих выучил французский язык. После смерти отца с семьёй вернулся в Ереван, где начал заниматься футболом в академии \"Пюника\". В 2003 году в возрасте 14 лет отправился на четырёхмесячную стажировку в бразильский клуб \"Сан-Паулу\", где познакомился с такими футболистами как Эрнанес, Лукас, Оскар, Денилсон. В 2017 году награждён орденом \"За заслуги перед Отечеством\" 1-й степени.\nВопрос: Как называется населенный пункт, в котором родился сын Гамлета Апетнаковича Мхитаряна?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 306, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13333333333333333, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Ранвир Сингх Бхавнани, — это двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Ранвир Сингх?", + "support_text": "Ранвир Сингх Бхавнани ( , род. 6 июля 1985 года, Бомбей, Индия) — индийский , снимающийся в фильмах на хинди. Лауреат кинопремии Filmfare Award за лучшую мужскую роль.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 840, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 840, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 777, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 66, + "segment": "индийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Ранвир Сингх Бхавнани ( , род. 6 июля 1985 года, Бомбей, Индия) — индийский , снимающийся в фильмах на хинди. Лауреат кинопремии Filmfare Award за лучшую мужскую роль.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Ранвир Сингх?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 544, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательный орган города, где умер Тимофей Фёдорович Ковалёв, называется Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Тимофей Фёдорович Ковалёв?", + "support_text": "Тимофей Фёдорович Ковалёв (19 июля 1907, дер. Молоково, Смоленская губерния — 21 декабря 1966, Горький) — Герой Советского Союза.\n\nБиография.\nЗвание Героя Советского Союза присвоено 10 января 1944. В годы войны погибли отец Ковалёва и брат Никита (казнён гитлеровцами за организацию партизанского движения в Монастырщинском районе). После войны вернулся к мирному труду, жил и работал в Горьком.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1294, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1294, + "segment": "Городская дума" + } + ], + "meta": { + "id": 77, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 95, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где умер Тимофей Фёдорович Ковалёв?\nТекст 1: Тимофей Фёдорович Ковалёв (19 июля 1907, дер. Молоково, Смоленская губерния — 21 декабря 1966, Горький) — Герой Советского Союза.\n\nБиография.\nЗвание Героя Советского Союза присвоено 10 января 1944. В годы войны погибли отец Ковалёва и брат Никита (казнён гитлеровцами за организацию партизанского движения в Монастырщинском районе). После войны вернулся к мирному труду, жил и работал в Горьком.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1904761904761905, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Михаил Яковлевич Коптильников, является Олег Анатольевич Довгопол с 23 декабря 2016 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Михаил Яковлевич Коптильников?", + "support_text": "Михаил Яковлевич Коптильников (1915–2005) — Герой Социалистического Труда, заслуженный механизатор сельского хозяйства Молдавской ССР.\n\nБиография.\nМихаил Яковлевич родился в г. Тирасполе в мае 1915 года, рано остался без отца . До Великой Отечественной. В 1935 году окончил автомобильный техникум и через два года был призван в Красную Армию, службу проходил механиком в автотранспортной бригаде, в ноябре 1940 года уволен в запас. Участник войны.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 951, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 951, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 523, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 180, + "segment": "Тирасполе" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Михаил Яковлевич Коптильников?\nТекст 1: Михаил Яковлевич Коптильников (1915–2005) — Герой Социалистического Труда, заслуженный механизатор сельского хозяйства Молдавской ССР.\n\nБиография.\nМихаил Яковлевич родился в г. Тирасполе в мае 1915 года, рано остался без отца . До Великой Отечественной. В 1935 году окончил автомобильный техникум и через два года был призван в Красную Армию, службу проходил механиком в автотранспортной бригаде, в ноябре 1940 года уволен в запас. Участник войны.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики. Тирасполь находится приблизительно в 105 км от Одессы и в 75 км от Кишинёва, с которыми он связан автомобильным и железнодорожным транспортом, расположен на левом берегу реки Днестр в 90 км от её впадения в Днестровский лиман.\n\nОрганы власти.\nБезбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Адольф Борисович Минкус был гражданином Российской империи, в которой главой государства была должность Самодержца, а затем Императора, начиная с Петра I.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Адольф Борисович Минкус?", + "support_text": "Адольф Борисович Минкус — русский и советский архитектор.\n\nСемья.\nЖена — Клара Исааковна Штифельман, педагог, преподаватель одесского еврейского училища, сестра архитектора Г. И. Штифельмана. ** Сын — Борис Адольфович Минкус (1904—2004), учёный в области холодильной техники, доктор технических наук, профессор Одесского института холодильной промышленности; был женат на художнице Раисе Эммануиловне Нудельман (1914—1995), сестре конструктора А. Э. Нудельмана. ** Сын — архитектор Михаил Адольфович Минкус. ** Дочь — пианистка Рахиль (Рика) Адольфовна Минкус (1907—1986), выпускница Музыкально-драматического института имени Бетховена по классу Берты Михайловны Рейнгбальд, музыковед, поэтесса и переводчик поэзии на русский язык; была замужем за архитектором Соломоном Давидовичем Левитаном (1906—1982). Сёстры — Надежда Борисовна Рубанчик (1868—1942), вышла замуж за таганрогского фотохудожника Иосифа Абрамовича Рубанчика (их сын — архитектор Яков Осипович Рубанчик), умерла в блокаду Ленинграда; Елена Борисовна Троупянская (1874—1965), вышла замуж за архитектора Фёдора Абрамовича Троупянского (их сын — архитектор Борис Фёдорович Троупянский).", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 99, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 26, + "segment": "русский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Адольф Борисович Минкус — русский и советский архитектор.\n\nСемья.\nЖена — Клара Исааковна Штифельман, педагог, преподаватель одесского еврейского училища, сестра архитектора Г. И. Штифельмана. ** Сын — Борис Адольфович Минкус (1904—2004), учёный в области холодильной техники, доктор технических наук, профессор Одесского института холодильной промышленности; был женат на художнице Раисе Эммануиловне Нудельман (1914—1995), сестре конструктора А. Э. Нудельмана. ** Сын — архитектор Михаил Адольфович Минкус. ** Дочь — пианистка Рахиль (Рика) Адольфовна Минкус (1907—1986), выпускница Музыкально-драматического института имени Бетховена по классу Берты Михайловны Рейнгбальд, музыковед, поэтесса и переводчик поэзии на русский язык; была замужем за архитектором Соломоном Давидовичем Левитаном (1906—1982). Сёстры — Надежда Борисовна Рубанчик (1868—1942), вышла замуж за таганрогского фотохудожника Иосифа Абрамовича Рубанчика (их сын — архитектор Яков Осипович Рубанчик), умерла в блокаду Ленинграда; Елена Борисовна Троупянская (1874—1965), вышла замуж за архитектора Фёдора Абрамовича Троупянского (их сын — архитектор Борис Фёдорович Троупянский).\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Адольф Борисович Минкус?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 517, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.11764705882352941, + "em": 0 + }, + "predict": " Глава государства в стране, чьим гражданином был Самуил Исаевич Файнберг, был императором. В Российской империи, существовавшей с 1721 по 1917 год, титул Императора Всероссийского носил 14 человек, включая Самуила Исаевича Файнберга, который", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Самуил Исаевич Файнберг?", + "support_text": "Самуил (Моня) Исаевич Файнберг (1885, Иркутск — 1921, Мысовск) — эсер-боевик, участник Северного боевого летучего отряда, член ЦК ПСР.\n\nБиография.\nФайнберг принимал активное участие в революции 1905 года в Иркутске: он был членом как еврейской, так и эсеровской дружин самообороны. В 1906 году он выехал в Европейскую Россию, где избрался в Киевский комитет ПСР. 19 июля 1907 года Файнберг был арестован в Киеве, но через некоторое время вышел под залог и уехал в Санкт-Петербург. В столице Самуил Исаевич стал членом Северного боевого летучего отряда и участвует во многих боевых операциях. Был арестован за подготовку покушения на военного министра Российской империи Александра Редигера. Файнберг был осуждён царским судом на 15 лет каторги.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 739, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 1019, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 654, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Самуил Исаевич Файнберг?\nТекст 1: Самуил (Моня) Исаевич Файнберг (1885, Иркутск — 1921, Мысовск) — эсер-боевик, участник Северного боевого летучего отряда, член ЦК ПСР.\n\nБиография.\nФайнберг принимал активное участие в революции 1905 года в Иркутске: он был членом как еврейской, так и эсеровской дружин самообороны. В 1906 году он выехал в Европейскую Россию, где избрался в Киевский комитет ПСР. 19 июля 1907 года Файнберг был арестован в Киеве, но через некоторое время вышел под залог и уехал в Санкт-Петербург. В столице Самуил Исаевич стал членом Северного боевого летучего отряда и участвует во многих боевых операциях. Был арестован за подготовку покушения на военного министра Российской империи Александра Редигера. Файнберг был осуждён царским судом на 15 лет каторги.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 506, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Аймальяха", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Химбейяха?", + "support_text": "Химбейяха (\"устар.\" Химбей-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 10 км по правому берегу реки Аймальяха. Длина реки составляет 27 км.", + "text": "Аймальяха (\"устар.\" Аймаль-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 268 км по левому берегу реки Пур. Длина реки составляет 52 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур. Код объекта в государственном водном реестре — 15040000112115300060183." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 134, + "segment": "Пур" + } + ], + "meta": { + "id": 432, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 134, + "segment": "Аймальяха" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Химбейяха (\"устар.\" Химбей-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 10 км по правому берегу реки Аймальяха. Длина реки составляет 27 км.\nТекст 2: Аймальяха (\"устар.\" Аймаль-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 268 км по левому берегу реки Пур. Длина реки составляет 52 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур. Код объекта в государственном водном реестре — 15040000112115300060183.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Химбейяха? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 252, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Иртыш.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Бешметовка?", + "support_text": "Бешметовка — река в Омской области России. Устье реки находится в 8 км по левому берегу реки Уразай. Длина реки составляет 10 км.", + "text": "Уразай (Зайка) — река в Омской области России. Устье реки находится в 1444 км по правому берегу реки Иртыш. Длина реки составляет 26 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Омь до впадения реки Ишим, без реки Оша, речной подбассейн реки — бассейны притоков Иртыша до впадения Ишима. Речной бассейн реки — Иртыш." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 102, + "segment": "Иртыш" + } + ], + "meta": { + "id": 1047, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 93, + "segment": "Уразай" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Бешметовка — река в Омской области России. Устье реки находится в 8 км по левому берегу реки Уразай. Длина реки составляет 10 км.\nТекст 2: Уразай (Зайка) — река в Омской области России. Устье реки находится в 1444 км по правому берегу реки Иртыш. Длина реки составляет 26 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Омь до впадения реки Ишим, без реки Оша, речной подбассейн реки — бассейны притоков Иртыша до впадения Ишима. Речной бассейн реки — Иртыш.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Бешметовка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Борис Михайлович Козырев умер в Казани, поэтому главой администрации в городе, где умер Борис Михайлович Козырев, является мэр Казани. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Борис Михайлович Козырев?", + "support_text": "Борис Михайлович Козырев ( Ашхабад — Казань) — советский физик. Член-корреспондент АН СССР (1968).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 526, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 543, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 37, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Борис Михайлович Козырев ( Ашхабад — Казань) — советский физик. Член-корреспондент АН СССР (1968).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Борис Михайлович Козырев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1111111111111111, + "em": 0 + }, + "predict": " Евсей Владимирович Эпштейн родился в Бобруйске, который является городом областного подчинения в Белоруссии. Таким образом, главой администрации в городе, где родился Евсей Владимирович Эпштейн, является Александр Студнев, который является председателем Бобруйского городского исполнительного комитета.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Евсей Владимирович Эпштейн?", + "support_text": "Евсей Владимирович Эпштейн (25 апреля 1933, Бобруйск — 23 декабря 2006, Киев) — советский и украинский учёный в области радиационной эндокринологии. Доктор медицинских наук (1981), профессор (1992). Член-корреспондент АМН Украины (1993), Заслуженный деятель науки и техники Украины (2003), лауреат Государственной Премии Украины (2007, посмертно).", + "text": "Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения.\n\nОрганы власти.\nГородской Совет депутатов 28 созыва был избран 18 февраля 2018 года. Председателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 600, + "segment": "Александр Студнев" + } + ], + "meta": { + "id": 506, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 44, + "segment": "Бобруйск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Евсей Владимирович Эпштейн?\nТекст 1: Евсей Владимирович Эпштейн (25 апреля 1933, Бобруйск — 23 декабря 2006, Киев) — советский и украинский учёный в области радиационной эндокринологии. Доктор медицинских наук (1981), профессор (1992). Член-корреспондент АМН Украины (1993), Заслуженный деятель науки и техники Украины (2003), лауреат Государственной Премии Украины (2007, посмертно).\nТекст 2: Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения.\n\nОрганы власти.\nГородской Совет депутатов 28 созыва был избран 18 февраля 2018 года. Председателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Юрий Васильевич Голов?", + "support_text": "Голов Юрий Васильевич (22 июля 1937, Горький, СССР — 9 января 2014, Нижний Новгород, Россия) — советский футболист, выступавший на позиции нападающего. Наиболее известен благодаря выступлениям в составе \"Волги\" из Горького.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1155, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1155, + "segment": "Городская дума" + } + ], + "meta": { + "id": 398, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 68, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Голов Юрий Васильевич (22 июля 1937, Горький, СССР — 9 января 2014, Нижний Новгород, Россия) — советский футболист, выступавший на позиции нападающего. Наиболее известен благодаря выступлениям в составе \"Волги\" из Горького.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Юрий Васильевич Голов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 375, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вятка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Карканка?", + "support_text": "Карканка — река в России, протекает в Белохолуницком районе Кировской области. Устье реки находится в 982 км по левому берегу реки Вятки. Длина реки составляет 10 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.", + "text": "Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря. Высота устья — 53,1 м над уровнем моря. Для Вятки характерны резкие изменения направления течения (с севера на юго-запад, а затем на юго-восток) и большая извилистость на всём протяжении." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Камы" + }, + { + "label": "passage", + "length": 4, + "offset": 332, + "segment": "Каму" + }, + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Кама" + } + ], + "meta": { + "id": 760, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 131, + "segment": "Вятки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Карканка — река в России, протекает в Белохолуницком районе Кировской области. Устье реки находится в 982 км по левому берегу реки Вятки. Длина реки составляет 10 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.\nТекст 2: Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря. Высота устья — 53,1 м над уровнем моря. Для Вятки характерны резкие изменения направления течения (с севера на юго-запад, а затем на юго-восток) и большая извилистость на всём протяжении.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Карканка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 353, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Георгий Николаевич Христофоров?", + "support_text": "Георгий Николаевич Христофоров (1833—1902) — российский купец 1-й гильдии, винодел, виноторговец и меценат. Основатель крупнейшего в Российской империи рубежа веков винодельческого и виноторгового предприятия, которое называлось \"Товарищество Г. Н. Христофорова и компания\" (с определенного момента \"Товарищество виноторговли\"). Русское виноградное вино Христофорова обладало хорошим качеством и продавалось в больших количествах.\n\nБиография.\nВиноматериалы закупались на Южном берегу Крыма. Винный завод Христофорова. XIX век. Производилось около сотни наименований вина, от кагора до лафита, мускат, бордо, шабли и т. д. Стараниями Христофорова в Российской империи, активно импортировавшей пользовавшийся значительным спросом зарубежный херес, появился, наконец, собственный. На его этикетке красовались двенадцать медалей выставок и знак парижского Гран-При (дважды полученные христофоровским хересом в 1904 и 1905 годах, уже после смерти первого владельца предприятия). Христофоровские вина рекламировались в прессе как имеющие изысканный вкус и полезные для здоровья. В конце XIX века вино в Крыму производили уже несколько крупных фирм (предпринимателей Губонина (Гурзуф), Токмакова и Молоткова (Алушта), Таюрского (Кастель)), но предприятие Христофорова оставалось основным игроком.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 150, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 133, + "segment": "Российской империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Георгий Николаевич Христофоров (1833—1902) — российский купец 1-й гильдии, винодел, виноторговец и меценат. Основатель крупнейшего в Российской империи рубежа веков винодельческого и виноторгового предприятия, которое называлось \"Товарищество Г. Н. Христофорова и компания\" (с определенного момента \"Товарищество виноторговли\"). Русское виноградное вино Христофорова обладало хорошим качеством и продавалось в больших количествах.\n\nБиография.\nВиноматериалы закупались на Южном берегу Крыма. Винный завод Христофорова. XIX век. Производилось около сотни наименований вина, от кагора до лафита, мускат, бордо, шабли и т. д. Стараниями Христофорова в Российской империи, активно импортировавшей пользовавшийся значительным спросом зарубежный херес, появился, наконец, собственный. На его этикетке красовались двенадцать медалей выставок и знак парижского Гран-При (дважды полученные христофоровским хересом в 1904 и 1905 годах, уже после смерти первого владельца предприятия). Христофоровские вина рекламировались в прессе как имеющие изысканный вкус и полезные для здоровья. В конце XIX века вино в Крыму производили уже несколько крупных фирм (предпринимателей Губонина (Гурзуф), Токмакова и Молоткова (Алушта), Таюрского (Кастель)), но предприятие Христофорова оставалось основным игроком.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Георгий Николаевич Христофоров? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 520, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23529411764705882, + "em": 0 + }, + "predict": " Дмитровский, Звенигородский, Богородский, Рузский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие уезды входили в губернию, где умер Николай Александрович Ушаков (генерал)?", + "support_text": "Николай Александрович Ушаков (?—1842) — русский военачальник, генерал-майор.\n\nБиография.\nС 19 ноября 1827 года был назначен окружным генералом 8-го округа отдельного корпуса Внутренней стражи. С 27 ноября 1831 года — командир 2-й бригады 28-й пехотной дивизии; 22 сентября 1832 года назначен командиром 3-й бригады 28-й пехотной дивизии. Умер года. Похоронен в Пешношском монастыре, в Дмитровском уезде Московской губернии.", + "text": "Московская губерния — административно-территориальная единица Русского царства, Российской империи, Российской республики, РСФСР и СССР, существовавшая c 1708 по 1929 год. Губернский город — Москва. Дом губернского правления занимал западный корпус Монетного двора, выходящий фасадом на Красную площадь. Губернаторский дворец на Тверской улице ныне известен как здание мэрии Москвы.\n\nИстория.\nКаширский уезд вошел в состав Тульского наместничества, северные провинции губернии перешли в состав Ярославского наместничества. 1778 год. Из частей Московской губернии выделены Владимирское, Рязанское и Костромское наместничества. 1781 год. Из осколков прежней Московской губернии, главным образом, в границах Московской провинции, организуется новая Московская губерния в составе 15 уездов: Волоколамский уезд, Можайский уезд, Верейский уезд, Подольский уезд, Никитский уезд, Серпуховский уезд, Коломенский уезд, Бронницкий уезд, Московский уезд, Воскресенский уезд, Клинский уезд, Дмитровский уезд, Звенигородский уезд, Богородский уезд, Рузский уезд. 1796 год.\n\nАдминистративное деление.\n43x43пкс. 1 621,5. 53 967. 10. . Московский. Москва (1 038 591 чел.). 43x43пкс." + }, + "outputs": [ + { + "label": "answer", + "length": 260, + "offset": 790, + "segment": "Волоколамский уезд, Можайский уезд, Верейский уезд, Подольский уезд, Никитский уезд, Серпуховский уезд, Коломенский уезд, Бронницкий уезд, Московский уезд, Воскресенский уезд, Клинский уезд, Дмитровский уезд, Звенигородский уезд, Богородский уезд, Рузский уезд" + } + ], + "meta": { + "id": 660, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 407, + "segment": "Московской губернии" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Александрович Ушаков (?—1842) — русский военачальник, генерал-майор.\n\nБиография.\nС 19 ноября 1827 года был назначен окружным генералом 8-го округа отдельного корпуса Внутренней стражи. С 27 ноября 1831 года — командир 2-й бригады 28-й пехотной дивизии; 22 сентября 1832 года назначен командиром 3-й бригады 28-й пехотной дивизии. Умер года. Похоронен в Пешношском монастыре, в Дмитровском уезде Московской губернии.\nТекст 2: Московская губерния — административно-территориальная единица Русского царства, Российской империи, Российской республики, РСФСР и СССР, существовавшая c 1708 по 1929 год. Губернский город — Москва. Дом губернского правления занимал западный корпус Монетного двора, выходящий фасадом на Красную площадь. Губернаторский дворец на Тверской улице ныне известен как здание мэрии Москвы.\n\nИстория.\nКаширский уезд вошел в состав Тульского наместничества, северные провинции губернии перешли в состав Ярославского наместничества. 1778 год. Из частей Московской губернии выделены Владимирское, Рязанское и Костромское наместничества. 1781 год. Из осколков прежней Московской губернии, главным образом, в границах Московской провинции, организуется новая Московская губерния в составе 15 уездов: Волоколамский уезд, Можайский уезд, Верейский уезд, Подольский уезд, Никитский уезд, Серпуховский уезд, Коломенский уезд, Бронницкий уезд, Московский уезд, Воскресенский уезд, Клинский уезд, Дмитровский уезд, Звенигородский уезд, Богородский уезд, Рузский уезд. 1796 год.\n\nАдминистративное деление.\n43x43пкс. 1 621,5. 53 967. 10. . Московский. Москва (1 038 591 чел.). 43x43пкс.\nОпираясь на данные тексты, ответьте на вопрос: Какие уезды входили в губернию, где умер Николай Александрович Ушаков (генерал)? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": [ + 53 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " немецкий.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое гражданство у матери Виктории (кронпринцессы Швеции)?", + "support_text": "Кронпринцесса Виктория (полное имя \"Виктория Ингрид Алиса Дезире\", \"Victoria Ingrid Alice Désirée\"), герцогиня Вестерготландская ( род. 14 июля 1977, Сольна, лен Стокгольм) — наследница шведского престола, дочь короля Швеции Карла XVI Густава из династии Бернадотов и королевы Сильвии, старшая сестра принца Карла Филиппа и принцессы Мадлен. Виктория с рождения имела титул принцессы, но после конституционной реформы 1980 года, изменившей порядок престолонаследия в сторону абсолютной примогенитуры, стала наследной принцессой Швеции.\n\nБиография.\nРодилась 14 июля 1977 года в госпитале Каролинского института в пригороде Стокгольма — Сольне и была первым ребёнком в семье короля Швеции Карла XVI Густава и королевы Сильвии. Родилась как принцесса Швеции, но в силу конституционной поправки от 1 января 1980 года, изменившей порядок престолонаследия, стала кронпринцессой, опередив своего младшего брата принца Карла Филиппа.", + "text": "Королева Сильвия (), урождённая Сильвия Рената Зоммерлат ( род. 23 декабря 1943, Гейдельберг) — королева Швеции, жена короля Швеции Карла XVI Густава." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 105, + "segment": "Швеции" + } + ], + "meta": { + "id": 682, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 269, + "segment": "королевы Сильвии" + }, + { + "label": "passage", + "length": 7, + "offset": 278, + "segment": "Сильвии" + }, + { + "label": "passage", + "length": 16, + "offset": 711, + "segment": "королевы Сильвии" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кронпринцесса Виктория (полное имя \"Виктория Ингрид Алиса Дезире\", \"Victoria Ingrid Alice Désirée\"), герцогиня Вестерготландская ( род. 14 июля 1977, Сольна, лен Стокгольм) — наследница шведского престола, дочь короля Швеции Карла XVI Густава из династии Бернадотов и королевы Сильвии, старшая сестра принца Карла Филиппа и принцессы Мадлен. Виктория с рождения имела титул принцессы, но после конституционной реформы 1980 года, изменившей порядок престолонаследия в сторону абсолютной примогенитуры, стала наследной принцессой Швеции.\n\nБиография.\nРодилась 14 июля 1977 года в госпитале Каролинского института в пригороде Стокгольма — Сольне и была первым ребёнком в семье короля Швеции Карла XVI Густава и королевы Сильвии. Родилась как принцесса Швеции, но в силу конституционной поправки от 1 января 1980 года, изменившей порядок престолонаследия, стала кронпринцессой, опередив своего младшего брата принца Карла Филиппа.\nТекст 2: Королева Сильвия (), урождённая Сильвия Рената Зоммерлат ( род. 23 декабря 1943, Гейдельберг) — королева Швеции, жена короля Швеции Карла XVI Густава.\nОпираясь на данные тексты, ответьте на вопрос: Какое гражданство у матери Виктории (кронпринцессы Швеции)? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 339, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2222222222222222, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где родился Вячеслав Алексеевич Голубцов, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Вячеслав Алексеевич Голубцов?", + "support_text": "Вячеслав Алексеевич Голубцов (1894—1972) — советский теплотехник..\n\nБиография.\nРодился 29 марта (10 апреля) 1894 года в Нижнем Новгороде в семье преподавателя. Брат Валерии Голубцовой, жены советского государственного деятеля Г. М. Маленкова.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городская дума" + } + ], + "meta": { + "id": 141, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 123, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Вячеслав Алексеевич Голубцов (1894—1972) — советский теплотехник..\n\nБиография.\nРодился 29 марта (10 апреля) 1894 года в Нижнем Новгороде в семье преподавателя. Брат Валерии Голубцовой, жены советского государственного деятеля Г. М. Маленкова.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Вячеслав Алексеевич Голубцов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 340, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Сараево, СФРЮ.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родилась сестра Томислава Милишевича?", + "support_text": "Томислав (Томо) Миличевич (/ˈtoːmo miˈlitʃevitɕ/) (род. 3 сентября 1979 года в Сараево, СФРЮ) — американский рок-музыкант хорватского происхождения, мультиинструменталист (играет на скрипке, фортепиано, гитаре), с 2003 по 2018 гитарист альтернативной рок-группы Thirty Seconds to Mars. В настоящее время проживает в Детройте.\n\nСемья.\nВ возрасте трёх лет Миличевич с родителями, Тонкой и Дамиром Миличевич, переехал в Трою (штат Мичиган, США), где окончил Athens High School.1 Он говорил, что если бы они остались в Югославии, в 16 лет он был бы уже в армии, а в 17 сражался бы на фронте. Когда Томо было 18 лет, его родители открыли ресторан в Лос-Анджелесе. У него есть старшая сестра — модель Ивана Миличевич. Женат на Викки Босанко.", + "text": "Ивана Миличевич ( род. 26 апреля 1974, Сараево, СФРЮ) — американская актриса и модель хорватского происхождения.\n\nБиография.\nРодилась 26 апреля 1974 года в Сараево (Босния и Герцеговина) в хорватской семье. Уехала из Югославии в пять лет с семьёй. В детстве жила в Мичигане, во время школьных каникул попала на фотосъёмку журналов мод в Чикаго — с этого началась модельная карьера." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 39, + "segment": "Сараево" + } + ], + "meta": { + "id": 366, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 698, + "segment": "Ивана Миличевич" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Томислав (Томо) Миличевич (/ˈtoːmo miˈlitʃevitɕ/) (род. 3 сентября 1979 года в Сараево, СФРЮ) — американский рок-музыкант хорватского происхождения, мультиинструменталист (играет на скрипке, фортепиано, гитаре), с 2003 по 2018 гитарист альтернативной рок-группы Thirty Seconds to Mars. В настоящее время проживает в Детройте.\n\nСемья.\nВ возрасте трёх лет Миличевич с родителями, Тонкой и Дамиром Миличевич, переехал в Трою (штат Мичиган, США), где окончил Athens High School.1 Он говорил, что если бы они остались в Югославии, в 16 лет он был бы уже в армии, а в 17 сражался бы на фронте. Когда Томо было 18 лет, его родители открыли ресторан в Лос-Анджелесе. У него есть старшая сестра — модель Ивана Миличевич. Женат на Викки Босанко.\nТекст 2: Ивана Миличевич ( род. 26 апреля 1974, Сараево, СФРЮ) — американская актриса и модель хорватского происхождения.\n\nБиография.\nРодилась 26 апреля 1974 года в Сараево (Босния и Герцеговина) в хорватской семье. Уехала из Югославии в пять лет с семьёй. В детстве жила в Мичигане, во время школьных каникул попала на фотосъёмку журналов мод в Чикаго — с этого началась модельная карьера.\nОпираясь на данные тексты, ответьте на вопрос: Где родилась сестра Томислава Милишевича? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 383, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появилась на свет Наталья Станиславовна Суркова?", + "support_text": "Наталья Станиславовна Суркова (род. 14 марта 1967, Горький, Горьковская область, РСФСР, СССР) — российская актриса драматического театра и кино.\n\nБиография.\nНаталья Суркова родилась 14 марта 1967 года в городе Горьком (ныне — Нижний Новгород). В 1986 году окончила отделение \"Актёр драматического театра и кино\" Горьковского театрального училища (творческий руководитель — Р. Я. Левите).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1232, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1232, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 980, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 51, + "segment": "Горький" + }, + { + "label": "passage", + "length": 7, + "offset": 213, + "segment": "Горьком" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Наталья Станиславовна Суркова (род. 14 марта 1967, Горький, Горьковская область, РСФСР, СССР) — российская актриса драматического театра и кино.\n\nБиография.\nНаталья Суркова родилась 14 марта 1967 года в городе Горьком (ныне — Нижний Новгород). В 1986 году окончила отделение \"Актёр драматического театра и кино\" Горьковского театрального училища (творческий руководитель — Р. Я. Левите).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган работает в городе, где появилась на свет Наталья Станиславовна Суркова? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Алексей Петрович Бондаренко родился в городе Костанай, который является административным центром Костанайской области в Казахстане. В Костанайской области с 1893 по 1895 год город носил название \"Николаевск\", с февраля 1895 года до 17 июня", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Алексей Петрович Бондаренко?", + "support_text": "Алексей Петрович Бондаренко (23 августа 1978, Кустанай, СССР) — российский и казахский гимнаст, серебряный и бронзовый призёр Олимпийских игр. Заслуженный мастер спорта России.", + "text": "Костанай ( с 1893 до 1895 года \"Николаевск\", с февраля 1895 года до 17 июня 1997 года \"Кустанай\") — город в Казахстане, административный центр Костанайской области. Расположен на северо-западе Казахстана, в северной части Костанайской области. Площадь 244 км2.\n\nГлавы города.\n# Нурмухамбетов, Гауез Торсанович (январь 2008 — февраль 2009),. # Нургалиев, Жомарт Мирасович (февраля 2009 — февраль 2012),. # Нурмухамбетов, Гауез Торсанович (февраль 2012 — июнь 2014),. # Ахметжанов, Ахмедбек Масакбаевич (18 июня 2014 — 10 сентября 2015),. # Жакупов, Базыл Шамуханович (с 23 сентября 2015 — 1 февраля 2019),. # Ахметов, Кайрат Жумашович (с 1 февраля 2019 года)." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 612, + "segment": "Ахметов, Кайрат Жумашович" + }, + { + "label": "passage", + "length": 25, + "offset": 612, + "segment": "Кайрат Жумашович Ахметов" + } + ], + "meta": { + "id": 468, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 46, + "segment": "Кустанай" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Алексей Петрович Бондаренко?\nТекст 1: Алексей Петрович Бондаренко (23 августа 1978, Кустанай, СССР) — российский и казахский гимнаст, серебряный и бронзовый призёр Олимпийских игр. Заслуженный мастер спорта России.\nТекст 2: Костанай ( с 1893 до 1895 года \"Николаевск\", с февраля 1895 года до 17 июня 1997 года \"Кустанай\") — город в Казахстане, административный центр Костанайской области. Расположен на северо-западе Казахстана, в северной части Костанайской области. Площадь 244 км2.\n\nГлавы города.\n# Нурмухамбетов, Гауез Торсанович (январь 2008 — февраль 2009),. # Нургалиев, Жомарт Мирасович (февраля 2009 — февраль 2012),. # Нурмухамбетов, Гауез Торсанович (февраль 2012 — июнь 2014),. # Ахметжанов, Ахмедбек Масакбаевич (18 июня 2014 — 10 сентября 2015),. # Жакупов, Базыл Шамуханович (с 23 сентября 2015 — 1 февраля 2019),. # Ахметов, Кайрат Жумашович (с 1 февраля 2019 года).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 353, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ижевске", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком городе умер человек, именем которого названа Набережная Зодчего Дудина?", + "support_text": "Набережная зодчего Дудина (полное название — набережная Ижевского пруда имени зодчего Дудина С. Е.) — набережная на левом берегу Ижевского пруда в Октябрьском районе города Ижевска. Пролегает от проезда Дерябина до Песочной улицы.\n\nИстория.\nОчертания и береговая линия современной набережной Ижевска были в основном сформированы ещё в XVIII веке при запруживании реки Иж. В дальнейшем набережная являлась частью одной из старейших улиц Ижевска — Береговой. Но вплоть до XX века набережной как таковой не существовало. Укрепление левого берега пруда в центральной части города началось лишь в 1970-е годы. 4 апреля 1988 года решением исполкома городского совета депутатов построенная набережная была названа именем зодчего Дудина в память об С. Е. Дудине (1779—1825) — первом архитекторе Ижевска. В 2010 году центральная часть набережной от монумента дружбы народов до плотины была подвергнута масштабной реконструкции, которая кардинально изменила её облик и сделала её популярным местом отдыха ижевчан.", + "text": "Семён Емельянович Дудин (1779 — 31 августа 1825 года) — первый профессиональный ижевский архитектор. Считается пионером горнозаводского зодчества на Урале.\n\nПоследние годы.\nВ 1824 году С. Е. Дудин начал вести переговоры о переводе на должность архитектора Войска Донского в Новочеркасске. Кандидатура Дудина была сразу одобрена, в Ижевск были высланы деньги на переезд. Но в разгар строительства арсенала 31 августа 1825 года Семён Емельянович скончался." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 334, + "segment": "Ижевск" + } + ], + "meta": { + "id": 7, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 86, + "segment": "Дудина С. Е" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Набережная зодчего Дудина (полное название — набережная Ижевского пруда имени зодчего Дудина С. Е.) — набережная на левом берегу Ижевского пруда в Октябрьском районе города Ижевска. Пролегает от проезда Дерябина до Песочной улицы.\n\nИстория.\nОчертания и береговая линия современной набережной Ижевска были в основном сформированы ещё в XVIII веке при запруживании реки Иж. В дальнейшем набережная являлась частью одной из старейших улиц Ижевска — Береговой. Но вплоть до XX века набережной как таковой не существовало. Укрепление левого берега пруда в центральной части города началось лишь в 1970-е годы. 4 апреля 1988 года решением исполкома городского совета депутатов построенная набережная была названа именем зодчего Дудина в память об С. Е. Дудине (1779—1825) — первом архитекторе Ижевска. В 2010 году центральная часть набережной от монумента дружбы народов до плотины была подвергнута масштабной реконструкции, которая кардинально изменила её облик и сделала её популярным местом отдыха ижевчан.\nТекст 2: Семён Емельянович Дудин (1779 — 31 августа 1825 года) — первый профессиональный ижевский архитектор. Считается пионером горнозаводского зодчества на Урале.\n\nПоследние годы.\nВ 1824 году С. Е. Дудин начал вести переговоры о переводе на должность архитектора Войска Донского в Новочеркасске. Кандидатура Дудина была сразу одобрена, в Ижевск были высланы деньги на переезд. Но в разгар строительства арсенала 31 августа 1825 года Семён Емельянович скончался.\nОпираясь на факты в данных текстах, ответьте на вопрос: В каком городе умер человек, именем которого названа Набережная Зодчего Дудина? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ситников Сергей Константинович", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Константин Иванович Лебедев?", + "support_text": "Константин Иванович Лебедев (1910—1949) — красноармеец Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nКонстантин Лебедев родился 5 сентября 1910 года в деревне Конышево (ныне — Антроповский район Костромской области). Окончил начальную школу.", + "text": "Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 520, + "segment": "Ситников Сергей Константинович" + }, + { + "label": "passage", + "length": 30, + "offset": 520, + "segment": "Сергей Константинович Ситников" + } + ], + "meta": { + "id": 566, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 268, + "segment": "Костромской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Константин Иванович Лебедев (1910—1949) — красноармеец Рабоче-крестьянской Красной Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nКонстантин Лебедев родился 5 сентября 1910 года в деревне Конышево (ныне — Антроповский район Костромской области). Окончил начальную школу.\nТекст 2: Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Константин Иванович Лебедев? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 299, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.08888888888888888, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в городе, где умер Владимир Вячеславович Радзиевский, — Городская Дума Нижнего Новгорода. Это следует из информации из второго текста, где упоминается, что Нижний Новгород является административным центром Нижегородской области и Городская Дума является официальной резиденцией Городской Думы Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Владимир Вячеславович Радзиевский?", + "support_text": "Владимир Вячеславович Радзиевский (30 июня 1911, Санкт-Петербург — 2003, Нижний Новгород) — советский учёный, физик-астроном, один из основателей фотогравитационной небесной механики.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1167, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1167, + "segment": "Городская дума" + } + ], + "meta": { + "id": 126, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 73, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Владимир Вячеславович Радзиевский?\nТекст 1: Владимир Вячеславович Радзиевский (30 июня 1911, Санкт-Петербург — 2003, Нижний Новгород) — советский учёный, физик-астроном, один из основателей фотогравитационной небесной механики.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 355, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большой Атлым", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Кедрисоим?", + "support_text": "Кедрисоим (\"устар.\" Кедра Соим) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 125 км по левому берегу реки Большой Атлым. Длина реки составляет 11 км.", + "text": "Большой Атлым — река в Октябрьском районе Ханты-Мансийского АО России. Устье реки находится на 946-м км правого берега реки Обь. Длина составляет 141 км, площадь бассейна — 2110 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения Иртыша до впадения реки Северная Сосьва, речной подбассейн реки — бассейны притока Оби от Иртыша до впадения Северной Сосьвы. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 124, + "segment": "Обь" + } + ], + "meta": { + "id": 807, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 136, + "segment": "Большой Атлым" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кедрисоим (\"устар.\" Кедра Соим) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 125 км по левому берегу реки Большой Атлым. Длина реки составляет 11 км.\nТекст 2: Большой Атлым — река в Октябрьском районе Ханты-Мансийского АО России. Устье реки находится на 946-м км правого берега реки Обь. Длина составляет 141 км, площадь бассейна — 2110 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения Иртыша до впадения реки Северная Сосьва, речной подбассейн реки — бассейны притока Оби от Иртыша до впадения Северной Сосьвы. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.\nОпираясь на данные тексты, ответьте на вопрос: Как называется водоток, в который впадает река, притоком которой является Кедрисоим? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Варка-Сылькы.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Копамнярылькы?", + "support_text": "Копамнярылькы (\"устар.\" Копам-Нярыль-Кы) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 54 км по правому берегу реки Варка-Сылькы. Длина реки составляет 61 км.\n\nПримечания.\nКатегория:Притоки Варка-Сылькы.", + "text": "Варка-Сылькы (Варга-Сылькы) (\"устар.\" Варка-Сыль-Кы) — река на севере Западной Сибири, в Ямало-Ненецком автономном округе России. Варка-Сыль-Кы с селькупского языка означает Большая соболиная река.\n\nГеография.\nДлина реки — 249 км. Площадь водосборного бассейна — 5760 кв км. Впадает в реку Таз слева, на 354-м км от устья в 40 км к северу от с. Красноселькуп.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Таз. Речной бассейн реки — Таз. Код объекта в государственном водном реестре — 15050000112115300069596." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 293, + "segment": "Таз" + } + ], + "meta": { + "id": 755, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 170, + "segment": "Варка-Сылькы" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Копамнярылькы (\"устар.\" Копам-Нярыль-Кы) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 54 км по правому берегу реки Варка-Сылькы. Длина реки составляет 61 км.\n\nПримечания.\nКатегория:Притоки Варка-Сылькы.\nТекст 2: Варка-Сылькы (Варга-Сылькы) (\"устар.\" Варка-Сыль-Кы) — река на севере Западной Сибири, в Ямало-Ненецком автономном округе России. Варка-Сыль-Кы с селькупского языка означает Большая соболиная река.\n\nГеография.\nДлина реки — 249 км. Площадь водосборного бассейна — 5760 кв км. Впадает в реку Таз слева, на 354-м км от устья в 40 км к северу от с. Красноселькуп.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Таз. Речной бассейн реки — Таз. Код объекта в государственном водном реестре — 15050000112115300069596.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Копамнярылькы?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 352, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Катым.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Чепурья?", + "support_text": "Чепурья — река в России, протекает по Кондинскому району Ханты-Мансийского автономного округа. Устье реки находится в 129 км по правому берегу реки Катым. Длина реки составляет 23 км.", + "text": "Катым — река в России, протекает в Кондинском районе Ханты-Мансийского АО. Устье реки находится в 244 км по правому берегу реки Конды.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш. Код объекта — 14010600112115300017822." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 128, + "segment": "Конды" + }, + { + "label": "passage", + "length": 5, + "offset": 128, + "segment": "Конда" + } + ], + "meta": { + "id": 734, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Катым" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Чепурья — река в России, протекает по Кондинскому району Ханты-Мансийского автономного округа. Устье реки находится в 129 км по правому берегу реки Катым. Длина реки составляет 23 км.\nТекст 2: Катым — река в России, протекает в Кондинском районе Ханты-Мансийского АО. Устье реки находится в 244 км по правому берегу реки Конды.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш. Код объекта — 14010600112115300017822.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Чепурья?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Самвел Мисакович Баласанян является главой администрации в городе Гюмри, где родился Гегам Георгиевич Флджян.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Гегам Георгиевич Флджян?", + "support_text": "Гегам Георгиевич Флджян (1 мая 1917, Александрополь, Эриванская губерния — 11 февраля 1971) — советский армянский кларнетист, педагог.\n\nБиография.\nС 1927 учился в Ленинаканской музыкальной школе. В 1939 окончил Ереванское музыкальное училище и поступил в Ереванскую государственную консерваторию (класс З. Вартаняна), которую окончил в 1948 (в 1941 служил в рядах Красной Армии). В 1936—1940 работал в оркестре театра им. Сундукяна, в 1941—1955, 1958—1962 и с 1966 — солист симфонического оркестра Армянской ССР. Более двадцати лет занимался также преподавательской деятельностью: в 1939—1942 — преподаватель Ереванской музыкальной школы-десятилетки, в 1942—1947 — музыкального техникума, в 1946—1948 — Ленинаканской музыкальной школы; в 1947—1966 — преподаватель Ереванской консерватории им. Комитаса, в 1963—1965 — преподаватель музыкальной школы им. Саят-Новы.", + "text": "Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 300, + "segment": "Баласанян, Самвел Мисакович" + }, + { + "label": "passage", + "length": 27, + "offset": 300, + "segment": "Самвел Мисакович Баласанян" + } + ], + "meta": { + "id": 184, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 37, + "segment": "Александрополь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Гегам Георгиевич Флджян (1 мая 1917, Александрополь, Эриванская губерния — 11 февраля 1971) — советский армянский кларнетист, педагог.\n\nБиография.\nС 1927 учился в Ленинаканской музыкальной школе. В 1939 окончил Ереванское музыкальное училище и поступил в Ереванскую государственную консерваторию (класс З. Вартаняна), которую окончил в 1948 (в 1941 служил в рядах Красной Армии). В 1936—1940 работал в оркестре театра им. Сундукяна, в 1941—1955, 1958—1962 и с 1966 — солист симфонического оркестра Армянской ССР. Более двадцати лет занимался также преподавательской деятельностью: в 1939—1942 — преподаватель Ереванской музыкальной школы-десятилетки, в 1942—1947 — музыкального техникума, в 1946—1948 — Ленинаканской музыкальной школы; в 1947—1966 — преподаватель Ереванской консерватории им. Комитаса, в 1963—1965 — преподаватель музыкальной школы им. Саят-Новы.\nТекст 2: Гюмри (в некоторых дореволюционных источниках описывается как Гумры; , западноарм. Կիւմրի — все от исторического названия Кумайри) — второй по величине город Армении, административный центр Ширакской области.\n\nМэры.\nВарданян, Микаел Оганесович (1994—1999). Гукасян, Вардан Николаевич (1999—2012). Баласанян, Самвел Мисакович (с 2012).\nВопрос: Кто является главой администрации в городе, где родился Гегам Георгиевич Флджян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Молома", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, воды которой пополняются за счёт Черняницы?", + "support_text": "Черняница (Черновица) — река в России, протекает в Котельничском районе Кировской области. Устье реки находится в 12 км по правому берегу реки Ночная Черняница. Длина реки составляет 42 км, площадь водосборного бассейна 387 кв км. Исток реки находится юго-западнее деревни Родичи в 15 км к юго-западу от Котельнича.", + "text": "Ночная Черняница (\"Черненика\", \"Северная Черняница\") — река в Котельничском районе Кировской области России, правый приток Моломы (бассейн Волги). Устье реки находится в 31 км по правому берегу реки Молома. Длина реки составляет 54 км. Площадь бассейна — 801 кв км. Исток реки находится в лесу юго-западнее посёлка Заречный в 35 км к северо-западу от Котельнича." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 123, + "segment": "Моломы" + }, + { + "label": "passage", + "length": 6, + "offset": 123, + "segment": "Молома" + } + ], + "meta": { + "id": 278, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 143, + "segment": "Ночная Черняница" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Черняница (Черновица) — река в России, протекает в Котельничском районе Кировской области. Устье реки находится в 12 км по правому берегу реки Ночная Черняница. Длина реки составляет 42 км, площадь водосборного бассейна 387 кв км. Исток реки находится юго-западнее деревни Родичи в 15 км к юго-западу от Котельнича.\nТекст 2: Ночная Черняница (\"Черненика\", \"Северная Черняница\") — река в Котельничском районе Кировской области России, правый приток Моломы (бассейн Волги). Устье реки находится в 31 км по правому берегу реки Молома. Длина реки составляет 54 км. Площадь бассейна — 801 кв км. Исток реки находится в лесу юго-западнее посёлка Заречный в 35 км к северо-западу от Котельнича.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, воды которой пополняются за счёт Черняницы? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Городская Дума", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Евгений Иванович Седов?", + "support_text": "Евгений Иванович Седов (родился 9 декабря 1954 года, Горький) — ( -, , воздушный гимнаст-эксцентрик). (1996).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городская дума" + } + ], + "meta": { + "id": 51, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 53, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Евгений Иванович Седов (родился 9 декабря 1954 года, Горький) — ( -, , воздушный гимнаст-эксцентрик). (1996).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Евгений Иванович Седов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 406, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кузобъю", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Лункузобъю?", + "support_text": "Лункузобъю (Лункузьобъю, Лункузъобъю; \"устар.\" Лун-Кузобью) — река в России, течёт по территории Корткеросского района и Усть-Куломского района Республики Коми. Устье реки находится в 49 км по левому берегу реки Кузобъю на высоте 110 м над уровнем моря. Длина реки составляет 25 км.", + "text": "Кузобъю (Кузьобъю; \"устар.\" Кузоб-Ю) — река в России, течёт по территории Корткеросского района и Усть-Куломского района Республики Коми. Образуется слиянием рек Вой-Кузоб и Лункузобъю на высоте 110 м над уровнем моря. Устье реки находится в 618 км по правому берегу реки Вычегды.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от истока до города Сыктывкар, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 272, + "segment": "Вычегды" + }, + { + "label": "passage", + "length": 7, + "offset": 272, + "segment": "Вычегда" + } + ], + "meta": { + "id": 749, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 212, + "segment": "Кузобъю" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Лункузобъю (Лункузьобъю, Лункузъобъю; \"устар.\" Лун-Кузобью) — река в России, течёт по территории Корткеросского района и Усть-Куломского района Республики Коми. Устье реки находится в 49 км по левому берегу реки Кузобъю на высоте 110 м над уровнем моря. Длина реки составляет 25 км.\nТекст 2: Кузобъю (Кузьобъю; \"устар.\" Кузоб-Ю) — река в России, течёт по территории Корткеросского района и Усть-Куломского района Республики Коми. Образуется слиянием рек Вой-Кузоб и Лункузобъю на высоте 110 м над уровнем моря. Устье реки находится в 618 км по правому берегу реки Вычегды.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от истока до города Сыктывкар, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Лункузобъю?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 297, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Мойки.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, через которую построен Пикалов мост?", + "support_text": "Пикалов мост — мост через канал Грибоедова в Адмиралтейском районе Санкт-Петербурга, соединяет Коломенский и Покровский острова. Образует единый архитектурный ансамбль с Красногвардейским и Старо-Никольским мостами.\n\nИстория.\nВ 1783—1785 гг. при сооружении гранитных набережных был построен мост по типовому проекту, разработанному для мостов Крюкова канала и нижнего течения Екатерининского канала: деревянный трёхпролетный, на бутовых, облицованных гранитом опорах, с разводным средним пролётом. Автор проекта не установлен. Из трех мостов, построенных одновременно (Пикалов, Мало-Калинкин, Аларчин), только Пикалов мост сохранил облик, близкий к первоначальному. Во второй половине XIX в. разводной пролёт заменили постоянным.", + "text": "Канал Грибоедова (до 1923 года — Екатерининский канал) — канал в Санкт-Петербурге, берущий начало от реки Мойки у Марсова поля и впадающий в Фонтанку у Мало-Калинкина моста. Длина канала составляет 5 км, ширина — 32 м, глубина — до 3,5 м, средний расход воды — 3,1—3,4 м³/с. Топоним также используется как обиходное наименование набережной канала Грибоедова.\n\nИстория.\nКанал проложен по руслу \"реки Кривуши\" (другое название — \"Глухая речка\"), бравшей своё начало из болотистой трясины, залегавшей между нынешними Конюшенной площадью и площадью Искусств. Изначально носил название \"Екатерининского\" — в честь императрицы Екатерины II, в царствование которой он был обустроен. Исток канала из Мойки. \"Три моста\". Впадение канала в Фонтанку. В 1735 году по оси Вознесенского проспекта был построен деревянный Вознесенский мост. Территория вдоль реки Кривуши южнее Невской перспективы начала застраиваться в 1737 году, когда здесь начали выдавать участки служащим морского ведомства. Первоначально застраивался правый берег." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 141, + "segment": "Фонтанку" + }, + { + "label": "passage", + "length": 8, + "offset": 141, + "segment": "Фонтанка" + } + ], + "meta": { + "id": 641, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 26, + "segment": "канал Грибоедова" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Пикалов мост — мост через канал Грибоедова в Адмиралтейском районе Санкт-Петербурга, соединяет Коломенский и Покровский острова. Образует единый архитектурный ансамбль с Красногвардейским и Старо-Никольским мостами.\n\nИстория.\nВ 1783—1785 гг. при сооружении гранитных набережных был построен мост по типовому проекту, разработанному для мостов Крюкова канала и нижнего течения Екатерининского канала: деревянный трёхпролетный, на бутовых, облицованных гранитом опорах, с разводным средним пролётом. Автор проекта не установлен. Из трех мостов, построенных одновременно (Пикалов, Мало-Калинкин, Аларчин), только Пикалов мост сохранил облик, близкий к первоначальному. Во второй половине XIX в. разводной пролёт заменили постоянным.\nТекст 2: Канал Грибоедова (до 1923 года — Екатерининский канал) — канал в Санкт-Петербурге, берущий начало от реки Мойки у Марсова поля и впадающий в Фонтанку у Мало-Калинкина моста. Длина канала составляет 5 км, ширина — 32 м, глубина — до 3,5 м, средний расход воды — 3,1—3,4 м³/с. Топоним также используется как обиходное наименование набережной канала Грибоедова.\n\nИстория.\nКанал проложен по руслу \"реки Кривуши\" (другое название — \"Глухая речка\"), бравшей своё начало из болотистой трясины, залегавшей между нынешними Конюшенной площадью и площадью Искусств. Изначально носил название \"Екатерининского\" — в честь императрицы Екатерины II, в царствование которой он был обустроен. Исток канала из Мойки. \"Три моста\". Впадение канала в Фонтанку. В 1735 году по оси Вознесенского проспекта был построен деревянный Вознесенский мост. Территория вдоль реки Кривуши южнее Невской перспективы начала застраиваться в 1737 году, когда здесь начали выдавать участки служащим морского ведомства. Первоначально застраивался правый берег.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, через которую построен Пикалов мост?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " С рекой Малый Ямсовей сливается река, в которую впадает Хайбедияха.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Хайбедияха?", + "support_text": "Хайбедияха (\"устар.\" Хайбеда-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 36 км по левому берегу реки Малый Ямсовей. Длина реки составляет 12 км.", + "text": "Малый Ямсовей — река в России, протекает по территории Пуровского района Ямало-Ненецком автономном округе. Устье реки находится в 93 км по левому берегу реки Ямсовей. Длина реки — 121 км, площадь водосборного бассейна — 750 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 6, + "segment": "Ямсовей" + } + ], + "meta": { + "id": 632, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 135, + "segment": "Малый Ямсовей" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Хайбедияха?\nТекст 1: Хайбедияха (\"устар.\" Хайбеда-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 36 км по левому берегу реки Малый Ямсовей. Длина реки составляет 12 км.\nТекст 2: Малый Ямсовей — река в России, протекает по территории Пуровского района Ямало-Ненецком автономном округе. Устье реки находится в 93 км по левому берегу реки Ямсовей. Длина реки — 121 км, площадь водосборного бассейна — 750 кв км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Китат.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Куербак?", + "support_text": "Куербак — река в Кемеровской и Томской областях России. Впадает в Китат в 39 км от устья по левому берегу. Длина — 65 км, площадь бассейна — 545 кв км.", + "text": "Китат — река в Кемеровской и Томской областях России. Впадает в Яю в 90 км от устья по левому берегу. Длина — 135 км, площадь бассейна — 2200 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 2, + "offset": 64, + "segment": "Яю" + } + ], + "meta": { + "id": 340, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 66, + "segment": "Китат" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Куербак — река в Кемеровской и Томской областях России. Впадает в Китат в 39 км от устья по левому берегу. Длина — 65 км, площадь бассейна — 545 кв км.\nТекст 2: Китат — река в Кемеровской и Томской областях России. Впадает в Яю в 90 км от устья по левому берегу. Длина — 135 км, площадь бассейна — 2200 кв км.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Куербак?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Северо-Западная Африка", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за часть света включает в себя неевропейскую страну, за которую выступал Софьян Буфаль?", + "support_text": "Софьян Буфаль ( 17 сентября 1993, Париж) — французский и марокканский футболист, полузащитник клуба \"Анже\".", + "text": "Марокко ( \"Эль-Мáгриб\" — \"запад\", также , \"Эль-Магриб-эль-Акса\" — \"дальний запад\", ), полное официальное название — Королевство Марокко ( \"аль-Мамлякату ль-Магрибияту\", ) — государство в Северо-Западной Африке. Марокко — страна, которая вступила в Африканский союз в 1963 году, но с 1984 по 2017 год не являлась его членом из-за притязаний на Западную Сахару. Входит в Лигу Арабских государств, Союз арабского Магриба, Франкофонию, Организацию исламского сотрудничества, группу Средиземноморского диалога, группу 77.\n\nИстория.\nВенера из Тан-Тана датируется возрастом более 300 тыс. лет назад. Возрастом 108 тыс. лет датируется скелет ребёнка 8 лет, найденный в 2010 году в Темара. Древняя история. В первом тысячелетии до нашей эры марокканские земли принадлежали Карфагену. Со II века до н. э., после завоевания Карфагена римлянами, началось римское владычество в Северной Африке. В 429 году территорию современного Марокко (римскую провинцию Мавретания Тингитанская) захватили вандалы, но через сто лет её вернули в состав империи византийцы." + }, + "outputs": [ + { + "label": "answer", + "length": 6, + "offset": 203, + "segment": "Африке" + }, + { + "label": "answer", + "length": 6, + "offset": 203, + "segment": "Африку" + } + ], + "meta": { + "id": 659, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 58, + "segment": "марокканский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Софьян Буфаль ( 17 сентября 1993, Париж) — французский и марокканский футболист, полузащитник клуба \"Анже\".\nТекст 2: Марокко ( \"Эль-Мáгриб\" — \"запад\", также , \"Эль-Магриб-эль-Акса\" — \"дальний запад\", ), полное официальное название — Королевство Марокко ( \"аль-Мамлякату ль-Магрибияту\", ) — государство в Северо-Западной Африке. Марокко — страна, которая вступила в Африканский союз в 1963 году, но с 1984 по 2017 год не являлась его членом из-за притязаний на Западную Сахару. Входит в Лигу Арабских государств, Союз арабского Магриба, Франкофонию, Организацию исламского сотрудничества, группу Средиземноморского диалога, группу 77.\n\nИстория.\nВенера из Тан-Тана датируется возрастом более 300 тыс. лет назад. Возрастом 108 тыс. лет датируется скелет ребёнка 8 лет, найденный в 2010 году в Темара. Древняя история. В первом тысячелетии до нашей эры марокканские земли принадлежали Карфагену. Со II века до н. э., после завоевания Карфагена римлянами, началось римское владычество в Северной Африке. В 429 году территорию современного Марокко (римскую провинцию Мавретания Тингитанская) захватили вандалы, но через сто лет её вернули в состав империи византийцы.\nОпираясь на данные тексты, ответьте на вопрос: Что за часть света включает в себя неевропейскую страну, за которую выступал Софьян Буфаль? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 388, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Самарой.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большой Уран?", + "support_text": "Большой Уран (\"Большой Чуран\") — река в Оренбургской области, в Сорочинском, Новосергиевском и Переволоцком районах. Правый приток Самары. Берёт начало на возвышенности Общий Сырт, на юго-западном склоне. Протекает преимущественно в западном направлении. Питание, в основном, талыми водами. Впадает в Сорочинское водохранилище, созданное на реке Самаре в 1997 году. Несмотря на название, река имеет меньшую длину и размер бассейна, нежели приток Самары Малый Уран. Крупнейшие притоки — реки Балейка, Максютка, Камышка, Солоновка, Гусиха. Всего имеет 26 притоков.", + "text": "Самара — река в Оренбургской и Самарской областях России, левый приток Волги (впадает в Саратовское водохранилище). Длина — 594 км, площадь водосборного бассейна — 46,5 тыс. кв км. Среднегодовой расход воды — в 236 км от устья 47,2 м³/с. В устье реки расположен город Самара." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 71, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 71, + "segment": "Волга" + } + ], + "meta": { + "id": 585, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 131, + "segment": "Самары" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Большой Уран (\"Большой Чуран\") — река в Оренбургской области, в Сорочинском, Новосергиевском и Переволоцком районах. Правый приток Самары. Берёт начало на возвышенности Общий Сырт, на юго-западном склоне. Протекает преимущественно в западном направлении. Питание, в основном, талыми водами. Впадает в Сорочинское водохранилище, созданное на реке Самаре в 1997 году. Несмотря на название, река имеет меньшую длину и размер бассейна, нежели приток Самары Малый Уран. Крупнейшие притоки — реки Балейка, Максютка, Камышка, Солоновка, Гусиха. Всего имеет 26 притоков.\nТекст 2: Самара — река в Оренбургской и Самарской областях России, левый приток Волги (впадает в Саратовское водохранилище). Длина — 594 км, площадь водосборного бассейна — 46,5 тыс. кв км. Среднегодовой расход воды — в 236 км от устья 47,2 м³/с. В устье реки расположен город Самара.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Большой Уран? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 288, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Варшава, Российская империя.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где был рождён человек, отвечавший за режиссуру фильма \"Верное сердце\"?", + "support_text": "'Верное сердце' ( 1923) — французский художественный фильм Жана Эпштейна. Принято считать наиболее характерным его творчеству, отражающим его программные установки.", + "text": "Жан Эпштейн ( 25 марта 1897, Варшава, Российская империя — 2 апреля 1953, Париж, Франция) — французский кинорежиссёр, теоретик, критик.\n\nБиография.\nЖан Эпштейн родился 1897 году в Варшаве. Большую часть жизни он провел во Франции, где с 1922 года и начал свою творческую деятельность в кино. Брат сценариста и режиссёра Мари Эпштейн (1899—1995)." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 30, + "segment": "Варшава" + } + ], + "meta": { + "id": 364, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 59, + "segment": "Жана Эпштейна" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Верное сердце' ( 1923) — французский художественный фильм Жана Эпштейна. Принято считать наиболее характерным его творчеству, отражающим его программные установки.\nТекст 2: Жан Эпштейн ( 25 марта 1897, Варшава, Российская империя — 2 апреля 1953, Париж, Франция) — французский кинорежиссёр, теоретик, критик.\n\nБиография.\nЖан Эпштейн родился 1897 году в Варшаве. Большую часть жизни он провел во Франции, где с 1922 года и начал свою творческую деятельность в кино. Брат сценариста и режиссёра Мари Эпштейн (1899—1995).\nОпираясь на данные тексты, ответьте на вопрос: Где был рождён человек, отвечавший за режиссуру фильма \"Верное сердце\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Горловский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Александр Степанович Бугаёв?", + "support_text": "Александр Степанович Бугаёв (род. 25 августа 1947, Горловка, Сталинская область) — советский и российский , специалист в области физики полупроводников, акусто- и спин-волновой электроники, информационных технологий, академик Российской академии наук (2000), доктор физико-математических наук, лауреат премии Ленинского комсомола в области науки, премии Правительства РФ 2006 года в области науки и техники. Автор свыше 150 научных работ и изобретений.", + "text": "Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять." + }, + "outputs": [ + { + "label": "passage", + "length": 34, + "offset": 348, + "segment": "Комитеты самоорганизации населения" + } + ], + "meta": { + "id": 34, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 51, + "segment": "Горловка" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Александр Степанович Бугаёв (род. 25 августа 1947, Горловка, Сталинская область) — советский и российский , специалист в области физики полупроводников, акусто- и спин-волновой электроники, информационных технологий, академик Российской академии наук (2000), доктор физико-математических наук, лауреат премии Ленинского комсомола в области науки, премии Правительства РФ 2006 года в области науки и техники. Автор свыше 150 научных работ и изобретений.\nТекст 2: Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Александр Степанович Бугаёв?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.8, + "em": 0 + }, + "predict": " Горловский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Василий Сергеевич Любченко?", + "support_text": "Василий Сергеевич Любченко (род. 14 августа 1952, Горловка) — советский и российский философ, специалист в области философии науки, социальной философии, социологии. Доктор философских наук, профессор.", + "text": "Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\nИмеется 3 административных района:. # Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 350, + "segment": "городской совет" + } + ], + "meta": { + "id": 42, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 50, + "segment": "Горловка" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Василий Сергеевич Любченко (род. 14 августа 1952, Горловка) — советский и российский философ, специалист в области философии науки, социальной философии, социологии. Доктор философских наук, профессор.\nТекст 2: Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\nИмеется 3 административных района:. # Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Василий Сергеевич Любченко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3157894736842105, + "em": 0 + }, + "predict": " Андрей Андреевич Енжиевский родился в регионе, где является главой администрации в настоящее время Владимир Владимирович Владимиров.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Андрей Андреевич Енжиевский?", + "support_text": "Андрей Андреевич Енжиевский (1908-1991) — младший лейтенант Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1943).\n\nБиография.\nАндрей Енжиевский родился 13 (по новому стилю — 26) октября 1908 года на хуторе Водораздел (ныне — село в Андроповском районе Ставропольского края). Получил начальное образование, после чего работал путевым рабочим Северо-Кавказской железной дороги. В апреле 1943 года Енжиевский был призван на службу в Рабоче-крестьянскую Красную Армию.", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района.\n\nРуководители края.\nГубернаторы. Александр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 406, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 558, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 287, + "segment": "Ставропольского края" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в регионе, где родился Андрей Андреевич Енжиевский?\nТекст 1: Андрей Андреевич Енжиевский (1908-1991) — младший лейтенант Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1943).\n\nБиография.\nАндрей Енжиевский родился 13 (по новому стилю — 26) октября 1908 года на хуторе Водораздел (ныне — село в Андроповском районе Ставропольского края). Получил начальное образование, после чего работал путевым рабочим Северо-Кавказской железной дороги. В апреле 1943 года Енжиевский был призван на службу в Рабоче-крестьянскую Красную Армию.\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района.\n\nРуководители края.\nГубернаторы. Александр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 337, + "generated_len": [ + 22 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.3333333333333333, + "em": 0 + }, + "predict": " Верховный Совет СССР", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Алексей Антонович Титаренко?", + "support_text": "Алексей Антонович Титаренко ( 1915—1992) — советский партийно-государственный деятель, второй секретарь ЦК Компартии Украины, член Политбюро ЦК КПУ, депутат Верховного Совета ССР 7—11-го созывов, Герой Социалистического Труда (1985).\n\nБиография.\nРодился а в городе Мариуполе Екатеринославской губернии (ныне Донецкой области Украины). В 1937 году окончил прокатный факультет Ждановского металлургического института.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nБывшие города-побратимы . Нарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 457, + "segment": "Донецкого областного совета" + }, + { + "label": "passage", + "length": 27, + "offset": 457, + "segment": "Донецкий областной совет" + } + ], + "meta": { + "id": 293, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 269, + "segment": "Мариуполе" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Алексей Антонович Титаренко ( 1915—1992) — советский партийно-государственный деятель, второй секретарь ЦК Компартии Украины, член Политбюро ЦК КПУ, депутат Верховного Совета ССР 7—11-го созывов, Герой Социалистического Труда (1985).\n\nБиография.\nРодился а в городе Мариуполе Екатеринославской губернии (ныне Донецкой области Украины). В 1937 году окончил прокатный факультет Ждановского металлургического института.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nБывшие города-побратимы . Нарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Алексей Антонович Титаренко? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 408, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4444444444444445, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Александр Владимирович Саюн, называется Олий Мажлис Республики Узбекистан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Александр Владимирович Саюн?", + "support_text": "Александр Владимирович Саюн (1 января 1975, Термез, Сурхандарьинская область, Узбекская ССР, СССР) — советский, узбекский и российский футболист, защитник, полузащитник. По национальности — украинец. Начал заниматься футболом в 10 лет.", + "text": "Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством. Столица — Ташкент. Государственный язык — узбекский. Сопредельные государства: на востоке — Киргизия; на северо-востоке, севере и северо-западе — Казахстан; на юго-западе и юге — Туркмения; на юге — Афганистан и на юго-востоке — Таджикистан.\n\nПолитическое устройство.\nС 15 ноября 1993 года в Республике Узбекистан для защиты внутреннего рынка от избыточной рублёвой массы были введены временные денежные знаки \"сум-купон\", образца 1992 года. 1 июля 1994 года — введена национальная валюта — сум. Согласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан. Политические партии и движения:." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 807, + "segment": "Олий Мажлис" + }, + { + "label": "passage", + "length": 33, + "offset": 807, + "segment": "Олий Мажлис Республики Узбекистан" + } + ], + "meta": { + "id": 787, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 112, + "segment": "узбекский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Александр Владимирович Саюн?\nТекст 1: Александр Владимирович Саюн (1 января 1975, Термез, Сурхандарьинская область, Узбекская ССР, СССР) — советский, узбекский и российский футболист, защитник, полузащитник. По национальности — украинец. Начал заниматься футболом в 10 лет.\nТекст 2: Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством. Столица — Ташкент. Государственный язык — узбекский. Сопредельные государства: на востоке — Киргизия; на северо-востоке, севере и северо-западе — Казахстан; на юго-западе и юге — Туркмения; на юге — Афганистан и на юго-востоке — Таджикистан.\n\nПолитическое устройство.\nС 15 ноября 1993 года в Республике Узбекистан для защиты внутреннего рынка от избыточной рублёвой массы были введены временные денежные знаки \"сум-купон\", образца 1992 года. 1 июля 1994 года — введена национальная валюта — сум. Согласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан. Политические партии и движения:.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 410, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 0 + }, + "predict": " Юрий Анатольевич Громаковский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в месте, где родился Евгений Шаповалов (певец)?", + "support_text": "Евгений Шаповалов (р. 1968, Барановичи, Брестская область, БССР) — израильский оперный певец и музыкальный продюсер. Шаповалов поёт классическую музыку, оперу, популярную музыку и народные песни Израиля и стран бывшего СССР.\n\nБиография.\nЕвгений Шаповалов родился в Барановичах, Брестская область, БССР (ныне Белоруссия). Евгений Шаповалов один из самых популярных певцов Израиля, которого по праву называют \"Израильским Паваротти\".", + "text": "Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи.\n\nПредседатели Барановичского горисполкома.\n04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич." + }, + "outputs": [ + { + "label": "answer", + "length": 30, + "offset": 205, + "segment": "Громаковский, Юрий Анатольевич" + }, + { + "label": "answer", + "length": 30, + "offset": 205, + "segment": "Громаковский Юрий Анатольевич" + } + ], + "meta": { + "id": 936, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 28, + "segment": "Барановичи" + }, + { + "label": "passage", + "length": 11, + "offset": 268, + "segment": "Барановичах" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Евгений Шаповалов (р. 1968, Барановичи, Брестская область, БССР) — израильский оперный певец и музыкальный продюсер. Шаповалов поёт классическую музыку, оперу, популярную музыку и народные песни Израиля и стран бывшего СССР.\n\nБиография.\nЕвгений Шаповалов родился в Барановичах, Брестская область, БССР (ныне Белоруссия). Евгений Шаповалов один из самых популярных певцов Израиля, которого по праву называют \"Израильским Паваротти\".\nТекст 2: Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи.\n\nПредседатели Барановичского горисполкома.\n04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в месте, где родился Евгений Шаповалов (певец)? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Косьва", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пелуч?", + "support_text": "Пелуч — река в России, протекает в Добрянском районе Пермского края. Устье реки находится в 29 км по левому берегу реки Вильва. Длина реки составляет 10 км. Река берёт начало в 2 км к югу от посёлка Кыж, исток находится на западных предгорьях Среднего Урала.", + "text": "Вильва — река в России, протекает в Добрянском районе Пермского края. Впадает в реку Косьва в 24 км от её устья по левому берегу, крупнейший приток этой реки. Длина реки составляет 94 км, площадь водосборного бассейна 849 кв км. Река образуется слиянием двух небольших рек Малая Вильва и Большая Вильва в лесном массиве близ границы с Чусовским районом в 20 км к юго-востоку от посёлка Вильва. Исток находится на западных предгорьях Среднего Урала на водоразделе бассейнов Косьвы и Чусовой.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Кама от города Березники до Камского гидроузла, без реки Косьва (от истока до Широковского гидроузла), Чусовая и Сылва, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 85, + "segment": "Косьва" + } + ], + "meta": { + "id": 612, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 120, + "segment": "Вильва" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пелуч — река в России, протекает в Добрянском районе Пермского края. Устье реки находится в 29 км по левому берегу реки Вильва. Длина реки составляет 10 км. Река берёт начало в 2 км к югу от посёлка Кыж, исток находится на западных предгорьях Среднего Урала.\nТекст 2: Вильва — река в России, протекает в Добрянском районе Пермского края. Впадает в реку Косьва в 24 км от её устья по левому берегу, крупнейший приток этой реки. Длина реки составляет 94 км, площадь водосборного бассейна 849 кв км. Река образуется слиянием двух небольших рек Малая Вильва и Большая Вильва в лесном массиве близ границы с Чусовским районом в 20 км к юго-востоку от посёлка Вильва. Исток находится на западных предгорьях Среднего Урала на водоразделе бассейнов Косьвы и Чусовой.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Кама от города Березники до Камского гидроузла, без реки Косьва (от истока до Широковского гидроузла), Чусовая и Сылва, речной подбассейн реки — бассейны притоков Камы до впадения Белой. Речной бассейн реки — Кама.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Пелуч? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Баканка и Неберджай.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Хобза?", + "support_text": "Хобза (\"Хопс, Копс\") — река в России, протекает по территории Крымского района Краснодарского края. Ныне впадает в Варнавинский сбросной канал (ранее впадала в Адагум). Длина реки — 12 км, площадь водосборного бассейна — 34,3 кв км.", + "text": "Адагум (Адыкум, Адагим, Атакума, Атагум; ) — река в Краснодарском крае России, левый приток Кубани. Длина реки — 66 км, площадь водосборного бассейна 336 кв км. Начинается от слияния рек Баканка и Неберджай, которые в свою очередь начинаются на северных склонах Маркотхского хребта. Питание смешанное, с преобладанием дождевого. Адагум ранее имел разветвлённую сеть многочисленных притоков. Сейчас река лишилась их, поскольку значительную часть его бассейна заняло Варнавинское водохранилище, в которое она впадает. Бассейн Кубани. Для водного режима реки характерна межень (вплоть до пересыхания) летом. После сильных дождей в горах выходит из берегов." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 92, + "segment": "Кубани" + } + ], + "meta": { + "id": 633, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 160, + "segment": "Адагум" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Хобза (\"Хопс, Копс\") — река в России, протекает по территории Крымского района Краснодарского края. Ныне впадает в Варнавинский сбросной канал (ранее впадала в Адагум). Длина реки — 12 км, площадь водосборного бассейна — 34,3 кв км.\nТекст 2: Адагум (Адыкум, Адагим, Атакума, Атагум; ) — река в Краснодарском крае России, левый приток Кубани. Длина реки — 66 км, площадь водосборного бассейна 336 кв км. Начинается от слияния рек Баканка и Неберджай, которые в свою очередь начинаются на северных склонах Маркотхского хребта. Питание смешанное, с преобладанием дождевого. Адагум ранее имел разветвлённую сеть многочисленных притоков. Сейчас река лишилась их, поскольку значительную часть его бассейна заняло Варнавинское водохранилище, в которое она впадает. Бассейн Кубани. Для водного режима реки характерна межень (вплоть до пересыхания) летом. После сильных дождей в горах выходит из берегов.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Хобза?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 279, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Нюню.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Брюзля?", + "support_text": "Брюзля — река в России, протекает в Бардымском районе Пермского края. Устье реки находится в 7,2 км по левому берегу реки Большая Нюню. Длина реки составляет 12 км. Река берёт начало в лесах в южной части Тулвинской возвышенности в 18 км к востоку от райцентра, села Барда. Течёт на юго-запад.", + "text": "Большая Нюню — река в России, протекает в Бардымском районе Пермского края. Устье реки находится в 65 км по правому берегу реки Тулва. Длина реки составляет 20 км. Река берёт начало в лесах в южной части Тулвинской возвышенности в 10 км к востоку от райцентра, села Барда." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 128, + "segment": "Тулва" + } + ], + "meta": { + "id": 586, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 122, + "segment": "Большая Нюню" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Брюзля — река в России, протекает в Бардымском районе Пермского края. Устье реки находится в 7,2 км по левому берегу реки Большая Нюню. Длина реки составляет 12 км. Река берёт начало в лесах в южной части Тулвинской возвышенности в 18 км к востоку от райцентра, села Барда. Течёт на юго-запад.\nТекст 2: Большая Нюню — река в России, протекает в Бардымском районе Пермского края. Устье реки находится в 65 км по правому берегу реки Тулва. Длина реки составляет 20 км. Река берёт начало в лесах в южной части Тулвинской возвышенности в 10 км к востоку от райцентра, села Барда.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Брюзля? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Уда", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Чогар?", + "support_text": "Чогар — река в Хабаровском крае России, левый приток Уды.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Амурскому бассейновому округу, речной бассейн реки Уда, речной подбассейн реки — нет, водохозяйственный участок реки — Уда. Код объекта в государственном водном реестре — 20020000112119000161416.", + "text": "Уда — река в Хабаровском крае России. Впадает в Удскую губу Охотского моря. В устье расположено село Чумикан. Также в бассейне Уды расположены сёла: Удское, Неран, Алгазея.\n\nИсторические сведения.\nСамое раннее посещение бассейна реки Уды русскими относится к первой половине XVII века. В 1638 году отряд землепроходца Ивана Юрьевича Москвина, проделавший путь по рекам Алдан и Мая к устью реки Улья, вышел на берег Охотского моря. Отсюда он совершил далёкие походы на север до реки Тауй и на юг до реки Уда. И. Ю. Москвитин и дал первые сведения об Удском районе. В 1681 году на реке Уде было выстроено зимовье послужившее основанием Удскому острогу." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 48, + "segment": "Удскую губу Охотского моря" + }, + { + "label": "passage", + "length": 11, + "offset": 48, + "segment": "Удскую губу" + }, + { + "label": "passage", + "length": 14, + "offset": 60, + "segment": "Охотского моря" + } + ], + "meta": { + "id": 804, + "bridge_answers": [ + { + "label": "passage", + "length": 3, + "offset": 53, + "segment": "Уды" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Чогар — река в Хабаровском крае России, левый приток Уды.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Амурскому бассейновому округу, речной бассейн реки Уда, речной подбассейн реки — нет, водохозяйственный участок реки — Уда. Код объекта в государственном водном реестре — 20020000112119000161416.\nТекст 2: Уда — река в Хабаровском крае России. Впадает в Удскую губу Охотского моря. В устье расположено село Чумикан. Также в бассейне Уды расположены сёла: Удское, Неран, Алгазея.\n\nИсторические сведения.\nСамое раннее посещение бассейна реки Уды русскими относится к первой половине XVII века. В 1638 году отряд землепроходца Ивана Юрьевича Москвина, проделавший путь по рекам Алдан и Мая к устью реки Улья, вышел на берег Охотского моря. Отсюда он совершил далёкие походы на север до реки Тауй и на юг до реки Уда. И. Ю. Москвитин и дал первые сведения об Удском районе. В 1681 году на реке Уде было выстроено зимовье послужившее основанием Удскому острогу.\nОпираясь на данные тексты, ответьте на вопрос: Как называется водоток, в который впадает река, притоком которой является Чогар?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 322, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " американское.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое гражданство у режиссёра фильма \"Суперпожар\"?", + "support_text": "'Суперпожар' — трёхчасовой художественный фильм совместного производства США, Канады, Германии и Новой Зеландии, снятый режиссёром Стивеном Куэйлом в жанре драматического триллера с элементами катастрофы по сюжету известного писателя Дугласа Престона. Премьера состоялась 20 апреля 2002 года на телеканале ABC. Главные роли исполнили Д. Б. Суини, Дайан Фарр, Чед Донелла, Эллен Муф и Гедеон Буркхард. Фильм был номинирован на прайм-тайм премию 'Эмми' в категории 'Лучшие спецэффекты в мини-сериале, фильме или специальном выпуске телепередачи'.\n\nСоздатели фильма.\nЛэйтем Гейнс — 'доктор Саймон Орр'. Эмма Ланг — 'Энджи'. Джей Райан — 'Дэннис'. Съёмочная группа. Режиссёр: Стивен Куэйл. Автор сюжета и исполнительный продюсер: Дуглас Престон. Композитор: Расс Ландау.", + "text": "Стивен Куэйл — американский кинорежиссёр, известный по фильмам \"Пункт назначения 5\" и \"Навстречу шторму\", а также по сотрудничеству с Джеймсом Кэмероном в качестве режиссёра второго состава ()." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 15, + "segment": "американский" + } + ], + "meta": { + "id": 441, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 131, + "segment": "Стивеном Куэйлом" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Суперпожар' — трёхчасовой художественный фильм совместного производства США, Канады, Германии и Новой Зеландии, снятый режиссёром Стивеном Куэйлом в жанре драматического триллера с элементами катастрофы по сюжету известного писателя Дугласа Престона. Премьера состоялась 20 апреля 2002 года на телеканале ABC. Главные роли исполнили Д. Б. Суини, Дайан Фарр, Чед Донелла, Эллен Муф и Гедеон Буркхард. Фильм был номинирован на прайм-тайм премию 'Эмми' в категории 'Лучшие спецэффекты в мини-сериале, фильме или специальном выпуске телепередачи'.\n\nСоздатели фильма.\nЛэйтем Гейнс — 'доктор Саймон Орр'. Эмма Ланг — 'Энджи'. Джей Райан — 'Дэннис'. Съёмочная группа. Режиссёр: Стивен Куэйл. Автор сюжета и исполнительный продюсер: Дуглас Престон. Композитор: Расс Ландау.\nТекст 2: Стивен Куэйл — американский кинорежиссёр, известный по фильмам \"Пункт назначения 5\" и \"Навстречу шторму\", а также по сотрудничеству с Джеймсом Кэмероном в качестве режиссёра второго состава ().\nОпираясь на факты в данных текстах, ответьте на вопрос: Какое гражданство у режиссёра фильма \"Суперпожар\"? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Бисерть.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большой Ирмиз?", + "support_text": "Большой Ирмиз — река в России, протекает по Свердловской области. Устье реки находится в 126 км по правому берегу реки Бисерть. Длина реки составляет 19 км.", + "text": "Бисерть — река в России, протекает по Свердловской области. Правый приток Уфы. Длина реки составляет 193 км, площадь водосборного бассейна — 3400 кв км. На реке расположен Бисертский пруд площадью 3,42 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201112111100021015." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 74, + "segment": "Уфы" + }, + { + "label": "passage", + "length": 3, + "offset": 74, + "segment": "Уфа" + } + ], + "meta": { + "id": 263, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 119, + "segment": "Бисерть" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Большой Ирмиз — река в России, протекает по Свердловской области. Устье реки находится в 126 км по правому берегу реки Бисерть. Длина реки составляет 19 км.\nТекст 2: Бисерть — река в России, протекает по Свердловской области. Правый приток Уфы. Длина реки составляет 193 км, площадь водосборного бассейна — 3400 кв км. На реке расположен Бисертский пруд площадью 3,42 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201112111100021015.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Большой Ирмиз? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4, + "em": 0 + }, + "predict": " Законодательный орган города, где умер Сурен Григорьевич Петросян, называется Ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Сурен Григорьевич Петросян?", + "support_text": "Сурен Григорьевич Петросян (15 декабря 1916, с. Рев, ныне Аскеранский район, Нагорный Карабах — 25 ноября 1996, Ереван) — командир батальона 5-й гвардейской воздушно-десантной бригады 52-й армии 2-го Украинского фронта, гвардии старший лейтенант, Герой Советского Союза.\n\nЛитература.\nЗолотые Звёзды Азербайджана. Баку, 1975. Книга о героях. Ереван, 1985.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 672, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 112, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где умер Сурен Григорьевич Петросян?\nТекст 1: Сурен Григорьевич Петросян (15 декабря 1916, с. Рев, ныне Аскеранский район, Нагорный Карабах — 25 ноября 1996, Ереван) — командир батальона 5-й гвардейской воздушно-десантной бригады 52-й армии 2-го Украинского фронта, гвардии старший лейтенант, Герой Советского Союза.\n\nЛитература.\nЗолотые Звёзды Азербайджана. Баку, 1975. Книга о героях. Ереван, 1985.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинск, где умер Наум Иосифович Каган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Наум Иосифович Каган?", + "support_text": "Наум Иосифович Каган (30 ноября 1918, Ромны — 22 мая 1963, Челябинск) — советский металлург, , лауреат Ленинской премии.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 878, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 878, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 550, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 59, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Наум Иосифович Каган (30 ноября 1918, Ромны — 22 мая 1963, Челябинск) — советский металлург, , лауреат Ленинской премии.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nТакже дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nВопрос: Кто является главой администрации в городе, где умер Наум Иосифович Каган?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 313, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05128205128205127, + "em": 0 + }, + "predict": " С рекой Конда. \n\nОбъяснение: В тексте 2 указано, что Большой Тап — это левый приток реки Конды. В тексте 1 упоминается, что Тайлоково протекает по Кондинскому району Ханты-Мансийского автономного округа и впадает в устье Большого Тапа, который, как", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Тайлоково?", + "support_text": "Тайлоково, или Ивтурье, — река в России, протекает по Кондинскому району Ханты-Мансийского автономного округа. Устье реки находится в 1 км от устья Большого Тапа по правому берегу. Берёт начало из одноимённого озера — Тайлокова. Длина реки — 16 км.\n\nПримечания.\nКатегория:Притоки Большого Тапа.", + "text": "Большой Тап — судоходная река в России, протекает по территории Кондинского и Советского районов Ханты-Мансийского автономного округа, левый приток Конды, берёт своё начало к югу от озера Тапто. Длина реки — 504 км, площадь водосборного бассейна — 6700 кв км. Общее направление течения с севера на юг.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Конды" + }, + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Конда" + } + ], + "meta": { + "id": 857, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 148, + "segment": "Большого Тапа" + }, + { + "label": "passage", + "length": 13, + "offset": 284, + "segment": "Большого Тапа" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Тайлоково, или Ивтурье, — река в России, протекает по Кондинскому району Ханты-Мансийского автономного округа. Устье реки находится в 1 км от устья Большого Тапа по правому берегу. Берёт начало из одноимённого озера — Тайлокова. Длина реки — 16 км.\n\nПримечания.\nКатегория:Притоки Большого Тапа.\nТекст 2: Большой Тап — судоходная река в России, протекает по территории Кондинского и Советского районов Ханты-Мансийского автономного округа, левый приток Конды, берёт своё начало к югу от озера Тапто. Длина реки — 504 км, площадь водосборного бассейна — 6700 кв км. Общее направление течения с севера на юг.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш.\nВопрос: С какой рекой сливается река, в которую впадает Тайлоково?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Санкт-Петербург.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за город являлся местом рождения художника, кисти которого принадлежит картина \"Итальянский полдень\"?", + "support_text": "'Итальянский полдень' ('Итальянка, снимающая виноград') — картина русского художника Карла Брюллова. Парная к 'Полдню' картина 'Итальянское утро' написана в 1823 году и была подарена Обществом поощрения художников Александре Фёдоровне, жене Николая I. Император захотел получить парную к 'Утру' картину, что послужило началом написания Брюлловым картины 'Итальянский полдень'. 'Полдень' был написан в 1827 году и стал причиной разрыва художника с ОПХ. Картина появилась на выставке в Петербурге и получила много нелестных отзывов.", + "text": "Карл Павлович Брюллов (Брюлов) (до 1822 года — Брюлло; , Санкт-Петербург, Россия — Манциана, Папская область) — русский художник, живописец, монументалист, акварелист, представитель классицизма и романтизма. Автор жанровых и исторических полотен.\n\nОбзор творчества.\nОкончил Академию с большой золотой медалью (\"за картину \"Явление Аврааму трех Ангелов у дуба Мамврийского\"\") и аттестатом 1-й степени. С 1822 по 1834 год как пенсионер Общества поощрения художников жил и работал в Италии, где написал картину \"Последний день Помпеи\" (1830—1833), удостоенную в Париже Гран-при. Одновременно создал ряд портретов, в том числе картину \"Всадница\" (1832), принесших ему громкую славу. В 1835 году совершил путешествие по Греции и Турции, во время которого исполнил ряд графических работ. В том же году вернулся в Россию, до 1836 года жил в Москве, где познакомился с А. С. Пушкиным, затем переехал в Санкт-Петербург. В 1836—1849 годах преподавал в Академии художеств." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 57, + "segment": "Санкт-Петербург" + } + ], + "meta": { + "id": 1033, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 85, + "segment": "Карла Брюллова" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: 'Итальянский полдень' ('Итальянка, снимающая виноград') — картина русского художника Карла Брюллова. Парная к 'Полдню' картина 'Итальянское утро' написана в 1823 году и была подарена Обществом поощрения художников Александре Фёдоровне, жене Николая I. Император захотел получить парную к 'Утру' картину, что послужило началом написания Брюлловым картины 'Итальянский полдень'. 'Полдень' был написан в 1827 году и стал причиной разрыва художника с ОПХ. Картина появилась на выставке в Петербурге и получила много нелестных отзывов.\nТекст 2: Карл Павлович Брюллов (Брюлов) (до 1822 года — Брюлло; , Санкт-Петербург, Россия — Манциана, Папская область) — русский художник, живописец, монументалист, акварелист, представитель классицизма и романтизма. Автор жанровых и исторических полотен.\n\nОбзор творчества.\nОкончил Академию с большой золотой медалью (\"за картину \"Явление Аврааму трех Ангелов у дуба Мамврийского\"\") и аттестатом 1-й степени. С 1822 по 1834 год как пенсионер Общества поощрения художников жил и работал в Италии, где написал картину \"Последний день Помпеи\" (1830—1833), удостоенную в Париже Гран-при. Одновременно создал ряд портретов, в том числе картину \"Всадница\" (1832), принесших ему громкую славу. В 1835 году совершил путешествие по Греции и Турции, во время которого исполнил ряд графических работ. В том же году вернулся в Россию, до 1836 года жил в Москве, где познакомился с А. С. Пушкиным, затем переехал в Санкт-Петербург. В 1836—1849 годах преподавал в Академии художеств.\nВопрос: Что за город являлся местом рождения художника, кисти которого принадлежит картина \"Итальянский полдень\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15384615384615385, + "em": 0 + }, + "predict": " Законодательный орган города Мариуполь, где родился Александр Васильевич Мигдеев, называется Мариупольский горсовет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Александр Васильевич Мигдеев?", + "support_text": "Александр Васильевич Мигдеев — советник Президента Украины (апрель 1999 — сентябрь 2000). Член ЦК КПУ в 1976 — 1990 г. Депутат Верховного Совета УССР 11-го созыва. Родился 16 августа 1938 в городе Мариуполь; украинец. Образование: Ждановский металлургический институт. Член КПСС с 1965 года.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовета" + }, + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовет" + } + ], + "meta": { + "id": 33, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 197, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родился Александр Васильевич Мигдеев?\nТекст 1: Александр Васильевич Мигдеев — советник Президента Украины (апрель 1999 — сентябрь 2000). Член ЦК КПУ в 1976 — 1990 г. Депутат Верховного Совета УССР 11-го созыва. Родился 16 августа 1938 в городе Мариуполь; украинец. Образование: Ждановский металлургический институт. Член КПСС с 1965 года.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 348, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Джазатор", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Жумалы?", + "support_text": "Жумалы — река в России, протекает по скому району Республики Алтай. Устье реки находится в 44 км от устья реки Джазатор по левому берегу. Длина реки составляет 34 км. В 13 км от устья по левому берегу реки впадает река Садакбай.", + "text": "Джазатор (уст. \"Жасатер\", в верхнем течении Усай) — река в Республике Алтай России. Устье реки находится в 106 км по правому берегу реки Аргут. Длина реки — 102 км, площадь водосборного бассейна 1820 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 137, + "segment": "Аргут" + } + ], + "meta": { + "id": 91, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 111, + "segment": "Джазатор" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Жумалы — река в России, протекает по скому району Республики Алтай. Устье реки находится в 44 км от устья реки Джазатор по левому берегу. Длина реки составляет 34 км. В 13 км от устья по левому берегу реки впадает река Садакбай.\nТекст 2: Джазатор (уст. \"Жасатер\", в верхнем течении Усай) — река в Республике Алтай России. Устье реки находится в 106 км по правому берегу реки Аргут. Длина реки — 102 км, площадь водосборного бассейна 1820 кв км.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Жумалы? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05882352941176471, + "em": 0 + }, + "predict": " Команда, тренера которой зовут Франсиско Хосе Карраско, играет в Сегунде, что соответствует Примере в Испании. В тексте 2 упоминается, что 'Атлетико Малагеньо' в 2003/04 году занял 15-е место в Сегунде, что является лучшим", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой зовут Франсиско Хосе Карраско?", + "support_text": "Франсиско Хосе Карраско Идальго ( 6 марта 1959, Алькой) — испанский футболист, выступал на позиции вингера. Известен по выступлениям за \"Барселону\". После завершения карьеры работал тренером.\n\nКлубная карьера.\nДебют за основной состав состоялся в сезоне 1978/1979 и также в этом сезоне играл в финале Кубка обладателей кубков, в котором \"Барселона\" в дополнительное время обыграла немецкую \"Фортуну\" из Дюссельдорфа со счётом 4-3. После более чем 300 официальных игр и почти 50 голов забитых за \"сине-гранатовых\" Карраско стал чемпионом Испании в сезоне 1984/1985. В 1989 году Франсиско на три сезона перешёл во французский \"Сошо\". Карьеру завершил в каталонском \"Фигерасе\", за который провёл 5 матчей. В сезоне 2005/2006 был главным тренером \"Атлетико Малагеньо\". А сезон 2007/2008 тренировал \"Реал Овьедо\", с которым стал чемпионом Терсеры.", + "text": "'Атлетико Малагеньо' — испанский футбольный клуб из Малаги, в одноимённой провинции в автономном сообществе Андалусия, резервная команда клуба 'Малага'. Клуб основан в 1990 году, гостей принимает на арене 'Сьюдад Депортива', вмещающей 1 300 зрителей. В Примере команда никогда не выступала, лучшим результатом является 15-е место в 'Сегунде' в сезоне 2003/04.\n\nСтатистика сезонов.\nМесто. С 1990-96. Регионал. 1996/97. 3ª. 11-е. 1997/98. 3ª. 6-е. 1998/99. 3ª." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 333, + "segment": "Сегунде" + }, + { + "label": "passage", + "length": 7, + "offset": 333, + "segment": "Сегунда" + } + ], + "meta": { + "id": 324, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 748, + "segment": "Атлетико Малагеньо" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какой лиге играет команда, тренера которой зовут Франсиско Хосе Карраско?\nТекст 1: Франсиско Хосе Карраско Идальго ( 6 марта 1959, Алькой) — испанский футболист, выступал на позиции вингера. Известен по выступлениям за \"Барселону\". После завершения карьеры работал тренером.\n\nКлубная карьера.\nДебют за основной состав состоялся в сезоне 1978/1979 и также в этом сезоне играл в финале Кубка обладателей кубков, в котором \"Барселона\" в дополнительное время обыграла немецкую \"Фортуну\" из Дюссельдорфа со счётом 4-3. После более чем 300 официальных игр и почти 50 голов забитых за \"сине-гранатовых\" Карраско стал чемпионом Испании в сезоне 1984/1985. В 1989 году Франсиско на три сезона перешёл во французский \"Сошо\". Карьеру завершил в каталонском \"Фигерасе\", за который провёл 5 матчей. В сезоне 2005/2006 был главным тренером \"Атлетико Малагеньо\". А сезон 2007/2008 тренировал \"Реал Овьедо\", с которым стал чемпионом Терсеры.\nТекст 2: 'Атлетико Малагеньо' — испанский футбольный клуб из Малаги, в одноимённой провинции в автономном сообществе Андалусия, резервная команда клуба 'Малага'. Клуб основан в 1990 году, гостей принимает на арене 'Сьюдад Депортива', вмещающей 1 300 зрителей. В Примере команда никогда не выступала, лучшим результатом является 15-е место в 'Сегунде' в сезоне 2003/04.\n\nСтатистика сезонов.\nМесто. С 1990-96. Регионал. 1996/97. 3ª. 11-е. 1997/98. 3ª. 6-е. 1998/99. 3ª.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Пётр Николаевич Тултаев является главой администрации в городе Саранск, где родился Михаил Николаевич Барышев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Михаил Николаевич Барышев?", + "support_text": "Михаил Николаевич Барышев (род. 5 октября 1978, Саранск, Мордовская АССР, РСФСР, СССР) — бывший начальник Главного управления по работе с личным составом Вооруженных Сил Российской Федерации, полковник.", + "text": "Саранск ( ) — город в России, административный центр Республики Мордовия. Вместе с прилегающими сельскими населёнными пунктами образует муниципальное образование со статусом городского округа. Основан в 1641 году. Саранск расположен в центральной части Восточно-Европейской равнины на Приволжской возвышенности на обоих берегах реки Инсар (бассейн Волги).\n\nАдминистративно-территориальное устройство.\nКроме районов, существует неофициальное разделение города на части, микрорайоны, жилые массивы. Органы власти. Здание главы городского округа Саранск. Высшим должностным лицом является глава городского округа Саранск, избираемый депутатами на сессии Совета депутатов городского округа Саранск сроком на 5 лет. 19 июня 2012 года главой Администрации городского округа Саранск назначен Пётр Николаевич Тултаев. 1 ноября 2016 года Петр Тултаев избран на должность Главы городского округа Саранск. В Саранске располагается резиденция Главы Республики Мордовия и Правительства Республики Мордовия — Дом Республики." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 789, + "segment": "Пётр Николаевич Тултаев" + } + ], + "meta": { + "id": 951, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 48, + "segment": "Саранск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Михаил Николаевич Барышев?\nТекст 1: Михаил Николаевич Барышев (род. 5 октября 1978, Саранск, Мордовская АССР, РСФСР, СССР) — бывший начальник Главного управления по работе с личным составом Вооруженных Сил Российской Федерации, полковник.\nТекст 2: Саранск ( ) — город в России, административный центр Республики Мордовия. Вместе с прилегающими сельскими населёнными пунктами образует муниципальное образование со статусом городского округа. Основан в 1641 году. Саранск расположен в центральной части Восточно-Европейской равнины на Приволжской возвышенности на обоих берегах реки Инсар (бассейн Волги).\n\nАдминистративно-территориальное устройство.\nКроме районов, существует неофициальное разделение города на части, микрорайоны, жилые массивы. Органы власти. Здание главы городского округа Саранск. Высшим должностным лицом является глава городского округа Саранск, избираемый депутатами на сессии Совета депутатов городского округа Саранск сроком на 5 лет. 19 июня 2012 года главой Администрации городского округа Саранск назначен Пётр Николаевич Тултаев. 1 ноября 2016 года Петр Тултаев избран на должность Главы городского округа Саранск. В Саранске располагается резиденция Главы Республики Мордовия и Правительства Республики Мордовия — Дом Республики.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 306, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.4, + "em": 0 + }, + "predict": " Урай, Ханты-Мансийский автономный округ.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родилась сестра Яны Юрьевны Жилинскайте?", + "support_text": "Яна Юрьевна Жилинскайте ( род. 6 марта 1989 года, Урай, Ханты-Мансийский автономный округ) — российская гандболистка, линейная сборной России. Мастер спорта России и Мастер спорта России международного класса. Сестра-близнец другой известной российской гандболистки — Виктории Жилинскайте.\n\nБиография.\nГандболом начинала заниматься в Урае под руководством тренера Евгения Николаевича Черных. В 2004—2008 годах выступала за уфимскую \"Алису\". Летом 2008 года Яна Жилинскайте (вместе с сестрой Викторией) была приглашена в тольяттинскую \"Ладу\". В составе волжской команды выиграла серебряную (в сезоне-2013/14) и бронзовые (2008/09, 2010/11, 2011/12) медали чемпионатов России, в 2012 и в 2014 году стала обладательницей Кубка Европейской гандбольной федерации. С 2014 по 2016 годы игрок ГК \"Астраханочка\".", + "text": "Виктория Юрьевна Жилинскайте ( род. 6 марта 1989 года, Урай, Ханты-Мансийский автономный округ) — российская гандболистка, левая полусредняя сборной России и \"Кубани\". Олимпийская чемпионка 2016 года, чемпионка мира 2009 года. Заслуженный мастер спорта (2009). Сестра-близнец другой известной российской гандболистки Яны Жилинскайте.\n\nБиография.\nГандболом начинала заниматься в Урае под руководством тренера Евгения Николаевича Черных. В 2004—2008 годах выступала за уфимскую \"Алису\". В 2007 году была вызвана в молодёжную сборную России и приняла участие в матчах чемпионата Европы среди юниорок в Измире. Летом 2008 года Виктория Жилинскайте (вместе с сестрой Яной) была приглашена в тольяттинскую \"Ладу\"." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 55, + "segment": "Урай" + } + ], + "meta": { + "id": 367, + "bridge_answers": [ + { + "label": "passage", + "length": 20, + "offset": 269, + "segment": "Виктории Жилинскайте" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Яна Юрьевна Жилинскайте ( род. 6 марта 1989 года, Урай, Ханты-Мансийский автономный округ) — российская гандболистка, линейная сборной России. Мастер спорта России и Мастер спорта России международного класса. Сестра-близнец другой известной российской гандболистки — Виктории Жилинскайте.\n\nБиография.\nГандболом начинала заниматься в Урае под руководством тренера Евгения Николаевича Черных. В 2004—2008 годах выступала за уфимскую \"Алису\". Летом 2008 года Яна Жилинскайте (вместе с сестрой Викторией) была приглашена в тольяттинскую \"Ладу\". В составе волжской команды выиграла серебряную (в сезоне-2013/14) и бронзовые (2008/09, 2010/11, 2011/12) медали чемпионатов России, в 2012 и в 2014 году стала обладательницей Кубка Европейской гандбольной федерации. С 2014 по 2016 годы игрок ГК \"Астраханочка\".\nТекст 2: Виктория Юрьевна Жилинскайте ( род. 6 марта 1989 года, Урай, Ханты-Мансийский автономный округ) — российская гандболистка, левая полусредняя сборной России и \"Кубани\". Олимпийская чемпионка 2016 года, чемпионка мира 2009 года. Заслуженный мастер спорта (2009). Сестра-близнец другой известной российской гандболистки Яны Жилинскайте.\n\nБиография.\nГандболом начинала заниматься в Урае под руководством тренера Евгения Николаевича Черных. В 2004—2008 годах выступала за уфимскую \"Алису\". В 2007 году была вызвана в молодёжную сборную России и приняла участие в матчах чемпионата Европы среди юниорок в Измире. Летом 2008 года Виктория Жилинскайте (вместе с сестрой Яной) была приглашена в тольяттинскую \"Ладу\".\nВопрос: Где родилась сестра Яны Юрьевны Жилинскайте?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 518, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Марьянович Комарницкий был главой администрации Луганской области с 22 ноября 2018 по 5 июля 2019 года, до того как на территории области была провозглашена Луганская Народная Республика.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в месте, где родилась Татьяна Николаевна Черкасова?", + "support_text": "Татьяна Николаевна Черкасова (р. 8 апреля 1959, Луганская область, УССР) — советская волейболистка, игрок сборной СССР (1977—1982). Чемпионка Европы 1979, чемпионка СССР 1985. Нападающая.", + "text": "'Эта статья — об административной единице Украины. О непризнанном государственном образовании см. Луганская Народная Республика.'. Луганская область — административно-территориальная единица Украины, расположенная на крайнем востоке страны, преимущественно в бассейне среднего течения Северского Донца. Север области относится к этнографическому региону Слобожанщина, юг к Донбассу. В апреле 2014 года, в результате обострения политического кризиса на Украине, на части территории области была провозглашена Луганская Народная Республика.\n\nГлавы государственной администрации Луганской области.\n(22 ноября 2018 — 5 июля 2019). Комарницкий, Виталий Марьянович (5 июля 2019 — 25 октября 2019). Гайдай, Сергей Владимирович (с 25 октября 2019)." + }, + "outputs": [ + { + "label": "passage", + "length": 27, + "offset": 695, + "segment": "Гайдай, Сергей Владимирович" + }, + { + "label": "passage", + "length": 27, + "offset": 695, + "segment": "Сергей Владимирович Гайдай" + } + ], + "meta": { + "id": 555, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 48, + "segment": "Луганская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Татьяна Николаевна Черкасова (р. 8 апреля 1959, Луганская область, УССР) — советская волейболистка, игрок сборной СССР (1977—1982). Чемпионка Европы 1979, чемпионка СССР 1985. Нападающая.\nТекст 2: 'Эта статья — об административной единице Украины. О непризнанном государственном образовании см. Луганская Народная Республика.'. Луганская область — административно-территориальная единица Украины, расположенная на крайнем востоке страны, преимущественно в бассейне среднего течения Северского Донца. Север области относится к этнографическому региону Слобожанщина, юг к Донбассу. В апреле 2014 года, в результате обострения политического кризиса на Украине, на части территории области была провозглашена Луганская Народная Республика.\n\nГлавы государственной администрации Луганской области.\n(22 ноября 2018 — 5 июля 2019). Комарницкий, Виталий Марьянович (5 июля 2019 — 25 октября 2019). Гайдай, Сергей Владимирович (с 25 октября 2019).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в месте, где родилась Татьяна Николаевна Черкасова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 289, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В городе, где родился Арнольд Арамович Адамян, — Ереване, законодательная власть осуществляется через ереванский городской совет, возглавляемый мэром города.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Арнольд Арамович Адамян?", + "support_text": "Арнольд Арамович Адамян (6 сентября 1935, Ереван, Армянская ССР, СССР — 11 сентября 2012, Москва, Российская Федерация) — советский и российский хирург, доктор медицинских наук, профессор, академик РАМН, заведующий отделом перевязочных, шовных и полимерных материалов в хирургии Института хирургии имени А. В. Вишневского.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "Ереванским городским советом" + } + ], + "meta": { + "id": 137, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 42, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Арнольд Арамович Адамян?\nТекст 1: Арнольд Арамович Адамян (6 сентября 1935, Ереван, Армянская ССР, СССР — 11 сентября 2012, Москва, Российская Федерация) — советский и российский хирург, доктор медицинских наук, профессор, академик РАМН, заведующий отделом перевязочных, шовных и полимерных материалов в хирургии Института хирургии имени А. В. Вишневского.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Яков Петрович Дейхман?", + "support_text": "Яков Петрович Дейхман (1823—1882) — российский общественный деятель, градоначальник Петрозаводска, действительный статский советник.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 109, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 36, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Яков Петрович Дейхман (1823—1882) — российский общественный деятель, градоначальник Петрозаводска, действительный статский советник.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Яков Петрович Дейхман? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нэньцзян", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Чол?", + "support_text": "Чол — река на северо-востоке КНР, правый и самый крупный приток реки Нэньцзян (бассейн рек Сунгари и Амур). Варианты названия: Чжор.\n\nГидрография.\nПлощадь бассейна — примерно 24 тыс. кв км. Средний расход воды — примерно 70 м³/с. Период ледостава — 5—6 месяцев. Истоки находятся в горах Большого Хингана, в верхнем и среднем течении протекает по горно-холмистой местности, в нижнем течении — по равнине Сунляо. Впадает в реку Нэньцзян несколькими рукавами (два основных). Дебет стока характеризуется выраженной сезонностью, максимум в весенний период таяния снегов и летом во время муссонных дождей, минимум в зимний период.", + "text": "Нэньцзян, Нуньцзян (Нонни, ) — река на северо-востоке Китая, левый и крупнейший приток Сунгари. Памятники неолитической культуры Ананси (Aang’angxi) возрастом 5—6 тыс. лет находятся по обоим берегам среднего течения реки Нэньцзян. Представители культуры Ананси вели оседлый образ жизни, основанный прежде всего на рыболовстве." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 87, + "segment": "Сунгари" + } + ], + "meta": { + "id": 821, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 69, + "segment": "Нэньцзян" + }, + { + "label": "passage", + "length": 8, + "offset": 429, + "segment": "Нэньцзян" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Чол — река на северо-востоке КНР, правый и самый крупный приток реки Нэньцзян (бассейн рек Сунгари и Амур). Варианты названия: Чжор.\n\nГидрография.\nПлощадь бассейна — примерно 24 тыс. кв км. Средний расход воды — примерно 70 м³/с. Период ледостава — 5—6 месяцев. Истоки находятся в горах Большого Хингана, в верхнем и среднем течении протекает по горно-холмистой местности, в нижнем течении — по равнине Сунляо. Впадает в реку Нэньцзян несколькими рукавами (два основных). Дебет стока характеризуется выраженной сезонностью, максимум в весенний период таяния снегов и летом во время муссонных дождей, минимум в зимний период.\nТекст 2: Нэньцзян, Нуньцзян (Нонни, ) — река на северо-востоке Китая, левый и крупнейший приток Сунгари. Памятники неолитической культуры Ананси (Aang’angxi) возрастом 5—6 тыс. лет находятся по обоим берегам среднего течения реки Нэньцзян. Представители культуры Ананси вели оседлый образ жизни, основанный прежде всего на рыболовстве.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Чол? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 307, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.052631578947368425, + "em": 0 + }, + "predict": " С рекой Симиёган сливается река, в которую впадает Тинъёган. В тексте 2 говорится, что устье реки Тинъёган находится в 43 км по правому берегу реки Янгъёган, а устье реки Янгъёган находится в 41 км по правому берегу", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Тинъёган?", + "support_text": "Тинъёган (\"устар.\" Дин-Ёган) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 43 км по правому берегу реки Янгъёган. Длина реки составляет 21 км. В 5 км от устья по правому берегу реки впадает река Дан-Ёган.", + "text": "Янгъёган (\"устар.\" Янг-Ёган) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 41 км по правому берегу реки Симиёган. Длина реки составляет 65 км. В 43 км от устья по правому берегу реки впадает река Тинъёган. В 45 км от устья по левому берегу реки впадает река Нюдя-Янгъёган." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 131, + "segment": "Симиёган" + } + ], + "meta": { + "id": 625, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 131, + "segment": "Янгъёган" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Тинъёган?\nТекст 1: Тинъёган (\"устар.\" Дин-Ёган) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 43 км по правому берегу реки Янгъёган. Длина реки составляет 21 км. В 5 км от устья по правому берегу реки впадает река Дан-Ёган.\nТекст 2: Янгъёган (\"устар.\" Янг-Ёган) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 41 км по правому берегу реки Симиёган. Длина реки составляет 65 км. В 43 км от устья по правому берегу реки впадает река Тинъёган. В 45 км от устья по левому берегу реки впадает река Нюдя-Янгъёган.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сухоной.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Шограш?", + "support_text": "Шограш, Шаграш — река в Вологодской области России. Протекает в Вологодском районе и городе Вологде. Устье реки находится в 27 км по правому берегу реки Вологды. Течёт на северо-восток по южным окрестностям Вологды, русло извилистое. Долина реки плотно заселена, на берегах Шограша расположен центр Спасского сельского поселения — посёлок Непотягово, а также ряд деревень поселения: Кудрино, Болтино (правый берег); Кирики-Улита, Бурцево, Емельяново (левый берег). В нижнем течении протекает по юго-восточным окраинам Вологды, принимает справа ручей Евковка, впадает в реку Вологду в районе улиц Турундаевская и Элеваторная. В черте города река загрязнена, проводятся работы по очистке и благоустройству.", + "text": "Вологда — река в Вологодской области России, правый приток Сухоны (бассейн Северной Двины).\n\nЭкология.\nНа 2007 год Вологда была одной из самых загрязнённых рек бассейна Северной Двины. Её воды характеризовались как грязные (4-й класс, разряд \"б\"). В предыдущие годы, на протяжении 15-20 лет река также была одной из двух самых загрязнённых рек (вместе с рекой Пельшма) бассейна Сухоны, её вода оценивалась как \"грязная\" и \"экстремально грязная\". Притоки. \"(км от устья)\". 7 км: река Вёкса (лв)." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 59, + "segment": "Сухоны" + }, + { + "label": "passage", + "length": 6, + "offset": 59, + "segment": "Сухона" + } + ], + "meta": { + "id": 1038, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 153, + "segment": "Вологды" + }, + { + "label": "passage", + "length": 7, + "offset": 574, + "segment": "Вологду" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Шограш, Шаграш — река в Вологодской области России. Протекает в Вологодском районе и городе Вологде. Устье реки находится в 27 км по правому берегу реки Вологды. Течёт на северо-восток по южным окрестностям Вологды, русло извилистое. Долина реки плотно заселена, на берегах Шограша расположен центр Спасского сельского поселения — посёлок Непотягово, а также ряд деревень поселения: Кудрино, Болтино (правый берег); Кирики-Улита, Бурцево, Емельяново (левый берег). В нижнем течении протекает по юго-восточным окраинам Вологды, принимает справа ручей Евковка, впадает в реку Вологду в районе улиц Турундаевская и Элеваторная. В черте города река загрязнена, проводятся работы по очистке и благоустройству.\nТекст 2: Вологда — река в Вологодской области России, правый приток Сухоны (бассейн Северной Двины).\n\nЭкология.\nНа 2007 год Вологда была одной из самых загрязнённых рек бассейна Северной Двины. Её воды характеризовались как грязные (4-й класс, разряд \"б\"). В предыдущие годы, на протяжении 15-20 лет река также была одной из двух самых загрязнённых рек (вместе с рекой Пельшма) бассейна Сухоны, её вода оценивалась как \"грязная\" и \"экстремально грязная\". Притоки. \"(км от устья)\". 7 км: река Вёкса (лв).\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Шограш? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 386, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.0909090909090909, + "em": 0 + }, + "predict": " Федеральный парламент, состоящий из нижней палаты (палата представителей) и верхней палаты (сената), принимает законы в государстве, гражданином которого является Люк Тёйманс.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Люк Тёйманс?", + "support_text": "Люк Тёйманс ( р. 1958, Мортсел, Бельгия) — современный бельгийский живописец. Монохромная палитра Тёйманса и выбор тем (интерьеры, обыденные предметы, семейные портреты) роднит его живопись с послевоенными фильмами и любительской фотографией. Источником для других образов художника является насилие. Несмотря на скромные размеры полотен и скудную цветовую палитру, эти работы несут сильное эмоциональное напоминание о потерянных жизнях и тяжелых моментах истории.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( )." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 494, + "segment": "парламентом" + }, + { + "label": "passage", + "length": 11, + "offset": 494, + "segment": "парламент" + } + ], + "meta": { + "id": 992, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 32, + "segment": "Бельгия" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Люк Тёйманс ( р. 1958, Мортсел, Бельгия) — современный бельгийский живописец. Монохромная палитра Тёйманса и выбор тем (интерьеры, обыденные предметы, семейные портреты) роднит его живопись с послевоенными фильмами и любительской фотографией. Источником для других образов художника является насилие. Несмотря на скромные размеры полотен и скудную цветовую палитру, эти работы несут сильное эмоциональное напоминание о потерянных жизнях и тяжелых моментах истории.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ).\nВопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Люк Тёйманс?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 363, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19354838709677416, + "em": 0 + }, + "predict": " Виктор Фёдорович Ерин родился в Казани, поэтому главой администрации в городе, где он родился, является мэр Казани. С 17 ноября 2005 года мэр Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Виктор Фёдорович Ерин?", + "support_text": "Виктор Фёдорович Ерин (17 января 1944, Казань — 19 марта 2018, Москва) — российский государственный деятель. Первый заместитель министра внутренних дел РСФСР (февраль—сентябрь 1991).\n\nБиография.\nВ 1967 году с отличием окончил Казанский филиал Елабужской средней школы милиции. В 1973 году с отличием окончил Высшую школу МВД СССР. Работа в МВД. Службу в органах внутренних дел начал в 1964 году участковым уполномоченным Ленинского РОООП, г. Казань. Затем служил в органах внутренних дел Татарии в должностях от оперативного уполномоченного до начальника Управления уголовного розыска МВД Татарской АССР (последний пост занимал с 1980 года по 1983 год), принимал участие в расследовании тяжких преступлений, разоблачении особо опасных преступных групп. С 1980 года по 1981 год находился в служебной командировке в Афганистане. С 1983 года — начальник 8 отдела Главного управления по борьбе с хищениями социалистической собственности и спекуляцией МВД СССР.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 550, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 180, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 39, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Виктор Фёдорович Ерин (17 января 1944, Казань — 19 марта 2018, Москва) — российский государственный деятель. Первый заместитель министра внутренних дел РСФСР (февраль—сентябрь 1991).\n\nБиография.\nВ 1967 году с отличием окончил Казанский филиал Елабужской средней школы милиции. В 1973 году с отличием окончил Высшую школу МВД СССР. Работа в МВД. Службу в органах внутренних дел начал в 1964 году участковым уполномоченным Ленинского РОООП, г. Казань. Затем служил в органах внутренних дел Татарии в должностях от оперативного уполномоченного до начальника Управления уголовного розыска МВД Татарской АССР (последний пост занимал с 1980 года по 1983 год), принимал участие в расследовании тяжких преступлений, разоблачении особо опасных преступных групп. С 1980 года по 1981 год находился в служебной командировке в Афганистане. С 1983 года — начальник 8 отдела Главного управления по борьбе с хищениями социалистической собственности и спекуляцией МВД СССР.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Виктор Фёдорович Ерин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Александр Ходырев является главой администрации в городе Королёв, где умер Михаил Ильич Мочалов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Михаил Ильич Мочалов?", + "support_text": "Михаил Ильич Мочалов (1921—1972) — Гвардии старший лейтенант Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nВ 1945 году Мочалов окончил Высшую офицерскую школу штурманов. В 1946 году в звании гвардии старшего лейтенанта он был уволен в запас. Проживал и работал в Калининграде (ныне — Королёв Московской области). Умер 11 марта 1972 года, похоронен на Болшевском кладбище Королёва.", + "text": "Монумент Р-2 при въезде в город с Ярославского шоссе. Королёв (основан 26 декабря 1938 года; до 8 июля 1996 года — \"Калининград\") — город в Московской области России, наукоград (с 12 апреля 2001 года). Население — 224 348 человек (). Самый большой по населению наукоград. Королёв часто неофициально называют космической столицей России.\n\nМестное самоуправление.\nГлавой города избран В. А. Минаков. 4 апреля 2014 года Валерий Минаков ушёл в отставку. Временно исполняющим обязанности главы города назначен Валерий Мясоедов. 14 сентября 2014 года главой Королёва избран кандидат от партии \"Единая Россия\" Александр Ходырев." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 606, + "segment": "Александр Ходырев" + } + ], + "meta": { + "id": 234, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 427, + "segment": "Королёва" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Михаил Ильич Мочалов (1921—1972) — Гвардии старший лейтенант Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1944).\n\nБиография.\nВ 1945 году Мочалов окончил Высшую офицерскую школу штурманов. В 1946 году в звании гвардии старшего лейтенанта он был уволен в запас. Проживал и работал в Калининграде (ныне — Королёв Московской области). Умер 11 марта 1972 года, похоронен на Болшевском кладбище Королёва.\nТекст 2: Монумент Р-2 при въезде в город с Ярославского шоссе. Королёв (основан 26 декабря 1938 года; до 8 июля 1996 года — \"Калининград\") — город в Московской области России, наукоград (с 12 апреля 2001 года). Население — 224 348 человек (). Самый большой по населению наукоград. Королёв часто неофициально называют космической столицей России.\n\nМестное самоуправление.\nГлавой города избран В. А. Минаков. 4 апреля 2014 года Валерий Минаков ушёл в отставку. Временно исполняющим обязанности главы города назначен Валерий Мясоедов. 14 сентября 2014 года главой Королёва избран кандидат от партии \"Единая Россия\" Александр Ходырев.\nВопрос: Кто является главой администрации в городе, где умер Михаил Ильич Мочалов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 335, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Уильям Джексон Кейли был рождён в Филадельфии, Пенсильвания.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где был рождён человек, отвечавший за режиссуру фильма \"Джимены\"?", + "support_text": "'Джимены' — американский криминальный фильм режиссёра Уильяма Кейли, который вышел на экраны в 1935 году. 'Джимены' переводится как 'правительственные агенты'. Фильм рассказывает о начинающем сотруднике Федерального бюро расследований (Джеймс Кэгни), который ведёт безжалостную борьбу с бандой гангстеров.", + "text": "Уильям Джексон Кейли ( иногда написание Уильям Кили; 4 августа 1889 года, Филадельфия, Пенсильвания – 24 июня 1984 года, Нью-Йорк, Нью-Йорк) — американский театральный актёр и голливудский режиссёр." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 75, + "segment": "Филадельфия" + } + ], + "meta": { + "id": 19, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 54, + "segment": "Уильяма Кейли" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: 'Джимены' — американский криминальный фильм режиссёра Уильяма Кейли, который вышел на экраны в 1935 году. 'Джимены' переводится как 'правительственные агенты'. Фильм рассказывает о начинающем сотруднике Федерального бюро расследований (Джеймс Кэгни), который ведёт безжалостную борьбу с бандой гангстеров.\nТекст 2: Уильям Джексон Кейли ( иногда написание Уильям Кили; 4 августа 1889 года, Филадельфия, Пенсильвания – 24 июня 1984 года, Нью-Йорк, Нью-Йорк) — американский театральный актёр и голливудский режиссёр.\nВопрос: Где был рождён человек, отвечавший за режиссуру фильма \"Джимены\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сутка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Теренка?", + "support_text": "Теренка — река в России, протекает в Ярославской области . Исток реки находится на восточной окраине посёлка Новый Некоуз. Река течёт в юго-восточном направлении через деревни Голенищево, Елгузово, Горохово, Введенское, Семенцово, Глинки. Напротив деревни Глинки впадает правый приток — Малая Теренка. Далее следуют деревни Ивановская и Мартьяниха. Устье реки находится в 40 км по левому берегу реки Сутка. Длина реки — 16 км, площадь её водосборного бассейна — 69,4 кв км.", + "text": "Сутка — река в Ярославской области Российской Федерации, впадает в Рыбинское водохранилище в 2764 км от устья Волги. Длина реки — 81 км. Площадь водосборного бассейна — 609 кв км.\n\nГидрография.\nСутка вытекает из болота вблизи урочища Козьмодемьянка в южной части Мышкинского района и течёт на юго-восток. Возле села Ушаково Мышкинского района река резко поворачивает на север; впадает у села Ажерово в Волжский отрог Рыбинского водохранилища. Ранее река отделяла в нижнем течении Мышкинский уезд от Мологского и впадала в Волгу своими двумя рукавами. Ширина русла реки — 10—25 м, глубина — 0,5—4,5 м.\n\nХозяйственное и рекреационное значение.\nНижний участок реки находится в подпоре Рыбинского водохранилища, этот участок доступен для судов, курсирующих по Волге. Десятикилометровый участок (от пристани Верхне-Никульское) включён в перечень водных путей РФ. В среднем и нижнем течении долина реки привлекательна для отдыха и рыбалки." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 110, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 525, + "segment": "Волгу" + }, + { + "label": "passage", + "length": 5, + "offset": 110, + "segment": "Волга" + } + ], + "meta": { + "id": 681, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 400, + "segment": "Сутка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Теренка — река в России, протекает в Ярославской области . Исток реки находится на восточной окраине посёлка Новый Некоуз. Река течёт в юго-восточном направлении через деревни Голенищево, Елгузово, Горохово, Введенское, Семенцово, Глинки. Напротив деревни Глинки впадает правый приток — Малая Теренка. Далее следуют деревни Ивановская и Мартьяниха. Устье реки находится в 40 км по левому берегу реки Сутка. Длина реки — 16 км, площадь её водосборного бассейна — 69,4 кв км.\nТекст 2: Сутка — река в Ярославской области Российской Федерации, впадает в Рыбинское водохранилище в 2764 км от устья Волги. Длина реки — 81 км. Площадь водосборного бассейна — 609 кв км.\n\nГидрография.\nСутка вытекает из болота вблизи урочища Козьмодемьянка в южной части Мышкинского района и течёт на юго-восток. Возле села Ушаково Мышкинского района река резко поворачивает на север; впадает у села Ажерово в Волжский отрог Рыбинского водохранилища. Ранее река отделяла в нижнем течении Мышкинский уезд от Мологского и впадала в Волгу своими двумя рукавами. Ширина русла реки — 10—25 м, глубина — 0,5—4,5 м.\n\nХозяйственное и рекреационное значение.\nНижний участок реки находится в подпоре Рыбинского водохранилища, этот участок доступен для судов, курсирующих по Волге. Десятикилометровый участок (от пристани Верхне-Никульское) включён в перечень водных путей РФ. В среднем и нижнем течении долина реки привлекательна для отдыха и рыбалки.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Теренка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лопан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Пышья?", + "support_text": "Пышья — река в России, протекает в Юрлинском районе Пермского края. Устье реки находится в 29 км по правому берегу реки Лопан. Длина реки составляет 11 км. Река течёт по ненаселённому лесному массиву сначала на юго-запад, затем на северо-запад. Впадает в Лопан у деревни Усть-Пышма.", + "text": "Лопан — река в России, протекает по Кудымкарскому и Юрлинскому районам Пермского края. Устье реки находится в 114 км по правому берегу реки Коса. Длина реки составляет 76 км, площадь водосборного бассейна — 434 кв км. Исток реки в 7 км к юго-западу от деревни Эрна (Кудымкарский район)." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 140, + "segment": "Коса" + } + ], + "meta": { + "id": 831, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 120, + "segment": "Лопан" + }, + { + "label": "passage", + "length": 5, + "offset": 255, + "segment": "Лопан" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Пышья — река в России, протекает в Юрлинском районе Пермского края. Устье реки находится в 29 км по правому берегу реки Лопан. Длина реки составляет 11 км. Река течёт по ненаселённому лесному массиву сначала на юго-запад, затем на северо-запад. Впадает в Лопан у деревни Усть-Пышма.\nТекст 2: Лопан — река в России, протекает по Кудымкарскому и Юрлинскому районам Пермского края. Устье реки находится в 114 км по правому берегу реки Коса. Длина реки составляет 76 км, площадь водосборного бассейна — 434 кв км. Исток реки в 7 км к юго-западу от деревни Эрна (Кудымкарский район).\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Пышья?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сергей Ефремович Пермяков является главой администрации в городе, где родился, — Казани.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Сергей Ефремович Пермяков?", + "support_text": "Сергей Ефремович Пермяков (1863, Казань — 6 декабря 1930) — Самарский городской голова с 1914 по 1916 гг.\n\nСемья.\nС. Е. Пермяков родился в 1863 г. в Казани в купеческой семье Ефрема и А. Н. Пермяковых.\n\nСемейное дело братьев Пермяковых.\nВ 1893 г. братья Пермяковы организовали \"Товарищество мануфактурной торговли А. Н. Пермяковой сыновья\". Центральное отделение \"Товарищества…\" располагалось в Москве. Филиалы организации разместились в Самаре, Казани и Нижнем Новгороде. Самарский филиал быстро развивался — в 1897 г. он оценивался имущественным цензом в 1 500 р., в 1901 г. — в 3 000 р., а в 1912 г. — 12 597 р. В 1909 г. братья Андрей, Михаил и Николай Пермяковы жили в Москве, а Сергей и Павел — в Самаре. Таким образом, Сергей Ефремович с самого момента переезда в Самару занимался бизнесом — являлся владельцем магазина.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 757, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 534, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 33, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Сергей Ефремович Пермяков?\nТекст 1: Сергей Ефремович Пермяков (1863, Казань — 6 декабря 1930) — Самарский городской голова с 1914 по 1916 гг.\n\nСемья.\nС. Е. Пермяков родился в 1863 г. в Казани в купеческой семье Ефрема и А. Н. Пермяковых.\n\nСемейное дело братьев Пермяковых.\nВ 1893 г. братья Пермяковы организовали \"Товарищество мануфактурной торговли А. Н. Пермяковой сыновья\". Центральное отделение \"Товарищества…\" располагалось в Москве. Филиалы организации разместились в Самаре, Казани и Нижнем Новгороде. Самарский филиал быстро развивался — в 1897 г. он оценивался имущественным цензом в 1 500 р., в 1901 г. — в 3 000 р., а в 1912 г. — 12 597 р. В 1909 г. братья Андрей, Михаил и Николай Пермяковы жили в Москве, а Сергей и Павел — в Самаре. Таким образом, Сергей Ефремович с самого момента переезда в Самару занимался бизнесом — являлся владельцем магазина.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 505, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Лиге Европы.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, которую тренирует Владимир Валерьевич Газзаев?", + "support_text": "Владимир Валерьевич Газзаев ( ) — российский футбольный тренер. Сын Валерия Газзаева.\n\nКарьера тренера.\nВ январе 2018 года возглавил грузинский клуб \"Рустави\". 26 июня 2018 года стало известно, что Газзаев возглавил новосозданный ФК \"Урожай\", однако уже 18 июля того же года его покинул. 31 декабря 2018 года подписал контракт с другим казахстанским клубом \"Тобол\" (Костанай). 21 июля 2019 года подал в отставку после вылета \"Тобола\" из Лиги Европы также в первом квалификационном раунде от клуба \"Женесс\" из Люксембурга.", + "text": "'Тобол' — казахстанский футбольный клуб, базируется в городе Костанай. Основан в 1967 году. Победитель Премьер-лиги 2010 года, Кубка Интертото 2007 года и Кубка Казахстана 2007 года. Девятикратный призёр чемпионатов Казахстана: пятикратный вице-чемпион: 2003, 2005, 2007, 2008 и 2020 годов, бронзовый призёр: 2002, 2004, 2006, 2018 годов.\n\nДостижения.\nЧемпионат Казахстана. Чемпион Казахстана 2010 года. Серебряный призёр Казахстанской Суперлиги 2003, 2005, 2007, 2008, 2020. Бронзовый призёр 2002, 2004, 2006, 2018. Худшее место — 13 (1992). Самая крупная победа — 10:1 ('Окжетпес', Кокшетау, 2007), 9:0 ('Акжайык', Уральск, 2004)." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 425, + "segment": "Казахстанской Суперлиги" + } + ], + "meta": { + "id": 2, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 362, + "segment": "Тобол" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Владимир Валерьевич Газзаев ( ) — российский футбольный тренер. Сын Валерия Газзаева.\n\nКарьера тренера.\nВ январе 2018 года возглавил грузинский клуб \"Рустави\". 26 июня 2018 года стало известно, что Газзаев возглавил новосозданный ФК \"Урожай\", однако уже 18 июля того же года его покинул. 31 декабря 2018 года подписал контракт с другим казахстанским клубом \"Тобол\" (Костанай). 21 июля 2019 года подал в отставку после вылета \"Тобола\" из Лиги Европы также в первом квалификационном раунде от клуба \"Женесс\" из Люксембурга.\nТекст 2: 'Тобол' — казахстанский футбольный клуб, базируется в городе Костанай. Основан в 1967 году. Победитель Премьер-лиги 2010 года, Кубка Интертото 2007 года и Кубка Казахстана 2007 года. Девятикратный призёр чемпионатов Казахстана: пятикратный вице-чемпион: 2003, 2005, 2007, 2008 и 2020 годов, бронзовый призёр: 2002, 2004, 2006, 2018 годов.\n\nДостижения.\nЧемпионат Казахстана. Чемпион Казахстана 2010 года. Серебряный призёр Казахстанской Суперлиги 2003, 2005, 2007, 2008, 2020. Бронзовый призёр 2002, 2004, 2006, 2018. Худшее место — 13 (1992). Самая крупная победа — 10:1 ('Окжетпес', Кокшетау, 2007), 9:0 ('Акжайык', Уральск, 2004).\nОпираясь на данные тексты, ответьте на вопрос: В какой лиге играет команда, которую тренирует Владимир Валерьевич Газзаев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родилась Римма Ивановна Белякова?", + "support_text": "Римма Ивановна Белякова — советская и российская актриса театра и кино, режиссёр, театральный педагог, народная артистка России (2007).\n\nБиография.\nРимма Белякова родилась в городе Горький. В 1961 году окончила школу-студию МХАТ (курс А. М. Карева). Работает в Саратовском театре драмы (с 1968 года), в Саратовском театральном училище (с 1970 года). Занята в спектаклях Саратовского ТЮЗа и Саратовского театра драмы.\n\nТворчество.\n2010— \"Играем Коляду\" четыре сюжета (по мотивам пьес Николая Коляды). 2010— \"Целуй меня, Кэт!\" (мюзикл Кола Портера). 2014— \"Последние\" М. Горький. 2014— \"Похожий на льва\" Р. Имбрагимбеков. Актриса кино.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1294, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1294, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 800, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 184, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Римма Ивановна Белякова — советская и российская актриса театра и кино, режиссёр, театральный педагог, народная артистка России (2007).\n\nБиография.\nРимма Белякова родилась в городе Горький. В 1961 году окончила школу-студию МХАТ (курс А. М. Карева). Работает в Саратовском театре драмы (с 1968 года), в Саратовском театральном училище (с 1970 года). Занята в спектаклях Саратовского ТЮЗа и Саратовского театра драмы.\n\nТворчество.\n2010— \"Играем Коляду\" четыре сюжета (по мотивам пьес Николая Коляды). 2010— \"Целуй меня, Кэт!\" (мюзикл Кола Портера). 2014— \"Последние\" М. Горький. 2014— \"Похожий на льва\" Р. Имбрагимбеков. Актриса кино.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родилась Римма Ивановна Белякова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 575, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.42857142857142855, + "em": 0 + }, + "predict": " В городе, где умер Жак Ншанович Суприкян, работает ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где умер Жак Ншанович Суприкян?", + "support_text": "Жак Ншанович Суприкян ( 1 июля 1937, Бейрут, Ливан — 9 ноября 2011, Ереван, Армения) — советский футболист, нападающий; тренер. Мастер спорта СССР.\n\nБиография.\nНачал играть в футбол в ливанском Бейруте. Выступал за армянские клубы \"Ширак\" Ленинакан| (1958—1959, 1965—1966) и \"Спартак\" / \"Арарат\" Ереван (1960—1964). В высшей лиге в 1960—1963 годах в 103 играх забил 19 голов.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 308, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 69, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Жак Ншанович Суприкян ( 1 июля 1937, Бейрут, Ливан — 9 ноября 2011, Ереван, Армения) — советский футболист, нападающий; тренер. Мастер спорта СССР.\n\nБиография.\nНачал играть в футбол в ливанском Бейруте. Выступал за армянские клубы \"Ширак\" Ленинакан| (1958—1959, 1965—1966) и \"Спартак\" / \"Арарат\" Ереван (1960—1964). В высшей лиге в 1960—1963 годах в 103 играх забил 19 голов.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Что за законодательный орган работает в городе, где умер Жак Ншанович Суприкян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Хабинейёган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Антипаю?", + "support_text": "Антипаю (устар. \"Антипа-Ю\") — река в Шурышкарском районе Ямало-Ненецкого АО. Устье реки находится в 20 км по левому берегу реки Хабинейёган. Длина реки составляет 64 км. В 21 км от устья, по правому берегу впадает река Мелекшор, в 36 км — Кузьёль, в 45 по левому впадает Нижний Бадьяшор, чуть выше — Верхний Бадьяшор.", + "text": "Хабинейёган (или Хабиней-Юган) — река в Шурышкарском районе Ямало-Ненецкого АО. Устье реки находится в 188 км по левому берегу реки Сыня. Длина реки составляет 55 км. В 20 км по левому берегу впадает река Антипаю, в 26 км по правому — Хасовейёган." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 132, + "segment": "Сыня" + } + ], + "meta": { + "id": 259, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 128, + "segment": "Хабинейёган" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Антипаю (устар. \"Антипа-Ю\") — река в Шурышкарском районе Ямало-Ненецкого АО. Устье реки находится в 20 км по левому берегу реки Хабинейёган. Длина реки составляет 64 км. В 21 км от устья, по правому берегу впадает река Мелекшор, в 36 км — Кузьёль, в 45 по левому впадает Нижний Бадьяшор, чуть выше — Верхний Бадьяшор.\nТекст 2: Хабинейёган (или Хабиней-Юган) — река в Шурышкарском районе Ямало-Ненецкого АО. Устье реки находится в 188 км по левому берегу реки Сыня. Длина реки составляет 55 км. В 20 км по левому берегу впадает река Антипаю, в 26 км по правому — Хасовейёган.\nВопрос: С какой рекой сливается река, в которую впадает Антипаю?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.15384615384615385, + "em": 0 + }, + "predict": " В городе, где родился Модест Тихонович Третьяков (Нижний Новгород), работает Нижегородский кремль, который является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Модест Тихонович Третьяков?", + "support_text": "Модест Тихонович Третьяков (1905, Нижний Новгород, Российская империя — ?) — советский партийный и государственный деятель, народный комиссар промышленности строительных материалов РСФСР (1943—1946 ?).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1232, + "segment": "Городская дума" + } + ], + "meta": { + "id": 447, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 34, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Модест Тихонович Третьяков (1905, Нижний Новгород, Российская империя — ?) — советский партийный и государственный деятель, народный комиссар промышленности строительных материалов РСФСР (1943—1946 ?).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nВопрос: Какой законодательный орган работает в городе, где появился на свет Модест Тихонович Третьяков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 369, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Иртыш", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Тоурнас?", + "support_text": "Тоурнас — река в России, протекает в Омской области. Устье реки находится в 19 км по правому берегу реки Бича. Длина реки составляет 17 км.", + "text": "Бича (до слияния с Малой Бичей — Большая Бича) — река в России, протекает в Тюменской и Омской областях. Устье реки находится в 934 км по правому берегу реки Иртыш. Длина реки составляет 160 км. Площадь водосборного бассейна — 2630 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Ишим до впадения реки Тобол, речной подбассейн реки — бассейны притоков Иртыша от Ишима до Тобола. Речной бассейн реки — Иртыш." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 158, + "segment": "Иртыш" + } + ], + "meta": { + "id": 824, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 105, + "segment": "Бича" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тоурнас — река в России, протекает в Омской области. Устье реки находится в 19 км по правому берегу реки Бича. Длина реки составляет 17 км.\nТекст 2: Бича (до слияния с Малой Бичей — Большая Бича) — река в России, протекает в Тюменской и Омской областях. Устье реки находится в 934 км по правому берегу реки Иртыш. Длина реки составляет 160 км. Площадь водосборного бассейна — 2630 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Иртыш от впадения реки Ишим до впадения реки Тобол, речной подбассейн реки — бассейны притоков Иртыша от Ишима до Тобола. Речной бассейн реки — Иртыш.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Тоурнас? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Кутим", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Саменка?", + "support_text": "Саменка, Каменка — река в России, протекает в Красновишерском районе Пермского края. Устье реки находится в 1,6 км по левому берегу реки Кутим. Длина реки составляет 12 км. Берёт начало в горах западнее хребта Казанский Камень (Северный Урал). Течёт на северо-запад, всё течение проходит по ненаселённой местности, среди холмов покрытых тайгой. Впадает в Кутим ниже развалин бывшей деревни Кутим.", + "text": "Кутим — река в России, протекает в Красновишерском районе Пермского края. Устье реки находится в 32 км по правому берегу реки Улс. Длина реки составляет 55 км, площадь водосборного бассейна — 568 кв км.\n\nОписание.\nКутим — горная река с быстрым течением, каменистым дном и частыми перепадами. Река довольно маловодная, особенно в межень, на ней много островов и проток с быстрым течением и подводными камнями. Впадает в Улс ниже развалин бывшей деревни Кутим. Ширина реки у устья — 40 метров, скорость течения — 0,8 м/с." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 126, + "segment": "Улс" + }, + { + "label": "passage", + "length": 3, + "offset": 422, + "segment": "Улс" + } + ], + "meta": { + "id": 830, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 137, + "segment": "Кутим" + }, + { + "label": "passage", + "length": 5, + "offset": 355, + "segment": "Кутим" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Саменка, Каменка — река в России, протекает в Красновишерском районе Пермского края. Устье реки находится в 1,6 км по левому берегу реки Кутим. Длина реки составляет 12 км. Берёт начало в горах западнее хребта Казанский Камень (Северный Урал). Течёт на северо-запад, всё течение проходит по ненаселённой местности, среди холмов покрытых тайгой. Впадает в Кутим ниже развалин бывшей деревни Кутим.\nТекст 2: Кутим — река в России, протекает в Красновишерском районе Пермского края. Устье реки находится в 32 км по правому берегу реки Улс. Длина реки составляет 55 км, площадь водосборного бассейна — 568 кв км.\n\nОписание.\nКутим — горная река с быстрым течением, каменистым дном и частыми перепадами. Река довольно маловодная, особенно в межень, на ней много островов и проток с быстрым течением и подводными камнями. Впадает в Улс ниже развалин бывшей деревни Кутим. Ширина реки у устья — 40 метров, скорость течения — 0,8 м/с.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Саменка? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Бомбей", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за город является местом рождения человека, на котором лежало написание сценария для фильма \"Тёмная сторона желания 2\"?", + "support_text": "'Тёмная сторона желания 2' ( 'Jism 2') — индийский фильм режиссёра в жанре эротического триллера, созданный режиссёром Пуджей Бхатт по сценарию Махеша Бхатта. Премьера состоялась 3 августа 2012 года. Заявлен как сиквел фильма 'Тёмная сторона желания', хотя не имеет общих сюжетных линий.\n\nПроизводство.\nПосле успеха фильма 'Тёмная сторона желания', продюсером которого был Махеш Бхатт, он решил сделать продолжение, но с новым сюжетом. В 2011 году Махеш посетил студию программы 'Bigg Boss', где он решил найти актрису на главную женскую роль, и предложил её канадской порноактрисе индийского происхождения Санни Леоне, но режиссировать фильма была назначена его дочь Пуджа.", + "text": "Махеш Бхатт ( ; род. 20 сентября 1949 года, Бомбей) — индийский режиссёр, продюсер и сценарист. Лауреат ряда призов за лучший сценарий.\n\nБиография.\nРодился 20 сентября 1948 года в Бомбее в семье Нанабхая Бхатта и актрисы Ширин Мохаммад Али, сестры . Его брат Мукеш Бхатт — продюсер. Отец Бхатта — гуджаратец. Отец Ширин — тамильский брамин Рам Шешадри Аянгар, а мать — мусульманка из Лакхнау.\n\nКарьера.\nПервым хитом в карьере Бхатта стал фильм (1982), снятый по мотивам его романа с актрисой Парвин Баби и вошедший в программу 14-го Московского международного кинофестиваля. Позже, он снял ещё несколько фильмов, заимствуя идеи из своей личной жизни. Это были такие картины, высоко оцененные критиками, как (1985) и \"Имя\" (1986).\n\nСреди его лучших ранних работ фильм (1984) о пожилой паре из Махараштры, проживающей в Бомбее, у которых в Нью-Йорке при ограблении погибает единственный сын, и драма \"Если бы…\".\n(1987), основанная на реальной семейной истории с трагическим концом." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 44, + "segment": "Бомбей" + } + ], + "meta": { + "id": 645, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 144, + "segment": "Махеша Бхатта" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за город является местом рождения человека, на котором лежало написание сценария для фильма \"Тёмная сторона желания 2\"?\nТекст 1: 'Тёмная сторона желания 2' ( 'Jism 2') — индийский фильм режиссёра в жанре эротического триллера, созданный режиссёром Пуджей Бхатт по сценарию Махеша Бхатта. Премьера состоялась 3 августа 2012 года. Заявлен как сиквел фильма 'Тёмная сторона желания', хотя не имеет общих сюжетных линий.\n\nПроизводство.\nПосле успеха фильма 'Тёмная сторона желания', продюсером которого был Махеш Бхатт, он решил сделать продолжение, но с новым сюжетом. В 2011 году Махеш посетил студию программы 'Bigg Boss', где он решил найти актрису на главную женскую роль, и предложил её канадской порноактрисе индийского происхождения Санни Леоне, но режиссировать фильма была назначена его дочь Пуджа.\nТекст 2: Махеш Бхатт ( ; род. 20 сентября 1949 года, Бомбей) — индийский режиссёр, продюсер и сценарист. Лауреат ряда призов за лучший сценарий.\n\nБиография.\nРодился 20 сентября 1948 года в Бомбее в семье Нанабхая Бхатта и актрисы Ширин Мохаммад Али, сестры . Его брат Мукеш Бхатт — продюсер. Отец Бхатта — гуджаратец. Отец Ширин — тамильский брамин Рам Шешадри Аянгар, а мать — мусульманка из Лакхнау.\n\nКарьера.\nПервым хитом в карьере Бхатта стал фильм (1982), снятый по мотивам его романа с актрисой Парвин Баби и вошедший в программу 14-го Московского международного кинофестиваля. Позже, он снял ещё несколько фильмов, заимствуя идеи из своей личной жизни. Это были такие картины, высоко оцененные критиками, как (1985) и \"Имя\" (1986).\n\nСреди его лучших ранних работ фильм (1984) о пожилой паре из Махараштры, проживающей в Бомбее, у которых в Нью-Йорке при ограблении погибает единственный сын, и драма \"Если бы…\".\n(1987), основанная на реальной семейной истории с трагическим концом.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 527, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, питающаяся от реки, притоком которой является Чаномыч, называется Хайрюзова.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Чаномыч?", + "support_text": "Чаномыч — река на полуострове Камчатка. Протекает по территории Тигильского района Камчатского края России. Длина реки — 21 км. Берёт исток в болоте, протекает в целом в северном направлении, в верховье резко поворачивает на запад до впадения в реку Хайрюзова слева. Гидроним имеет ительменское происхождение.", + "text": "Хайрюзова (в верховьях Тихая, Байлыгинган) — река на полуострове Камчатка. Протекает по территории Быстринского и Тигильского районов Камчатского края России.\n\nГидрография.\nДлина реки — 265 км, площадь водосборного бассейна — 11600 кв км. Берёт исток у подножия сопки \"Анаун\", протекает преимущественно в северо-западном направлении, впадает в Охотское море. По данным государственного водного реестра России относится к Анадыро-Колымскому бассейновому округу.\n\nПримечания.\nКатегория:Реки, впадающие в Охотское море." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 347, + "segment": "Охотское море" + } + ], + "meta": { + "id": 676, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 250, + "segment": "Хайрюзова" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Чаномыч?\nТекст 1: Чаномыч — река на полуострове Камчатка. Протекает по территории Тигильского района Камчатского края России. Длина реки — 21 км. Берёт исток в болоте, протекает в целом в северном направлении, в верховье резко поворачивает на запад до впадения в реку Хайрюзова слева. Гидроним имеет ительменское происхождение.\nТекст 2: Хайрюзова (в верховьях Тихая, Байлыгинган) — река на полуострове Камчатка. Протекает по территории Быстринского и Тигильского районов Камчатского края России.\n\nГидрография.\nДлина реки — 265 км, площадь водосборного бассейна — 11600 кв км. Берёт исток у подножия сопки \"Анаун\", протекает преимущественно в северо-западном направлении, впадает в Охотское море. По данным государственного водного реестра России относится к Анадыро-Колымскому бассейновому округу.\n\nПримечания.\nКатегория:Реки, впадающие в Охотское море.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Алексей Дюмин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Юрий Евгеньевич Вельтищев?", + "support_text": "Юрий Евгеньевич Вельтищев (28 ноября 1930, с. Малынь, Крапивенский район, Тульская область, РСФСР — 2 января 2010, Москва, Российская Федерация) — доктор медицинских наук, профессор, академик РАМН, директор Московского научно-исследовательского института педиатрии и детской хирургии (1969—1997).", + "text": "Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 273, + "segment": "Алексей Дюмин" + } + ], + "meta": { + "id": 573, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 74, + "segment": "Тульская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Юрий Евгеньевич Вельтищев (28 ноября 1930, с. Малынь, Крапивенский район, Тульская область, РСФСР — 2 января 2010, Москва, Российская Федерация) — доктор медицинских наук, профессор, академик РАМН, директор Московского научно-исследовательского института педиатрии и детской хирургии (1969—1997).\nТекст 2: Тульская область — субъект Российской Федерации, входит в состав Центрального федерального округа. Относится к числу наиболее экономически развитых регионов центра России.\n\nГубернатор.\nВысшим должностным лицом Тульской области является губернатор. 22 сентября 2016 года Алексей Дюмин вступил в должность Губернатора Тульской области.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Юрий Евгеньевич Вельтищев? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Юрий Цкипури", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Евгений Александрович Филатов?", + "support_text": "Евгений Александрович Филатов — российский актёр театра и кино. Народный артист Российской Федерации 2008 года.\n\nБиография.\nЕвгений Филатов родился 21 сентября 1955 года в Туле. В 1974 году поступил на курс народного артиста СССР и России, профессора И. П. Владимирова в ЛГИТМиК, музыки и кинематографии, который окончил в 1978 году. После чего, в том же самом году, он стал работать актёром в Театре им. Ленсовета.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 987, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 502, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 175, + "segment": "Туле" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Евгений Александрович Филатов — российский актёр театра и кино. Народный артист Российской Федерации 2008 года.\n\nБиография.\nЕвгений Филатов родился 21 сентября 1955 года в Туле. В 1974 году поступил на курс народного артиста СССР и России, профессора И. П. Владимирова в ЛГИТМиК, музыки и кинематографии, который окончил в 1978 году. После чего, в том же самом году, он стал работать актёром в Театре им. Ленсовета.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Евгений Александрович Филатов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Станислав Воскресенский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Александр Валерьевич Крутов?", + "support_text": "Александр Валерьевич Крутов (род. 12 августа 1951) — лётчик-испытатель, Герой Российской Федерации (1995).\n\nБиография.\nАлександр Крутов родился 12 августа 1951 года в Кинешме Ивановской области. В 1959 году переехал в Иваново, где окончил десять классов школы и работал сначала учеником фрезеровщика Большой Ивановской мануфактуры, затем техником охранной сигнализации вневедомственной охраны Фрунзенского РОВД Иваново. В 1969 году был призван на службу в Советскую Армию.", + "text": "Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел. Областной центр — город Иваново (расстояние до Москвы — 275 км).\n\nОбластная власть.\nПо партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 1190, + "segment": "Станислав Воскресенский" + } + ], + "meta": { + "id": 934, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 178, + "segment": "Ивановской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Валерьевич Крутов (род. 12 августа 1951) — лётчик-испытатель, Герой Российской Федерации (1995).\n\nБиография.\nАлександр Крутов родился 12 августа 1951 года в Кинешме Ивановской области. В 1959 году переехал в Иваново, где окончил десять классов школы и работал сначала учеником фрезеровщика Большой Ивановской мануфактуры, затем техником охранной сигнализации вневедомственной охраны Фрунзенского РОВД Иваново. В 1969 году был призван на службу в Советскую Армию.\nТекст 2: Ивановская область — субъект Российской Федерации, входит в состав Центрального федерального округа. На северо-западе граничит с Ярославской областью, на севере с Костромской областью, на востоке с Нижегородской областью, на юге с Владимирской областью. Площадь — кв км, население — чел. Областной центр — город Иваново (расстояние до Москвы — 275 км).\n\nОбластная власть.\nПо партийным спискам \"Единая Россия\" получила 61 % голосов (15 из 24 мест), СПС не преодолел 4-процентный барьер. Таким образом, \"Единая Россия\" получила 38 мест из 48, что полностью изменило расклад сил в законодательном собрании (ранее регион считался \"красным\"). 16 октября 2013 года Михаил Мень ушел с поста губернатора Ивановской области (досрочно), временно исполняющим обязанности губернатора Ивановской области назначен Павел Коньков. На выборах губернатора Ивановской области 14 сентября 2014 года Коньков одержал победу, набрав 80,32 % голосов избирателей. 19 сентября 2014 года вступил в должность губернатора. 10 октября 2017 года Павел Коньков освобождён от должности указом Президента России досрочно по собственному желанию, временно исполняющим обязанности губернатора Ивановской области назначен Станислав Воскресенский. 9 сентября 2018 года на выборах губернатора Станислав Воскресенский одержал победу, набрав 65,72 % голосов избирателей.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Александр Валерьевич Крутов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 495, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Пётр Алексеевич Преображенский (медик)?", + "support_text": "Пётр Алексеевич Преображенский (1864—1913) — российский врач, психиатр и невролог, преподаватель, научный писатель. В 1904 году одним из первых описал синдром спинальной артерии (в России называется до нынешнего времени \"синдромом Преображенского\"). На протяжении 18 лет — с 1893 по 1910 годы — возглавлял в Москве неврологическую клинику при Староекатерининской больнице (ныне — Московский областной научно-исследовательский клинический институт, МОНИКИ) в Москве. В 1911—1913 годах был заведующим кафедрой психиатрии Варшавского императорского университета, но из-за болезни в течение длительного времени его заменял Николай Мухин. Главные работы: \"Zur Pathologie des Gehirns\" (Neurologisches Centralblatt 6, ss.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 864, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 107, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 45, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пётр Алексеевич Преображенский (1864—1913) — российский врач, психиатр и невролог, преподаватель, научный писатель. В 1904 году одним из первых описал синдром спинальной артерии (в России называется до нынешнего времени \"синдромом Преображенского\"). На протяжении 18 лет — с 1893 по 1910 годы — возглавлял в Москве неврологическую клинику при Староекатерининской больнице (ныне — Московский областной научно-исследовательский клинический институт, МОНИКИ) в Москве. В 1911—1913 годах был заведующим кафедрой психиатрии Варшавского императорского университета, но из-за болезни в течение длительного времени его заменял Николай Мухин. Главные работы: \"Zur Pathologie des Gehirns\" (Neurologisches Centralblatt 6, ss.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва. Российская империя была третьим по площади из когда-либо существовавших государств (после Британской и Монгольской империй).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II. Правительствующий Сенат и другие судебные органы.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Пётр Алексеевич Преображенский (медик)? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 539, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.12121212121212122, + "em": 0 + }, + "predict": " Законодательный орган, работающий в стране гражданства Сальвадора Пинеды, — это двухпалатный Конгресс Мексики, состоящий из Сената (128 мест, избираются на 6-летний срок) и Палаты депутатов (500 мест, избираются на 3-летний срок", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в стране гражданства Сальвадора Пинеды?", + "support_text": "Сальвадор Пинеда ( род. Мехико, Мексика) — мексиканский актёр.\n\nБиография.\nА в 1978 году снялся в теленовелле \"Rosalia\" в роли Леонеля. За годы актёрской карьеры снимался со многими известными латиноамериканскими актрисами, в том числе с Лусией Мендес, Вероникой Кастро, Эдит Гонсалес. Он активно работал за границей Мексики: в Аргентине — сериал \"Mi nombre es Coraje\", в США (для испаноязычных зрителей) — \"Гваделупе\", \"Мариелена\", в Пуэрто-Рико. После длительного сотрудничества с компанией \"Телевиса\" он перешёл работать на студию \"ТВ Ацтека\", где его первой работой стал сериал \"Besos prohibidos\".", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 697, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 145, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 33, + "segment": "Мексика" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган работает в стране гражданства Сальвадора Пинеды?\nТекст 1: Сальвадор Пинеда ( род. Мехико, Мексика) — мексиканский актёр.\n\nБиография.\nА в 1978 году снялся в теленовелле \"Rosalia\" в роли Леонеля. За годы актёрской карьеры снимался со многими известными латиноамериканскими актрисами, в том числе с Лусией Мендес, Вероникой Кастро, Эдит Гонсалес. Он активно работал за границей Мексики: в Аргентине — сериал \"Mi nombre es Coraje\", в США (для испаноязычных зрителей) — \"Гваделупе\", \"Мариелена\", в Пуэрто-Рико. После длительного сотрудничества с компанией \"Телевиса\" он перешёл работать на студию \"ТВ Ацтека\", где его первой работой стал сериал \"Besos prohibidos\".\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " На территории, которая сейчас занимает Костромскую губернию, сначала существовало Костромское наместничество, существовавшее в 1778—1796 годах. Затем, с 1796 по 1929 год, на этой территории существовала Костромская губерния. Таким образом, на территории, которая", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что было раньше на территории, которую сейчас занимает Костромская губерния?", + "support_text": "Костромская губерния — административно-территориальная единица Российской империи, Российской республики и РСФСР, существовавшая в 1796—1929 годах. Губернский город — Кострома.\n\nИстория.\nКостромская губерния в 1821 году. 29 мая 1719 года создана Костромская провинция в Московской губернии и Галицкая провинция в Архангелогородской губернии. 6 марта 1778 года из этих двух провинций было создано Костромское наместничество,. Наместничество делилось на две области: Костромскую с центром в Костроме и Унженскую с центром в Унже.", + "text": "Костромское наместничество — административно-территориальная единица Российской империи, существовавшая в 1778—1796 годах. Центр — город Кострома.\n\nИстория.\nНаместничество было образовано по указу Екатерины II 4 декабря 1778 года из частей Архангелогородской, Московской и Нижегородской губерний. Делилось на 2 области, которые делились на 15 уездов. Костромская область." + }, + "outputs": [ + { + "label": "passage", + "length": 55, + "offset": 243, + "segment": "Архангелогородской, Московской и Нижегородской губерний" + }, + { + "label": "passage", + "length": 55, + "offset": 243, + "segment": "Архангелогородская, Московская и Нижегородская губернии" + } + ], + "meta": { + "id": 281, + "bridge_answers": [ + { + "label": "passage", + "length": 26, + "offset": 399, + "segment": "Костромское наместничество" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Костромская губерния — административно-территориальная единица Российской империи, Российской республики и РСФСР, существовавшая в 1796—1929 годах. Губернский город — Кострома.\n\nИстория.\nКостромская губерния в 1821 году. 29 мая 1719 года создана Костромская провинция в Московской губернии и Галицкая провинция в Архангелогородской губернии. 6 марта 1778 года из этих двух провинций было создано Костромское наместничество,. Наместничество делилось на две области: Костромскую с центром в Костроме и Унженскую с центром в Унже.\nТекст 2: Костромское наместничество — административно-территориальная единица Российской империи, существовавшая в 1778—1796 годах. Центр — город Кострома.\n\nИстория.\nНаместничество было образовано по указу Екатерины II 4 декабря 1778 года из частей Архангелогородской, Московской и Нижегородской губерний. Делилось на 2 области, которые делились на 15 уездов. Костромская область.\nВопрос: Что было раньше на территории, которую сейчас занимает Костромская губерния?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Авдеевский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родилась Клеопатра Николаевна Шевченко?", + "support_text": "Клеопатра Николаевна Шевченко (13 октября 1909, Авдеевка, Екатеринославская губерния — 26 апреля 1988, Калуга) — советский педиатр, невропатолог. Заслуженный врач РСФСР, почётный гражданин города Калуги, орденоносец. Участник ВОВ .\n\nБиография.\nРодилась на станции Авдеевка. В 1931 году окончила лечебный факультет государственного медицинского института в Ростове-на-Дону, в 1950 году — Украинский институт усовершенствования врачей в Харькове.", + "text": "Авдеевка — город на востоке Украины в центральной части Донецкой области. Расположен в 13 км к северу от Донецка, в верховьях реки Каменки (приток Кривого Торца, бассейн Северского Донца). Железнодорожная станция. Входит в Донецкую агломерацию.\n\nСмотрите также.\n* Авдеевский городской совет." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 267, + "segment": "Авдеевский городской совет" + } + ], + "meta": { + "id": 31, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 48, + "segment": "Авдеевка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где родилась Клеопатра Николаевна Шевченко?\nТекст 1: Клеопатра Николаевна Шевченко (13 октября 1909, Авдеевка, Екатеринославская губерния — 26 апреля 1988, Калуга) — советский педиатр, невропатолог. Заслуженный врач РСФСР, почётный гражданин города Калуги, орденоносец. Участник ВОВ .\n\nБиография.\nРодилась на станции Авдеевка. В 1931 году окончила лечебный факультет государственного медицинского института в Ростове-на-Дону, в 1950 году — Украинский институт усовершенствования врачей в Харькове.\nТекст 2: Авдеевка — город на востоке Украины в центральной части Донецкой области. Расположен в 13 км к северу от Донецка, в верховьях реки Каменки (приток Кривого Торца, бассейн Северского Донца). Железнодорожная станция. Входит в Донецкую агломерацию.\n\nСмотрите также.\n* Авдеевский городской совет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинск, где родился Денис Александрович Кудрявцев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Денис Александрович Кудрявцев?", + "support_text": "Денис Александрович Кудрявцев (род. 13 апреля 1992 год, Челябинск) — российский легкоатлет, который специализируется в беге на 400 метров с барьерами, серебряный призёр чемпионата мира 2015 года, бронзовый призёр чемпионата Европы 2014 года, чемпион и рекордсмен России. Дебютировал в составе национальной сборной России в 2013 году.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 975, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 975, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 189, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 56, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Денис Александрович Кудрявцев (род. 13 апреля 1992 год, Челябинск) — российский легкоатлет, который специализируется в беге на 400 метров с барьерами, серебряный призёр чемпионата мира 2015 года, бронзовый призёр чемпионата Европы 2014 года, чемпион и рекордсмен России. Дебютировал в составе национальной сборной России в 2013 году.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек . Город расположен на геологической границе Урала и Сибири, в азиатской части России, на восточном склоне Уральских гор, по обоим берегам Миасса (бассейн Тобола) .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Денис Александрович Кудрявцев?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 364, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Эрни Барбараш, сценарист фильма \"Куб Ноль\", родился в США.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Откуда родом сценарист фильма \"Куб Ноль\"?", + "support_text": "'Куб Ноль', иногда 'Куб Зеро' — канадский научно-фантастический триллер с элементами фильма ужасов 2004 года, являющийся дебютным полнометражным фильмом американского сценариста Эрни Барбараша. Приквел фильма 'Куб'. Фильм был выпущен сразу на DVD без предварительного показа в кинотеатрах.", + "text": "Эрни Барбараш ( род. США) — американский кинорежиссёр, сценарист и продюсер.\n\nСсылки.\nКатегория:Родившиеся в США." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 22, + "segment": "США" + } + ], + "meta": { + "id": 576, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 179, + "segment": "Эрни Барбараша" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Откуда родом сценарист фильма \"Куб Ноль\"?\nТекст 1: 'Куб Ноль', иногда 'Куб Зеро' — канадский научно-фантастический триллер с элементами фильма ужасов 2004 года, являющийся дебютным полнометражным фильмом американского сценариста Эрни Барбараша. Приквел фильма 'Куб'. Фильм был выпущен сразу на DVD без предварительного показа в кинотеатрах.\nТекст 2: Эрни Барбараш ( род. США) — американский кинорежиссёр, сценарист и продюсер.\n\nСсылки.\nКатегория:Родившиеся в США.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " Вячеслав Леонидович Войнов родился в городе Челябинск, и его главой администрации является Евгений Тефтелев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Вячеслав Леонидович Войнов?", + "support_text": "Вячеслав Леонидович Войнов (род. 15 января 1990, Челябинск) — российский хоккеист, выступающий на позиции защитника. Начал свою игровую карьеру в челябинском \"Тракторе\". Был задрафтован в 2008 году клубом Национальной хоккейной лиги \"Лос-Анджелес Кингз\" во втором раунде под общим 32-м номером. Дебютировал в НХЛ в сезоне 2011/2012, до этого три сезона проведя в фарм-клубе калифорнийской команды \"Манчестер Монаркс\" из Американской хоккейной лиги.\n\nПрофессиональная карьера.\n\"Трактор\" Челябинск. В сезоне 2006/2007 главный тренер основной команды \"Трактор\" Геннадий Цыгуров включил молодого защитника в заявку команды на чемпионат России. В том сезоне Войнов провёл за \"Трактор\" 31 игру. Через год Вячеслав Войнов набрал свои первые очки за \"Трактор\".", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 813, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 813, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 495, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 49, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Вячеслав Леонидович Войнов (род. 15 января 1990, Челябинск) — российский хоккеист, выступающий на позиции защитника. Начал свою игровую карьеру в челябинском \"Тракторе\". Был задрафтован в 2008 году клубом Национальной хоккейной лиги \"Лос-Анджелес Кингз\" во втором раунде под общим 32-м номером. Дебютировал в НХЛ в сезоне 2011/2012, до этого три сезона проведя в фарм-клубе калифорнийской команды \"Манчестер Монаркс\" из Американской хоккейной лиги.\n\nПрофессиональная карьера.\n\"Трактор\" Челябинск. В сезоне 2006/2007 главный тренер основной команды \"Трактор\" Геннадий Цыгуров включил молодого защитника в заявку команды на чемпионат России. В том сезоне Войнов провёл за \"Трактор\" 31 игру. Через год Вячеслав Войнов набрал свои первые очки за \"Трактор\".\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО. Население — человек .\n\nЭкономика.\nЧелябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nВопрос: Кто является главой администрации в городе, где родился Вячеслав Леонидович Войнов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Глава администрации в городе Казани, где родился Роберт Юрьевич Ильясов, является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Роберт Юрьевич Ильясов?", + "support_text": "Роберт Юрьевич Ильясов (родился 8 октября 1973 года в Казани) — российский регбист и игрок в регбилиг, игравший на позиции фуллбэка. Считался лидером атак в казанском клубе \"Стрела\". Капитан сборной России по регбилиг.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 617, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 213, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 54, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Роберт Юрьевич Ильясов (родился 8 октября 1973 года в Казани) — российский регбист и игрок в регбилиг, игравший на позиции фуллбэка. Считался лидером атак в казанском клубе \"Стрела\". Капитан сборной России по регбилиг.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Роберт Юрьевич Ильясов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Парламент Шри-Ланки.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Фома Курэй?", + "support_text": "Фома Курэй ( 28 декабря 1901, Негомбо, Британский Цейлон — 29 октября 1988, Коломбо, Шри-Ланка) — первый шри-ланкский кардинал, облат. Титулярный архиепископ Преславо и коадъютор, с правом наследования, Коломбо с 14 декабря 1945 по 26 июля 1947. Архиепископ Коломбо с 26 июля 1947 по 2 сентября 1976. Кардинал-священник с 22 февраля 1965, с титулом церкви \"Санти-Нерео-эд-Акиллео\" с 25 февраля 1965.", + "text": "Шри-Ланка ( ), официальное название — Демократическая Социалистическая Республика Шри-Ланка ( ) — государство в Южной Азии, на одноимённом острове у юго-восточного побережья Индостана. Со времён португальского вторжения и до 1972 года в европейских языках страна называлась Цейлон (от ).\n\nГосударственное устройство и политика.\nПрезидент формирует правительство, также ответственное перед парламентом. Помощник президента — премьер-министр — глава правящей партии. Последние выборы состоялись в 2015 году, на них президентом страны был избран Майтрипала Япа Сирисена. Парламент Шри-Ланки — однопалатный, 225 мест. Члены парламента избираются всеобщим прямым голосованием на основе пропорциональной системы, со следующей особенностью: партия, получившая большинство голосов в каком-либо округе, получает дополнительное место." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 392, + "segment": "парламентом" + }, + { + "label": "passage", + "length": 11, + "offset": 392, + "segment": "парламент" + } + ], + "meta": { + "id": 985, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 106, + "segment": "шри-ланкский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Фома Курэй ( 28 декабря 1901, Негомбо, Британский Цейлон — 29 октября 1988, Коломбо, Шри-Ланка) — первый шри-ланкский кардинал, облат. Титулярный архиепископ Преславо и коадъютор, с правом наследования, Коломбо с 14 декабря 1945 по 26 июля 1947. Архиепископ Коломбо с 26 июля 1947 по 2 сентября 1976. Кардинал-священник с 22 февраля 1965, с титулом церкви \"Санти-Нерео-эд-Акиллео\" с 25 февраля 1965.\nТекст 2: Шри-Ланка ( ), официальное название — Демократическая Социалистическая Республика Шри-Ланка ( ) — государство в Южной Азии, на одноимённом острове у юго-восточного побережья Индостана. Со времён португальского вторжения и до 1972 года в европейских языках страна называлась Цейлон (от ).\n\nГосударственное устройство и политика.\nПрезидент формирует правительство, также ответственное перед парламентом. Помощник президента — премьер-министр — глава правящей партии. Последние выборы состоялись в 2015 году, на них президентом страны был избран Майтрипала Япа Сирисена. Парламент Шри-Ланки — однопалатный, 225 мест. Члены парламента избираются всеобщим прямым голосованием на основе пропорциональной системы, со следующей особенностью: партия, получившая большинство голосов в каком-либо округе, получает дополнительное место.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Фома Курэй? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Хулга", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Керегшор?", + "support_text": "Керегшор (устар. \"Кэрэг-Шор\") — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится в 33 км по левому берегу реки Неркаю. Длина реки составляет 13 км.", + "text": "Неркаю (устар. \"Нёрка-Ю\") — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится на 128-м км по правому берегу реки Хулга. Длина реки составляет 50 км. В 1 км от устья, по правому берегу — Максимка. В 10 км от устья, по левому берегу — Выхолью." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Хулга" + } + ], + "meta": { + "id": 265, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 147, + "segment": "Неркаю" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Керегшор (устар. \"Кэрэг-Шор\") — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится в 33 км по левому берегу реки Неркаю. Длина реки составляет 13 км.\nТекст 2: Неркаю (устар. \"Нёрка-Ю\") — река в Берёзовском районе Ханты-Мансийского автономного округа. Устье реки находится на 128-м км по правому берегу реки Хулга. Длина реки составляет 50 км. В 1 км от устья, по правому берегу — Максимка. В 10 км от устья, по левому берегу — Выхолью.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Керегшор? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16, + "em": 0 + }, + "predict": " Законодательный орган, работающий в стране гражданства Свами Рамдева, — это двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в стране гражданства Свами Рамдева?", + "support_text": "Свами Рамдев ( , настоящее имя — Рамкишан Ядав) — индийский гуру йоги, известен своей работой в области аюрведы, бизнеса и сельского хозяйства.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 761, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 761, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 448, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 50, + "segment": "индийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Свами Рамдев ( , настоящее имя — Рамкишан Ядав) — индийский гуру йоги, известен своей работой в области аюрведы, бизнеса и сельского хозяйства.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии.\n\nГосударственное устройство.\nГлавой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента.\nОпираясь на данные тексты, ответьте на вопрос: Какой законодательный орган работает в стране гражданства Свами Рамдева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.28571428571428575, + "em": 0 + }, + "predict": " В городе Горловка, где умер Александр Ефимович Тюренков, работает городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где умер Александр Ефимович Тюренков?", + "support_text": "Александр Ефимович Тюренков (1910—1971) — забойщик шахты имени Калинина комбината \"Артёмуголь\", Герой Социалистического Труда.\n\nБиография.\nС 1960 года находился на заслуженном отдыхе. Умер в 1971 году. Похоронен в городе Горловка Донецкой области.", + "text": "Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 303, + "segment": "Горловский городской совет" + } + ], + "meta": { + "id": 976, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 224, + "segment": "Горловка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Александр Ефимович Тюренков (1910—1971) — забойщик шахты имени Калинина комбината \"Артёмуголь\", Герой Социалистического Труда.\n\nБиография.\nС 1960 года находился на заслуженном отдыхе. Умер в 1971 году. Похоронен в городе Горловка Донецкой области.\nТекст 2: Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять.\nВопрос: Какой законодательный орган работает в городе, где умер Александр Ефимович Тюренков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Палата представителей.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Эмиль Тиббо?", + "support_text": "Эмиль Луи Мари Барон Тиббо ( , Лаарне, Восточная Фландрия, Бельгия — Париж, Франция) — бельгийский государственный деятель, председатель Палаты представителей Бельгии (1928—1930).", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 451, + "segment": "парламентом" + }, + { + "label": "passage", + "length": 11, + "offset": 451, + "segment": "парламент" + } + ], + "meta": { + "id": 84, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 60, + "segment": "Бельгия" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Эмиль Тиббо?\nТекст 1: Эмиль Луи Мари Барон Тиббо ( , Лаарне, Восточная Фландрия, Бельгия — Париж, Франция) — бельгийский государственный деятель, председатель Палаты представителей Бельгии (1928—1930).\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 309, + "generated_len": [ + 43 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Законодательный орган, работающий в стране гражданства Армана Мейбома, — это двухпалатный федеральный парламент Бельгии. Нижняя палата — палата представителей, верхняя палата — сенат. Обе палаты избираются прямым голосованием раз в четыре года, и право голоса имеют все граждане государства, достигшие 1", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в стране гражданства Армана Мейбома?", + "support_text": "Арман Мейбом ( , , Индонезия — ?) — бельгийский ватерполист и пловец, призёр летних Олимпийских игр. Мейбом дважды входил в Олимпийскую сборную Бельгии, которая стала серебряным призёром Игр 1908 в Лондоне и бронзовым Олимпиады 1912 в Стокгольме. Также, на обоих соревнованиях Мейбом участвовал в плавании на 100 м вольным стилем, но оба раза останавливался на первом раунде.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nКак правило, премьер-министром становится представитель партии, набравшей большее число голосов на парламентских выборах. Правительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста." + }, + "outputs": [ + { + "label": "answer", + "length": 7, + "offset": 404, + "segment": "королём" + } + ], + "meta": { + "id": 729, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 37, + "segment": "бельгийский" + }, + { + "label": "passage", + "length": 7, + "offset": 145, + "segment": "Бельгии" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за законодательный орган работает в стране гражданства Армана Мейбома?\nТекст 1: Арман Мейбом ( , , Индонезия — ?) — бельгийский ватерполист и пловец, призёр летних Олимпийских игр. Мейбом дважды входил в Олимпийскую сборную Бельгии, которая стала серебряным призёром Игр 1908 в Лондоне и бронзовым Олимпиады 1912 в Стокгольме. Также, на обоих соревнованиях Мейбом участвовал в плавании на 100 м вольным стилем, но оба раза останавливался на первом раунде.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nКак правило, премьер-министром становится представитель партии, набравшей большее число голосов на парламентских выборах. Правительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 358, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Инсар.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Салминка?", + "support_text": "Салминка — река в России, протекает в Ромодановском районе Республики Мордовия. Устье реки находится в 62 км по левому берегу реки Инсар. Длина реки составляет 16 км, площадь водосборного бассейна 53 кв км. Исток реки западнее села Салма на границе с Лямбирским районом в 15 км к юго-западу от центра посёлка Ромоданово. Река течёт на восток, протекает село Салма и впадает в Инсар на южных окраинах Ромоданова.", + "text": "Инсар ( ) — река в России, правый приток реки Алатырь, крупнейший приток этой реки. Протекает по территории Мордовии. Длина — 168 км, площадь водосборного бассейна — 3860 кв км. Питание преимущественно снеговое.\n\nГеография.\nДалее течёт по территориям Рузаевского района, города Саранска, Лямбирского, Ромодановского и Ичалковского районов Мордовии. От истока течёт в общем направлении север-восток-восток, протекает через село Болдово (по обоим берегам), затем принимает левый приток Муромку. Далее по левому берегу село Нижняя Муравьёвка, затем приток Картлей и деревня Макаровка (Рузаевский район), по правому берегу — село Инсар-Акшино, деревни Старый Усад, Трускляй и Красное Сельцо. В Рузаевке в Инсар впадают крупный левый приток Пишля и правый Шебдас, далее река поворачивает на северо-восток. Ниже Рузаевки вдоль реки до устья и далее проложена железнодорожная ветка Рузаевка — Саранск — Красный Узел — Алатырь — Канаш. Дорога переходит с одного берега реки на другой: левый между Рузаевкой и Саранском, правый от Саранска до Ромоданово, затем снова левый от Ромоданово до устья Инсара. Ниже Рузаевки по левому берегу Инсара находятся посёлки Красный Клин, Надеждинка и Новые Полянки, по правому — Зыково и село Монастырское." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Алатырь" + } + ], + "meta": { + "id": 861, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 131, + "segment": "Инсар" + }, + { + "label": "passage", + "length": 5, + "offset": 376, + "segment": "Инсар" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Салминка — река в России, протекает в Ромодановском районе Республики Мордовия. Устье реки находится в 62 км по левому берегу реки Инсар. Длина реки составляет 16 км, площадь водосборного бассейна 53 кв км. Исток реки западнее села Салма на границе с Лямбирским районом в 15 км к юго-западу от центра посёлка Ромоданово. Река течёт на восток, протекает село Салма и впадает в Инсар на южных окраинах Ромоданова.\nТекст 2: Инсар ( ) — река в России, правый приток реки Алатырь, крупнейший приток этой реки. Протекает по территории Мордовии. Длина — 168 км, площадь водосборного бассейна — 3860 кв км. Питание преимущественно снеговое.\n\nГеография.\nДалее течёт по территориям Рузаевского района, города Саранска, Лямбирского, Ромодановского и Ичалковского районов Мордовии. От истока течёт в общем направлении север-восток-восток, протекает через село Болдово (по обоим берегам), затем принимает левый приток Муромку. Далее по левому берегу село Нижняя Муравьёвка, затем приток Картлей и деревня Макаровка (Рузаевский район), по правому берегу — село Инсар-Акшино, деревни Старый Усад, Трускляй и Красное Сельцо. В Рузаевке в Инсар впадают крупный левый приток Пишля и правый Шебдас, далее река поворачивает на северо-восток. Ниже Рузаевки вдоль реки до устья и далее проложена железнодорожная ветка Рузаевка — Саранск — Красный Узел — Алатырь — Канаш. Дорога переходит с одного берега реки на другой: левый между Рузаевкой и Саранском, правый от Саранска до Ромоданово, затем снова левый от Ромоданово до устья Инсара. Ниже Рузаевки по левому берегу Инсара находятся посёлки Красный Клин, Надеждинка и Новые Полянки, по правому — Зыково и село Монастырское.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Салминка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 496, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Юрий Владимирович Галдун", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Николаевич Страхов?", + "support_text": "Николай Николаевич Страхов ( Белгород, Курская губерния — Санкт-Петербург) — русский , , , член-корреспондент Петербургской академии наук (1889). Действительный статский советник. В книгах \"Мир как целое\" (1872), \"О вечных истинах\" (1887), \"Философские очерки\" (1895) высшей формой познания считал религию, критиковал современный материализм, а также спиритизм; в публицистике разделял идеи почвенничества.", + "text": "Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной. Город областного значения, образует муниципальное образование \"город Белгород\" со статусом городского округа. Население человек (). Вокруг города образовалась Белгородская агломерация с численностью населения более 0,5 млн человек.\n\nАдминистративное устройство.\n2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун. В декабре 2009 года мэр Белгорода Василий Николаевич Потрясаев занял 2-е место в номинации \"Лучший глава местной администрации\" на ежегодном конкурсе \"Лучшее муниципальное образование\"." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 670, + "segment": "Юрий Владимирович Галдун" + } + ], + "meta": { + "id": 529, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 29, + "segment": "Белгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Николаевич Страхов ( Белгород, Курская губерния — Санкт-Петербург) — русский , , , член-корреспондент Петербургской академии наук (1889). Действительный статский советник. В книгах \"Мир как целое\" (1872), \"О вечных истинах\" (1887), \"Философские очерки\" (1895) высшей формой познания считал религию, критиковал современный материализм, а также спиритизм; в публицистике разделял идеи почвенничества.\nТекст 2: Белгород — город на юге европейской части России, административный центр Белгородской области. Расположен на южной окраине Среднерусской возвышенности, на берегах Белгородского водохранилища, рек Везелки и Северский Донец, в 700 км к югу от Москвы, в 40 км от границы с Украиной. Город областного значения, образует муниципальное образование \"город Белгород\" со статусом городского округа. Население человек (). Вокруг города образовалась Белгородская агломерация с численностью населения более 0,5 млн человек.\n\nАдминистративное устройство.\n2002—2011 Василий Николаевич Потрясаев. 2011—2015 Сергей Андреевич Боженов. 2015—2019 Константин Алексеевич Полежаев. 2019— Юрий Владимирович Галдун. В декабре 2009 года мэр Белгорода Василий Николаевич Потрясаев занял 2-е место в номинации \"Лучший глава местной администрации\" на ежегодном конкурсе \"Лучшее муниципальное образование\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Николай Николаевич Страхов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 378, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Казым", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Лорвертыайёхан?", + "support_text": "Лорвертыайёхан (\"устар.\" Лор-Верты-Ай-Юган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 12 км по правому берегу реки Куръёх. Длина реки составляет 15 км.", + "text": "Куръёх (\"устар.\" Кур-Ёх) — река в России, протекает по территории Белоярского района Ханты-Мансийского автономного округа. Устье реки находится в 444 км по правому берегу реки Казым. Длина реки — 94 км, площадь её водосборного бассейна — 2440 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 176, + "segment": "Казым" + } + ], + "meta": { + "id": 422, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 148, + "segment": "Куръёх" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Лорвертыайёхан (\"устар.\" Лор-Верты-Ай-Юган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 12 км по правому берегу реки Куръёх. Длина реки составляет 15 км.\nТекст 2: Куръёх (\"устар.\" Кур-Ёх) — река в России, протекает по территории Белоярского района Ханты-Мансийского автономного округа. Устье реки находится в 444 км по правому берегу реки Казым. Длина реки — 94 км, площадь её водосборного бассейна — 2440 кв км.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Лорвертыайёхан? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Команда, за тренировки которой отвечает Омар Даф, играет в Лиге 2. Это \"Сошо\", французский футбольный клуб из коммуны Монбельяр, Франция.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, за тренировки которой отвечает Омар Даф?", + "support_text": "Омар Даф ( 12 февраля 1977, Дакар, Сенегал) — сенегальский футболист, защитник. Главный тренер футбольного клуба \"Сошо\".\n\nКарьера.\nВскоре перебрался в Бельгию в клуб \"Вестерло\", выступавший в то время во втором дивизионе. Следующий сезон провёл во французской команде \"Тонон-Шабле\", выступавшей в Национальном чемпионате 2. Следующим клубом в карьере стал клуб Лиги 2 \"Сошо\", в котором защитник оказался в 1997 году. По итогам сезона 1997/98 \"Сошо\" завоевал право выступления в Лиге 1.", + "text": "'Сошо' — французский футбольный клуб из коммуны Монбельяр, Франция. В сезоне 2020/2021 выступает в Лиге 2.\n\nТитулы.\nЧемпион (2): 1934/35, 1937/38. Вице-чемпион (3): 1936/37, 1952/53, 1979/80. Лига 2. Чемпион (2): 1946/47, 2000/01. Вице-чемпион (2): 1963/64, 1987/88." + }, + "outputs": [ + { + "label": "answer", + "length": 6, + "offset": 99, + "segment": "Лиге 2" + } + ], + "meta": { + "id": 1054, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 116, + "segment": "Сошо" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какой лиге играет команда, за тренировки которой отвечает Омар Даф?\nТекст 1: Омар Даф ( 12 февраля 1977, Дакар, Сенегал) — сенегальский футболист, защитник. Главный тренер футбольного клуба \"Сошо\".\n\nКарьера.\nВскоре перебрался в Бельгию в клуб \"Вестерло\", выступавший в то время во втором дивизионе. Следующий сезон провёл во французской команде \"Тонон-Шабле\", выступавшей в Национальном чемпионате 2. Следующим клубом в карьере стал клуб Лиги 2 \"Сошо\", в котором защитник оказался в 1997 году. По итогам сезона 1997/98 \"Сошо\" завоевал право выступления в Лиге 1.\nТекст 2: 'Сошо' — французский футбольный клуб из коммуны Монбельяр, Франция. В сезоне 2020/2021 выступает в Лиге 2.\n\nТитулы.\nЧемпион (2): 1934/35, 1937/38. Вице-чемпион (3): 1936/37, 1952/53, 1979/80. Лига 2. Чемпион (2): 1946/47, 2000/01. Вице-чемпион (2): 1963/64, 1987/88.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 338, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.09523809523809523, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Шарль Жузере, — это Федеральный парламент, состоящий из двух палат: палаты представителей и сената.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Шарль Жузере?", + "support_text": "Шарль Жузере (28 апреля 1892 Париж — 4 сентября 1973 Париж) — бельгийский профессиональный шоссейный велогонщик.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 325, + "segment": "парламентом" + }, + { + "label": "passage", + "length": 11, + "offset": 325, + "segment": "парламент" + } + ], + "meta": { + "id": 83, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 62, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Шарль Жузере (28 апреля 1892 Париж — 4 сентября 1973 Париж) — бельгийский профессиональный шоссейный велогонщик.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста.\nВопрос: Как называется законодательный орган государства, гражданином которого является Шарль Жузере?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Фульда.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Линсфербах?", + "support_text": "Линсфербах — река в Германии, протекает по земле Гессен. Площадь бассейна реки составляет 33,107 кв км, длина реки — 18,2 км. Левый приток Эдера. На реке сохранилось здание мельницы \"Oberlinspher Mühle\" 1885 года постройки. Мельница находится на этом месте с 1571 года. В верхнем течении река протекает по территории заповедника.\n\nПримечания.\nКатегория:Притоки Эдера.", + "text": "Эдер — река в центральной Германии, протекает по земле Северный Рейн-Вестфалия и Гессен. Является притоком реки Фульда. Исток Эдера находится в юго-восточной части федеральной земли Северный Рейн-Вестфалия, в районе Зиген-Витгенштейн. Далее Эдер течёт по сельской местности, преимущественно в северо-восточном направлении. Города, расположенные на берегах Фульды: Баттенберг, Франкенберг, Вальдек, Фритцлар, Фельсберг." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 112, + "segment": "Фульда" + } + ], + "meta": { + "id": 750, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 139, + "segment": "Эдера" + }, + { + "label": "passage", + "length": 5, + "offset": 364, + "segment": "Эдера" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Линсфербах — река в Германии, протекает по земле Гессен. Площадь бассейна реки составляет 33,107 кв км, длина реки — 18,2 км. Левый приток Эдера. На реке сохранилось здание мельницы \"Oberlinspher Mühle\" 1885 года постройки. Мельница находится на этом месте с 1571 года. В верхнем течении река протекает по территории заповедника.\n\nПримечания.\nКатегория:Притоки Эдера.\nТекст 2: Эдер — река в центральной Германии, протекает по земле Северный Рейн-Вестфалия и Гессен. Является притоком реки Фульда. Исток Эдера находится в юго-восточной части федеральной земли Северный Рейн-Вестфалия, в районе Зиген-Витгенштейн. Далее Эдер течёт по сельской местности, преимущественно в северо-восточном направлении. Города, расположенные на берегах Фульды: Баттенберг, Франкенберг, Вальдек, Фритцлар, Фельсберг.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Линсфербах?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " гора Агу (986 м), высочайшая вершина Того.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое место является наивысшей точкой горного хребта, к которому принадлежит Монт-Сокбаро?", + "support_text": "Монт-Сокбаро — вершина высотой 658 метров над уровнем моря, расположенная на границе Бенина в департаменте Донга и Того в Центральной области в горном массиве Атакора. Монт-Сокбаро является высочайшей вершиной Бенина.", + "text": "Атакора — горная цепь на территории Западной Африки.\n\nОбщие сведения.\nГоры Атакора растянулись с северо-востока на юго-запад, от местности севернее Аккры в Гане и далее, через границу с Того до Бенина и Буркина-Фасо. Средняя высота гор — 600 метров над уровнем моря. Район Атакора отличается высоким уровнем выпадающих здесь осадков и образует границу между географическими и климатическими зонами — северосуданской и южносуданской. Наивысшая точка хребта — гора Агу (986 м), высочайшая вершина Того. К цепи Атакора относятся также горы Афаджато (885 м), высочайшая вершина Ганы, и Монт-Сокбаро (658 м), высочайшая точка Бенина." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 466, + "segment": "Агу" + } + ], + "meta": { + "id": 112, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 159, + "segment": "Атакора" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Монт-Сокбаро — вершина высотой 658 метров над уровнем моря, расположенная на границе Бенина в департаменте Донга и Того в Центральной области в горном массиве Атакора. Монт-Сокбаро является высочайшей вершиной Бенина.\nТекст 2: Атакора — горная цепь на территории Западной Африки.\n\nОбщие сведения.\nГоры Атакора растянулись с северо-востока на юго-запад, от местности севернее Аккры в Гане и далее, через границу с Того до Бенина и Буркина-Фасо. Средняя высота гор — 600 метров над уровнем моря. Район Атакора отличается высоким уровнем выпадающих здесь осадков и образует границу между географическими и климатическими зонами — северосуданской и южносуданской. Наивысшая точка хребта — гора Агу (986 м), высочайшая вершина Того. К цепи Атакора относятся также горы Афаджато (885 м), высочайшая вершина Ганы, и Монт-Сокбаро (658 м), высочайшая точка Бенина.\nОпираясь на данные тексты, ответьте на вопрос: Какое место является наивысшей точкой горного хребта, к которому принадлежит Монт-Сокбаро? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5714285714285715, + "em": 0 + }, + "predict": " Шяуляйского уезда и Шяуляйского района.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы расположен город, где родилась Северия Янушаускайте?", + "support_text": "Северия Янушаускайте ( род. 22 октября 1981, Шяуляй, Литовская ССР) — литовская актриса театра и кино, модель, композитор.\n\nБиография.\nРодилась 22 октября 1981 года в городе Шяуляе Литовской ССР. Мать актрисы — учительница, а отец — энергетик. В детстве посещала художественную студию и музыкальную школу.", + "text": "Шяуляй ( , до 1917 года — Шавли, Шавель) — город на севере Литвы, четвёртый по количеству жителей; административный центр Шяуляйского уезда и Шяуляйского района. Крупный промышленный и культурный центр. В городе находятся Шяуляйский университет, Шяуляйский Драматический театр, несколько музеев, в том числе Музей велосипедов, Музей фотографии, Музей радио и телевидения, Музей кошек и краеведческий музей \"Аушра\". Исторический центр города включен в Регистр культурных ценностей Литовской Республики, охраняется государством." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 142, + "segment": "Шяуляйского района" + } + ], + "meta": { + "id": 255, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Шяуляй" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Северия Янушаускайте ( род. 22 октября 1981, Шяуляй, Литовская ССР) — литовская актриса театра и кино, модель, композитор.\n\nБиография.\nРодилась 22 октября 1981 года в городе Шяуляе Литовской ССР. Мать актрисы — учительница, а отец — энергетик. В детстве посещала художественную студию и музыкальную школу.\nТекст 2: Шяуляй ( , до 1917 года — Шавли, Шавель) — город на севере Литвы, четвёртый по количеству жителей; административный центр Шяуляйского уезда и Шяуляйского района. Крупный промышленный и культурный центр. В городе находятся Шяуляйский университет, Шяуляйский Драматический театр, несколько музеев, в том числе Музей велосипедов, Музей фотографии, Музей радио и телевидения, Музей кошек и краеведческий музей \"Аушра\". Исторический центр города включен в Регистр культурных ценностей Литовской Республики, охраняется государством.\nОпираясь на факты в данных текстах, ответьте на вопрос: На территории какой административно-территориальной единицы расположен город, где родилась Северия Янушаускайте? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 281, + "generated_len": [ + 13 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Император Всероссийский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность была у главы государства в стране, чьим гражданином был Павел Степанович Щепкин?", + "support_text": "Павел Степанович Щепкин — русский математик, ординарный профессор и декан отделения физических и математических наук Московского университета.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 355, + "segment": "Император" + } + ], + "meta": { + "id": 105, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 26, + "segment": "русский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Павел Степанович Щепкин — русский математик, ординарный профессор и декан отделения физических и математических наук Московского университета.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность была у главы государства в стране, чьим гражданином был Павел Степанович Щепкин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": [ + 13 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Печора", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Ярсидейвис?", + "support_text": "Ярсидейвис — река в России, течёт по территории Заполярного района Ненецкого автономного округа. Вытекает из озера Ярсидейты, на высоте 118 м над уровнем моря. Устье реки находится в 450 км по левому берегу реки Шапкиной, на высоте 93 м над уровнем моря. Длина реки составляет 19 км.", + "text": "Шапкина (\"Пильворъяга\" — \"глубокая река\") — река в Ненецком автономном округе и Республике Коми, правый приток реки Печоры. Длина — 499 км, площадь бассейна — 6570 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России и геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Бассейновый округ — Двинско-Печорский. Речной бассейн — Печора. Речной подбассейн — Печора ниже впадения реки Усы. Водохозяйственный участок — Печора от водомерного поста Усть-Цильма до устья." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 116, + "segment": "Печоры" + }, + { + "label": "passage", + "length": 6, + "offset": 116, + "segment": "Печора" + } + ], + "meta": { + "id": 638, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 212, + "segment": "Шапкиной" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ярсидейвис — река в России, течёт по территории Заполярного района Ненецкого автономного округа. Вытекает из озера Ярсидейты, на высоте 118 м над уровнем моря. Устье реки находится в 450 км по левому берегу реки Шапкиной, на высоте 93 м над уровнем моря. Длина реки составляет 19 км.\nТекст 2: Шапкина (\"Пильворъяга\" — \"глубокая река\") — река в Ненецком автономном округе и Республике Коми, правый приток реки Печоры. Длина — 499 км, площадь бассейна — 6570 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России и геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Бассейновый округ — Двинско-Печорский. Речной бассейн — Печора. Речной подбассейн — Печора ниже впадения реки Усы. Водохозяйственный участок — Печора от водомерного поста Усть-Цильма до устья.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Ярсидейвис? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 282, + "generated_len": [ + 13 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.5, + "em": 0 + }, + "predict": " Шяуляйский района.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы расположен город, где родился Корнелиюс Платялис?", + "support_text": "Корнелиюс Платялис ( род. 22 января 1951, Шяуляй) — литовский поэт, эссеист, переводчик, общественный и государственный деятель; лауреат Национальной премии (2002), президент Ассоциации творческих работников Литвы (объединяющий двенадцать творческих организаций Литвы — архитекторов, художников, дизайнеров, фотохудожников, кинематографистов, композиторов, переводчиков, музыкантов, писателей, народного искусства, театральных деятелей, журналистов).", + "text": "Шяуляй ( , до 1917 года — Шавли, Шавель) — город на севере Литвы, четвёртый по количеству жителей; административный центр Шяуляйского уезда и Шяуляйского района. Крупный промышленный и культурный центр. В городе находятся Шяуляйский университет, Шяуляйский Драматический театр, несколько музеев, в том числе Музей велосипедов, Музей фотографии, Музей радио и телевидения, Музей кошек и краеведческий музей \"Аушра\". Исторический центр города включен в Регистр культурных ценностей Литовской Республики, охраняется государством." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 142, + "segment": "Шяуляйского района" + } + ], + "meta": { + "id": 917, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 43, + "segment": "Шяуляй" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Корнелиюс Платялис ( род. 22 января 1951, Шяуляй) — литовский поэт, эссеист, переводчик, общественный и государственный деятель; лауреат Национальной премии (2002), президент Ассоциации творческих работников Литвы (объединяющий двенадцать творческих организаций Литвы — архитекторов, художников, дизайнеров, фотохудожников, кинематографистов, композиторов, переводчиков, музыкантов, писателей, народного искусства, театральных деятелей, журналистов).\nТекст 2: Шяуляй ( , до 1917 года — Шавли, Шавель) — город на севере Литвы, четвёртый по количеству жителей; административный центр Шяуляйского уезда и Шяуляйского района. Крупный промышленный и культурный центр. В городе находятся Шяуляйский университет, Шяуляйский Драматический театр, несколько музеев, в том числе Музей велосипедов, Музей фотографии, Музей радио и телевидения, Музей кошек и краеведческий музей \"Аушра\". Исторический центр города включен в Регистр культурных ценностей Литовской Республики, охраняется государством.\nОпираясь на данные тексты, ответьте на вопрос: На территории какой административно-территориальной единицы расположен город, где родился Корнелиюс Платялис? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 287, + "generated_len": [ + 13 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вала", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Кылт?", + "support_text": "Кылт (\"Килт\") — река в Кизнерском и Вавожском районах Республики Удмуртия, левый приток реки Вала (бассейн Волги). Устье реки находится в 74 км по левому берегу реки Вала. Длина реки составляет 52 км.", + "text": "Вала — река в Республике Удмуртия и Кировской области, левый приток реки Кильмезь (бассейн Волги). Длина реки составляет 196 км, площадь бассейна — 7360 кв км." + }, + "outputs": [ + { + "label": "answer", + "length": 8, + "offset": 73, + "segment": "Кильмезь" + } + ], + "meta": { + "id": 753, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 93, + "segment": "Вала" + }, + { + "label": "passage", + "length": 4, + "offset": 166, + "segment": "Вала" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кылт (\"Килт\") — река в Кизнерском и Вавожском районах Республики Удмуртия, левый приток реки Вала (бассейн Волги). Устье реки находится в 74 км по левому берегу реки Вала. Длина реки составляет 52 км.\nТекст 2: Вала — река в Республике Удмуртия и Кировской области, левый приток реки Кильмезь (бассейн Волги). Длина реки составляет 196 км, площадь бассейна — 7360 кв км.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Кылт? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": [ + 13 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Мезень.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пежъю?", + "support_text": "Пежъю (Пежью, Пежь-Ю, Лежью) — река в России, течёт по территории Удорского района Республики Коми. Устье реки находится в 574 км по правому берегу реки Мезени. Длина реки составляет 31 км. Впадает в Мезень на высоте 91 м над уровнем моря.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от истока до водомерного поста у деревни Малонисогорская. Речной бассейн реки — Мезень.", + "text": "Мезень — река в России, протекает по территории Республики Коми и Архангельской области. Длина реки — 966 км, площадь водосборного бассейна — 78 000 кв км.\n\nГеография.\nБерёт своё начало из болот на западных склонах Тиманского кряжа (Республика Коми). В верхней половине часто меняет направление течения. На территории Архангельской области течёт в основном на северо-запад. Впадает в Мезенскую губу Белого моря. В устье расположен город Мезень. В верхнем течении берега высокие и скалистые, в среднем течении Мезень извилиста, много перекатов, затрудняющих судоходство. В нижнем течении, ниже устья реки Вашка, русло изобилует мелями и перекатами." + }, + "outputs": [ + { + "label": "answer", + "length": 26, + "offset": 387, + "segment": "Мезенскую губу Белого моря" + } + ], + "meta": { + "id": 871, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 153, + "segment": "Мезени" + }, + { + "label": "passage", + "length": 6, + "offset": 200, + "segment": "Мезень" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Пежъю (Пежью, Пежь-Ю, Лежью) — река в России, течёт по территории Удорского района Республики Коми. Устье реки находится в 574 км по правому берегу реки Мезени. Длина реки составляет 31 км. Впадает в Мезень на высоте 91 м над уровнем моря.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от истока до водомерного поста у деревни Малонисогорская. Речной бассейн реки — Мезень.\nТекст 2: Мезень — река в России, протекает по территории Республики Коми и Архангельской области. Длина реки — 966 км, площадь водосборного бассейна — 78 000 кв км.\n\nГеография.\nБерёт своё начало из болот на западных склонах Тиманского кряжа (Республика Коми). В верхней половине часто меняет направление течения. На территории Архангельской области течёт в основном на северо-запад. Впадает в Мезенскую губу Белого моря. В устье расположен город Мезень. В верхнем течении берега высокие и скалистые, в среднем течении Мезень извилиста, много перекатов, затрудняющих судоходство. В нижнем течении, ниже устья реки Вашка, русло изобилует мелями и перекатами.\nВопрос: С какой рекой сливается река, в которую впадает Пежъю?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 344, + "generated_len": [ + 13 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " Большая Казым впадает в реку Большой Туртас.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Большой Казым?", + "support_text": "Большой Казым — река в России, протекает в Тюменской области. Устье реки находится в 171 км по левому берегу реки Большой Туртас. Длина реки составляет 26 км.", + "text": "Большой Туртас — река в Тюменской и Омской областях России. Устье реки находится в 241 км по правому берегу реки Туртас. Длина реки составляет 307 км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 8, + "segment": "Туртас" + } + ], + "meta": { + "id": 333, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 114, + "segment": "Большой Туртас" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Большой Казым?\nТекст 1: Большой Казым — река в России, протекает в Тюменской области. Устье реки находится в 171 км по левому берегу реки Большой Туртас. Длина реки составляет 26 км.\nТекст 2: Большой Туртас — река в Тюменской и Омской областях России. Устье реки находится в 241 км по правому берегу реки Туртас. Длина реки составляет 307 км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": [ + 13 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Рестоника.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Рестоника?", + "support_text": "Рестоника — река во Франции, на острове Корсика. Берёт своё начало в озере Лак-де-Мело. Длина реки составляет 18,1 км. В коммуне Корте она впадает в реку Тавиньяно. Бассейн реки Рестоника составляет 147 кв км.", + "text": "Тавиньяно — река во Франции, на острове Корсика. Длина реки — около 89 км, площадь бассейна — 625 кв км. Истоки реки находятся на высоте 1743 м над уровнем моря к югу от горы Чинто, далее река протекает преимущественно в восточном направлении, после чего впадает в Тирренское море. Река с зимним паводком, с декабря по март включительно максимум в январе-феврале. Самый низкий уровень воды в реке летом, в период с июля по сентябрь включительно." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 265, + "segment": "Тирренское море" + } + ], + "meta": { + "id": 96, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 154, + "segment": "Тавиньяно" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Рестоника?\nТекст 1: Рестоника — река во Франции, на острове Корсика. Берёт своё начало в озере Лак-де-Мело. Длина реки составляет 18,1 км. В коммуне Корте она впадает в реку Тавиньяно. Бассейн реки Рестоника составляет 147 кв км.\nТекст 2: Тавиньяно — река во Франции, на острове Корсика. Длина реки — около 89 км, площадь бассейна — 625 кв км. Истоки реки находятся на высоте 1743 м над уровнем моря к югу от горы Чинто, далее река протекает преимущественно в восточном направлении, после чего впадает в Тирренское море. Река с зимним паводком, с декабря по март включительно максимум в январе-феврале. Самый низкий уровень воды в реке летом, в период с июля по сентябрь включительно.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": [ + 13 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Тыдэоттаяха сливается река, в которую впадает Саловаяха.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Саловаяха?", + "support_text": "Саловаяха (\"устар.\" Салова-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 38 км по левому берегу реки Тыдэоттаяха. Длина реки составляет 12 км.", + "text": "Тыдэоттаяха (\"устар.\" Тыдэотта-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 5 км по правому берегу протоки без названия, впадающей в Пур справа в 170 км от устья. Длина реки составляет 48 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 166, + "segment": "Пур" + } + ], + "meta": { + "id": 860, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 133, + "segment": "Тыдэоттаяха" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Саловаяха?\nТекст 1: Саловаяха (\"устар.\" Салова-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 38 км по левому берегу реки Тыдэоттаяха. Длина реки составляет 12 км.\nТекст 2: Тыдэоттаяха (\"устар.\" Тыдэотта-Яха) — река в России, протекает по Ямало-Ненецкому АО. Устье реки находится в 5 км по правому берегу протоки без названия, впадающей в Пур справа в 170 км от устья. Длина реки составляет 48 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.10526315789473684, + "em": 0 + }, + "predict": " Охарья впадает в реку Северная Сосьва, которая в свою очередь сливается с Большой и Малой Сосьвой, образуя Обь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Охаръя?", + "support_text": "Охаръя (\"устар.\" Охар-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 229 км по левому берегу реки Северная Сосьва. Длина реки составляет 13 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.", + "text": "Бассейн Оби. Северная Сосьва — река в Ханты-Мансийском автономном округе России, протекает на Северном Урале по Западно-Сибирской равнине. Длина реки — 754 км, площадь водосборного бассейна — 98 300 кв км. Образуется слиянием рек Большой и Малой Сосьвы. Впадает в Обь слева (рукав Малая Обь) на 287 км от её устья." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 264, + "segment": "Обь" + } + ], + "meta": { + "id": 873, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 129, + "segment": "Северная Сосьва" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Охаръя (\"устар.\" Охар-Я) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 229 км по левому берегу реки Северная Сосьва. Длина реки составляет 13 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.\nТекст 2: Бассейн Оби. Северная Сосьва — река в Ханты-Мансийском автономном округе России, протекает на Северном Урале по Западно-Сибирской равнине. Длина реки — 754 км, площадь водосборного бассейна — 98 300 кв км. Образуется слиянием рек Большой и Малой Сосьвы. Впадает в Обь слева (рукав Малая Обь) на 287 км от её устья.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Охаръя?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " \"Licton Spring\"s", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место рождения дочери Дэвида Денни?", + "support_text": "Дэвид Денни ( 1832—1903) — один из основателей (пионер) города Сиэтл, член Denny Party.\n\nБиография.\nВ 1890 году он перевез свою семью из и без того большого дома в ​​особняк у подножия холма \"Queen Anne Hill\", а в следующем году основал компанию \"Rainier Power and Railway Company\", которая занималась трамвайными перевозками. Падение Дэвида Денни было таким же драматичным, как и его взлет: в период с 1888 по 1895 год двое детей Дэвида и Луизы умерли, они пережили серьезный финансовый кризис после паники 1893 года, потеряв почти всё, включая свой новый особняк. Их единственным спасением стало то, что в годы богатства они отдаали своей дочери Эмили участок земли в \"Licton Spring\"s, куда и переехали. В 1899 году, в возрасте 67 лет, Денни устроился на работу, наблюдая за строительством дороги через горный перевал \"Snoqualmie Pass\", где получил случайную травму головы от своего рабочего. Это была первая неиндейская в городе Сиэтле, которую на гражданской церемонии провёл , тоже пионер Сиэтла. В семье родилось восемь детей:. Эмили Денни (1854–1918). Madge Decatur Denny (1857–1889).", + "text": "Эмили Денни ( 1853—1918) — американская художница, писала сцены из ранней истории города Сиэтла, а также пейзажи региона Пьюджет-Саунд (\"Puget Sound \").\n\nБиография.\nРодилась 23 декабря 1853 года в Сиэтле в семье одного из пионеров этого города — Дэвида Денни и его жены Луизы Борен (\"Louisa Boren\"), которые приехали в Сиэтл из Черри-Гроув, штат Иллинойс, по Орегонскому пути. Картина \"Battle of Seattle\". Эмили пережила в 1856 году, а затем написала картину, посвященную этому событию." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 201, + "segment": "Сиэтле" + }, + { + "label": "passage", + "length": 6, + "offset": 201, + "segment": "Сиэтл" + } + ], + "meta": { + "id": 770, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 654, + "segment": "Эмили" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Дэвид Денни ( 1832—1903) — один из основателей (пионер) города Сиэтл, член Denny Party.\n\nБиография.\nВ 1890 году он перевез свою семью из и без того большого дома в ​​особняк у подножия холма \"Queen Anne Hill\", а в следующем году основал компанию \"Rainier Power and Railway Company\", которая занималась трамвайными перевозками. Падение Дэвида Денни было таким же драматичным, как и его взлет: в период с 1888 по 1895 год двое детей Дэвида и Луизы умерли, они пережили серьезный финансовый кризис после паники 1893 года, потеряв почти всё, включая свой новый особняк. Их единственным спасением стало то, что в годы богатства они отдаали своей дочери Эмили участок земли в \"Licton Spring\"s, куда и переехали. В 1899 году, в возрасте 67 лет, Денни устроился на работу, наблюдая за строительством дороги через горный перевал \"Snoqualmie Pass\", где получил случайную травму головы от своего рабочего. Это была первая неиндейская в городе Сиэтле, которую на гражданской церемонии провёл , тоже пионер Сиэтла. В семье родилось восемь детей:. Эмили Денни (1854–1918). Madge Decatur Denny (1857–1889).\nТекст 2: Эмили Денни ( 1853—1918) — американская художница, писала сцены из ранней истории города Сиэтла, а также пейзажи региона Пьюджет-Саунд (\"Puget Sound \").\n\nБиография.\nРодилась 23 декабря 1853 года в Сиэтле в семье одного из пионеров этого города — Дэвида Денни и его жены Луизы Борен (\"Louisa Boren\"), которые приехали в Сиэтл из Черри-Гроув, штат Иллинойс, по Орегонскому пути. Картина \"Battle of Seattle\". Эмили пережила в 1856 году, а затем написала картину, посвященную этому событию.\nОпираясь на данные тексты, ответьте на вопрос: Как называется место рождения дочери Дэвида Денни?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 493, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Никита Валерьевич Мещеряков родился в Минске, СССР. Поскольку он младший брат Егор Валерьевича Мещерякова, то и Егор родился в том же городе и стране.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Никиты Валерьевича Мещерякова?", + "support_text": "Никита Валерьевич Мещеряков ( род. Минск, СССР) — белорусский профессиональный баскетболист, играющий на позиции лёгкого форварда. Младший брат Егора Мещерякова.", + "text": "Егор Валерьевич Мещеряков ( 9 октября 1976, Минск) — белорусский баскетболист, игравший на позиции тяжёлого форварда. Ассистент главного тренера сборной Белоруссии (2016—2019).\n\nТренерская карьера.\nВ 2009 году Егор Мещеряков стал одним из основателей детского баскетбольного клуба, названного его именем. В декабре 2014 года Мещеряков был назначен на пост спортивного директора \"Цмоки-Минск\". Одновременно с 2016 года работал заместителем председателя Белорусской федерации баскетбола и ассистентом главного тренера сборной Белоруссии. С сентября 2018 года — ассистент главного тренера клуба \"Цмоки-Минск\". В январе 2019 года уволен из команды вместе с главным тренером Александром Крутиковым за неудовлетворительные результаты." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 44, + "segment": "Минск" + } + ], + "meta": { + "id": 376, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 145, + "segment": "Егора Мещерякова" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Никита Валерьевич Мещеряков ( род. Минск, СССР) — белорусский профессиональный баскетболист, играющий на позиции лёгкого форварда. Младший брат Егора Мещерякова.\nТекст 2: Егор Валерьевич Мещеряков ( 9 октября 1976, Минск) — белорусский баскетболист, игравший на позиции тяжёлого форварда. Ассистент главного тренера сборной Белоруссии (2016—2019).\n\nТренерская карьера.\nВ 2009 году Егор Мещеряков стал одним из основателей детского баскетбольного клуба, названного его именем. В декабре 2014 года Мещеряков был назначен на пост спортивного директора \"Цмоки-Минск\". Одновременно с 2016 года работал заместителем председателя Белорусской федерации баскетбола и ассистентом главного тренера сборной Белоруссии. С сентября 2018 года — ассистент главного тренера клуба \"Цмоки-Минск\". В январе 2019 года уволен из команды вместе с главным тренером Александром Крутиковым за неудовлетворительные результаты.\nВопрос: Где родился человек, который был братом Никиты Валерьевича Мещерякова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 277, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 0 + }, + "predict": " Юрий Анатольевич Громаковский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Мордехай Лимон?", + "support_text": "Мордехай (Мока) Лимон ( 3 января 1924, Барановичи, Польша — 16 мая 2009, Нью-Йорк) — четвёртый командующий ВМС Израиля в период с 14 декабря 1950 по 1 июля 1954 года.\n\nБиография.\nМордехай Лимон родился в Барановичах в семье Беньямина Лимона и Ривки Рабинович. В 1934 году эмигрировал с родителями в Эрец-Исраэль. Рос и получил образование в Тель-Авиве. Был инструктором Пальяма — военно-морского подразделения Пальмаха.", + "text": "Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи. Музей истории железной дороги.\n\nПредседатели Барановичского горисполкома.\n04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 236, + "segment": "Громаковский, Юрий Анатольевич" + } + ], + "meta": { + "id": 524, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 40, + "segment": "Барановичи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Мордехай (Мока) Лимон ( 3 января 1924, Барановичи, Польша — 16 мая 2009, Нью-Йорк) — четвёртый командующий ВМС Израиля в период с 14 декабря 1950 по 1 июля 1954 года.\n\nБиография.\nМордехай Лимон родился в Барановичах в семье Беньямина Лимона и Ривки Рабинович. В 1934 году эмигрировал с родителями в Эрец-Исраэль. Рос и получил образование в Тель-Авиве. Был инструктором Пальяма — военно-морского подразделения Пальмаха.\nТекст 2: Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи. Музей истории железной дороги.\n\nПредседатели Барановичского горисполкома.\n04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Мордехай Лимон? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 302, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Александр Сергеевич Панцырев?", + "support_text": "Александр Сергеевич Панцырев (8 декабря 1993, Казань, Россия) — российский футболист, полузащитник футбольного клуба \"Эверест\".", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 413, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 465, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 47, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Сергеевич Панцырев (8 декабря 1993, Казань, Россия) — российский футболист, полузащитник футбольного клуба \"Эверест\".\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Александр Сергеевич Панцырев? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Авилов является главой администрации в городе Тула, где родился Валерий Владимирович Поляков.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валерий Владимирович Поляков?", + "support_text": "Валерий Владимирович Поляков (род. 27 апреля 1942 года, Тула) — советский и российский лётчик-космонавт, Герой Советского Союза и Герой Российской Федерации (один из четырёх людей, удостоенных обоих званий), инструктор-космонавт-исследователь отряда космонавтов ГНЦ ИМБП. 66-й космонавт СССР и России, 210-й космонавт мира. Обладатель мирового рекорда самого длительного полёта в космос (437 суток и 18 часов в 1994 и 1995 годах, на борту орбитальной станции \"Мир\"). Специалист по космической медицине.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 421, + "segment": "Евгений Авилов" + } + ], + "meta": { + "id": 482, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 56, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Валерий Владимирович Поляков?\nТекст 1: Валерий Владимирович Поляков (род. 27 апреля 1942 года, Тула) — советский и российский лётчик-космонавт, Герой Советского Союза и Герой Российской Федерации (один из четырёх людей, удостоенных обоих званий), инструктор-космонавт-исследователь отряда космонавтов ГНЦ ИМБП. 66-й космонавт СССР и России, 210-й космонавт мира. Обладатель мирового рекорда самого длительного полёта в космос (437 суток и 18 часов в 1994 и 1995 годах, на борту орбитальной станции \"Мир\"). Специалист по космической медицине.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года).\n\nОрганы местного самоуправления.\n31 марта 2010 года мэром Тулы избрана Алиса Толкачёва, которая менее чем через год, 2 марта 2011 года, в ходе заседания Тульской городской Думы была снята с занимаемой должности. 10 марта 2011 года на заседании Тульской городской Думы мэром города избран депутат Евгений Авилов, который с 19 марта 2012 года стал главой администрации Тулы. 19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города. С 2012 года эту должность занимает Евгений Авилов.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Византийской империей.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за страной раньше было государство, гражданином которого являлся Юлиан Аргентарий?", + "support_text": "Юлиан Аргентарий (), византийский банкир (аргиропрат) VI века, на деньги которого были построены базилики Сан-Витале и Сант-Аполлинаре-ин-Классе в Равенне. Потраченная им сумма в солидов на строительство базилики Сан-Витале является одной из крупнейших в царствование Юстиниана I. Вопрос о происхождении у него этой суммы, роли Юлиана и его коллег в экономике Равенны и Средиземноморья в целом, давно привлекает внимание историков. Сведений о жизни Юлиана не сохранилось. Юлиан упоминается в нескольких надписях на греческом и латинском языках в построенной им церкви. Согласно одной из них, постройка церкви была совершена по указанию епископа Урсицина (533—536).", + "text": "Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы.\n\nНазвание.\nСами византийцы называли себя римлянами — по-гречески \"ромеями\" , а свою державу — \"\" ( \"Романия\"). Официальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римской империи" + }, + { + "label": "passage", + "length": 15, + "offset": 198, + "segment": "Римская империя" + } + ], + "meta": { + "id": 719, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 21, + "segment": "византийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Юлиан Аргентарий (), византийский банкир (аргиропрат) VI века, на деньги которого были построены базилики Сан-Витале и Сант-Аполлинаре-ин-Классе в Равенне. Потраченная им сумма в солидов на строительство базилики Сан-Витале является одной из крупнейших в царствование Юстиниана I. Вопрос о происхождении у него этой суммы, роли Юлиана и его коллег в экономике Равенны и Средиземноморья в целом, давно привлекает внимание историков. Сведений о жизни Юлиана не сохранилось. Юлиан упоминается в нескольких надписях на греческом и латинском языках в построенной им церкви. Согласно одной из них, постройка церкви была совершена по указанию епископа Урсицина (533—536).\nТекст 2: Византия, Византийская империя, Восточная Римская империя, Греческая империя, самоназвание Держава Ромеев, Ромейская империя (395—1453) — государство, сформировавшееся в 395 году вследствие раздела Римской империи на западную и восточную части после смерти императора Феодосия I. В V веке Западная Римская империя прекратила своё существование, оставив Византию единственной исторической, культурной и цивилизационной частью, оставшейся от Древнего Рима и просуществовавшей на протяжении почти тысячелетия истории Поздней Античности и Средневековья. Бессменной столицей и цивилизационным центром Византийской империи был Константинополь, один из крупнейших городов средневекового мира V—XII веков. Наибольшие владения империя контролировала при императоре Юстиниане I (527—565), вернув себе на несколько десятилетий значительную часть прибрежных территорий бывших западных провинций Рима и положение самой могущественной средиземноморской державы.\n\nНазвание.\nСами византийцы называли себя римлянами — по-гречески \"ромеями\" , а свою державу — \"\" ( \"Романия\"). Официальными названиями Византийской империи были \"Римская империя\", \"Империя римлян\" ( ; , ; на среднегреческом (византийском) языке — \"Василия Ромеон\"). Западные источники на протяжении большей части византийской истории именовали её \"империей греков\" из-за государственного с конца VII века греческого языка, который ранее был только официальным языком византийского православия, эллинизированного населения и культуры. В Древней Руси Византию обычно называли \"Греческим царством\", а её столицу — Царьградом. Название \"Византия\" происходит от первоначального названия Константинополя — Византий ( ), куда римский император Константин I перенёс в 330 году столицу Римской империи, официально переименовав город в \"Новый Рим\". Восточная Римская империя получила название \"Византийская\" в трудах римских историков сразу после своего возникновения — таким образом они противопоставляли её Западной, Гесперийской империи. Первое использование этого термина было зафиксировано в сочинениях Приска. Употребляли его также Малх Филадельфиец, Аммиан Марцеллин, Иордан.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за страной раньше было государство, гражданином которого являлся Юлиан Аргентарий? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 676, + "generated_len": [ + 39 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Заманты сливается с рекой Сейхан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Заманты?", + "support_text": "Заманты — река в Турции. Длина реки составляет 308 км. Бассейн охватывает территорию в 8700 кв км. Река берёт своё начало в Центральной Анатолии. Впадает в реку Сейхан. Самый высокий расход воды был зафиксирован на уровне 970 м³. Среднегодовой сток реки составляет 65603 м³.", + "text": "Сейхан — река в Турции. Длина реки составляет 560 км. Бассейн охватывает территорию в кв км. Сейхан берёт начало у горы Тахтала в провинции Сивас. Имеет ряд крупных притоков. Впадает в Средиземное море у мыса к югу от города Тарсус, обладает хорошо развитой дельтой. В низовьях реки построены несколько плотин для орошения и выработки электроэнергии. Река с зимним паводком, с максимумом в ноябре-декабре. Самый низкий уровень воды в реке летом, в период с августа по сентябрь." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 186, + "segment": "Средиземное море" + } + ], + "meta": { + "id": 596, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 161, + "segment": "Сейхан" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Заманты — река в Турции. Длина реки составляет 308 км. Бассейн охватывает территорию в 8700 кв км. Река берёт своё начало в Центральной Анатолии. Впадает в реку Сейхан. Самый высокий расход воды был зафиксирован на уровне 970 м³. Среднегодовой сток реки составляет 65603 м³.\nТекст 2: Сейхан — река в Турции. Длина реки составляет 560 км. Бассейн охватывает территорию в кв км. Сейхан берёт начало у горы Тахтала в провинции Сивас. Имеет ряд крупных притоков. Впадает в Средиземное море у мыса к югу от города Тарсус, обладает хорошо развитой дельтой. В низовьях реки построены несколько плотин для орошения и выработки электроэнергии. Река с зимним паводком, с максимумом в ноябре-декабре. Самый низкий уровень воды в реке летом, в период с августа по сентябрь.\nВопрос: С какой рекой сливается река, в которую впадает Заманты?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Джим Монтгомери тренирует команду, которая выступает в Национальной хоккейной лигеА (NHL). Это 'Даллас Старз', профессиональный хоккейный клуб, базирующийся в городе Даллас, штат Техас, США.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге выступает команда, которую тренирует Джим Монтгомери?", + "support_text": "Джим Монтгомери ( 30 июня 1969 года, Монреаль, Квебек, Канада) — канадский хоккеист и тренер.\n\nКарьера игрока.\nПервые успехи к Монтгомери пришли в студенческой команде Университет Мэна. Несмотря на то, что нападающий не был задрафтован клубами НХЛ, в 1993 году ему удалось заключить контракт с клубом \"Сент-Луис Блюз\". Позднее канадец выступал за другие коллективы НХЛ: \"Монреаль Канадиенс\", \"Филадельфия Флайерз\", \"Сан-Хосе Шаркс\" и \"Даллас Старз\". Однако ни в одном из них он не смог закрепиться.\n\nКарьера тренера.\nМного лет Джим Монтгомери работал с американскими юниорскими и студенческими командами. С \"Денвер Пионерс\" наставник побеждал в чемпионате NCAA и дважды — в конференции NCHC, с \"Дюбюк Файтинг Сэйнтс\" дважды завоевал Кубок Кларка. 4 мая 2018 года перспективный специалист сменил Кена Хичкока на посту главного тренера клуба НХЛ \"Даллас Старз\". Таким образом он стал всего лишь четвертым тренером, получившим первую работу в лиге сразу после колледжа.", + "text": "'Даллас Старз' — профессиональный хоккейный клуб, играющий в НХЛ (Национальная хоккейная лига). Клуб базируется в городе Даллас, штат Техас, США.\n\nИстория.\nМиннесота Норт Старз. Когда в 1967 году руководство НХЛ приняло решение расширить лигу до 12 команд, они не могли обойти стороной Миннесоту — штат, который давал и продолжает давать наибольшее количество хоккеистов-американцев. Новая команда 'Миннесота Норт Старз' сыграла свой первый матч 21 октября 1967 года против 'Калифорнии Силс' и победила 3:1. Игра состоялась на стадионе 'Мет Центер' в городке Блумингтон, расположенном в 20 километрах от центра Миннеаполиса." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 61, + "segment": "НХЛ" + }, + { + "label": "passage", + "length": 32, + "offset": 61, + "segment": "НХЛ (Национальная хоккейная лига" + } + ], + "meta": { + "id": 697, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 438, + "segment": "Даллас Старз" + }, + { + "label": "passage", + "length": 12, + "offset": 851, + "segment": "Даллас Старз" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какой лиге выступает команда, которую тренирует Джим Монтгомери?\nТекст 1: Джим Монтгомери ( 30 июня 1969 года, Монреаль, Квебек, Канада) — канадский хоккеист и тренер.\n\nКарьера игрока.\nПервые успехи к Монтгомери пришли в студенческой команде Университет Мэна. Несмотря на то, что нападающий не был задрафтован клубами НХЛ, в 1993 году ему удалось заключить контракт с клубом \"Сент-Луис Блюз\". Позднее канадец выступал за другие коллективы НХЛ: \"Монреаль Канадиенс\", \"Филадельфия Флайерз\", \"Сан-Хосе Шаркс\" и \"Даллас Старз\". Однако ни в одном из них он не смог закрепиться.\n\nКарьера тренера.\nМного лет Джим Монтгомери работал с американскими юниорскими и студенческими командами. С \"Денвер Пионерс\" наставник побеждал в чемпионате NCAA и дважды — в конференции NCHC, с \"Дюбюк Файтинг Сэйнтс\" дважды завоевал Кубок Кларка. 4 мая 2018 года перспективный специалист сменил Кена Хичкока на посту главного тренера клуба НХЛ \"Даллас Старз\". Таким образом он стал всего лишь четвертым тренером, получившим первую работу в лиге сразу после колледжа.\nТекст 2: 'Даллас Старз' — профессиональный хоккейный клуб, играющий в НХЛ (Национальная хоккейная лига). Клуб базируется в городе Даллас, штат Техас, США.\n\nИстория.\nМиннесота Норт Старз. Когда в 1967 году руководство НХЛ приняло решение расширить лигу до 12 команд, они не могли обойти стороной Миннесоту — штат, который давал и продолжает давать наибольшее количество хоккеистов-американцев. Новая команда 'Миннесота Норт Старз' сыграла свой первый матч 21 октября 1967 года против 'Калифорнии Силс' и победила 3:1. Игра состоялась на стадионе 'Мет Центер' в городке Блумингтон, расположенном в 20 километрах от центра Миннеаполиса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " город Балашиха. Пётр Ильич Сурков умер в городе Балашиха, что указывает на то, что Балашиха существовала как отдельный город до того, как Пётр Ильич Сурков туда переехал в конце 1920-х годов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой город раньше существовал отдельно от города, где умер Пётр Ильич Сурков?", + "support_text": "Пётр Ильич Сурков (1876 — 1946) — ткач, член Государственной думы III созыва от Костромской губернии, большевик вплоть до конца 1917 года (вышел из партии).\n\nБиография.\nВ конце 1920-х годов П. И. Сурков переехал в Москву. Какое-то время работал в Рабоче-крестьянской инспекции, позднее — на Электроламповом заводе и заводе \"Динамо\", служил на Московском монетном дворе. В 1946 году скончался в городе Балашиха, где и похоронен.", + "text": "Балашиха — город в России, в центре Московской области, крупнейший город области. Образует город областного значения с административной территорией и одноимённое муниципальное образование городской округ Балашиха.\n\nСмотрите также.\nЖелезнодорожный (Балашиха). Список улиц Балашихи." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 234, + "segment": "Железнодорожный" + } + ], + "meta": { + "id": 114, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 404, + "segment": "Балашиха" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Пётр Ильич Сурков (1876 — 1946) — ткач, член Государственной думы III созыва от Костромской губернии, большевик вплоть до конца 1917 года (вышел из партии).\n\nБиография.\nВ конце 1920-х годов П. И. Сурков переехал в Москву. Какое-то время работал в Рабоче-крестьянской инспекции, позднее — на Электроламповом заводе и заводе \"Динамо\", служил на Московском монетном дворе. В 1946 году скончался в городе Балашиха, где и похоронен.\nТекст 2: Балашиха — город в России, в центре Московской области, крупнейший город области. Образует город областного значения с административной территорией и одноимённое муниципальное образование городской округ Балашиха.\n\nСмотрите также.\nЖелезнодорожный (Балашиха). Список улиц Балашихи.\nОпираясь на данные тексты, ответьте на вопрос: Какой город раньше существовал отдельно от города, где умер Пётр Ильич Сурков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Конгресс (двухпалатный, Сенат и Палата депутатов).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданкой которого является Лупе Велес?", + "support_text": "Лупе Велес ( — ) — американская актриса, родом из Мексики, сделавшая успешную карьеру в Голливуде в 1930-е и 1940-е годы.\n\nБиография.\nРанние годы. Мария Гвадалупе Вильялобос Велес родилась в мексиканском городе Сан-Луис-Потоси 18 июля 1908 года в семье армейского офицера и оперной певицы. Образование она получила в монастырской католической школе в Техасе, а после её окончания вернулась в Мексику, где в 1924 году дебютировала в качестве танцовщицы в одном из театров Мехико. Её отец запретил ей использовать его фамилию в качестве её артистического псевдонима, и она взяла себе девичью фамилию матери, став Лупе Велес. В том же году она появилась в главной роли в комедии \"Девушка из Мексики\", который получил большую популярность. После этого \"RKO\", студия снявшая фильм, пригласила Лупе Велес на роли ещё в серии подобных \"\"мексиканских\"\" комедий, который также были хорошо приняты публикой. Успех этих лент сделал Велес довольно популярной в Голливуде, и в последующие годы она много снималась не только на \"RKO\", но и \"Universal Pictures\" и \"Columbia Pictures\". В 1943 году она на некоторое время вернулась в Мексику, где появилась в двух кинокартинах, которые были хорошо приняты местной аудиторией. Благодаря своей притягательной внешности, Лупе была заметной красоткой в Голливуде и крутила романы с такими звёздами как Гэри Купер, Чарли Чаплин, Эррол Флинн и Джон Гилберт. Замужем она была однажды — с 1933 по 1938 год за пятикратным олимпийским чемпионом по плаванию Джонни Вайсмюллером, который известен также по исполнению роли Тарзана в классических голливудских фильмах.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 686, + "segment": "Парламент" + } + ], + "meta": { + "id": 85, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 51, + "segment": "Мексики" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Лупе Велес ( — ) — американская актриса, родом из Мексики, сделавшая успешную карьеру в Голливуде в 1930-е и 1940-е годы.\n\nБиография.\nРанние годы. Мария Гвадалупе Вильялобос Велес родилась в мексиканском городе Сан-Луис-Потоси 18 июля 1908 года в семье армейского офицера и оперной певицы. Образование она получила в монастырской католической школе в Техасе, а после её окончания вернулась в Мексику, где в 1924 году дебютировала в качестве танцовщицы в одном из театров Мехико. Её отец запретил ей использовать его фамилию в качестве её артистического псевдонима, и она взяла себе девичью фамилию матери, став Лупе Велес. В том же году она появилась в главной роли в комедии \"Девушка из Мексики\", который получил большую популярность. После этого \"RKO\", студия снявшая фильм, пригласила Лупе Велес на роли ещё в серии подобных \"\"мексиканских\"\" комедий, который также были хорошо приняты публикой. Успех этих лент сделал Велес довольно популярной в Голливуде, и в последующие годы она много снималась не только на \"RKO\", но и \"Universal Pictures\" и \"Columbia Pictures\". В 1943 году она на некоторое время вернулась в Мексику, где появилась в двух кинокартинах, которые были хорошо приняты местной аудиторией. Благодаря своей притягательной внешности, Лупе была заметной красоткой в Голливуде и крутила романы с такими звёздами как Гэри Купер, Чарли Чаплин, Эррол Флинн и Джон Гилберт. Замужем она была однажды — с 1933 по 1938 год за пятикратным олимпийским чемпионом по плаванию Джонни Вайсмюллером, который известен также по исполнению роли Тарзана в классических голливудских фильмах.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2012 года состоялись очередные выборы президента Мексики, на которых победил Энрике Пенья Ньето (вступил в должность 1 декабря 2012 года). 1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданкой которого является Лупе Велес? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 710, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ай-Печпанъях впадает в реку Печпанъях.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Ай-Печпанъях?", + "support_text": "Ай-Печпанъях (\"устар.\" Ай-Печпан-Ях) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 21 км по левому берегу реки Печпанъях. Длина реки составляет 14 км.", + "text": "Печпанъях (\"устар.\" Печпан-Ях) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 201 км по левому берегу реки Нёгусъях. Длина реки составляет 26 км. В 21 км от устья, по левому берегу реки впадает река Ай-Печпан-Ях." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 135, + "segment": "Нёгусъях" + } + ], + "meta": { + "id": 258, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 3, + "segment": "Печпанъях" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Ай-Печпанъях (\"устар.\" Ай-Печпан-Ях) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 21 км по левому берегу реки Печпанъях. Длина реки составляет 14 км.\nТекст 2: Печпанъях (\"устар.\" Печпан-Ях) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 201 км по левому берегу реки Нёгусъях. Длина реки составляет 26 км. В 21 км от устья, по левому берегу реки впадает река Ай-Печпан-Ях.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Ай-Печпанъях?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " Люк Лемонье (Luc Lemonnier) является главой администрации в городе Гавре, где родился Матиас Дюран-Рейнальдо.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Матиас Дюран-Рейнальдо?", + "support_text": "Матиас Дюран-Рейнальдо, так же известный как Coccinella ( род. 23 декабря 1975, Гавр) — французский скульптор, художник и модельер. Созданные из вторичного сырья, его творения метафоричны и гиперреалистичны. Они выражают протест безудержной урбанизации и упадку общественных и экологических ценностей.", + "text": "Гавр ( ) — город и коммуна на севере Франции, в регионе Нормандия, супрефектура в департаменте Сена Приморская. Гаврский порт — один из крупнейших во Франции.\n\nАдминистрация.\nПост мэра Гавра с 2017 года занимает член партии Республиканцы Люк Лемонье (Luc Lemonnier), член Совета департамента Приморская Сена от кантона Гавр-6. Он был избран на этот пост после отставки Эдуара Филиппа (Édouard Philippe) после его назначения премьер-министром Франции. +Муниципальные выборы 2014 года (2 тур). Кандидат. Партия." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 241, + "segment": "Люк Лемонье" + } + ], + "meta": { + "id": 517, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 80, + "segment": "Гавр" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Матиас Дюран-Рейнальдо, так же известный как Coccinella ( род. 23 декабря 1975, Гавр) — французский скульптор, художник и модельер. Созданные из вторичного сырья, его творения метафоричны и гиперреалистичны. Они выражают протест безудержной урбанизации и упадку общественных и экологических ценностей.\nТекст 2: Гавр ( ) — город и коммуна на севере Франции, в регионе Нормандия, супрефектура в департаменте Сена Приморская. Гаврский порт — один из крупнейших во Франции.\n\nАдминистрация.\nПост мэра Гавра с 2017 года занимает член партии Республиканцы Люк Лемонье (Luc Lemonnier), член Совета департамента Приморская Сена от кантона Гавр-6. Он был избран на этот пост после отставки Эдуара Филиппа (Édouard Philippe) после его назначения премьер-министром Франции. +Муниципальные выборы 2014 года (2 тур). Кандидат. Партия.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Матиас Дюран-Рейнальдо?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большой Тап", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Выхтопья?", + "support_text": "Выхтопья (или \"Вохлоп\") — река в России, протекает по территории Советского района Ханты-Мансийского автономного округа. Устье реки находится в 464 км по правому берегу реки Большого Тапа, берёт своё начало из болота Вохлоптыйенг. Длина реки — 38 км.", + "text": "Большой Тап — судоходная река в России, протекает по территории Кондинского и Советского районов Ханты-Мансийского автономного округа, левый приток Конды, берёт своё начало к югу от озера Тапто. Длина реки — 504 км, площадь водосборного бассейна — 6700 кв км. Общее направление течения с севера на юг. Питание реки снеговое и дождевое. Река протекает в малонаселённой местности, раньше в устье на ней располагалась одноимённая деревня Большой Тап, в настоящее время деревня упразднена.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш. Код объекта в государственном водном реестре — 14010600112115300016559." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Конды" + }, + { + "label": "passage", + "length": 5, + "offset": 148, + "segment": "Конда" + } + ], + "meta": { + "id": 897, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 174, + "segment": "Большого Тапа" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Выхтопья (или \"Вохлоп\") — река в России, протекает по территории Советского района Ханты-Мансийского автономного округа. Устье реки находится в 464 км по правому берегу реки Большого Тапа, берёт своё начало из болота Вохлоптыйенг. Длина реки — 38 км.\nТекст 2: Большой Тап — судоходная река в России, протекает по территории Кондинского и Советского районов Ханты-Мансийского автономного округа, левый приток Конды, берёт своё начало к югу от озера Тапто. Длина реки — 504 км, площадь водосборного бассейна — 6700 кв км. Общее направление течения с севера на юг. Питание реки снеговое и дождевое. Река протекает в малонаселённой местности, раньше в устье на ней располагалась одноимённая деревня Большой Тап, в настоящее время деревня упразднена.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Иртышскому бассейновому округу, водохозяйственный участок реки — Конда, речной подбассейн реки — Конда. Речной бассейн реки — Иртыш. Код объекта в государственном водном реестре — 14010600112115300016559.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Выхтопья? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 321, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Мефодий (Зайцев)?", + "support_text": "Епископ Мефодий (в миру Дмитрий Анатольевич Зайцев; 25 октября 1978, Казань) — архиерей Русской православной церкви, епископ Альметьевский и Бугульминский. Тезоименитство 11/24 мая (равноапостольного Мефодия Моравского, учителя Словеснкого).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 435, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 519, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 69, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Епископ Мефодий (в миру Дмитрий Анатольевич Зайцев; 25 октября 1978, Казань) — архиерей Русской православной церкви, епископ Альметьевский и Бугульминский. Тезоименитство 11/24 мая (равноапостольного Мефодия Моравского, учителя Словеснкого).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Мефодий (Зайцев)? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 275, + "generated_len": [ + 51 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Видзью", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Бадьюшор?", + "support_text": "Бадьюшор (\"устар.\" Бадь-Ю-Шор) — река в России, течёт по территории Койгородского района Республики Коми. Устье реки находится в 65 км по правому берегу реки Видзью. Длина реки составляет 15 км.", + "text": "Видзью (\"устар.\" Видз-Ю) — река в России, течёт по территории Койгородского района и Сыктывдинского района Республики Коми. Устье реки находится в 17 км по правому берегу реки Лэпъю. Длина реки составляет 110 км, площадь водосборного бассейна 866 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 176, + "segment": "Лэпъю" + } + ], + "meta": { + "id": 329, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 158, + "segment": "Видзью" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Бадьюшор (\"устар.\" Бадь-Ю-Шор) — река в России, течёт по территории Койгородского района Республики Коми. Устье реки находится в 65 км по правому берегу реки Видзью. Длина реки составляет 15 км.\nТекст 2: Видзью (\"устар.\" Видз-Ю) — река в России, течёт по территории Койгородского района и Сыктывдинского района Республики Коми. Устье реки находится в 17 км по правому берегу реки Лэпъю. Длина реки составляет 110 км, площадь водосборного бассейна 866 кв км.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Бадьюшор? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": [ + 59 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1621621621621622, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Станислав Андреевич Намашко, является Олег Анатолиевич Довгопол. Это подтверждается данными из второго текста, где указано, что Олег Анатолиевич Довгопол занимал должность главы администрации с 23 декабря 2016 года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Станислав Андреевич Намашко?", + "support_text": "Станислав Андреевич Намашко ( ) — молдавский футболист, имеющий также российское гражданство, вратарь клуба \"Кешля\". Игрок сборной Молдавии.\n\nКарьера.\nКлубная. Профессиональную карьеру начал в 2005 году в клубе \"Тирасполь\", в составе которого выступал до января 2008 года, став за это время бронзовым призёром чемпионата и полуфиналистом кубка страны. Всего за \"Тирасполь\" провёл 88 матчей, из которых 4 игры в кубке Молдавии и 6 — в Кубке Интертото. В январе 2008 года перешёл в \"Шериф\", в составе которого дважды становился чемпионом Молдавии, дважды обладателем кубка, обладателем кубка содружества и дважды признавался лучшим вратарём страны. Всего в составе \"Шерифа\" провёл 53 матча, из которых 10 матчей провёл в Лиге чемпионов, 6 встреч сыграл в групповом этапе Лиги Европы и 4 игры провёл в кубке страны. 19 января 2010 года было сообщено, что \"Шериф\" достиг договорённости с \"Кубанью\" о переходе Станислава в краснодарский клуб, а 25 января Намашко присоединился к \"Кубани\" на предсезонном сборе в Турции.", + "text": "Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики.\n\nОрганы власти.\nШапа, Пётр Иванович (1978—1980), 1-й секретарь горкома. Костырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 853, + "segment": "Довгопол, Олег Анатолиевич" + }, + { + "label": "passage", + "length": 26, + "offset": 853, + "segment": "Олег Анатолиевич Довгопол" + } + ], + "meta": { + "id": 536, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 216, + "segment": "Тирасполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Станислав Андреевич Намашко?\nТекст 1: Станислав Андреевич Намашко ( ) — молдавский футболист, имеющий также российское гражданство, вратарь клуба \"Кешля\". Игрок сборной Молдавии.\n\nКарьера.\nКлубная. Профессиональную карьеру начал в 2005 году в клубе \"Тирасполь\", в составе которого выступал до января 2008 года, став за это время бронзовым призёром чемпионата и полуфиналистом кубка страны. Всего за \"Тирасполь\" провёл 88 матчей, из которых 4 игры в кубке Молдавии и 6 — в Кубке Интертото. В январе 2008 года перешёл в \"Шериф\", в составе которого дважды становился чемпионом Молдавии, дважды обладателем кубка, обладателем кубка содружества и дважды признавался лучшим вратарём страны. Всего в составе \"Шерифа\" провёл 53 матча, из которых 10 матчей провёл в Лиге чемпионов, 6 встреч сыграл в групповом этапе Лиги Европы и 4 игры провёл в кубке страны. 19 января 2010 года было сообщено, что \"Шериф\" достиг договорённости с \"Кубанью\" о переходе Станислава в краснодарский клуб, а 25 января Намашко присоединился к \"Кубани\" на предсезонном сборе в Турции.\nТекст 2: Тирасполь, также \"Тираспол\" ( ) — город на левом берегу Днестра, столица непризнанной Приднестровской Молдавской Республики; третий по численности населения город, расположенный в пределах официальных границ Молдавии (после Кишинёва и Бельц), и крупнейший в Приднестровье. Основан в 1792 году по особому указанию Александра Суворова, а в 1795 году получил статус города. С 1929 по 1940 год Тирасполь был столицей Молдавской АССР (в составе УССР), а с 2 сентября 1990 года по настоящее время является столицей непризнанной Приднестровской Молдавской Республики.\n\nОрганы власти.\nШапа, Пётр Иванович (1978—1980), 1-й секретарь горкома. Костырко, Виктор Иванович с 1 февраля 2002 года по 30 декабря 2011 года. Безбабченко, Андрей Иванович с 24 января 2012 года по 28 сентября 2016 года. Данилюк, Сергей Валерьевич с 28 сентября по 22 декабря 2016 года. Довгопол, Олег Анатолиевич с 23 декабря 2016 года.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 605, + "generated_len": [ + 59 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нёгусъях.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Синкъях?", + "support_text": "Синкъях (\"устар.\" Синк-Ях) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 267 км по левому берегу реки Нёгусъях. Длина реки составляет 34 км. В 7 км от устья, по левому берегу реки впадает река Ай-Синк-Ях.", + "text": "Нёгусъях (\"устар.\" Нёгус-Ях) — река, правый приток реки Большой Юган, протекает в Сургутском районе Ханты-Мансийского автономного округа. Устье реки находится в 191 км по правому берегу реки Большой Юган, выше юрт Когончиных. Длина реки составляет 298 км. Название происходит от хантыйского \"нёгус\" — соболь. Соболь — типичный обитатель темнохвойных лесов в Западной Сибири." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 56, + "segment": "Большой Юган" + } + ], + "meta": { + "id": 619, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 131, + "segment": "Нёгусъях" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Синкъях (\"устар.\" Синк-Ях) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 267 км по левому берегу реки Нёгусъях. Длина реки составляет 34 км. В 7 км от устья, по левому берегу реки впадает река Ай-Синк-Ях.\nТекст 2: Нёгусъях (\"устар.\" Нёгус-Ях) — река, правый приток реки Большой Юган, протекает в Сургутском районе Ханты-Мансийского автономного округа. Устье реки находится в 191 км по правому берегу реки Большой Юган, выше юрт Когончиных. Длина реки составляет 298 км. Название происходит от хантыйского \"нёгус\" — соболь. Соболь — типичный обитатель темнохвойных лесов в Западной Сибири.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Синкъях?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": [ + 59 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Пёза", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Корговец?", + "support_text": "Корговец (Карговец) — река в России, течёт по территории Мезенского района Архангельской области. Устье реки находится в 20 км по правому берегу реки Варчушки на высоте 53 м над уровнем моря. Длина реки составляет 11 км.", + "text": "Варчушка (уст. \"Варчужка\", \"Варшинская Виска\") — река в Мезенском районе Архангельской области России, правый приток Пёзы (бассейн Мезени). Длина реки — 110 км, площадь водосборного бассейна — 869 кв км.\n\nПримечания.\nКатегория:Притоки Пёзы." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 117, + "segment": "Пёзы" + }, + { + "label": "passage", + "length": 4, + "offset": 117, + "segment": "Пёза" + } + ], + "meta": { + "id": 599, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 150, + "segment": "Варчушки" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Корговец (Карговец) — река в России, течёт по территории Мезенского района Архангельской области. Устье реки находится в 20 км по правому берегу реки Варчушки на высоте 53 м над уровнем моря. Длина реки составляет 11 км.\nТекст 2: Варчушка (уст. \"Варчужка\", \"Варшинская Виска\") — река в Мезенском районе Архангельской области России, правый приток Пёзы (бассейн Мезени). Длина реки — 110 км, площадь водосборного бассейна — 869 кв км.\n\nПримечания.\nКатегория:Притоки Пёзы.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Корговец? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": [ + 59 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Пактол сливается с рекой Герм, которая в свою очередь впадает в Эгейское море.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пактол?", + "support_text": "Пактол (), ныне Сарт — небольшая река в Малой Азии, в исторической области Лидия. Берёт начало на известной своим вином горе Тмол (ныне Боздаг, , 2421 метра) в хребте Гёльгели (), протекает мимо древнего города Сарды, и впадает в реку Герм (Гедиз), изливающуюся близ древней Фокеи в Эгейское море. Ныне река находится на территории современной Турции, имея только около трёх метров ширины и меньше полуметра в глубину.", + "text": "Гедиз ( в античности — Герм, ) — крупная река в Турции. Протекает по территории следующих илов: Измир, Маниса, Ушак и Кютахья. Река берёт начало у хребта Мурат на западе Анатолийского плоскогорья. Длина реки составляет 341 км. Впадает в Измирский залив Эгейского моря. Бассейн охватывает территорию в 17500 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 254, + "segment": "Эгейского моря" + }, + { + "label": "passage", + "length": 30, + "offset": 238, + "segment": "Измирский залив Эгейского моря" + }, + { + "label": "passage", + "length": 15, + "offset": 238, + "segment": "Измирский залив" + } + ], + "meta": { + "id": 872, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 235, + "segment": "Герм (Гедиз" + }, + { + "label": "passage", + "length": 4, + "offset": 235, + "segment": "Герм" + }, + { + "label": "passage", + "length": 5, + "offset": 241, + "segment": "Гедиз" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Пактол (), ныне Сарт — небольшая река в Малой Азии, в исторической области Лидия. Берёт начало на известной своим вином горе Тмол (ныне Боздаг, , 2421 метра) в хребте Гёльгели (), протекает мимо древнего города Сарды, и впадает в реку Герм (Гедиз), изливающуюся близ древней Фокеи в Эгейское море. Ныне река находится на территории современной Турции, имея только около трёх метров ширины и меньше полуметра в глубину.\nТекст 2: Гедиз ( в античности — Герм, ) — крупная река в Турции. Протекает по территории следующих илов: Измир, Маниса, Ушак и Кютахья. Река берёт начало у хребта Мурат на западе Анатолийского плоскогорья. Длина реки составляет 341 км. Впадает в Измирский залив Эгейского моря. Бассейн охватывает территорию в 17500 кв км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Пактол?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": [ + 59 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Федеральный парламент, состоящий из Палаты представителей и Сената, избирается прямым голосованием раз в четыре года.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Тарек Саффедин?", + "support_text": "Тарек Робер Саффедин ( ) — бельгийский боец смешанного стиля, представитель полусредней весовой категории. Выступал на профессиональном уровне в период 2007—2017 годов, известен по участию в турнирах бойцовских организаций UFC, Strikeforce, Dream и др. Владел титулом чемпиона Strikeforce в полусреднем весе.\n\nБиография.\nТарек Саффедин родился 6 сентября 1986 года в Брюсселе, Бельгия. Его отец-ливанец в своё время эмигрировал в Бельгию с целью изучения офтальмологии, мать — бельгийка. Детство провёл в коммуне Волюве-Сен-Ламбер.\n\nСтатистика в профессиональном ММА.\nЕдиногласное решение. Shooto Belgium: Encounter the Braves. 3. . 5:00. Шарлеруа, Бельгия. Победа. 2-1. Себастьен Гранден.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 282, + "segment": "королём" + } + ], + "meta": { + "id": 987, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 28, + "segment": "бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Тарек Робер Саффедин ( ) — бельгийский боец смешанного стиля, представитель полусредней весовой категории. Выступал на профессиональном уровне в период 2007—2017 годов, известен по участию в турнирах бойцовских организаций UFC, Strikeforce, Dream и др. Владел титулом чемпиона Strikeforce в полусреднем весе.\n\nБиография.\nТарек Саффедин родился 6 сентября 1986 года в Брюсселе, Бельгия. Его отец-ливанец в своё время эмигрировал в Бельгию с целью изучения офтальмологии, мать — бельгийка. Детство провёл в коммуне Волюве-Сен-Ламбер.\n\nСтатистика в профессиональном ММА.\nЕдиногласное решение. Shooto Belgium: Encounter the Braves. 3. . 5:00. Шарлеруа, Бельгия. Победа. 2-1. Себастьен Гранден.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек.\n\nПолитическое устройство.\nПравительство назначается королём, он утверждает законы, имеет право распускать парламент, назначает министров и судей всех инстанций. Также состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ). Обе палаты избираются прямым голосованием раз в четыре года. Право голоса имеют все граждане государства, достигшие 18-летнего возраста.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Тарек Саффедин? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": [ + 59 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " с рекой Печора.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большой Аранец?", + "support_text": "Большой Аранец — река в России, протекает в Республике Коми по территории района Печора. Правый приток реки Печора.", + "text": "Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nВ районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина. Общий уклон реки — 0,373 м/км. В верхнем течении (выше устья Илыча) уклон составляет 2,5—3,0 м/км, река быстра, порожиста, её дно каменисто." + }, + "outputs": [ + { + "label": "answer", + "length": 30, + "offset": 466, + "segment": "Печорскую губу Печорского моря" + } + ], + "meta": { + "id": 704, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 81, + "segment": "Печора" + }, + { + "label": "passage", + "length": 6, + "offset": 108, + "segment": "Печора" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Большой Аранец — река в России, протекает в Республике Коми по территории района Печора. Правый приток реки Печора.\nТекст 2: Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nВ районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина. Общий уклон реки — 0,373 м/км. В верхнем течении (выше устья Илыча) уклон составляет 2,5—3,0 м/км, река быстра, порожиста, её дно каменисто.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Большой Аранец?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 282, + "generated_len": [ + 59 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.42857142857142855, + "em": 0 + }, + "predict": " Зеленоградский административный округ, который является одним из 12 административных округов Москвы.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы находится город рождения Антиповой Юлии Валерьевны?", + "support_text": "Юлия Валерьевна Антипова (род. 18 декабря 1997, Зеленоград, Москва, Россия) — бывшая российская фигуристка (парное фигурное катание). Выступала в спортивной паре с Нодари Маисурадзе, на чемпионате мира 2014 года они заняли восьмое место.\n\nКарьера.\nЮлия Антипова родилась в декабре 1997 года в Зеленограде. Много лет она занималась фигурным катанием в ДЮСШ № 10 (Зеленоград). Весной 2012 года перешла в парное катание в группу Натальи Павловой. Стала выступать в паре с Нодари Маисурадзе.", + "text": "Зеленоград (букв. \"зелёный город\"; офиц. \"Зеленоградский административный округ\") — один из 12 административных округов Москвы. Расположен в 37 км к северо-западу от центра Москвы. Первый из трёх округов, которые были образованы на территориях, полностью находящихся за пределами Московской кольцевой автомобильной дороги. Один из основных научно-производственных центров советской и российской электроники и микроэлектроники. По состоянию на 2020 год самый маленький по территории и предпоследний по населению округ Москвы. Вместе с тем Зеленоград как обособленный населённый пункт мог бы войти в пятёрку крупнейших городов Подмосковья (уступая Балашихе, Подольску, Химкам и опережая Королёв) и в первую сотню городов России. Со всех сторон окружён территорией Московской области и является самым крупным эксклавом Москвы: практически со всех сторон окружён территорией городского округа Солнечногорск, за исключением небольшого участка на юго-востоке, где Зеленоград граничит с городским округом Химки. В состав Зеленограда входят также посёлок Малино, часть посёлка Алабушево, деревни: Кутузово, Новомалино и Рожки. На западной границе находится в непосредственном соприкосновении с поселением Андреевкой городского округа Солнечногорск, образуя с ним агломерацию." + }, + "outputs": [ + { + "label": "passage", + "length": 37, + "offset": 42, + "segment": "Зеленоградский административный округ" + } + ], + "meta": { + "id": 923, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 296, + "segment": "Зеленограде" + }, + { + "label": "passage", + "length": 10, + "offset": 48, + "segment": "Зеленоград" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Юлия Валерьевна Антипова (род. 18 декабря 1997, Зеленоград, Москва, Россия) — бывшая российская фигуристка (парное фигурное катание). Выступала в спортивной паре с Нодари Маисурадзе, на чемпионате мира 2014 года они заняли восьмое место.\n\nКарьера.\nЮлия Антипова родилась в декабре 1997 года в Зеленограде. Много лет она занималась фигурным катанием в ДЮСШ № 10 (Зеленоград). Весной 2012 года перешла в парное катание в группу Натальи Павловой. Стала выступать в паре с Нодари Маисурадзе.\nТекст 2: Зеленоград (букв. \"зелёный город\"; офиц. \"Зеленоградский административный округ\") — один из 12 административных округов Москвы. Расположен в 37 км к северо-западу от центра Москвы. Первый из трёх округов, которые были образованы на территориях, полностью находящихся за пределами Московской кольцевой автомобильной дороги. Один из основных научно-производственных центров советской и российской электроники и микроэлектроники. По состоянию на 2020 год самый маленький по территории и предпоследний по населению округ Москвы. Вместе с тем Зеленоград как обособленный населённый пункт мог бы войти в пятёрку крупнейших городов Подмосковья (уступая Балашихе, Подольску, Химкам и опережая Королёв) и в первую сотню городов России. Со всех сторон окружён территорией Московской области и является самым крупным эксклавом Москвы: практически со всех сторон окружён территорией городского округа Солнечногорск, за исключением небольшого участка на юго-востоке, где Зеленоград граничит с городским округом Химки. В состав Зеленограда входят также посёлок Малино, часть посёлка Алабушево, деревни: Кутузово, Новомалино и Рожки. На западной границе находится в непосредственном соприкосновении с поселением Андреевкой городского округа Солнечногорск, образуя с ним агломерацию.\nОпираясь на данные тексты, ответьте на вопрос: На территории какой административно-территориальной единицы находится город рождения Антиповой Юлии Валерьевны?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": [ + 59 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Мезень", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пыя?", + "support_text": "Пыя (в верховьях — Большая Пыя) — река на севере России, протекает в Мезенском городском поселении Мезенского района Архангельской области. Длина реки составляет 70 км. Начинается в елово-сосновом лесу между озёрами Пыйское 1-е и Пыйское 2-е, при слиянии на высоте 45,1 метра над уровнем моря вытекающих из них ручьёв. Течёт по лесу, окружённому болотами, на северо-запад. Между устьями Солдатской Виски и Берёзового сворачивает на юго-запад, затем возвращается к прежнему направлению. Ширина реки в этом месте — 5 метров, глубина — 0,5 метра. В дальнейшем течёт по болотистой местности. Устье реки находится в 22 км по правому берегу реки Мезень у заброшенной деревни Пыя. Ширина Пыи в низовьях — 18 метров, глубина — 1 м. До революции на реке существовало несколько пристаней.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от водомерного поста деревни Малонисогорская и до устья. Речной бассейн реки — Мезень.", + "text": "Мезень — река в России, протекает по территории Республики Коми и Архангельской области. Длина реки — 966 км, площадь водосборного бассейна — 78 000 кв км.\n\nГеография.\nБерёт своё начало из болот на западных склонах Тиманского кряжа (Республика Коми). В верхней половине часто меняет направление течения. На территории Архангельской области течёт в основном на северо-запад. Впадает в Мезенскую губу Белого моря. В устье расположен город Мезень. В верхнем течении берега высокие и скалистые, в среднем течении Мезень извилиста, много перекатов, затрудняющих судоходство. В нижнем течении, ниже устья реки Вашка, русло изобилует мелями и перекатами." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 387, + "segment": "Мезенскую губу Белого моря" + } + ], + "meta": { + "id": 864, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 640, + "segment": "Мезень" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пыя (в верховьях — Большая Пыя) — река на севере России, протекает в Мезенском городском поселении Мезенского района Архангельской области. Длина реки составляет 70 км. Начинается в елово-сосновом лесу между озёрами Пыйское 1-е и Пыйское 2-е, при слиянии на высоте 45,1 метра над уровнем моря вытекающих из них ручьёв. Течёт по лесу, окружённому болотами, на северо-запад. Между устьями Солдатской Виски и Берёзового сворачивает на юго-запад, затем возвращается к прежнему направлению. Ширина реки в этом месте — 5 метров, глубина — 0,5 метра. В дальнейшем течёт по болотистой местности. Устье реки находится в 22 км по правому берегу реки Мезень у заброшенной деревни Пыя. Ширина Пыи в низовьях — 18 метров, глубина — 1 м. До революции на реке существовало несколько пристаней.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Мезень от водомерного поста деревни Малонисогорская и до устья. Речной бассейн реки — Мезень.\nТекст 2: Мезень — река в России, протекает по территории Республики Коми и Архангельской области. Длина реки — 966 км, площадь водосборного бассейна — 78 000 кв км.\n\nГеография.\nБерёт своё начало из болот на западных склонах Тиманского кряжа (Республика Коми). В верхней половине часто меняет направление течения. На территории Архангельской области течёт в основном на северо-запад. Впадает в Мезенскую губу Белого моря. В устье расположен город Мезень. В верхнем течении берега высокие и скалистые, в среднем течении Мезень извилиста, много перекатов, затрудняющих судоходство. В нижнем течении, ниже устья реки Вашка, русло изобилует мелями и перекатами.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Пыя? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 496, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Ваагн Альбертович Минасян?", + "support_text": "Ваагн Альбертович Минасян ( 25 апреля 1985, Ереван, Армянская ССР, СССР) — армянский футболист, защитник. Младший брат Армана Минасяна.\n\nКлубная карьера.\nПосле окончания сезона 2010 года у Минасяна закончился контракт с \"Пюником\". Новый контракт с клубом он не подписал и отправился на правах свободного агента в Иран, в местный \"Рах Ахан\", где тренером вратарей является Арутюн Абраамян. Однако по прибытии Минасяну предъявили дополнительно ряд условий, с которыми он не согласился и вернулся в Ереван. На той же неделе Минасян заключил однолетний контракт с ереванской \"Микой\". В конце года контракт между клубом и игроком завершился, но Минасян продлевать не стал. В статусе свободного агент начал тренироваться с \"Улиссом\", с которым впоследствии заключил контракт.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванский городской совет" + } + ], + "meta": { + "id": 296, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 45, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ваагн Альбертович Минасян ( 25 апреля 1985, Ереван, Армянская ССР, СССР) — армянский футболист, защитник. Младший брат Армана Минасяна.\n\nКлубная карьера.\nПосле окончания сезона 2010 года у Минасяна закончился контракт с \"Пюником\". Новый контракт с клубом он не подписал и отправился на правах свободного агента в Иран, в местный \"Рах Ахан\", где тренером вратарей является Арутюн Абраамян. Однако по прибытии Минасяну предъявили дополнительно ряд условий, с которыми он не согласился и вернулся в Ереван. На той же неделе Минасян заключил однолетний контракт с ереванской \"Микой\". В конце года контракт между клубом и игроком завершился, но Минасян продлевать не стал. В статусе свободного агент начал тренироваться с \"Улиссом\", с которым впоследствии заключил контракт.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Ваагн Альбертович Минасян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 382, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1142857142857143, + "em": 0 + }, + "predict": " Владимир Алексеевич Комков родился в городе Подольск, Московской области. В настоящее время главой города Подольска является Николай Пестов. Таким образом, глава администрации в городе, где родился Владимир Алексеевич Комков, — это Николай Пестов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Владимир Алексеевич Комков?", + "support_text": "Владимир Алексеевич Комков (8 июня 1955, Подольск, Московская область — \"1990-е годы\") — советский футболист, нападающий.", + "text": "Подольск — город в Московской области России. Образует административно-территориальную единицу (город областного значения с административной территорией) и одноимённое муниципальное образование со статусом городского округа. Расположен на реке Пахре (приток Москвы-реки). Один из крупнейших городов-спутников Москвы (второй после Балашихи). До 2015 года также являлся административным центром Подольского района, ныне упразднённого.\n\nМестное самоуправление.\nПредседатель городского Совета депутатов (в настоящее время им является Дмитрий Николаевич Машков) и заместитель председателя городского Совета депутатов (Геннадий Николаевич Хрячков) избираются из числа депутатов в порядке, установленном Регламентом городского Совета депутатов, и работают на постоянной основе. В сквере перед зданием Администрации. Глава города является высшим должностным лицом города Подольска, избираемым гражданами, проживающими на территории города и обладающими избирательным правом, на основании всеобщего, равного и прямого избирательного права при тайном голосовании сроком на 5 лет. В настоящее время главой города является Николай Пестов. Глава города подконтролен и подотчётен населению и городскому Совету депутатов. Администрация города является юридическим лицом и осуществляет исполнительно-распорядительные функции." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1114, + "segment": "Николай Пестов" + } + ], + "meta": { + "id": 492, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 41, + "segment": "Подольск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Владимир Алексеевич Комков (8 июня 1955, Подольск, Московская область — \"1990-е годы\") — советский футболист, нападающий.\nТекст 2: Подольск — город в Московской области России. Образует административно-территориальную единицу (город областного значения с административной территорией) и одноимённое муниципальное образование со статусом городского округа. Расположен на реке Пахре (приток Москвы-реки). Один из крупнейших городов-спутников Москвы (второй после Балашихи). До 2015 года также являлся административным центром Подольского района, ныне упразднённого.\n\nМестное самоуправление.\nПредседатель городского Совета депутатов (в настоящее время им является Дмитрий Николаевич Машков) и заместитель председателя городского Совета депутатов (Геннадий Николаевич Хрячков) избираются из числа депутатов в порядке, установленном Регламентом городского Совета депутатов, и работают на постоянной основе. В сквере перед зданием Администрации. Глава города является высшим должностным лицом города Подольска, избираемым гражданами, проживающими на территории города и обладающими избирательным правом, на основании всеобщего, равного и прямого избирательного права при тайном голосовании сроком на 5 лет. В настоящее время главой города является Николай Пестов. Глава города подконтролен и подотчётен населению и городскому Совету депутатов. Администрация города является юридическим лицом и осуществляет исполнительно-распорядительные функции.\nВопрос: Кто является главой администрации в городе, где родился Владимир Алексеевич Комков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 339, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Евгений Тефтелев является главой администрации в городе Челябинск, где родился Марат Зиннурович Зарипов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Марат Зиннурович Зарипов?", + "support_text": "Марат Зиннурович Зарипов (род. 6 февраля 1990, Челябинск, СССР) — российский профессиональный хоккеист.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 946, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 946, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 516, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 47, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Марат Зиннурович Зарипов (род. 6 февраля 1990, Челябинск, СССР) — российский профессиональный хоккеист.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Марат Зиннурович Зарипов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 321, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.052631578947368425, + "em": 0 + }, + "predict": " С рекой Мезень сливается река, в которую впадает Визеньга. \n\nОбъяснение: В тексте 2 упоминается, что Кыма — это правый приток реки Мезени. В тексте 1 указано, что Визеньга и Большая Визеньга впадают в реку Кыма. Таким образом,", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Визеньга?", + "support_text": "Визеньга, Большая Визеньга — река в России, протекает по Архангельской области. Устье реки находится в 11 км по левому берегу реки Кыма. Длина реки составляет 48 км. Правый приток — Малая Визеньга.", + "text": "Кыма (Кымь) — река в Архангельской области России, правый приток Мезени. Устье реки находится в 315 км по правому берегу реки Мезень. Длина реки составляет 219 км, площадь водосборного бассейна — 2630 кв км.\n\nБассейн реки Мезень.\n" + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 126, + "segment": "Мезень" + }, + { + "label": "passage", + "length": 6, + "offset": 65, + "segment": "Мезени" + } + ], + "meta": { + "id": 703, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 131, + "segment": "Кыма" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Визеньга?\nТекст 1: Визеньга, Большая Визеньга — река в России, протекает по Архангельской области. Устье реки находится в 11 км по левому берегу реки Кыма. Длина реки составляет 48 км. Правый приток — Малая Визеньга.\nТекст 2: Кыма (Кымь) — река в Архангельской области России, правый приток Мезени. Устье реки находится в 315 км по правому берегу реки Мезень. Длина реки составляет 219 км, площадь водосборного бассейна — 2630 кв км.\n\nБассейн реки Мезень.\n<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательный орган города, где умер Юрий Александрович Марченков, — это Нижегородская Городская Дума.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Юрий Александрович Марченков?", + "support_text": "Юрий Александрович Марченков (10 марта 1940 года, г. Пушкино Московской области, — 7 октября 2006 года, г. Нижний Новгород) — советский партийный деятель, председатель Горьковского горисполкома в 1985—1988 годах. Почётный гражданин Нижегородской области. Доктор экономических наук, автор около 30 научных работ и статей, действительный член РАЕН.\n\nБиография.\nНа посту главы города в 1985—1987 годах занимался в первую очередь проблемами жилищного строительства, городского электротранспорта и т. д. Занимался также организацией постоянно действующих колхозных ярмарок на рынках города. В июне 1987 года его полномочия были подтверждены сессией народных депутатов нового созыва. В СССР в это время была объявлена перестройка. В Горьком возникло движение за возвращение городу исторического наименования Нижний Новгород. 10 декабря 1987 года Ю. А. Марченков вынес этот вопрос на рассмотрение сессии Горсовет. При этом сам председатель Горисполкома считал переименование нецелесообразным в связи с большими финансовыми расходами, необходимыми для его реализации, а также утверждая, что молодые горьковчане выступают против старого названия. Это мнение, однако, не остановило общественных движений за переименование, и позже городу было возвращено старое имя, правда уже при другом главе: 10 декабря 1988 года Ю. А. Марченков освободил своё кресло, чтобы перейти на должность первого секретаря городского комитета партии.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 70, + "offset": 1011, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 35, + "offset": 1046, + "segment": "правительства Нижегородской области" + }, + { + "label": "passage", + "length": 14, + "offset": 1011, + "segment": "Городская дума" + } + ], + "meta": { + "id": 789, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 107, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Юрий Александрович Марченков (10 марта 1940 года, г. Пушкино Московской области, — 7 октября 2006 года, г. Нижний Новгород) — советский партийный деятель, председатель Горьковского горисполкома в 1985—1988 годах. Почётный гражданин Нижегородской области. Доктор экономических наук, автор около 30 научных работ и статей, действительный член РАЕН.\n\nБиография.\nНа посту главы города в 1985—1987 годах занимался в первую очередь проблемами жилищного строительства, городского электротранспорта и т. д. Занимался также организацией постоянно действующих колхозных ярмарок на рынках города. В июне 1987 года его полномочия были подтверждены сессией народных депутатов нового созыва. В СССР в это время была объявлена перестройка. В Горьком возникло движение за возвращение городу исторического наименования Нижний Новгород. 10 декабря 1987 года Ю. А. Марченков вынес этот вопрос на рассмотрение сессии Горсовет. При этом сам председатель Горисполкома считал переименование нецелесообразным в связи с большими финансовыми расходами, необходимыми для его реализации, а также утверждая, что молодые горьковчане выступают против старого названия. Это мнение, однако, не остановило общественных движений за переименование, и позже городу было возвращено старое имя, правда уже при другом главе: 10 декабря 1988 года Ю. А. Марченков освободил своё кресло, чтобы перейти на должность первого секретаря городского комитета партии.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nВопрос: Как называется законодательный орган города, где умер Юрий Александрович Марченков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 615, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Император Всероссийский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимал глава государства в стране, гражданином которой был Георгий Ивашкевич?", + "support_text": "Георгий Ивашкевич ( 19 апреля 1819 — 28 декабря 1875) — российский католический деятель, Апостольский администратор Могилёвской митрополии в 1871—1872 годах.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II." + }, + "outputs": [ + { + "label": "answer", + "length": 25, + "offset": 477, + "segment": "Императора Всероссийского" + }, + { + "label": "passage", + "length": 23, + "offset": 739, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 968, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 57, + "segment": "российский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Георгий Ивашкевич ( 19 апреля 1819 — 28 декабря 1875) — российский католический деятель, Апостольский администратор Могилёвской митрополии в 1871—1872 годах.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года). Империя была провозглашена года по итогам Северной войны, когда по прошению сенаторов Государь, Царь и Великий Князь всея Руси Пётр I принял титулы Императора Всероссийского и Отца Отечества. Столицей Российской империи с 1721 по 1728 и с 1730 по 1917 годы был Санкт-Петербург (в 1914—1917 годах Петроград), а в 1728—1730 годах — Москва.\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины. Последним императором был Николай II.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимал глава государства в стране, гражданином которой был Георгий Ивашкевич? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 373, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Нерута.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Косшор?", + "support_text": "Косшор — река в России, протекает по Ненецкому автономному округу. Вытекает из озера \"Дияты\". Устье реки находится в 80 км от устья реки Нерута по правому берегу. Длина реки составляет 11 км.", + "text": "Нерута (\"устар.\" Нерута-Ю, Нерут) — река в Ненецком автономном округе России. Впадает в Болванскую губу Печорской губы Баренцева моря. Длина реки составляет 107 км. (с рекой Нерутавож — 127 км), площадь водосборного бассейна — 1250 кв км. В верхнем течении, справа на 97 километре от устья, впадает её более длинный приток — река Нерутавож. Ниже впадают притоки: Нерута-Рассоха (слева), Косшор, Арвисъю (справа), Нарою, Куимвиска (слева)." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 88, + "segment": "Болванскую губу" + } + ], + "meta": { + "id": 12, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 137, + "segment": "Нерута" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Косшор — река в России, протекает по Ненецкому автономному округу. Вытекает из озера \"Дияты\". Устье реки находится в 80 км от устья реки Нерута по правому берегу. Длина реки составляет 11 км.\nТекст 2: Нерута (\"устар.\" Нерута-Ю, Нерут) — река в Ненецком автономном округе России. Впадает в Болванскую губу Печорской губы Баренцева моря. Длина реки составляет 107 км. (с рекой Нерутавож — 127 км), площадь водосборного бассейна — 1250 кв км. В верхнем течении, справа на 97 километре от устья, впадает её более длинный приток — река Нерутавож. Ниже впадают притоки: Нерута-Рассоха (слева), Косшор, Арвисъю (справа), Нарою, Куимвиска (слева).\nВопрос: В какую реку впадает река, притоком которой является Косшор?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2222222222222222, + "em": 0 + }, + "predict": " В реку Чермасан, который является притоком реки Белой.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Киязы?", + "support_text": "Киязы — река в России, протекает по Буздякскому району Башкортостана. Устье реки находится на 104-м км левого берега реки Чермасан. Длина реки составляет 33 км. Площадь водосборного бассейна 231 кв км.", + "text": "Бассейн Белой. Чермасан — река в Башкортостане (Россия), левый приток реки Белой. Длина реки — 186 км, площадь водосборного бассейна — 3970 кв км. Река замерзает в ноябре, вскрывается в апреле. Исток Чермасана находится на Бугульминско-Белебеевской возвышенности.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Белая от города Уфы до города Бирска, речной подбассейн реки — Белая. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 8, + "segment": "Белой" + }, + { + "label": "passage", + "length": 5, + "offset": 8, + "segment": "Белую" + } + ], + "meta": { + "id": 841, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 122, + "segment": "Чермасан" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Киязы — река в России, протекает по Буздякскому району Башкортостана. Устье реки находится на 104-м км левого берега реки Чермасан. Длина реки составляет 33 км. Площадь водосборного бассейна 231 кв км.\nТекст 2: Бассейн Белой. Чермасан — река в Башкортостане (Россия), левый приток реки Белой. Длина реки — 186 км, площадь водосборного бассейна — 3970 кв км. Река замерзает в ноябре, вскрывается в апреле. Исток Чермасана находится на Бугульминско-Белебеевской возвышенности.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Белая от города Уфы до города Бирска, речной подбассейн реки — Белая. Речной бассейн реки — Кама.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Киязы?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская дума Нижегородской области", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Виктор Алексеевич Сафронов?", + "support_text": "Виктор Алексеевич Сафронов (род. 1932) — советский и российский художник-живописец. Член СХ СССР (1968). Почётный член РАХ (2016). Лауреат Государственной премии РСФСР имени И. Е. Репина (1975).\n\nБиография.\nРодился 25 января 1932 года в городе Нижний Новгород Нижегородского края. С 1948 по 1953 годы обучался в Горьковском художественном училище. Основной тематикой в художественном творчестве В. А. Сафронова была Великая Отечественная война.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1311, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1311, + "segment": "Городская дума" + } + ], + "meta": { + "id": 650, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 247, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Виктор Алексеевич Сафронов (род. 1932) — советский и российский художник-живописец. Член СХ СССР (1968). Почётный член РАХ (2016). Лауреат Государственной премии РСФСР имени И. Е. Репина (1975).\n\nБиография.\nРодился 25 января 1932 года в городе Нижний Новгород Нижегородского края. С 1948 по 1953 годы обучался в Горьковском художественном училище. Основной тематикой в художественном творчестве В. А. Сафронова была Великая Отечественная война.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Виктор Алексеевич Сафронов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.12903225806451613, + "em": 0 + }, + "predict": " Валерий Эдмундович Берлин родился в городе Тула, который является административным центром Тульской области и городского округа город Тула. В настоящее время главой администрации в городе Тула является Юрий Цкипури.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валерий Эдмундович Берлин?", + "support_text": "Валерий Эдмундович Берлин (род. 23 мая 1944, Тула, СССР) — советский и российский поэт, краевед, эколог, издатель и редактор историко-краеведческого альманаха \"Живая Арктика\", действительный член Русского географического общества.\n\nБиография.\nВалерий Берлин родился в 1944 году в Туле. В 1972 году окончил вечернее отделение Белорусского государственного университета по специальности \"Ядерная электроника\". В 1976 году переехал на Кольский полуостров и спустя год организовал метеостанцию 3‑го разряда \"Чунозеро\" в Лапландском биосферном заповеднике, в котором проработал 16 лет, основав при нём дом-музей Германа Крепса и квартиру-музей Олега Семёнова‑Тян‑Шанского. В 1981 году выпустил первый сборник своих стихов — \"Заповедник\".", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 647, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 485, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 45, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Валерий Эдмундович Берлин?\nТекст 1: Валерий Эдмундович Берлин (род. 23 мая 1944, Тула, СССР) — советский и российский поэт, краевед, эколог, издатель и редактор историко-краеведческого альманаха \"Живая Арктика\", действительный член Русского географического общества.\n\nБиография.\nВалерий Берлин родился в 1944 году в Туле. В 1972 году окончил вечернее отделение Белорусского государственного университета по специальности \"Ядерная электроника\". В 1976 году переехал на Кольский полуостров и спустя год организовал метеостанцию 3‑го разряда \"Чунозеро\" в Лапландском биосферном заповеднике, в котором проработал 16 лет, основав при нём дом-музей Германа Крепса и квартиру-музей Олега Семёнова‑Тян‑Шанского. В 1981 году выпустил первый сборник своих стихов — \"Заповедник\".\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.8, + "em": 0 + }, + "predict": " Городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Владислав Григорьевич Немешкало?", + "support_text": "Владислав (в ряде источников — Вадим) Григорьевич Немешкало (3 апреля 1970, Горловка, Украинская ССР, СССР) — советский и молдавский футболист, нападающий. Начал заниматься футболом в специализированной ДЮСШ Полтавы, в 1986 дебютировал в соревнованиях КФК в составе \"Ворсклы\". В 1987 играл во второй лиге за \"Ворсклу\" и \"Динамо\" Ирпень. Закончил киевский интернат, играл в дубле \"Динамо\" Киев, киевском ЦСКА.", + "text": "Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 303, + "segment": "Горловский городской совет" + } + ], + "meta": { + "id": 298, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 76, + "segment": "Горловка" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Владислав (в ряде источников — Вадим) Григорьевич Немешкало (3 апреля 1970, Горловка, Украинская ССР, СССР) — советский и молдавский футболист, нападающий. Начал заниматься футболом в специализированной ДЮСШ Полтавы, в 1986 дебютировал в соревнованиях КФК в составе \"Ворсклы\". В 1987 играл во второй лиге за \"Ворсклу\" и \"Динамо\" Ирпень. Закончил киевский интернат, играл в дубле \"Динамо\" Киев, киевском ЦСКА.\nТекст 2: Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\n# Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Владислав Григорьевич Немешкало? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 287, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ендырь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Майпанъёх?", + "support_text": "Майпанъёх (\"устар.\" Майпан-Ех) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 148 км по левому берегу реки Ендырь. Длина реки составляет 12 км.", + "text": "Ендырь — река в России, протекает в Ханты-Мансийском автономном округе. Устье реки находится на 17 км от устья по левому берегу Могилевской протоки Оби.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения Иртыша до впадения реки Северная Сосьва, речной подбассейн реки — бассейны притока Оби от Иртыша до впадения Северной Сосьвы. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша. Код объекта в государственном водном реестре — 15020100112115300018996." + }, + "outputs": [ + { + "label": "answer", + "length": 23, + "offset": 128, + "segment": "Могилевской протоки Оби" + } + ], + "meta": { + "id": 836, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 135, + "segment": "Ендырь" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Майпанъёх (\"устар.\" Майпан-Ех) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 148 км по левому берегу реки Ендырь. Длина реки составляет 12 км.\nТекст 2: Ендырь — река в России, протекает в Ханты-Мансийском автономном округе. Устье реки находится на 17 км от устья по левому берегу Могилевской протоки Оби.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения Иртыша до впадения реки Северная Сосьва, речной подбассейн реки — бассейны притока Оби от Иртыша до впадения Северной Сосьвы. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша. Код объекта в государственном водном реестре — 15020100112115300018996.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Майпанъёх? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Лемзер питается от реки, притоком которой является река Северный Кондас.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Лемзер?", + "support_text": "Лемзер — река в России, протекает в Пермском крае. Устье реки находится в 1,7 км по правому берегу реки Северный Кондас. Длина реки составляет 17 км.", + "text": "Северный Кондас — река в России, протекает в Усольском районе Пермского края. Правая составляющая реки Кондас (левая — Сирья). Длина реки составляет 31 км. Река образуется слиянием двух рек — Гали (левая составляющая) и Гижги (правая составляющая). Слияние рек находится у деревни Трезубы." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 9, + "segment": "Кондас" + } + ], + "meta": { + "id": 751, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 104, + "segment": "Северный Кондас" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Лемзер — река в России, протекает в Пермском крае. Устье реки находится в 1,7 км по правому берегу реки Северный Кондас. Длина реки составляет 17 км.\nТекст 2: Северный Кондас — река в России, протекает в Усольском районе Пермского края. Правая составляющая реки Кондас (левая — Сирья). Длина реки составляет 31 км. Река образуется слиянием двух рек — Гали (левая составляющая) и Гижги (правая составляющая). Слияние рек находится у деревни Трезубы.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Лемзер?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 166, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава администрации в городе, где родился Антоний Марцельевич Ходурский, — это Роберт Чхаидзе. Он занимал должность главы администрации Батуми с 2007 по 2012 год.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Антоний Марцельевич Ходурский?", + "support_text": "Антоний Марцельевич Ходурский (1903—1972) — советский актёр театра и кино.\n\nБиография.\nРодился 3 октября 1903 года в Батуми. Его отец — Марцелий Каликстович, поляк по национальности, работал слесарем и машинистом на пароходе в Каспийском и Черноморском торговом флоте. Мать — Александра Тимофеевна, была домашней хозяйкой.", + "text": "Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария.\n\nОрганы власти.\nЧхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 271, + "segment": "Лаша Комахидзе" + } + ], + "meta": { + "id": 474, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 120, + "segment": "Батуми" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Антоний Марцельевич Ходурский?\nТекст 1: Антоний Марцельевич Ходурский (1903—1972) — советский актёр театра и кино.\n\nБиография.\nРодился 3 октября 1903 года в Батуми. Его отец — Марцелий Каликстович, поляк по национальности, работал слесарем и машинистом на пароходе в Каспийском и Черноморском торговом флоте. Мать — Александра Тимофеевна, была домашней хозяйкой.\nТекст 2: Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария.\n\nОрганы власти.\nЧхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, питающаяся от реки, притоком которой является Средняя Юрма, называется Большая Юрма.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Средняя Юрма?", + "support_text": "Средняя Юрма — река в России, протекает в Томской области. Устье реки находится в 72 км по правому берегу реки Юрма (Большая Юрма). Длина реки составляет 35 км.", + "text": "Юрма (Большая Юрма) — река в России, протекает в Томской области. Устье реки находится в 46 км по левому берегу реки Пайдугина. Длина реки составляет 83 км, площадь водосборного бассейна 879 кв км. Притоки: Малая Юрма и Средняя Юрма." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 117, + "segment": "Пайдугина" + } + ], + "meta": { + "id": 97, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 117, + "segment": "Большая Юрма" + }, + { + "label": "passage", + "length": 4, + "offset": 111, + "segment": "Юрма" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Средняя Юрма?\nТекст 1: Средняя Юрма — река в России, протекает в Томской области. Устье реки находится в 72 км по правому берегу реки Юрма (Большая Юрма). Длина реки составляет 35 км.\nТекст 2: Юрма (Большая Юрма) — река в России, протекает в Томской области. Устье реки находится в 46 км по левому берегу реки Пайдугина. Длина реки составляет 83 км, площадь водосборного бассейна 879 кв км. Притоки: Малая Юрма и Средняя Юрма.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 166, + "generated_len": [ + 44 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Яныг-Инквор.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Яныг-Инквор?", + "support_text": "Яныг-Инквор (\"устар.\" Яны-Инк-Вор) — река в Ханты-Мансийском автономном округе России. Устье реки находится в 79 км по правому берегу реки Воръя. Длина реки составляет 36 км.", + "text": "Воръя (устар. \"Вор-Я\") — река в Берёзовском и Советском районах Ханты-Мансийского автономного округа. Устье находится в 55 км по правому берегу реки Тапсуй. Длина реки 164 км.\n\nСсылки.\n\"По реке Тапсуй. К отшельникам на Ворье\" на сайте \"Скиталец\"." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 149, + "segment": "Тапсуй" + } + ], + "meta": { + "id": 435, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 139, + "segment": "Воръя" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Яныг-Инквор?\nТекст 1: Яныг-Инквор (\"устар.\" Яны-Инк-Вор) — река в Ханты-Мансийском автономном округе России. Устье реки находится в 79 км по правому берегу реки Воръя. Длина реки составляет 36 км.\nТекст 2: Воръя (устар. \"Вор-Я\") — река в Берёзовском и Советском районах Ханты-Мансийского автономного округа. Устье находится в 55 км по правому берегу реки Тапсуй. Длина реки 164 км.\n\nСсылки.\n\"По реке Тапсуй. К отшельникам на Ворье\" на сайте \"Скиталец\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Донецкий областной совет работает в городе, где родился Артём Анатольевич Клименко, который родился в Мариуполе, Украине.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Артём Анатольевич Клименко?", + "support_text": "Артём Анатольевич Клименко (род. Мариуполь, Украина) — российский профессиональный баскетболист, играющий на позиции центрового. Выступает за баскетбольный клуб УНИКС.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nТаганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовета" + }, + { + "label": "passage", + "length": 9, + "offset": 257, + "segment": "горсовет" + } + ], + "meta": { + "id": 295, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 33, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Артём Анатольевич Клименко (род. Мариуполь, Украина) — российский профессиональный баскетболист, играющий на позиции центрового. Выступает за баскетбольный клуб УНИКС.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации. Численность наличного населения города на 1 января 2019 года составляет 440 367; в рамках горсовета (с учётом посёлков городского типа Старый Крым, Сартана, Талаковка, сёл Гнутово, Виноградное и посёлка Ломакино, подчинённых горсовету) — 460 563 человек. С середины 2014 — место пребывания Донецкого областного совета. Один из важнейших центров украинской металлургии и крупный морской порт.\n\nГорода-побратимы.\nТаганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.\nВопрос: Что за законодательный орган работает в городе, где родился Артём Анатольевич Клименко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 319, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Собтыёган.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Пильёган?", + "support_text": "Пильёган (устар. \"Пиль-Юган\") — река в Приуральском районе Ямало-Ненецкого автономного округа. Устье реки находится на 177-м км правого берега реки Собтыёган. Длина реки составляет 30 км.", + "text": "Собтыёган — река в России, протекает по территории Приуральского района Ямало-Ненецкого автономного округа. Впадает в районе посёлка Пельвож двумя протоками в протоку Игорской Оби Большой Харпосл. Также, выше по течению, в районе сезонного озера Большой Собтыёганский сор впадает в Игорскую Обь протокой Послтай (Кутаппосл). Длина реки составляет 234 км, площадь водосборного бассейна 3760 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения реки Северная Сосьва до города Салехард, речной подбассейн реки — бассейны притоков Оби ниже впадения Северной Сосьвы. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша. Код объекта в государственном водном реестре — 15020300112115300032088." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 180, + "segment": "Большой Харпосл" + } + ], + "meta": { + "id": 868, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 148, + "segment": "Собтыёган" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пильёган (устар. \"Пиль-Юган\") — река в Приуральском районе Ямало-Ненецкого автономного округа. Устье реки находится на 177-м км правого берега реки Собтыёган. Длина реки составляет 30 км.\nТекст 2: Собтыёган — река в России, протекает по территории Приуральского района Ямало-Ненецкого автономного округа. Впадает в районе посёлка Пельвож двумя протоками в протоку Игорской Оби Большой Харпосл. Также, выше по течению, в районе сезонного озера Большой Собтыёганский сор впадает в Игорскую Обь протокой Послтай (Кутаппосл). Длина реки составляет 234 км, площадь водосборного бассейна 3760 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Обь от впадения реки Северная Сосьва до города Салехард, речной подбассейн реки — бассейны притоков Оби ниже впадения Северной Сосьвы. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша. Код объекта в государственном водном реестре — 15020300112115300032088.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Пильёган? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Руслан Николаевич Кухарук", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Ильнур Туфикович Альшин?", + "support_text": "Ильнур Туфикович Альшин (31 августа 1993, Тюмень, Россия) — российский футболист, полузащитник клуба \"Балтика\".\n\nБиография.\nФутболом начал заниматься в 9 лет в школе \"Тюмень-СДЮШОР-92\", первый тренер — Виктор Николаевич Княжев. В 14 лет уехал в Новороссийск, где обучался в \"Школе бразильского футбола в России\" (2006—2010), был в Бразилии на стажировке. В 2010 провёл 16 матчей во втором дивизионе за \"Нару-ШБФР\" Наро-Фоминск.", + "text": "Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре. Образует муниципальное образование \"город Тюмень\" со статусом городского округа как единственный населённый пункт в его составе. Первый русский острог в Сибири.\n\nАдминистративное деление.\nОрганы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 582, + "segment": "Руслан Николаевич Кухарук" + } + ], + "meta": { + "id": 509, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 42, + "segment": "Тюмень" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ильнур Туфикович Альшин (31 августа 1993, Тюмень, Россия) — российский футболист, полузащитник клуба \"Балтика\".\n\nБиография.\nФутболом начал заниматься в 9 лет в школе \"Тюмень-СДЮШОР-92\", первый тренер — Виктор Николаевич Княжев. В 14 лет уехал в Новороссийск, где обучался в \"Школе бразильского футбола в России\" (2006—2010), был в Бразилии на стажировке. В 2010 провёл 16 матчей во втором дивизионе за \"Нару-ШБФР\" Наро-Фоминск.\nТекст 2: Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре. Образует муниципальное образование \"город Тюмень\" со статусом городского округа как единственный населённый пункт в его составе. Первый русский острог в Сибири.\n\nАдминистративное деление.\nОрганы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Ильнур Туфикович Альшин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 355, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ока", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Гжелка?", + "support_text": "Гжелка — река в Раменском районе Московской области России, левый приток Москвы-реки. Длина — 32 км (по другим данным — 30 км), площадь водосборного бассейна — 443 кв км. Равнинного типа. Питание преимущественно снеговое. Среднее течение превращено в каскад больших прудов рыбного хозяйства \"Гжелка\", по соседству со станцией Гжель на месте давно вырубленных боров лежит сплошная полоса населённых пунктов, в которых производится знаменитая гжельская керамика. В нижнем течении река спрямлена каналом; по берегам находятся сельскохозяйственные земли совхоза \"Раменский\". По данным государственного водного реестра России, относится к Окскому бассейновому округу. Речной бассейн — Ока, речной подбассейн — бассейны притоков Оки до впадения Мокши, водохозяйственный участок — Москва от водомерного поста в деревне Заозерье до города Коломны.", + "text": "Москва (обычно Москва-река, в московском произношении с XIX века — \"Москварека\", первая часть в разговорной речи часто не склоняется: \"на Москва-реке\") — средняя река в Центральной России, в Московской области, Москве и, на небольшом протяжении, в Смоленской области, левый приток Оки (бассейн Волги). Длина в пределах Московской области 473 км, традиционно упоминается также 502 км (см. неоднозначность с истоком ), площадь бассейна — 17 600 кв км. Река начинается на склоне Смоленско-Московской возвышенности и впадает в Оку на территории Коломны. Общее падение от истока до устья составляет 155,5 м. Крупнейшие притоки — Руза (левый), Пахра (правый) и Истра (левый)." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 281, + "segment": "Оки" + }, + { + "label": "passage", + "length": 3, + "offset": 281, + "segment": "Оку" + } + ], + "meta": { + "id": 11, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 73, + "segment": "Москвы-реки" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Гжелка — река в Раменском районе Московской области России, левый приток Москвы-реки. Длина — 32 км (по другим данным — 30 км), площадь водосборного бассейна — 443 кв км. Равнинного типа. Питание преимущественно снеговое. Среднее течение превращено в каскад больших прудов рыбного хозяйства \"Гжелка\", по соседству со станцией Гжель на месте давно вырубленных боров лежит сплошная полоса населённых пунктов, в которых производится знаменитая гжельская керамика. В нижнем течении река спрямлена каналом; по берегам находятся сельскохозяйственные земли совхоза \"Раменский\". По данным государственного водного реестра России, относится к Окскому бассейновому округу. Речной бассейн — Ока, речной подбассейн — бассейны притоков Оки до впадения Мокши, водохозяйственный участок — Москва от водомерного поста в деревне Заозерье до города Коломны.\nТекст 2: Москва (обычно Москва-река, в московском произношении с XIX века — \"Москварека\", первая часть в разговорной речи часто не склоняется: \"на Москва-реке\") — средняя река в Центральной России, в Московской области, Москве и, на небольшом протяжении, в Смоленской области, левый приток Оки (бассейн Волги). Длина в пределах Московской области 473 км, традиционно упоминается также 502 км (см. неоднозначность с истоком ), площадь бассейна — 17 600 кв км. Река начинается на склоне Смоленско-Московской возвышенности и впадает в Оку на территории Коломны. Общее падение от истока до устья составляет 155,5 м. Крупнейшие притоки — Руза (левый), Пахра (правый) и Истра (левый).\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Гжелка? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Вятка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Пыжманка?", + "support_text": "Пыжманка (\"устар.\" Пыжман) — река в России, протекает в Кизнерском районе Удмуртской Республики и Вятскополянском районе Кировской области. Левый приток Вятки (бассейн Волги). Длина реки составляет 49 км.\n\nГеография.\nТечёт по восточной окраине города Сосновка, на левом берегу деревни Пыжман-Завод и Красная Горка. Впадает в Вятку в 86 км от устья последней. По данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от города Вятские Поляны и до устья, речной подбассейн реки — Вятка. Речной бассейн реки — Кама.", + "text": "Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км. От реки происходит предыдущее название столицы Кировской области — город Вятка.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Камы" + }, + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Каму" + } + ], + "meta": { + "id": 349, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 153, + "segment": "Вятки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Пыжманка?\nТекст 1: Пыжманка (\"устар.\" Пыжман) — река в России, протекает в Кизнерском районе Удмуртской Республики и Вятскополянском районе Кировской области. Левый приток Вятки (бассейн Волги). Длина реки составляет 49 км.\n\nГеография.\nТечёт по восточной окраине города Сосновка, на левом берегу деревни Пыжман-Завод и Красная Горка. Впадает в Вятку в 86 км от устья последней. По данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от города Вятские Поляны и до устья, речной подбассейн реки — Вятка. Речной бассейн реки — Кама.\nТекст 2: Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км. От реки происходит предыдущее название столицы Кировской области — город Вятка.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 340, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская дума Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Валерий Борисович Зыков?", + "support_text": "Валерий Борисович Зыков (24 февраля 1944, Горький) — советский футболист, защитник. Воспитанник юношеских команд горьковских клубов \"Локомотив\" и \"Трудовые резервы\". Первый тренер — Лев Новиков.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1311, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1311, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 1026, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 42, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Валерий Борисович Зыков (24 февраля 1944, Горький) — советский футболист, защитник. Воспитанник юношеских команд горьковских клубов \"Локомотив\" и \"Трудовые резервы\". Первый тренер — Лев Новиков.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Валерий Борисович Зыков? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Игорь Георгиевич Артамонов", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Валентин Владимирович Артёмов?", + "support_text": "Валентин Владимирович Артёмов (1928—1980) — крупный хозяйственный руководитель и организатор строительного комплекса Липецкой области, заслуженный строитель РСФСР.\n\nБиография.\nВ. В. Артёмов — уроженец Липецкой области. В 1949 году окончил Липецкий горно-металлургический техникум и направлен на работу в Оренбург. Работал мастером, прорабом, начальником ремонтно-строительного цеха.", + "text": "Липецкая область — субъект в составе Российской Федерации. Областной центр — город Липецк. Образована 6 января 1954 года из смежных районов Рязанской, Воронежской, Курской и Орловской областей. Площадь — кв км. По этому показателю область занимает место в России и последнее среди пяти регионов Центрально-Чернозёмного экономического района.\n\nРуководители Липецкой области.\n1993—1998 — Наролин, Михаил Тихонович. 1998—2018 — Королёв, Олег Петрович. С 2018 — Артамонов, Игорь Георгиевич. Председатели Областного совета депутатов (1993—2005 — Областного собрания депутатов)." + }, + "outputs": [ + { + "label": "answer", + "length": 27, + "offset": 463, + "segment": "Артамонов, Игорь Георгиевич" + }, + { + "label": "answer", + "length": 27, + "offset": 463, + "segment": "Игорь Георгиевич Артамонов" + } + ], + "meta": { + "id": 931, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 117, + "segment": "Липецкой области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Валентин Владимирович Артёмов (1928—1980) — крупный хозяйственный руководитель и организатор строительного комплекса Липецкой области, заслуженный строитель РСФСР.\n\nБиография.\nВ. В. Артёмов — уроженец Липецкой области. В 1949 году окончил Липецкий горно-металлургический техникум и направлен на работу в Оренбург. Работал мастером, прорабом, начальником ремонтно-строительного цеха.\nТекст 2: Липецкая область — субъект в составе Российской Федерации. Областной центр — город Липецк. Образована 6 января 1954 года из смежных районов Рязанской, Воронежской, Курской и Орловской областей. Площадь — кв км. По этому показателю область занимает место в России и последнее среди пяти регионов Центрально-Чернозёмного экономического района.\n\nРуководители Липецкой области.\n1993—1998 — Наролин, Михаил Тихонович. 1998—2018 — Королёв, Олег Петрович. С 2018 — Артамонов, Игорь Георгиевич. Председатели Областного совета депутатов (1993—2005 — Областного собрания депутатов).\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Валентин Владимирович Артёмов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 301, + "generated_len": [ + 26 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 0 + }, + "predict": " Юрий Анатольевич Громаковский", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Григорий Фёдорович Нагорный?", + "support_text": "Григорий Фёдорович Нагорный (05.12.1925, Брестская область — 03.11.1963, Брестская область) — советский военнослужащий, участник Великой Отечественной войны, полный кавалер ордена Славы, пулеметчик; заместитель командира стрелкового отделения 1350-го стрелкового полка 234-й стрелковой дивизии, красноармеец.\n\nБиография.\nС 1948 года работал учителем физкультуры в Даревской средней школе, председателем Даревского сельского Совета, налоговым инспектором в Ляховичском районном финансовом отделе. Указом Президиума Верховного Совета СССР от 19 августа 1955 года за образцовое выполнение заданий командования в боях с немецко-вражескими захватчиками Нагорный Григорий Фёдорович перенаграждён орденом Славы 1-й степени, став полным кавалером ордена Славы. С 1956 года Г. Ф. Нагорный жил в городе Барановичи Брестской области Белоруссии, работал шофёром на местной автобазе. Скончался 3 ноября 1963 года, на 38-м году жизни. Награждён орденами Славы 1-й, 2-й и 3-й степени, медалями.", + "text": "Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи. Музей истории железной дороги.\n\nПредседатели Барановичского горисполкома.\n04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 236, + "segment": "Громаковский, Юрий Анатольевич" + }, + { + "label": "passage", + "length": 30, + "offset": 236, + "segment": "Громаковский Юрий Анатольевич" + } + ], + "meta": { + "id": 231, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 796, + "segment": "Барановичи" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Григорий Фёдорович Нагорный (05.12.1925, Брестская область — 03.11.1963, Брестская область) — советский военнослужащий, участник Великой Отечественной войны, полный кавалер ордена Славы, пулеметчик; заместитель командира стрелкового отделения 1350-го стрелкового полка 234-й стрелковой дивизии, красноармеец.\n\nБиография.\nС 1948 года работал учителем физкультуры в Даревской средней школе, председателем Даревского сельского Совета, налоговым инспектором в Ляховичском районном финансовом отделе. Указом Президиума Верховного Совета СССР от 19 августа 1955 года за образцовое выполнение заданий командования в боях с немецко-вражескими захватчиками Нагорный Григорий Фёдорович перенаграждён орденом Славы 1-й степени, став полным кавалером ордена Славы. С 1956 года Г. Ф. Нагорный жил в городе Барановичи Брестской области Белоруссии, работал шофёром на местной автобазе. Скончался 3 ноября 1963 года, на 38-м году жизни. Награждён орденами Славы 1-й, 2-й и 3-й степени, медалями.\nТекст 2: Памятник паровозу Эм 710-30 возле ж/д вокзала Барановичи-Полесские. Барановичи. Музей истории железной дороги.\n\nПредседатели Барановичского горисполкома.\n04.2000 — 21.10.2013 — Дичковский, Виктор Иванович. 22.10.2013 — наст. Время — Громаковский, Юрий Анатольевич.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где умер Григорий Фёдорович Нагорный? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 408, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Мехди Толути, гражданин Ирана, является гражданином Исламской Республики Иран. В этой стране глава государства занимает должность Президента.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимает глава государства в стране, гражданином которой был Мехди Толути?", + "support_text": "Мехди Толути Бандпи — иранский боксёр, представитель лёгкой и первой полусредней весовых категорий. Выступал за национальную сборную Ирана по боксу в конце 2000-х — начале 2010-х годов, победитель турниров национального и международного значения, участник летних Олимпийских игр в Лондоне.\n\nБиография.\nМехди Толути родился 9 апреля 1985 года в городе Бабольсер провинции Мазендеран, Иран. Впервые заявил о себе в боксе в сезоне 2008 года, выиграв чемпионат Ирана в зачёте лёгкой весовой категории. Попав в состав иранской национальной сборной, выступил на международном турнире Ахмет Джёмерт в Стамбуле, где на стадии четвертьфиналов был остановлен алжирцем Хамзой Краму.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран.\n\nГосударственное устройство.\nВысший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 199, + "segment": "Высший руководитель" + }, + { + "label": "passage", + "length": 20, + "offset": 469, + "segment": "Высшего руководителя" + } + ], + "meta": { + "id": 692, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 22, + "segment": "иранский" + }, + { + "label": "passage", + "length": 5, + "offset": 133, + "segment": "Ирана" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Мехди Толути Бандпи — иранский боксёр, представитель лёгкой и первой полусредней весовых категорий. Выступал за национальную сборную Ирана по боксу в конце 2000-х — начале 2010-х годов, победитель турниров национального и международного значения, участник летних Олимпийских игр в Лондоне.\n\nБиография.\nМехди Толути родился 9 апреля 1985 года в городе Бабольсер провинции Мазендеран, Иран. Впервые заявил о себе в боксе в сезоне 2008 года, выиграв чемпионат Ирана в зачёте лёгкой весовой категории. Попав в состав иранской национальной сборной, выступил на международном турнире Ахмет Джёмерт в Стамбуле, где на стадии четвертьфиналов был остановлен алжирцем Хамзой Краму.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран.\n\nГосударственное устройство.\nВысший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок.\nВопрос: Какую должность занимает глава государства в стране, гражданином которой был Мехди Толути?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Варсынгъёхан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Варсынгъёхан?", + "support_text": "Варсынгъёхан (\"устар.\" Ворсын-Юган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 23 км по левому берегу реки Хоръёхан. Длина реки составляет 45 км.", + "text": "Хоръёхан (\"устар.\" Хурь-Юган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 37 км по левому берегу реки Куръёх. Длина реки составляет 76 км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 133, + "segment": "Куръёх" + } + ], + "meta": { + "id": 409, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 139, + "segment": "Хоръёхан" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Варсынгъёхан?\nТекст 1: Варсынгъёхан (\"устар.\" Ворсын-Юган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 23 км по левому берегу реки Хоръёхан. Длина реки составляет 45 км.\nТекст 2: Хоръёхан (\"устар.\" Хурь-Юган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 37 км по левому берегу реки Куръёх. Длина реки составляет 76 км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Вяткой сливается река, в которую впадает Юртик. В тексте 1 указано, что устье Юртика находится в 289 км по левому берегу реки Вятки.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Юртик?", + "support_text": "Юртик — река в России, протекает, главным образом, в Нолинском районе Кировской области, на последнем километре течения образует границу между Нолинским и Уржумским районами. Устье реки находится в 289 км по левому берегу реки Вятки.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от города Котельнич до водомерного поста посёлка городского типа Аркуль, речной подбассейн реки — Вятка. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.", + "text": "Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км. От реки происходит предыдущее название столицы Кировской области — город Вятка.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря. Высота устья — 53,1 м над уровнем моря. Для Вятки характерны резкие изменения направления течения (с севера на юго-запад, а затем на юго-восток) и большая извилистость на всём протяжении." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 412, + "segment": "Каму" + }, + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Камы" + }, + { + "label": "passage", + "length": 4, + "offset": 412, + "segment": "Кама" + } + ], + "meta": { + "id": 1036, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 227, + "segment": "Вятки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Юртик?\nТекст 1: Юртик — река в России, протекает, главным образом, в Нолинском районе Кировской области, на последнем километре течения образует границу между Нолинским и Уржумским районами. Устье реки находится в 289 км по левому берегу реки Вятки.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от города Котельнич до водомерного поста посёлка городского типа Аркуль, речной подбассейн реки — Вятка. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.\nТекст 2: Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км. От реки происходит предыдущее название столицы Кировской области — город Вятка.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря. Высота устья — 53,1 м над уровнем моря. Для Вятки характерны резкие изменения направления течения (с севера на юго-запад, а затем на юго-восток) и большая извилистость на всём протяжении.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 376, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Васюган", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Чагва?", + "support_text": "Чагва — река в России, протекает по Томской области. Устье реки находится в 388 км от устья реки Чижапка. Длина реки составляет 110 км.", + "text": "Чижапка (южноселькупск. \"Лал кы\" — язёвая река, \"Чаҗаӄӄа\") — река в Томской области России, правый приток Васюгана. Длина — 511 км, площадь бассейна — 13 800 кв км. Протекает по Васюганской равнине. Судоходна на 108 км от устья.\n\nПритоки.\n460 км: Тунжик (пр). ? км: Коленка (лв). 464 км: Арча (лв). 479 км: Томка (пр). Система водного объекта: Васюган → Обь → Карское море.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — Васюган. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 106, + "segment": "Васюгана" + }, + { + "label": "passage", + "length": 8, + "offset": 106, + "segment": "Васюган" + } + ], + "meta": { + "id": 634, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 97, + "segment": "Чижапка" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Чагва — река в России, протекает по Томской области. Устье реки находится в 388 км от устья реки Чижапка. Длина реки составляет 110 км.\nТекст 2: Чижапка (южноселькупск. \"Лал кы\" — язёвая река, \"Чаҗаӄӄа\") — река в Томской области России, правый приток Васюгана. Длина — 511 км, площадь бассейна — 13 800 кв км. Протекает по Васюганской равнине. Судоходна на 108 км от устья.\n\nПритоки.\n460 км: Тунжик (пр). ? км: Коленка (лв). 464 км: Арча (лв). 479 км: Томка (пр). Система водного объекта: Васюган → Обь → Карское море.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — Васюган. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Чагва? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 321, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Денис Юрьевич Лебедев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Юрий Борисович Пантюхов?", + "support_text": "Юрий Борисович Пантюхов (15 марта 1931, Коломна, Московская область, РСФСР, СССР — 22 октября 1982) — советский хоккеист, нападающий. Заслуженный мастер спорта СССР (1956).", + "text": "Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 452, + "segment": "Лебедев Денис Юрьевич" + }, + { + "label": "passage", + "length": 21, + "offset": 452, + "segment": "Денис Юрьевич Лебедев" + } + ], + "meta": { + "id": 541, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 40, + "segment": "Коломна" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Юрий Борисович Пантюхов (15 марта 1931, Коломна, Московская область, РСФСР, СССР — 22 октября 1982) — советский хоккеист, нападающий. Заслуженный мастер спорта СССР (1956).\nТекст 2: Коломна — город в Московской области России. Является городом областного подчинения; вместе с упразднённым муниципальным районом с 21 апреля 2017 года входит в муниципальное образование Коломенский городской округ. Один из древнейших городов Подмосковья, крупный промышленный центр и транспортный узел, речной порт на Оке.\n\nОбщество.\nМестное самоуправление. 3 ноября 2016 года, на заседании совета депутатов Коломны, главой городского округа избран Лебедев Денис Юрьевич, а бывший руководитель города Валерий Иванович Шувалов покинул свой пост. Экономика.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Юрий Борисович Пантюхов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " гора Снежка", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое место является наивысшей точкой горного хребта, к которому принадлежит Рокитнице-над-Йизероу?", + "support_text": "Рокитнице-над-Йизероу ( ) — город на севере Чешской Республики, в районе Семили Либерецкого края. Один из крупнейших горнолыжных курортов в горном массиве Крконоше. Расположен на западе Крконоше у подножья Лысой горы (1344 м) в 5 км от г. Гаррахова. Включает в себя 4 района: Нижние Рокитнице, Верхняя Рокитнице-над-Йизероу, Рокитно-в-Крконоше и Франтишков-в-Крконоше.", + "text": "Крконоше, \"Карконоше\", \"Исполиновы горы\" — горный массив на территории Польши и Чехии, наиболее высокая часть Судет (высшая точка — гора Снежка, 1602 м). Вершины пологие, с альпийским характером рельефа. Склоны в нижней части покрыты буковыми и сосновыми лесами, выше — еловыми и пихтовыми, на вершинах — альпийские луга и торфяники. Имеются месторождения железных и медных руд, каменного угля.\n\nЭтимология.\nНекоторые учёные проводят название с карпатским хребтом Горганы. Форма названия \"Карконоше\" (Karkonosze) польского происхождения. В XVII веке появляется название Снежные горы и название вершины Снежка. Также употреблялось немецкое название Riesengebierge от \"Riesen\" — великаны и \"Gebirge\" — горы; ему соответствовало название \"Обровские горы\" — громадные, гигантские горы. В русский язык перешло в название \"Исполиновы горы\"." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 132, + "segment": "гора Снежка" + }, + { + "label": "passage", + "length": 6, + "offset": 137, + "segment": "Снежка" + } + ], + "meta": { + "id": 1001, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 155, + "segment": "Крконоше" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Рокитнице-над-Йизероу ( ) — город на севере Чешской Республики, в районе Семили Либерецкого края. Один из крупнейших горнолыжных курортов в горном массиве Крконоше. Расположен на западе Крконоше у подножья Лысой горы (1344 м) в 5 км от г. Гаррахова. Включает в себя 4 района: Нижние Рокитнице, Верхняя Рокитнице-над-Йизероу, Рокитно-в-Крконоше и Франтишков-в-Крконоше.\nТекст 2: Крконоше, \"Карконоше\", \"Исполиновы горы\" — горный массив на территории Польши и Чехии, наиболее высокая часть Судет (высшая точка — гора Снежка, 1602 м). Вершины пологие, с альпийским характером рельефа. Склоны в нижней части покрыты буковыми и сосновыми лесами, выше — еловыми и пихтовыми, на вершинах — альпийские луга и торфяники. Имеются месторождения железных и медных руд, каменного угля.\n\nЭтимология.\nНекоторые учёные проводят название с карпатским хребтом Горганы. Форма названия \"Карконоше\" (Karkonosze) польского происхождения. В XVII веке появляется название Снежные горы и название вершины Снежка. Также употреблялось немецкое название Riesengebierge от \"Riesen\" — великаны и \"Gebirge\" — горы; ему соответствовало название \"Обровские горы\" — громадные, гигантские горы. В русский язык перешло в название \"Исполиновы горы\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Какое место является наивысшей точкой горного хребта, к которому принадлежит Рокитнице-над-Йизероу? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Висвож является притоком реки Кыбантывис.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Висвож?", + "support_text": "Висвож — река в России, протекает по Республике Коми. Устье реки находится в 6 км по левому берегу реки Кыбантывис. Длина реки составляет 24 км.", + "text": "Кыбантывис (Кабан-Тывис) — река в России, протекает по Республике Коми. Левый приток Айювы. Длина реки составляет 31 км. Система водного объекта: Айюва → Ижма → Печора → Баренцево море." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 85, + "segment": "Айювы" + }, + { + "label": "passage", + "length": 5, + "offset": 85, + "segment": "Айюва" + } + ], + "meta": { + "id": 9, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 104, + "segment": "Кыбантывис" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Висвож — река в России, протекает по Республике Коми. Устье реки находится в 6 км по левому берегу реки Кыбантывис. Длина реки составляет 24 км.\nТекст 2: Кыбантывис (Кабан-Тывис) — река в России, протекает по Республике Коми. Левый приток Айювы. Длина реки составляет 31 км. Система водного объекта: Айюва → Ижма → Печора → Баренцево море.\nВопрос: В какую реку впадает река, притоком которой является Висвож?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Руслан Николаевич Кухарук является главой администрации в городе Тюмень, где родился Виктор Евгеньевич Леоненко.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Виктор Евгеньевич Леоненко?", + "support_text": "Виктор Евгеньевич Леоненко (род. 5 октября 1969, Тюмень, СССР) — советский, российский и украинский футболист, нападающий, телеведущий, футбольный комментатор, эксперт.\n\nБиография.\nВоспитывался в СДЮСШОР \"Геолог\" (Тюмень) у тренера Виктора Николаевича Княжева. С 17 лет — в составе главной команды \"Геолога\". В 1991 перешёл в \"Динамо\" (Москва), хотя предварительно уже договорился о переходе в киевское \"Динамо\".", + "text": "Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре. Образует муниципальное образование \"город Тюмень\" со статусом городского округа как единственный населённый пункт в его составе. Первый русский острог в Сибири.\n\nАдминистративное деление.\nОрганы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 582, + "segment": "Руслан Николаевич Кухарук" + } + ], + "meta": { + "id": 487, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 49, + "segment": "Тюмень" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Виктор Евгеньевич Леоненко (род. 5 октября 1969, Тюмень, СССР) — советский, российский и украинский футболист, нападающий, телеведущий, футбольный комментатор, эксперт.\n\nБиография.\nВоспитывался в СДЮСШОР \"Геолог\" (Тюмень) у тренера Виктора Николаевича Княжева. С 17 лет — в составе главной команды \"Геолога\". В 1991 перешёл в \"Динамо\" (Москва), хотя предварительно уже договорился о переходе в киевское \"Динамо\".\nТекст 2: Тюмень — город в России, административный центр Тюменской области и Тюменского района, в состав которого не входит. Расположен на реке Туре. Образует муниципальное образование \"город Тюмень\" со статусом городского округа как единственный населённый пункт в его составе. Первый русский острог в Сибири.\n\nАдминистративное деление.\nОрганы власти. Органы местного самоуправления Тюмени сформированы на основании Устава города, принятого в 2005 году. Главой города Тюмени является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук. Представительный орган городского самоуправления и законодательной власти — Тюменская городская Дума, состоящая из 36 депутатов. Председателем Думы является Евгений Борисович Заболотный.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Виктор Евгеньевич Леоненко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 324, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Владимир Арустамович Епископосян?", + "support_text": "Владимир Арустамович Епископосян (род. 21 января 1950, Ереван, Армянская ССР, СССР) — советский и российский актёр театра и кино, Заслуженный артист Российской Федерации (2002).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + } + ], + "meta": { + "id": 387, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 55, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Владимир Арустамович Епископосян (род. 21 января 1950, Ереван, Армянская ССР, СССР) — советский и российский актёр театра и кино, Заслуженный артист Российской Федерации (2002).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Владимир Арустамович Епископосян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.18181818181818182, + "em": 0 + }, + "predict": " Дмитрий Борисович Глинка, младший брат Бориса Борисовича Глинки, родился в посёлке Александров Дар, ныне входящем в черту города Кривой Рог.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Бориса Борисовича Глинки?", + "support_text": "Борис Борисович Глинка — полковник Советской армии ВС Союза ССР, участник Великой Отечественной войны, Герой Советского Союза (1943), старший брат Дмитрия Глинки.", + "text": "Бюст Дмитрия Глинки. Могила Глинки на Кунцевском кладбище Москвы. Глинка Дмитрий Борисович (конверт). Дмитрий Борисович Глинка — советский лётчик-истребитель, дважды Герой Советского Союза (1943), гвардии полковник (1951), военный лётчик 1-го класса (1953). Младший брат Б. Б. Глинки.\n\nБиография.\nРодился в посёлке Александров Дар (ныне в черте города Кривой Рог) в шахтёрской семье. С 1937 года в рядах РККА, окончил Качинскую лётную школу в 1939 году. Первый боевой вылет в Великой Отечественной войне совершил в январе 1942 года в Крыму." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 319, + "segment": "Александров Дар" + } + ], + "meta": { + "id": 375, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 147, + "segment": "Дмитрия Глинки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Борис Борисович Глинка — полковник Советской армии ВС Союза ССР, участник Великой Отечественной войны, Герой Советского Союза (1943), старший брат Дмитрия Глинки.\nТекст 2: Бюст Дмитрия Глинки. Могила Глинки на Кунцевском кладбище Москвы. Глинка Дмитрий Борисович (конверт). Дмитрий Борисович Глинка — советский лётчик-истребитель, дважды Герой Советского Союза (1943), гвардии полковник (1951), военный лётчик 1-го класса (1953). Младший брат Б. Б. Глинки.\n\nБиография.\nРодился в посёлке Александров Дар (ныне в черте города Кривой Рог) в шахтёрской семье. С 1937 года в рядах РККА, окончил Качинскую лётную школу в 1939 году. Первый боевой вылет в Великой Отечественной войне совершил в январе 1942 года в Крыму.\nВопрос: Где родился человек, который был братом Бориса Борисовича Глинки?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Александр Викторович Абросимов?", + "support_text": "Александр Викторович Абросимов (16 ноября 1948, Куйбышев — 20 июня 2011, Нижний Новгород) — советский и российский математик и педагог, кандидат физико-математических наук (1984).", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1155, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1155, + "segment": "Городская дума" + } + ], + "meta": { + "id": 121, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 74, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Викторович Абросимов (16 ноября 1948, Куйбышев — 20 июня 2011, Нижний Новгород) — советский и российский математик и педагог, кандидат физико-математических наук (1984).\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nЦентром Нижнего Новгорода, по праву, считается древний Нижегородский кремль начала XVI века — двухкилометровая кирпичная крепость с 13 башнями. На территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Александр Викторович Абросимов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 371, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ахко", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Типиш-Джага?", + "support_text": "Типиш-Джага — река в России, протекает в Чечне. Устье реки находится в 14 км по правому берегу реки Ахко. Длина реки составляет 13 км, площадь водосборного бассейна — 10,9 кв км.", + "text": "Ахко (в верховье Уини-Цы; \"устар.\" Ахко-Уини-Цы ) — река в России, протекает по Чечне. Устье реки находится в 18 км по левому берегу реки Белка. Длина реки составляет 22 км, площадь водосборного бассейна — 76 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 138, + "segment": "Белка" + } + ], + "meta": { + "id": 428, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 100, + "segment": "Ахко" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Типиш-Джага — река в России, протекает в Чечне. Устье реки находится в 14 км по правому берегу реки Ахко. Длина реки составляет 13 км, площадь водосборного бассейна — 10,9 кв км.\nТекст 2: Ахко (в верховье Уини-Цы; \"устар.\" Ахко-Уини-Цы ) — река в России, протекает по Чечне. Устье реки находится в 18 км по левому берегу реки Белка. Длина реки составляет 22 км, площадь водосборного бассейна — 76 кв км.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Типиш-Джага? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, в которую сливается Телюбай, — это река Каерлык. Это следует из того, что в обоих текстах упоминается, что устье реки Телюбай находится в 7 км по левому берегу реки Каерлык, а также из того, что Каерлык начинается при слиянии рек Барбок", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Телюбай?", + "support_text": "Телюбай — река в России, протекает в Республике Алтай. Устье реки находится в 7 км по левому берегу реки Каерлык. Длина реки составляет 10 км.", + "text": "Каерлык (Каирлык) — река в России, протекает в Республике Алтай. Длина реки Каерлык составляет 32 км. Начинается при слиянии рек Барбок и Башкудюр у подножия горы Нижняя Шибе. Течёт на север по частично заболоченной долине мимо села Каирлык. Устье реки находится в 86 км по правому берегу реки Урсул у села Ело на высоте 1051,7 метра над уровнем моря." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 294, + "segment": "Урсул" + } + ], + "meta": { + "id": 624, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 105, + "segment": "Каерлык" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Телюбай?\nТекст 1: Телюбай — река в России, протекает в Республике Алтай. Устье реки находится в 7 км по левому берегу реки Каерлык. Длина реки составляет 10 км.\nТекст 2: Каерлык (Каирлык) — река в России, протекает в Республике Алтай. Длина реки Каерлык составляет 32 км. Начинается при слиянии рек Барбок и Башкудюр у подножия горы Нижняя Шибе. Течёт на север по частично заболоченной долине мимо села Каирлык. Устье реки находится в 86 км по правому берегу реки Урсул у села Ело на высоте 1051,7 метра над уровнем моря.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Владимир Владимирович Владимиров", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Анатолий Сергеевич Куликов?", + "support_text": "Анатолий Сергеевич Куликов (род. 4 сентября 1946 года, пос. Айгурский, Ставропольский край) — советский и российский военачальник. Министр внутренних дел Российской Федерации (1995—1998), заместитель Председателя Правительства Российской Федерации (1997—1998). Генерал армии (1995). Доктор экономических наук (1992), действительный член РАЕН.\n\nНаграды.\nМедаль \"За боевое содружество\" (МВД России). Медаль Анатолия Кони (Минюст России). Медаль \"За отличие в пограничной деятельности\" (ФСБ России). Медаль \"Во славу Осетии\" (Северная Осетия-Алания). Медаль \"За заслуги перед Ставропольским краем\" (Ставропольский край, сентябрь 2006). Медаль \"Маршал Баграмян—100\" (Армения). Благодарность Президента Российской Федерации (17 июля 1996 года) — \"за активное участие в организации и проведении выборной кампании Президента Российской Федерации в 1996 году\".", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nГубернаторы. Александр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 522, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 244, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 71, + "segment": "Ставропольский край" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Анатолий Сергеевич Куликов (род. 4 сентября 1946 года, пос. Айгурский, Ставропольский край) — советский и российский военачальник. Министр внутренних дел Российской Федерации (1995—1998), заместитель Председателя Правительства Российской Федерации (1997—1998). Генерал армии (1995). Доктор экономических наук (1992), действительный член РАЕН.\n\nНаграды.\nМедаль \"За боевое содружество\" (МВД России). Медаль Анатолия Кони (Минюст России). Медаль \"За отличие в пограничной деятельности\" (ФСБ России). Медаль \"Во славу Осетии\" (Северная Осетия-Алания). Медаль \"За заслуги перед Ставропольским краем\" (Ставропольский край, сентябрь 2006). Медаль \"Маршал Баграмян—100\" (Армения). Благодарность Президента Российской Федерации (17 июля 1996 года) — \"за активное участие в организации и проведении выборной кампании Президента Российской Федерации в 1996 году\".\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nГубернаторы. Александр Леонидович Черногоров (р. 1959) 1996—2008. Валерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Анатолий Сергеевич Куликов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Юрий Парахин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Егор Вячеславович Кирьяков?", + "support_text": "Егор Вячеславович Кирьяков (4 февраля 1974, Орёл) — советский и российский футболист, полузащитник. Младший брат Сергея Кирьякова.\n\nКарьера.\nЭто был единственный матч Егора за \"бело-голубых\". В том сезоне он стал бронзовым призёром первенства. До 1994 года Кирьяков играл за дубль \"Динамо\" во второй и третьей лигах. В 1995 выступал за \"Черноморец\", в 1996 за \"Кубань\". В 1997 году он вернулся в \"Орёл\" и за 5 лет сыграл 205 матчей, забив 29 голов. В 1992 году играл за юношескую сборную России, был её капитаном.", + "text": "Орёл — город (с 1566) в России, административный центр Орловской области и Орловского района, в который сам не входит. Являясь городом областного значения, образует муниципальное образование городской округ \"город Орёл\". Расположен в 368 км к юго-западу от Москвы, на Среднерусской возвышенности в европейской части России, по обоим берегам реки Оки и её притока Орлика. Орёл и Орловская область входят в состав Центрального федерального округа, а также Центрального экономического района.\n\nАдминистративное устройство.\n2009—2010 — Василий Ерёмин (и. о.). 2010—2012 — Виктор Сафьянов. 2012—2015 — Сергей Ступин. 2015—2020 — Василий Новиков. 2020— — Юрий Парахин. =Главы администрации города (\"сити-менеджеры\") ====. 2012—2015 — Михаил Берников." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 652, + "segment": "Юрий Парахин" + } + ], + "meta": { + "id": 194, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 44, + "segment": "Орёл" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Егор Вячеславович Кирьяков (4 февраля 1974, Орёл) — советский и российский футболист, полузащитник. Младший брат Сергея Кирьякова.\n\nКарьера.\nЭто был единственный матч Егора за \"бело-голубых\". В том сезоне он стал бронзовым призёром первенства. До 1994 года Кирьяков играл за дубль \"Динамо\" во второй и третьей лигах. В 1995 выступал за \"Черноморец\", в 1996 за \"Кубань\". В 1997 году он вернулся в \"Орёл\" и за 5 лет сыграл 205 матчей, забив 29 голов. В 1992 году играл за юношескую сборную России, был её капитаном.\nТекст 2: Орёл — город (с 1566) в России, административный центр Орловской области и Орловского района, в который сам не входит. Являясь городом областного значения, образует муниципальное образование городской округ \"город Орёл\". Расположен в 368 км к юго-западу от Москвы, на Среднерусской возвышенности в европейской части России, по обоим берегам реки Оки и её притока Орлика. Орёл и Орловская область входят в состав Центрального федерального округа, а также Центрального экономического района.\n\nАдминистративное устройство.\n2009—2010 — Василий Ерёмин (и. о.). 2010—2012 — Виктор Сафьянов. 2012—2015 — Сергей Ступин. 2015—2020 — Василий Новиков. 2020— — Юрий Парахин. =Главы администрации города (\"сити-менеджеры\") ====. 2012—2015 — Михаил Берников.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Егор Вячеславович Кирьяков? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714288, + "em": 0 + }, + "predict": " Матильда Мария Кристина Гислен д’Удекем д’Акоз, мать Елизаветы, герцогини Брабантской, имеет гражданство Бельгии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое гражданство имеет женщина, приходящаяся Елизавете, герцогине Брабантской, матерью?", + "support_text": "Елизавета Тереза Мария Елена Бельгийская, герцогиня Брабантская (25 октября 2001, Андерлехт) — наследная принцесса Бельгии, старшая дочь короля Бельгии Филиппа и его жены королевы Матильды, внучка Альберта II. Первая в очереди наследования трона Бельгии.\n\nРанняя биография и происхождение.\nКогда она взойдёт на престол, то станет первой бельгийской Королевой. Отец Елизаветы происходит из Саксен-Кобург-Готской династии. Эта династия связала себя родственными узами с такими европейскими домами, как Орлеанский, баварскими Виттельсбахами, шведскими Бернадотами, австрийскими Габсбургами. Её мать королева Матильда, урождённая \"Матильда Мария Кристина Гислен д’Удекем д’Акоз\", дочь графа \"Патрика Анри д’Удекем д’Акоз\" и польской дворянки графини \"Анны Коморовской\". Через свою бабушку Анну принцесса связана родством с известнейшими польским семьями, такими как Радзивиллы, Чарторыйские, Замойские, Тышкевичи, королевской династией Литвы Ягеллонами и многими российскими дворянскими родами.", + "text": "Матильда ( ), урождённая Матильда Мария Кристина Гислен д’Удекем д’Акоз ( , , Бельгия) — королева-консорт Бельгии, супруга короля Филиппа. Вошла в королевскую семью 4 декабря 1999 года, когда стала женой наследного принца Филиппа. После бракосочетания Матильде был присвоен титул принцессы Бельгийской. 21 июля 2013 года, после отречения короля Альберта II и восшествия на престол её мужа Филиппа, получила титул королевы.\n\nДети.\n* Принцесса Елизавета, герцогиня Брабантская (род. 25 октября 2001 года), кронпринцесса Бельгии. Принц Габриель (род. 20 августа 2003 года)." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 106, + "segment": "Бельгии" + } + ], + "meta": { + "id": 1006, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 171, + "segment": "королевы Матильды" + }, + { + "label": "passage", + "length": 17, + "offset": 599, + "segment": "королева Матильда" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Елизавета Тереза Мария Елена Бельгийская, герцогиня Брабантская (25 октября 2001, Андерлехт) — наследная принцесса Бельгии, старшая дочь короля Бельгии Филиппа и его жены королевы Матильды, внучка Альберта II. Первая в очереди наследования трона Бельгии.\n\nРанняя биография и происхождение.\nКогда она взойдёт на престол, то станет первой бельгийской Королевой. Отец Елизаветы происходит из Саксен-Кобург-Готской династии. Эта династия связала себя родственными узами с такими европейскими домами, как Орлеанский, баварскими Виттельсбахами, шведскими Бернадотами, австрийскими Габсбургами. Её мать королева Матильда, урождённая \"Матильда Мария Кристина Гислен д’Удекем д’Акоз\", дочь графа \"Патрика Анри д’Удекем д’Акоз\" и польской дворянки графини \"Анны Коморовской\". Через свою бабушку Анну принцесса связана родством с известнейшими польским семьями, такими как Радзивиллы, Чарторыйские, Замойские, Тышкевичи, королевской династией Литвы Ягеллонами и многими российскими дворянскими родами.\nТекст 2: Матильда ( ), урождённая Матильда Мария Кристина Гислен д’Удекем д’Акоз ( , , Бельгия) — королева-консорт Бельгии, супруга короля Филиппа. Вошла в королевскую семью 4 декабря 1999 года, когда стала женой наследного принца Филиппа. После бракосочетания Матильде был присвоен титул принцессы Бельгийской. 21 июля 2013 года, после отречения короля Альберта II и восшествия на престол её мужа Филиппа, получила титул королевы.\n\nДети.\n* Принцесса Елизавета, герцогиня Брабантская (род. 25 октября 2001 года), кронпринцесса Бельгии. Принц Габриель (род. 20 августа 2003 года).\nВопрос: Какое гражданство имеет женщина, приходящаяся Елизавете, герцогине Брабантской, матерью?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 489, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16, + "em": 0 + }, + "predict": " Команда, тренером которой является Жорже Кошта, играет в Лиге I Румынии. Это \"ЧФР Клуж\", который является шестикратным чемпионом Румынии и участником Лиги чемпионов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренером которой является Жорже Кошта?", + "support_text": "Жорже Паулу Кошта Алмейда ( ) — португальский футбольный защитник и тренер.\n\nКарьера тренера.\nВ сезоне 2009/10 клуб закрепился в элите, финишировав на 13-й позиции, а в следующем чемпионате Кошта возглавил \"Академику\". 21 декабря 2010 года объявил об уходе из \"Академики\" и об окончании карьеры футбольного тренера в связи с личными причинами. Однако в мае 2011 он объявил о своём возвращении в тренерскую деятельность, подписав контракт с румынским клубом \"ЧФР Клуж\".", + "text": "ЧФР Клуж — румынский профессиональный футбольный клуб из города Клуж-Напока, Трансильвания. Шестикратный чемпион Румынии, четырёхкратный обладатель Кубка и трёхкратный Суперкубка страны. Также ЧФР является первым клубом не из Бухареста, ставшим чемпионом Румынии и пробившимся в групповой этап Лиги чемпионов.\n\nСтатистика выступлений с сезона 2002/2003.\n69. 2004/05. 1. . Лига I. . 11. 30. . 9. 9. . 12. 33. . 44." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 294, + "segment": "Лиги чемпионов" + }, + { + "label": "passage", + "length": 14, + "offset": 294, + "segment": "Лига чемпионов" + } + ], + "meta": { + "id": 6, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 462, + "segment": "ЧФР Клуж" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какой лиге играет команда, тренером которой является Жорже Кошта?\nТекст 1: Жорже Паулу Кошта Алмейда ( ) — португальский футбольный защитник и тренер.\n\nКарьера тренера.\nВ сезоне 2009/10 клуб закрепился в элите, финишировав на 13-й позиции, а в следующем чемпионате Кошта возглавил \"Академику\". 21 декабря 2010 года объявил об уходе из \"Академики\" и об окончании карьеры футбольного тренера в связи с личными причинами. Однако в мае 2011 он объявил о своём возвращении в тренерскую деятельность, подписав контракт с румынским клубом \"ЧФР Клуж\".\nТекст 2: ЧФР Клуж — румынский профессиональный футбольный клуб из города Клуж-Напока, Трансильвания. Шестикратный чемпион Румынии, четырёхкратный обладатель Кубка и трёхкратный Суперкубка страны. Также ЧФР является первым клубом не из Бухареста, ставшим чемпионом Румынии и пробившимся в групповой этап Лиги чемпионов.\n\nСтатистика выступлений с сезона 2002/2003.\n69. 2004/05. 1. . Лига I. . 11. 30. . 9. 9. . 12. 33. . 44.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 310, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Неман.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Лохозва?", + "support_text": "Лохозва — река в Белоруссии, правый приток Щары, протекает на территории Барановичского района Брестской области. Начинается между деревнями Детковичи и Полонка. Длина реки составляет 29 км, площадь водосбора 335 кв км. Течет по лесистой местности.\n\nПримечания.\nКатегория:Притоки Щары.", + "text": "Щара — река в Брестской и Гродненской областях Белоруссии, левый приток Немана. Длина — 300 км, площадь бассейна — 6730 кв км. Средний расход воды — 31 м³/сек.\n\nОписание.\nПритоки:. \"правые\": Мышанка, Исса, Артычанка, Лохозва. \"левые\": Ведьма, Гривда, Луконица, Сипа, Бабочка, Свидровка. На Щаре расположен город Слоним и множество более мелких населённых пунктов. Впадает в Неман в 2 км к юго-востоку от д. Дашковцы Мостовского района. Судоходна от агрогородка Бытень (в 155 км от устья) в полноводный период. Ширина в устье около 60 метров." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 72, + "segment": "Немана" + }, + { + "label": "passage", + "length": 5, + "offset": 72, + "segment": "Неман" + } + ], + "meta": { + "id": 887, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 43, + "segment": "Щары" + }, + { + "label": "passage", + "length": 4, + "offset": 283, + "segment": "Щары" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Лохозва — река в Белоруссии, правый приток Щары, протекает на территории Барановичского района Брестской области. Начинается между деревнями Детковичи и Полонка. Длина реки составляет 29 км, площадь водосбора 335 кв км. Течет по лесистой местности.\n\nПримечания.\nКатегория:Притоки Щары.\nТекст 2: Щара — река в Брестской и Гродненской областях Белоруссии, левый приток Немана. Длина — 300 км, площадь бассейна — 6730 кв км. Средний расход воды — 31 м³/сек.\n\nОписание.\nПритоки:. \"правые\": Мышанка, Исса, Артычанка, Лохозва. \"левые\": Ведьма, Гривда, Луконица, Сипа, Бабочка, Свидровка. На Щаре расположен город Слоним и множество более мелких населённых пунктов. Впадает в Неман в 2 км к юго-востоку от д. Дашковцы Мостовского района. Судоходна от агрогородка Бытень (в 155 км от устья) в полноводный период. Ширина в устье около 60 метров.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Лохозва? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 327, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ингуягун", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Вокырапъягун?", + "support_text": "Вокырапъягун (устар. \"Вокы-Рап-Егун\") — река в России, протекает в Ханты-Мансийском АО. Устье реки находится в 122 км по левому берегу реки Ингуягун. Длина реки составляет 68 км, площадь водосборного бассейна 315 кв км.", + "text": "Ингуягун (устар. \"Ингу-Ягун\") — река в России, протекает по территории Ханты-Мансийского автономного округа. Протекает преимущественно в южном направлении по территории Сургутского района и городского округа Когалым. Впадает в Тромъёган на 126 км от устья последнего. Длина реки — 235 км, площадь её водосборного бассейна — 5140 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 227, + "segment": "Тромъёган" + } + ], + "meta": { + "id": 410, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 140, + "segment": "Ингуягун" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вокырапъягун (устар. \"Вокы-Рап-Егун\") — река в России, протекает в Ханты-Мансийском АО. Устье реки находится в 122 км по левому берегу реки Ингуягун. Длина реки составляет 68 км, площадь водосборного бассейна 315 кв км.\nТекст 2: Ингуягун (устар. \"Ингу-Ягун\") — река в России, протекает по территории Ханты-Мансийского автономного округа. Протекает преимущественно в южном направлении по территории Сургутского района и городского округа Когалым. Впадает в Тромъёган на 126 км от устья последнего. Длина реки — 235 км, площадь её водосборного бассейна — 5140 кв км.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Вокырапъягун? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Марлен Мкртычевич Асланян?", + "support_text": "Марлен Мкртычевич Асланян (род. 10 января 1932, Ереван, АрмССР, СССР) — советский и российский генетик. Доктор биологических наук, профессор.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 272, + "segment": "городским советом" + } + ], + "meta": { + "id": 56, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 48, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Марлен Мкртычевич Асланян (род. 10 января 1932, Ереван, АрмССР, СССР) — советский и российский генетик. Доктор биологических наук, профессор.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Марлен Мкртычевич Асланян? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Николай Пестов является главой администрации в городе Подольске, где родился Лев Николаевич Королёв.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Лев Николаевич Королёв?", + "support_text": "Лев Николаевич Королёв (6 сентября 1926, Подольск — 5 января 2016, Москва) — советский и российский системный программист и математик, доктор технических наук (1967), заведующий кафедрой автоматизации систем вычислительных комплексов факультета вычислительной математики и кибернетики МГУ. Заслуженный профессор Московского университета (1996).", + "text": "Подольск — город в Московской области России. Образует административно-территориальную единицу (город областного значения с административной территорией) и одноимённое муниципальное образование со статусом городского округа. Расположен на реке Пахре (приток Москвы-реки).\n\nМестное самоуправление.\nПредседатель городского Совета депутатов (в настоящее время им является Дмитрий Николаевич Машков) и заместитель председателя городского Совета депутатов (Геннадий Николаевич Хрячков) избираются из числа депутатов в порядке, установленном Регламентом городского Совета депутатов, и работают на постоянной основе. В сквере перед зданием Администрации. Глава города является высшим должностным лицом города Подольска, избираемым гражданами, проживающими на территории города и обладающими избирательным правом, на основании всеобщего, равного и прямого избирательного права при тайном голосовании сроком на 5 лет. В настоящее время главой города является Николай Пестов. Глава города подконтролен и подотчётен населению и городскому Совету депутатов. Администрация города является юридическим лицом и осуществляет исполнительно-распорядительные функции." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 953, + "segment": "Николай Пестов" + } + ], + "meta": { + "id": 512, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 41, + "segment": "Подольск" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Лев Николаевич Королёв (6 сентября 1926, Подольск — 5 января 2016, Москва) — советский и российский системный программист и математик, доктор технических наук (1967), заведующий кафедрой автоматизации систем вычислительных комплексов факультета вычислительной математики и кибернетики МГУ. Заслуженный профессор Московского университета (1996).\nТекст 2: Подольск — город в Московской области России. Образует административно-территориальную единицу (город областного значения с административной территорией) и одноимённое муниципальное образование со статусом городского округа. Расположен на реке Пахре (приток Москвы-реки).\n\nМестное самоуправление.\nПредседатель городского Совета депутатов (в настоящее время им является Дмитрий Николаевич Машков) и заместитель председателя городского Совета депутатов (Геннадий Николаевич Хрячков) избираются из числа депутатов в порядке, установленном Регламентом городского Совета депутатов, и работают на постоянной основе. В сквере перед зданием Администрации. Глава города является высшим должностным лицом города Подольска, избираемым гражданами, проживающими на территории города и обладающими избирательным правом, на основании всеобщего, равного и прямого избирательного права при тайном голосовании сроком на 5 лет. В настоящее время главой города является Николай Пестов. Глава города подконтролен и подотчётен населению и городскому Совету депутатов. Администрация города является юридическим лицом и осуществляет исполнительно-распорядительные функции.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Лев Николаевич Королёв?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 331, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В реку Кобру.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Нароговка?", + "support_text": "Нароговка — река в России, протекает в Нагорском районе Кировской области. Устье реки находится в 112 км по правому берегу реки Кобра. Длина реки составляет 16 км. Исток реки на Северных Увалах близ границы с Республикой Коми в 10 км к северо-востоку от посёлка Кобра (центр Кобринского сельского поселения). Река течёт на юго-восток, затем на юг. До впадения притока Малая Нароговка (пр) также именуется Большой Нароговкой. Впадает в Кобру ниже посёлка Орлецы (Кобринское сельское поселение).", + "text": "Кобра — река в Республике Коми и Кировской области, правый приток Вятки (бассейн Волги). Длина реки — 324 км, площадь её бассейна насчитывает 7810 кв км. Устье реки находится в 921 км по правому берегу реки Вятки. Питание имеет в основном снеговое и дождевое. Среднегодовой расход воды — 55 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 10010300212111100030641." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 66, + "segment": "Вятки" + }, + { + "label": "passage", + "length": 5, + "offset": 66, + "segment": "Вятку" + } + ], + "meta": { + "id": 832, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 128, + "segment": "Кобра" + }, + { + "label": "passage", + "length": 5, + "offset": 435, + "segment": "Кобру" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Нароговка — река в России, протекает в Нагорском районе Кировской области. Устье реки находится в 112 км по правому берегу реки Кобра. Длина реки составляет 16 км. Исток реки на Северных Увалах близ границы с Республикой Коми в 10 км к северо-востоку от посёлка Кобра (центр Кобринского сельского поселения). Река течёт на юго-восток, затем на юг. До впадения притока Малая Нароговка (пр) также именуется Большой Нароговкой. Впадает в Кобру ниже посёлка Орлецы (Кобринское сельское поселение).\nТекст 2: Кобра — река в Республике Коми и Кировской области, правый приток Вятки (бассейн Волги). Длина реки — 324 км, площадь её бассейна насчитывает 7810 кв км. Устье реки находится в 921 км по правому берегу реки Вятки. Питание имеет в основном снеговое и дождевое. Среднегодовой расход воды — 55 м³/с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:. Код водного объекта в государственном водном реестре — 10010300212111100030641.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Нароговка? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 391, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Бох-Джага.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Бох-Джага?", + "support_text": "Бох-Джага — река в России, протекает по Шалинскому и Курчалоевскому районам Чеченской Республики. Длина реки составляет 16 км. Площадь водосборного бассейна — 25,7 кв км. Начинается на северо-западной окраине села Морзой-Мохк. Течёт в общем северном направлении, сначала по грабовому лесу мимо села Ники-Хита, затем — по открытой местности. Устье реки находится в 9,5 км от устья реки Ахко по правому берегу у села Новая Жизнь. На всём протяжении река временами пересыхает.", + "text": "Ахко (в верховье Уини-Цы; \"устар.\" Ахко-Уини-Цы ) — река в России, протекает по Чечне. Устье реки находится в 18 км по левому берегу реки Белка. Длина реки составляет 22 км, площадь водосборного бассейна — 76 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 138, + "segment": "Белка" + } + ], + "meta": { + "id": 408, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 385, + "segment": "Ахко" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Бох-Джага?\nТекст 1: Бох-Джага — река в России, протекает по Шалинскому и Курчалоевскому районам Чеченской Республики. Длина реки составляет 16 км. Площадь водосборного бассейна — 25,7 кв км. Начинается на северо-западной окраине села Морзой-Мохк. Течёт в общем северном направлении, сначала по грабовому лесу мимо села Ники-Хита, затем — по открытой местности. Устье реки находится в 9,5 км от устья реки Ахко по правому берегу у села Новая Жизнь. На всём протяжении река временами пересыхает.\nТекст 2: Ахко (в верховье Уини-Цы; \"устар.\" Ахко-Уини-Цы ) — река в России, протекает по Чечне. Устье реки находится в 18 км по левому берегу реки Белка. Длина реки составляет 22 км, площадь водосборного бассейна — 76 кв км.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 247, + "generated_len": [ + 37 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Ангарица сливается с рекой Северная Двина, которая является левым притоком реки Юмиж.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Ангарица?", + "support_text": "Ангарица — река в России, протекает в Верхнетоемском районе Архангельской области. Устье реки находится в 54 км по правому берегу реки Юмиж. Длина реки составляет 10 км.", + "text": "Юмиж (устар. \"Юмыж, Юмеж, Устюмеж\") — река в России, протекающая по трём районам Архангельской области: Устьянскому, Шенкурскому и Верхнетоемскому. Является левым притоком реки Северная Двина. В списке Двинских земель (XV век) ростовского князя Фёдора Андреевича, река упоминается как \"Юмыш\"." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 177, + "segment": "Северная Двина" + } + ], + "meta": { + "id": 579, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 135, + "segment": "Юмиж" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Ангарица?\nТекст 1: Ангарица — река в России, протекает в Верхнетоемском районе Архангельской области. Устье реки находится в 54 км по правому берегу реки Юмиж. Длина реки составляет 10 км.\nТекст 2: Юмиж (устар. \"Юмыж, Юмеж, Устюмеж\") — река в России, протекающая по трём районам Архангельской области: Устьянскому, Шенкурскому и Верхнетоемскому. Является левым притоком реки Северная Двина. В списке Двинских земель (XV век) ростовского князя Фёдора Андреевича, река упоминается как \"Юмыш\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Санкт-Петербург", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место, в котором появился на свет человек, снявший фильм \"Шофёр поневоле\"?", + "support_text": "'Шофёр поневоле' — советский полнометражный цветной художественный фильм-комедия, поставленный на киностудии 'Ленфильм' в году режиссёром Надеждой Кошеверовой. Премьера фильма на телевидении состоялась 28 сентября 1958 года.\n\nСъёмочная группа.\n*Авторы сценария — Сергей Михалков, Климентий Минц. *Текст песни — Натальи Кончаловской. *Режиссёр-постановщик — Надежда Кошеверова. *Главный оператор — Евгений Шапиро.", + "text": "Надежда Николаевна Кошеверова ( Санкт-Петербург, Российская империя — 22 февраля 1989, Москва, СССР) — советский кинорежиссёр-сказочник. Заслуженный деятель искусств РСФСР (1966)." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 32, + "segment": "Санкт-Петербург" + } + ], + "meta": { + "id": 88, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 361, + "segment": "Надежда Кошеверова" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Шофёр поневоле' — советский полнометражный цветной художественный фильм-комедия, поставленный на киностудии 'Ленфильм' в году режиссёром Надеждой Кошеверовой. Премьера фильма на телевидении состоялась 28 сентября 1958 года.\n\nСъёмочная группа.\n*Авторы сценария — Сергей Михалков, Климентий Минц. *Текст песни — Натальи Кончаловской. *Режиссёр-постановщик — Надежда Кошеверова. *Главный оператор — Евгений Шапиро.\nТекст 2: Надежда Николаевна Кошеверова ( Санкт-Петербург, Российская империя — 22 февраля 1989, Москва, СССР) — советский кинорежиссёр-сказочник. Заслуженный деятель искусств РСФСР (1966).\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется место, в котором появился на свет человек, снявший фильм \"Шофёр поневоле\"? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, питающаяся от реки, притоком которой является Кокуйка, называется Ница.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Кокуйка?", + "support_text": "Кокуйка — река в России, протекает по Свердловской области. Устье реки находится в 231 км по правому берегу реки Ница. Длина реки составляет 16 км. Система водного объекта: Ница → Тура → Тобол → Иртыш → Обь → Карское море.", + "text": "Ница, Ница — река в Свердловской области России, правый приток Туры (бассейн Оби). Образуется при слиянии рек Нейва и Реж. Длина — 262 км (с рекой Нейва — 556 км), площадь бассейна — 22 300 кв км.\n\nПримечания.\nБассейн Туры." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 63, + "segment": "Туры" + }, + { + "label": "passage", + "length": 4, + "offset": 63, + "segment": "Тура" + } + ], + "meta": { + "id": 757, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 113, + "segment": "Ница" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Кокуйка — река в России, протекает по Свердловской области. Устье реки находится в 231 км по правому берегу реки Ница. Длина реки составляет 16 км. Система водного объекта: Ница → Тура → Тобол → Иртыш → Обь → Карское море.\nТекст 2: Ница, Ница — река в Свердловской области России, правый приток Туры (бассейн Оби). Образуется при слиянии рек Нейва и Реж. Длина — 262 км (с рекой Нейва — 556 км), площадь бассейна — 22 300 кв км.\n\nПримечания.\nБассейн Туры.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Кокуйка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Большой совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Джованни Медичи (1567—1621)?", + "support_text": "Джованни Медичи ( 13 мая 1567, Флоренция, Флорентийская республика — 19 июля 1621, Мурано, Венецианская республика) — дон, нетитулованный испанский гранд. Незаконнорожденный сын Козимо I, великого герцога Тосканcкого из дома Медичи. Военный, дипломат и меценат. Писатель и архитектор, известный астролог и алхимик.\n\nБиография.\nВ 1605 году, недовольный уровнем жалования, оставил армию Филиппа III и предложил свои услуги при дворах в Лондоне и Париже. Он переехал во Францию, где поступил на службу к племяннице-королеве. Фердинандо I снова назначил его послом при дворе в Мадриде, но Джованни отказался. Однако его служба при дворе в Париже была недолгой из-за интриг фаворита племянницы. В 1608 году он поступил на службу Венецианской республике. Осенью 1610 года получил звание генерала.", + "text": "Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей.\n\nИстория.\nВнутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство)." + }, + "outputs": [ + { + "label": "passage", + "length": 13, + "offset": 638, + "segment": "Большой совет" + } + ], + "meta": { + "id": 994, + "bridge_answers": [ + { + "label": "passage", + "length": 23, + "offset": 92, + "segment": "Венецианская республика" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Джованни Медичи ( 13 мая 1567, Флоренция, Флорентийская республика — 19 июля 1621, Мурано, Венецианская республика) — дон, нетитулованный испанский гранд. Незаконнорожденный сын Козимо I, великого герцога Тосканcкого из дома Медичи. Военный, дипломат и меценат. Писатель и архитектор, известный астролог и алхимик.\n\nБиография.\nВ 1605 году, недовольный уровнем жалования, оставил армию Филиппа III и предложил свои услуги при дворах в Лондоне и Париже. Он переехал во Францию, где поступил на службу к племяннице-королеве. Фердинандо I снова назначил его послом при дворе в Мадриде, но Джованни отказался. Однако его служба при дворе в Париже была недолгой из-за интриг фаворита племянницы. В 1608 году он поступил на службу Венецианской республике. Осенью 1610 года получил звание генерала.\nТекст 2: Светлейшая Республика Венеция (Республика Святого Марка; , , или \"Венеційская\") — с конца VII века по 1797 год республика в Европе со столицей в городе Венеция. Располагалась в северо-восточной части территории современной Италии, имела колонии на берегах Адриатического моря, в бассейнах Эгейского, Мраморного и Чёрного морей.\n\nИстория.\nВнутри республики неоднократно возникала борьба между демократической и аристократической партиями. Некоторые даже изъявляли желание превратить пожизненное правление дожей в наследственную монархию. После одного из восстаний, в котором погиб дож Витале II Микьель, в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти и сильно ограничивал могущество дожей. Созываемое с начала республики общее народное собрание стало с тех пор созываться лишь в исключительных случаях и в 1423 году было распущено. Под господством аристократии были выработаны законодательство республики и её административное устройство. Вследствие этого, по заключении предварительных мирных условий с Австрией, Бонапарт объявил республике войну. Тщетно пыталась она уступчивостью и переменой конституции склонить победителя на милость. Последний дож, Лодовико Манин, и Большой совет принуждены были 12 мая 1797 года подписать своё отречение. Затем, 16 мая, город Венеция был без сопротивления занят французами. Мирным договором, заключённым в Кампо-Формио 17 октября 1797 года, венецианская территория по левую сторону Эча, вместе с Истрией и Далмацией была предоставлена Австрии, между тем, как область по правую сторону Эча присоединена к Цизальпинской республике (впоследствии Итальянское королевство).\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Джованни Медичи (1567—1621)? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 671, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Иксель", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место, где родился человек, обучавший Ле Корбюзье?", + "support_text": "Ле Корбюзье ( настоящее имя и фамилия Шарль-Эдуар Жаннере-Гри (); 6 октября 1887, Ла-Шо-де-Фон, Швейцария — 27 августа 1965, Рокебрюн-Кап-Мартен, Франция) — французский архитектор швейцарского происхождения, пионер архитектурного модернизма и функционализма, представитель архитектуры интернационального стиля, художник и дизайнер.\n\nБиография и творческая деятельность.\nОколо полугода Жаннере находился в Вене, где был занят новыми двумя проектами жилых домов для Шо-де-Фона, изучал архитектуру венского сецессиона, встречался с художниками и архитекторами этого города, в частности с очень популярным тогда Йозефом Хофманом. Увидев рисунки, сделанные Жаннере в путешествии, Хофман предложил ему работать у него в мастерской, от чего тот отказался, поскольку полагал, что сецессион (или стиль модерн, как его называют в России) уже не отвечает современным задачам. Путешествие завершилось в Париже, где Жаннере провёл более двух лет, работая стажёром-чертёжником в бюро архитекторов братьев Огюста и Густава Перре (1908—1910), новаторов, пропагандировавших недавно открытый железобетон. В 1910-м около полугода стажируется (вместе с Людвигом Мис ван Дер Роэ и Вальтером Гропиусом) в мастерской известного немецкого мастера архитектуры Петера Беренса в Нойбабельсберге под Берлином. Позже с целью самообразования Жаннере предпринял ещё одно путешествие, на Восток (1911) — по Австро-Венгрии, Балканам (в том числе по Греции) и Малой Азии, где он имел возможность изучать древние памятники, фольклор и традиционное народное строительство Средиземноморья.", + "text": "Огюст Перре ( 12 февраля 1874 года, Иксель, Бельгия — 25 февраля 1954 года, Париж, Франция) — французский архитектор, пионер и лидер в строительстве из железобетона, предприниматель, педагог. Центр города Гавр, почти полностью разрушенный во время Второй мировой войны и восстановленный под руководством Перре, в 2005 году был объявлен объектом Всемирного наследия ЮНЕСКО.\n\nБиография.\nРодился в бельгийском городе Иксель, семье каменотёса, имевшего успешный бизнес в Париже. Изучал архитектуру в Школе изящных искусств в Париже, делал большие успехи, но покинул её не получив диплома и стал работать в семейном деле. В 1904 году построил жилой дом по адресу \"25bis, rue Benjamin Franklin\" в Париже, который, вероятно, стал первым жилым домом, построенным из железобетона." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 37, + "segment": "Иксель" + } + ], + "meta": { + "id": 403, + "bridge_answers": [ + { + "label": "passage", + "length": 22, + "offset": 995, + "segment": "Огюста и Густава Перре" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Ле Корбюзье ( настоящее имя и фамилия Шарль-Эдуар Жаннере-Гри (); 6 октября 1887, Ла-Шо-де-Фон, Швейцария — 27 августа 1965, Рокебрюн-Кап-Мартен, Франция) — французский архитектор швейцарского происхождения, пионер архитектурного модернизма и функционализма, представитель архитектуры интернационального стиля, художник и дизайнер.\n\nБиография и творческая деятельность.\nОколо полугода Жаннере находился в Вене, где был занят новыми двумя проектами жилых домов для Шо-де-Фона, изучал архитектуру венского сецессиона, встречался с художниками и архитекторами этого города, в частности с очень популярным тогда Йозефом Хофманом. Увидев рисунки, сделанные Жаннере в путешествии, Хофман предложил ему работать у него в мастерской, от чего тот отказался, поскольку полагал, что сецессион (или стиль модерн, как его называют в России) уже не отвечает современным задачам. Путешествие завершилось в Париже, где Жаннере провёл более двух лет, работая стажёром-чертёжником в бюро архитекторов братьев Огюста и Густава Перре (1908—1910), новаторов, пропагандировавших недавно открытый железобетон. В 1910-м около полугода стажируется (вместе с Людвигом Мис ван Дер Роэ и Вальтером Гропиусом) в мастерской известного немецкого мастера архитектуры Петера Беренса в Нойбабельсберге под Берлином. Позже с целью самообразования Жаннере предпринял ещё одно путешествие, на Восток (1911) — по Австро-Венгрии, Балканам (в том числе по Греции) и Малой Азии, где он имел возможность изучать древние памятники, фольклор и традиционное народное строительство Средиземноморья.\nТекст 2: Огюст Перре ( 12 февраля 1874 года, Иксель, Бельгия — 25 февраля 1954 года, Париж, Франция) — французский архитектор, пионер и лидер в строительстве из железобетона, предприниматель, педагог. Центр города Гавр, почти полностью разрушенный во время Второй мировой войны и восстановленный под руководством Перре, в 2005 году был объявлен объектом Всемирного наследия ЮНЕСКО.\n\nБиография.\nРодился в бельгийском городе Иксель, семье каменотёса, имевшего успешный бизнес в Париже. Изучал архитектуру в Школе изящных искусств в Париже, делал большие успехи, но покинул её не получив диплома и стал работать в семейном деле. В 1904 году построил жилой дом по адресу \"25bis, rue Benjamin Franklin\" в Париже, который, вероятно, стал первым жилым домом, построенным из железобетона.\nОпираясь на данные тексты, ответьте на вопрос: Как называется место, где родился человек, обучавший Ле Корбюзье?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 631, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нерусса", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Сев?", + "support_text": "Сев — река в Курской и Брянской областях России. Ранее начиналась от слияния ручья Хатуша и ручья Романовский; ныне вытекает из образованного ими пруда. Притоки: Горькая Яблоня, Васько, Сосница, Стенега, Лемешовка, Уль, Тара. Впадает в реку Нерусса. От названия реки происходит название города Севск.", + "text": "Нерусса — река в России, протекающая по территории Орловской и Брянской областей. Является левым притоком Десны, в которую впадает напротив города Трубчевска. Длина 161 км, площадь бассейна 5630 кв км. Исток реки находится северо-восточнее города Дмитровска Орловской области, который также расположен на ней. С 1987 года на берегах Неруссы располагается государственный природный биосферный заповедник \"Брянский лес\".\n\nПритоки.\nБассейн Десны. Правые: Локна, Ленча. Левые: Общерица, Несса, Расторог, Усожа, Сев." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 106, + "segment": "Десны" + }, + { + "label": "passage", + "length": 5, + "offset": 106, + "segment": "Десна" + } + ], + "meta": { + "id": 427, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 241, + "segment": "Нерусса" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сев — река в Курской и Брянской областях России. Ранее начиналась от слияния ручья Хатуша и ручья Романовский; ныне вытекает из образованного ими пруда. Притоки: Горькая Яблоня, Васько, Сосница, Стенега, Лемешовка, Уль, Тара. Впадает в реку Нерусса. От названия реки происходит название города Севск.\nТекст 2: Нерусса — река в России, протекающая по территории Орловской и Брянской областей. Является левым притоком Десны, в которую впадает напротив города Трубчевска. Длина 161 км, площадь бассейна 5630 кв км. Исток реки находится северо-восточнее города Дмитровска Орловской области, который также расположен на ней. С 1987 года на берегах Неруссы располагается государственный природный биосферный заповедник \"Брянский лес\".\n\nПритоки.\nБассейн Десны. Правые: Локна, Ленча. Левые: Общерица, Несса, Расторог, Усожа, Сев.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Сев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " С рекой Самур сливается река, в которую впадает Хулучай.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Хулучай?", + "support_text": "Хулучай (Хулухчай) — река в Азербайджане, протекает по территории Гусарского района. Длина реки составляет 13 км, площадь водосборного бассейна — 30 кв км. Начинается в горах, течёт в общем северо-восточном направлении через сёла Хулух, Гилах, Надшафкенд и через буково-грабовые леса. Устье реки находится в 57 км по правому берегу реки Самур напротив села Мугерган Магарамкентского района Дагестана.", + "text": "Самур ( ; , ) — река в России, в Южном Дагестане; по части русла проходит граница России с Азербайджаном. Является второй по величине рекой в Дагестане, частично пограничной с Азербайджаном. Исток находится в Рутульском районе Дагестана.\n\nГеография.\nСлева. Река Самур берёт начало с отрога Главного Кавказского хребта близ горы Гутон. Площадь ледников в бассейне Самура, по данным на середину XX века, составляла 13,1 кв км, или 0,3 % площади водосбора реки. Впадает в Каспийское море двумя рукавами — Самур и Малый Самур, образуя на последних 20 км обширную дельту. Малый Самур, отделяющийся от главной реки в 22 км от её устья, впадает в море в 5,5 км северо-западнее основного рукава. В Малый Самур слева в 5,0 км от устья по каналу, прорытому в 1935 году, сбрасываются воды реки Гюльгерычай, впадавшей ранее непосредственно в Каспийское море. Длина реки — 213 км, общее падение — 2910 м." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 473, + "segment": "Каспийское море" + } + ], + "meta": { + "id": 843, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 337, + "segment": "Самур" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Хулучай?\nТекст 1: Хулучай (Хулухчай) — река в Азербайджане, протекает по территории Гусарского района. Длина реки составляет 13 км, площадь водосборного бассейна — 30 кв км. Начинается в горах, течёт в общем северо-восточном направлении через сёла Хулух, Гилах, Надшафкенд и через буково-грабовые леса. Устье реки находится в 57 км по правому берегу реки Самур напротив села Мугерган Магарамкентского района Дагестана.\nТекст 2: Самур ( ; , ) — река в России, в Южном Дагестане; по части русла проходит граница России с Азербайджаном. Является второй по величине рекой в Дагестане, частично пограничной с Азербайджаном. Исток находится в Рутульском районе Дагестана.\n\nГеография.\nСлева. Река Самур берёт начало с отрога Главного Кавказского хребта близ горы Гутон. Площадь ледников в бассейне Самура, по данным на середину XX века, составляла 13,1 кв км, или 0,3 % площади водосбора реки. Впадает в Каспийское море двумя рукавами — Самур и Малый Самур, образуя на последних 20 км обширную дельту. Малый Самур, отделяющийся от главной реки в 22 км от её устья, впадает в море в 5,5 км северо-западнее основного рукава. В Малый Самур слева в 5,0 км от устья по каналу, прорытому в 1935 году, сбрасываются воды реки Гюльгерычай, впадавшей ранее непосредственно в Каспийское море. Длина реки — 213 км, общее падение — 2910 м.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 408, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.12121212121212122, + "em": 0 + }, + "predict": " Команда, тренера которой зовут Карлос Де лос Кобос, играет в Лиге МХ, высшем дивизионе страны. Это 'Керетаро', клуб из города Сантьяго-де-Керетаро, штата Керетаро, который в 2012/2013 сезоне был понижен в Ас", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренера которой зовут Карлос Де лос Кобос?", + "support_text": "Карлос де лос Кобос Мартинес ( родился 10 декабря 1958 года в Матаморосе, Мексика) — мексиканский футболист, полузащитник известный по выступлениям за клубы \"Америка\", \"Монтеррей\" и сборной Мексики. Участник Чемпионата мира 1986 года. С 1993 года работает тренером.\n\nКлубная карьера.\nДе лос Кобос воспитанник клуба \"Керетаро\". В 17-летнем возрасте он дебютировал в мексиканской Примере. В 1979 году Карлос перешёл в столичную \"Америку\". С новым клубом он стал чемпионом Мексики. В 1984 году де лос Кобос покинул столицу и без особого успеха выступал за \"Некаксу\" и \"Кобрас\". В 1987 году Карлос вернулся в \"Америку\" и ещё два раза выиграл Примеру и дважды завоевал трофей Чемпион чемпионов. В 1989 году он перешёл в \"Монтеррей\". В 1991 году Карлос стал обладателем Кубка Мексики в составе новой команды. В том же году де лос Кобос вернулся в \"Керетаро\", но уже через год вновь пополнил ряды \"Монтеррея\". На этот раз он помог клубу завоевать Кубок чемпионов КОНКАКАФ. В 1993 году Карлос в третий раз перешёл в \"Керетаро\", где и завершил карьеру.", + "text": "'Керетаро' (), также известный как 'Гальос Бланкос де Керетаро' — мексиканский футбольный клуб из города Сантьяго-де-Керетаро, штата Керетаро. Выступает в Лиге МХ, высшем дивизионе страны.\n\nИстория.\nПо окончании сезона 2012/2013, 'Керетаро' был понижен в Ассенсо МХ, лигу второго дивизиона. Владелец клуба Амадо Яньес заявив, что болельщики заслуживают домашний клуб высшего дивизиона, выкупил и расформировал клуб высшей лиги 'Хагуарес Чьяпас' и использовал его место для возвращения клуба 'Керетаро' в высшую лигу. Самое большое достижение 'Керетаро' в чемпионате Мексики — второе место в чемпионате Клаусуры 2015 года. В следующем году команда завоевала Кубок Мексики (Апертура 2016). В 2017 году 'Керетаро' завоевал Суперкубок Мексики." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 155, + "segment": "Лиге МХ" + }, + { + "label": "passage", + "length": 7, + "offset": 155, + "segment": "Лига МХ" + } + ], + "meta": { + "id": 1051, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 320, + "segment": "Керетаро" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какой лиге играет команда, тренера которой зовут Карлос Де лос Кобос?\nТекст 1: Карлос де лос Кобос Мартинес ( родился 10 декабря 1958 года в Матаморосе, Мексика) — мексиканский футболист, полузащитник известный по выступлениям за клубы \"Америка\", \"Монтеррей\" и сборной Мексики. Участник Чемпионата мира 1986 года. С 1993 года работает тренером.\n\nКлубная карьера.\nДе лос Кобос воспитанник клуба \"Керетаро\". В 17-летнем возрасте он дебютировал в мексиканской Примере. В 1979 году Карлос перешёл в столичную \"Америку\". С новым клубом он стал чемпионом Мексики. В 1984 году де лос Кобос покинул столицу и без особого успеха выступал за \"Некаксу\" и \"Кобрас\". В 1987 году Карлос вернулся в \"Америку\" и ещё два раза выиграл Примеру и дважды завоевал трофей Чемпион чемпионов. В 1989 году он перешёл в \"Монтеррей\". В 1991 году Карлос стал обладателем Кубка Мексики в составе новой команды. В том же году де лос Кобос вернулся в \"Керетаро\", но уже через год вновь пополнил ряды \"Монтеррея\". На этот раз он помог клубу завоевать Кубок чемпионов КОНКАКАФ. В 1993 году Карлос в третий раз перешёл в \"Керетаро\", где и завершил карьеру.\nТекст 2: 'Керетаро' (), также известный как 'Гальос Бланкос де Керетаро' — мексиканский футбольный клуб из города Сантьяго-де-Керетаро, штата Керетаро. Выступает в Лиге МХ, высшем дивизионе страны.\n\nИстория.\nПо окончании сезона 2012/2013, 'Керетаро' был понижен в Ассенсо МХ, лигу второго дивизиона. Владелец клуба Амадо Яньес заявив, что болельщики заслуживают домашний клуб высшего дивизиона, выкупил и расформировал клуб высшей лиги 'Хагуарес Чьяпас' и использовал его место для возвращения клуба 'Керетаро' в высшую лигу. Самое большое достижение 'Керетаро' в чемпионате Мексики — второе место в чемпионате Клаусуры 2015 года. В следующем году команда завоевала Кубок Мексики (Апертура 2016). В 2017 году 'Керетаро' завоевал Суперкубок Мексики.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 556, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05555555555555556, + "em": 0 + }, + "predict": " Сулак. \n\nОбъяснение: В тексте 2 упоминается, что Аварское Койсу является притоком реки Сулака. В то же время, Тобот, как река в Республике Дагестан, протекает в бассейне Сулака, что делает Сулак основным источником питания для Тобота.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Тобот?", + "support_text": "Тобот — река в России, протекает в Республике Дагестан. Устье реки находится в 62 км по левому берегу реки Аварское Койсу в селе Голотль. Длина реки составляет 26 км. На реке водопад в районе села Хунзах.", + "text": "Аварское Койсу (в верховьях — \"Джурмут\") — река в Дагестане, правая составляющая Сулака. Длина реки — 178 км.\n\nТопонимия.\nП. П. Семенов-Тян-Шанский считал, что это название получали реки, которые могли вброд преодолевать бараны. \"Аварское\" означает расположение реки на территории проживания аварцев. До середины XX века название \"Къойсу\" носила река Сулак.\n\nГеография.\nБассейн Сулака. Берёт начало на склоне г. Гутон (Главный Кавказский хребет), течёт, огибая хр. Нукатль, в узкой долине, часто каньоне. Протекая преимущественно в северо-восточном направлении, она сливается с рекой Андийское Койсу в 6 километрах восточнее с. Чиркота, образует реку Сулак. Длина реки 178 км, общее падение 2440 м, площадь водосбора 7660 кв км, средняя его высота 2160 м. Площадь оледенения в бассейне реки составляет 6,8 кв км. Высота истока — 2740 м над уровнем моря." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 81, + "segment": "Сулака" + }, + { + "label": "passage", + "length": 5, + "offset": 81, + "segment": "Сулак" + } + ], + "meta": { + "id": 741, + "bridge_answers": [ + { + "label": "passage", + "length": 14, + "offset": 107, + "segment": "Аварское Койсу" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Тобот — река в России, протекает в Республике Дагестан. Устье реки находится в 62 км по левому берегу реки Аварское Койсу в селе Голотль. Длина реки составляет 26 км. На реке водопад в районе села Хунзах.\nТекст 2: Аварское Койсу (в верховьях — \"Джурмут\") — река в Дагестане, правая составляющая Сулака. Длина реки — 178 км.\n\nТопонимия.\nП. П. Семенов-Тян-Шанский считал, что это название получали реки, которые могли вброд преодолевать бараны. \"Аварское\" означает расположение реки на территории проживания аварцев. До середины XX века название \"Къойсу\" носила река Сулак.\n\nГеография.\nБассейн Сулака. Берёт начало на склоне г. Гутон (Главный Кавказский хребет), течёт, огибая хр. Нукатль, в узкой долине, часто каньоне. Протекая преимущественно в северо-восточном направлении, она сливается с рекой Андийское Койсу в 6 километрах восточнее с. Чиркота, образует реку Сулак. Длина реки 178 км, общее падение 2440 м, площадь водосбора 7660 кв км, средняя его высота 2160 м. Площадь оледенения в бассейне реки составляет 6,8 кв км. Высота истока — 2740 м над уровнем моря.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Тобот?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 366, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Пелым.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Коутья?", + "support_text": "Коутья (\"устар.\" Ковотья) — река в Свердловской области России. Устье реки находится в 220 км по левому берегу реки Пелым. Длина реки составляет 35 км. Система водного объекта: Пелым → Тавда → Тобол → Иртыш → Обь → Карское море.", + "text": "Бассейн Тобола. Пелым (\"Большой Пелым\") — река в северной части Свердловской области, левый приток реки Тавда (бассейн Оби). Пелым, полум (манс.) — студёная (река). Четвёртая по протяженности река Свердловской области." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 104, + "segment": "Тавда" + } + ], + "meta": { + "id": 418, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 116, + "segment": "Пелым" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Коутья (\"устар.\" Ковотья) — река в Свердловской области России. Устье реки находится в 220 км по левому берегу реки Пелым. Длина реки составляет 35 км. Система водного объекта: Пелым → Тавда → Тобол → Иртыш → Обь → Карское море.\nТекст 2: Бассейн Тобола. Пелым (\"Большой Пелым\") — река в северной части Свердловской области, левый приток реки Тавда (бассейн Оби). Пелым, полум (манс.) — студёная (река). Четвёртая по протяженности река Свердловской области.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Коутья?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.11764705882352941, + "em": 0 + }, + "predict": " Глава государства, на которого распространяется юрисдикция Апостольского нунция в Танзании, — это президент Объединённой Республики Танзании.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимает глава государства, на которое распространяется юрисдикция Апостольского нунция в Танзании?", + "support_text": "Апостольский нунций в Объединённой Республике Танзания — дипломатический представитель Святого Престола в Кувейте. Данный дипломатический пост занимает церковно-дипломатический представитель Ватикана в ранге посла. Апостольская нунциатура в Танзании была учреждена на постоянной основе 11 апреля 1968 года. В настоящее время Апостольским нунцием в Танзании является архиепископ Марек Сольчинский, назначенный Папой Франциском 25 апреля 2017 года.", + "text": "Объединённая Республика Танзания ( , или ) — государство в Восточной Африке. Входит в Содружество наций. На севере граничит с Кенией и Угандой, на западе — с Руандой, Бурунди и Демократической Республикой Конго, а на юге — с Замбией, Малави и Мозамбиком. Восточной границей является Индийский океан.\n\nПолитическая структура.\nРеспублика. Глава государства и глава правительства — президент, избираемый населением на 5-летний срок, с возможностью второго срока подряд. 14 декабря 2005 на президентских выборах победу одержал кандидат от правящей Революционной партии, глава МИД Танзании Джакайя Киквете, набрав более 80 % голосов. Его основным соперником был Ибрагим Липумба, кандидат от оппозиционного Гражданского объединённого фронта. В 2015 году Джакайю Киквете сменил на посту президента Джон Магуфули, также кандидат от правящей партии. Хотя ему пришлось столкнуться с серьёзным вызовом от оппозиционного кандидата Эдварда Ловасса, в выборах, состоявшихся 25 октября 2015 года, Магуфули был объявлен победителем президентской гонки: он получил 58 % голосов. Был приведен к присяге 5 ноября 2015 года. Киквете остался на посту лидера Революционной партии. Парламент — однопалатное Государственное собрание (Бунге), 274 депутата, из которых 232 избираются населением на 5-летний срок, 37 женщин-депутатов назначает лично президент, и 5 депутатов назначаются автономным парламентом Занзибара. Политические партии (по результатам выборов в декабре 2005):." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 384, + "segment": "президент" + }, + { + "label": "passage", + "length": 9, + "offset": 384, + "segment": "президента" + } + ], + "meta": { + "id": 1032, + "bridge_answers": [ + { + "label": "passage", + "length": 32, + "offset": 22, + "segment": "Объединённой Республике Танзания" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Апостольский нунций в Объединённой Республике Танзания — дипломатический представитель Святого Престола в Кувейте. Данный дипломатический пост занимает церковно-дипломатический представитель Ватикана в ранге посла. Апостольская нунциатура в Танзании была учреждена на постоянной основе 11 апреля 1968 года. В настоящее время Апостольским нунцием в Танзании является архиепископ Марек Сольчинский, назначенный Папой Франциском 25 апреля 2017 года.\nТекст 2: Объединённая Республика Танзания ( , или ) — государство в Восточной Африке. Входит в Содружество наций. На севере граничит с Кенией и Угандой, на западе — с Руандой, Бурунди и Демократической Республикой Конго, а на юге — с Замбией, Малави и Мозамбиком. Восточной границей является Индийский океан.\n\nПолитическая структура.\nРеспублика. Глава государства и глава правительства — президент, избираемый населением на 5-летний срок, с возможностью второго срока подряд. 14 декабря 2005 на президентских выборах победу одержал кандидат от правящей Революционной партии, глава МИД Танзании Джакайя Киквете, набрав более 80 % голосов. Его основным соперником был Ибрагим Липумба, кандидат от оппозиционного Гражданского объединённого фронта. В 2015 году Джакайю Киквете сменил на посту президента Джон Магуфули, также кандидат от правящей партии. Хотя ему пришлось столкнуться с серьёзным вызовом от оппозиционного кандидата Эдварда Ловасса, в выборах, состоявшихся 25 октября 2015 года, Магуфули был объявлен победителем президентской гонки: он получил 58 % голосов. Был приведен к присяге 5 ноября 2015 года. Киквете остался на посту лидера Революционной партии. Парламент — однопалатное Государственное собрание (Бунге), 274 депутата, из которых 232 избираются населением на 5-летний срок, 37 женщин-депутатов назначает лично президент, и 5 депутатов назначаются автономным парламентом Занзибара. Политические партии (по результатам выборов в декабре 2005):.\nОпираясь на данные тексты, ответьте на вопрос: Что за должность занимает глава государства, на которое распространяется юрисдикция Апостольского нунция в Танзании?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 551, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Гор Шаваршевич Малакян?", + "support_text": "Гор Шаваршевич Малакян ( 12 июня 1994, Ереван, Армения) — армянский футболист, полузащитник клуба \"Пюник\" и сборной Армении. Младший брат Эдгара Малакяна.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 45, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 40, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Гор Шаваршевич Малакян ( 12 июня 1994, Ереван, Армения) — армянский футболист, полузащитник клуба \"Пюник\" и сборной Армении. Младший брат Эдгара Малакяна.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Гор Шаваршевич Малакян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Джордж Болл посвятил свою научную деятельность изучению систематики жесткокрылых, что делает его специалистом в области энтомологии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что изучает наука, которой посвятил себя Джордж Болл?", + "support_text": "Джордж Болл ( 25 сентября 1926, Детройт, штат Мичиган, США — 12 января 2019, Эдмонтон, Канада) — американский энтомолог, специализировавшийся на систематике жесткокрылых. Президент Энтомологического общества Канады.\n\nБиография.\nВ звании рядового первого класса принимал участие в битве за Окинаву. За боевые заслуги получил медаль \"За Азиатско-тихоокеанскую кампанию\", медаль Победы во Второй мировой войне и медаль Пурпурное сердце (медаль). После окончания войны вернулся в университет и получил степень бакалавра биологии в 1949 году. После этого вместе со своим другим поступил Университет Алабамы, а 1950 году получил степень магистра биологии. В 1954 получил степень доктора философии по энтомологии в Корнеллском университете. В этом же году стал доцентом кафедры энтомологии Университете Альберты (Канада), а в 1965 году стал профессором. С 1974 по 1984 год занимал должность заведующего кафедрой. В 1980 году получил золотую медаль Энтомологического общества Канады.", + "text": "Энтомологические коллекции. Энтомологическое снаряжение.\n\nПрактическое значение.\nПрактическое значение насекомых (главным образом, вред) для человека самого и его имущества естественно вызывало многочисленные исследования, имеющие целью изучить свойства и особенности вредных насекомых и отыскать средства для борьбы с ними. Среди насекомых, вредящих непосредственно самому человеку, в особенности обратили на себя внимание те, которые являются разносчиками болезней. Изучение насекомых, вредных культурным растениям, дало важные и интересные результаты не только в практическом, но и в теоретическом отношении (вопросы паразитизма, способов размножения и др.). Практические мероприятия по борьбе с вредными насекомыми часто встречают разнообразные естественные препятствия и являются выполнимыми только при точном знании образа жизни вредителей; подробные биологические исследования и наблюдения над вредными насекомыми дают возможность избежать многих ошибок, основанных на незнакомстве с биологией насекомых. Сами способы борьбы постепенно совершенствуются; в этом отношении особенно важным является изобретение метода опрыскивания растений ядовитыми жидкостями с целью отравления насекомых, нападающих на эти растения. Другой способ борьбы — разведение паразитов вредных насекомых (грибных болезней и паразитических насекомых) со временем также получил важное значение. Практическое значение и развитие энтомологии наглядно выражается в существовании в разных странах большого числа энтомологических обществ и множества специальных журналов и изданий, посвящённых энтомологии. По мере того, как увеличивались знания об образе жизни насекомых, выяснялась чрезвычайная сложность взаимоотношений между отдельными видами насекомых. Особенно интересны как с теоретической, так и с практической точки зрения явления паразитизма и симбиоза, весьма распространённые среди насекомых. Наиболее часто встречается паразитизм среди перепончатокрылых и двукрылых, причём оказывается, что одни паразиты являются строго одноядными, то есть живущими за счёт совершенно определённого вида насекомых, тогда как другие — многоядны; мы находим также множество вторичных паразитов, то есть живущих за счёт паразитов, затем паразитов 3-го и даже 4-го ряда. Обратили на себя внимание явления симбиоза, встречающиеся, главным образом, среди муравьёв и термитов, а именно в сообществе с этими насекомыми живёт множество других насекомых (а также некоторых паукообразных), жизнь которых тесно связана с жизнью их хозяев и у которых существует целый ряд черт в организации, обусловленных приспособлением к совместной жизни (мирмекофилия и термитофилия)." + }, + "outputs": [ + { + "label": "answer", + "length": 9, + "offset": 106, + "segment": "насекомых" + } + ], + "meta": { + "id": 661, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 111, + "segment": "энтомолог" + }, + { + "label": "passage", + "length": 11, + "offset": 699, + "segment": "энтомологии" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Джордж Болл ( 25 сентября 1926, Детройт, штат Мичиган, США — 12 января 2019, Эдмонтон, Канада) — американский энтомолог, специализировавшийся на систематике жесткокрылых. Президент Энтомологического общества Канады.\n\nБиография.\nВ звании рядового первого класса принимал участие в битве за Окинаву. За боевые заслуги получил медаль \"За Азиатско-тихоокеанскую кампанию\", медаль Победы во Второй мировой войне и медаль Пурпурное сердце (медаль). После окончания войны вернулся в университет и получил степень бакалавра биологии в 1949 году. После этого вместе со своим другим поступил Университет Алабамы, а 1950 году получил степень магистра биологии. В 1954 получил степень доктора философии по энтомологии в Корнеллском университете. В этом же году стал доцентом кафедры энтомологии Университете Альберты (Канада), а в 1965 году стал профессором. С 1974 по 1984 год занимал должность заведующего кафедрой. В 1980 году получил золотую медаль Энтомологического общества Канады.\nТекст 2: Энтомологические коллекции. Энтомологическое снаряжение.\n\nПрактическое значение.\nПрактическое значение насекомых (главным образом, вред) для человека самого и его имущества естественно вызывало многочисленные исследования, имеющие целью изучить свойства и особенности вредных насекомых и отыскать средства для борьбы с ними. Среди насекомых, вредящих непосредственно самому человеку, в особенности обратили на себя внимание те, которые являются разносчиками болезней. Изучение насекомых, вредных культурным растениям, дало важные и интересные результаты не только в практическом, но и в теоретическом отношении (вопросы паразитизма, способов размножения и др.). Практические мероприятия по борьбе с вредными насекомыми часто встречают разнообразные естественные препятствия и являются выполнимыми только при точном знании образа жизни вредителей; подробные биологические исследования и наблюдения над вредными насекомыми дают возможность избежать многих ошибок, основанных на незнакомстве с биологией насекомых. Сами способы борьбы постепенно совершенствуются; в этом отношении особенно важным является изобретение метода опрыскивания растений ядовитыми жидкостями с целью отравления насекомых, нападающих на эти растения. Другой способ борьбы — разведение паразитов вредных насекомых (грибных болезней и паразитических насекомых) со временем также получил важное значение. Практическое значение и развитие энтомологии наглядно выражается в существовании в разных странах большого числа энтомологических обществ и множества специальных журналов и изданий, посвящённых энтомологии. По мере того, как увеличивались знания об образе жизни насекомых, выяснялась чрезвычайная сложность взаимоотношений между отдельными видами насекомых. Особенно интересны как с теоретической, так и с практической точки зрения явления паразитизма и симбиоза, весьма распространённые среди насекомых. Наиболее часто встречается паразитизм среди перепончатокрылых и двукрылых, причём оказывается, что одни паразиты являются строго одноядными, то есть живущими за счёт совершенно определённого вида насекомых, тогда как другие — многоядны; мы находим также множество вторичных паразитов, то есть живущих за счёт паразитов, затем паразитов 3-го и даже 4-го ряда. Обратили на себя внимание явления симбиоза, встречающиеся, главным образом, среди муравьёв и термитов, а именно в сообществе с этими насекомыми живёт множество других насекомых (а также некоторых паукообразных), жизнь которых тесно связана с жизнью их хозяев и у которых существует целый ряд черт в организации, обусловленных приспособлением к совместной жизни (мирмекофилия и термитофилия).\nОпираясь на данные тексты, ответьте на вопрос: Что изучает наука, которой посвятил себя Джордж Болл?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 783, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев является главой администрации в городе, где родился Виктор Валерьевич Постников. Виктор Валерьевич Постников родился в Магнитогорске, что является городом в Челябинской области, где также находится Магнитогорский городской округ.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Виктор Валерьевич Постников?", + "support_text": "Виктор Валерьевич Постников (14 января 1992, Магнитогорск, Россия) — российский хоккеист, защитник. В настоящее время является свободным агентом. Сын бывшего тренера магнитогорского \"Металлурга\" Валерия Постникова.\n\nСтатистика.\nШтр . +/−. 2008/09. Металлург-2 Магнитогорск. Первая лига . 2 . 0 .", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии.\n\nАдминистративно-политическое устройство.\nЕвгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 419, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 486, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 45, + "segment": "Магнитогорск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Виктор Валерьевич Постников?\nТекст 1: Виктор Валерьевич Постников (14 января 1992, Магнитогорск, Россия) — российский хоккеист, защитник. В настоящее время является свободным агентом. Сын бывшего тренера магнитогорского \"Металлурга\" Валерия Постникова.\n\nСтатистика.\nШтр . +/−. 2008/09. Металлург-2 Магнитогорск. Первая лига . 2 . 0 .\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии.\n\nАдминистративно-политическое устройство.\nЕвгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05128205128205127, + "em": 0 + }, + "predict": " С рекой Бия сливается река, в которую впадает Тагаза. \n\nОбъяснение: В тексте 2 указано, что Тондошка — это река, впадающая в реку Бия. В тексте 1 Тагаза протекает в область, где также протекает Тондошка, и впадает в Тон", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Тагаза?", + "support_text": "Тагаза — река в России, протекает в Республике Алтай, Алтайском крае. Устье реки находится в 16 км по левому берегу реки Тондошка. Длина реки составляет 14 км.", + "text": "Тондошка — река в России, протекает в Республике Алтай. Устье реки находится в 238 км по правому берегу реки Бия. Длина реки составляет 42 км, площадь водосборного бассейна 209 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Бия, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 109, + "segment": "Бия" + } + ], + "meta": { + "id": 623, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 121, + "segment": "Тондошка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Тагаза?\nТекст 1: Тагаза — река в России, протекает в Республике Алтай, Алтайском крае. Устье реки находится в 16 км по левому берегу реки Тондошка. Длина реки составляет 14 км.\nТекст 2: Тондошка — река в России, протекает в Республике Алтай. Устье реки находится в 238 км по правому берегу реки Бия. Длина реки составляет 42 км, площадь водосборного бассейна 209 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Бия, речной подбассейн реки — Бия и Катунь. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14814814814814814, + "em": 0 + }, + "predict": " Владимир Васильевич Верин родился в Ульяновской области, и её административным центром является город Ульяновск. Губернатором Ульяновской области в 2013 году был Сергей Иванович Морозов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Владимир Васильевич Верин?", + "support_text": "Владимир Васильевич Верин (20 августа 1948, Ульяновская область, РСФСР — 6 сентября 2015, Саратов, Российская Федерация) — советский и российский оперный певец (бас), солист Саратовского академического театра оперы и балета, заслуженный артист России (1994), народный артист России (2005).", + "text": "Ульяновская область — субъект Российской Федерации, входит в состав Приволжского федерального округа. Административный центр — город Ульяновск. Область на востоке граничит с Самарской областью, на юге — с Саратовской областью, на западе — с Пензенской областью и Республикой Мордовия, на севере — с Чувашской Республикой и Республикой Татарстан. Образована 19 января 1943 года Указом Президиума Верховного Совета СССР.\n\nЭкономика.\nЕщё большую привлекательность для международных логистических компаний имеет создаваемая портовая особая экономическая зона, имеющая льготный налоговый и таможенный режимы. На её территории будут сосредоточены складские комплексы, сборочные и авиаремонтные производства. В 2013 году речной порт был огорожен металлическим забором и стал похож на частную пристань. Креативные индустрии. Губернатором С. И. Морозовым инициировано создание в области кластера креативных индустрий. Основную работу по созданию кластера ведёт Фонд \"Ульяновск — культурная столица\". Пилотным проектом кластера стало открытие Культурного-бизнес инкубатора \"Квартал\" (Квартал) — первого в России." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 833, + "segment": "С. И. Морозовым" + }, + { + "label": "passage", + "length": 15, + "offset": 833, + "segment": "С. И. Морозов" + } + ], + "meta": { + "id": 247, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 44, + "segment": "Ульяновская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Владимир Васильевич Верин (20 августа 1948, Ульяновская область, РСФСР — 6 сентября 2015, Саратов, Российская Федерация) — советский и российский оперный певец (бас), солист Саратовского академического театра оперы и балета, заслуженный артист России (1994), народный артист России (2005).\nТекст 2: Ульяновская область — субъект Российской Федерации, входит в состав Приволжского федерального округа. Административный центр — город Ульяновск. Область на востоке граничит с Самарской областью, на юге — с Саратовской областью, на западе — с Пензенской областью и Республикой Мордовия, на севере — с Чувашской Республикой и Республикой Татарстан. Образована 19 января 1943 года Указом Президиума Верховного Совета СССР.\n\nЭкономика.\nЕщё большую привлекательность для международных логистических компаний имеет создаваемая портовая особая экономическая зона, имеющая льготный налоговый и таможенный режимы. На её территории будут сосредоточены складские комплексы, сборочные и авиаремонтные производства. В 2013 году речной порт был огорожен металлическим забором и стал похож на частную пристань. Креативные индустрии. Губернатором С. И. Морозовым инициировано создание в области кластера креативных индустрий. Основную работу по созданию кластера ведёт Фонд \"Ульяновск — культурная столица\". Пилотным проектом кластера стало открытие Культурного-бизнес инкубатора \"Квартал\" (Квартал) — первого в России.\nВопрос: Кто является главой администрации в регионе, где родился Владимир Васильевич Верин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 364, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Сергей Константинович Ситников", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Павел Иванович Крылов?", + "support_text": "Павел Иванович Крылов (1914—1944) — майор Рабоче-крестьянской Красной Армии, участник советско-финской и Великой Отечественной войны, Герой Советского Союза (1940).\n\nБиография.\nПавел Крылов родился 6 мая 1914 года в деревне Иевлево (ныне — Чухломский район Костромской области). После окончания начальной и строительной школ работал водопроводчиком в Ленинграде. В 1936 году Крылов был призван на службу в Рабоче-крестьянскую Красную Армию.", + "text": "Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта. Территория области составляет кв км. Численность населения — чел.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов. Председателем Думы I и II созывов в 1994—2000 гг. избирался Андрей Иванович Бычков." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 588, + "segment": "Ситников Сергей Константинович" + }, + { + "label": "passage", + "length": 30, + "offset": 588, + "segment": "Сергей Константинович Ситников" + } + ], + "meta": { + "id": 250, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 260, + "segment": "Костромской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Павел Иванович Крылов (1914—1944) — майор Рабоче-крестьянской Красной Армии, участник советско-финской и Великой Отечественной войны, Герой Советского Союза (1940).\n\nБиография.\nПавел Крылов родился 6 мая 1914 года в деревне Иевлево (ныне — Чухломский район Костромской области). После окончания начальной и строительной школ работал водопроводчиком в Ленинграде. В 1936 году Крылов был призван на службу в Рабоче-крестьянскую Красную Армию.\nТекст 2: Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома. Другие крупнейшие города области — Буй, Шарья, Нерехта. Территория области составляет кв км. Численность населения — чел.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума. В настоящее время она состоит из 35 депутатов. Председателем Думы I и II созывов в 1994—2000 гг. избирался Андрей Иванович Бычков.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Павел Иванович Крылов? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 372, + "generated_len": [ + 57 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сармако сливается с рекой Малка.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Сармако?", + "support_text": "Сармако — река в республике Кабардино-Балкария. Протекает по территории Зольского района. Устье реки находится в 123 км по правому берегу реки Малка. Длина реки составляет 11 км, площадь водосборного бассейна 16,1 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Западно-Каспийскому бассейновому округу, водохозяйственный участок реки — Малка от истока до Кура-Марьинского канала , речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Реки бассейна Каспийского моря междуречья Терека и Волги. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.", + "text": "Малка ( — тюрк. Свежая рыба) — река в России. Главный левый приток Терека.\n\nГеография.\nС ледников Уллу-чиран, Кара-чаул, Уллу-кол, Микель-чиран, Кынгыр-сырт, Чунгур-чат-чиран стекают небольшие речки Кызыл-кол, Бирджалы-су, Сылтран-Тары-су, Каракая-су и другие безымянные ручьи, которые, сливаясь вместе в районе перевала Кая-эшик, образуют реку Малку. На этом участке выходят на поверхность скальные породы, поэтому ложе реки ступенчатое с четырьмя водопадами высотой от 20 до 40 м. В верховьях Малка — бурная горная река, принимающая множество притоков (26), среди которых наиболее крупными являются Мушта и Кичмалка — левые и Шау-Кол — правый. Выходя на равнину в 65 километрах от устья, Малка, сохраняя общее направление течения на восток, протекает по северной части республики и впадает в Терек недалеко от станицы Екатериноградской. На равнине значительная часть воды (16 % стока) идет на орошение полей Прохладненского района Кабардино-Балкарии, Ставрополья и Северной Осетии. К югу от города Прохладного, примерно на расстоянии 20 км до устья, Малка принимает свой главный правый приток — Баксан. Площадь водосбора Баксана — более половины площади водосбора Малки, расход воды около 85 % стока Малки." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 68, + "segment": "Терека" + }, + { + "label": "passage", + "length": 6, + "offset": 68, + "segment": "Терек" + } + ], + "meta": { + "id": 617, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 143, + "segment": "Малка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Сармако?\nТекст 1: Сармако — река в республике Кабардино-Балкария. Протекает по территории Зольского района. Устье реки находится в 123 км по правому берегу реки Малка. Длина реки составляет 11 км, площадь водосборного бассейна 16,1 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Западно-Каспийскому бассейновому округу, водохозяйственный участок реки — Малка от истока до Кура-Марьинского канала , речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Реки бассейна Каспийского моря междуречья Терека и Волги. По данным геоинформационной системы водохозяйственного районирования территории РФ, подготовленной Федеральным агентством водных ресурсов:.\nТекст 2: Малка ( — тюрк. Свежая рыба) — река в России. Главный левый приток Терека.\n\nГеография.\nС ледников Уллу-чиран, Кара-чаул, Уллу-кол, Микель-чиран, Кынгыр-сырт, Чунгур-чат-чиран стекают небольшие речки Кызыл-кол, Бирджалы-су, Сылтран-Тары-су, Каракая-су и другие безымянные ручьи, которые, сливаясь вместе в районе перевала Кая-эшик, образуют реку Малку. На этом участке выходят на поверхность скальные породы, поэтому ложе реки ступенчатое с четырьмя водопадами высотой от 20 до 40 м. В верховьях Малка — бурная горная река, принимающая множество притоков (26), среди которых наиболее крупными являются Мушта и Кичмалка — левые и Шау-Кол — правый. Выходя на равнину в 65 километрах от устья, Малка, сохраняя общее направление течения на восток, протекает по северной части республики и впадает в Терек недалеко от станицы Екатериноградской. На равнине значительная часть воды (16 % стока) идет на орошение полей Прохладненского района Кабардино-Балкарии, Ставрополья и Северной Осетии. К югу от города Прохладного, примерно на расстоянии 20 км до устья, Малка принимает свой главный правый приток — Баксан. Площадь водосбора Баксана — более половины площади водосбора Малки, расход воды около 85 % стока Малки.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 542, + "generated_len": [ + 57 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательная власть в городе, где умер Степан Агабекович Кеворков, осуществляется ереванским городским советом.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Степан Агабекович Кеворков?", + "support_text": "Степан Агабекович Кеворков (настоящая фамилия — \"Геворкянц\") ( 1903, Москва — 1991, Ереван) — армянский, советский актёр, кинорежиссёр. Народный артист СССР (1970).", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + } + ], + "meta": { + "id": 76, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 85, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Степан Агабекович Кеворков (настоящая фамилия — \"Геворкянц\") ( 1903, Москва — 1991, Ереван) — армянский, советский актёр, кинорежиссёр. Народный артист СССР (1970).\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Как называется законодательный орган города, где умер Степан Агабекович Кеворков?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": [ + 57 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " В стране гражданства Хикматиллы Шухратиллаевича Убайдуллаева, Узбекистане, законодательный орган, осуществляющий законодательную власть, состоит из двух палат: законодательной палаты (нижняя палата) и Сената (верхняя палата).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в стране гражданства Хикматиллы Шухратиллаевича Убайдуллаева?", + "support_text": "Хикматилла Шухратиллаевич Убайдуллаев ( 22 июля 1996, Ташкент, Узбекистан) — узбекистанский журналист, советник председателя Союза молодёжи Узбекистана по антикризисным ситуациям, бывший пресс-секретарь Агентства информации и массовых коммуникаций при Администрации Президента Республики Узбекистан (). Лауреат звания \"Лучший журналист года\" премии Союза Журналистов Узбекистана, специальных премий \"Олтин калам\"(\"Золотое перо\"), Лауреат звания \"Поэт Года\" национальной литературной премии Российского союза писателей.", + "text": "Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством.\n\nПолитическое устройство.\n1 июля 1994 года — введена национальная валюта — сум. Согласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 391, + "segment": "Олий Мажлис" + }, + { + "label": "passage", + "length": 33, + "offset": 391, + "segment": "Олий Мажлис Республики Узбекистан" + } + ], + "meta": { + "id": 973, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 63, + "segment": "Узбекистан" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Хикматилла Шухратиллаевич Убайдуллаев ( 22 июля 1996, Ташкент, Узбекистан) — узбекистанский журналист, советник председателя Союза молодёжи Узбекистана по антикризисным ситуациям, бывший пресс-секретарь Агентства информации и массовых коммуникаций при Администрации Президента Республики Узбекистан (). Лауреат звания \"Лучший журналист года\" премии Союза Журналистов Узбекистана, специальных премий \"Олтин калам\"(\"Золотое перо\"), Лауреат звания \"Поэт Года\" национальной литературной премии Российского союза писателей.\nТекст 2: Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством.\n\nПолитическое устройство.\n1 июля 1994 года — введена национальная валюта — сум. Согласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан.\nВопрос: Какой законодательный орган работает в стране гражданства Хикматиллы Шухратиллаевича Убайдуллаева?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 351, + "generated_len": [ + 57 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Малица сливается с рекой Тверца.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Малица?", + "support_text": "Малица — река в Калининском и Лихославльском районах Тверской области России, левый приток реки Тверца. Длина — 26 км, площадь водосборного бассейна — 238 кв км. Ширина — до 7 м, глубина — до 3 м. В нижнем течении дно каменистое, в лесных местах — заилено.", + "text": "Тверца — река в Тверской области России, левый приток Волги. Длина — 188 км, площадь бассейна — 6510 кв км. Входит в состав Вышневолоцкой водной системы, относится к Верхневолжскому бассейновому округу, частично судоходна. Древние истоки осушены и застроены. По берегам множество памятников археологии и архитектуры.\n\nГидрография.\nВ городской черте последней впадает в Волгу в 3084 км от её устья. Длина — 188 км, площадь бассейна, без учёта водосбора Вышневолоцкого водохранилища, из которого в Тверцу попадает до 80 % стока Цны, — 6510 кв км. По этим показателям река является 16-м по площади бассейна и 26-м по длине притоком Волги. В бассейне насчитывается 269 озёр и водохранилищ суммарной площадью 13,6 кв км; лесистость бассейна составляет 45 %, болотистость — 3 %. Тверца входит в состав Вышневолоцкой водной системы. В верхнем течении Тверца сильно петляет, встречаются перекаты и мели, долина широкая, слабо врезанная, заболоченная, ширина русла — до 20 м, ширина поймы — до 180 м." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 54, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 632, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 54, + "segment": "Волгу" + } + ], + "meta": { + "id": 884, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 96, + "segment": "Тверца" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Малица — река в Калининском и Лихославльском районах Тверской области России, левый приток реки Тверца. Длина — 26 км, площадь водосборного бассейна — 238 кв км. Ширина — до 7 м, глубина — до 3 м. В нижнем течении дно каменистое, в лесных местах — заилено.\nТекст 2: Тверца — река в Тверской области России, левый приток Волги. Длина — 188 км, площадь бассейна — 6510 кв км. Входит в состав Вышневолоцкой водной системы, относится к Верхневолжскому бассейновому округу, частично судоходна. Древние истоки осушены и застроены. По берегам множество памятников археологии и архитектуры.\n\nГидрография.\nВ городской черте последней впадает в Волгу в 3084 км от её устья. Длина — 188 км, площадь бассейна, без учёта водосбора Вышневолоцкого водохранилища, из которого в Тверцу попадает до 80 % стока Цны, — 6510 кв км. По этим показателям река является 16-м по площади бассейна и 26-м по длине притоком Волги. В бассейне насчитывается 269 озёр и водохранилищ суммарной площадью 13,6 кв км; лесистость бассейна составляет 45 %, болотистость — 3 %. Тверца входит в состав Вышневолоцкой водной системы. В верхнем течении Тверца сильно петляет, встречаются перекаты и мели, долина широкая, слабо врезанная, заболоченная, ширина русла — до 20 м, ширина поймы — до 180 м.\nВопрос: С какой рекой сливается река, в которую впадает Малица?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 401, + "generated_len": [ + 57 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Сенат (сенат)", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Бернар Эйвельманс?", + "support_text": "Бернар Эйвельманс ( ) — франко-бельгийский зоолог и писатель, известный как один из создателей криптозоологии.", + "text": "Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( )." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 494, + "segment": "парламентом" + }, + { + "label": "passage", + "length": 11, + "offset": 494, + "segment": "парламент" + } + ], + "meta": { + "id": 783, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 32, + "segment": "бельгийский" + }, + { + "label": "passage", + "length": 18, + "offset": 25, + "segment": "франко-бельгийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Бернар Эйвельманс ( ) — франко-бельгийский зоолог и писатель, известный как один из создателей криптозоологии.\nТекст 2: Бельгия ( МФА: ; , МФА: , , МФА: ), полная официальная форма — Королевство Бельгия или Королевство Бельгии — государство, находящееся на северо-западе Европы. Площадь — 30 528 кв км, численность населения — 11 414 214 человек. Столица — Брюссель. Граничит на севере с Нидерландами, на востоке — с Германией, на юго-востоке — с Люксембургом, и с Францией — на юге и западе. Омывается Северным морем на северо-западе.\n\nПолитическое устройство.\nТакже состав правительства должен быть утверждён парламентом. Конституция требует соблюдения в правительстве языкового паритета: половина министров должна быть представителями нидерландскоязычного сообщества, половина — представителями франкоязычного сообщества. Федеральный парламент — двухпалатный. Нижняя палата парламента — палата представителей ( ), верхняя палата — сенат ( ).\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Бернар Эйвельманс? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": [ + 57 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валентин Георгиевич Марамыгин?", + "support_text": "Валентин Георгиевич Марамыгин (1 января 1948, Казань) — советский футболист, защитник и полузащитник. Сыграл более 300 матчей за казанский \"Рубин\".", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 757, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 174, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 46, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Валентин Георгиевич Марамыгин (1 января 1948, Казань) — советский футболист, защитник и полузащитник. Сыграл более 300 матчей за казанский \"Рубин\".\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО. Город Трудовой доблести.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Валентин Георгиевич Марамыгин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": [ + 57 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " двухпалатный парламент", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в государстве, гражданином которого является Гнохере Кризо?", + "support_text": "Гнохере (Ньоре) Кризо ( 20 июня 1997 года; Сайюа, Кот-д’Ивуар) — ивуарийский футболист, нападающий. С января 2017 года игрок ташкентского клуба \"Локомотив\". Играл в футбольной академии итальянского \"Интера\". Вторую половину 2015 и первую половину 2016 года провёл в белорусском \"Слуцке\", а вторую половину в молдавском \"Саксане\". В январе 2017 года перешёл в узбекистанский \"Локомотив\".", + "text": "Рельеф Кот-д’Ивуара. Республика Кот-д’Ивуар ( ) — государство в Западной Африке. Граничит с Либерией, Гвинеей, Мали, Буркина-Фасо и Ганой, с юга омывается водами Гвинейского залива Атлантического океана. До 1960 года — колония Франции.\n\nПолитический строй.\nКот-д’Ивуар — президентская республика. Президент страны избирается прямым голосованием сроком на 5 лет с возможностью переизбрания один раз. Он обладает всей полнотой исполнительной власти, назначает и отстраняет премьер-министра. Президент обладает законодательной инициативой наряду с двухпалатным парламентом. Согласно Economist Intelligence Unit страна в 2018 была классифицирована по индексу демократии как гибридный режим." + }, + "outputs": [ + { + "label": "answer", + "length": 80, + "offset": 492, + "segment": "Президент обладает законодательной инициативой наряду с двухпалатным парламентом" + } + ], + "meta": { + "id": 996, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 67, + "segment": "ивуарийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Гнохере (Ньоре) Кризо ( 20 июня 1997 года; Сайюа, Кот-д’Ивуар) — ивуарийский футболист, нападающий. С января 2017 года игрок ташкентского клуба \"Локомотив\". Играл в футбольной академии итальянского \"Интера\". Вторую половину 2015 и первую половину 2016 года провёл в белорусском \"Слуцке\", а вторую половину в молдавском \"Саксане\". В январе 2017 года перешёл в узбекистанский \"Локомотив\".\nТекст 2: Рельеф Кот-д’Ивуара. Республика Кот-д’Ивуар ( ) — государство в Западной Африке. Граничит с Либерией, Гвинеей, Мали, Буркина-Фасо и Ганой, с юга омывается водами Гвинейского залива Атлантического океана. До 1960 года — колония Франции.\n\nПолитический строй.\nКот-д’Ивуар — президентская республика. Президент страны избирается прямым голосованием сроком на 5 лет с возможностью переизбрания один раз. Он обладает всей полнотой исполнительной власти, назначает и отстраняет премьер-министра. Президент обладает законодательной инициативой наряду с двухпалатным парламентом. Согласно Economist Intelligence Unit страна в 2018 была классифицирована по индексу демократии как гибридный режим.\nОпираясь на факты в данных текстах, ответьте на вопрос: Какой законодательный орган принимает законы в государстве, гражданином которого является Гнохере Кризо? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 374, + "generated_len": [ + 57 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " Юрий Парахин является главой администрации в городе Орёл, где родился Владимир Алексеевич Карлов (невролог).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Владимир Алексеевич Карлов (невролог)?", + "support_text": "Владимир Алексеевич Карлов (род. 5 января 1926 года, Орёл, СССР) — советский и российский , эпилептолог, член-корреспондент РАМН (1997), член-корреспондент РАН (2014).", + "text": "Орёл — город (с 1566) в России, административный центр Орловской области и Орловского района, в который сам не входит. Являясь городом областного значения, образует муниципальное образование городской округ \"город Орёл\".\n\nАдминистративное устройство.\n2010—2012 — Виктор Сафьянов. 2012—2015 — Сергей Ступин. 2015—2020 — Василий Новиков. 2020— — Юрий Парахин. =Главы администрации города (\"сити-менеджеры\") ====. 2012—2015 — Михаил Берников." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 347, + "segment": "Юрий Парахин" + } + ], + "meta": { + "id": 491, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 53, + "segment": "Орёл" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Владимир Алексеевич Карлов (род. 5 января 1926 года, Орёл, СССР) — советский и российский , эпилептолог, член-корреспондент РАМН (1997), член-корреспондент РАН (2014).\nТекст 2: Орёл — город (с 1566) в России, административный центр Орловской области и Орловского района, в который сам не входит. Являясь городом областного значения, образует муниципальное образование городской округ \"город Орёл\".\n\nАдминистративное устройство.\n2010—2012 — Виктор Сафьянов. 2012—2015 — Сергей Ступин. 2015—2020 — Василий Новиков. 2020— — Юрий Парахин. =Главы администрации города (\"сити-менеджеры\") ====. 2012—2015 — Михаил Берников.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Владимир Алексеевич Карлов (невролог)?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Олий Мажлис Республики Узбекистан.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Анзур Хусанович Исмаилов?", + "support_text": "Анзур Хусанович Исмаилов ( 21 апреля 1985, Самарканд) — узбекский футболист, защитник клуба \"Пахтакор\".", + "text": "Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством. Столица — Ташкент.\n\nПолитическое устройство.\nС 15 ноября 1993 года в Республике Узбекистан для защиты внутреннего рынка от избыточной рублёвой массы были введены временные денежные знаки \"сум-купон\", образца 1992 года. 1 июля 1994 года — введена национальная валюта — сум. Согласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан. Политические партии и движения:. 1991 год — Народно-демократическая партия Узбекистана (НДПУ)." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 584, + "segment": "Олий Мажлис" + }, + { + "label": "passage", + "length": 33, + "offset": 584, + "segment": "Олий Мажлис Республики Узбекистан" + } + ], + "meta": { + "id": 673, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 57, + "segment": "узбекский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Анзур Хусанович Исмаилов?\nТекст 1: Анзур Хусанович Исмаилов ( 21 апреля 1985, Самарканд) — узбекский футболист, защитник клуба \"Пахтакор\".\nТекст 2: Узбекистан ( ), Республика Узбекистан — государство, расположенное в центральной части Средней Азии. Узбекистан является нейтральным государством. Столица — Ташкент.\n\nПолитическое устройство.\nС 15 ноября 1993 года в Республике Узбекистан для защиты внутреннего рынка от избыточной рублёвой массы были введены временные денежные знаки \"сум-купон\", образца 1992 года. 1 июля 1994 года — введена национальная валюта — сум. Согласно конституции, Узбекистан — правовое демократическое государство. Глава государства — президент. Высшим государственным представительным органом является Олий Мажлис Республики Узбекистан, осуществляющий законодательную власть. Олий Мажлис республики Узбекистан состоит из двух палат — законодательной палаты (нижняя палата) и Сената (верхняя палата) (Конституция республики Узбекистан, гл. 18, ст. 76). Органом исполнительной власти Республики Узбекистан, обеспечивающим руководство эффективного функционирования экономики, социальной и духовной сферы, исполнение законов, иных решений Олий Мажлиса, Указов и распоряжений Президента Республики Узбекистан является Кабинет Министров Республики Узбекистан. Политические партии и движения:. 1991 год — Народно-демократическая партия Узбекистана (НДПУ).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 344, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Глава администрации в регионе, где родился Николай Николаевич Тараканов, является Ситников Сергей Константинович.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Николай Николаевич Тараканов?", + "support_text": "Николай Николаевич Тараканов (11.12.1922 — 25.05.1964) — заместитель командира 2-й эскадрильи 75-го гвардейского штурмового авиационного полка, гвардии лейтенант. Герой Советского Союза.\n\nБиография.\nРодился 11 декабря 1922 года в деревне Крюково ныне Нерехтского района, Костромской области . Член ВКП(б)/КПСС с 1943 года.", + "text": "Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 464, + "segment": "Ситников Сергей Константинович" + }, + { + "label": "passage", + "length": 30, + "offset": 464, + "segment": "Сергей Константинович Ситников" + } + ], + "meta": { + "id": 248, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 274, + "segment": "Костромской области" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в регионе, где родился Николай Николаевич Тараканов?\nТекст 1: Николай Николаевич Тараканов (11.12.1922 — 25.05.1964) — заместитель командира 2-й эскадрильи 75-го гвардейского штурмового авиационного полка, гвардии лейтенант. Герой Советского Союза.\n\nБиография.\nРодился 11 декабря 1922 года в деревне Крюково ныне Нерехтского района, Костромской области . Член ВКП(б)/КПСС с 1943 года.\nТекст 2: Костромская область — субъект Российской Федерации, входит в Центральный федеральный округ. Административный центр — Кострома.\n\nОрганы власти.\n11 мая 2005 года состоялась инаугурация. Рано утром 20 сентября 2007 года В. А. Шершунов погиб в автокатастрофе в Подмосковье. 25 октября 2007 года на должность губернатора Костромской области назначен Слюняев Игорь Николаевич, полномочия которого были прекращены раньше срока. С 13 апреля 2012 года губернатором стал Ситников Сергей Константинович. Законодательным органом является Костромская областная Дума.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава государства в стране, где была придумана винтовка Крнка, занимал должность Императора.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за должность занимал глава государства в стране, где была придумана винтовка Крнка?", + "support_text": "Винтовка Крнка (в оригинальном написании — \"Крынка\") — однозарядная передельная винтовка системы чешского оружейника, австрийского подданного Сильвестра Крнка, в 1869 году принятая на вооружение в Российской Империи.", + "text": "Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 400, + "segment": "Император Всероссийский" + } + ], + "meta": { + "id": 285, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 197, + "segment": "Российской Империи" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Винтовка Крнка (в оригинальном написании — \"Крынка\") — однозарядная передельная винтовка системы чешского оружейника, австрийского подданного Сильвестра Крнка, в 1869 году принятая на вооружение в Российской Империи.\nТекст 2: Российская империя ( также Всероссийская империя, царская Россия) — государство, существовавшее в период с года до Февральской революции и провозглашения республики в сентябре 1917 года Временным правительством. Располагалась в Восточной Европе, Северной Европе, Северной Азии, Средней Азии и Северной Америке (до 1867 года).\n\nГосударственный строй.\nИмператоры и Самодержцы Всероссийские. Титул Император Всероссийский был принят Петром I года по просьбе Сената после победы в Северной войне и просуществовал до Февральской революции 1917 года. Титул носили 14 человек: 10 мужчин и 4 женщины.\nВопрос: Что за должность занимал глава государства в стране, где была придумана винтовка Крнка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Свияга.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Атяшевка?", + "support_text": "Атяшевка — река в России, протекает в Кузоватовском районе Ульяновской области. Левый приток Свияги.\n\nГеография.\nРека Атяшевка берёт начало севернее железнодорожной станции Налейка. Течёт на восток. Устье реки находится около села Баевка в 363,5 км по левому берегу реки Свияга. Длина реки составляет 11 км, площадь водосборного бассейна — 56,4 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Свияга от истока до села Альшеево, речной подбассейн реки — Волга от впадения Оки до Куйбышевского водохранилища (без бассейна Суры). Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). Код объекта в государственном водном реестре — 08010400512112100001984.", + "text": "Свияга — река в Ульяновской области и Татарстане, правый приток Волги.\n\nГидроним.\nОбщепринятой точки зрения на происхождение названия Свияги нет. Макс Фасмер предполагал связь с русским глаголом \"вить\":. Свияга название нескольких рек: правый приток Волги, в бывш. Казанск." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 64, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 64, + "segment": "Волга" + } + ], + "meta": { + "id": 766, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 93, + "segment": "Свияги" + }, + { + "label": "passage", + "length": 6, + "offset": 274, + "segment": "Свияга" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Атяшевка — река в России, протекает в Кузоватовском районе Ульяновской области. Левый приток Свияги.\n\nГеография.\nРека Атяшевка берёт начало севернее железнодорожной станции Налейка. Течёт на восток. Устье реки находится около села Баевка в 363,5 км по левому берегу реки Свияга. Длина реки составляет 11 км, площадь водосборного бассейна — 56,4 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Свияга от истока до села Альшеево, речной подбассейн реки — Волга от впадения Оки до Куйбышевского водохранилища (без бассейна Суры). Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки). Код объекта в государственном водном реестре — 08010400512112100001984.\nТекст 2: Свияга — река в Ульяновской области и Татарстане, правый приток Волги.\n\nГидроним.\nОбщепринятой точки зрения на происхождение названия Свияги нет. Макс Фасмер предполагал связь с русским глаголом \"вить\":. Свияга название нескольких рек: правый приток Волги, в бывш. Казанск.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Атяшевка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 341, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Алапаиха сливается с Нейвой, которая является притоком реки Туры. Таким образом, Алапаиха сливается с рекой, притоком которой является Нейва.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, притоком которой является Алапаиха?", + "support_text": "Алапаиха — река в России, протекает по Свердловской области. Устье реки находится в 64 км по левому берегу реки Нейва. Длина реки составляет 41 км. Система водного объекта: Нейва → Ница → Тура → Тобол → Иртыш → Обь → Карское море.", + "text": "Слева. Нейва (Невья) — река в Свердловской области России. Сливаясь с рекой Реж, образует реку Ницу — приток реки Туры (бассейн Оби). Длина — 294 км, площадь бассейна — 5600 кв км. Река берёт начало на восточном склоне Среднего Урала, рядом с озером Таватуй, далее проходя через Верх-Нейвинский пруд. На реке имеется ряд водохранилищ — заводских прудов: Верх-Нейвинский, Малый Верх-Нейвинский, Нейво-Рудянский, Невьянский, Петрокаменский, Нейво-Шайтанский, Алапаевский." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 76, + "segment": "Реж" + } + ], + "meta": { + "id": 640, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 112, + "segment": "Нейва" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, притоком которой является Алапаиха?\nТекст 1: Алапаиха — река в России, протекает по Свердловской области. Устье реки находится в 64 км по левому берегу реки Нейва. Длина реки составляет 41 км. Система водного объекта: Нейва → Ница → Тура → Тобол → Иртыш → Обь → Карское море.\nТекст 2: Слева. Нейва (Невья) — река в Свердловской области России. Сливаясь с рекой Реж, образует реку Ницу — приток реки Туры (бассейн Оби). Длина — 294 км, площадь бассейна — 5600 кв км. Река берёт начало на восточном склоне Среднего Урала, рядом с озером Таватуй, далее проходя через Верх-Нейвинский пруд. На реке имеется ряд водохранилищ — заводских прудов: Верх-Нейвинский, Малый Верх-Нейвинский, Нейво-Рудянский, Невьянский, Петрокаменский, Нейво-Шайтанский, Алапаевский.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Президент.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность у главы государства в стране, чьим гражданином был Реза Шекари?", + "support_text": "Реза Шекари ( род. 31 мая 1998, Тегеран, Иран) — иранский футболист, полузащитник клуба \"Трактор Сази\". Игрок молодёжной сборной Ирана.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран.\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 199, + "segment": "Высший руководитель" + }, + { + "label": "passage", + "length": 20, + "offset": 680, + "segment": "Высшего руководителя" + } + ], + "meta": { + "id": 1014, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 50, + "segment": "иранский" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Реза Шекари ( род. 31 мая 1998, Тегеран, Иран) — иранский футболист, полузащитник клуба \"Трактор Сази\". Игрок молодёжной сборной Ирана.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран.\n\nГосударственное устройство.\nВысший руководитель назначает людей на ключевые посты в государстве: председателей судов, руководителя полиции и командующих всеми родами войск, а также шестерых из двенадцати членов Совета стражей конституции. Высший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер.\nОпираясь на данные тексты, ответьте на вопрос: Какая должность у главы государства в стране, чьим гражданином был Реза Шекари? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 409, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Пётр Николаевич Тултаев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Дмитрий Анатольевич Блинов?", + "support_text": "Дмитрий Анатольевич Блинов (род. 25 мая 1987, Саранск) — российский биатлонист. Мастер спорта.", + "text": "Саранск ( ) — город в России, административный центр Республики Мордовия. Вместе с прилегающими сельскими населёнными пунктами образует муниципальное образование со статусом городского округа.\n\nАдминистративно-территориальное устройство.\nКроме районов, существует неофициальное разделение города на части, микрорайоны, жилые массивы. Органы власти. Здание главы городского округа Саранск. Высшим должностным лицом является глава городского округа Саранск, избираемый депутатами на сессии Совета депутатов городского округа Саранск сроком на 5 лет. 19 июня 2012 года главой Администрации городского округа Саранск назначен Пётр Николаевич Тултаев. 1 ноября 2016 года Петр Тултаев избран на должность Главы городского округа Саранск. В Саранске располагается резиденция Главы Республики Мордовия и Правительства Республики Мордовия — Дом Республики. Внешние связи." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 626, + "segment": "Пётр Николаевич Тултаев" + } + ], + "meta": { + "id": 190, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 46, + "segment": "Саранск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дмитрий Анатольевич Блинов (род. 25 мая 1987, Саранск) — российский биатлонист. Мастер спорта.\nТекст 2: Саранск ( ) — город в России, административный центр Республики Мордовия. Вместе с прилегающими сельскими населёнными пунктами образует муниципальное образование со статусом городского округа.\n\nАдминистративно-территориальное устройство.\nКроме районов, существует неофициальное разделение города на части, микрорайоны, жилые массивы. Органы власти. Здание главы городского округа Саранск. Высшим должностным лицом является глава городского округа Саранск, избираемый депутатами на сессии Совета депутатов городского округа Саранск сроком на 5 лет. 19 июня 2012 года главой Администрации городского округа Саранск назначен Пётр Николаевич Тултаев. 1 ноября 2016 года Петр Тултаев избран на должность Главы городского округа Саранск. В Саранске располагается резиденция Главы Республики Мордовия и Правительства Республики Мордовия — Дом Республики. Внешние связи.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Дмитрий Анатольевич Блинов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 271, + "generated_len": [ + 40 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нурмухамбетов, Гауез Торсанович", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Валериан Алексеевич Лебедев?", + "support_text": "Валериан Алексеевич Лебедев — советский и российский учёный-, доктор юридических наук (2000), профессор кафедры теории государства и права, конституционного и административного права Юридического института ЮУрГУ. Главный редактор журнала \"Проблемы права\" (ЮУрГУ).\n\nБиография.\nРодился 12 августа 1953 года в Кустанае (ныне Казахстан). Поступил в Карагандинскую высшую школу МВД СССР, которую окончил в 1974 году, а в 1983 году окончил аспирантуру МГУ.", + "text": "Костанай ( с 1893 до 1895 года \"Николаевск\", с февраля 1895 года до 17 июня 1997 года \"Кустанай\") — город в Казахстане, административный центр Костанайской области. Расположен на северо-западе Казахстана, в северной части Костанайской области. Площадь 244 км2.\n\nГлавы города.\n# Нурмухамбетов, Гауез Торсанович (январь 2008 — февраль 2009),. # Нургалиев, Жомарт Мирасович (февраля 2009 — февраль 2012),. # Нурмухамбетов, Гауез Торсанович (февраль 2012 — июнь 2014),. # Ахметжанов, Ахмедбек Масакбаевич (18 июня 2014 — 10 сентября 2015),. # Жакупов, Базыл Шамуханович (с 23 сентября 2015 — 1 февраля 2019),. # Ахметов, Кайрат Жумашович (с 1 февраля 2019 года)." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 612, + "segment": "Ахметов, Кайрат Жумашович" + }, + { + "label": "passage", + "length": 25, + "offset": 612, + "segment": "Кайрат Жумашович Ахметов" + } + ], + "meta": { + "id": 479, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 310, + "segment": "Кустанае" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Валериан Алексеевич Лебедев — советский и российский учёный-, доктор юридических наук (2000), профессор кафедры теории государства и права, конституционного и административного права Юридического института ЮУрГУ. Главный редактор журнала \"Проблемы права\" (ЮУрГУ).\n\nБиография.\nРодился 12 августа 1953 года в Кустанае (ныне Казахстан). Поступил в Карагандинскую высшую школу МВД СССР, которую окончил в 1974 году, а в 1983 году окончил аспирантуру МГУ.\nТекст 2: Костанай ( с 1893 до 1895 года \"Николаевск\", с февраля 1895 года до 17 июня 1997 года \"Кустанай\") — город в Казахстане, административный центр Костанайской области. Расположен на северо-западе Казахстана, в северной части Костанайской области. Площадь 244 км2.\n\nГлавы города.\n# Нурмухамбетов, Гауез Торсанович (январь 2008 — февраль 2009),. # Нургалиев, Жомарт Мирасович (февраля 2009 — февраль 2012),. # Нурмухамбетов, Гауез Торсанович (февраль 2012 — июнь 2014),. # Ахметжанов, Ахмедбек Масакбаевич (18 июня 2014 — 10 сентября 2015),. # Жакупов, Базыл Шамуханович (с 23 сентября 2015 — 1 февраля 2019),. # Ахметов, Кайрат Жумашович (с 1 февраля 2019 года).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Валериан Алексеевич Лебедев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.25, + "em": 0 + }, + "predict": " Вули Аршакович Григорян родился в Ереване, столице Армении. В городе Ереван законодательная власть осуществляется через ереванский городской совет, возглавляемый мэром города.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Вули Аршакович Григорян?", + "support_text": "Вули Аршакович Григорян (17 марта 1924 года, Ереван — 2015 год, Москва) — советский и российский учёный-, специалист по электросталеплавильному производству и жаропрочным сплавам. Доктор технических наук, профессор кафедры электрометаллургии стали и ферросплавов МИСиС.\n\nБиография.\nВули Аршакович Григорян родился 17 марта 1924 г. в Ереване. После смерти отца в 1928 г. семья переехала в Москву. В августе 1941 г. поступил в Московский институт стали.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 342, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 299, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 45, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Вули Аршакович Григорян (17 марта 1924 года, Ереван — 2015 год, Москва) — советский и российский учёный-, специалист по электросталеплавильному производству и жаропрочным сплавам. Доктор технических наук, профессор кафедры электрометаллургии стали и ферросплавов МИСиС.\n\nБиография.\nВули Аршакович Григорян родился 17 марта 1924 г. в Ереване. После смерти отца в 1928 г. семья переехала в Москву. В августе 1941 г. поступил в Московский институт стали.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Вули Аршакович Григорян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 287, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Давид Вазгенович Мнацаканян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Давид Вазгенович Мнацаканян?", + "support_text": "Давид Вазгенович Мнацаканян ( род. 31 октября 1949, Ереван, Армянская ССР, СССР) — советский и российский дипломат и композитор. Имеет дипломатический ранг Чрезвычайного и Полномочного Посланника 2 класса.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 49, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 53, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Давид Вазгенович Мнацаканян ( род. 31 октября 1949, Ереван, Армянская ССР, СССР) — советский и российский дипломат и композитор. Имеет дипломатический ранг Чрезвычайного и Полномочного Посланника 2 класса.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nВопрос: Как называется законодательный орган города, где родился Давид Вазгенович Мнацаканян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Николай Григорьевич Чунтонов?", + "support_text": "Николай Григорьевич Чунтонов (1925—1977) — участник Великой Отечественной войны, наводчик орудия артиллерийского дивизиона 71-й механизированной бригады (9-й механизированный корпус, 3-я гвардейская танковая армия, 1-й Украинский фронт), младший сержант. Герой Советского Союза.\n\nБиография.\nРодился 22 мая 1922 года в Казани. После окончания школы он работал слесарем на заводе в городе Чимкенте в Казахстане. В Красную Армию был призван в январе 1943 года. После окончания военного пехотного училища был отправлен на фронт, служил наводчиком орудия в артиллерийском дивизионе.\n\nПамять.\nИмя Николая Григорьевича носит улица Чунтонова в Приволжском районе Казани. В Москве на доме, где жил Герой, установлена мемориальная доска.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 435, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 528, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 321, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Николай Григорьевич Чунтонов (1925—1977) — участник Великой Отечественной войны, наводчик орудия артиллерийского дивизиона 71-й механизированной бригады (9-й механизированный корпус, 3-я гвардейская танковая армия, 1-й Украинский фронт), младший сержант. Герой Советского Союза.\n\nБиография.\nРодился 22 мая 1922 года в Казани. После окончания школы он работал слесарем на заводе в городе Чимкенте в Казахстане. В Красную Армию был призван в январе 1943 года. После окончания военного пехотного училища был отправлен на фронт, служил наводчиком орудия в артиллерийском дивизионе.\n\nПамять.\nИмя Николая Григорьевича носит улица Чунтонова в Приволжском районе Казани. В Москве на доме, где жил Герой, установлена мемориальная доска.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nМэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Николай Григорьевич Чунтонов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 398, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.1621621621621622, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе Горловка, где умер Степан Владимирович Судейко, — это Горловский городской совет. Это городской совет является высшим исполнительным и распорядительным органом местного самоуправления в городе Горловка Донецкой области Украины.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где умер Степан Владимирович Судейко?", + "support_text": "Степан Владимирович Судейко (1905 год, Щербиновский рудник, Екатеринославская губерния — 1976 год, Горловка, Донецкая область, Украинская ССР) — украинский коммунистический деятель, организатор производства, 1-й секретарь Горловского горкома Компартии Украины, Донецкая область, Украинская ССР. Герой Социалистического Труда (1957). Депутат Верховного Совета УССР 2 — 4 созывов. Член Ревизионной комиссии ЦК КПУ (1954—1960).\n\nБиография.\nС апреля 1927 года — секретарь Зализнянского районного комитета ЛКСМУ Артёмовского округа. С 1928 года находился на советской и партийной работе в Горловке. Учился на рабочем факультете, заочно окончил советскую партийную школу. С 1936 по 1938 год — секретарь партийного бюро Горловского ртутного комбината, инструктор Горловского городского комитета КП(б) У Донецкой области. С 1938 по 1941 год — председатель исполнительного комитета Горловского городского совета депутатов трудящихся Сталинской области. Участвовал в Великой Отечественной войне. Служил политруком.", + "text": "Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\nИмеется 3 административных района:. # Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять." + }, + "outputs": [ + { + "label": "passage", + "length": 26, + "offset": 339, + "segment": "Горловский городской совет" + } + ], + "meta": { + "id": 730, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 99, + "segment": "Горловка" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Что за законодательный орган работает в городе, где умер Степан Владимирович Судейко?\nТекст 1: Степан Владимирович Судейко (1905 год, Щербиновский рудник, Екатеринославская губерния — 1976 год, Горловка, Донецкая область, Украинская ССР) — украинский коммунистический деятель, организатор производства, 1-й секретарь Горловского горкома Компартии Украины, Донецкая область, Украинская ССР. Герой Социалистического Труда (1957). Депутат Верховного Совета УССР 2 — 4 созывов. Член Ревизионной комиссии ЦК КПУ (1954—1960).\n\nБиография.\nС апреля 1927 года — секретарь Зализнянского районного комитета ЛКСМУ Артёмовского округа. С 1928 года находился на советской и партийной работе в Горловке. Учился на рабочем факультете, заочно окончил советскую партийную школу. С 1936 по 1938 год — секретарь партийного бюро Горловского ртутного комбината, инструктор Горловского городского комитета КП(б) У Донецкой области. С 1938 по 1941 год — председатель исполнительного комитета Горловского городского совета депутатов трудящихся Сталинской области. Участвовал в Великой Отечественной войне. Служил политруком.\nТекст 2: Горловка — город областного подчинения в Донецкой области Украины. С апреля 2014 года контролируется самопровозглашённой Донецкой Народной Республикой.\n\nАдминистративное деление.\nИмеется 3 административных района:. # Калининский район. # Никитовский район. # Центрально-Городской район. О подчинённых населённых пунктах смотри в статье Горловский городской совет. В городе имеются Комитеты самоорганизации населения — в Никитовском районе их шесть, в Калининском – тринадцать, в Центрально-Городском – десять.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 409, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.11764705882352941, + "em": 0 + }, + "predict": " Аршак Семёнович Александров родился в Батуме, который в 1936 году был переименован в Аджарию. В городе Аджария, где родился Аршак Семёнович Александров, с 13 ноября 2017 года главой администрации является Лаша Комахидзе.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Аршак Семёнович Александров?", + "support_text": "Аршак Семёнович Александров (1881, Батум Российская империя — 1957, Москва) — революционер, советский партийный деятель, ректор ЛЭТИ (1932—1934).", + "text": "Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария.\n\nОрганы власти.\nАбашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 333, + "segment": "Лаша Комахидзе" + } + ], + "meta": { + "id": 173, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 35, + "segment": "Батум" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Аршак Семёнович Александров (1881, Батум Российская империя — 1957, Москва) — революционер, советский партийный деятель, ректор ЛЭТИ (1932—1934).\nТекст 2: Батуми ( батуми, до 1936 года — Батум) — город и порт в Грузии, расположенный у побережья Чёрного моря. Столица автономной республики Аджария.\n\nОрганы власти.\nАбашидзе, Георгий Асланович — с 2000 года по 5 мая 2004 года. Чхаидзе, Роберт — с 2007 года по 2012 год. Ермаков, Георгий — с 13 февраля 2014 года по 13 ноября 2017 года. Лаша Комахидзе — с 13 ноября 2017 года.\nВопрос: Кто является главой администрации в городе, где родился Аршак Семёнович Александров?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Стариковка впадает в реку Печора.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Большая Стариковка?", + "support_text": "Большая Стариковка — река в России, течёт по территории Троицко-Печорского района Республики Коми. Устье реки находится в 1545 км по правому берегу Печоры. Длина реки составляет 15 км. Площадь водосборного бассейна — 57 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора. Код объекта в государственном водном реестре — 03050100112103000058099.", + "text": "Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nПосле устья реки Усы поворачивает на запад, образуя широкое колено с двумя большими излучинами. Ширина русла здесь достигает 2 км, в долине появляются обширные пойменные луга. В районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 642, + "segment": "Печорскую губу" + }, + { + "label": "passage", + "length": 15, + "offset": 657, + "segment": "Печорского моря" + } + ], + "meta": { + "id": 1045, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 148, + "segment": "Печоры" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Большая Стариковка — река в России, течёт по территории Троицко-Печорского района Республики Коми. Устье реки находится в 1545 км по правому берегу Печоры. Длина реки составляет 15 км. Площадь водосборного бассейна — 57 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от истока до водомерного поста у посёлка Шердино, речной подбассейн реки — Бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора. Код объекта в государственном водном реестре — 03050100112103000058099.\nТекст 2: Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nПосле устья реки Усы поворачивает на запад, образуя широкое колено с двумя большими излучинами. Ширина русла здесь достигает 2 км, в долине появляются обширные пойменные луга. В районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина.\nВопрос: В какую реку впадает река, притоком которой является Большая Стариковка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 404, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.09090909090909091, + "em": 0 + }, + "predict": " Владимир Иванович Жарков умер в городе Мариуполь, Донецкой области Украины. Законодательный орган, принимающий законы в Мариуполе, является Мариупольский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Владимир Иванович Жарков?", + "support_text": "Владимир Иванович Жарков (8 ноября 1928, Большое Шереметьево, Пичаевский район, Воронежская область, РСФСР — 2000, Мариуполь, Донецкая область) — советский государственный деятель, 1-й секретарь Ждановского городского комитета КПУ Донецкой области. Депутат Верховного Совета УССР 9-10-го созывов. Член ЦК КПУ в 1976—1986 г.", + "text": "Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия." + }, + "outputs": [ + { + "label": "passage", + "length": 24, + "offset": 360, + "segment": "Мариупольским горсоветом" + }, + { + "label": "passage", + "length": 24, + "offset": 360, + "segment": "Мариупольский горсовет" + } + ], + "meta": { + "id": 127, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 115, + "segment": "Мариуполь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган принимает законы в городе, где умер Владимир Иванович Жарков?\nТекст 1: Владимир Иванович Жарков (8 ноября 1928, Большое Шереметьево, Пичаевский район, Воронежская область, РСФСР — 2000, Мариуполь, Донецкая область) — советский государственный деятель, 1-й секретарь Ждановского городского комитета КПУ Донецкой области. Депутат Верховного Совета УССР 9-10-го созывов. Член ЦК КПУ в 1976—1986 г.\nТекст 2: Мариуполь ( ) — город в Приазовье Донецкой области Украины, крупнейший город на берегу Азовского моря в устье рек Кальмиус и Кальчик. Центр Мариупольской агломерации.\n\nГорода-побратимы.\nНарьян-Мар (Россия). Таганрог (Россия) . Отношения с Нарьян-Маром установлены в 1992 году по инициативе И. Н. Просвирнина. Отношения с Нарьян-Маром и Таганрогом разорваны Мариупольским горсоветом 29 июня 2017 года. Железногорск, Россия.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": [ + 61 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Москва-река", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Малодельня?", + "support_text": "Малодельня — река в Одинцовском городском округе Московской области России, левый приток Москвы-реки. В различных источниках также фигурирует как \"Молодельня\", \"Молоделна\" (писцовые книги XVI в.), \"Молоденка\", \"Молодня\", \"Молодильня\", \"Молодиловка\", \"Молодильна\", \"Молодельна\".\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Москва от Можайского гидроузла до города Звенигород, без реки Руза (от истока до Рузского гидроузла) и реки Озерна (от истока до Озернинского гидроузла), речной подбассейн реки — бассейны притоков Оки до впадения Мокши. Речной бассейн реки — Ока. Код объекта в государственном водном реестре — 09010101312110000023445.", + "text": "Москва (обычно Москва-река, в московском произношении с XIX века — \"Москварека\", первая часть в разговорной речи часто не склоняется: \"на Москва-реке\") — средняя река в Центральной России, в Московской области, Москве и, на небольшом протяжении, в Смоленской области, левый приток Оки (бассейн Волги). Длина в пределах Московской области 473 км, традиционно упоминается также 502 км (см. неоднозначность с истоком ), площадь бассейна — 17 600 кв км. Река начинается на склоне Смоленско-Московской возвышенности и впадает в Оку на территории Коломны. Общее падение от истока до устья составляет 155,5 м." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 281, + "segment": "Оки" + }, + { + "label": "passage", + "length": 3, + "offset": 281, + "segment": "Оку" + } + ], + "meta": { + "id": 13, + "bridge_answers": [ + { + "label": "passage", + "length": 11, + "offset": 89, + "segment": "Москвы-реки" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Малодельня — река в Одинцовском городском округе Московской области России, левый приток Москвы-реки. В различных источниках также фигурирует как \"Молодельня\", \"Молоделна\" (писцовые книги XVI в.), \"Молоденка\", \"Молодня\", \"Молодильня\", \"Молодиловка\", \"Молодильна\", \"Молодельна\".\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Москва от Можайского гидроузла до города Звенигород, без реки Руза (от истока до Рузского гидроузла) и реки Озерна (от истока до Озернинского гидроузла), речной подбассейн реки — бассейны притоков Оки до впадения Мокши. Речной бассейн реки — Ока. Код объекта в государственном водном реестре — 09010101312110000023445.\nТекст 2: Москва (обычно Москва-река, в московском произношении с XIX века — \"Москварека\", первая часть в разговорной речи часто не склоняется: \"на Москва-реке\") — средняя река в Центральной России, в Московской области, Москве и, на небольшом протяжении, в Смоленской области, левый приток Оки (бассейн Волги). Длина в пределах Московской области 473 км, традиционно упоминается также 502 км (см. неоднозначность с истоком ), площадь бассейна — 17 600 кв км. Река начинается на склоне Смоленско-Московской возвышенности и впадает в Оку на территории Коломны. Общее падение от истока до устья составляет 155,5 м.\nОпираясь на факты в данных текстах, ответьте на вопрос: В какую реку впадает река, притоком которой является Малодельня? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 416, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Александр Студнев является главой администрации в городе Бобруйске, где родился Сергей Анатольевич Широкий.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Сергей Анатольевич Широкий?", + "support_text": "Сергей Анатольевич Широкий ( род. 24 марта 1966, Бобруйск, Могилёвская область) — советский и белорусский футболист, игравший на позиции полузащитник.", + "text": "Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения.\n\nОрганы власти.\nГородской Совет депутатов 28 созыва был избран 18 февраля 2018 года. Председателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 344, + "segment": "Михаил Викторович Желудов" + } + ], + "meta": { + "id": 217, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 50, + "segment": "Бобруйск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Сергей Анатольевич Широкий ( род. 24 марта 1966, Бобруйск, Могилёвская область) — советский и белорусский футболист, игравший на позиции полузащитник.\nТекст 2: Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения.\n\nОрганы власти.\nГородской Совет депутатов 28 созыва был избран 18 февраля 2018 года. Председателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев.\nВопрос: Кто является главой администрации в городе, где родился Сергей Анатольевич Широкий?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Кильмезь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Чёрная Лобань?", + "support_text": "Чёрная Лобань — река в России, протекает в Богородском районе Кировской области. Сливаясь с Белой Лобанью (Чёрная Лобань — левая составляющая) образует реку Лобань. Длина реки составляет 33 км, площадь водосборного бассейна 186 кв км. Исток реки в урочище Шишово в 7 км к северо-востоку от посёлка Богородское.", + "text": "Лобань — река в Кировской области, правый приток реки Кильмезь (бассейн Волги). Длина реки составляет 169 км (от истока реки Белая Лобань — 207 км). Площадь водосборного бассейна — 2810 кв км. Устье реки находится в 71 км по правому берегу реки Кильмезь. Река образуется слиянием рек Белая Лобань и Чёрная Лобань в 17 км к юго-западу от посёлка Богородское. Генеральное направление течения — юго-восток. Большая часть течения проходит по ненаселённому заболоченному лесу, в среднем течении на берегах деревни Тат-Бояры, Каменный Перебор и Рыбная Ватага (все — Рыбно-Ватажское сельское поселение)." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 54, + "segment": "Кильмезь" + }, + { + "label": "passage", + "length": 8, + "offset": 245, + "segment": "Кильмезь" + } + ], + "meta": { + "id": 1041, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 7, + "segment": "Лобань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Чёрная Лобань — река в России, протекает в Богородском районе Кировской области. Сливаясь с Белой Лобанью (Чёрная Лобань — левая составляющая) образует реку Лобань. Длина реки составляет 33 км, площадь водосборного бассейна 186 кв км. Исток реки в урочище Шишово в 7 км к северо-востоку от посёлка Богородское.\nТекст 2: Лобань — река в Кировской области, правый приток реки Кильмезь (бассейн Волги). Длина реки составляет 169 км (от истока реки Белая Лобань — 207 км). Площадь водосборного бассейна — 2810 кв км. Устье реки находится в 71 км по правому берегу реки Кильмезь. Река образуется слиянием рек Белая Лобань и Чёрная Лобань в 17 км к юго-западу от посёлка Богородское. Генеральное направление течения — юго-восток. Большая часть течения проходит по ненаселённому заболоченному лесу, в среднем течении на берегах деревни Тат-Бояры, Каменный Перебор и Рыбная Ватага (все — Рыбно-Ватажское сельское поселение).\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Чёрная Лобань?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 296, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.05882352941176471, + "em": 0 + }, + "predict": " Домгиль сливается с рекой Виледь, которая является левым притоком реки Вычегда, в свою очередь левый приток реки Виледь. Таким образом, Домгиль сливается с рекой Виледь, которая в свою очередь сливается с рекой Вычегда.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Домгиль?", + "support_text": "Домгиль — река в России, протекает по территории Вилегодского района Архангельской области. Является правым притоком реки Виледь (бассейн Северной Двины).\n\nГеография и гидрология.\nУстье реки находится в 98 км по правому берегу реки Виледь, близ села Вилегодск. Длина реки составляет 23 км, площадь водосборного бассейна 84 кв км. Основное направление течения — юго-восток.", + "text": "Виледь — река в Ленском, Вилегодском и Котласском районах Архангельской области России, левый приток реки Вычегда (бассейн Северной Двины). Длина реки — 321 км, площадь водосбора — 5610 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от города Сыктывкар и до устья, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина. Код объекта в государственном водном реестре — 03020200212103000024426." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 106, + "segment": "Вычегда" + } + ], + "meta": { + "id": 593, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 122, + "segment": "Виледь" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Домгиль?\nТекст 1: Домгиль — река в России, протекает по территории Вилегодского района Архангельской области. Является правым притоком реки Виледь (бассейн Северной Двины).\n\nГеография и гидрология.\nУстье реки находится в 98 км по правому берегу реки Виледь, близ села Вилегодск. Длина реки составляет 23 км, площадь водосборного бассейна 84 кв км. Основное направление течения — юго-восток.\nТекст 2: Виледь — река в Ленском, Вилегодском и Котласском районах Архангельской области России, левый приток реки Вычегда (бассейн Северной Двины). Длина реки — 321 км, площадь водосбора — 5610 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Вычегда от города Сыктывкар и до устья, речной подбассейн реки — Вычегда. Речной бассейн реки — Северная Двина. Код объекта в государственном водном реестре — 03020200212103000024426.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 282, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.09523809523809523, + "em": 0 + }, + "predict": " Флавия Юлия Елена Августа, известная также как Елена, родилась в городке Дрепан в Вифинии, недалеко от Константинополя в Малой Азии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родилась женщина, чьим именем назван Еленин день?", + "support_text": "Приготовление почвы для посева льна в Вологодской губернии. Еленин день — день в народном календаре у славян, приходящийся на .\n\nДругие названия дня.\n. В Западной Фракии 21 мая отмечался день Константина, а 22 мая — Елены (с. ). В этот день Русской православною церковью почитаются в том числе равноапостольная царица Елена и римский император Константин, чьи имена присутствуют в названии дня.", + "text": "Флавия Юлия Елена Августа ( ок. 250—330) — мать римского императора Константина I. Прославилась своей деятельностью по распространению христианства и проведёнными ею раскопками в Иерусалиме, в ходе которых, по утверждениям христианских хронистов, были обретены Гроб Господень, Животворящий Крест и другие реликвии Страстей.\n\nЖизнеописание.\nТочный год рождения Елены неизвестен. Родилась она в городке Дрепан в Вифинии (недалеко от Константинополя в Малой Азии), как о том сообщает Прокопий. Позже её сын, император Константин Великий, в честь матери \"прежнее селение Дрепану сделал городом и назвал Еленополем\". Сегодня это поселение отождествляется с турецким городом Херсек, окрестности Алтиновы, провинция Ялова. Как полагают современные историки, Елена помогала своему отцу на конной станции, разливала вино путникам, ожидавшим перепряжки и перекладки лошадей, или просто работала служанкой в трактире." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 405, + "segment": "Дрепан" + } + ], + "meta": { + "id": 818, + "bridge_answers": [ + { + "label": "passage", + "length": 29, + "offset": 297, + "segment": "равноапостольная царица Елена" + }, + { + "label": "passage", + "length": 12, + "offset": 314, + "segment": "царица Елена" + }, + { + "label": "passage", + "length": 5, + "offset": 321, + "segment": "Елена" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Приготовление почвы для посева льна в Вологодской губернии. Еленин день — день в народном календаре у славян, приходящийся на .\n\nДругие названия дня.\n. В Западной Фракии 21 мая отмечался день Константина, а 22 мая — Елены (с. ). В этот день Русской православною церковью почитаются в том числе равноапостольная царица Елена и римский император Константин, чьи имена присутствуют в названии дня.\nТекст 2: Флавия Юлия Елена Августа ( ок. 250—330) — мать римского императора Константина I. Прославилась своей деятельностью по распространению христианства и проведёнными ею раскопками в Иерусалиме, в ходе которых, по утверждениям христианских хронистов, были обретены Гроб Господень, Животворящий Крест и другие реликвии Страстей.\n\nЖизнеописание.\nТочный год рождения Елены неизвестен. Родилась она в городке Дрепан в Вифинии (недалеко от Константинополя в Малой Азии), как о том сообщает Прокопий. Позже её сын, император Константин Великий, в честь матери \"прежнее селение Дрепану сделал городом и назвал Еленополем\". Сегодня это поселение отождествляется с турецким городом Херсек, окрестности Алтиновы, провинция Ялова. Как полагают современные историки, Елена помогала своему отцу на конной станции, разливала вино путникам, ожидавшим перепряжки и перекладки лошадей, или просто работала служанкой в трактире.\nВопрос: Где родилась женщина, чьим именем назван Еленин день?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 350, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Нязя", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Харланова?", + "support_text": "Харланова — река в России, протекает по Челябинской области. Устье реки находится в 11 км по правому берегу реки Нязя. Длина реки составляет 11 км.", + "text": "Нязя — река в России на Среднем Урале, протекает в Свердловской и Челябинской области. Истоки на западных склонах Уфалейского хребта, около горы Сокол, к северо-западу от деревни Кенчурка Полевского района. Устье реки находится в 791 км по правому берегу реки Уфа в черте города Нязепетровска. Длина реки составляет 53 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201112111100020377." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 114, + "segment": "Уфа" + } + ], + "meta": { + "id": 740, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 113, + "segment": "Нязя" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Харланова — река в России, протекает по Челябинской области. Устье реки находится в 11 км по правому берегу реки Нязя. Длина реки составляет 11 км.\nТекст 2: Нязя — река в России на Среднем Урале, протекает в Свердловской и Челябинской области. Истоки на западных склонах Уфалейского хребта, около горы Сокол, к северо-западу от деревни Кенчурка Полевского района. Устье реки находится в 791 км по правому берегу реки Уфа в черте города Нязепетровска. Длина реки составляет 53 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Уфа от Нязепетровского гидроузла до Павловского гидроузла, без реки Ай, речной подбассейн реки — Белая. Речной бассейн реки — Кама. Код объекта в государственном водном реестре — 10010201112111100020377.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Харланова?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ворона", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Пурсовка?", + "support_text": "Пурсовка — река в России, протекает в Кирсановском районе Тамбовской области. Правый приток реки Ворона.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Донскому бассейновому округу, водохозяйственный участок реки — Ворона, речной подбассейн реки — Хопер. Речной бассейн реки — Дон (российская часть бассейна).", + "text": "Ворона — средняя река в Пензенской, Тамбовской и Воронежской областях России, правый приток Хопра (бассейн Дона). В основе гидронима скорее всего лежит древнефинно-угорское слово \"вор, вур\" — \"лес\", \"ворайн\" (коми) — \"лесная\"." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 92, + "segment": "Хопра" + }, + { + "label": "passage", + "length": 5, + "offset": 92, + "segment": "Хопер" + } + ], + "meta": { + "id": 348, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 97, + "segment": "Ворона" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Пурсовка — река в России, протекает в Кирсановском районе Тамбовской области. Правый приток реки Ворона.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Донскому бассейновому округу, водохозяйственный участок реки — Ворона, речной подбассейн реки — Хопер. Речной бассейн реки — Дон (российская часть бассейна).\nТекст 2: Ворона — средняя река в Пензенской, Тамбовской и Воронежской областях России, правый приток Хопра (бассейн Дона). В основе гидронима скорее всего лежит древнефинно-угорское слово \"вор, вур\" — \"лес\", \"ворайн\" (коми) — \"лесная\".\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Пурсовка? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Кильмезь", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Кунжек?", + "support_text": "Кунжек — река в России, протекает в Кильмезском районе Кировской области. Устье реки находится в 10 км по левому берегу реки Валы. Длина реки составляет 15 км, площадь водосборного бассейна 64,1 кв км. Исток реки к северу от деревни Дамаскино (центра Дамаскинского сельского поселения). Течёт на северо-восток, на реке стоит село Вихарево (центр Вихаревского сельского поселения) и деревни этого поселения Кунжек и Силкино.", + "text": "Вала — река в Республике Удмуртия и Кировской области, левый приток реки Кильмезь (бассейн Волги). Длина реки составляет 196 км, площадь бассейна — 7360 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 73, + "segment": "Кильмезь" + } + ], + "meta": { + "id": 601, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 125, + "segment": "Валы" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Кунжек — река в России, протекает в Кильмезском районе Кировской области. Устье реки находится в 10 км по левому берегу реки Валы. Длина реки составляет 15 км, площадь водосборного бассейна 64,1 кв км. Исток реки к северу от деревни Дамаскино (центра Дамаскинского сельского поселения). Течёт на северо-восток, на реке стоит село Вихарево (центр Вихаревского сельского поселения) и деревни этого поселения Кунжек и Силкино.\nТекст 2: Вала — река в Республике Удмуртия и Кировской области, левый приток реки Кильмезь (бассейн Волги). Длина реки составляет 196 км, площадь бассейна — 7360 кв км.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Кунжек? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Республиканская партия.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая партия находится в оппозиции к той, в которую входит Седрик Ричмонд?", + "support_text": "Седрик Леван Ричмонд ( род. 13 сентября 1973 года, Новый Орлеан, Луизиана) — американский юрист и политик-демократ, член Палаты представителей Соединенных Штатов от 2-го избирательного округа Луизианы с 2011 года.", + "text": "Демократическая партия — наряду с Республиканской, одна из двух крупнейших современных политических партий США. Является самой старой партией в США.\n\nИстория.\nОснователями партии считаются Томас Джефферсон (третий Президент США, хотя наследниками его демократической республиканской партии считает себя и Республиканская партия (США), объявляющая себя Великой Старой партией), и затем, после её раскола и выделения республиканцев, Эндрю Джексон (седьмой президент США и первый президент США, избранный как кандидат от этой партии в 1828), а также Мартин ван Бюрен (восьмой Президент США). В 1828—1860 демократы доминировали на политической сцене США, иногда упуская власть в руки вигов. Партия выступала за низкие таможенные тарифы на импорт: в этом были заинтересованы финансовый и торговый капитал и иммигранты, ввозящие имущество. Первоначально партия была за сохранение рабства, отражая интересы Юга и переработчиков аграрной продукции Юга на Севере; её электоратом были сельские жители Юга, плантаторы, рабовладельцы, католики, иммигранты, влиятельные кланы и население южных штатов (Дикси); типичные примеры — Джеймс Полк, Фрэнклин Пирс, Джефферсон Дэвис, президент Конфедеративных Штатов Америки, противостоявших США в Гражданской войне 1861—1865. Фракция демократов, непримиримая к политике Линкольна и выступавшая за немедленный мир с конфедератами, была известна как \"медноголовые\". Хотя многие демократы Севера поддерживали правительство Линкольна, но после проигрыша в Гражданской войне почти 40 лет демократы были в упадке. С начала Гражданской войны (1861) и вплоть до 1912 г. правящей партией практически всегда была основанная Авраамом Линкольном Республиканская партия (США); единственный политик-демократ, избиравшийся в эти годы президентом — Гровер Кливленд. (Также представителем демократической партии являлся 17-й президент США, Эндрю Джонсон). В XX веке демократическая партия обрела второе дыхание и дала таких выдающихся президентов, как Вудро Вильсон, Франклин Рузвельт и Джон Кеннеди." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 34, + "segment": "Республиканской" + }, + { + "label": "passage", + "length": 15, + "offset": 34, + "segment": "Республиканская" + } + ], + "meta": { + "id": 1013, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 107, + "segment": "демократ" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Седрик Леван Ричмонд ( род. 13 сентября 1973 года, Новый Орлеан, Луизиана) — американский юрист и политик-демократ, член Палаты представителей Соединенных Штатов от 2-го избирательного округа Луизианы с 2011 года.\nТекст 2: Демократическая партия — наряду с Республиканской, одна из двух крупнейших современных политических партий США. Является самой старой партией в США.\n\nИстория.\nОснователями партии считаются Томас Джефферсон (третий Президент США, хотя наследниками его демократической республиканской партии считает себя и Республиканская партия (США), объявляющая себя Великой Старой партией), и затем, после её раскола и выделения республиканцев, Эндрю Джексон (седьмой президент США и первый президент США, избранный как кандидат от этой партии в 1828), а также Мартин ван Бюрен (восьмой Президент США). В 1828—1860 демократы доминировали на политической сцене США, иногда упуская власть в руки вигов. Партия выступала за низкие таможенные тарифы на импорт: в этом были заинтересованы финансовый и торговый капитал и иммигранты, ввозящие имущество. Первоначально партия была за сохранение рабства, отражая интересы Юга и переработчиков аграрной продукции Юга на Севере; её электоратом были сельские жители Юга, плантаторы, рабовладельцы, католики, иммигранты, влиятельные кланы и население южных штатов (Дикси); типичные примеры — Джеймс Полк, Фрэнклин Пирс, Джефферсон Дэвис, президент Конфедеративных Штатов Америки, противостоявших США в Гражданской войне 1861—1865. Фракция демократов, непримиримая к политике Линкольна и выступавшая за немедленный мир с конфедератами, была известна как \"медноголовые\". Хотя многие демократы Севера поддерживали правительство Линкольна, но после проигрыша в Гражданской войне почти 40 лет демократы были в упадке. С начала Гражданской войны (1861) и вплоть до 1912 г. правящей партией практически всегда была основанная Авраамом Линкольном Республиканская партия (США); единственный политик-демократ, избиравшийся в эти годы президентом — Гровер Кливленд. (Также представителем демократической партии являлся 17-й президент США, Эндрю Джонсон). В XX веке демократическая партия обрела второе дыхание и дала таких выдающихся президентов, как Вудро Вильсон, Франклин Рузвельт и Джон Кеннеди.\nВопрос: Какая партия находится в оппозиции к той, в которую входит Седрик Ричмонд?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 565, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Норайр Апетнакович Месропян?", + "support_text": "Норайр (Норик) Апетнакович Месропян ( 30 апреля 1946, Ереван, Армянская ССР, СССР) — советский футболист, левый защитник. Мастер спорта. Всю карьеру (1964—1978) провёл в ереванском \"Арарате\", в высшей лиге — 337 матчей, 3 гола. Сыграл 16 игр в еврокубках. Провёл 3 игры за олимпийскую сборную в 1971 году.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 353, + "segment": "городским советом" + } + ], + "meta": { + "id": 393, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 55, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Норайр (Норик) Апетнакович Месропян ( 30 апреля 1946, Ереван, Армянская ССР, СССР) — советский футболист, левый защитник. Мастер спорта. Всю карьеру (1964—1978) провёл в ереванском \"Арарате\", в высшей лиге — 337 матчей, 3 гола. Сыграл 16 игр в еврокубках. Провёл 3 игры за олимпийскую сборную в 1971 году.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Норайр Апетнакович Месропян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 285, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Андрей Петрович Гаевой", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Вячеслав Иванович Моисеев?", + "support_text": "Вячеслав Иванович Моисеев (род. 4 ноября 1965, Губкин, СССР) — российский философ, специалист в области философии науки, методологии науки, философской логики, философии биологии, философии медицины, медицинской психологии и биоэтики. Основатель нового философского направления — философия неовсеединства. Доктор философских наук, профессор. Профессор и заведующий кафедрой философии, биомедицинский этики и гуманитарных наук Московского государственного медико-стоматологического университета имени А. Е. Евдокимова.\n\nБиография.\nРодился в 1965 году в г. Губкине Белгородской области. В 1989 году с отличием закончил лечебный факультет Воронежского медицинского института. В 1992 году окончил аспирантуру Института философии РАН и защитил диссертацию на соискание учёной степени кандидата философских наук по теме \"Неклассический тип рациональности в биологическом знании\" (специальность 09.00.08 — Философия науки и техники). Работал преподавателем философии в Воронежском медицинском институте и одновременно учился на вечернем отделении математического факультета Воронежского государственного университета, который окончил с отличием в 1998 году.", + "text": "Типичный городской дворик. Городской фонтан.\n\nАдминистрация.\nГлавы города . 1996—2019 — Анатолий Алексеевич Кретов. 2019 — — Андрей Петрович Гаевой." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 129, + "segment": "Андрей Петрович Гаевой" + } + ], + "meta": { + "id": 494, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 47, + "segment": "Губкин" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Вячеслав Иванович Моисеев (род. 4 ноября 1965, Губкин, СССР) — российский философ, специалист в области философии науки, методологии науки, философской логики, философии биологии, философии медицины, медицинской психологии и биоэтики. Основатель нового философского направления — философия неовсеединства. Доктор философских наук, профессор. Профессор и заведующий кафедрой философии, биомедицинский этики и гуманитарных наук Московского государственного медико-стоматологического университета имени А. Е. Евдокимова.\n\nБиография.\nРодился в 1965 году в г. Губкине Белгородской области. В 1989 году с отличием закончил лечебный факультет Воронежского медицинского института. В 1992 году окончил аспирантуру Института философии РАН и защитил диссертацию на соискание учёной степени кандидата философских наук по теме \"Неклассический тип рациональности в биологическом знании\" (специальность 09.00.08 — Философия науки и техники). Работал преподавателем философии в Воронежском медицинском институте и одновременно учился на вечернем отделении математического факультета Воронежского государственного университета, который окончил с отличием в 1998 году.\nТекст 2: Типичный городской дворик. Городской фонтан.\n\nАдминистрация.\nГлавы города . 1996—2019 — Анатолий Алексеевич Кретов. 2019 — — Андрей Петрович Гаевой.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Вячеслав Иванович Моисеев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 347, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2857142857142857, + "em": 0 + }, + "predict": " Юрий Цкипури является главой администрации в городе Тула, где родилась Катя Кищук.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родилась Катя Кищук?", + "support_text": "Екатерина Сергеевна Кищук (род. 13 декабря 1993, Тула), более известная как Катя Кищук и под сценическим именем KATERINA, — российская певица, бывшая участница группы \"Серебро\".\n\nБиография.\nРодилась 13 декабря 1993 в городе Туле. Отца зовут Сергей Кищук, мать — Светланой. Мать старалась развивать в дочери творческие способности:.", + "text": "Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 647, + "segment": "Юрий Цкипури" + } + ], + "meta": { + "id": 155, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 49, + "segment": "Тула" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Екатерина Сергеевна Кищук (род. 13 декабря 1993, Тула), более известная как Катя Кищук и под сценическим именем KATERINA, — российская певица, бывшая участница группы \"Серебро\".\n\nБиография.\nРодилась 13 декабря 1993 в городе Туле. Отца зовут Сергей Кищук, мать — Светланой. Мать старалась развивать в дочери творческие способности:.\nТекст 2: Тула — город в России, административный центр Тульской области и городского округа город Тула. Город-Герой (c 1976 года). Тула расположена на севере Среднерусской возвышенности на берегу реки Упы в 180 км к югу от Москвы.\n\nОрганы местного самоуправления.\n19 декабря 2012 года на заседании Тульской городской Думы председателем городского парламента — главой города Тулы (мэром) избран Александр Прокопук. После его отставки 11 июля 2014 года место мэра оставалось вакантным до формирования нового состава Думы в сентябре того же года. 29 сентября 2014 года на первом заседании Тульской городской Думы большинством голосов мэром Тулы был выбран Юрий Цкипури. Администрация города наделяется полномочиями по решению вопросов местного значения и полномочиями для осуществления отдельных государственных полномочий, переданных органам местного самоуправления федеральными законами и законами Тульской области. Администрацией города руководит глава администрации города.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родилась Катя Кищук?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 338, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Пякупур.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Куйкуяха?", + "support_text": "Куйкуяха — река в России, протекает по территории Пуровского района в Ямало-Ненецком автономном округе. Начинается в озере Куйкуяхато на высоте 93,9 метра над уровнем моря. Течёт по заболоченной местности в южном направлении, протекает через два озера, около её устья произрастает лиственнично-берёзовый лес. Устье реки находится в 501 км от устья реки Пякупур по левому берегу. Длина реки составляет 12 км. Единственный приток, впадающий по левому берегу, на картах не подписан.", + "text": "Пякупур (\"устар.\" Пяку-Пур) — река в России, протекает по территории Пуровского района Ямало-Ненецкого автономного округа, левая составляющая реки Пур." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 23, + "segment": "Пур" + } + ], + "meta": { + "id": 420, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 353, + "segment": "Пякупур" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Куйкуяха — река в России, протекает по территории Пуровского района в Ямало-Ненецком автономном округе. Начинается в озере Куйкуяхато на высоте 93,9 метра над уровнем моря. Течёт по заболоченной местности в южном направлении, протекает через два озера, около её устья произрастает лиственнично-берёзовый лес. Устье реки находится в 501 км от устья реки Пякупур по левому берегу. Длина реки составляет 12 км. Единственный приток, впадающий по левому берегу, на картах не подписан.\nТекст 2: Пякупур (\"устар.\" Пяку-Пур) — река в России, протекает по территории Пуровского района Ямало-Ненецкого автономного округа, левая составляющая реки Пур.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Куйкуяха?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2222222222222222, + "em": 0 + }, + "predict": " Законодательный орган, принимающий законы в городе, где умер Никандр Иванович Глориантов, — Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган принимает законы в городе, где умер Никандр Иванович Глориантов?", + "support_text": "Никандр Иванович Глориантов ( — ) — российский педагог.\n\nБиография.\nВ 1875 году епископ Макарий, проводивший ревизию преподавания в академии, выразил в своём отчёте ряд замечаний к работе Глориантова, с которыми тот не согласился и заявил о своём несогласии печатно; это послужило поводом к выходу Глориантова в отставку с профессорской должности в 1877 году. Основной труд Глориантова — серия статей о согласовании взглядов современного ему естествознания с учением Библии, печатавшихся в журнале \"Христианское чтение\" в 1861 и 1892 гг. под общим названием \"Взгляд на учение современной геологии о происхождении мира и его будущей судьбе\", а в 1883 году — под отдельным названием \"Шестоднев и потоп\". Кроме того, Глориантов напечатал в том же журнале несколько статей, сопоставляющих библейский рассказ о сотворении мира и Всемирном потопе с близкими по смыслу сюжетами у Вергилия и Овидия. Был награждён орденами Св. Анны 2-й и 3-й степеней. Умер в Нижнем Новгороде года.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1088, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1088, + "segment": "Городская дума" + } + ], + "meta": { + "id": 132, + "bridge_answers": [ + { + "label": "passage", + "length": 16, + "offset": 955, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Никандр Иванович Глориантов ( — ) — российский педагог.\n\nБиография.\nВ 1875 году епископ Макарий, проводивший ревизию преподавания в академии, выразил в своём отчёте ряд замечаний к работе Глориантова, с которыми тот не согласился и заявил о своём несогласии печатно; это послужило поводом к выходу Глориантова в отставку с профессорской должности в 1877 году. Основной труд Глориантова — серия статей о согласовании взглядов современного ему естествознания с учением Библии, печатавшихся в журнале \"Христианское чтение\" в 1861 и 1892 гг. под общим названием \"Взгляд на учение современной геологии о происхождении мира и его будущей судьбе\", а в 1883 году — под отдельным названием \"Шестоднев и потоп\". Кроме того, Глориантов напечатал в том же журнале несколько статей, сопоставляющих библейский рассказ о сотворении мира и Всемирном потопе с близкими по смыслу сюжетами у Вергилия и Овидия. Был награждён орденами Св. Анны 2-й и 3-й степеней. Умер в Нижнем Новгороде года.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nВопрос: Какой законодательный орган принимает законы в городе, где умер Никандр Иванович Глориантов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 563, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.375, + "em": 0 + }, + "predict": " Законодательный орган города, где родился Давид Левонович Гарибян, — это ереванский городской совет.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Давид Левонович Гарибян?", + "support_text": "Давид Гарибян ( 29 мая 1990, Ереван) — армянский режиссёр, актер, модель и ведущий.\n\nБиография.\n\n\nТелевидение.\nUSArmenia TV . „Тяжелая жизнь“ „Դժվար ապրուստ“. 2012 . Ереван Армения. Армения 1 . „Генеральская дочь“ „Գեներալի աղջիկը“. 2013 .", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 17, + "offset": 464, + "segment": "городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 453, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 796, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 30, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Давид Гарибян ( 29 мая 1990, Ереван) — армянский режиссёр, актер, модель и ведущий.\n\nБиография.\n\n\nТелевидение.\nUSArmenia TV . „Тяжелая жизнь“ „Դժվար ապրուստ“. 2012 . Ереван Армения. Армения 1 . „Генеральская дочь“ „Գեներալի աղջիկը“. 2013 .\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года). Площадь города — 223 кв км. Ереван — политический, экономический, культурный и научный центр, а также важнейший транспортный узел Армении.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Давид Левонович Гарибян?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 307, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Город Паневежис расположен на территории Паневежского уезда и Паневежского района.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На территории какой административно-территориальной единицы расположен город, где родился Гедиминас Растянис?", + "support_text": "Гедиминас Растянис ( род. 25 апреля 1954, Паневежис) — советский и литовский шахматист, мастер спорта СССР (1976), международный мастер ИКЧФ (1987), заслуженный тренер Литовской ССР (1987).\n\nСпортивные результаты.\nЧемпионат СССР среди молодых мастеров. 1. . 9. 5. . 3½ из 15. 16. . 1979. . Паневежис. Чемпионат Литовской ССР.", + "text": "Паневежис, или Панявежис ( , до 1917 года \"Поневеж\") — город на севере Литвы, пятый по количеству жителей, административный центр Паневежского уезда и Паневежского района." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 71, + "segment": "Литвы" + } + ], + "meta": { + "id": 257, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 42, + "segment": "Паневежис" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Гедиминас Растянис ( род. 25 апреля 1954, Паневежис) — советский и литовский шахматист, мастер спорта СССР (1976), международный мастер ИКЧФ (1987), заслуженный тренер Литовской ССР (1987).\n\nСпортивные результаты.\nЧемпионат СССР среди молодых мастеров. 1. . 9. 5. . 3½ из 15. 16. . 1979. . Паневежис. Чемпионат Литовской ССР.\nТекст 2: Паневежис, или Панявежис ( , до 1917 года \"Поневеж\") — город на севере Литвы, пятый по количеству жителей, административный центр Паневежского уезда и Паневежского района.\nВопрос: На территории какой административно-территориальной единицы расположен город, где родился Гедиминас Растянис?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": [ + 29 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, питающаяся от реки, притоком которой является Кынгылат, называется Нюролька.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Кынгылат?", + "support_text": "Кынгылат (в верховье — Елле-Кынгылат) — река в России, протекает в Томской области. Устье реки находится в 286 км по левому берегу реки Нюролька. Длина реки составляет 95 км. Приток — Ай-Кынгылат.", + "text": "Нюролька (южноселькупск. \"Нюрэл кы\" — луговая река) (в верховье — Большая Нюролька) — река в Томской области, правый приток Васюгана. Длина — 339 км, площадь бассейна — 8110 кв км. Берёт начало в Вершинонюрольском болоте (реки Малая и Большая Нюролька, из него вытекающие, сливаются в саму Нюрольку).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — Васюган. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша." + }, + "outputs": [ + { + "label": "passage", + "length": 8, + "offset": 124, + "segment": "Васюгана" + }, + { + "label": "passage", + "length": 8, + "offset": 124, + "segment": "Васюган" + } + ], + "meta": { + "id": 752, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 136, + "segment": "Нюролька" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Кынгылат?\nТекст 1: Кынгылат (в верховье — Елле-Кынгылат) — река в России, протекает в Томской области. Устье реки находится в 286 км по левому берегу реки Нюролька. Длина реки составляет 95 км. Приток — Ай-Кынгылат.\nТекст 2: Нюролька (южноселькупск. \"Нюрэл кы\" — луговая река) (в верховье — Большая Нюролька) — река в Томской области, правый приток Васюгана. Длина — 339 км, площадь бассейна — 8110 кв км. Берёт начало в Вершинонюрольском болоте (реки Малая и Большая Нюролька, из него вытекающие, сливаются в саму Нюрольку).\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Васюган, речной подбассейн реки — Васюган. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 286, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Алиреза Неджати, борец греко-римского стиля, является гражданином Исламской Республики Иран. В этой стране глава государства занимает должность Президента.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимает глава государства в стране, гражданином которой был Алиреза Неджати?", + "support_text": "Алиреза Неджати ( ) — иранский борец греко-римского стиля. Бронзовый призёр чемпионата мира 2019 года. Представляет клуб \"Modafe Haram Ardabil\" и Силы правопорядка Исламской Республики Иран.\n\nОсновные результаты.\nАлма-Ата, Казахстан. 60 кг. 1. . 2019. . Кубок Тахти. Тегеран, Иран. 60 кг. 2. . 2018. . Клубный чемпионат мира по греко-римской борьбе 2018.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана. На протяжении многих веков эта страна играла ключевую роль на Востоке, и современный Иран обладает четвёртой по размеру ВВП (по ППС) экономикой в исламском мире и второй по размеру в Западной Азии (после Турции).\n\nГосударственное устройство.\nВысший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок. Органы местного самоуправления присутствуют во всех городах и деревнях Ирана и избираются всенародным голосованием на четырёхлетний срок." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 664, + "segment": "Высший руководитель" + }, + { + "label": "passage", + "length": 20, + "offset": 934, + "segment": "Высшего руководителя" + } + ], + "meta": { + "id": 972, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 22, + "segment": "иранский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Алиреза Неджати ( ) — иранский борец греко-римского стиля. Бронзовый призёр чемпионата мира 2019 года. Представляет клуб \"Modafe Haram Ardabil\" и Силы правопорядка Исламской Республики Иран.\n\nОсновные результаты.\nАлма-Ата, Казахстан. 60 кг. 1. . 2019. . Кубок Тахти. Тегеран, Иран. 60 кг. 2. . 2018. . Клубный чемпионат мира по греко-римской борьбе 2018.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном. С севера Иран омывается Каспийским морем, с юга — Персидским и Оманским заливами Индийского океана. На протяжении многих веков эта страна играла ключевую роль на Востоке, и современный Иран обладает четвёртой по размеру ВВП (по ППС) экономикой в исламском мире и второй по размеру в Западной Азии (после Турции).\n\nГосударственное устройство.\nВысший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Десять вице-президентов и 21 министр правительства утверждаются на пост парламентом. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок. Органы местного самоуправления присутствуют во всех городах и деревнях Ирана и избираются всенародным голосованием на четырёхлетний срок.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимает глава государства в стране, гражданином которой был Алиреза Неджати?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 591, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Глеб Александрович Ильин?", + "support_text": "Глеб Александрович Ильин (1889—1968) — российский и американский художник. Родился в Казани. Учился в Императорской Академии художеств в Санкт-Петербурге. После революции оказался в Омске.\n\nБиография.\nРоссия. Родился в Казани, в аристократической семье. Отец служил судьёй, домом и семьёй занималась мать Евдокия (в девичестве Крыжановская).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 550, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 186, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 86, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Глеб Александрович Ильин (1889—1968) — российский и американский художник. Родился в Казани. Учился в Императорской Академии художеств в Санкт-Петербурге. После революции оказался в Омске.\n\nБиография.\nРоссия. Родился в Казани, в аристократической семье. Отец служил судьёй, домом и семьёй занималась мать Евдокия (в девичестве Крыжановская).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Глеб Александрович Ильин? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 290, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Василий Васильевич Доленко?", + "support_text": "Василий Васильевич Доленко (13 января 1902, Эривань — 8 февраля 1998, Москва) — советский режиссёр по монтажу, народный артист Грузинской ССР, заслуженный деятель искусств Грузинской ССР.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 272, + "segment": "городским советом" + } + ], + "meta": { + "id": 41, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 44, + "segment": "Эривань" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Василий Васильевич Доленко (13 января 1902, Эривань — 8 февраля 1998, Москва) — советский режиссёр по монтажу, народный артист Грузинской ССР, заслуженный деятель искусств Грузинской ССР.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где родился Василий Васильевич Доленко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 173, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Юрий Геннадьевич Свирков родился в Бобруйске, городе, где является главой администрации Александр Студнев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Юрий Геннадьевич Свирков?", + "support_text": "Юрий Геннáдьевич Свирков (20 января 1968, Бобруйск, Белорусская ССР, СССР) — советский и белорусский футболист, вратарь. Мастер спорта. Старший брат Андрея Свиркова.", + "text": "Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\nПредседателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 660, + "segment": "Александр Студнев" + } + ], + "meta": { + "id": 225, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 42, + "segment": "Бобруйск" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Юрий Геннадьевич Свирков?\nТекст 1: Юрий Геннáдьевич Свирков (20 января 1968, Бобруйск, Белорусская ССР, СССР) — советский и белорусский футболист, вратарь. Мастер спорта. Старший брат Андрея Свиркова.\nТекст 2: Бобруйск — город областного подчинения в Белоруссии, административный центр Бобруйского района Могилёвской области. Седьмой по численности населения и площади город Белоруссии, наиболее крупный центр областного подчинения. Город располагается на реке Березине (бассейн Днепра) в 150 км от Минска, 110 км от Могилёва, 414 км от Киева, 706 км от Москвы.\n\nОрганы власти.\nПредседателем горсовета является Михаил Викторович Желудов. \"Исполнительным и распорядительным органом власти\" является \"Бобруйский городской исполнительный комитет\". Председатель назначается Президентом и утверждается депутатами горсовета. Председателем Бобруйского горисполкома является Александр Студнев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14285714285714288, + "em": 0 + }, + "predict": " Владимир Владимирович Владимиров является главой администрации в регионе, где родился Иван Дмитриевич Павлов, так как он был избран губернатором в 2014 году. Иван Дмитриевич Павлов родился в селе Воронцово-Александровское, что находится в Ставропольском крае, который является субъектом Российской Федерации.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Иван Дмитриевич Павлов?", + "support_text": "Иван Дмитриевич Павлов (1920—1997) — полковник Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nИван Павлов родился 29 декабря 1920 года в селе Воронцово-Александровское (ныне — город Зеленокумск в Ставропольском крае). После окончания педагогического техникума в Ашхабаде преподавал в поселковой школе в Туркменской ССР. В 1939 году Павлов был призван на службу в Рабоче-крестьянскую Красную Армию. В 1942 году он окончил Тамбовскую военную авиационную школу пилотов.", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nВалерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 456, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 561, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 250, + "segment": "Ставропольском крае" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Иван Дмитриевич Павлов (1920—1997) — полковник Советской Армии, участник Великой Отечественной войны, Герой Советского Союза (1945).\n\nБиография.\nИван Павлов родился 29 декабря 1920 года в селе Воронцово-Александровское (ныне — город Зеленокумск в Ставропольском крае). После окончания педагогического техникума в Ашхабаде преподавал в поселковой школе в Туркменской ССР. В 1939 году Павлов был призван на службу в Рабоче-крестьянскую Красную Армию. В 1942 году он окончил Тамбовскую военную авиационную школу пилотов.\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nВалерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.\nВопрос: Кто является главой администрации в регионе, где родился Иван Дмитриевич Павлов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 329, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Вятка", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Масаринка?", + "support_text": "Масаринка (официальное русское название), также \"Мосаринка\", в верховьях Ирека — река в России, протекает в Мари-Турекском районе Республики Марий Эл. Устье реки находится в 87 км по правому берегу реки Уржумка. Длина реки составляет 22 км. Исток реки находится в 5 км к северо-западу от села Большой Карлыган близ границы с Татарстаном. Река течёт на север и северо-запад, до впадения Руянки также именуется Ирекой.", + "text": "Уржумка — река в республике Марий Эл и Кировской области, правый приток Вятки (бассейн Волги). Слева. Длина реки — 109 км, 59 из которых протекают по территории Уржумского района Кировской области. Площадь водосборного бассейна — 1780 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от водомерного поста посёлка городского типа Аркуль до города Вятские Поляны, речной подбассейн реки — Вятка. Речной бассейн реки — Кама." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 72, + "segment": "Вятки" + }, + { + "label": "passage", + "length": 5, + "offset": 72, + "segment": "Вятка" + } + ], + "meta": { + "id": 883, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 203, + "segment": "Уржумка" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Масаринка (официальное русское название), также \"Мосаринка\", в верховьях Ирека — река в России, протекает в Мари-Турекском районе Республики Марий Эл. Устье реки находится в 87 км по правому берегу реки Уржумка. Длина реки составляет 22 км. Исток реки находится в 5 км к северо-западу от села Большой Карлыган близ границы с Татарстаном. Река течёт на север и северо-запад, до впадения Руянки также именуется Ирекой.\nТекст 2: Уржумка — река в республике Марий Эл и Кировской области, правый приток Вятки (бассейн Волги). Слева. Длина реки — 109 км, 59 из которых протекают по территории Уржумского района Кировской области. Площадь водосборного бассейна — 1780 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от водомерного поста посёлка городского типа Аркуль до города Вятские Поляны, речной подбассейн реки — Вятка. Речной бассейн реки — Кама.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Масаринка? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 302, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Киргизская АССР", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая страна прежде находилась на территории государства, гражданином которого являлся Магавья Алимханович Ермеков?", + "support_text": "Магавья Алимханович Ермеков ( 1 сентября 1921, аул № 6 Абайского района Восточно-Казахской области, Киргизская АССР, РСФСР — 2006, Казахстан (?)) — советский и казахстанский учёный, доктор геолого-минералогических наук (1968), профессор (1970), академик АН Казахстана (2003). Специалист в области борьбы с газами в угольных шахтах. Сын А. А. Ермекова.", + "text": "Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км. Население, по оценке государственного комитета по статистике на 1 октября 2020 года, составляет человек.\n\nИстория.\nВ 1947 году правительство СССР в рамках проекта создания атомной бомбы создало полигон для испытаний атомной бомбы недалеко от северо-восточного города Семипалатинск, где в 1949 году было проведено первое советское испытание атомной бомбы. Сотни ядерных испытаний проводились до 1989 года и имели негативные экологические и биологические последствия. Антиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы.\n\nКультура.\nЛитература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами. Согласно китайским письменным источникам VI—VIII веков, тюркские племена Казахстана имели устную поэтическую традицию. Эта традиция пришла из более ранних периодов и была передана бардами: профессиональными рассказчиками и музыкальными исполнителями." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 1540, + "segment": "Казахского ханства" + }, + { + "label": "passage", + "length": 18, + "offset": 1540, + "segment": "Казахское ханство" + } + ], + "meta": { + "id": 1012, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 161, + "segment": "казахстанский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какая страна прежде находилась на территории государства, гражданином которого являлся Магавья Алимханович Ермеков?\nТекст 1: Магавья Алимханович Ермеков ( 1 сентября 1921, аул № 6 Абайского района Восточно-Казахской области, Киргизская АССР, РСФСР — 2006, Казахстан (?)) — советский и казахстанский учёный, доктор геолого-минералогических наук (1968), профессор (1970), академик АН Казахстана (2003). Специалист в области борьбы с газами в угольных шахтах. Сын А. А. Ермекова.\nТекст 2: Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км. Население, по оценке государственного комитета по статистике на 1 октября 2020 года, составляет человек.\n\nИстория.\nВ 1947 году правительство СССР в рамках проекта создания атомной бомбы создало полигон для испытаний атомной бомбы недалеко от северо-восточного города Семипалатинск, где в 1949 году было проведено первое советское испытание атомной бомбы. Сотни ядерных испытаний проводились до 1989 года и имели негативные экологические и биологические последствия. Антиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы.\n\nКультура.\nЛитература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами. Согласно китайским письменным источникам VI—VIII веков, тюркские племена Казахстана имели устную поэтическую традицию. Эта традиция пришла из более ранних периодов и была передана бардами: профессиональными рассказчиками и музыкальными исполнителями.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 571, + "generated_len": [ + 58 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Глава государства в стране, чьим гражданином был Жан Тейруз, — президент Сирии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая должность у главы государства в стране, чьим гражданином был Жан Тейруз?", + "support_text": "Жан Тейруз ( род. 6 мая 1941 года, Алеппо, Сирия) — епископ Армянской католической церкви. Ординарий епархии Святого Креста в Париже (с 2013 г.).", + "text": "Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 447, + "segment": "президентов" + }, + { + "label": "passage", + "length": 11, + "offset": 447, + "segment": "Президента" + } + ], + "meta": { + "id": 436, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 43, + "segment": "Сирия" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какая должность у главы государства в стране, чьим гражданином был Жан Тейруз?\nТекст 1: Жан Тейруз ( род. 6 мая 1941 года, Алеппо, Сирия) — епископ Армянской католической церкви. Ординарий епархии Святого Креста в Париже (с 2013 г.).\nТекст 2: Сирия (), полное наименование — Сирийская Арабская Республика ( \"аль-Джумхурийя аль-Арабийя ас-Сурийя\") — государство на Ближнем Востоке, граничащее с Ливаном и Израилем на юго-западе, с Иорданией на юге, с Ираком на востоке и с Турцией на севере. Омывается Средиземным морем на западе. Современная государственность Сирии насчитывает немногим более 70 лет, но цивилизация зародилась здесь ещё в IV тысячелетии до н. э.\n\nСмотрите также.\nСписок президентов Сирии. Список премьер-министров Сирии.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Юрий Александрович Паркаев?", + "support_text": "Юрий Александрович Паркаев (12 февраля 1941, Горький — 1 января 2013, Москва) — советский и российский поэт, прозаик, переводчик, литературовед, историк, есениновед, президент Есенинского Культурного центра, капитан первого ранга в запасе.\n\nБиография.\nЮрий Александрович Паркаев родился 12 февраля 1941 года в городе Горьком (сейчас — Нижний Новгород). Его мама — Антонина Ивановна Паркаева, окончила Нижегородский медицинский институт, педиатр.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\"." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1088, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1088, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 732, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 338, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Юрий Александрович Паркаев (12 февраля 1941, Горький — 1 января 2013, Москва) — советский и российский поэт, прозаик, переводчик, литературовед, историк, есениновед, президент Есенинского Культурного центра, капитан первого ранга в запасе.\n\nБиография.\nЮрий Александрович Паркаев родился 12 февраля 1941 года в городе Горьком (сейчас — Нижний Новгород). Его мама — Антонина Ивановна Паркаева, окончила Нижегородский медицинский институт, педиатр.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\".\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Юрий Александрович Паркаев? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Шариф Камалетдинович Камал?", + "support_text": "Шариф Камалетдинович Камал ( настоящая фамилия — Байгильдеев (); 16 марта 1884 — 22 декабря 1942) — советский татарский писатель, драматург и переводчик.\n\nПамять.\nПохоронен на Татарском кладбище в Казани. В Казани работает дом-музей Камала. Именем Ш. Камала названа улица в Вахитовском районе Казани, улица и школа в селе Тат.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 413, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 239, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 200, + "segment": "Казани" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Шариф Камалетдинович Камал ( настоящая фамилия — Байгильдеев (); 16 марта 1884 — 22 декабря 1942) — советский татарский писатель, драматург и переводчик.\n\nПамять.\nПохоронен на Татарском кладбище в Казани. В Казани работает дом-музей Камала. Именем Ш. Камала названа улица в Вахитовском районе Казани, улица и школа в селе Тат.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где умер Шариф Камалетдинович Камал? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 315, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Бердь.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Большой Елбаш?", + "support_text": "Большой Елбаш — река в России, протекает в Новосибирской области. Устье реки находится в 12 км по левому берегу реки Елбаш. Длина реки составляет 28 км.", + "text": "Елбаш (в верховье Малый Елбаш) — река в России, протекает в Новосибирской области. Устье реки находится в 83 км по правому берегу реки Бердь. Длина реки составляет 33 км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 135, + "segment": "Бердь" + } + ], + "meta": { + "id": 583, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 8, + "segment": "Елбаш" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Большой Елбаш — река в России, протекает в Новосибирской области. Устье реки находится в 12 км по левому берегу реки Елбаш. Длина реки составляет 28 км.\nТекст 2: Елбаш (в верховье Малый Елбаш) — река в России, протекает в Новосибирской области. Устье реки находится в 83 км по правому берегу реки Бердь. Длина реки составляет 33 км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Большой Елбаш? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " Вергеза впадает в Рутку, которая является левым притоком Волги.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Вергеза?", + "support_text": "Вергеза — река в России, протекает по Килемарскому району Республики Марий Эл. Устье реки находится в 93 км от устья Рутки по левому берегу. Длина реки составляет 12 км, площадь водосборного бассейна — 37,5 кв км.\n\nПримечания.\nКатегория:Притоки Рутки.", + "text": "Рутка — река в России, протекает по территории Килемарского и Горномарийского районов Марий Эл и Шарангского района Нижегородской области, левый приток Волги. Длина реки составляет 153 км, площадь водосборного бассейна — 1950 кв км. Среднегодовой расход воды в 51 км от устья — 7,32 м³/с, питание реки преимущественно снеговое, половодье наблюдается в апреле — мае. Рутка замерзает в ноябре — начале декабря, а вскрывается в апреле. Река используется для рекреационных водных походов. Верховья реки до села Старая Рудка безлесные, с редкими селениями по берегам. В среднем и нижнем течении река течёт лесами по ненаселённой местности. Впадает в Чебоксарское водохранилище на Волге напротив города Козьмодемьянска. Название реки выводят от финно-угорского корня *\"rate (rote)\" \"дым, туман (поднимающийся с ручьёв)\".\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Волга от устья реки Ока до Чебоксарского гидроузла (Чебоксарское водохранилище), без рек Сура и Ветлуга, речной подбассейн реки — Волга от впадения Оки до Куйбышевского водохранилища (без бассейна Суры). Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки)." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 152, + "segment": "Волги" + }, + { + "label": "passage", + "length": 5, + "offset": 152, + "segment": "Волга" + } + ], + "meta": { + "id": 898, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 117, + "segment": "Рутки" + }, + { + "label": "passage", + "length": 5, + "offset": 248, + "segment": "Рутки" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Вергеза — река в России, протекает по Килемарскому району Республики Марий Эл. Устье реки находится в 93 км от устья Рутки по левому берегу. Длина реки составляет 12 км, площадь водосборного бассейна — 37,5 кв км.\n\nПримечания.\nКатегория:Притоки Рутки.\nТекст 2: Рутка — река в России, протекает по территории Килемарского и Горномарийского районов Марий Эл и Шарангского района Нижегородской области, левый приток Волги. Длина реки составляет 153 км, площадь водосборного бассейна — 1950 кв км. Среднегодовой расход воды в 51 км от устья — 7,32 м³/с, питание реки преимущественно снеговое, половодье наблюдается в апреле — мае. Рутка замерзает в ноябре — начале декабря, а вскрывается в апреле. Река используется для рекреационных водных походов. Верховья реки до села Старая Рудка безлесные, с редкими селениями по берегам. В среднем и нижнем течении река течёт лесами по ненаселённой местности. Впадает в Чебоксарское водохранилище на Волге напротив города Козьмодемьянска. Название реки выводят от финно-угорского корня *\"rate (rote)\" \"дым, туман (поднимающийся с ручьёв)\".\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхневолжскому бассейновому округу, водохозяйственный участок реки — Волга от устья реки Ока до Чебоксарского гидроузла (Чебоксарское водохранилище), без рек Сура и Ветлуга, речной подбассейн реки — Волга от впадения Оки до Куйбышевского водохранилища (без бассейна Суры). Речной бассейн реки — (Верхняя) Волга до Куйбышевского водохранилища (без бассейна Оки).\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Вергеза?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Президент.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую должность занимает глава государства в стране, гражданином которой был Араш Борхани?", + "support_text": "Араш Борхани ( ; 14 сентября 1983, Керман, Иран) — иранский футболист, выступавший на позиции нападающего за национальную сборную Ирана и целый ряд клубов.\n\nДостижения.\n\"Эстегляль\". Серебряный призёр Иранской Про-лиги: 2013. Обладатель Кубка Хазфи (3): 2008, 2012, 2016. Иран. Чемпион Федерации футбола Западной Азии: 2004.", + "text": "Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном.\n\nГосударственное устройство.\nВысший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок. Органы местного самоуправления присутствуют во всех городах и деревнях Ирана и избираются всенародным голосованием на четырёхлетний срок." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 351, + "segment": "Высший руководитель" + } + ], + "meta": { + "id": 694, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 43, + "segment": "Иран" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Араш Борхани ( ; 14 сентября 1983, Керман, Иран) — иранский футболист, выступавший на позиции нападающего за национальную сборную Ирана и целый ряд клубов.\n\nДостижения.\n\"Эстегляль\". Серебряный призёр Иранской Про-лиги: 2013. Обладатель Кубка Хазфи (3): 2008, 2012, 2016. Иран. Чемпион Федерации футбола Западной Азии: 2004.\nТекст 2: Исламская Республика Иран ( — \"Джомхури-йе Эслɒми-йе Ирɒ́н\"), сокращённо — Иран ( ), до 1935 года также Персия — государство в Передней Азии. Столица — город Тегеран. На западе граничит с Ираком, на северо-западе — с Азербайджаном, Арменией, Турцией, на севере — с Туркменией, на востоке — с Афганистаном и Пакистаном.\n\nГосударственное устройство.\nВысший руководитель избирается Советом экспертов и подотчётен ему. Вторым по значимости должностным лицом в Иране является президент. Президент является гарантом конституции и главой исполнительной власти. Решения по ключевым вопросам принимаются только после одобрения Высшего руководителя. Президент назначает членов Совета министров и координирует работу правительства. Совет целесообразности является также совещательным органом при Высшем руководителе. Председатель Совета — бывший президент Ирана Али Акбар Хашеми Рафсанджани — личный советник Рахбара. Совет экспертов состоит из 86 представителей исламского духовенства и собирается на неделю каждый год. Совет экспертов избирает Высшего руководителя и имеет право сместить его с должности в любое время (хотя такого прецедента ещё не было: нынешний Высший руководитель, Али Хаменеи — всего второй в истории страны, тогда как первый, Хомейни, скончался, будучи ещё на посту). Заседания Совета носят закрытый характер. Члены Совета избираются всенародным голосованием на восьмилетний срок. Органы местного самоуправления присутствуют во всех городах и деревнях Ирана и избираются всенародным голосованием на четырёхлетний срок.\nОпираясь на данные тексты, ответьте на вопрос: Какую должность занимает глава государства в стране, гражданином которой был Араш Борхани? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 505, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Веймйок впадает в реку Уйма.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Веймйок?", + "support_text": "Веймйок — река в России, протекает в Ловозерском районе Мурманской области. Длина реки составляет 13 км. Начинается из родника к югу от небольшого озера. От истока течёт на запад по тундре, частично заболоченной, частично поросшей мхами, лишайниками и редкими кустарниками. Устье реки находится в 33 км по правому берегу реки Уйма на высоте 200,6 метра над уровнем моря. Почти на всём протяжении порожиста. Ширина реки в среднем течении — 25 метров при глубине 0,9 метра.", + "text": "Уйма — река в России, протекает в Ловозерском районе Мурманской области. Длина реки — 54 км, площадь водосборного бассейна — 616 кв км. Начинается из небольшого озера к юго-востоку от горы Ягодная (302,8 м.), лежащего на высоте 268,6 метра над уровнем моря, затем огибает гору с юга. В дальнейшем течёт по заболоченной тундре, покрытой мхами и лишайниками, с отдельными зарослями кустарников, в северо-западном направлении до озера Уймъявр. После него меняет направление течения на западное и впадает с востока в Серебрянское водохранилище на высоте 154 метра над уровнем моря. Ранее устье реки находилось в 130 км по правому берегу реки Воронья. Скорость течения воды — 0,2 м/с. Ширина реки в верховьях — 8 метров при глубине в 0,3 м; в низовьях — 47 и 0,9 м соответственно.\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Баренцево-Беломорскому бассейновому округу, водохозяйственный участок реки — Воронья от истока до гидроузла Серебрянское 1, включая озеро Ловозеро, речной подбассейн отсутствует. Речной бассейн реки — бассейны рек Кольского полуострова, впадает в Баренцево море." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 638, + "segment": "Воронья" + } + ], + "meta": { + "id": 335, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 326, + "segment": "Уйма" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Веймйок — река в России, протекает в Ловозерском районе Мурманской области. Длина реки составляет 13 км. Начинается из родника к югу от небольшого озера. От истока течёт на запад по тундре, частично заболоченной, частично поросшей мхами, лишайниками и редкими кустарниками. Устье реки находится в 33 км по правому берегу реки Уйма на высоте 200,6 метра над уровнем моря. Почти на всём протяжении порожиста. Ширина реки в среднем течении — 25 метров при глубине 0,9 метра.\nТекст 2: Уйма — река в России, протекает в Ловозерском районе Мурманской области. Длина реки — 54 км, площадь водосборного бассейна — 616 кв км. Начинается из небольшого озера к юго-востоку от горы Ягодная (302,8 м.), лежащего на высоте 268,6 метра над уровнем моря, затем огибает гору с юга. В дальнейшем течёт по заболоченной тундре, покрытой мхами и лишайниками, с отдельными зарослями кустарников, в северо-западном направлении до озера Уймъявр. После него меняет направление течения на западное и впадает с востока в Серебрянское водохранилище на высоте 154 метра над уровнем моря. Ранее устье реки находилось в 130 км по правому берегу реки Воронья. Скорость течения воды — 0,2 м/с. Ширина реки в верховьях — 8 метров при глубине в 0,3 м; в низовьях — 47 и 0,9 м соответственно.\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Баренцево-Беломорскому бассейновому округу, водохозяйственный участок реки — Воронья от истока до гидроузла Серебрянское 1, включая озеро Ловозеро, речной подбассейн отсутствует. Речной бассейн реки — бассейны рек Кольского полуострова, впадает в Баренцево море.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Веймйок?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Река, в которую впадает Фаэтонка, сливается с рекой Фортанга.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Фаэтонка?", + "support_text": "Фаэтонка, Футан — река в России, протекает в Ингушетии и Чечне (устьевая часть). Устье реки находится в 25 км по левому берегу реки Фортанги, в южной части села Бамут. Длина реки — 22 км, площадь водосборного бассейна — 90,8 кв км.", + "text": "Фортанга ( ) — река в России, протекает в Ингушетии и Чечне. Правый приток Ассы. Длина реки — 69 км, площадь её водосборного бассейна — 525 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 75, + "segment": "Ассы" + }, + { + "label": "passage", + "length": 4, + "offset": 75, + "segment": "Асса" + } + ], + "meta": { + "id": 631, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 132, + "segment": "Фортанги" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Фаэтонка, Футан — река в России, протекает в Ингушетии и Чечне (устьевая часть). Устье реки находится в 25 км по левому берегу реки Фортанги, в южной части села Бамут. Длина реки — 22 км, площадь водосборного бассейна — 90,8 кв км.\nТекст 2: Фортанга ( ) — река в России, протекает в Ингушетии и Чечне. Правый приток Ассы. Длина реки — 69 км, площадь её водосборного бассейна — 525 кв км.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Фаэтонка?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": [ + 20 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Толька", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Ньюгантокылькы?", + "support_text": "Ньюгантокылькы (\"устар.\" Ньюган-Токаль-Кы) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 180 км по левому берегу реки Толька. Длина реки составляет 58 км. В 12 км от устья по левому берегу реки впадает река Кутылькы.", + "text": "Толька — река в России, протекает в Ямало-Ненецком автономном округе. Впадает в реку Таз слева на 723-м километре от устья. Длина реки — 391 км, площадь водосборного бассейна — 13 300 кв км. Среднегодовой расход воды — 125 м³/с. Гидроним восходит к — \"озёрная речка\"." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 85, + "segment": "Таз" + } + ], + "meta": { + "id": 425, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 172, + "segment": "Толька" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ньюгантокылькы (\"устар.\" Ньюган-Токаль-Кы) — река в России, протекает по территории Ямало-Ненецкого автономного округа. Устье реки находится в 180 км по левому берегу реки Толька. Длина реки составляет 58 км. В 12 км от устья по левому берегу реки впадает река Кутылькы.\nТекст 2: Толька — река в России, протекает в Ямало-Ненецком автономном округе. Впадает в реку Таз слева на 723-м километре от устья. Длина реки — 391 км, площадь водосборного бассейна — 13 300 кв км. Среднегодовой расход воды — 125 м³/с. Гидроним восходит к — \"озёрная речка\".\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Ньюгантокылькы? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Палата депутатов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Альфонсо Касо?", + "support_text": "Альфонсо Касо-и-Андраде ( 1 февраля 1896, Мехико — 30 ноября 1970, там же) — мексиканский -индеанист, , , , внесший важный вклад в исследования доколумбовых культур в своей родной стране. Основатель и директор (в 1948—1968 годах) Национального индеанистского института, Касо считал, что систематическое изучение древних мексиканских цивилизаций было важным способом понять мексиканские культурные корни.\n\nБиография.\nМладший брат философа Антонио Касо-и-Андраде. Будучи студентом университета, входил в группу молодых интеллектуалов, известную как \"Los Siete Sabios de México\" (\"Семь мудрецов Мексики\"), которые основали \"Общество конференций и концертов\" Мехико, занимавшейся культурной активностью в среде студентов. Ещё одним из \"мудрецов\" был профсоюзный лидер Висенте Ломбардо Толедано, на сестре которого, писательнице Марии Ломбардо женился Касо: у пары было четверо детей. После смерти супруги в 1966 году он женился на её сестре Аиде. Касо получил юридическое образование в 1919 году и сразу начал преподавать в Национальном автономном университете Мексики (УНАМ). Систематическая юридическая подготовка, которую он получил, отметила его археологическую и административную работу на протяжении всей его жизни.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая." + }, + "outputs": [ + { + "label": "passage", + "length": 21, + "offset": 551, + "segment": "Двухпалатный Конгресс" + } + ], + "meta": { + "id": 785, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 78, + "segment": "мексиканский" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Альфонсо Касо-и-Андраде ( 1 февраля 1896, Мехико — 30 ноября 1970, там же) — мексиканский -индеанист, , , , внесший важный вклад в исследования доколумбовых культур в своей родной стране. Основатель и директор (в 1948—1968 годах) Национального индеанистского института, Касо считал, что систематическое изучение древних мексиканских цивилизаций было важным способом понять мексиканские культурные корни.\n\nБиография.\nМладший брат философа Антонио Касо-и-Андраде. Будучи студентом университета, входил в группу молодых интеллектуалов, известную как \"Los Siete Sabios de México\" (\"Семь мудрецов Мексики\"), которые основали \"Общество конференций и концертов\" Мехико, занимавшейся культурной активностью в среде студентов. Ещё одним из \"мудрецов\" был профсоюзный лидер Висенте Ломбардо Толедано, на сестре которого, писательнице Марии Ломбардо женился Касо: у пары было четверо детей. После смерти супруги в 1966 году он женился на её сестре Аиде. Касо получил юридическое образование в 1919 году и сразу начал преподавать в Национальном автономном университете Мексики (УНАМ). Систематическая юридическая подготовка, которую он получил, отметила его археологическую и административную работу на протяжении всей его жизни.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Альфонсо Касо?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 547, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Брэила", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где родился человек, который был братом Симьона Куцова?", + "support_text": "Симьон Куцов ( 7 мая 1952, Брэила — 1993) — румынский боксёр лёгкой и полусредней весовых категорий, в 1970-е годы выступал за сборную Румынии. Серебряный призёр летних Олимпийских игр в Монреале, дважды чемпион Европы, обладатель серебряной медали чемпионата мира, победитель многих международных турниров и национальных первенств.\n\nБиография.\nВскоре после этих соревнований покинул румынскую сборную и завершил карьеру спортсмена. Всего в его послужном списке 155 боёв в любительском олимпийском боксе, из них лишь 20 окончились проигрышем. После завершения спортивной карьеры Куцов сильно страдал от алкогольной зависимости, у него возникли серьёзные проблемы со здоровьем, и в 1993 году он умер от цирроза печени. Его старший брат Калистрат тоже был довольно известным боксёром, представлял Румынию на трёх Олимпийских играх.", + "text": "Калистрат Куцов ( 10 октября 1948, Брэила) — румынский боксёр лёгкой и полусредней весовых категорий, русского (липованского) происхождения, выступал за сборную Румынии в конце 1960-х — середине 1970-х годов. Бронзовый призёр летних Олимпийских игр в Мехико, чемпион Европы, победитель многих международных турниров и национальных первенств. Ныне — тренер по боксу.\n\nБиография.\nКалистрат Куцов родился 10 октября 1948 года в городе Брэила. Активно заниматься боксом начал в возрасте одиннадцати лет — сначала тренировался в местном небольшом клубе, затем присоединился к бухарестскому спортивному обществу \"Динамо\" и попал в основной состав национальной сборной. В 1968 году, находясь в лёгком весе, впервые выиграл взрослый чемпионат Румынии и благодаря череде удачных выступлений удостоился права защищать честь страны на летних Олимпийских играх в Мехико, откуда привёз медаль бронзового достоинства (в полуфинале со счётом 0:5 уступил американцу Ронни Харрису). Год спустя участвовал в боях чемпионата Европы в Бухаресте — завоевал золотую медаль, победив всех своих соперников на турнире." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 36, + "segment": "Брэила" + }, + { + "label": "passage", + "length": 6, + "offset": 436, + "segment": "Брэила" + } + ], + "meta": { + "id": 814, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 739, + "segment": "Калистрат" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Симьон Куцов ( 7 мая 1952, Брэила — 1993) — румынский боксёр лёгкой и полусредней весовых категорий, в 1970-е годы выступал за сборную Румынии. Серебряный призёр летних Олимпийских игр в Монреале, дважды чемпион Европы, обладатель серебряной медали чемпионата мира, победитель многих международных турниров и национальных первенств.\n\nБиография.\nВскоре после этих соревнований покинул румынскую сборную и завершил карьеру спортсмена. Всего в его послужном списке 155 боёв в любительском олимпийском боксе, из них лишь 20 окончились проигрышем. После завершения спортивной карьеры Куцов сильно страдал от алкогольной зависимости, у него возникли серьёзные проблемы со здоровьем, и в 1993 году он умер от цирроза печени. Его старший брат Калистрат тоже был довольно известным боксёром, представлял Румынию на трёх Олимпийских играх.\nТекст 2: Калистрат Куцов ( 10 октября 1948, Брэила) — румынский боксёр лёгкой и полусредней весовых категорий, русского (липованского) происхождения, выступал за сборную Румынии в конце 1960-х — середине 1970-х годов. Бронзовый призёр летних Олимпийских игр в Мехико, чемпион Европы, победитель многих международных турниров и национальных первенств. Ныне — тренер по боксу.\n\nБиография.\nКалистрат Куцов родился 10 октября 1948 года в городе Брэила. Активно заниматься боксом начал в возрасте одиннадцати лет — сначала тренировался в местном небольшом клубе, затем присоединился к бухарестскому спортивному обществу \"Динамо\" и попал в основной состав национальной сборной. В 1968 году, находясь в лёгком весе, впервые выиграл взрослый чемпионат Румынии и благодаря череде удачных выступлений удостоился права защищать честь страны на летних Олимпийских играх в Мехико, откуда привёз медаль бронзового достоинства (в полуфинале со счётом 0:5 уступил американцу Ронни Харрису). Год спустя участвовал в боях чемпионата Европы в Бухаресте — завоевал золотую медаль, победив всех своих соперников на турнире.\nОпираясь на факты в данных текстах, ответьте на вопрос: Где родился человек, который был братом Симьона Куцова? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 488, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Чупал впадает в реку Большой Салым, который является его притоком.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Чупал?", + "support_text": "Чупал — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 423 км по правому берегу реки Большой Салым. Длина реки составляет 23 км.", + "text": "Большой Салым — река в России, левый приток Оби, протекает по территории Нефтеюганского и Ханты-Мансийского районов Ханты-Мансийского автономного округа. Длина реки — 583 км, площадь водосборного бассейна — 18 100 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша. Код объекта в государственном водном реестре — 13011100212115200049660." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 44, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 44, + "segment": "Обь" + } + ], + "meta": { + "id": 820, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 110, + "segment": "Большой Салым" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Чупал — река в России, протекает по Ханты-Мансийскому АО Устье реки находится в 423 км по правому берегу реки Большой Салым. Длина реки составляет 23 км.\nТекст 2: Большой Салым — река в России, левый приток Оби, протекает по территории Нефтеюганского и Ханты-Мансийского районов Ханты-Мансийского автономного округа. Длина реки — 583 км, площадь водосборного бассейна — 18 100 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Верхнеобскому бассейновому округу, водохозяйственный участок реки — Обь от города Нефтеюганск до впадения реки Иртыш, речной подбассейн реки — Обь ниже Ваха до впадения Иртыша. Речной бассейн реки — (Верхняя) Обь до впадения Иртыша. Код объекта в государственном водном реестре — 13011100212115200049660.\nОпираясь на данные тексты, ответьте на вопрос: В какую реку впадает река, притоком которой является Чупал?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Смердиль впадает в реку Колпь, которая в свою очередь впадает в реку Суду.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Смердиль?", + "support_text": "Смердиль — река в Вологодской области России, правый приток Колпи. Вытекает из озера \"Грибно\" на севере Лентьевского сельского поселения Устюженского района. Течёт на север между болотами \"Дубровское\" и \"Воронской Мох\", пересекает территорию Сиучского сельского поселения Бабаевского района и впадает в Колпь в 34 км от её устья на территории Мазского сельского поселения Кадуйского района. Длина реки составляет 10 км.", + "text": "Колпь — река в Ленинградской и Вологодской областях России, правый приток реки Суда (бассейн Волги). Бассейн Рыбинского водохранилища и Белого озера. В верхней и средней части реки течение быстрое, есть каменистые перекаты. Ниже по течению река поворачивает на юго-восток и вновь заходит на территорию Вологодской области. В нижнем течении выходит на Шекснинскую низменность, скорость падает, река начинает образовывать крутые излучины, затоны, старицы. Впадает в Суду недалеко от деревни Усть-Колпь Кадуйского района, в 20 км выше посёлка Кадуй и в 57 км от устья Суды. Населённые пункты на берегах (от истока к устью):. \"Ленинградская область\": Красный Бор,. \"Вологодская область\": Плесо, Плоское,." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 79, + "segment": "Суда" + } + ], + "meta": { + "id": 621, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 60, + "segment": "Колпи" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Смердиль — река в Вологодской области России, правый приток Колпи. Вытекает из озера \"Грибно\" на севере Лентьевского сельского поселения Устюженского района. Течёт на север между болотами \"Дубровское\" и \"Воронской Мох\", пересекает территорию Сиучского сельского поселения Бабаевского района и впадает в Колпь в 34 км от её устья на территории Мазского сельского поселения Кадуйского района. Длина реки составляет 10 км.\nТекст 2: Колпь — река в Ленинградской и Вологодской областях России, правый приток реки Суда (бассейн Волги). Бассейн Рыбинского водохранилища и Белого озера. В верхней и средней части реки течение быстрое, есть каменистые перекаты. Ниже по течению река поворачивает на юго-восток и вновь заходит на территорию Вологодской области. В нижнем течении выходит на Шекснинскую низменность, скорость падает, река начинает образовывать крутые излучины, затоны, старицы. Впадает в Суду недалеко от деревни Усть-Колпь Кадуйского района, в 20 км выше посёлка Кадуй и в 57 км от устья Суды. Населённые пункты на берегах (от истока к устью):. \"Ленинградская область\": Красный Бор,. \"Вологодская область\": Плесо, Плоское,.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Смердиль?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 323, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Ирландия.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Откуда родом сценарист фильма \"Завтрак на Плутоне\"?", + "support_text": "'Завтрак на Плутоне' — комедийная драма Нила Джордана по одноимённому роману Патрика Маккейба. Фильм был номинирован на 'Золотой глобус', участвовал во внеконкурсной программе Берлинского кинофестиваля.", + "text": "Нил Патрик Джордан ( род. 25 февраля 1950, Слайго, Ирландия) — ирландский кинорежиссёр, продюсер и писатель. Обладатель премии \"Оскар\". В послужном списке Джордана-режиссёра такие картины, как \"Интервью с вампиром\", \"Майкл Коллинз\", \"Завтрак на Плутоне\" и \"Жестокая игра\".\n\nБиография и карьера.\nНил Джордан родился 25 февраля 1950 года в графстве Слайго, Ирландия в семье профессора и художницы. В молодости он играл на гитаре, пианино и саксофоне. Учился в Колледже Святого Павла в Дублине. А после окончания Дублинского университета по курсу истории Ирландии и английской литературы, Джордан публикует сборник рассказов \"Ночь в Тунисе\" (1976) и пишет роман \"Прошлое\" (1980)." + }, + "outputs": [ + { + "label": "answer", + "length": 16, + "offset": 44, + "segment": "Слайго, Ирландия" + } + ], + "meta": { + "id": 914, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 40, + "segment": "Нила Джордана" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: 'Завтрак на Плутоне' — комедийная драма Нила Джордана по одноимённому роману Патрика Маккейба. Фильм был номинирован на 'Золотой глобус', участвовал во внеконкурсной программе Берлинского кинофестиваля.\nТекст 2: Нил Патрик Джордан ( род. 25 февраля 1950, Слайго, Ирландия) — ирландский кинорежиссёр, продюсер и писатель. Обладатель премии \"Оскар\". В послужном списке Джордана-режиссёра такие картины, как \"Интервью с вампиром\", \"Майкл Коллинз\", \"Завтрак на Плутоне\" и \"Жестокая игра\".\n\nБиография и карьера.\nНил Джордан родился 25 февраля 1950 года в графстве Слайго, Ирландия в семье профессора и художницы. В молодости он играл на гитаре, пианино и саксофоне. Учился в Колледже Святого Павла в Дублине. А после окончания Дублинского университета по курсу истории Ирландии и английской литературы, Джордан публикует сборник рассказов \"Ночь в Тунисе\" (1976) и пишет роман \"Прошлое\" (1980).\nОпираясь на данные тексты, ответьте на вопрос: Откуда родом сценарист фильма \"Завтрак на Плутоне\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 303, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Конгресс", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Тито Гисар?", + "support_text": "Федерико Артуро Гисар Толентино, более известный как Тито Гисар (8 апреля 1908, Гвадалахара, Халиско, Мексика — 24 декабря 1999, Сан-Антонио, Техас, США) — выдающиеся мексиканский актёр, композитор, певец, преподаватель. Продюсер и сценарист, один из актёров — становителей эпохи \"Золотого века мексиканского кинематографа\" и один из актёров, покоривших Голливуд.", + "text": "Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 540, + "segment": "Парламент" + } + ], + "meta": { + "id": 82, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 102, + "segment": "Мексика" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Федерико Артуро Гисар Толентино, более известный как Тито Гисар (8 апреля 1908, Гвадалахара, Халиско, Мексика — 24 декабря 1999, Сан-Антонио, Техас, США) — выдающиеся мексиканский актёр, композитор, певец, преподаватель. Продюсер и сценарист, один из актёров — становителей эпохи \"Золотого века мексиканского кинематографа\" и один из актёров, покоривших Голливуд.\nТекст 2: Мексика ( ), официально — Мексиканские Соединённые Штаты ( ) — государство в Северной Америке, на севере граничит с Соединёнными Штатами Америки, на юго-востоке — с Белизом и Гватемалой, на западе омывается водами Калифорнийского залива и Тихого океана, на востоке — водами Атлантического океана, Мексиканского залива и Карибского моря. Крупнейшая испаноязычная страна мира.\n\nПолитика.\n1 июля 2018 года на выборах избран Президентом Мексики кандидат от коалиции \"\" Андрес Мануэль Лопес Обрадор (вступил в должность 1 декабря 2018 года). Парламент. Двухпалатный Конгресс — Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок). Политические партии. Левые. Партия труда (PT) — коммунистическая / левосоциалистическая.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган государства, гражданином которого является Тито Гисар? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 364, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.16, + "em": 0 + }, + "predict": " Наивысшей точкой горного хребта, к которому принадлежит Саур-Могила, является Могила Мечетная, расположенная в Луганской области Украины, на высоте 366 метров над уровнем моря.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за место является наивысшей точкой горного хребта, к которому принадлежит Саур-Могила?", + "support_text": "Вершина Саур-Могилы до разрушения мемориала в августе 2014 года. Саур-Могила — курган в Шахтёрском районе Донецкой области Украины, одна из высот Донецкого кряжа (277,9 м). На вершине кургана находились сторожевой казацкий пост, укрепления Миус-фронта. После Великой Отечественной войны на Саур-Могиле был создан мемориальный комплекс. Курган входит в состав регионального ландшафтного парка \"Донецкий кряж\".\n\nФизико-географическая характеристика.\nСаур-Могила — одна из высочайших точек Донецкой области. Географические координаты: 47°55′22,75″ северной широты, 38°44′25,94″ восточной долготы. Высота кургана — 277,9 метров над уровнем моря. Курган представляет собой останки одного из размытых отрогов Донецкого кряжа. Курган большей частью состоит из песчаника, также попадаются друзы горного хрусталя. Верхняя часть кургана была насыпана во втором тысячелетии до нашей эры племенами срубной культуры. Насыпная часть имеет высоту 4 метра и диаметр 32 метра.", + "text": "Донецкий кряж — возвышенность на юге Восточно-Европейской равнины, на границе современных Украины и России. Название \"Донецкий кряж\" впервые появилось в 1827 году в публикации исследователя геологии кряжа Е. П. Ковалевского. Общая площадь кряжа 23 тысячи кв км, протяжённость около 370 км, ширина 160 км. Средняя высота от 200 до 300 метров, высшая точка — Могила Мечетная, 366 метров над уровнем моря (г. Петровское, Луганская область).\n\nГеология.\nДонецкий кряж является возвышенностью с ровными межречными пространствами и долинами, которые имеют горный характер. Средняя высота поверхности равняется 200—300 м. Высшая его точка — Могила Мечетная — поднимается на 367 м над уровнем моря. Поверхность глубоко расчленена речными долинами, оврагами и балками. В геологическом строении кряжа принимают участие сильно дислоцированные, усложнённые многочисленными разрывными нарушениями отложения карбона, перми, триаса: каменноугольные (песчаники, аргиллиты, алевролиты, известняк, уголь), которые имеют многокилометровую мощность." + }, + "outputs": [ + { + "label": "passage", + "length": 15, + "offset": 358, + "segment": "Могила Мечетная" + }, + { + "label": "passage", + "length": 15, + "offset": 637, + "segment": "Могила Мечетная" + } + ], + "meta": { + "id": 723, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 146, + "segment": "Донецкого кряжа" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Вершина Саур-Могилы до разрушения мемориала в августе 2014 года. Саур-Могила — курган в Шахтёрском районе Донецкой области Украины, одна из высот Донецкого кряжа (277,9 м). На вершине кургана находились сторожевой казацкий пост, укрепления Миус-фронта. После Великой Отечественной войны на Саур-Могиле был создан мемориальный комплекс. Курган входит в состав регионального ландшафтного парка \"Донецкий кряж\".\n\nФизико-географическая характеристика.\nСаур-Могила — одна из высочайших точек Донецкой области. Географические координаты: 47°55′22,75″ северной широты, 38°44′25,94″ восточной долготы. Высота кургана — 277,9 метров над уровнем моря. Курган представляет собой останки одного из размытых отрогов Донецкого кряжа. Курган большей частью состоит из песчаника, также попадаются друзы горного хрусталя. Верхняя часть кургана была насыпана во втором тысячелетии до нашей эры племенами срубной культуры. Насыпная часть имеет высоту 4 метра и диаметр 32 метра.\nТекст 2: Донецкий кряж — возвышенность на юге Восточно-Европейской равнины, на границе современных Украины и России. Название \"Донецкий кряж\" впервые появилось в 1827 году в публикации исследователя геологии кряжа Е. П. Ковалевского. Общая площадь кряжа 23 тысячи кв км, протяжённость около 370 км, ширина 160 км. Средняя высота от 200 до 300 метров, высшая точка — Могила Мечетная, 366 метров над уровнем моря (г. Петровское, Луганская область).\n\nГеология.\nДонецкий кряж является возвышенностью с ровными межречными пространствами и долинами, которые имеют горный характер. Средняя высота поверхности равняется 200—300 м. Высшая его точка — Могила Мечетная — поднимается на 367 м над уровнем моря. Поверхность глубоко расчленена речными долинами, оврагами и балками. В геологическом строении кряжа принимают участие сильно дислоцированные, усложнённые многочисленными разрывными нарушениями отложения карбона, перми, триаса: каменноугольные (песчаники, аргиллиты, алевролиты, известняк, уголь), которые имеют многокилометровую мощность.\nОпираясь на данные тексты, ответьте на вопрос: Что за место является наивысшей точкой горного хребта, к которому принадлежит Саур-Могила?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 590, + "generated_len": [ + 42 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " И. Р. Метшин", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Юрий Владимирович Ковалёв (советский футболист)?", + "support_text": "Юрий Владимирович Ковалёв ( 1 июля 1954, Казань, Татарская АССР, РСФСР, СССР) — советский и украинский футболист, полузащитник, мастер спорта СССР. В Высшей лиге играл за \"Динамо\" (Киев), \"Зарю\", \"Днепр\" и \"Торпедо\" (Москва). Также выступал в командах \"Металлург\" (Запорожье), \"Звезда\" (Кировоград), СКА (Киев) и \"Десна\". Был капитаном молодёжной сборной СССР.\n\nКлубная карьера.\nВоспитанник ДЮСШ \"Трудовые резервы\" (Казань) и киевского спортинтерната. В 1972 году стал игроком дублирующего состава \"Динамо\" (Киев). В сезоне 1974 года сыграл 7 матчей за основной состав, стал обладателем Кубка СССР. В 1975 году играл в \"Заре\" (Ворошиловград).", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 595, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 542, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 42, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Юрий Владимирович Ковалёв ( 1 июля 1954, Казань, Татарская АССР, РСФСР, СССР) — советский и украинский футболист, полузащитник, мастер спорта СССР. В Высшей лиге играл за \"Динамо\" (Киев), \"Зарю\", \"Днепр\" и \"Торпедо\" (Москва). Также выступал в командах \"Металлург\" (Запорожье), \"Звезда\" (Кировоград), СКА (Киев) и \"Десна\". Был капитаном молодёжной сборной СССР.\n\nКлубная карьера.\nВоспитанник ДЮСШ \"Трудовые резервы\" (Казань) и киевского спортинтерната. В 1972 году стал игроком дублирующего состава \"Динамо\" (Киев). В сезоне 1974 года сыграл 7 матчей за основной состав, стал обладателем Кубка СССР. В 1975 году играл в \"Заре\" (Ворошиловград).\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России. Казанский кремль входит в число объектов Всемирного наследия ЮНЕСКО.\n\nАдминистративное устройство.\nГлавой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где родился Юрий Владимирович Ковалёв (советский футболист)? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 383, + "generated_len": [ + 62 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.19999999999999998, + "em": 0 + }, + "predict": " С рекой Пур сливается река, в которую впадает Нигибнебяяха.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Нигибнебяяха?", + "support_text": "Нигибнебяяха (устар. \"Нигибнебя-Яха\") — река в России, протекает по территории Пуровского района Ямало-Ненецком автономном округе. Устье реки находится в 48 км по правому берегу реки Ямсовей. Длина реки — 138 км, площадь водосборного бассейна — 1270 кв км.", + "text": "Ямсовей — река в России, протекает по территории Пуровского района Ямало-Ненецком автономном округе. Образуется при слиянии Большого и Малого Ямсовеев, впадает в реку Пур (в 6 км по левому берегу протоки Латтапаруты). Длина реки — 93 км, площадь водосборного бассейна — 4030 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур. Код объекта в государственном водном реестре — 15040000112115300059811." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 49, + "segment": "Пур" + } + ], + "meta": { + "id": 606, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 183, + "segment": "Ямсовей" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: С какой рекой сливается река, в которую впадает Нигибнебяяха?\nТекст 1: Нигибнебяяха (устар. \"Нигибнебя-Яха\") — река в России, протекает по территории Пуровского района Ямало-Ненецком автономном округе. Устье реки находится в 48 км по правому берегу реки Ямсовей. Длина реки — 138 км, площадь водосборного бассейна — 1270 кв км.\nТекст 2: Ямсовей — река в России, протекает по территории Пуровского района Ямало-Ненецком автономном округе. Образуется при слиянии Большого и Малого Ямсовеев, впадает в реку Пур (в 6 км по левому берегу протоки Латтапаруты). Длина реки — 93 км, площадь водосборного бассейна — 4030 кв км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Пур, речной подбассейн реки — подбассейн отсутствует. Речной бассейн реки — Пур. Код объекта в государственном водном реестре — 15040000112115300059811.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 294, + "generated_len": [ + 62 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Команда, за тренировки которой отвечает Маурицио Тромбетта, играет в Лиге I.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, за тренировки которой отвечает Маурицио Тромбетта?", + "support_text": "Маурицио Тромбетта ( 29 сентября 1962, Удине, Италия) — итальянский футболист и футбольный тренер.\n\nКарьера.\nВ дальнейшем в течение многих лет он входил в тренерские штабы ведущих команд Италии. Долгое время Тромбетта работал в паре с Франческо Гвидолином в \"Удинезе\" и \"Болоньи\". В 2008 году специалист переехал в Румынию, где стал помощником Йоана Андоне в клубе ЧФР. После отставки румына итальянец возглавил команду, которая до этого стала чемпионом страны. Под руководством Тромбетты \"ЧФР-Клуж\" выступал в групповом этапе Лиги Чемпионов. В первом же матче на турнире румыны сенсационно в гостях переиграли итальянскую \"Рому\", а в следующем туре сыграли вничью с английским \"Челси\". Правда в следующих 4 матчах ЧФР потерпел поражения и вылетел из еврокубков. Через некоторое время после вылета из Лиги Чемпионов Тромбетта был отправлен в отставку.", + "text": "ЧФР Клуж — румынский профессиональный футбольный клуб из города Клуж-Напока, Трансильвания. Шестикратный чемпион Румынии, четырёхкратный обладатель Кубка и трёхкратный Суперкубка страны. Также ЧФР является первым клубом не из Бухареста, ставшим чемпионом Румынии и пробившимся в групповой этап Лиги чемпионов.\n\nСтатистика выступлений с сезона 2002/2003.\n75. . 19. 69. 2004/05. 1. . Лига I. . 11. 30. . 9." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 294, + "segment": "Лиги чемпионов" + }, + { + "label": "passage", + "length": 14, + "offset": 294, + "segment": "Лига чемпионов" + } + ], + "meta": { + "id": 1, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 494, + "segment": "ЧФР-Клуж" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Маурицио Тромбетта ( 29 сентября 1962, Удине, Италия) — итальянский футболист и футбольный тренер.\n\nКарьера.\nВ дальнейшем в течение многих лет он входил в тренерские штабы ведущих команд Италии. Долгое время Тромбетта работал в паре с Франческо Гвидолином в \"Удинезе\" и \"Болоньи\". В 2008 году специалист переехал в Румынию, где стал помощником Йоана Андоне в клубе ЧФР. После отставки румына итальянец возглавил команду, которая до этого стала чемпионом страны. Под руководством Тромбетты \"ЧФР-Клуж\" выступал в групповом этапе Лиги Чемпионов. В первом же матче на турнире румыны сенсационно в гостях переиграли итальянскую \"Рому\", а в следующем туре сыграли вничью с английским \"Челси\". Правда в следующих 4 матчах ЧФР потерпел поражения и вылетел из еврокубков. Через некоторое время после вылета из Лиги Чемпионов Тромбетта был отправлен в отставку.\nТекст 2: ЧФР Клуж — румынский профессиональный футбольный клуб из города Клуж-Напока, Трансильвания. Шестикратный чемпион Румынии, четырёхкратный обладатель Кубка и трёхкратный Суперкубка страны. Также ЧФР является первым клубом не из Бухареста, ставшим чемпионом Румынии и пробившимся в групповой этап Лиги чемпионов.\n\nСтатистика выступлений с сезона 2002/2003.\n75. . 19. 69. 2004/05. 1. . Лига I. . 11. 30. . 9.\nВопрос: В какой лиге играет команда, за тренировки которой отвечает Маурицио Тромбетта?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 400, + "generated_len": [ + 62 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.125, + "em": 0 + }, + "predict": " Команда, которую тренирует Энтони Хадсон, играет в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, которую тренирует Энтони Хадсон?", + "support_text": "Энтони Патрик Хадсон ( род. ) — английский футбольный тренер.\n\nБиография.\nПытаясь побороть его, он уехал в США, где как полузащитник выступал за \"Уилмингтон Хаммерхэдс\". Вскоре Хадсон начал свою тренерскую карьеру, возглавив команду второго дивизиона \"Реал Мэриленд\". Вскоре ему удалось попасть на стажировку к Гарри Рэднаппу в \"Тоттенхэм Хотспур\". Опытный английский специалист разглядел талант в Хадсоне. Он сравнил начинающего тренера с молодым Моуриньо.", + "text": "'Тоттенхэм Хотспур' (полное название — Футбольный клуб 'Тоттенхэм Хотспур', ; , 'Тоттенем Хотспер') — английский профессиональный футбольный клуб из Тоттенема, боро Харинги на севере Лондона. Выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии. Основан в 1882 году.\n\nДостижения.\nНациональные. Первый дивизион / Премьер-лига. ** Чемпион (2): 1950/51, 1960/61. ** 'Вице-чемпион (5):' 1921/22, 1951/52, 1956/57, 1962/63, 2016/17.\n\nРекорды.\n'Бристоль Роверс'. 9:0. 1977. . Премьер-лига. 'Уиган Атлетик'." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 204, + "segment": "Премьер-лиге" + } + ], + "meta": { + "id": 3, + "bridge_answers": [ + { + "label": "passage", + "length": 17, + "offset": 333, + "segment": "Тоттенхэм Хотспур" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Энтони Патрик Хадсон ( род. ) — английский футбольный тренер.\n\nБиография.\nПытаясь побороть его, он уехал в США, где как полузащитник выступал за \"Уилмингтон Хаммерхэдс\". Вскоре Хадсон начал свою тренерскую карьеру, возглавив команду второго дивизиона \"Реал Мэриленд\". Вскоре ему удалось попасть на стажировку к Гарри Рэднаппу в \"Тоттенхэм Хотспур\". Опытный английский специалист разглядел талант в Хадсоне. Он сравнил начинающего тренера с молодым Моуриньо.\nТекст 2: 'Тоттенхэм Хотспур' (полное название — Футбольный клуб 'Тоттенхэм Хотспур', ; , 'Тоттенем Хотспер') — английский профессиональный футбольный клуб из Тоттенема, боро Харинги на севере Лондона. Выступает в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии. Основан в 1882 году.\n\nДостижения.\nНациональные. Первый дивизион / Премьер-лига. ** Чемпион (2): 1950/51, 1960/61. ** 'Вице-чемпион (5):' 1921/22, 1951/52, 1956/57, 1962/63, 2016/17.\n\nРекорды.\n'Бристоль Роверс'. 9:0. 1977. . Премьер-лига. 'Уиган Атлетик'.\nВопрос: В какой лиге играет команда, которую тренирует Энтони Хадсон?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 379, + "generated_len": [ + 62 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев является главой администрации в городе Магнитогорске, где умер Владимир Михайлович Огиевский.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Владимир Михайлович Огиевский?", + "support_text": "Владимир Михайлович Огиевский ( — 8 января 1958) — русский советский учёный и педагог. Горный инженер. Профессор, доктор технических наук. Директор Магнитогорского горно-металлургического института в 1946—1948 годах.\n\nБиография.\nВ 1943 году в Московском горном институте защитил докторскую диссертацию. Занимался изучением подземных пожаров на колчеданных рудниках, системы разработки рудных месторождений, а также вопросами профилактических мероприятий по защите горного оборудования. Сконструировал прибор \"Пиродетектор\", используемый для практического распознавания пожаров в медно-колчеданных рудниках. Автор более 65 научных работ, в том числе учебника \"Рудничные пожары\" для горных вузов, который был переведен на иностранные языки и издавался в странах социалистического лагеря. Умер 8 января 1958 года в Магнитогорске. Похоронен на Левобережном кладбище города. Признание.", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nЕвгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 499, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 545, + "bridge_answers": [ + { + "label": "passage", + "length": 13, + "offset": 815, + "segment": "Магнитогорске" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где умер Владимир Михайлович Огиевский?\nТекст 1: Владимир Михайлович Огиевский ( — 8 января 1958) — русский советский учёный и педагог. Горный инженер. Профессор, доктор технических наук. Директор Магнитогорского горно-металлургического института в 1946—1948 годах.\n\nБиография.\nВ 1943 году в Московском горном институте защитил докторскую диссертацию. Занимался изучением подземных пожаров на колчеданных рудниках, системы разработки рудных месторождений, а также вопросами профилактических мероприятий по защите горного оборудования. Сконструировал прибор \"Пиродетектор\", используемый для практического распознавания пожаров в медно-колчеданных рудниках. Автор более 65 научных работ, в том числе учебника \"Рудничные пожары\" для горных вузов, который был переведен на иностранные языки и издавался в странах социалистического лагеря. Умер 8 января 1958 года в Магнитогорске. Похоронен на Левобережном кладбище города. Признание.\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nЕвгений Карпов, глава города (2005—2009). Евгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 392, + "generated_len": [ + 62 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Владимир Владимирович Владимиров", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Илья Ефимович Зигуненко?", + "support_text": "Илья Ефимович Зигуненко (1926, село Родыки, Красногвардейский район, Ставропольский край — 27 марта 1945, Шюмег, Венгрия) — старший сержант, стрелок 1-го стрелкового полка, 99-й стрелковой дивизии, 46-й армии 1-го Украинского Фронта, участник Великой Отечественной войны. Герой Советского Союза (1945).", + "text": "Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nВалерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором." + }, + "outputs": [ + { + "label": "passage", + "length": 32, + "offset": 456, + "segment": "Владимир Владимирович Владимиров" + } + ], + "meta": { + "id": 564, + "bridge_answers": [ + { + "label": "passage", + "length": 19, + "offset": 69, + "segment": "Ставропольский край" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Илья Ефимович Зигуненко (1926, село Родыки, Красногвардейский район, Ставропольский край — 27 марта 1945, Шюмег, Венгрия) — старший сержант, стрелок 1-го стрелкового полка, 99-й стрелковой дивизии, 46-й армии 1-го Украинского Фронта, участник Великой Отечественной войны. Герой Советского Союза (1945).\nТекст 2: Карта Ставропольского края. Ставропольский край (неофициально — \"Ставрополье\") — субъект Российской Федерации, входит в состав Северо-Кавказского федерального округа, а также Северо-Кавказского экономического района. Административный центр — город Ставрополь. День Ставропольского края отмечается ежегодно в третью субботу сентября.\n\nРуководители края.\nВалерий Вениаминович Гаевский (р. 1958) 2008—2012. Валерий Георгиевич Зеренков (р. 1948) 2012—2013. Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в регионе, где родился Илья Ефимович Зигуненко? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 308, + "generated_len": [ + 62 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где родился Гамлет Владимирович Мхитарян?", + "support_text": "Гамлет Владимирович Мхитарян ( , Ереван, Армянская ССР, СССР) — армянский футболист, полузащитник.\n\nДостижения.\nКомандные достижения. \"Арарат\" (Ереван). *Чемпион Армении (1): 1993. Обладатель Кубка Армении (3): 1993, 1994, 1995.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 314, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 389, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 34, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Гамлет Владимирович Мхитарян ( , Ереван, Армянская ССР, СССР) — армянский футболист, полузащитник.\n\nДостижения.\nКомандные достижения. \"Арарат\" (Ереван). *Чемпион Армении (1): 1993. Обладатель Кубка Армении (3): 1993, 1994, 1995.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс. Население составляет человек (на 1 июля 2017 года).\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Как называется законодательный орган города, где родился Гамлет Владимирович Мхитарян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 240, + "generated_len": [ + 62 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.14634146341463414, + "em": 0 + }, + "predict": " Владимир Александрович Шмелёв родился в Казани, которая является городом в России, столицей Республики Татарстан. В Казани глава администрации является мэром, избираемым депутатами Городской думы из своего числа. С 17 ноября 2005 года мэром Казани является И. Р. Метшин.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Владимир Александрович Шмелёв?", + "support_text": "Владимир Александрович Шмелёв (1913, Казань — 1976, Днепропетровск) — советский партийный и общественный деятель, хозяйственный руководитель, организатор производства. Герой Социалистического Труда.\n\nБиография.\nВладимир Александрович Шмелёв родился в 1913 году в Казани. В 1930 окончил среднюю школу, после чего работал учителем в сельской местности, а также рабочим на заводе.", + "text": "Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:." + }, + "outputs": [ + { + "label": "passage", + "length": 12, + "offset": 663, + "segment": "И. Р. Метшин" + } + ], + "meta": { + "id": 490, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 37, + "segment": "Казань" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где родился Владимир Александрович Шмелёв?\nТекст 1: Владимир Александрович Шмелёв (1913, Казань — 1976, Днепропетровск) — советский партийный и общественный деятель, хозяйственный руководитель, организатор производства. Герой Социалистического Труда.\n\nБиография.\nВладимир Александрович Шмелёв родился в 1913 году в Казани. В 1930 окончил среднюю школу, после чего работал учителем в сельской местности, а также рабочим на заводе.\nТекст 2: Казань — город в России, столица Республики Татарстан, крупный порт на левом берегу реки Волги при впадении в неё реки Казанки. Крупнейший по численности населения город в Приволжском федеральном округе и на реке Волге. Один из крупнейших экономических, научных, образовательных, религиозных, культурных и спортивных центров России.\n\nАдминистративное устройство.\nВ Казани расположены органы власти собственно городского муниципального образования, а также Республики Татарстан. Мэр и Городская дума. Главой города является мэр. Должность мэра в Казани является избираемой депутатами Городской думы из своего числа. С 17 ноября 2005 года эту должность занимает И. Р. Метшин. Свои сессии Дума проводит в городской Ратуше. Городская дума является нормотворческим органом города Казани, выборы в Думу проводятся раз в 5 лет. Председателем Городской думы является мэр, помимо него в Президиум Думы входят также два его заместителя, старший по возрасту депутат и главы семи постоянных комиссий:.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 326, + "generated_len": [ + 62 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Цильма", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Маслянская Виска?", + "support_text": "Маслянская Виска — река в России, протекает в Ненецком АО. Устье реки находится в 155 км по правому берегу реки Косма. Длина реки составляет 10 км.", + "text": "Бассейн Печоры. Косма — река в Ненецком автономном округе и Республике Коми, левый приток реки Цильма (бассейн Печоры). Длина 251 км, площадь бассейна 4850 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 95, + "segment": "Цильма" + } + ], + "meta": { + "id": 603, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 112, + "segment": "Косма" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Маслянская Виска — река в России, протекает в Ненецком АО. Устье реки находится в 155 км по правому берегу реки Косма. Длина реки составляет 10 км.\nТекст 2: Бассейн Печоры. Косма — река в Ненецком автономном округе и Республике Коми, левый приток реки Цильма (бассейн Печоры). Длина 251 км, площадь бассейна 4850 кв км.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Маслянская Виска? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Команда, за тренировки которой отвечает Дан Петреску, играет в Лиге 1. Это следует из информации в первом тексте, где Петреску привёл \"Униря\" к наивысшему достижению в её истории — победе в чемпионате Румынии, и в том числе, в сезоне 2008/09", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, за тренировки которой отвечает Дан Петреску?", + "support_text": "Даниел (Дан) Василе Петреску ( 22 декабря 1967, Бухарест, Румыния) — румынский футболист и тренер. Один из лучших румынских защитников 90-х годов, участник чемпионатов мира 1994 и 1998, а также чемпионатов Европы 1996 и 2000.\n\nТренерская карьера.\nВ этом розыгрыше команда заняла 10 место в чемпионате, проведя под руководством Петреску 25 матчей, из которых 9 выиграла, 8 сыграла вничью, а в 8 проиграла, забив 22 мяча при 19 пропущенных. В национальном Кубке клуб остановился на стадии 1/8 финала, уступив со счётом 1:2 клубу \"Оцелул\". В сезоне 2007/08 к \"Унире\" пришли первые успехи: по итогам чемпионата она заняла 5-е место, давшее право на участие в Кубке УЕФА, а в Кубке страны дошла до финала, где уступила со счётом 1:2 клубу ЧФР Клуж-Напока. В Лиге 1 под руководством Петреску из 34-х матчей турнира команда 16 выиграла и в 13 сыграла вничью, потерпев лишь 5 поражений, с разницей мячей 42-24. В сезоне 2008/09 Петреску привёл команду к наивысшему достижению в её истории — победе в чемпионате Румынии. Потерпев 6 поражений (на 1 больше, чем в прошлом розыгрыше), \"Униря\" одержала 21 победу и 7 раз сыграла вничью, разница мячей составила 51-20.", + "text": "ЧФР Клуж — румынский профессиональный футбольный клуб из города Клуж-Напока, Трансильвания. Шестикратный чемпион Румынии, четырёхкратный обладатель Кубка и трёхкратный Суперкубка страны. Также ЧФР является первым клубом не из Бухареста, ставшим чемпионом Румынии и пробившимся в групповой этап Лиги чемпионов.\n\nСтатистика выступлений с сезона 2002/2003.\n6. . 3. 75. . 19. 69. 2004/05. 1. . Лига I. . 11. 30. . 9. 9. . 12. 33. . 44." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 294, + "segment": "Лиги чемпионов" + }, + { + "label": "passage", + "length": 14, + "offset": 294, + "segment": "Лига чемпионов" + } + ], + "meta": { + "id": 0, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 738, + "segment": "ЧФР Клуж" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какой лиге играет команда, за тренировки которой отвечает Дан Петреску?\nТекст 1: Даниел (Дан) Василе Петреску ( 22 декабря 1967, Бухарест, Румыния) — румынский футболист и тренер. Один из лучших румынских защитников 90-х годов, участник чемпионатов мира 1994 и 1998, а также чемпионатов Европы 1996 и 2000.\n\nТренерская карьера.\nВ этом розыгрыше команда заняла 10 место в чемпионате, проведя под руководством Петреску 25 матчей, из которых 9 выиграла, 8 сыграла вничью, а в 8 проиграла, забив 22 мяча при 19 пропущенных. В национальном Кубке клуб остановился на стадии 1/8 финала, уступив со счётом 1:2 клубу \"Оцелул\". В сезоне 2007/08 к \"Унире\" пришли первые успехи: по итогам чемпионата она заняла 5-е место, давшее право на участие в Кубке УЕФА, а в Кубке страны дошла до финала, где уступила со счётом 1:2 клубу ЧФР Клуж-Напока. В Лиге 1 под руководством Петреску из 34-х матчей турнира команда 16 выиграла и в 13 сыграла вничью, потерпев лишь 5 поражений, с разницей мячей 42-24. В сезоне 2008/09 Петреску привёл команду к наивысшему достижению в её истории — победе в чемпионате Румынии. Потерпев 6 поражений (на 1 больше, чем в прошлом розыгрыше), \"Униря\" одержала 21 победу и 7 раз сыграла вничью, разница мячей составила 51-20.\nТекст 2: ЧФР Клуж — румынский профессиональный футбольный клуб из города Клуж-Напока, Трансильвания. Шестикратный чемпион Румынии, четырёхкратный обладатель Кубка и трёхкратный Суперкубка страны. Также ЧФР является первым клубом не из Бухареста, ставшим чемпионом Румынии и пробившимся в групповой этап Лиги чемпионов.\n\nСтатистика выступлений с сезона 2002/2003.\n6. . 3. 75. . 19. 69. 2004/05. 1. . Лига I. . 11. 30. . 9. 9. . 12. 33. . 44.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 557, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Москва-река", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Малый Носков ручей?", + "support_text": "Малый Носков ручей — малая река в районе Капотня Юго-Восточного административного округа Москвы, левый приток Большого Носкова ручья. Своё название получил от гидронима принимающей реки. По состоянию на начало 2018 года заключён в подземный коллектор. Длина ручья составляет один километр.", + "text": "Большой Носков ручей \"(Носковка)\" — малая река в районе Капотня Юго-Восточного административного округа Москвы, левый приток Москвы-реки. Его длина составляет 2 км, в открытом русле — 0,4 км. Площадь водосборного бассейна — 2 кв км. Река принимала слева Малый Носков ручей и впадала в Москву-реку в 300 метрах северо-западнее первого квартала Капотни. Рядом с устьем Носковки вдоль правого берега располагалась деревня Чагино. Частично сохранился небольшой приустьевый фрагмент долины реки длиной 100 метров. Он расположен западнее проезда к Капотне. В книге Юрия Андреевича Насимовича \"Реки, озёра и пруды Москвы\" указывается, что сохранился также приустьевый залив Москвы-реки, который соответствует Большому Носкову ручью, его длина составляет 20 метров, ширина — 8 метров. В залив проходят малые потоки загрязнённой воды из прежнего русла и из трубы диаметром один метр." + }, + "outputs": [ + { + "label": "passage", + "length": 11, + "offset": 125, + "segment": "Москвы-реки" + }, + { + "label": "passage", + "length": 11, + "offset": 285, + "segment": "Москву-реку" + } + ], + "meta": { + "id": 747, + "bridge_answers": [ + { + "label": "passage", + "length": 22, + "offset": 110, + "segment": "Большого Носкова ручья" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Малый Носков ручей?\nТекст 1: Малый Носков ручей — малая река в районе Капотня Юго-Восточного административного округа Москвы, левый приток Большого Носкова ручья. Своё название получил от гидронима принимающей реки. По состоянию на начало 2018 года заключён в подземный коллектор. Длина ручья составляет один километр.\nТекст 2: Большой Носков ручей \"(Носковка)\" — малая река в районе Капотня Юго-Восточного административного округа Москвы, левый приток Москвы-реки. Его длина составляет 2 км, в открытом русле — 0,4 км. Площадь водосборного бассейна — 2 кв км. Река принимала слева Малый Носков ручей и впадала в Москву-реку в 300 метрах северо-западнее первого квартала Капотни. Рядом с устьем Носковки вдоль правого берега располагалась деревня Чагино. Частично сохранился небольшой приустьевый фрагмент долины реки длиной 100 метров. Он расположен западнее проезда к Капотне. В книге Юрия Андреевича Насимовича \"Реки, озёра и пруды Москвы\" указывается, что сохранился также приустьевый залив Москвы-реки, который соответствует Большому Носкову ручью, его длина составляет 20 метров, ширина — 8 метров. В залив проходят малые потоки загрязнённой воды из прежнего русла и из трубы диаметром один метр.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 342, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Казыма", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Торнынгсоим?", + "support_text": "Торнынгсоим (\"устар.\" Тарнынг-Соим) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 353 км по правому берегу реки Амня. Длина реки составляет 20 км. Правый приток — Айёга.", + "text": "Амня — река или протока в России, протекает по территории Белоярского района Ханты-Мансийского автономного округа, левый приток реки Казыма. На реке вблизи устья расположено село Казым. Протекает по северной части Западно-Сибирской равнины. Длина реки — 374 км, площадь её водосборного бассейна — 7210 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 6, + "offset": 133, + "segment": "Казыма" + }, + { + "label": "passage", + "length": 6, + "offset": 133, + "segment": "Казым" + } + ], + "meta": { + "id": 429, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 141, + "segment": "Амня" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Торнынгсоим (\"устар.\" Тарнынг-Соим) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 353 км по правому берегу реки Амня. Длина реки составляет 20 км. Правый приток — Айёга.\nТекст 2: Амня — река или протока в России, протекает по территории Белоярского района Ханты-Мансийского автономного округа, левый приток реки Казыма. На реке вблизи устья расположено село Казым. Протекает по северной части Западно-Сибирской равнины. Длина реки — 374 км, площадь её водосборного бассейна — 7210 кв км.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Торнынгсоим?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Удай", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Ющенкова?", + "support_text": "Ющенкова — правый приток реки Удая, протекающий по Прилукскому району (Черниговская область).\n\nГеография.\nДлина — 16 или 12 км. Площадь водосборного бассейна — 69,1 кв км. Река берет начало в селе Тополя (Прилукский район). Река течёт на юго-восток. Впадает в реку Удай (на 140-м км от её устья) в селе Полонки (Прилукский район). Русло слабоизвилистое. У истоков и в среднем течении преесыхает. На реке создано два крупный пруда.", + "text": "Слева. Удай — река на Украине, правый приток Сулы (бассейн Днепра). Площадь водосбора — 7030 кв км. Берёт начало из болота вблизи села Рожновка, течёт по Приднепровской низменности. Впадает в реку Сулу. Населённые пункты на реке — города Прилуки и Пирятин, посёлок Ладан, посёлок Варва. Удай течёт в Ичнянском, Прилукском, Сребнянском и Варвинском районах Черниговской области и Пирятинском, Чернухинском и Лубенском районах Полтавской области. Ширина долины реки 4—6 км, русло извилистое, шириной 5—10 м в верхнем течении и до 20—40 м в нижнем." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 45, + "segment": "Сулы" + }, + { + "label": "passage", + "length": 4, + "offset": 45, + "segment": "Сула" + } + ], + "meta": { + "id": 98, + "bridge_answers": [ + { + "label": "passage", + "length": 4, + "offset": 30, + "segment": "Удая" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Ющенкова — правый приток реки Удая, протекающий по Прилукскому району (Черниговская область).\n\nГеография.\nДлина — 16 или 12 км. Площадь водосборного бассейна — 69,1 кв км. Река берет начало в селе Тополя (Прилукский район). Река течёт на юго-восток. Впадает в реку Удай (на 140-м км от её устья) в селе Полонки (Прилукский район). Русло слабоизвилистое. У истоков и в среднем течении преесыхает. На реке создано два крупный пруда.\nТекст 2: Слева. Удай — река на Украине, правый приток Сулы (бассейн Днепра). Площадь водосбора — 7030 кв км. Берёт начало из болота вблизи села Рожновка, течёт по Приднепровской низменности. Впадает в реку Сулу. Населённые пункты на реке — города Прилуки и Пирятин, посёлок Ладан, посёлок Варва. Удай течёт в Ичнянском, Прилукском, Сребнянском и Варвинском районах Черниговской области и Пирятинском, Чернухинском и Лубенском районах Полтавской области. Ширина долины реки 4—6 км, русло извилистое, шириной 5—10 м в верхнем течении и до 20—40 м в нижнем.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Ющенкова? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 364, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.35294117647058826, + "em": 0 + }, + "predict": " Глава администрации в городе Йошкар-Ола, где умер Николай Иванович Казаков, является Евгений Васильевич Маслов.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Николай Иванович Казаков?", + "support_text": "Николай Иванович Казаков (\"Миклáй Казаков\"; 15 января 1918, д. Кутюк-Кинер, Царевококшайский уезд, Казанская губерния — 12 февраля 1989, Йошкар-Ола, Марийская АССР) — марийский советский поэт, прозаик, переводчик, журналист, редактор. Первый народный поэт Марийский АССР (1960). Лауреат Сталинской премии III степени (1951). Участник Великой Отечественной войны. Член ВКП(б) с 1943 года.\n\nБиография.\nБыл редактором художественной литературы в Марийском книжном издательстве, заведующим отделом культуры республиканской газеты \"Марий коммуна\" (\"Марийская коммуна\"), литературным консультантом Союза писателей Марийской АССР. Скончался 12 февраля 1989 года после продолжительной тяжёлой болезни. Похоронен в Йошкар-Оле на Туруновском кладбище.", + "text": "Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск.\n\nОрганы власти.\nГлава городского округа \"Город Йошкар-Ола\" подконтролен и подотчётен населению и городскому Собранию. С 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов." + }, + "outputs": [ + { + "label": "passage", + "length": 25, + "offset": 776, + "segment": "Евгений Васильевич Маслов" + } + ], + "meta": { + "id": 551, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 137, + "segment": "Йошкар-Ола" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Кто является главой администрации в городе, где умер Николай Иванович Казаков?\nТекст 1: Николай Иванович Казаков (\"Миклáй Казаков\"; 15 января 1918, д. Кутюк-Кинер, Царевококшайский уезд, Казанская губерния — 12 февраля 1989, Йошкар-Ола, Марийская АССР) — марийский советский поэт, прозаик, переводчик, журналист, редактор. Первый народный поэт Марийский АССР (1960). Лауреат Сталинской премии III степени (1951). Участник Великой Отечественной войны. Член ВКП(б) с 1943 года.\n\nБиография.\nБыл редактором художественной литературы в Марийском книжном издательстве, заведующим отделом культуры республиканской газеты \"Марий коммуна\" (\"Марийская коммуна\"), литературным консультантом Союза писателей Марийской АССР. Скончался 12 февраля 1989 года после продолжительной тяжёлой болезни. Похоронен в Йошкар-Оле на Туруновском кладбище.\nТекст 2: Йошкар-Ола ( — красный, — город — \"Красный Город\", устар. , , ) — город в России, столица Республики Марий Эл. Административный центр городского округа \"Город Йошкар-Ола\". До 1919 года назывался Царевококшайск, в период с 1919 по 1928 год — Краснококшайск.\n\nОрганы власти.\nГлава городского округа \"Город Йошкар-Ола\" подконтролен и подотчётен населению и городскому Собранию. С 3 октября 2014 года главой городского округа является Александр Николаевич Принцев. 31 октября 2014 года на должность главы администрации (мэра) города был назначен Павел Вячеславович Плотников. 25 ноября 2015 года решением Собрания депутатов городского округа \"Город Йошкар-Ола\" Павел Плотников был смещён с должности в связи с утратой доверия. С 28 декабря 2015 года мэром Йошкар-Олы назначен Евгений Васильевич Маслов.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 474, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большая Озерница впадает в реку Вятку.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какую реку впадает река, притоком которой является Большая Озерница?", + "support_text": "Большая Озерница — река в России, протекает в Омутнинском районе Кировской области. Устье реки находится в 1196 км по левому берегу реки Вятки.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама.", + "text": "Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км. От реки происходит предыдущее название столицы Кировской области — город Вятка.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря." + }, + "outputs": [ + { + "label": "passage", + "length": 4, + "offset": 412, + "segment": "Каму" + }, + { + "label": "passage", + "length": 4, + "offset": 74, + "segment": "Камы" + } + ], + "meta": { + "id": 1046, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 137, + "segment": "Вятки" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: В какую реку впадает река, притоком которой является Большая Озерница?\nТекст 1: Большая Озерница — река в России, протекает в Омутнинском районе Кировской области. Устье реки находится в 1196 км по левому берегу реки Вятки.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Камскому бассейновому округу, водохозяйственный участок реки — Вятка от истока до города Киров, без реки Чепца, речной подбассейн реки — Вятка. Речной бассейн реки — Кама.\nТекст 2: Вятка ( , , ) — река в Европейской части России, крупнейший правый приток Камы (бассейн Волги) и второй по величине после Белой. Длина реки — 1314 км, площадь водосборного бассейна — 129 000 кв км. От реки происходит предыдущее название столицы Кировской области — город Вятка.\n\nГеография.\nСхема бассейна Вятки. Начинается на Верхнекамской возвышенности на севере Удмуртии у ж.-д. разъезда Перелом. Впадает в Каму в 17 км ниже города Мамадыш. Высота истока — 240 м над уровнем моря.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 284, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.07999999999999999, + "em": 0 + }, + "predict": " Казахстан, на территории которого в настоящее время проживает Дмитрий Андреевич Мирошниченко, существовал в виде республики с 1992 года, когда он родился. До этого момента территория, на которой сейчас находится Казахстан, была частью Российской империи и Казахского ханства. В советский период она была частью Казахской ССР, а затем в", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое государство существовало прежде на территории страны, честь которой отстаивал в соревнованиях Дмитрий Андреевич Мирошниченко?", + "support_text": "Дмитрий Андреевич Мирошниченко (26 февраля 1992, Актюбинск, Казахстан) — казахстанский футболист, защитник клуба \"Тобол\" Костанай и национальной сборной Казахстана.", + "text": "Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км. Население, по оценке государственного комитета по статистике на 1 октября 2020 года, составляет человек. Плотность населения является одной из самых низких: менее 7 человек на квадратный километр. Столица — Нур-Султан.\n\nИстория.\nАнтиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы.\n\nКультура.\nЛитература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами." + }, + "outputs": [ + { + "label": "passage", + "length": 18, + "offset": 1303, + "segment": "Казахского ханства" + }, + { + "label": "passage", + "length": 18, + "offset": 1303, + "segment": "Казахское ханство" + } + ], + "meta": { + "id": 1009, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 60, + "segment": "Казахстан" + }, + { + "label": "passage", + "length": 10, + "offset": 153, + "segment": "Казахстана" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Дмитрий Андреевич Мирошниченко (26 февраля 1992, Актюбинск, Казахстан) — казахстанский футболист, защитник клуба \"Тобол\" Костанай и национальной сборной Казахстана.\nТекст 2: Казахстан ( ), официальное название — Республика Казахстан (), (аббревиатура РК) — государство в центре Евразии, большая часть которого относится к Азии, меньшая — к Европе. Площадь территории — кв км. Население, по оценке государственного комитета по статистике на 1 октября 2020 года, составляет человек. Плотность населения является одной из самых низких: менее 7 человек на квадратный километр. Столица — Нур-Султан.\n\nИстория.\nАнтиядерное движение в Казахстане стало главной политической силой в конце 1980-х годов. =Период перестройки ====. В декабре 1986 года в Алма-Ате прошли массовые демонстрации молодых этнических казахов, позже названные Желтоксанским восстанием, в знак протеста против замены первого секретаря ЦК Компартии Казахской ССР Динмухамеда Кунаева на Геннадия Колбина из РСФСР. Правительственные войска подавили беспорядки, несколько человек были убиты, а многие демонстранты были заключены в тюрьмы.\n\nКультура.\nЛитература. Британская энциклопедия определяют казахскую литературу как \"совокупность литературы, как устной, так и письменной, произведённой на казахском языке казахским народом Центральной Азии\". Казахская литература расширяется с современной территории Казахстана, включая также эпоху Казахской ССР, признанную казахами территорию под Российской империей и Казахского ханства. Существуют совпадения с несколькими взаимодополняющими темами, включая литературу тюркских племён, населявших Казахстан в течение истории, и литературы, написанной этническими казахами.\nВопрос: Какое государство существовало прежде на территории страны, честь которой отстаивал в соревнованиях Дмитрий Андреевич Мирошниченко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 414, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Парабель", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется водоток, в который впадает река, притоком которой является Большой Пеган?", + "support_text": "Большой Пеган — река в России, протекает в Томской области. Устье реки находится в 170 км по правому берегу реки Парабель. Длина реки составляет 13 км.", + "text": "Парабель (\"жен.\") (южноселькупск. \"Парабельҗ кыге\") — река в Томской области России, левый приток Оби. Образуется слиянием рек Кёнга и Чузик, протекает по территории Парабельского и Каргасокского районов. Длина — 308 км (от истока Кёнги — 806 км), площадь бассейна — 25,5 тыс. кв км. Среднемноголетний расход воды — 123 м³/с, что соответствует объёму стока 3,882 км³/год. Река судоходна и является важнейшей транспортной артерией Парабельского района Томской области. Бассейн Оби. У села Парабель от реки отделяется правая протока Парабель, впадающая через 7 км в Обь, а основной ток течёт более 80 км на северо-запад в 10—15 км от Оби, и впадает в неё в 7 км выше села Каргасок. Осенью 2000 года был сдан в эксплуатацию 210-метровый мост через Парабель, что позволило установить круглогодичное автомобильное сообщение Каргасокского района с областным центром. Населённые пункты (от истока к устью): д. Усть-Чузик, с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Верхнеобскому бассейновому округу. Речной бассейн — (Верхняя) Обь до впадения Иртыша, речной подбассейн — Кеть, водохозяйственный участок — Обь от впадения реки Кети до впадения реки Васюган." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 98, + "segment": "Оби" + }, + { + "label": "passage", + "length": 3, + "offset": 564, + "segment": "Обь" + } + ], + "meta": { + "id": 809, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 113, + "segment": "Парабель" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Большой Пеган — река в России, протекает в Томской области. Устье реки находится в 170 км по правому берегу реки Парабель. Длина реки составляет 13 км.\nТекст 2: Парабель (\"жен.\") (южноселькупск. \"Парабельҗ кыге\") — река в Томской области России, левый приток Оби. Образуется слиянием рек Кёнга и Чузик, протекает по территории Парабельского и Каргасокского районов. Длина — 308 км (от истока Кёнги — 806 км), площадь бассейна — 25,5 тыс. кв км. Среднемноголетний расход воды — 123 м³/с, что соответствует объёму стока 3,882 км³/год. Река судоходна и является важнейшей транспортной артерией Парабельского района Томской области. Бассейн Оби. У села Парабель от реки отделяется правая протока Парабель, впадающая через 7 км в Обь, а основной ток течёт более 80 км на северо-запад в 10—15 км от Оби, и впадает в неё в 7 км выше села Каргасок. Осенью 2000 года был сдан в эксплуатацию 210-метровый мост через Парабель, что позволило установить круглогодичное автомобильное сообщение Каргасокского района с областным центром. Населённые пункты (от истока к устью): д. Усть-Чузик, с.\n\nДанные водного реестра.\nПо данным государственного водного реестра России, относится к Верхнеобскому бассейновому округу. Речной бассейн — (Верхняя) Обь до впадения Иртыша, речной подбассейн — Кеть, водохозяйственный участок — Обь от впадения реки Кети до впадения реки Васюган.\nОпираясь на данные тексты, ответьте на вопрос: Как называется водоток, в который впадает река, притоком которой является Большой Пеган? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Анатолий Алексеевич Скворцов?", + "support_text": "Мини. Скворцов Анатолий Алексеевич ( Нижний Новгород — 1976, Нижний Новгород) — гельминтолог, специалист по личиночным формам трематод. Скворцов Анатолий Алексеевич родился (29 января (с. с.) 1883 года в Н. Новгороде. 1895—1902 г. — учёба в Нижегородскую гимназии. В 1902 — 1909 студент естественного отделения физико-математического факультетав Императорского Московского университета. А. А. Скворцов являлся первым в СССР специалистом по изучению личиночных форм трематод. Чрезвычайно тщательны работы А. А. Скворцова по изучению паразитов рыб. В 1931 году А. А. Скворцов покинул Нижний Новгород, устроившись на кафедру биологии и паразитологии Московского зоотехнического института коневодства и коннозаводства.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 834, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 834, + "segment": "Городская дума" + } + ], + "meta": { + "id": 396, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 37, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Мини. Скворцов Анатолий Алексеевич ( Нижний Новгород — 1976, Нижний Новгород) — гельминтолог, специалист по личиночным формам трематод. Скворцов Анатолий Алексеевич родился (29 января (с. с.) 1883 года в Н. Новгороде. 1895—1902 г. — учёба в Нижегородскую гимназии. В 1902 — 1909 студент естественного отделения физико-математического факультетав Императорского Московского университета. А. А. Скворцов являлся первым в СССР специалистом по изучению личиночных форм трематод. Чрезвычайно тщательны работы А. А. Скворцова по изучению паразитов рыб. В 1931 году А. А. Скворцов покинул Нижний Новгород, устроившись на кафедру биологии и паразитологии Московского зоотехнического института коневодства и коннозаводства.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе. Основан в 2003 году Владимиром Герасичкиным.\nВопрос: Как называется законодательный орган города, где умер Анатолий Алексеевич Скворцов?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.2666666666666667, + "em": 0 + }, + "predict": " Законодательный орган города, где умер Глеб Викторович Глебович, называется Городская Дума Нижнего Новгорода.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Глеб Викторович Глебович?", + "support_text": "Глеб Викторович Глебович (2 января 1914 года, Белосток — 19 февраля 2011 года, Нижний Новгород) — российский учёный, специалист в области гидроакустики, доктор технических наук, профессор.\n\nБиография.\nК своей работе Глебович привлек своего бывшего студента Льва Моругина, в будущем профессора, заведующего кафедрой. Вместе они опубликовали несколько монографий, имеющих большое значение для отечественной нано- и пикосекундной импульсной технике. Скончался 19 февраля 2011 года в Нижнем Новгороде. Похоронен на Бугровском кладбище – 5 квартал.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 757, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 757, + "segment": "Городская дума" + } + ], + "meta": { + "id": 72, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 79, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется законодательный орган города, где умер Глеб Викторович Глебович?\nТекст 1: Глеб Викторович Глебович (2 января 1914 года, Белосток — 19 февраля 2011 года, Нижний Новгород) — российский учёный, специалист в области гидроакустики, доктор технических наук, профессор.\n\nБиография.\nК своей работе Глебович привлек своего бывшего студента Льва Моругина, в будущем профессора, заведующего кафедрой. Вместе они опубликовали несколько монографий, имеющих большое значение для отечественной нано- и пикосекундной импульсной технике. Скончался 19 февраля 2011 года в Нижнем Новгороде. Похоронен на Бугровском кладбище – 5 квартал.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 358, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.13793103448275862, + "em": 0 + }, + "predict": " Законодательный орган государства, гражданином которого является Амвросий Мадтха, — это двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган государства, гражданином которого является Амвросий Мадтха?", + "support_text": "Амвросий Мадтха ( 2 ноября 1955, Балтангади, Индия — 8 декабря 2012, Бьянкома Кот-д’Ивуар) — индийский прелат и ватиканский дипломат. Титулярный архиепископ Найссо и апостольский нунций в Кот-д’Ивуаре с 8 мая 2008 по 8 декабря 2012.", + "text": "Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. Каждые два года меняется (переизбирается) треть состава Совета штатов. 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 951, + "segment": "двухпалатный парламент" + }, + { + "label": "passage", + "length": 22, + "offset": 951, + "segment": "Двухпалатный парламент" + } + ], + "meta": { + "id": 784, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 94, + "segment": "индийский" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Амвросий Мадтха ( 2 ноября 1955, Балтангади, Индия — 8 декабря 2012, Бьянкома Кот-д’Ивуар) — индийский прелат и ватиканский дипломат. Титулярный архиепископ Найссо и апостольский нунций в Кот-д’Ивуаре с 8 мая 2008 по 8 декабря 2012.\nТекст 2: Индия ( \"Bhārat\", ), официальное название — Республика Индия ( \"Bhārat Gaṇarājya\", ) — государство в Южной Азии. Население — 1 378 899 394 человека (14 декабря 2020), территория — 3 287 263 кв км, по обоим этим показателям является крупнейшей страной Южной Азии. Занимает второе место в мире по численности населения и седьмое по территории. Столица — Нью-Дели.\n\nГосударственное устройство.\nГосударственная власть разделена на три ветви: законодательную, исполнительную и судебную. Главой государства является президент Индии, который избирается электоральной коллегией сроком на 5 лет путём непрямого голосования. Главой правительства является премьер-министр, которому принадлежит основная исполнительная власть. Премьер-министр назначается президентом и, как правило, является кандидатом, поддерживаемым политической партией или политической коалицией, имеющей большинство мест в нижней палате парламента. Законодательной властью Индии является двухпалатный парламент, который состоит из верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народной палаты). \"Раджья сабха\", имеющая постоянный состав, состоит из 250 членов, чей мандат длится 6 лет. Каждые два года меняется (переизбирается) треть состава Совета штатов. 12 членов верхней палаты назначаются президентом за особые заслуги в искусствах, науках и общественной деятельности. 543 из 545 депутатов нижней палаты \"Лок сабхи\" выбираются прямым всенародным голосованием на срок 5 лет. Остальные два члена назначаются президентом из англо-индийской общины в том случае, если президент полагает, что община не представлена в парламенте должным образом. Исполнительная ветвь власти состоит из президента, вице-президента и Совета министров (кабинет министров является его исполнительным комитетом), возглавляемого премьер-министром. Каждый министр должен быть членом одной из палат парламента. В индийской парламентской системе исполнительная власть подчинена законодательной: премьер-министр и Совет министров несут прямую ответственность перед нижней палатой парламента. Индия имеет унитарную трёхступенчатую судебную власть, которая состоит из Верховного суда, возглавляемого верховным судьёй Индии, 21-го Высшего суда и большого количества мелких судов. Верховный суд является судом первой инстанции в процессах, касающихся основных прав человека, в спорных вопросах между штатами и центральной властью и обладает апелляционной юрисдикцией над высшими судами.\nВопрос: Как называется законодательный орган государства, гражданином которого является Амвросий Мадтха?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 687, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.23529411764705882, + "em": 0 + }, + "predict": " Владимир Моисеевич Смирин посвятил себя науке зоологии, которая изучает представителей царства животных, включая человека.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что изучает наука, которой посвятил себя Владимир Моисеевич Смирин?", + "support_text": "Владимир (Вадим) Моисеевич Смирин (1931 — 1989) — зоолог позвоночных, териолог и выдающийся художник-анималист. Его наследие превышает десятки тысяч набросков и рисунков преимущественно млекопитающих, в том числе им созданы портреты более 300 видов с натуры в рамках беспрецедентного проекта \"Атлас млекопитающих СССР\".", + "text": "Зоология (от — животное + — учение) — наука о представителях царства животных, в том числе человеке. Зоология связана с другими биологическими науками, медициной, ветеринарией, сельским хозяйством, с производственной деятельностью человека и защитой животных." + }, + "outputs": [ + { + "label": "answer", + "length": 31, + "offset": 48, + "segment": "представителях царства животных" + } + ], + "meta": { + "id": 715, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 50, + "segment": "зоолог" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Владимир (Вадим) Моисеевич Смирин (1931 — 1989) — зоолог позвоночных, териолог и выдающийся художник-анималист. Его наследие превышает десятки тысяч набросков и рисунков преимущественно млекопитающих, в том числе им созданы портреты более 300 видов с натуры в рамках беспрецедентного проекта \"Атлас млекопитающих СССР\".\nТекст 2: Зоология (от — животное + — учение) — наука о представителях царства животных, в том числе человеке. Зоология связана с другими биологическими науками, медициной, ветеринарией, сельским хозяйством, с производственной деятельностью человека и защитой животных.\nОпираясь на данные тексты, ответьте на вопрос: Что изучает наука, которой посвятил себя Владимир Моисеевич Смирин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Жапура сливается с Амазонкой.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Жапура?", + "support_text": "Слева. Жапура ( ) — река в Колумбии (где называется Какета, ) и Бразилии; левый приток Амазонки. Длина реки 1 930 км, площадь бассейна 282 000 кв км. Берёт начало в южной части Центральной Кордильеры Колумбии.\n\nСсылки.\nЮжная Америка, том 1, издательство \"Советская энциклопедия\", Москва, 1979, стр.539. . Категория:Притоки Амазонки.", + "text": "Амазонка (исп. И ) — самая полноводная река на Земле, расположенная в Южной Америке. Площадь бассейна с учётом притока Токантинс — 7180 тыс. кв км. Это заметно превышает бассейн рек Уругвай и Парана вместе (4140 тыс. кв км) и Конго (около 3700 тыс. кв км). В 2011 году по результатам всемирного конкурса Амазонка признана одним из семи природных чудес мира. Большая часть бассейна Амазонки принадлежит Бразилии, юго-западные и западные районы — Боливии, Перу, Эквадору и Колумбии. Протекая большей частью по Амазонской низменности в субширотном направлении близ экватора, Амазонка впадает в Атлантический океан, образуя одну из самых больших в мире дельт (площадью свыше 100 тыс. кв км и включающую один из самых больших в мире речных островов — Маражо). Амазонку питают многочисленные притоки; около 20 из них длиной более 1500 км. Наиболее значительные притоки: справа — Журуа, Пурус, Мадейра, Тапажос, Шингу, Токантинс; слева — Путумайо, Жапура, Риу-Негру. По данным Департамента геофизики бразильской Национальной обсерватории, в одном направлении с Амазонкой, но на глубине 4 км, протекает подземная река Хамза (Hamza), питаемая грунтовыми водами.\n\nИстория.\nАмазонку открыл конкистадор Франсиско де Орельяна. Находясь на западе Южной Америки, он со своим отрядом конкистадоров обнаружил небольшую реку, посчитал, будто она впадает в Тихий океан, и решил сплавиться по ней со своим отрядом в Тихий океан. Однако, река — Амазонка — оказалась впадающей в Атлантический океан, в результате Орельяна, сплавляясь по Амазонке, первым из европейцев пересёк Южную Америку в самой широкой её части. Летом 1542 года его отряд якобы увидел племя легендарных амазонок и вступил с ними в сражение. Сегодня считается, что это были либо индейские женщины, сражавшиеся бок о бок с мужчинами, либо просто длинноволосые индейцы, которых испанцы приняли за женщин." + }, + "outputs": [ + { + "label": "passage", + "length": 19, + "offset": 591, + "segment": "Атлантический океан" + }, + { + "label": "passage", + "length": 19, + "offset": 1460, + "segment": "Атлантический океан" + } + ], + "meta": { + "id": 893, + "bridge_answers": [ + { + "label": "passage", + "length": 8, + "offset": 87, + "segment": "Амазонки" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Слева. Жапура ( ) — река в Колумбии (где называется Какета, ) и Бразилии; левый приток Амазонки. Длина реки 1 930 км, площадь бассейна 282 000 кв км. Берёт начало в южной части Центральной Кордильеры Колумбии.\n\nСсылки.\nЮжная Америка, том 1, издательство \"Советская энциклопедия\", Москва, 1979, стр.539. . Категория:Притоки Амазонки.\nТекст 2: Амазонка (исп. И ) — самая полноводная река на Земле, расположенная в Южной Америке. Площадь бассейна с учётом притока Токантинс — 7180 тыс. кв км. Это заметно превышает бассейн рек Уругвай и Парана вместе (4140 тыс. кв км) и Конго (около 3700 тыс. кв км). В 2011 году по результатам всемирного конкурса Амазонка признана одним из семи природных чудес мира. Большая часть бассейна Амазонки принадлежит Бразилии, юго-западные и западные районы — Боливии, Перу, Эквадору и Колумбии. Протекая большей частью по Амазонской низменности в субширотном направлении близ экватора, Амазонка впадает в Атлантический океан, образуя одну из самых больших в мире дельт (площадью свыше 100 тыс. кв км и включающую один из самых больших в мире речных островов — Маражо). Амазонку питают многочисленные притоки; около 20 из них длиной более 1500 км. Наиболее значительные притоки: справа — Журуа, Пурус, Мадейра, Тапажос, Шингу, Токантинс; слева — Путумайо, Жапура, Риу-Негру. По данным Департамента геофизики бразильской Национальной обсерватории, в одном направлении с Амазонкой, но на глубине 4 км, протекает подземная река Хамза (Hamza), питаемая грунтовыми водами.\n\nИстория.\nАмазонку открыл конкистадор Франсиско де Орельяна. Находясь на западе Южной Америки, он со своим отрядом конкистадоров обнаружил небольшую реку, посчитал, будто она впадает в Тихий океан, и решил сплавиться по ней со своим отрядом в Тихий океан. Однако, река — Амазонка — оказалась впадающей в Атлантический океан, в результате Орельяна, сплавляясь по Амазонке, первым из европейцев пересёк Южную Америку в самой широкой её части. Летом 1542 года его отряд якобы увидел племя легендарных амазонок и вступил с ними в сражение. Сегодня считается, что это были либо индейские женщины, сражавшиеся бок о бок с мужчинами, либо просто длинноволосые индейцы, которых испанцы приняли за женщин.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Жапура?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 646, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Премьер-лиге.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой лиге играет команда, тренером которой является Нуну Эшпириту Санту?", + "support_text": "Нуну Эрландер Симойнш Эшпириту Санту ( 25 января 1974, Сан-Томе, Сан-Томе и Принсипи) — португальский футболист и тренер, играл на позиции вратаря. Главный тренер английского клуба Вулверхэмптон Уондерерс.\n\nКарьера тренера.\nПо итогам сезона команда заняла второе место. 22 мая 2017 года \"Порту\" и Нуну, по взаимному согласию, прекратили трудовые отношения. Вулверхэмптон Уондерерс. 31 мая 2017 года Нуну возглавил клуб английского Чемпионшипа \"Вулверхэмптон Уондерерс\", подписав контракт сроком на три года. Нуну вывел команду в АПЛ впервые после вылета в сезоне 2011/12. После того, как команда стала чемпионом за два тура до конца, руководство команды продлило контракт со специалистом до 2021 года.", + "text": "'Вулверхэмптон Уондерерс' (полное название — Футбольный клуб 'Вулверхэмптон Уондерерс', , ) — английский профессиональный футбольный клуб из города Вулвергемптон, графство Западный Мидленд. Образован в 1877 году под названием 'Сент-Люкс' (). Домашним стадионом клуба с 1889 года является 'Молинью', в настоящее время вмещающий более 32 тысяч зрителей. 'Вулверхэмптон' является одним из основателей Футбольной лиги в 1888 году.\n\nИстория.\nВ сезоне 2012/13 клуб занял 23-е место в Чемпионшипе и выбыл в Лигу 1. Однако уже в следующем сезоне 'волки' вернулись в Чемпионшип, выиграв Лигу 1 и набрав при этом более 100 очков. В настоящее время командой управляет португальский специалист Эшпириту Санту. Под рукодством Нуну команда выиграла Чемпионшип в сезоне 2017/18 и впервые за 6 лет вышла в высший дивизион Англии. Возвращение в английскую Премьер-лигу для команды оказалось очень удачным: они закончили сезон на 7-й строчке, получив право сыграть во втором квалификационном раунде Лиги Европы впервые с сезона 1980/81." + }, + "outputs": [ + { + "label": "passage", + "length": 23, + "offset": 831, + "segment": "английскую Премьер-лигу" + }, + { + "label": "passage", + "length": 23, + "offset": 831, + "segment": "Английскую Премьер-лигу" + } + ], + "meta": { + "id": 1048, + "bridge_answers": [ + { + "label": "passage", + "length": 23, + "offset": 182, + "segment": "Вулверхэмптон Уондерерс" + }, + { + "label": "passage", + "length": 23, + "offset": 361, + "segment": "Вулверхэмптон Уондерерс" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Нуну Эрландер Симойнш Эшпириту Санту ( 25 января 1974, Сан-Томе, Сан-Томе и Принсипи) — португальский футболист и тренер, играл на позиции вратаря. Главный тренер английского клуба Вулверхэмптон Уондерерс.\n\nКарьера тренера.\nПо итогам сезона команда заняла второе место. 22 мая 2017 года \"Порту\" и Нуну, по взаимному согласию, прекратили трудовые отношения. Вулверхэмптон Уондерерс. 31 мая 2017 года Нуну возглавил клуб английского Чемпионшипа \"Вулверхэмптон Уондерерс\", подписав контракт сроком на три года. Нуну вывел команду в АПЛ впервые после вылета в сезоне 2011/12. После того, как команда стала чемпионом за два тура до конца, руководство команды продлило контракт со специалистом до 2021 года.\nТекст 2: 'Вулверхэмптон Уондерерс' (полное название — Футбольный клуб 'Вулверхэмптон Уондерерс', , ) — английский профессиональный футбольный клуб из города Вулвергемптон, графство Западный Мидленд. Образован в 1877 году под названием 'Сент-Люкс' (). Домашним стадионом клуба с 1889 года является 'Молинью', в настоящее время вмещающий более 32 тысяч зрителей. 'Вулверхэмптон' является одним из основателей Футбольной лиги в 1888 году.\n\nИстория.\nВ сезоне 2012/13 клуб занял 23-е место в Чемпионшипе и выбыл в Лигу 1. Однако уже в следующем сезоне 'волки' вернулись в Чемпионшип, выиграв Лигу 1 и набрав при этом более 100 очков. В настоящее время командой управляет португальский специалист Эшпириту Санту. Под рукодством Нуну команда выиграла Чемпионшип в сезоне 2017/18 и впервые за 6 лет вышла в высший дивизион Англии. Возвращение в английскую Премьер-лигу для команды оказалось очень удачным: они закончили сезон на 7-й строчке, получив право сыграть во втором квалификационном раунде Лиги Европы впервые с сезона 1980/81.\nОпираясь на данные тексты, ответьте на вопрос: В какой лиге играет команда, тренером которой является Нуну Эшпириту Санту? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 565, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Варма.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Варма?", + "support_text": "Варма — река в России, протекает главным образом в Ельниковском районе Республики Мордовия (в среднем течении образует на небольшом участке границу с Краснослободским районом). Правый приток Мокши.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Мокша от истока до водомерного поста города Темников, речной подбассейн реки — Мокша. Речной бассейн реки — Ока. Код объекта в государственном водном реестре — 09010200112110000027803.", + "text": "Мокша ( или \"Йов\") — большая река в Мордовии, Пензенской, Нижегородской и Рязанской областях, правый приток Оки, впадает в Оку в 350 км от её устья, ниже города Касимова. Длина — 656 км, площадь бассейна — 51 тыс. кв км. В 1950-х годах в среднем течении реки было построено несколько гидроузлов с ГЭС, но без судоходных шлюзов." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 108, + "segment": "Оки" + }, + { + "label": "answer", + "length": 3, + "offset": 123, + "segment": "Оку" + }, + { + "label": "passage", + "length": 3, + "offset": 108, + "segment": "Ока" + } + ], + "meta": { + "id": 680, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 191, + "segment": "Мокши" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Варма?\nТекст 1: Варма — река в России, протекает главным образом в Ельниковском районе Республики Мордовия (в среднем течении образует на небольшом участке границу с Краснослободским районом). Правый приток Мокши.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Окскому бассейновому округу, водохозяйственный участок реки — Мокша от истока до водомерного поста города Темников, речной подбассейн реки — Мокша. Речной бассейн реки — Ока. Код объекта в государственном водном реестре — 09010200112110000027803.\nТекст 2: Мокша ( или \"Йов\") — большая река в Мордовии, Пензенской, Нижегородской и Рязанской областях, правый приток Оки, впадает в Оку в 350 км от её устья, ниже города Касимова. Длина — 656 км, площадь бассейна — 51 тыс. кв км. В 1950-х годах в среднем течении реки было построено несколько гидроузлов с ГЭС, но без судоходных шлюзов.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 282, + "generated_len": [ + 56 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.06451612903225806, + "em": 0 + }, + "predict": " Казым. \n\nОбъяснение: В тексте 2 упоминается, что река Казым принимает приток от реки Тапрыюган, а Тапрыюган является притоком реки Нялхойтыюган, упомянутой в тексте 1. Таким образом, Казым является рекой, питающейся", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Нялхойтыюган?", + "support_text": "Нялхойтыюган (\"устар.\" Нял-Холты-Юган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 63 км по правому берегу реки Тапрыюган. Длина реки составляет 27 км.", + "text": "Тапрыюган (\"устар.\" Тапры-Юган) — река или протока в России, протекает по территории Белоярского района Ханты-Мансийского автономного округа. Устье реки находится в 119 км по правому берегу реки Казым. Длина реки — 85 км, площадь её водосборного бассейна — 620 кв км." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 195, + "segment": "Казым" + } + ], + "meta": { + "id": 426, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 143, + "segment": "Тапрыюган" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: Нялхойтыюган (\"устар.\" Нял-Холты-Юган) — река в России, протекает по Ханты-Мансийскому АО. Устье реки находится в 63 км по правому берегу реки Тапрыюган. Длина реки составляет 27 км.\nТекст 2: Тапрыюган (\"устар.\" Тапры-Юган) — река или протока в России, протекает по территории Белоярского района Ханты-Мансийского автономного округа. Устье реки находится в 119 км по правому берегу реки Казым. Длина реки — 85 км, площадь её водосборного бассейна — 620 кв км.\nВопрос: Как называется река, питающаяся от реки, притоком которой является Нялхойтыюган?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.26666666666666666, + "em": 0 + }, + "predict": " Законодательный орган, который работает в городе, где появился на свет Александр Александрович Сиверс, — Городская Дума Нижнего Новгорода. Это следует из информации из второго текста, где упоминается, что Нижегородский кремль является официальной резиденцией Городской думы Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос: {question}\nТекст 1: {support_text}\nТекст 2: {text}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой законодательный орган работает в городе, где появился на свет Александр Александрович Сиверс?", + "support_text": "Александр Александрович Сиверс ( Нижний Новгород — 24 сентября 1954, Москва) — русский нумизмат, генеалог, , камергер.\n\nБиография.\nПроисходил из рода Сиверсов. Родился в Нижнем Новгороде года в семье тайного советника Александра Александровича Сиверса (10.11.1835, Санкт-Петербург — 23.05.1902, Спасск), управлявшего Нижегородским и Киевским удельными округами; мать, Надежда Петровна Мартос (1845—11.01.1912) происходила из малороссийского рода, владевшего имением Ивахники в Полтавской губернии. Его дед, Александр Иванович Сиверс. Окончил Императорский Санкт-Петербургский университет со степенью кандидата прав (1888) и Санкт-Петербургский археологический институт (1890). До революции 1917 года служил в Киевской удельной конторе и Главном управлении уделов, в 1911—1912 гг. был начальником Самарского удельного округа, а в 1913 году стал членом Комитета по опеке над имуществом великого князя Михаила Александровича; в 1915—1917 гг. был помощником начальника Главного управления уделов.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "answer", + "length": 70, + "offset": 1040, + "segment": "Городской думы Нижнего Новгорода и правительства Нижегородской области" + }, + { + "label": "answer", + "length": 70, + "offset": 1040, + "segment": "Городская дума Нижнего Новгорода и правительства Нижегородской области" + } + ], + "meta": { + "id": 979, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 33, + "segment": "Нижний Новгород" + }, + { + "label": "passage", + "length": 16, + "offset": 173, + "segment": "Нижнем Новгороде" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос: Какой законодательный орган работает в городе, где появился на свет Александр Александрович Сиверс?\nТекст 1: Александр Александрович Сиверс ( Нижний Новгород — 24 сентября 1954, Москва) — русский нумизмат, генеалог, , камергер.\n\nБиография.\nПроисходил из рода Сиверсов. Родился в Нижнем Новгороде года в семье тайного советника Александра Александровича Сиверса (10.11.1835, Санкт-Петербург — 23.05.1902, Спасск), управлявшего Нижегородским и Киевским удельными округами; мать, Надежда Петровна Мартос (1845—11.01.1912) происходила из малороссийского рода, владевшего имением Ивахники в Полтавской губернии. Его дед, Александр Иванович Сиверс. Окончил Императорский Санкт-Петербургский университет со степенью кандидата прав (1888) и Санкт-Петербургский археологический институт (1890). До революции 1917 года служил в Киевской удельной конторе и Главном управлении уделов, в 1911—1912 гг. был начальником Самарского удельного округа, а в 1913 году стал членом Комитета по опеке над имуществом великого князя Михаила Александровича; в 1915—1917 гг. был помощником начальника Главного управления уделов.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 585, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Ереванский городской совет", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родилась Татевик Норайровна Оганесян?", + "support_text": "Татевик Норайровна Оганесян ( 3 июня 1955, Ереван, Армения) — джазовая певица, вокалистка. В 70—80-х годах XX века добилась признания как лучшая исполнительница джазовых стандартов, выступив на нескольких крупных джазовых фестивалях. \"Элла из Еревана\" или \"Леди Джаз Советского союза\" — так называли Татевик Оганесян, появившуюся на джазовой сцене СССР. Татевик — редкий пример востребованной джазовой певицы СССР на мировом джазовом рынке.", + "text": "Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "ереванским городским советом" + }, + { + "label": "passage", + "length": 28, + "offset": 261, + "segment": "Ереванский городской совет" + } + ], + "meta": { + "id": 291, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 44, + "segment": "Ереван" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Татевик Норайровна Оганесян ( 3 июня 1955, Ереван, Армения) — джазовая певица, вокалистка. В 70—80-х годах XX века добилась признания как лучшая исполнительница джазовых стандартов, выступив на нескольких крупных джазовых фестивалях. \"Элла из Еревана\" или \"Леди Джаз Советского союза\" — так называли Татевик Оганесян, появившуюся на джазовой сцене СССР. Татевик — редкий пример востребованной джазовой певицы СССР на мировом джазовом рынке.\nТекст 2: Ереван ( МФА: ) — столица и крупнейший город Армении, один из древнейших городов мира. Расположен в Араратской долине, а также на вулканическом плато к северу от неё, на левом берегу реки Аракс.\n\nОрганы власти.\nЗаконодательная власть в городе осуществляется ереванским городским советом. Главой городского совета является мэр Еревана.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что за законодательный орган работает в городе, где родилась Татевик Норайровна Оганесян? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 267, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Варшава.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте два текста и ответьте на вопрос.\nТекст 1: {support_text}\nТекст 2: {text}\nВопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется место рождения композитора, написавшего музыку к фильму \"Шофёр поневоле\"?", + "support_text": "'Шофёр поневоле' — советский полнометражный цветной художественный фильм-комедия, поставленный на киностудии 'Ленфильм' в году режиссёром Надеждой Кошеверовой. Премьера фильма на телевидении состоялась 28 сентября 1958 года.\n\nСъёмочная группа.\n*Художник — Евгений Еней. *Режиссёр — Лев Махтин. *Оператор — Ниссон Шифрин. *Композитор — Моисей Вайнберг. *Звукооператор — Илья Волк.", + "text": "Моисей (Мечислав) Самуилович Вайнберг (в довоенных документах — \"Мойше Вайнберг\"; 12 января или 8 декабря 1919, Варшава, Польская Республика — 26 февраля 1996, Москва, Россия) — советский композитор. Народный артист РСФСР (1980).\n\nБиография.\nРодился в Варшаве в семье дирижёра и композитора еврейского театра Шмуэла (Самуила Моисеевича) Вайнберга (1883—1943) и актрисы еврейского театра на идише Сони Вайнберг (Суры-Двойры Штерн (Котлицкой); 1888—1943), в 1916 году переселившихся из Кишинёва в Варшаву после кратковременного пребывания в Лодзи. Самуил Моисеевич Вайнберг руководил оркестром в варшавском еврейском театре \"Скала\", где Моисей Вайнберг с десятилетнего возраста играл на фортепиано в сопровождающем постановки оркестре, а впоследствии был музыкальным руководителем нескольких постановок. Вместе с отцом участвовал в музыкальном сопровождении кинофильма \"Fredek uszczęśliwia świat\" (1936). В 1939 году он окончил Варшавскую консерваторию как пианист по классу Юзефа Турчиньского. В польских довоенных документах фигурировал как \"Мойше Вайнберг\" (). С началом войны в сентябре 1939 года бежал в СССР; его семья, остававшаяся в Варшаве (родители и младшая сестра Эстер), была депортирована в Лодзинское гетто и в дальнейшем погибла в концентрационном лагере Травники. Вайнберг первоначально обосновался в Минске и некоторое время учился в Минской консерватории в классе композиции Василия Золотарёва. В 1941 г. был эвакуирован в Ташкент, где познакомился с Дмитрием Шостаковичем — это знакомство оказало на Вайнберга большое влияние. В 1943 году вместе с Шостаковичем вернулся в Москву." + }, + "outputs": [ + { + "label": "passage", + "length": 7, + "offset": 113, + "segment": "Варшава" + } + ], + "meta": { + "id": 400, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 339, + "segment": "Моисей Вайнберг" + } + ] + } + }, + "prompt": "<|im_start|>user\nПрочитайте два текста и ответьте на вопрос.\nТекст 1: 'Шофёр поневоле' — советский полнометражный цветной художественный фильм-комедия, поставленный на киностудии 'Ленфильм' в году режиссёром Надеждой Кошеверовой. Премьера фильма на телевидении состоялась 28 сентября 1958 года.\n\nСъёмочная группа.\n*Художник — Евгений Еней. *Режиссёр — Лев Махтин. *Оператор — Ниссон Шифрин. *Композитор — Моисей Вайнберг. *Звукооператор — Илья Волк.\nТекст 2: Моисей (Мечислав) Самуилович Вайнберг (в довоенных документах — \"Мойше Вайнберг\"; 12 января или 8 декабря 1919, Варшава, Польская Республика — 26 февраля 1996, Москва, Россия) — советский композитор. Народный артист РСФСР (1980).\n\nБиография.\nРодился в Варшаве в семье дирижёра и композитора еврейского театра Шмуэла (Самуила Моисеевича) Вайнберга (1883—1943) и актрисы еврейского театра на идише Сони Вайнберг (Суры-Двойры Штерн (Котлицкой); 1888—1943), в 1916 году переселившихся из Кишинёва в Варшаву после кратковременного пребывания в Лодзи. Самуил Моисеевич Вайнберг руководил оркестром в варшавском еврейском театре \"Скала\", где Моисей Вайнберг с десятилетнего возраста играл на фортепиано в сопровождающем постановки оркестре, а впоследствии был музыкальным руководителем нескольких постановок. Вместе с отцом участвовал в музыкальном сопровождении кинофильма \"Fredek uszczęśliwia świat\" (1936). В 1939 году он окончил Варшавскую консерваторию как пианист по классу Юзефа Турчиньского. В польских довоенных документах фигурировал как \"Мойше Вайнберг\" (). С началом войны в сентябре 1939 года бежал в СССР; его семья, остававшаяся в Варшаве (родители и младшая сестра Эстер), была депортирована в Лодзинское гетто и в дальнейшем погибла в концентрационном лагере Травники. Вайнберг первоначально обосновался в Минске и некоторое время учился в Минской консерватории в классе композиции Василия Золотарёва. В 1941 г. был эвакуирован в Ташкент, где познакомился с Дмитрием Шостаковичем — это знакомство оказало на Вайнберга большое влияние. В 1943 году вместе с Шостаковичем вернулся в Москву.\nВопрос: Как называется место рождения композитора, написавшего музыку к фильму \"Шофёр поневоле\"?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 592, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Александр Владиславович Петик является главой администрации Кировоградской области, где родился Илья Михайлович Ващенко.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в регионе, где родился Илья Михайлович Ващенко?", + "support_text": "Илья Михайлович Ващенко (2 августа 1937, Кировоградская область, Украинская ССР) — советский и российский учёный, педагог, доктор биологических наук (1982), профессор (1983), академик Международной академии наук информации, информационных процессов и технологий. Награждён нагрудными знаками \"За отличные успехи в работе\", \"Почетный работник высшего образования России\" (1997), медалями \"Ветеран труда\" (1998), \"В память 850-летия Москвы (1997), “N. Wiener’s” (2006), \"100 лет профсоюзам России\".\n\nБиография.\nРодился Илья Михайлович 2 августа 1937 в Кировоградской области. В 1956 году окончил Знаменский агролесомелиоративный техникум, затем поступил на агрономический факультет Ленинградского сельскохозяйственного института, который окончил в 1960 году. В годы обучения в аспирантуре на кафедре физики и мелиорации почв биолого-почвенного факультета МГУ им. М. В. Ломоносова выезжал в экспедиции.", + "text": "Кировоградская область — область в центральной части Украины. Административный центр — город Кропивницкий. Создана 10 января 1939 года в составе Украинской ССР указом Президиума Верховного Совета СССР с центром в городе Кирово, который был переименован в Кировоград, а с 2016 года имеет название Кропивницкий. Область не была переименована. Расположена в центре Украины, в междуречье Днепра и Южного Буга, в южной части Приднепровской возвышенности.\n\nАдминистративно-территориальное устройство.\nМовчан Владимир Петрович (17 сентября 2009 — 6 апреля 2010). Ларин Сергей Николаевич (2010—2013). Николаенко Андрей Иванович (январь 2013 — март 2014). Петик Александр Владиславович (2 марта 2014 — 16 сентября 2014). Кузьменко Сергей Анатольевич (16 сентября 2014 — настоящее время). Главы обкомов и областных советов. Первые секретари областного комитета КП(б)У:. 1939—1940." + }, + "outputs": [ + { + "label": "passage", + "length": 28, + "offset": 715, + "segment": "Кузьменко Сергей Анатольевич" + } + ], + "meta": { + "id": 565, + "bridge_answers": [ + { + "label": "passage", + "length": 22, + "offset": 41, + "segment": "Кировоградская область" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Илья Михайлович Ващенко (2 августа 1937, Кировоградская область, Украинская ССР) — советский и российский учёный, педагог, доктор биологических наук (1982), профессор (1983), академик Международной академии наук информации, информационных процессов и технологий. Награждён нагрудными знаками \"За отличные успехи в работе\", \"Почетный работник высшего образования России\" (1997), медалями \"Ветеран труда\" (1998), \"В память 850-летия Москвы (1997), “N. Wiener’s” (2006), \"100 лет профсоюзам России\".\n\nБиография.\nРодился Илья Михайлович 2 августа 1937 в Кировоградской области. В 1956 году окончил Знаменский агролесомелиоративный техникум, затем поступил на агрономический факультет Ленинградского сельскохозяйственного института, который окончил в 1960 году. В годы обучения в аспирантуре на кафедре физики и мелиорации почв биолого-почвенного факультета МГУ им. М. В. Ломоносова выезжал в экспедиции.\nТекст 2: Кировоградская область — область в центральной части Украины. Административный центр — город Кропивницкий. Создана 10 января 1939 года в составе Украинской ССР указом Президиума Верховного Совета СССР с центром в городе Кирово, который был переименован в Кировоград, а с 2016 года имеет название Кропивницкий. Область не была переименована. Расположена в центре Украины, в междуречье Днепра и Южного Буга, в южной части Приднепровской возвышенности.\n\nАдминистративно-территориальное устройство.\nМовчан Владимир Петрович (17 сентября 2009 — 6 апреля 2010). Ларин Сергей Николаевич (2010—2013). Николаенко Андрей Иванович (январь 2013 — март 2014). Петик Александр Владиславович (2 марта 2014 — 16 сентября 2014). Кузьменко Сергей Анатольевич (16 сентября 2014 — настоящее время). Главы обкомов и областных советов. Первые секретари областного комитета КП(б)У:. 1939—1940.\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в регионе, где родился Илья Михайлович Ващенко?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 530, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Римский лагерь", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что раньше занимало территорию города, где умер Франц Рёстель?", + "support_text": "Франц Рёстель ( 4 мая 1902, Гёрлиц — 24 ноября 1974, Регенсбург) — немецкий офицер войск СС.", + "text": "Регенсбург — город в Германии, в земле Бавария. Расположен на слиянии Дуная и Регена, в самом северном изгибе Дуная.\n\nИстория.\nРимский лагерь (период до 500 г. н. э.). Стена римского времени.jpg|Стена римского времени. Римская история Регенсбурга начинается с создания крепости Кастра Регина примерно в 79 н. э., расположенной в современном районе Кумпфмюль (). Это был наблюдательный пост за устьями Наб и Реген, окруженный рвом и частоколом, а позже и каменной стеной. В нём размещалось либо примерно 500 мужчин, составлявших сильную конную когорту, либо примерно 1000 мужчин, составлявших сильную двойную когорту пехотинцев.\n\nДостопримечательности.\nОдна из них известна как \"Старый собор\", она была основана предположительно в VIII веке. Официальный хор собора исполняет церковную музыку и известен как \"Регенсбургские Соловьи\" (Regensburger Domspatzen). Каменный мост (), построенный 1135—1146 гг., является шедевром средневекового наведения мостов. Участники 2-го и 3-го крестового похода использовали его при переходе через Дунай по пути на Святую Землю. Кастра Регина — останки римских фортификационных укреплений, включая Porta Praetoria. Церковь св. Якоба — также известная как \"Шотландская церковь\". Романская базилика 12-го столетия, получившая своё название от монастыря ирландских бенедиктинцев (Scoti), которому она принадлежала до секуляризации; главный дверной проём покрыт очень необычными резными фигурками. В монастырской библиотеке были найдены древнейшие ирландские манускрипты и, в частности, тексты, написанные в 1080 году ирландским бенедиктинским монахом Marianus, основателем сообщества в Регенсбурге, содержащие самые ранние записанные гэльские слова." + }, + "outputs": [ + { + "label": "passage", + "length": 22, + "offset": 272, + "segment": "крепости Кастра Регина" + }, + { + "label": "passage", + "length": 22, + "offset": 272, + "segment": "Крепость Кастра Регина" + } + ], + "meta": { + "id": 713, + "bridge_answers": [ + { + "label": "passage", + "length": 10, + "offset": 53, + "segment": "Регенсбург" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Франц Рёстель ( 4 мая 1902, Гёрлиц — 24 ноября 1974, Регенсбург) — немецкий офицер войск СС.\nТекст 2: Регенсбург — город в Германии, в земле Бавария. Расположен на слиянии Дуная и Регена, в самом северном изгибе Дуная.\n\nИстория.\nРимский лагерь (период до 500 г. н. э.). Стена римского времени.jpg|Стена римского времени. Римская история Регенсбурга начинается с создания крепости Кастра Регина примерно в 79 н. э., расположенной в современном районе Кумпфмюль (). Это был наблюдательный пост за устьями Наб и Реген, окруженный рвом и частоколом, а позже и каменной стеной. В нём размещалось либо примерно 500 мужчин, составлявших сильную конную когорту, либо примерно 1000 мужчин, составлявших сильную двойную когорту пехотинцев.\n\nДостопримечательности.\nОдна из них известна как \"Старый собор\", она была основана предположительно в VIII веке. Официальный хор собора исполняет церковную музыку и известен как \"Регенсбургские Соловьи\" (Regensburger Domspatzen). Каменный мост (), построенный 1135—1146 гг., является шедевром средневекового наведения мостов. Участники 2-го и 3-го крестового похода использовали его при переходе через Дунай по пути на Святую Землю. Кастра Регина — останки римских фортификационных укреплений, включая Porta Praetoria. Церковь св. Якоба — также известная как \"Шотландская церковь\". Романская базилика 12-го столетия, получившая своё название от монастыря ирландских бенедиктинцев (Scoti), которому она принадлежала до секуляризации; главный дверной проём покрыт очень необычными резными фигурками. В монастырской библиотеке были найдены древнейшие ирландские манускрипты и, в частности, тексты, написанные в 1080 году ирландским бенедиктинским монахом Marianus, основателем сообщества в Регенсбурге, содержащие самые ранние записанные гэльские слова.\nОпираясь на факты в данных текстах, ответьте на вопрос: Что раньше занимало территорию города, где умер Франц Рёстель? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 515, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Вохма", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется река, питающаяся от реки, притоком которой является Северная Большая?", + "support_text": "Северная Большая — река в России, протекает в Кичменгско-Городецком районе Вологодской области. Устье реки находится в 36 км по левому берегу реки Карюг. Длина реки составляет 10 км. Исток реки расположен восточнее деревни Карюг близ границы с Костромской областью. Река течёт по ненаселённому лесу в западном направлении, впадает в Карюг выше одноимённой деревни.", + "text": "Карюг — река в Вологодской и Костромской областях России, левый приток Вохмы. Длина реки составляет 78 км, площадь водосборного бассейна — 306 кв км.\n\nПримечания.\nКатегория:Притоки Вохмы." + }, + "outputs": [ + { + "label": "passage", + "length": 5, + "offset": 71, + "segment": "Вохмы" + }, + { + "label": "answer", + "length": 5, + "offset": 184, + "segment": "Вохмы" + }, + { + "label": "passage", + "length": 5, + "offset": 71, + "segment": "Вохма" + } + ], + "meta": { + "id": 677, + "bridge_answers": [ + { + "label": "passage", + "length": 5, + "offset": 147, + "segment": "Карюг" + }, + { + "label": "passage", + "length": 5, + "offset": 223, + "segment": "Карюг" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Северная Большая — река в России, протекает в Кичменгско-Городецком районе Вологодской области. Устье реки находится в 36 км по левому берегу реки Карюг. Длина реки составляет 10 км. Исток реки расположен восточнее деревни Карюг близ границы с Костромской областью. Река течёт по ненаселённому лесу в западном направлении, впадает в Карюг выше одноимённой деревни.\nТекст 2: Карюг — река в Вологодской и Костромской областях России, левый приток Вохмы. Длина реки составляет 78 км, площадь водосборного бассейна — 306 кв км.\n\nПримечания.\nКатегория:Притоки Вохмы.\nОпираясь на данные тексты, ответьте на вопрос: Как называется река, питающаяся от реки, притоком которой является Северная Большая?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Виталий Бахметьев.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где умер Сергей Николаевич Вавилов?", + "support_text": "Сергей Николаевич Вавилов (9 сентября 1917, Орловская губерния — 18 апреля 1984, Магнитогорск, Челябинская область) — советский рабочий-металлург, сталевар мартеновских цехов Магнитогорского металлургического комбината. Герой Социалистического Труда (1958).", + "text": "Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nЕвгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г)." + }, + "outputs": [ + { + "label": "passage", + "length": 16, + "offset": 457, + "segment": "Сергей Бердников" + } + ], + "meta": { + "id": 553, + "bridge_answers": [ + { + "label": "passage", + "length": 12, + "offset": 81, + "segment": "Магнитогорск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Сергей Николаевич Вавилов (9 сентября 1917, Орловская губерния — 18 апреля 1984, Магнитогорск, Челябинская область) — советский рабочий-металлург, сталевар мартеновских цехов Магнитогорского металлургического комбината. Герой Социалистического Труда (1958).\nТекст 2: Магнитогорск — город в Челябинской области, образует одноимённый городской округ. Крупный культурный и деловой центр Южного Урала, один из крупнейших мировых центров чёрной металлургии. Шестой из числа крупнейших городов, не являющихся центрами субъектов федерации.\n\nАдминистративно-политическое устройство.\nЕвгений Тефтелев, глава города (2009—2014). Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.). Сергей Бердников, глава города (с 25 октября 2016 г).\nОпираясь на данные тексты, ответьте на вопрос: Кто является главой администрации в городе, где умер Сергей Николаевич Вавилов? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": [ + 64 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Большой Сосьве.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Хултурахт?", + "support_text": "Хултурахт (устар. Хуль-Тур-Ахт) — река в России, протекает по Берёзовскому району Ханты-Мансийского АО. Длина реки — 33 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.", + "text": "Бассейн Оби. Северная Сосьва — река в Ханты-Мансийском автономном округе России, протекает на Северном Урале по Западно-Сибирской равнине. Длина реки — 754 км, площадь водосборного бассейна — 98 300 кв км. Образуется слиянием рек Большой и Малой Сосьвы. Впадает в Обь слева (рукав Малая Обь) на 287 км от её устья." + }, + "outputs": [ + { + "label": "passage", + "length": 3, + "offset": 264, + "segment": "Обь" + } + ], + "meta": { + "id": 844, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 281, + "segment": "Северная Сосьва" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Хултурахт (устар. Хуль-Тур-Ахт) — река в России, протекает по Берёзовскому району Ханты-Мансийского АО. Длина реки — 33 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Нижнеобскому бассейновому округу, водохозяйственный участок реки — Северная Сосьва, речной подбассейн реки — Северная Сосьва. Речной бассейн реки — (Нижняя) Обь от впадения Иртыша.\nТекст 2: Бассейн Оби. Северная Сосьва — река в Ханты-Мансийском автономном округе России, протекает на Северном Урале по Западно-Сибирской равнине. Длина реки — 754 км, площадь водосборного бассейна — 98 300 кв км. Образуется слиянием рек Большой и Малой Сосьвы. Впадает в Обь слева (рукав Малая Обь) на 287 км от её устья.\nОпираясь на данные тексты, ответьте на вопрос: С какой рекой сливается река, в которую впадает Хултурахт? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": [ + 9 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0, + "em": 0 + }, + "predict": " Печора", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой рекой сливается река, в которую впадает Худой-Ёль?", + "support_text": "Худой-Ёль — река в России, протекает в Республике Коми по территории Печерского района.\n\nГеография.\nУстье реки находится в 932 км по левому берегу реки Печора, к югу от посёлка Кедровый Шор. Длина реки составляет 11 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от водомерного поста у посёлка Шердино до впадения реки Уса, речной подбассейн реки — бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора. Код объекта в государственном водном реестре — 03050100212103000063436.", + "text": "Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nВ районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина." + }, + "outputs": [ + { + "label": "passage", + "length": 30, + "offset": 466, + "segment": "Печорскую губу Печорского моря" + } + ], + "meta": { + "id": 845, + "bridge_answers": [ + { + "label": "passage", + "length": 6, + "offset": 155, + "segment": "Печора" + }, + { + "label": "passage", + "length": 6, + "offset": 386, + "segment": "Печора" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Худой-Ёль — река в России, протекает в Республике Коми по территории Печерского района.\n\nГеография.\nУстье реки находится в 932 км по левому берегу реки Печора, к югу от посёлка Кедровый Шор. Длина реки составляет 11 км.\n\nДанные водного реестра.\nПо данным государственного водного реестра России относится к Двинско-Печорскому бассейновому округу, водохозяйственный участок реки — Печора от водомерного поста у посёлка Шердино до впадения реки Уса, речной подбассейн реки — бассейны притоков Печоры до впадения Усы. Речной бассейн реки — Печора. Код объекта в государственном водном реестре — 03050100212103000063436.\nТекст 2: Печора ( ) — река в Республике Коми и Ненецком автономном округе России.\n\nГеография.\nВ районе Усть-Цильмы (после впадения рек Пижмы и Цильмы) Печора снова поворачивает на север, на этом участке её широкая пойма изрезана многочисленными протоками (\"шарами\") и старицами. Примерно в 130 км от устья Печора делится на два рукава — восточный (Большая Печора) и западный (Малая Печора). Ниже, в районе Нарьян-Мара, река образует дельту шириной около 45 км и впадает в Печорскую губу Печорского моря. Сгонно-нагонные течения распространяются на юг до села Оксина.\nОпираясь на факты в данных текстах, ответьте на вопрос: С какой рекой сливается река, в которую впадает Худой-Ёль? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 388, + "generated_len": [ + 9 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Евгений Тефтелев", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на факты в данных текстах, ответьте на вопрос: {question} Запишите только ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто является главой администрации в городе, где родился Дмитрий Геннадьевич Цыгуров?", + "support_text": "Дмитрий Геннадьевич Цыгуров (18 марта 1967 года, Челябинск, РСФСР, СССР) — советский хоккеист, защитник. Привлекался в молодёжную сборную СССР.", + "text": "Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог." + }, + "outputs": [ + { + "label": "passage", + "length": 17, + "offset": 946, + "segment": "Евгению Тефтелеву" + }, + { + "label": "passage", + "length": 17, + "offset": 946, + "segment": "Евгений Тефтелев" + } + ], + "meta": { + "id": 500, + "bridge_answers": [ + { + "label": "passage", + "length": 9, + "offset": 49, + "segment": "Челябинск" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Дмитрий Геннадьевич Цыгуров (18 марта 1967 года, Челябинск, РСФСР, СССР) — советский хоккеист, защитник. Привлекался в молодёжную сборную СССР.\nТекст 2: Челябинск — город в Российской Федерации, административный центр Челябинской области, седьмой по количеству жителей, шестнадцатый по занимаемой площади городской округ с внутригородским делением. Второй по величине культурный, экономический, деловой и политический центр УрФО.\n\nЭкономика.\n816 аварий в 2015 году произошло из-за ям, а сам Челябинск, по данным компании \"АльфаСтрахование\" занимает 8 место среди российских городов по аварийности. Челябинские дороги были подвергнуты резкой критике премьер-министром России Дмитрием Медведевым. Также дороги Челябинска были названы Общероссийским народным фронтом одними из самых худших и опасных в стране. Крайне низкое качество дорожной инфраструктуры Челябинска постоянно подвергается критике со стороны известных гостей города, в частности, тележурналист Владимир Соловьёв и музыкант Баста заявили, что в Челябинске самые плохие дороги в стране. Из-за разбитых дорог Челябинска главе города Евгению Тефтелеву прокуратурой было внесено представление. Евгений Тефтелев и губернатор области Борис Дубровский соглашаются с тем, что городская дорожная сеть находится в крайне неудовлетворительном и обветшалом состоянии. В связи с неудовлетворительной дорожной инфраструктурой в Челябинске проходят митинги против плохих дорог.\nОпираясь на факты в данных текстах, ответьте на вопрос: Кто является главой администрации в городе, где родился Дмитрий Геннадьевич Цыгуров? Запишите только ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 368, + "generated_len": [ + 9 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 1.0, + "em": 1 + }, + "predict": " Гватемала", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой город стал местом смерти автора произведения \"Гимн Гватемалы\"?", + "support_text": "Национальный гимн Гватемалы — государственный гимн Гватемалы. Автор слов — Хосе Хоакин Пальма (1844—1911), композитор — Рафаэль Альварес Овалье. Гимн был принят в 1896 году. В 1934 году часть гимна была изменена Хосе Марией Бонильей.", + "text": "Хосе-Хоакин Пальма-Лассо ( 11 сентября 1844, Баямо, Куба — 2 августа 1911, Гватемала, Гватемала) — кубинский поэт, журналист и дипломат, автор гимна Гватемалы и известных стихотворений \"Мрак души\" и \"Поэзия\"." + }, + "outputs": [ + { + "label": "passage", + "length": 9, + "offset": 76, + "segment": "Гватемала" + } + ], + "meta": { + "id": 442, + "bridge_answers": [ + { + "label": "passage", + "length": 18, + "offset": 75, + "segment": "Хосе Хоакин Пальма" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Национальный гимн Гватемалы — государственный гимн Гватемалы. Автор слов — Хосе Хоакин Пальма (1844—1911), композитор — Рафаэль Альварес Овалье. Гимн был принят в 1896 году. В 1934 году часть гимна была изменена Хосе Марией Бонильей.\nТекст 2: Хосе-Хоакин Пальма-Лассо ( 11 сентября 1844, Баямо, Куба — 2 августа 1911, Гватемала, Гватемала) — кубинский поэт, журналист и дипломат, автор гимна Гватемалы и известных стихотворений \"Мрак души\" и \"Поэзия\".\nОпираясь на данные тексты, ответьте на вопрос: Какой город стал местом смерти автора произведения \"Гимн Гватемалы\"? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": [ + 9 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городской совет (Городская Дума)", + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question}" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что за законодательный орган работает в городе, где родился Анатолий Юрьевич Москвин?", + "support_text": "Анатолий Юрьевич Москвин (род. 1 сентября 1966 года, Горький, СССР) — российский краевед-некрополист, -полиглот, , и составитель словарей. В своей квартире содержал более двадцати мумифицированных тел девочек и одно в гараже. С диагнозом шизофрения направлен на принудительное лечение судом по обвинению в надругательстве над телами умерших.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1167, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1167, + "segment": "Городская дума" + } + ], + "meta": { + "id": 294, + "bridge_answers": [ + { + "label": "passage", + "length": 7, + "offset": 53, + "segment": "Горький" + } + ] + } + }, + "prompt": "<|im_start|>user\nТекст 1: Анатолий Юрьевич Москвин (род. 1 сентября 1966 года, Горький, СССР) — российский краевед-некрополист, -полиглот, , и составитель словарей. В своей квартире содержал более двадцати мумифицированных тел девочек и одно в гараже. С диагнозом шизофрения направлен на принудительное лечение судом по обвинению в надругательстве над телами умерших.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги.\n\nКультура.\nНа территории кремля находилось множество храмов, однако на настоящий момент сохранился лишь Михайло-Архангельский собор, построенный не позднее середины XVI века, перестроенный в 1628—1631 годах и являющийся древнейшим из сохранившихся в Кремле зданий. Исторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Что за законодательный орган работает в городе, где родился Анатолий Юрьевич Москвин?<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 411, + "generated_len": [ + 9 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "f1": 0.6666666666666666, + "em": 0 + }, + "predict": " Городская Дума Нижегородской области.", + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны два текста:\nТекст 1: {support_text}\nТекст 2: {text}\nОпираясь на данные тексты, ответьте на вопрос: {question} Ваш ответ не должен содержать дополнительные объяснения." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется законодательный орган города, где умер Александр Александрович Соколов (партийный деятель)?", + "support_text": "Александр Александрович Соколов (13 июня 1930 года, г. Нижний Новгород, РСФСР, СССР, — 8 апреля 2014 года, г. Нижний Новгород) — советский партийный и государственный деятель, председатель Горьковского облисполкома (1986—91 гг.). Почётный гражданин Нижегородской области и Почётный гражданин Нижнего Новгорода.", + "text": "Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе." + }, + "outputs": [ + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городской думы" + }, + { + "label": "passage", + "length": 14, + "offset": 1040, + "segment": "Городская дума" + } + ], + "meta": { + "id": 395, + "bridge_answers": [ + { + "label": "passage", + "length": 15, + "offset": 55, + "segment": "Нижний Новгород" + } + ] + } + }, + "prompt": "<|im_start|>user\nДаны два текста:\nТекст 1: Александр Александрович Соколов (13 июня 1930 года, г. Нижний Новгород, РСФСР, СССР, — 8 апреля 2014 года, г. Нижний Новгород) — советский партийный и государственный деятель, председатель Горьковского облисполкома (1986—91 гг.). Почётный гражданин Нижегородской области и Почётный гражданин Нижнего Новгорода.\nТекст 2: Нижний Новгород (в разговорной речи часто — \"Нижний\", c XIII по XVII век — Новгород Низовской земли, с 7 октября 1932 по 22 октября 1990 года — Горький) — город в центральной России, административный центр Приволжского федерального округа и Нижегородской области. Второй по численности населения город в Приволжском федеральном округе и на реке Волге. Основан по некоторым оценкам года владимирским князем Юрием Всеволодовичем. Расположен в центре Восточно-Европейской равнины на месте слияния Оки и Волги. Ока делит город на две части: на высоком правом берегу — нагорная на Дятловых горах, и заречная — на её левом низинном берегу.\n\nКультура.\nИсторический центр Нижнего Новгорода, расположенный в Нагорной части города, несмотря на значительные перестройки, сохранил значительное число исторических гражданских строений XVIII — начала XX веков, включая многочисленные памятники деревянного зодчества. Дмитриевская башня Кремля выходит на историческую площадь Минина и Пожарского. Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода и правительства Нижегородской области. Зоопарк \"Лимпопо\". Зоопарк \"Лимпопо\" — первый частный зоопарк в России, расположенный в Московском районе.\nОпираясь на данные тексты, ответьте на вопрос: Как называется законодательный орган города, где умер Александр Александрович Соколов (партийный деятель)? Ваш ответ не должен содержать дополнительные объяснения.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 397, + "generated_len": [ + 9 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} diff --git a/llmtf_eval/darumeru_MultiQ_params.jsonl b/llmtf_eval/darumeru_MultiQ_params.jsonl new file mode 100644 index 0000000..5bc0a29 --- /dev/null +++ b/llmtf_eval/darumeru_MultiQ_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "generate" + } +} diff --git a/llmtf_eval/darumeru_MultiQ_total.jsonl b/llmtf_eval/darumeru_MultiQ_total.jsonl new file mode 100644 index 0000000..6201daa --- /dev/null +++ b/llmtf_eval/darumeru_MultiQ_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "darumeru/MultiQ", + "results": { + "f1": 0.3346248767848689, + "em": 0.22275334608030592 + }, + "leaderboard_result": 0.2786891114325874 +} diff --git a/llmtf_eval/darumeru_PARus.jsonl b/llmtf_eval/darumeru_PARus.jsonl new file mode 100644 index 0000000..2e06d6e --- /dev/null +++ b/llmtf_eval/darumeru_PARus.jsonl @@ -0,0 +1,8200 @@ +{ + "metric": { + "acc": { + "val": true, + "id": 0 + } + }, + "predict": { + "1": 0.24505998194217682, + "2": 0.7548379302024841 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина открыл вентиль.", + "choice1": "Унитаз переполнился водой.", + "choice2": "Вода потекла из крана." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 0 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина открыл вентиль.\" и два фрагмента текста: 1. Унитаз переполнился водой. 2. Вода потекла из крана. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 0 + } + }, + "predict": { + "1": 0.8354161381721497, + "2": 0.16450317203998566 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина открыл вентиль.", + "choice1": "Вода потекла из крана.", + "choice2": "Унитаз переполнился водой." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 0 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина открыл вентиль.\" и два фрагмента текста: 1. Вода потекла из крана. 2. Унитаз переполнился водой. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 1 + } + }, + "predict": { + "1": 0.13289602100849152, + "2": 0.8665909171104431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девушка нашла жука у себя в каше.", + "choice1": "Она налила молока в миску.", + "choice2": "Она потеряла аппетит." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 1 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Девушка нашла жука у себя в каше.\" и два текста: 1. Она налила молока в миску. 2. Она потеряла аппетит. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 1 + } + }, + "predict": { + "1": 0.4376659393310547, + "2": 0.5619742274284363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девушка нашла жука у себя в каше.", + "choice1": "Она потеряла аппетит.", + "choice2": "Она налила молока в миску." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 1 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Девушка нашла жука у себя в каше.\" и два текста: 1. Она потеряла аппетит. 2. Она налила молока в миску. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 2 + } + }, + "predict": { + "1": 0.988976240158081, + "2": 0.01098653394728899 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина вышла на пенсию.", + "choice1": "Она начала получать пенсию.", + "choice2": "Она выплатила ипотеку." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 2 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Женщина вышла на пенсию.\" и два возможных продолжения текста: 1. Она начала получать пенсию. 2. Она выплатила ипотеку. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 2 + } + }, + "predict": { + "1": 0.012430944480001926, + "2": 0.9875121712684631 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина вышла на пенсию.", + "choice1": "Она выплатила ипотеку.", + "choice2": "Она начала получать пенсию." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 2 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Женщина вышла на пенсию.\" и два возможных продолжения текста: 1. Она выплатила ипотеку. 2. Она начала получать пенсию. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 3 + } + }, + "predict": { + "1": 0.10665718466043472, + "2": 0.8930296301841736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я решил экономить энергию.", + "choice1": "Я подмел пол в пустой комнате.", + "choice2": "Я выключил свет в пустой комнате." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 3 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я решил экономить энергию.\" и два фрагмента текста: 1) Я подмел пол в пустой комнате. 2) Я выключил свет в пустой комнате. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 3 + } + }, + "predict": { + "1": 0.8353122472763062, + "2": 0.1644827127456665 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я решил экономить энергию.", + "choice1": "Я выключил свет в пустой комнате.", + "choice2": "Я подмел пол в пустой комнате." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 3 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я решил экономить энергию.\" и два фрагмента текста: 1) Я выключил свет в пустой комнате. 2) Я подмел пол в пустой комнате. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 4 + } + }, + "predict": { + "1": 0.005910172592848539, + "2": 0.9939382076263428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Котлета для гамбургера подрумянилась.", + "choice1": "Повар заморозил её.", + "choice2": "Повар поджарил её." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 4 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Котлета для гамбургера подрумянилась.\" и два фрагмента текста: 1. Повар заморозил её. 2. Повар поджарил её. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 4 + } + }, + "predict": { + "1": 0.9990105628967285, + "2": 0.0009109797538258135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Котлета для гамбургера подрумянилась.", + "choice1": "Повар поджарил её.", + "choice2": "Повар заморозил её." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 4 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Котлета для гамбургера подрумянилась.\" и два фрагмента текста: 1. Повар поджарил её. 2. Повар заморозил её. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 5 + } + }, + "predict": { + "1": 0.9839523434638977, + "2": 0.015904108062386513 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я сомневалась в предложении коммивояжера.", + "choice1": "Я отклонила его предложение.", + "choice2": "Он уговорил меня купить продукт." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 5 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я сомневалась в предложении коммивояжера.\" и два текста продолжения: 1) Я отклонила его предложение. 2) Он уговорил меня купить продукт. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 5 + } + }, + "predict": { + "1": 0.009706289507448673, + "2": 0.9900683760643005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я сомневалась в предложении коммивояжера.", + "choice1": "Он уговорил меня купить продукт.", + "choice2": "Я отклонила его предложение." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 5 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я сомневалась в предложении коммивояжера.\" и два текста продолжения: 1) Он уговорил меня купить продукт. 2) Я отклонила его предложение. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 6 + } + }, + "predict": { + "1": 0.9145941138267517, + "2": 0.08507050573825836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я решил остаться дома на ночь.", + "choice1": "Прогноз обещал бурю.", + "choice2": "Мои друзья уговорили меня погулять." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 6 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Я решил остаться дома на ночь.\" и два текста: 1. Прогноз обещал бурю. 2. Мои друзья уговорили меня погулять. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 6 + } + }, + "predict": { + "1": 0.6220958232879639, + "2": 0.37732017040252686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я решил остаться дома на ночь.", + "choice1": "Мои друзья уговорили меня погулять.", + "choice2": "Прогноз обещал бурю." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 6 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Я решил остаться дома на ночь.\" и два текста: 1. Мои друзья уговорили меня погулять. 2. Прогноз обещал бурю. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 7 + } + }, + "predict": { + "1": 0.9819460511207581, + "2": 0.017984969541430473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мои глаза стали красными и опухшими.", + "choice1": "Я рыдала.", + "choice2": "Я смеялась." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 7 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мои глаза стали красными и опухшими.\" и два возможных продолжения текста: 1. Я рыдала. 2. Я смеялась. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 7 + } + }, + "predict": { + "1": 0.01590443029999733, + "2": 0.9839723110198975 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мои глаза стали красными и опухшими.", + "choice1": "Я смеялась.", + "choice2": "Я рыдала." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 7 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мои глаза стали красными и опухшими.\" и два возможных продолжения текста: 1. Я смеялась. 2. Я рыдала. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 8 + } + }, + "predict": { + "1": 0.29416465759277344, + "2": 0.705664336681366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пламя свечи погасло.", + "choice1": "Я дул на фитиль.", + "choice2": "Я подносил спичку к фитилю." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 8 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Пламя свечи погасло.\" и два фрагмента текста: 1) Я дул на фитиль. 2) Я подносил спичку к фитилю. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 8 + } + }, + "predict": { + "1": 0.10665440559387207, + "2": 0.8930063843727112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пламя свечи погасло.", + "choice1": "Я подносил спичку к фитилю.", + "choice2": "Я дул на фитиль." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 8 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Пламя свечи погасло.\" и два фрагмента текста: 1) Я подносил спичку к фитилю. 2) Я дул на фитиль. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 9 + } + }, + "predict": { + "1": 0.9944551587104797, + "2": 0.003586565377190709 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина сильно выпил на вечеринке.", + "choice1": "У него болела голова на следующий день.", + "choice2": "У него был насморк на следующий день." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 9 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина сильно выпил на вечеринке.\" и два возможных продолжения текста: 1. У него болела голова на следующий день. 2. У него был насморк на следующий день. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 9 + } + }, + "predict": { + "1": 0.0848197489976883, + "2": 0.9118983149528503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина сильно выпил на вечеринке.", + "choice1": "У него был насморк на следующий день.", + "choice2": "У него болела голова на следующий день." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 9 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина сильно выпил на вечеринке.\" и два возможных продолжения текста: 1. У него был насморк на следующий день. 2. У него болела голова на следующий день. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 10 + } + }, + "predict": { + "1": 0.9147220849990845, + "2": 0.08508240431547165 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Шар для боулинга сбил кегли.", + "choice1": "Мужчина пустил шар для боулинга по дорожке.", + "choice2": "Мужчина уронил шар на ногу." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 10 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Шар для боулинга сбил кегли.\" и два текста продолжения: 1) Мужчина пустил шар для боулинга по дорожке. 2) Мужчина уронил шар на ногу. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 10 + } + }, + "predict": { + "1": 0.014060128480196, + "2": 0.9856911301612854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Шар для боулинга сбил кегли.", + "choice1": "Мужчина уронил шар на ногу.", + "choice2": "Мужчина пустил шар для боулинга по дорожке." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 10 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Шар для боулинга сбил кегли.\" и два текста продолжения: 1) Мужчина уронил шар на ногу. 2) Мужчина пустил шар для боулинга по дорожке. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 11 + } + }, + "predict": { + "1": 0.1190825030207634, + "2": 0.8799073100090027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Общество узнало о смерти человека.", + "choice1": "Его семья похоронила его на кладбище.", + "choice2": "Его некролог появился в газете." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 11 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Общество узнало о смерти человека.\" и два возможных продолжения текста: 1. Его семья похоронила его на кладбище. 2. Его некролог появился в газете. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 11 + } + }, + "predict": { + "1": 0.2686806619167328, + "2": 0.7303496599197388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Общество узнало о смерти человека.", + "choice1": "Его некролог появился в газете.", + "choice2": "Его семья похоронила его на кладбище." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 11 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Общество узнало о смерти человека.\" и два возможных продолжения текста: 1. Его некролог появился в газете. 2. Его семья похоронила его на кладбище. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 12 + } + }, + "predict": { + "1": 0.005910263396799564, + "2": 0.99395352602005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мой компьютер разбился.", + "choice1": "Я установил новые колонки.", + "choice2": "Я потерял все мои данные." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 12 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мой компьютер разбился.\" и два фрагмента текста: 1. Я установил новые колонки. 2. Я потерял все мои данные. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 12 + } + }, + "predict": { + "1": 0.994674563407898, + "2": 0.005219573155045509 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мой компьютер разбился.", + "choice1": "Я потерял все мои данные.", + "choice2": "Я установил новые колонки." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 12 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мой компьютер разбился.\" и два фрагмента текста: 1. Я потерял все мои данные. 2. Я установил новые колонки. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 13 + } + }, + "predict": { + "1": 0.06007832661271095, + "2": 0.9397831559181213 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина уволилась с должности.", + "choice1": "Она хотела занять руководящую должность в фирме.", + "choice2": "Она считала, что её начальники вели себя неэтично." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 13 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина уволилась с должности.\" и два фрагмента текста: 1. Она хотела занять руководящую должность в фирме. 2. Она считала, что её начальники вели себя неэтично. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 13 + } + }, + "predict": { + "1": 0.9795567989349365, + "2": 0.020330052822828293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина уволилась с должности.", + "choice1": "Она считала, что её начальники вели себя неэтично.", + "choice2": "Она хотела занять руководящую должность в фирме." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 13 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина уволилась с должности.\" и два фрагмента текста: 1. Она считала, что её начальники вели себя неэтично. 2. Она хотела занять руководящую должность в фирме. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 14 + } + }, + "predict": { + "1": 0.9239228963851929, + "2": 0.07584020495414734 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Участница игры поймала мяч.", + "choice1": "Её напарник бросил его ей.", + "choice2": "Её противник пытался перехватить его." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 14 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Участница игры поймала мяч.\" и два текста: 1. Её напарник бросил его ей. 2. Её противник пытался перехватить его. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 14 + } + }, + "predict": { + "1": 0.06005452945828438, + "2": 0.939410924911499 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Участница игры поймала мяч.", + "choice1": "Её противник пытался перехватить его.", + "choice2": "Её напарник бросил его ей." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 14 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Участница игры поймала мяч.\" и два текста: 1. Её противник пытался перехватить его. 2. Её напарник бросил его ей. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 15 + } + }, + "predict": { + "1": 0.2941732704639435, + "2": 0.7056849598884583 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Судья стучал молоточком.", + "choice1": "В зале стало шумно.", + "choice2": "Жюри огласило свой вердикт." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 15 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Судья стучал молоточком.\" и два возможных продолжения текста: 1. В зале стало шумно. 2. Жюри огласило свой вердикт. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 15 + } + }, + "predict": { + "1": 0.2450469583272934, + "2": 0.7547977566719055 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Судья стучал молоточком.", + "choice1": "Жюри огласило свой вердикт.", + "choice2": "В зале стало шумно." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 15 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Судья стучал молоточком.\" и два возможных продолжения текста: 1. Жюри огласило свой вердикт. 2. В зале стало шумно. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 16 + } + }, + "predict": { + "1": 0.5310270190238953, + "2": 0.46862971782684326 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина прогнала детей со своей территории.", + "choice1": "Дети попали мячом в её двор.", + "choice2": "Дети топтались по её саду." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 16 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина прогнала детей со своей территории.\" и два фрагмента текста: 1) Дети попали мячом в её двор. 2) Дети топтались по её саду. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 16 + } + }, + "predict": { + "1": 0.5310412645339966, + "2": 0.4686422646045685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина прогнала детей со своей территории.", + "choice1": "Дети топтались по её саду.", + "choice2": "Дети попали мячом в её двор." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 16 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина прогнала детей со своей территории.\" и два фрагмента текста: 1) Дети топтались по её саду. 2) Дети попали мячом в её двор. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 17 + } + }, + "predict": { + "1": 0.9322750568389893, + "2": 0.06753378361463547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Похитители отпустили заложника.", + "choice1": "Они получили выкуп.", + "choice2": "Они сбежали из тюрьмы." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 17 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Похитители отпустили заложника.\" и два текста продолжения: 1) Они получили выкуп. 2) Они сбежали из тюрьмы. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 17 + } + }, + "predict": { + "1": 0.07583896070718765, + "2": 0.9239076972007751 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Похитители отпустили заложника.", + "choice1": "Они сбежали из тюрьмы.", + "choice2": "Они получили выкуп." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 17 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Похитители отпустили заложника.\" и два текста продолжения: 1) Они сбежали из тюрьмы. 2) Они получили выкуп. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 18 + } + }, + "predict": { + "1": 0.047414567321538925, + "2": 0.9523470401763916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Глаза повара заслезились.", + "choice1": "Он выбежал прочь из-за лука.", + "choice2": "Он резал лук." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 18 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Глаза повара заслезились.\" и два возможных продолжения текста: 1. Он выбежал прочь из-за лука. 2. Он резал лук. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 18 + } + }, + "predict": { + "1": 0.9985576272010803, + "2": 0.00103180727455765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Глаза повара заслезились.", + "choice1": "Он резал лук.", + "choice2": "Он выбежал прочь из-за лука." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 18 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Глаза повара заслезились.\" и два возможных продолжения текста: 1. Он резал лук. 2. Он выбежал прочь из-за лука. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 19 + } + }, + "predict": { + "1": 0.9240259528160095, + "2": 0.07584866881370544 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина сунула палец под холодную воду.", + "choice1": "Она обожгла палец тостером.", + "choice2": "Она надела на палец кольцо с бриллиантом." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 19 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина сунула палец под холодную воду.\" и два фрагмента текста: 1. Она обожгла палец тостером. 2. Она надела на палец кольцо с бриллиантом. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 19 + } + }, + "predict": { + "1": 0.0600765161216259, + "2": 0.939754843711853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина сунула палец под холодную воду.", + "choice1": "Она надела на палец кольцо с бриллиантом.", + "choice2": "Она обожгла палец тостером." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 19 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина сунула палец под холодную воду.\" и два фрагмента текста: 1. Она надела на палец кольцо с бриллиантом. 2. Она обожгла палец тостером. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 20 + } + }, + "predict": { + "1": 0.9395214915275574, + "2": 0.06006160005927086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ученица ошиблась в слове.", + "choice1": "Учитель поправил её.", + "choice2": "Учитель прогнал её." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 20 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Ученица ошиблась в слове.\" и два текста: 1. Учитель поправил её. 2. Учитель прогнал её. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 20 + } + }, + "predict": { + "1": 0.009704215452075005, + "2": 0.9898568391799927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ученица ошиблась в слове.", + "choice1": "Учитель прогнал её.", + "choice2": "Учитель поправил её." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 20 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Ученица ошиблась в слове.\" и два текста: 1. Учитель прогнал её. 2. Учитель поправил её. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 21 + } + }, + "predict": { + "1": 0.03307270258665085, + "2": 0.9665260314941406 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ко мне вернулось самообладание после внезапного порыва гнева.", + "choice1": "Моё сердце забилось сильнее.", + "choice2": "Я сделал глубокий вдох." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 21 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Ко мне вернулось самообладание после внезапного порыва гнева.\" и два текста: 1. Моё сердце забилось сильнее. 2. Я сделал глубокий вдох. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 21 + } + }, + "predict": { + "1": 0.8804746866226196, + "2": 0.1191592887043953 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ко мне вернулось самообладание после внезапного порыва гнева.", + "choice1": "Я сделал глубокий вдох.", + "choice2": "Моё сердце забилось сильнее." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 21 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Ко мне вернулось самообладание после внезапного порыва гнева.\" и два текста: 1. Я сделал глубокий вдох. 2. Моё сердце забилось сильнее. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 22 + } + }, + "predict": { + "1": 0.22268180549144745, + "2": 0.7772358655929565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я сунул руки под струю воды из крана.", + "choice1": "Мыло смылось с моих рук.", + "choice2": "Вода полилась мне на лицо." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 22 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я сунул руки под струю воды из крана.\" и два возможных продолжения текста: 1. Мыло смылось с моих рук. 2. Вода полилась мне на лицо. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 22 + } + }, + "predict": { + "1": 0.10667886584997177, + "2": 0.8932111859321594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я сунул руки под струю воды из крана.", + "choice1": "Вода полилась мне на лицо.", + "choice2": "Мыло смылось с моих рук." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 22 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я сунул руки под струю воды из крана.\" и два возможных продолжения текста: 1. Вода полилась мне на лицо. 2. Мыло смылось с моих рук. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 23 + } + }, + "predict": { + "1": 0.939853847026825, + "2": 0.06008284166455269 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина одет в свой лучший костюм.", + "choice1": "У него запланирована встреча с важным клиентом.", + "choice2": "Его жена купила ему новый галстук." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 23 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мужчина одет в свой лучший костюм.\" и два возможных продолжения текста: 1. У него запланирована встреча с важным клиентом. 2. Его жена купила ему новый галстук. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 23 + } + }, + "predict": { + "1": 0.033082470297813416, + "2": 0.9668115377426147 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина одет в свой лучший костюм.", + "choice1": "Его жена купила ему новый галстук.", + "choice2": "У него запланирована встреча с важным клиентом." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 23 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мужчина одет в свой лучший костюм.\" и два возможных продолжения текста: 1. Его жена купила ему новый галстук. 2. У него запланирована встреча с важным клиентом. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 24 + } + }, + "predict": { + "1": 0.7309134006500244, + "2": 0.26888802647590637 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина признался в своей любви к женщине.", + "choice1": "Женщина отвергла его.", + "choice2": "Женщина позавидовала ему." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 24 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина признался в своей любви к женщине.\" и два фрагмента текста: 1) Женщина отвергла его. 2) Женщина позавидовала ему. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 24 + } + }, + "predict": { + "1": 0.13292686641216278, + "2": 0.8667920231819153 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина признался в своей любви к женщине.", + "choice1": "Женщина позавидовала ему.", + "choice2": "Женщина отвергла его." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 24 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина признался в своей любви к женщине.\" и два фрагмента текста: 1) Женщина позавидовала ему. 2) Женщина отвергла его. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 25 + } + }, + "predict": { + "1": 0.26884299516677856, + "2": 0.730790913105011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У водителя спустило колесо.", + "choice1": "Он шёл на предельной скорости.", + "choice2": "Он наехал на гвоздь." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 25 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"У водителя спустило колесо.\" и два фрагмента текста: 1) Он шёл на предельной скорости. 2) Он наехал на гвоздь. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 25 + } + }, + "predict": { + "1": 0.8668660521507263, + "2": 0.1329382210969925 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У водителя спустило колесо.", + "choice1": "Он наехал на гвоздь.", + "choice2": "Он шёл на предельной скорости." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 25 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"У водителя спустило колесо.\" и два фрагмента текста: 1) Он наехал на гвоздь. 2) Он шёл на предельной скорости. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 26 + } + }, + "predict": { + "1": 0.5619887709617615, + "2": 0.4376772940158844 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне не было видно экрана.", + "choice1": "Позади меня слишком громко шептались.", + "choice2": "Передо мной сидел высокий человек." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 26 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мне не было видно экрана.\" и два текста продолжения: 1) Позади меня слишком громко шептались. 2) Передо мной сидел высокий человек. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 26 + } + }, + "predict": { + "1": 0.06751947849988937, + "2": 0.9320775866508484 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне не было видно экрана.", + "choice1": "Передо мной сидел высокий человек.", + "choice2": "Позади меня слишком громко шептались." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 26 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мне не было видно экрана.\" и два текста продолжения: 1) Передо мной сидел высокий человек. 2) Позади меня слишком громко шептались. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 27 + } + }, + "predict": { + "1": 0.05329496040940285, + "2": 0.9446757435798645 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Водитель включил фары автомобиля.", + "choice1": "Он услышал гром.", + "choice2": "Солнце уже садилось." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 27 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Водитель включил фары автомобиля.\" и два возможных продолжения текста: 1. Он услышал гром. 2. Солнце уже садилось. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 27 + } + }, + "predict": { + "1": 0.7534568905830383, + "2": 0.24461163580417633 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Водитель включил фары автомобиля.", + "choice1": "Солнце уже садилось.", + "choice2": "Он услышал гром." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 27 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Водитель включил фары автомобиля.\" и два возможных продолжения текста: 1. Солнце уже садилось. 2. Он услышал гром. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 28 + } + }, + "predict": { + "1": 0.2688675820827484, + "2": 0.730857789516449 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девочка отказывалась есть овощи.", + "choice1": "Её отец сказал ей выпить молока.", + "choice2": "Её отец оставил её без сладкого." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 28 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Девочка отказывалась есть овощи.\" и два текста продолжения: 1) Её отец сказал ей выпить молока. 2) Её отец оставил её без сладкого. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 28 + } + }, + "predict": { + "1": 0.37743380665779114, + "2": 0.6222831010818481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девочка отказывалась есть овощи.", + "choice1": "Её отец оставил её без сладкого.", + "choice2": "Её отец сказал ей выпить молока." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 28 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Девочка отказывалась есть овощи.\" и два текста продолжения: 1) Её отец оставил её без сладкого. 2) Её отец сказал ей выпить молока. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 29 + } + }, + "predict": { + "1": 0.07584245502948761, + "2": 0.9239502549171448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина прикрыла рот рукой.", + "choice1": "Она выдохнула.", + "choice2": "Она чихнула." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 29 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина прикрыла рот рукой.\" и два фрагмента текста: 1. Она выдохнула. 2. Она чихнула. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 29 + } + }, + "predict": { + "1": 0.20177002251148224, + "2": 0.7980159521102905 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина прикрыла рот рукой.", + "choice1": "Она чихнула.", + "choice2": "Она выдохнула." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 29 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина прикрыла рот рукой.\" и два фрагмента текста: 1. Она чихнула. 2. Она выдохнула. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 30 + } + }, + "predict": { + "1": 0.007570106536149979, + "2": 0.9914883375167847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Секретарь попросил абонента оставаться на линии.", + "choice1": "Телефон абонента выключился.", + "choice2": "Абонент терпеливо ждал." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 30 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Секретарь попросил абонента оставаться на линии.\" и два возможных продолжения текста: 1. Телефон абонента выключился. 2. Абонент терпеливо ждал. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 30 + } + }, + "predict": { + "1": 0.9955453872680664, + "2": 0.004068566486239433 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Секретарь попросил абонента оставаться на линии.", + "choice1": "Абонент терпеливо ждал.", + "choice2": "Телефон абонента выключился." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 30 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Секретарь попросил абонента оставаться на линии.\" и два возможных продолжения текста: 1. Абонент терпеливо ждал. 2. Телефон абонента выключился. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 31 + } + }, + "predict": { + "1": 0.02594032697379589, + "2": 0.9734035730361938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина ходила с костылями.", + "choice1": "Она побрила ноги.", + "choice2": "Она сломала ногу." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 31 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Женщина ходила с костылями.\" и два текста: 1. Она побрила ноги. 2. Она сломала ногу. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 31 + } + }, + "predict": { + "1": 0.9622977375984192, + "2": 0.037312332540750504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина ходила с костылями.", + "choice1": "Она сломала ногу.", + "choice2": "Она побрила ноги." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 31 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Женщина ходила с костылями.\" и два текста: 1. Она сломала ногу. 2. Она побрила ноги. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 32 + } + }, + "predict": { + "1": 0.6513052582740784, + "2": 0.34861859679222107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я кашлянул.", + "choice1": "Я надышался дыма.", + "choice2": "Я понизил голос." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 32 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я кашлянул.\" и два возможных продолжения текста: 1. Я надышался дыма. 2. Я понизил голос. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 32 + } + }, + "predict": { + "1": 0.26891234517097473, + "2": 0.7309795022010803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я кашлянул.", + "choice1": "Я понизил голос.", + "choice2": "Я надышался дыма." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 32 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я кашлянул.\" и два возможных продолжения текста: 1. Я понизил голос. 2. Я надышался дыма. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 33 + } + }, + "predict": { + "1": 0.22262679040431976, + "2": 0.777043879032135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Часы пробили.", + "choice1": "Это было в начале часа.", + "choice2": "Час, казалось, тянулся бесконечно." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 33 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Часы пробили.\" и два фрагмента текста: 1) Это было в начале часа. 2) Час, казалось, тянулся бесконечно. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 33 + } + }, + "predict": { + "1": 0.5620626211166382, + "2": 0.43773484230041504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Часы пробили.", + "choice1": "Час, казалось, тянулся бесконечно.", + "choice2": "Это было в начале часа." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 33 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Часы пробили.\" и два фрагмента текста: 1) Час, казалось, тянулся бесконечно. 2) Это было в начале часа. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 34 + } + }, + "predict": { + "1": 0.9923040270805359, + "2": 0.007576334290206432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Шеф-повар ударил яйцом по краю чаши.", + "choice1": "Яйцо треснуло.", + "choice2": "Яйцо протухло." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 34 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Шеф-повар ударил яйцом по краю чаши.\" и два фрагмента текста: 1. Яйцо треснуло. 2. Яйцо протухло. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 34 + } + }, + "predict": { + "1": 0.04741823300719261, + "2": 0.9524206519126892 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Шеф-повар ударил яйцом по краю чаши.", + "choice1": "Яйцо протухло.", + "choice2": "Яйцо треснуло." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 34 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Шеф-повар ударил яйцом по краю чаши.\" и два фрагмента текста: 1. Яйцо протухло. 2. Яйцо треснуло. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 35 + } + }, + "predict": { + "1": 0.053390927612781525, + "2": 0.9463768005371094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Полиция обыскала машину нарушителя.", + "choice1": "Они пытались добиться от него признания.", + "choice2": "Они искали запрещённые препараты." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 35 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Полиция обыскала машину нарушителя.\" и два текста продолжения: 1) Они пытались добиться от него признания. 2) Они искали запрещённые препараты. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 35 + } + }, + "predict": { + "1": 0.880596935749054, + "2": 0.11917583644390106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Полиция обыскала машину нарушителя.", + "choice1": "Они искали запрещённые препараты.", + "choice2": "Они пытались добиться от него признания." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 35 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Полиция обыскала машину нарушителя.\" и два текста продолжения: 1) Они искали запрещённые препараты. 2) Они пытались добиться от него признания. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 36 + } + }, + "predict": { + "1": 0.16409704089164734, + "2": 0.833353579044342 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара путешествовала на юг на зиму.", + "choice1": "Они были на пенсии.", + "choice2": "Они были в разводе." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 36 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Пара путешествовала на юг на зиму.\" и два возможных продолжения текста: 1. Они были на пенсии. 2. Они были в разводе. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 36 + } + }, + "predict": { + "1": 0.2932797968387604, + "2": 0.70354163646698 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара путешествовала на юг на зиму.", + "choice1": "Они были в разводе.", + "choice2": "Они были на пенсии." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 36 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Пара путешествовала на юг на зиму.\" и два возможных продолжения текста: 1. Они были в разводе. 2. Они были на пенсии. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 37 + } + }, + "predict": { + "1": 0.07584520429372787, + "2": 0.9239837527275085 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина чувствовал себя обязанным присутствовать на мероприятии.", + "choice1": "Друг предлагал ему пойти, но он отклонил предложение.", + "choice2": "Он обещал своему другу, что пойдёт." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 37 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина чувствовал себя обязанным присутствовать на мероприятии.\" и два фрагмента текста: 1. Друг предлагал ему пойти, но он отклонил предложение. 2. Он обещал своему другу, что пойдёт. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 37 + } + }, + "predict": { + "1": 0.994675874710083, + "2": 0.005219580139964819 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина чувствовал себя обязанным присутствовать на мероприятии.", + "choice1": "Он обещал своему другу, что пойдёт.", + "choice2": "Друг предлагал ему пойти, но он отклонил предложение." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 37 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина чувствовал себя обязанным присутствовать на мероприятии.\" и два фрагмента текста: 1. Он обещал своему другу, что пойдёт. 2. Друг предлагал ему пойти, но он отклонил предложение. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 38 + } + }, + "predict": { + "1": 0.16443391144275665, + "2": 0.8350643515586853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Невеста сильно нервничала перед свадьбой.", + "choice1": "Гости принесли на свадьбу подарки.", + "choice2": "Она отменила свадьбу." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 38 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Невеста сильно нервничала перед свадьбой.\" и два текста: 1. Гости принесли на свадьбу подарки. 2. Она отменила свадьбу. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 38 + } + }, + "predict": { + "1": 0.46857619285583496, + "2": 0.5309664011001587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Невеста сильно нервничала перед свадьбой.", + "choice1": "Она отменила свадьбу.", + "choice2": "Гости принесли на свадьбу подарки." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 38 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Невеста сильно нервничала перед свадьбой.\" и два текста: 1. Она отменила свадьбу. 2. Гости принесли на свадьбу подарки. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 39 + } + }, + "predict": { + "1": 0.9875013828277588, + "2": 0.012430808506906033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина старел.", + "choice1": "Его волосы поседели.", + "choice2": "Он продал свои пожитки." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 39 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мужчина старел.\" и два возможных продолжения текста: 1. Его волосы поседели. 2. Он продал свои пожитки. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 39 + } + }, + "predict": { + "1": 0.022974109277129173, + "2": 0.9768839478492737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина старел.", + "choice1": "Он продал свои пожитки.", + "choice2": "Его волосы поседели." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 39 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мужчина старел.\" и два возможных продолжения текста: 1. Он продал свои пожитки. 2. Его волосы поседели. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 40 + } + }, + "predict": { + "1": 0.9768710732460022, + "2": 0.022973807528614998 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Друзья решили разделить гамбургер.", + "choice1": "Они разрезали котлету пополам.", + "choice2": "Они заказали картошку фри с гамбургером." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 40 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Друзья решили разделить гамбургер.\" и два фрагмента текста: 1) Они разрезали котлету пополам. 2) Они заказали картошку фри с гамбургером. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 40 + } + }, + "predict": { + "1": 0.18237468600273132, + "2": 0.8173466324806213 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Друзья решили разделить гамбургер.", + "choice1": "Они заказали картошку фри с гамбургером.", + "choice2": "Они разрезали котлету пополам." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 40 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Друзья решили разделить гамбургер.\" и два фрагмента текста: 1) Они заказали картошку фри с гамбургером. 2) Они разрезали котлету пополам. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 41 + } + }, + "predict": { + "1": 0.9396960139274597, + "2": 0.060072753578424454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я открутил крышку с бутылки газировки.", + "choice1": "Газировка зашипела.", + "choice2": "Газировка протекла." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 41 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я открутил крышку с бутылки газировки.\" и два текста продолжения: 1) Газировка зашипела. 2) Газировка протекла. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 41 + } + }, + "predict": { + "1": 0.053377896547317505, + "2": 0.94614577293396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я открутил крышку с бутылки газировки.", + "choice1": "Газировка протекла.", + "choice2": "Газировка зашипела." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 41 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я открутил крышку с бутылки газировки.\" и два текста продолжения: 1) Газировка протекла. 2) Газировка зашипела. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 42 + } + }, + "predict": { + "1": 0.622186541557312, + "2": 0.37737521529197693 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара студентов вызвали особое внимание учителя.", + "choice1": "Студенты получили отличные оценки.", + "choice2": "Их ответы на задания были идентичны." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 42 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Пара студентов вызвали особое внимание учителя.\" и два текста: 1. Студенты получили отличные оценки. 2. Их ответы на задания были идентичны. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 42 + } + }, + "predict": { + "1": 0.0758141279220581, + "2": 0.92360520362854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара студентов вызвали особое внимание учителя.", + "choice1": "Их ответы на задания были идентичны.", + "choice2": "Студенты получили отличные оценки." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 42 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Пара студентов вызвали особое внимание учителя.\" и два текста: 1. Их ответы на задания были идентичны. 2. Студенты получили отличные оценки. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 43 + } + }, + "predict": { + "1": 0.025913318619132042, + "2": 0.9723901152610779 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Студент спешил добраться до школы вовремя.", + "choice1": "Он забыл свою домашнюю работу дома.", + "choice2": "Он принёс свой обед в школу." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 43 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Студент спешил добраться до школы вовремя.\" и два возможных продолжения текста: 1. Он забыл свою домашнюю работу дома. 2. Он принёс свой обед в школу. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 43 + } + }, + "predict": { + "1": 0.13281433284282684, + "2": 0.8660582304000854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Студент спешил добраться до школы вовремя.", + "choice1": "Он принёс свой обед в школу.", + "choice2": "Он забыл свою домашнюю работу дома." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 43 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Студент спешил добраться до школы вовремя.\" и два возможных продолжения текста: 1. Он принёс свой обед в школу. 2. Он забыл свою домашнюю работу дома. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 44 + } + }, + "predict": { + "1": 0.033081620931625366, + "2": 0.9667866826057434 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Журналист написал биографию известного гуманиста.", + "choice1": "Журналисту было сложно интервьюировать гуманиста.", + "choice2": "Журналист был заинтригован работами гуманиста." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 44 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Журналист написал биографию известного гуманиста.\" и два возможных продолжения текста: 1. Журналисту было сложно интервьюировать гуманиста. 2. Журналист был заинтригован работами гуманиста. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 44 + } + }, + "predict": { + "1": 0.8669776916503906, + "2": 0.13295534253120422 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Журналист написал биографию известного гуманиста.", + "choice1": "Журналист был заинтригован работами гуманиста.", + "choice2": "Журналисту было сложно интервьюировать гуманиста." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 44 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Журналист написал биографию известного гуманиста.\" и два возможных продолжения текста: 1. Журналист был заинтригован работами гуманиста. 2. Журналисту было сложно интервьюировать гуманиста. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 45 + } + }, + "predict": { + "1": 0.008576375432312489, + "2": 0.9912942051887512 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Человек бросил вызов власти церкви.", + "choice1": "Он пожертвовал деньги на церковь.", + "choice2": "Он был отлучен от церкви." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 45 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Человек бросил вызов власти церкви.\" и два фрагмента текста: 1. Он пожертвовал деньги на церковь. 2. Он был отлучен от церкви. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 45 + } + }, + "predict": { + "1": 0.9888717532157898, + "2": 0.01098537351936102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Человек бросил вызов власти церкви.", + "choice1": "Он был отлучен от церкви.", + "choice2": "Он пожертвовал деньги на церковь." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 45 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Человек бросил вызов власти церкви.\" и два фрагмента текста: 1. Он был отлучен от церкви. 2. Он пожертвовал деньги на церковь. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 46 + } + }, + "predict": { + "1": 0.6788756847381592, + "2": 0.320678174495697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Волосы женщины то и дело падали ей на лицо.", + "choice1": "Она заколола волосы на затылке с помощью клипсы.", + "choice2": "Она намылила волосы шампунем." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 46 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Волосы женщины то и дело падали ей на лицо.\" и два текста: 1. Она заколола волосы на затылке с помощью клипсы. 2. Она намылила волосы шампунем. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 46 + } + }, + "predict": { + "1": 0.2449359893798828, + "2": 0.7544559836387634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Волосы женщины то и дело падали ей на лицо.", + "choice1": "Она намылила волосы шампунем.", + "choice2": "Она заколола волосы на затылке с помощью клипсы." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 46 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Волосы женщины то и дело падали ей на лицо.\" и два текста: 1. Она намылила волосы шампунем. 2. Она заколола волосы на затылке с помощью клипсы. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 47 + } + }, + "predict": { + "1": 0.20174196362495422, + "2": 0.7979049682617188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Кольцо невозможно было снять с пальца.", + "choice1": "Мой палец распух.", + "choice2": "Мой ноготь сломался." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 47 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Кольцо невозможно было снять с пальца.\" и два фрагмента текста: 1) Мой палец распух. 2) Мой ноготь сломался. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 47 + } + }, + "predict": { + "1": 0.20171184837818146, + "2": 0.7977858185768127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Кольцо невозможно было снять с пальца.", + "choice1": "Мой ноготь сломался.", + "choice2": "Мой палец распух." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 47 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Кольцо невозможно было снять с пальца.\" и два фрагмента текста: 1) Мой ноготь сломался. 2) Мой палец распух. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 48 + } + }, + "predict": { + "1": 0.2017911970615387, + "2": 0.7980996966362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я потянул резинку.", + "choice1": "Она пролетела через всю комнату.", + "choice2": "Она натянулась." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 48 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я потянул резинку.\" и два возможных продолжения текста: 1. Она пролетела через всю комнату. 2. Она натянулась. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 48 + } + }, + "predict": { + "1": 0.8354378342628479, + "2": 0.1645074486732483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я потянул резинку.", + "choice1": "Она натянулась.", + "choice2": "Она пролетела через всю комнату." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 48 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я потянул резинку.\" и два возможных продолжения текста: 1. Она натянулась. 2. Она пролетела через всю комнату. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 49 + } + }, + "predict": { + "1": 0.9323128461837769, + "2": 0.06753651797771454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я вдавил свою руку во влажный цемент.", + "choice1": "Отпечатки моих рук застыли на поверхности цемента.", + "choice2": "В цементе появились трещины." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 49 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я вдавил свою руку во влажный цемент.\" и два фрагмента текста: 1) Отпечатки моих рук застыли на поверхности цемента. 2) В цементе появились трещины. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 49 + } + }, + "predict": { + "1": 0.06006331369280815, + "2": 0.9395483732223511 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я вдавил свою руку во влажный цемент.", + "choice1": "В цементе появились трещины.", + "choice2": "Отпечатки моих рук застыли на поверхности цемента." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 49 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я вдавил свою руку во влажный цемент.\" и два фрагмента текста: 1) В цементе появились трещины. 2) Отпечатки моих рук застыли на поверхности цемента. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 50 + } + }, + "predict": { + "1": 0.01406152080744505, + "2": 0.9857887625694275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мою кожу покрыла сыпь.", + "choice1": "Я наткнулась на ядовитый плющ у себя во дворе.", + "choice2": "Я уничтожила ядовитый плющ у себя во дворе." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 50 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мою кожу покрыла сыпь.\" и два текста продолжения: 1) Я наткнулась на ядовитый плющ у себя во дворе. 2) Я уничтожила ядовитый плющ у себя во дворе. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 50 + } + }, + "predict": { + "1": 0.0758395791053772, + "2": 0.9239152073860168 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мою кожу покрыла сыпь.", + "choice1": "Я уничтожила ядовитый плющ у себя во дворе.", + "choice2": "Я наткнулась на ядовитый плющ у себя во дворе." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 50 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мою кожу покрыла сыпь.\" и два текста продолжения: 1) Я уничтожила ядовитый плющ у себя во дворе. 2) Я наткнулась на ядовитый плющ у себя во дворе. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 51 + } + }, + "predict": { + "1": 0.017980746924877167, + "2": 0.9817155003547668 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Моя подписка на журнал истекла.", + "choice1": "Я отказался от нового выпуска.", + "choice2": "Я перестал получать новые выпуски." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 51 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Моя подписка на журнал истекла.\" и два текста продолжения: 1) Я отказался от нового выпуска. 2) Я перестал получать новые выпуски. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 51 + } + }, + "predict": { + "1": 0.9946130514144897, + "2": 0.005219249986112118 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Моя подписка на журнал истекла.", + "choice1": "Я перестал получать новые выпуски.", + "choice2": "Я отказался от нового выпуска." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 51 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Моя подписка на журнал истекла.\" и два текста продолжения: 1) Я перестал получать новые выпуски. 2) Я отказался от нового выпуска. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 52 + } + }, + "predict": { + "1": 0.020315848290920258, + "2": 0.9788724780082703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Детектив обнаружил неувязку в деле.", + "choice1": "Он окончательно сформулировал свою версию.", + "choice2": "Она разрушила его версию." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 52 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Детектив обнаружил неувязку в деле.\" и два возможных продолжения текста: 1. Он окончательно сформулировал свою версию. 2. Она разрушила его версию. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 52 + } + }, + "predict": { + "1": 0.7977932691574097, + "2": 0.20171372592449188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Детектив обнаружил неувязку в деле.", + "choice1": "Она разрушила его версию.", + "choice2": "Он окончательно сформулировал свою версию." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 52 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Детектив обнаружил неувязку в деле.\" и два возможных продолжения текста: 1. Она разрушила его версию. 2. Он окончательно сформулировал свою версию. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 53 + } + }, + "predict": { + "1": 0.04740720987319946, + "2": 0.9521992802619934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мальчик закатил истерику.", + "choice1": "Брат забрал его игрушки.", + "choice2": "Он поделился своими игрушками с братом." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 53 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мальчик закатил истерику.\" и два возможных продолжения текста: 1. Брат забрал его игрушки. 2. Он поделился своими игрушками с братом. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 53 + } + }, + "predict": { + "1": 0.014054904691874981, + "2": 0.9853249192237854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мальчик закатил истерику.", + "choice1": "Он поделился своими игрушками с братом.", + "choice2": "Брат забрал его игрушки." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 53 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мальчик закатил истерику.\" и два возможных продолжения текста: 1. Он поделился своими игрушками с братом. 2. Брат забрал его игрушки. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 54 + } + }, + "predict": { + "1": 0.9974520802497864, + "2": 0.0024724367540329695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ребенок научился читать.", + "choice1": "Он начал посещать школу.", + "choice2": "Он пропускал занятия в школе." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 54 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Ребенок научился читать.\" и два фрагмента текста: 1. Он начал посещать школу. 2. Он пропускал занятия в школе. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 54 + } + }, + "predict": { + "1": 0.0474165678024292, + "2": 0.952387273311615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ребенок научился читать.", + "choice1": "Он пропускал занятия в школе.", + "choice2": "Он начал посещать школу." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 54 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Ребенок научился читать.\" и два фрагмента текста: 1. Он пропускал занятия в школе. 2. Он начал посещать школу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 55 + } + }, + "predict": { + "1": 0.4376439154148102, + "2": 0.561945915222168 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мальчик не стал ужинать.", + "choice1": "Его мать приготовила его любимое блюдо.", + "choice2": "Он наелся в обед." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 55 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Мальчик не стал ужинать.\" и два текста: 1. Его мать приготовила его любимое блюдо. 2. Он наелся в обед. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 55 + } + }, + "predict": { + "1": 0.7055559754371643, + "2": 0.2941194772720337 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мальчик не стал ужинать.", + "choice1": "Он наелся в обед.", + "choice2": "Его мать приготовила его любимое блюдо." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 55 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Мальчик не стал ужинать.\" и два текста: 1. Он наелся в обед. 2. Его мать приготовила его любимое блюдо. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 56 + } + }, + "predict": { + "1": 0.962612509727478, + "2": 0.037324536591768265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина расточала комплименты подруге.", + "choice1": "Она хотела попросить подругу об одолжении.", + "choice2": "Её раздражало нытьё подруги." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 56 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Женщина расточала комплименты подруге.\" и два возможных продолжения текста: 1. Она хотела попросить подругу об одолжении. 2. Её раздражало нытьё подруги. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 56 + } + }, + "predict": { + "1": 0.4687444865703583, + "2": 0.5311570763587952 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина расточала комплименты подруге.", + "choice1": "Её раздражало нытьё подруги.", + "choice2": "Она хотела попросить подругу об одолжении." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 56 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Женщина расточала комплименты подруге.\" и два возможных продолжения текста: 1. Её раздражало нытьё подруги. 2. Она хотела попросить подругу об одолжении. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 57 + } + }, + "predict": { + "1": 0.8930337429046631, + "2": 0.10665767639875412 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Из моего кармана пропал ключ.", + "choice1": "В кармане была дыра.", + "choice2": "Брюки были новые." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 57 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Из моего кармана пропал ключ.\" и два фрагмента текста: 1) В кармане была дыра. 2) Брюки были новые. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 57 + } + }, + "predict": { + "1": 0.025946715846657753, + "2": 0.9736433029174805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Из моего кармана пропал ключ.", + "choice1": "Брюки были новые.", + "choice2": "В кармане была дыра." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 57 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Из моего кармана пропал ключ.\" и два фрагмента текста: 1) Брюки были новые. 2) В кармане была дыра. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 58 + } + }, + "predict": { + "1": 0.4998096823692322, + "2": 0.4998096823692322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина потерял сознание.", + "choice1": "Он решил подремать.", + "choice2": "Он бежал марафон." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 58 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мужчина потерял сознание.\" и два текста продолжения: 1) Он решил подремать. 2) Он бежал марафон. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 58 + } + }, + "predict": { + "1": 0.20176859200000763, + "2": 0.7980102300643921 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина потерял сознание.", + "choice1": "Он бежал марафон.", + "choice2": "Он решил подремать." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 58 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мужчина потерял сознание.\" и два текста продолжения: 1) Он бежал марафон. 2) Он решил подремать. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 59 + } + }, + "predict": { + "1": 0.9837390184402466, + "2": 0.014032282866537571 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Человек проиграл в конкурсе.", + "choice1": "Конкурс был подстроен.", + "choice2": "Он запугивал других конкурсантов." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 59 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Человек проиграл в конкурсе.\" и два возможных продолжения текста: 1. Конкурс был подстроен. 2. Он запугивал других конкурсантов. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 59 + } + }, + "predict": { + "1": 0.015881668776273727, + "2": 0.9825640320777893 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Человек проиграл в конкурсе.", + "choice1": "Он запугивал других конкурсантов.", + "choice2": "Конкурс был подстроен." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 59 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Человек проиграл в конкурсе.\" и два возможных продолжения текста: 1. Он запугивал других конкурсантов. 2. Конкурс был подстроен. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 60 + } + }, + "predict": { + "1": 0.3485543429851532, + "2": 0.6511852145195007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мать вызвала скорую помощь.", + "choice1": "Её сын потерял кошку.", + "choice2": "Её сын выпал из кровати." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 60 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мать вызвала скорую помощь.\" и два фрагмента текста: 1. Её сын потерял кошку. 2. Её сын выпал из кровати. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 60 + } + }, + "predict": { + "1": 0.993990421295166, + "2": 0.005910482723265886 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мать вызвала скорую помощь.", + "choice1": "Её сын выпал из кровати.", + "choice2": "Её сын потерял кошку." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 60 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мать вызвала скорую помощь.\" и два фрагмента текста: 1. Её сын выпал из кровати. 2. Её сын потерял кошку. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 61 + } + }, + "predict": { + "1": 0.7979174852371216, + "2": 0.2017451375722885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Водитель ударил по тормозам.", + "choice1": "На дороге появился олень.", + "choice2": "Радио в машине отключилось." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 61 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Водитель ударил по тормозам.\" и два текста: 1. На дороге появился олень. 2. Радио в машине отключилось. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 61 + } + }, + "predict": { + "1": 0.4376380741596222, + "2": 0.5619384050369263 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Водитель ударил по тормозам.", + "choice1": "Радио в машине отключилось.", + "choice2": "На дороге появился олень." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 61 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Водитель ударил по тормозам.\" и два текста: 1. Радио в машине отключилось. 2. На дороге появился олень. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 62 + } + }, + "predict": { + "1": 0.9626216888427734, + "2": 0.03732489421963692 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Замок открылся.", + "choice1": "Я повернул ключ в замке.", + "choice2": "Я сделал дубликат ключа." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 62 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Замок открылся.\" и два возможных продолжения текста: 1. Я повернул ключ в замке. 2. Я сделал дубликат ключа. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 62 + } + }, + "predict": { + "1": 0.029307160526514053, + "2": 0.9705199003219604 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Замок открылся.", + "choice1": "Я сделал дубликат ключа.", + "choice2": "Я повернул ключ в замке." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 62 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Замок открылся.\" и два возможных продолжения текста: 1. Я сделал дубликат ключа. 2. Я повернул ключ в замке. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 63 + } + }, + "predict": { + "1": 0.9577421545982361, + "2": 0.04208025336265564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я надел резиновые перчатки.", + "choice1": "Я собрался помыть руки.", + "choice2": "Я собрался убраться в ванной." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 63 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я надел резиновые перчатки.\" и два фрагмента текста: 1) Я собрался помыть руки. 2) Я собрался убраться в ванной. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 63 + } + }, + "predict": { + "1": 0.2941422164440155, + "2": 0.7056105136871338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я надел резиновые перчатки.", + "choice1": "Я собрался убраться в ванной.", + "choice2": "Я собрался помыть руки." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 63 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я надел резиновые перчатки.\" и два фрагмента текста: 1) Я собрался убраться в ванной. 2) Я собрался помыть руки. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 64 + } + }, + "predict": { + "1": 0.939706027507782, + "2": 0.06007339432835579 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Эти виды животных оказались под угрозой исчезновения.", + "choice1": "Их среда обитания была разрушена.", + "choice2": "Угрожавшие им хищники вымерли." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 64 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Эти виды животных оказались под угрозой исчезновения.\" и два текста продолжения: 1) Их среда обитания была разрушена. 2) Угрожавшие им хищники вымерли. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 64 + } + }, + "predict": { + "1": 0.022970249876379967, + "2": 0.9767197966575623 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Эти виды животных оказались под угрозой исчезновения.", + "choice1": "Угрожавшие им хищники вымерли.", + "choice2": "Их среда обитания была разрушена." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 64 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Эти виды животных оказались под угрозой исчезновения.\" и два текста продолжения: 1) Угрожавшие им хищники вымерли. 2) Их среда обитания была разрушена. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 65 + } + }, + "predict": { + "1": 0.9939384460449219, + "2": 0.005215710494667292 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина заметил, что женщина выглядит по-другому.", + "choice1": "Женщина изменила стрижку.", + "choice2": "Женщина надела браслет." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 65 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина заметил, что женщина выглядит по-другому.\" и два возможных продолжения текста: 1. Женщина изменила стрижку. 2. Женщина надела браслет. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 65 + } + }, + "predict": { + "1": 0.01793748140335083, + "2": 0.9793532490730286 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина заметил, что женщина выглядит по-другому.", + "choice1": "Женщина надела браслет.", + "choice2": "Женщина изменила стрижку." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 65 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Мужчина заметил, что женщина выглядит по-другому.\" и два возможных продолжения текста: 1. Женщина надела браслет. 2. Женщина изменила стрижку. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 66 + } + }, + "predict": { + "1": 0.8518342971801758, + "2": 0.14802660048007965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Студентка забыла сделать домашку.", + "choice1": "Она придумала, как оправдаться перед учителем.", + "choice2": "Учитель перевёл её в следующий класс." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 66 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Студентка забыла сделать домашку.\" и два фрагмента текста: 1. Она придумала, как оправдаться перед учителем. 2. Учитель перевёл её в следующий класс. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 66 + } + }, + "predict": { + "1": 0.015903782099485397, + "2": 0.9839321374893188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Студентка забыла сделать домашку.", + "choice1": "Учитель перевёл её в следующий класс.", + "choice2": "Она придумала, как оправдаться перед учителем." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 66 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Студентка забыла сделать домашку.\" и два фрагмента текста: 1. Учитель перевёл её в следующий класс. 2. Она придумала, как оправдаться перед учителем. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 67 + } + }, + "predict": { + "1": 0.2448575496673584, + "2": 0.754214346408844 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Собака залаяла.", + "choice1": "Кот развалился на диване.", + "choice2": "Раздался стук в дверь." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 67 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Собака залаяла.\" и два фрагмента текста: 1. Кот развалился на диване. 2. Раздался стук в дверь. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 67 + } + }, + "predict": { + "1": 0.7768352627754211, + "2": 0.22256703674793243 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Собака залаяла.", + "choice1": "Раздался стук в дверь.", + "choice2": "Кот развалился на диване." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 67 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Собака залаяла.\" и два фрагмента текста: 1. Раздался стук в дверь. 2. Кот развалился на диване. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 68 + } + }, + "predict": { + "1": 0.9576669335365295, + "2": 0.042076949030160904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Были объявлены планы заменить местный парк торговым центром.", + "choice1": "Экологи начали сбор подписей под петицией.", + "choice2": "Экологи выпустили документальный фильм." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 68 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Были объявлены планы заменить местный парк торговым центром.\" и два текста: 1. Экологи начали сбор подписей под петицией. 2. Экологи выпустили документальный фильм. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 68 + } + }, + "predict": { + "1": 0.06007031723856926, + "2": 0.9396579265594482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Были объявлены планы заменить местный парк торговым центром.", + "choice1": "Экологи выпустили документальный фильм.", + "choice2": "Экологи начали сбор подписей под петицией." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 68 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Были объявлены планы заменить местный парк торговым центром.\" и два текста: 1. Экологи выпустили документальный фильм. 2. Экологи начали сбор подписей под петицией. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 69 + } + }, + "predict": { + "1": 0.9953438639640808, + "2": 0.004609357099980116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Супруги были рады видеть друг друга.", + "choice1": "Они поцеловались.", + "choice2": "Они отдохнули." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 69 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Супруги были рады видеть друг друга.\" и два возможных продолжения текста: 1. Они поцеловались. 2. Они отдохнули. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 69 + } + }, + "predict": { + "1": 0.0330832377076149, + "2": 0.9668339490890503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Супруги были рады видеть друг друга.", + "choice1": "Они отдохнули.", + "choice2": "Они поцеловались." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 69 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Супруги были рады видеть друг друга.\" и два возможных продолжения текста: 1. Они отдохнули. 2. Они поцеловались. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 70 + } + }, + "predict": { + "1": 0.09531556069850922, + "2": 0.9043288826942444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина попросила мужчину выйти.", + "choice1": "Он оскорбил её.", + "choice2": "Он поблагодарил её." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 70 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Женщина попросила мужчину выйти.\" и два текста: 1. Он оскорбил её. 2. Он поблагодарил её. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 70 + } + }, + "predict": { + "1": 0.7979230284690857, + "2": 0.20174653828144073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина попросила мужчину выйти.", + "choice1": "Он поблагодарил её.", + "choice2": "Он оскорбил её." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 70 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Женщина попросила мужчину выйти.\" и два текста: 1. Он поблагодарил её. 2. Он оскорбил её. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 71 + } + }, + "predict": { + "1": 0.7309359312057495, + "2": 0.26889631152153015 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ветка дерева упала в реку.", + "choice1": "Ветка поплыла вниз по течению.", + "choice2": "Течение реки стало сильнее." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 71 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Ветка дерева упала в реку.\" и два фрагмента текста: 1) Ветка поплыла вниз по течению. 2) Течение реки стало сильнее. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 71 + } + }, + "predict": { + "1": 0.033078499138355255, + "2": 0.9666954278945923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ветка дерева упала в реку.", + "choice1": "Течение реки стало сильнее.", + "choice2": "Ветка поплыла вниз по течению." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 71 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Ветка дерева упала в реку.\" и два фрагмента текста: 1) Течение реки стало сильнее. 2) Ветка поплыла вниз по течению. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 72 + } + }, + "predict": { + "1": 0.9464302659034729, + "2": 0.05339394509792328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Учитель задал студентам домашнее задание.", + "choice1": "Студенты сдали записи.", + "choice2": "Студенты застонали." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 72 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Учитель задал студентам домашнее задание.\" и два текста продолжения: 1) Студенты сдали записи. 2) Студенты застонали. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 72 + } + }, + "predict": { + "1": 0.00857571791857481, + "2": 0.9912181496620178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Учитель задал студентам домашнее задание.", + "choice1": "Студенты застонали.", + "choice2": "Студенты сдали записи." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 72 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Учитель задал студентам домашнее задание.\" и два текста продолжения: 1) Студенты застонали. 2) Студенты сдали записи. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 73 + } + }, + "predict": { + "1": 0.002471075626090169, + "2": 0.9969030022621155 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лето сменилось осенью.", + "choice1": "Людей эвакуировали из домов.", + "choice2": "Листья упали с деревьев." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 73 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Лето сменилось осенью.\" и два возможных продолжения текста: 1. Людей эвакуировали из домов. 2. Листья упали с деревьев. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 73 + } + }, + "predict": { + "1": 0.9991289973258972, + "2": 0.0003351704217493534 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лето сменилось осенью.", + "choice1": "Листья упали с деревьев.", + "choice2": "Людей эвакуировали из домов." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 73 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Лето сменилось осенью.\" и два возможных продолжения текста: 1. Листья упали с деревьев. 2. Людей эвакуировали из домов. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 74 + } + }, + "predict": { + "1": 0.09533780068159103, + "2": 0.9045398831367493 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Политик был признан виновным в мошенничестве.", + "choice1": "Он начал кампанию за переизбрание.", + "choice2": "Он был отстранён от должности." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 74 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Политик был признан виновным в мошенничестве.\" и два фрагмента текста: 1. Он начал кампанию за переизбрание. 2. Он был отстранён от должности. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 74 + } + }, + "predict": { + "1": 0.9706060290336609, + "2": 0.02930976264178753 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Политик был признан виновным в мошенничестве.", + "choice1": "Он был отстранён от должности.", + "choice2": "Он начал кампанию за переизбрание." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 74 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Политик был признан виновным в мошенничестве.\" и два фрагмента текста: 1. Он был отстранён от должности. 2. Он начал кампанию за переизбрание. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 75 + } + }, + "predict": { + "1": 0.22251830995082855, + "2": 0.776665210723877 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я потянул за собой повозку.", + "choice1": "Объекты в повозке упали.", + "choice2": "Колеса повозки повернулись вперёд." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 75 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Я потянул за собой повозку.\" и два текста: 1. Объекты в повозке упали. 2. Колеса повозки повернулись вперёд. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 75 + } + }, + "predict": { + "1": 0.835127055644989, + "2": 0.16444624960422516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я потянул за собой повозку.", + "choice1": "Колеса повозки повернулись вперёд.", + "choice2": "Объекты в повозке упали." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 75 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Я потянул за собой повозку.\" и два текста: 1. Колеса повозки повернулись вперёд. 2. Объекты в повозке упали. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 76 + } + }, + "predict": { + "1": 0.004609143361449242, + "2": 0.9952977299690247 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лоббист уговорил законодателей поддержать законопроект.", + "choice1": "Президент наложил вето на законопроект.", + "choice2": "Парламент принял законопроект." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 76 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Лоббист уговорил законодателей поддержать законопроект.\" и два возможных продолжения текста: 1. Президент наложил вето на законопроект. 2. Парламент принял законопроект. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 76 + } + }, + "predict": { + "1": 0.9858757853507996, + "2": 0.014062762260437012 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лоббист уговорил законодателей поддержать законопроект.", + "choice1": "Парламент принял законопроект.", + "choice2": "Президент наложил вето на законопроект." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 76 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Лоббист уговорил законодателей поддержать законопроект.\" и два возможных продолжения текста: 1. Парламент принял законопроект. 2. Президент наложил вето на законопроект. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 77 + } + }, + "predict": { + "1": 0.9794477820396423, + "2": 0.020327789708971977 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В моём шкафу был беспорядок.", + "choice1": "Я разобрал шкаф.", + "choice2": "Я украсил шкаф." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 77 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"В моём шкафу был беспорядок.\" и два фрагмента текста: 1) Я разобрал шкаф. 2) Я украсил шкаф. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 77 + } + }, + "predict": { + "1": 0.2226293534040451, + "2": 0.7770527601242065 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В моём шкафу был беспорядок.", + "choice1": "Я украсил шкаф.", + "choice2": "Я разобрал шкаф." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 77 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"В моём шкафу был беспорядок.\" и два фрагмента текста: 1) Я украсил шкаф. 2) Я разобрал шкаф. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 78 + } + }, + "predict": { + "1": 0.14800581336021423, + "2": 0.8517147302627563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я остался там допоздна.", + "choice1": "У меня были яркие сны в ту ночь.", + "choice2": "Утром я чувствовал себя усталым." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 78 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я остался там допоздна.\" и два текста продолжения: 1) У меня были яркие сны в ту ночь. 2) Утром я чувствовал себя усталым. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 78 + } + }, + "predict": { + "1": 0.40726158022880554, + "2": 0.5925620794296265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я остался там допоздна.", + "choice1": "Утром я чувствовал себя усталым.", + "choice2": "У меня были яркие сны в ту ночь." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 78 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Я остался там допоздна.\" и два текста продолжения: 1) Утром я чувствовал себя усталым. 2) У меня были яркие сны в ту ночь. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 79 + } + }, + "predict": { + "1": 0.9240781664848328, + "2": 0.07585295289754868 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В кармане звенело, когда он шёл.", + "choice1": "Карман был наполнен монетами.", + "choice2": "Он зашил дырку в кармане." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 79 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"В кармане звенело, когда он шёл.\" и два возможных продолжения текста: 1. Карман был наполнен монетами. 2. Он зашил дырку в кармане. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 79 + } + }, + "predict": { + "1": 0.10667414963245392, + "2": 0.8931717276573181 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В кармане звенело, когда он шёл.", + "choice1": "Он зашил дырку в кармане.", + "choice2": "Карман был наполнен монетами." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 79 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"В кармане звенело, когда он шёл.\" и два возможных продолжения текста: 1. Он зашил дырку в кармане. 2. Карман был наполнен монетами. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 80 + } + }, + "predict": { + "1": 0.7979743480682373, + "2": 0.20175951719284058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Все в классе уставились на студента.", + "choice1": "Зазвонил телефон студента.", + "choice2": "Студент делал записи." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 80 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Все в классе уставились на студента.\" и два фрагмента текста: 1) Зазвонил телефон студента. 2) Студент делал записи. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 80 + } + }, + "predict": { + "1": 0.14798308908939362, + "2": 0.8515839576721191 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Все в классе уставились на студента.", + "choice1": "Студент делал записи.", + "choice2": "Зазвонил телефон студента." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 80 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Все в классе уставились на студента.\" и два фрагмента текста: 1) Студент делал записи. 2) Зазвонил телефон студента. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 81 + } + }, + "predict": { + "1": 0.10664909332990646, + "2": 0.892961859703064 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лошадь взбрыкнула.", + "choice1": "Муха укусила лошадь.", + "choice2": "Всадник погладил лошадь." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 81 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Лошадь взбрыкнула.\" и два текста продолжения: 1) Муха укусила лошадь. 2) Всадник погладил лошадь. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 81 + } + }, + "predict": { + "1": 0.6223172545433044, + "2": 0.3774544894695282 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лошадь взбрыкнула.", + "choice1": "Всадник погладил лошадь.", + "choice2": "Муха укусила лошадь." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 81 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Лошадь взбрыкнула.\" и два текста продолжения: 1) Всадник погладил лошадь. 2) Муха укусила лошадь. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 82 + } + }, + "predict": { + "1": 0.9989019632339478, + "2": 0.0005524770822376013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Похитители драгоценностей были пойманы.", + "choice1": "Украденные ювелирные изделия были возвращены владельцам.", + "choice2": "Стоимость похищенных ювелирных изделий была подсчитана." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 82 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Похитители драгоценностей были пойманы.\" и два возможных продолжения текста: 1. Украденные ювелирные изделия были возвращены владельцам. 2. Стоимость похищенных ювелирных изделий была подсчитана. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 82 + } + }, + "predict": { + "1": 0.005907171405851841, + "2": 0.9934334754943848 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Похитители драгоценностей были пойманы.", + "choice1": "Стоимость похищенных ювелирных изделий была подсчитана.", + "choice2": "Украденные ювелирные изделия были возвращены владельцам." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 82 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Похитители драгоценностей были пойманы.\" и два возможных продолжения текста: 1. Стоимость похищенных ювелирных изделий была подсчитана. 2. Украденные ювелирные изделия были возвращены владельцам. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 83 + } + }, + "predict": { + "1": 0.04208287224173546, + "2": 0.9578017592430115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Политическое насилие вызвало раскол в стране.", + "choice1": "Многие горожане переехали в столицу.", + "choice2": "Многие горожане укрылись на других территориях." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 83 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Политическое насилие вызвало раскол в стране.\" и два фрагмента текста: 1. Многие горожане переехали в столицу. 2. Многие горожане укрылись на других территориях. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 83 + } + }, + "predict": { + "1": 0.24506047368049622, + "2": 0.7548394203186035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Политическое насилие вызвало раскол в стране.", + "choice1": "Многие горожане укрылись на других территориях.", + "choice2": "Многие горожане переехали в столицу." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 83 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Политическое насилие вызвало раскол в стране.\" и два фрагмента текста: 1. Многие горожане укрылись на других территориях. 2. Многие горожане переехали в столицу. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 84 + } + }, + "predict": { + "1": 0.1478678584098816, + "2": 0.8509207963943481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина была арестована.", + "choice1": "Она записалась на реабилитацию.", + "choice2": "Она совершила нападение." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 84 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина была арестована.\" и два возможных продолжения текста: 1. Она записалась на реабилитацию. 2. Она совершила нападение. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 84 + } + }, + "predict": { + "1": 0.9458903670310974, + "2": 0.053363487124443054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина была арестована.", + "choice1": "Она совершила нападение.", + "choice2": "Она записалась на реабилитацию." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 84 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина была арестована.\" и два возможных продолжения текста: 1. Она совершила нападение. 2. Она записалась на реабилитацию. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 85 + } + }, + "predict": { + "1": 0.88055020570755, + "2": 0.11916950345039368 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина читала газету.", + "choice1": "Она узнала результаты выборов.", + "choice2": "Ей отдали голоса на выборах." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 85 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Женщина читала газету.\" и два текста: 1. Она узнала результаты выборов. 2. Ей отдали голоса на выборах. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 85 + } + }, + "predict": { + "1": 0.3206588625907898, + "2": 0.6788347959518433 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина читала газету.", + "choice1": "Ей отдали голоса на выборах.", + "choice2": "Она узнала результаты выборов." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 85 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Женщина читала газету.\" и два текста: 1. Ей отдали голоса на выборах. 2. Она узнала результаты выборов. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 86 + } + }, + "predict": { + "1": 0.16449525952339172, + "2": 0.835375964641571 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Больной ребёнок кашлянул на своего друга.", + "choice1": "Его друг заболел.", + "choice2": "Его друг чихнул." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 86 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Больной ребёнок кашлянул на своего друга.\" и два возможных продолжения текста: 1. Его друг заболел. 2. Его друг чихнул. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 86 + } + }, + "predict": { + "1": 0.3775123953819275, + "2": 0.6224127411842346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Больной ребёнок кашлянул на своего друга.", + "choice1": "Его друг чихнул.", + "choice2": "Его друг заболел." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 86 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Больной ребёнок кашлянул на своего друга.\" и два возможных продолжения текста: 1. Его друг чихнул. 2. Его друг заболел. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 87 + } + }, + "predict": { + "1": 0.9323298335075378, + "2": 0.06753774732351303 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара обручилась.", + "choice1": "Они планировали свадьбу.", + "choice2": "Они провели какое-то время порознь." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 87 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Пара обручилась.\" и два фрагмента текста: 1) Они планировали свадьбу. 2) Они провели какое-то время порознь. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 87 + } + }, + "predict": { + "1": 0.3207463026046753, + "2": 0.6790199279785156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара обручилась.", + "choice1": "Они провели какое-то время порознь.", + "choice2": "Они планировали свадьбу." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 87 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Пара обручилась.\" и два фрагмента текста: 1) Они провели какое-то время порознь. 2) Они планировали свадьбу. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 88 + } + }, + "predict": { + "1": 0.9739295244216919, + "2": 0.025954343378543854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина связалась с агентом по недвижимости.", + "choice1": "Женщина планировала купить квартиру.", + "choice2": "Женщине требовалась уборка дома." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 88 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина связалась с агентом по недвижимости.\" и два фрагмента текста: 1. Женщина планировала купить квартиру. 2. Женщине требовалась уборка дома. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 88 + } + }, + "predict": { + "1": 0.1191873848438263, + "2": 0.8806822896003723 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина связалась с агентом по недвижимости.", + "choice1": "Женщине требовалась уборка дома.", + "choice2": "Женщина планировала купить квартиру." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 88 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина связалась с агентом по недвижимости.\" и два фрагмента текста: 1. Женщине требовалась уборка дома. 2. Женщина планировала купить квартиру. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 89 + } + }, + "predict": { + "1": 0.7547747492790222, + "2": 0.24503947794437408 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина выиграл в лотерею.", + "choice1": "Он стал богат.", + "choice2": "Он задолжал денег." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 89 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мужчина выиграл в лотерею.\" и два текста продолжения: 1) Он стал богат. 2) Он задолжал денег. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 89 + } + }, + "predict": { + "1": 0.017980897799134254, + "2": 0.9817236661911011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина выиграл в лотерею.", + "choice1": "Он задолжал денег.", + "choice2": "Он стал богат." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 89 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Мужчина выиграл в лотерею.\" и два текста продолжения: 1) Он задолжал денег. 2) Он стал богат. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 90 + } + }, + "predict": { + "1": 0.02030685916543007, + "2": 0.9784392714500427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я зажгла свечу.", + "choice1": "Со свечи закапал воск.", + "choice2": "Воск на свече затвердел." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 90 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я зажгла свечу.\" и два возможных продолжения текста: 1. Со свечи закапал воск. 2. Воск на свече затвердел. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 90 + } + }, + "predict": { + "1": 0.8664769530296326, + "2": 0.13287855684757233 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я зажгла свечу.", + "choice1": "Воск на свече затвердел.", + "choice2": "Со свечи закапал воск." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 90 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я зажгла свечу.\" и два возможных продолжения текста: 1. Воск на свече затвердел. 2. Со свечи закапал воск. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 91 + } + }, + "predict": { + "1": 0.20176814496517181, + "2": 0.7980085015296936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я провёл день на пляже.", + "choice1": "Я вывихнул лодыжку.", + "choice2": "Моё лицо сгорело." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 91 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я провёл день на пляже.\" и два фрагмента текста: 1. Я вывихнул лодыжку. 2. Моё лицо сгорело. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 91 + } + }, + "predict": { + "1": 0.07584818452596664, + "2": 0.9240200519561768 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я провёл день на пляже.", + "choice1": "Моё лицо сгорело.", + "choice2": "Я вывихнул лодыжку." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 91 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я провёл день на пляже.\" и два фрагмента текста: 1. Моё лицо сгорело. 2. Я вывихнул лодыжку. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 92 + } + }, + "predict": { + "1": 0.08504723757505417, + "2": 0.9143440127372742 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина получил штраф за парковку.", + "choice1": "Он парковался параллельно улице.", + "choice2": "Согласно счётчику, срок его парковки истёк." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 92 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Мужчина получил штраф за парковку.\" и два текста: 1. Он парковался параллельно улице. 2. Согласно счётчику, срок его парковки истёк. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 92 + } + }, + "predict": { + "1": 0.8173758387565613, + "2": 0.18238121271133423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина получил штраф за парковку.", + "choice1": "Согласно счётчику, срок его парковки истёк.", + "choice2": "Он парковался параллельно улице." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 92 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Мужчина получил штраф за парковку.\" и два текста: 1. Согласно счётчику, срок его парковки истёк. 2. Он парковался параллельно улице. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 93 + } + }, + "predict": { + "1": 0.9320868253707886, + "2": 0.0675201490521431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина стала знаменитой.", + "choice1": "Фотографы всюду следуют за ней.", + "choice2": "Её семья её избегает." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 93 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Женщина стала знаменитой.\" и два текста: 1. Фотографы всюду следуют за ней. 2. Её семья её избегает. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 93 + } + }, + "predict": { + "1": 0.047399986535310745, + "2": 0.9520542621612549 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина стала знаменитой.", + "choice1": "Её семья её избегает.", + "choice2": "Фотографы всюду следуют за ней." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 93 + } + }, + "prompt": "<|im_start|>user\nДано описание некоторой заданной ситуации: \"Женщина стала знаменитой.\" и два текста: 1. Её семья её избегает. 2. Фотографы всюду следуют за ней. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 94 + } + }, + "predict": { + "1": 0.979608952999115, + "2": 0.020331135019659996 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девушка хотела носить серьги.", + "choice1": "Она проколола уши.", + "choice2": "Она сделала татуировку." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 94 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Девушка хотела носить серьги.\" и два возможных продолжения текста: 1. Она проколола уши. 2. Она сделала татуировку. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 94 + } + }, + "predict": { + "1": 0.004609000403434038, + "2": 0.9952669143676758 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девушка хотела носить серьги.", + "choice1": "Она сделала татуировку.", + "choice2": "Она проколола уши." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 94 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Девушка хотела носить серьги.\" и два возможных продолжения текста: 1. Она сделала татуировку. 2. Она проколола уши. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 95 + } + }, + "predict": { + "1": 0.7772156596183777, + "2": 0.22267600893974304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В ушах звенело.", + "choice1": "Я ходил в музей.", + "choice2": "Я ходил на концерт." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 95 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"В ушах звенело.\" и два возможных продолжения текста: 1. Я ходил в музей. 2. Я ходил на концерт. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 95 + } + }, + "predict": { + "1": 0.8932214379310608, + "2": 0.10668009519577026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В ушах звенело.", + "choice1": "Я ходил на концерт.", + "choice2": "Я ходил в музей." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 95 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"В ушах звенело.\" и два возможных продолжения текста: 1. Я ходил на концерт. 2. Я ходил в музей. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 96 + } + }, + "predict": { + "1": 0.9577063918113708, + "2": 0.04207868501543999 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я прибралась дома.", + "choice1": "Я была завалена работой.", + "choice2": "Я ждала друзей." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 96 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я прибралась дома.\" и два фрагмента текста: 1) Я была завалена работой. 2) Я ждала друзей. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": false, + "id": 96 + } + }, + "predict": { + "1": 0.2449922114610672, + "2": 0.7546291947364807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я прибралась дома.", + "choice1": "Я ждала друзей.", + "choice2": "Я была завалена работой." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 96 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Я прибралась дома.\" и два фрагмента текста: 1) Я ждала друзей. 2) Я была завалена работой. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 97 + } + }, + "predict": { + "1": 0.5620492100715637, + "2": 0.43772435188293457 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Авиакомпания повредила мой багаж.", + "choice1": "Они предложили мне компенсацию.", + "choice2": "Они отменили мой рейс." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 97 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Авиакомпания повредила мой багаж.\" и два фрагмента текста: 1) Они предложили мне компенсацию. 2) Они отменили мой рейс. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 97 + } + }, + "predict": { + "1": 0.08508168905973434, + "2": 0.9147143959999084 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Авиакомпания повредила мой багаж.", + "choice1": "Они отменили мой рейс.", + "choice2": "Они предложили мне компенсацию." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 97 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Авиакомпания повредила мой багаж.\" и два фрагмента текста: 1) Они отменили мой рейс. 2) Они предложили мне компенсацию. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 98 + } + }, + "predict": { + "1": 0.008576595224440098, + "2": 0.9913195967674255 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Чинить компьютер было бы слишком дорого.", + "choice1": "Я взял его, чтобы отремонтировать.", + "choice2": "Я купил новый." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 98 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Чинить компьютер было бы слишком дорого.\" и два текста продолжения: 1) Я взял его, чтобы отремонтировать. 2) Я купил новый. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 98 + } + }, + "predict": { + "1": 0.9045389294624329, + "2": 0.09533769637346268 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Чинить компьютер было бы слишком дорого.", + "choice1": "Я купил новый.", + "choice2": "Я взял его, чтобы отремонтировать." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 98 + } + }, + "prompt": "<|im_start|>user\nДана текстовая ситуация: \"Чинить компьютер было бы слишком дорого.\" и два текста продолжения: 1) Я купил новый. 2) Я взял его, чтобы отремонтировать. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 99 + } + }, + "predict": { + "1": 0.04739852622151375, + "2": 0.9520248770713806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина была в плохом настроении.", + "choice1": "Она вежливо общалась с подругой.", + "choice2": "Она попросила подругу оставить её в покое." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 99 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина была в плохом настроении.\" и два возможных продолжения текста: 1. Она вежливо общалась с подругой. 2. Она попросила подругу оставить её в покое. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": { + "val": true, + "id": 99 + } + }, + "predict": { + "1": 0.7978296875953674, + "2": 0.20172293484210968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина была в плохом настроении.", + "choice1": "Она попросила подругу оставить её в покое.", + "choice2": "Она вежливо общалась с подругой." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 99 + } + }, + "prompt": "<|im_start|>user\nДано описание ситуации: \"Женщина была в плохом настроении.\" и два возможных продолжения текста: 1. Она попросила подругу оставить её в покое. 2. Она вежливо общалась с подругой. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} diff --git a/llmtf_eval/darumeru_PARus_params.jsonl b/llmtf_eval/darumeru_PARus_params.jsonl new file mode 100644 index 0000000..4642351 --- /dev/null +++ b/llmtf_eval/darumeru_PARus_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_PARus_total.jsonl b/llmtf_eval/darumeru_PARus_total.jsonl new file mode 100644 index 0000000..08e7bb4 --- /dev/null +++ b/llmtf_eval/darumeru_PARus_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "darumeru/PARus", + "results": { + "acc": 0.7 + }, + "leaderboard_result": 0.7 +} diff --git a/llmtf_eval/darumeru_RCB.jsonl b/llmtf_eval/darumeru_RCB.jsonl new file mode 100644 index 0000000..aea6c7b --- /dev/null +++ b/llmtf_eval/darumeru_RCB.jsonl @@ -0,0 +1,9680 @@ +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.24178898334503174, + "2": 0.6572505235671997, + "3": 0.10079263895750046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Его подозревают в причинении смерти по неосторожности и незаконном хранении и ношении огнестрельного оружия.", + "hypothesis": "Он по неосторожности убил кого-то." + }, + "outputs": "3", + "meta": { + "verb": "подозревать", + "negation": "no_negation", + "genre": "kp", + "id": 0 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Его подозревают в причинении смерти по неосторожности и незаконном хранении и ношении огнестрельного оружия.\" Гипотеза: \"Он по неосторожности убил кого-то.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.10916619747877121, + "2": 0.5543917417526245, + "3": 0.33625558018684387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Нынешняя погода - хороший повод задуматься о здоровом образе жизни. Ни в коем случае нельзя употреблять алкоголь, который усугубляет ситуацию. Одеваться следует по погоде и прикрывать голову.", + "hypothesis": "Здоровый образ жизни хорош только по нынешней погоде." + }, + "outputs": "2", + "meta": { + "verb": "задуматься", + "negation": "no_negation", + "genre": "interfax", + "id": 1 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Нынешняя погода - хороший повод задуматься о здоровом образе жизни. Ни в коем случае нельзя употреблять алкоголь, который усугубляет ситуацию. Одеваться следует по погоде и прикрывать голову.\" Гипотеза: \"Здоровый образ жизни хорош только по нынешней погоде.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.0034747214522212744, + "2": 0.96344393491745, + "3": 0.03296723589301109 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Единственная отдушина для меня – надежда на бессмертие. Как же сохранить бытие после кончины. Ах, и не думайте, что страх смерти обратил меня к религии и вере.", + "hypothesis": "Страх смерти обратил меня к религии и вере." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "negation", + "genre": "fiction", + "id": 2 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Единственная отдушина для меня – надежда на бессмертие. Как же сохранить бытие после кончины. Ах, и не думайте, что страх смерти обратил меня к религии и вере.\" Гипотеза: \"Страх смерти обратил меня к религии и вере.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5684352517127991, + "2": 0.16285942494869232, + "3": 0.26850980520248413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Она же была уверена, что я жду и хочу. Женщина часто думает, что ее ждут больше, чем приносимых ею благ. Она именно так думала, так помнила, откладывая дома доллар за долларом.", + "hypothesis": "Все именно так, как она думала." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 3 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Она же была уверена, что я жду и хочу. Женщина часто думает, что ее ждут больше, чем приносимых ею благ. Она именно так думала, так помнила, откладывая дома доллар за долларом.\" и гипотеза: \"Все именно так, как она думала.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.977150559425354, + "2": 0.00845400895923376, + "3": 0.013938304036855698 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В конце концов, все мы очень одиноки, и все мы об этом знаем. Это, как говорится, что-то такое, о чем можно даже и не говорить. Во всяком случае, я уверен, что все вы это прекрасно понимаете.", + "hypothesis": "Все мы очень одиноки, и все мы об этом знаем." + }, + "outputs": "1", + "meta": { + "verb": "говорить,понимать", + "negation": "negation", + "genre": "fiction", + "id": 4 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"В конце концов, все мы очень одиноки, и все мы об этом знаем. Это, как говорится, что-то такое, о чем можно даже и не говорить. Во всяком случае, я уверен, что все вы это прекрасно понимаете.\" и гипотеза: \"Все мы очень одиноки, и все мы об этом знаем.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.15717875957489014, + "2": 0.2936486005783081, + "3": 0.5486077666282654 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "На прошлом заседании подсудимый, сославшись на недомогание, не смог участвовать в процессе, и слушание перенесли. Подсудимый сказал, что сегодня у него нормальное состояние и ответил на все вопросы судьи, адвоката и прокурора. - Вы полностью признаете себя виновным?", + "hypothesis": "Подсудимый виновен." + }, + "outputs": "2", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 5 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"На прошлом заседании подсудимый, сославшись на недомогание, не смог участвовать в процессе, и слушание перенесли. Подсудимый сказал, что сегодня у него нормальное состояние и ответил на все вопросы судьи, адвоката и прокурора. - Вы полностью признаете себя виновным?\" Гипотеза: \"Подсудимый виновен.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9730860590934753, + "2": 0.01572847180068493, + "3": 0.010810010135173798 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Избитую женщину обнаружили родственники, которые и отвезли ее в медицинское учреждение. Мужчину задержали полицейские. Он признал свою вину.", + "hypothesis": "Мужчина был виноват." + }, + "outputs": "3", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 6 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"- Избитую женщину обнаружили родственники, которые и отвезли ее в медицинское учреждение. Мужчину задержали полицейские. Он признал свою вину.\" Гипотеза: \"Мужчина был виноват.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.3701317608356476, + "2": 0.47525858879089355, + "3": 0.15429387986660004 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Я спрашиваю подростка, что означает сия фраза. — Ну, \"буря\" он понимает. А вот \"мглою\" он считает \"могилой\".", + "hypothesis": "\"Мглою\" значит \"могилой\"." + }, + "outputs": "2", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "fiction", + "id": 7 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"— Я спрашиваю подростка, что означает сия фраза. — Ну, \"буря\" он понимает. А вот \"мглою\" он считает \"могилой\".\" Гипотеза: \"\"Мглою\" значит \"могилой\".\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7075778841972351, + "2": 0.031088802963495255, + "3": 0.2603033781051636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Он если что попросит, сделать надо без вопросов. А? Но я понял все и так — вот царь и бог, а мое дело слушаться.", + "hypothesis": "Вот царь и бог, а мое дело слушаться." + }, + "outputs": "1", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 8 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"— Он если что попросит, сделать надо без вопросов. А? Но я понял все и так — вот царь и бог, а мое дело слушаться.\" Гипотеза: \"Вот царь и бог, а мое дело слушаться.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.15532220900058746, + "2": 0.4222095012664795, + "3": 0.4222095012664795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Три выстрела в голову. — Как бы не так! Это он ей выдал горячо желаемое за действительное, если только они его самого сначала не обманули, побоявшись сказать, что я опять у них из рук ускользнул.", + "hypothesis": "Я опять у них из рук ускользнул." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 9 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Три выстрела в голову. — Как бы не так! Это он ей выдал горячо желаемое за действительное, если только они его самого сначала не обманули, побоявшись сказать, что я опять у них из рук ускользнул.\" Гипотеза: \"Я опять у них из рук ускользнул.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5153598785400391, + "2": 0.3542013168334961, + "3": 0.13030338287353516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина свою вину не признала, утверждая, что супруг угрожал ей расправой, а она защищалась.", + "hypothesis": "Супруг угрожал женщине расправой, а она защищалась." + }, + "outputs": "3", + "meta": { + "verb": "утверждать", + "negation": "no_negation", + "genre": "kp", + "id": 10 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Женщина свою вину не признала, утверждая, что супруг угрожал ей расправой, а она защищалась.\" Гипотеза: \"Супруг угрожал женщине расправой, а она защищалась.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.0007054161978885531, + "2": 0.9932999610900879, + "3": 0.005906377453356981 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лабораторные исследования доказали, что в составе жидкостей превышена концентрация метанола.", + "hypothesis": "В составе жидкостей мало метанола." + }, + "outputs": "2", + "meta": { + "verb": "доказать", + "negation": "no_negation", + "genre": "kp", + "id": 11 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Лабораторные исследования доказали, что в составе жидкостей превышена концентрация метанола.\" Гипотеза: \"В составе жидкостей мало метанола.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9712726473808289, + "2": 0.002728105057030916, + "3": 0.025883538648486137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Все эти проблемы надо решать комплексно, поскольку, как мы видим, бедственное состояние правоохранительной системы и как следствие потеря управляемости в сфере борьбы с преступностью обусловлены множеством тесно друг с другом связанных причин. И возвращаясь к началу статьи. В дискуссии, какая система лучше для эффективного расследования дел, следует исходить из того, что прежде всего любая система должна строиться на принципе личной ответственности следователей за законность методов, используемых оперативниками для получения доказательств, а не на том, который господствует сегодня: разделяй и ни за что не отвечай.", + "hypothesis": "Есть множество тесно друг с другом связанных причин." + }, + "outputs": "3", + "meta": { + "verb": "обусловить", + "negation": "no_negation", + "genre": "fiction", + "id": 12 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Все эти проблемы надо решать комплексно, поскольку, как мы видим, бедственное состояние правоохранительной системы и как следствие потеря управляемости в сфере борьбы с преступностью обусловлены множеством тесно друг с другом связанных причин. И возвращаясь к началу статьи. В дискуссии, какая система лучше для эффективного расследования дел, следует исходить из того, что прежде всего любая система должна строиться на принципе личной ответственности следователей за законность методов, используемых оперативниками для получения доказательств, а не на том, который господствует сегодня: разделяй и ни за что не отвечай.\" Гипотеза: \"Есть множество тесно друг с другом связанных причин.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9833352565765381, + "2": 0.0024374446365982294, + "3": 0.014026523567736149 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"В ближайшие часы мы можем рассмотреть вопрос о краткосрочном продлении мандата этой миссии\", - сказал французский дипломат журналистам.", + "hypothesis": "В ближайшие часы будет рассмотрен вопрос о краткосрочном продлении мандата этой миссии." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 13 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"\"В ближайшие часы мы можем рассмотреть вопрос о краткосрочном продлении мандата этой миссии\", - сказал французский дипломат журналистам.\" и гипотеза: \"В ближайшие часы будет рассмотрен вопрос о краткосрочном продлении мандата этой миссии.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.8854610919952393, + "2": 0.06414259225130081, + "3": 0.04995429888367653 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как правило, следователю приходилось предъявлять доказательства, убеждать прокурора в необходимости применения тех или иных санкций. Прокуратура. Она представляла собой сугубо гражданский компактный орган.", + "hypothesis": "Необходимо применение тех или иных санкций." + }, + "outputs": "2", + "meta": { + "verb": "убеждать", + "negation": "no_negation", + "genre": "fiction", + "id": 14 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Как правило, следователю приходилось предъявлять доказательства, убеждать прокурора в необходимости применения тех или иных санкций. Прокуратура. Она представляла собой сугубо гражданский компактный орган.\" и гипотеза: \"Необходимо применение тех или иных санкций.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.29939499497413635, + "2": 0.2642151713371277, + "3": 0.4356171488761902 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "На предстоящем заседании прокуратура расскажет суду о сути инкриминируемого фигуранту деяния, а он выскажется о том, признает ли вину.", + "hypothesis": "Фигурант инкриминирует прокуратуре некое деяние." + }, + "outputs": "2", + "meta": { + "verb": "рассказать", + "negation": "no_negation", + "genre": "interfax", + "id": 15 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"На предстоящем заседании прокуратура расскажет суду о сути инкриминируемого фигуранту деяния, а он выскажется о том, признает ли вину.\" Гипотеза: \"Фигурант инкриминирует прокуратуре некое деяние.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.9788575768470764, + "2": 0.006595490500330925, + "3": 0.01396265346556902 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Всё бегом, всё жадно, всё с лапшою на шее... – Он нас оскорбляет!.. – снова не выдержал тот же самый голос, который обозвал подсудимого сумасшедшим. Камера показала: это был вскочивший лысый с малиновыми ушами, надо полагать – директор банка.", + "hypothesis": "Это был вскочивший лысый с малиновыми ушами." + }, + "outputs": "2", + "meta": { + "verb": "показать", + "negation": "no_negation", + "genre": "fiction", + "id": 16 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Всё бегом, всё жадно, всё с лапшою на шее... – Он нас оскорбляет!.. – снова не выдержал тот же самый голос, который обозвал подсудимого сумасшедшим. Камера показала: это был вскочивший лысый с малиновыми ушами, надо полагать – директор банка.\" Гипотеза: \"Это был вскочивший лысый с малиновыми ушами.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9585018754005432, + "2": 0.0082926657050848, + "3": 0.03279813006520271 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне кажется, главный источник всех накопившихся у нас недоразумений, обид и претензий — в том, что Вы для себя не решили этого, главного, вопроса. Буду очень рад, если окажется, что я ошибаюсь. В этом случае вопрос о \"форме сотрудничества\" решить будет уже сравнительно легко.", + "hypothesis": "Я ошибаюсь." + }, + "outputs": "3", + "meta": { + "verb": "оказаться", + "negation": "negation", + "genre": "fiction", + "id": 17 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Мне кажется, главный источник всех накопившихся у нас недоразумений, обид и претензий — в том, что Вы для себя не решили этого, главного, вопроса. Буду очень рад, если окажется, что я ошибаюсь. В этом случае вопрос о \"форме сотрудничества\" решить будет уже сравнительно легко.\" Гипотеза: \"Я ошибаюсь.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.08265142142772675, + "2": 0.22466984391212463, + "3": 0.6920318603515625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И все произошло так стремительно, что я не успел собраться. Но главное не в этом. Я ведь только подозревал, но не был уверен, что причиной всему был мой несчастный завтрак.", + "hypothesis": "Причиной всему был мой несчастный завтрак." + }, + "outputs": "3", + "meta": { + "verb": "подозревать,уверять", + "negation": "no_negation", + "genre": "fiction", + "id": 18 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"И все произошло так стремительно, что я не успел собраться. Но главное не в этом. Я ведь только подозревал, но не был уверен, что причиной всему был мой несчастный завтрак.\" Гипотеза: \"Причиной всему был мой несчастный завтрак.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9629337787628174, + "2": 0.0039352900348603725, + "3": 0.0329497791826725 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне принадлежат комментарии, я же не удержался и от нескольких \"!\" и \"?\" в тексте письма. Хочу только предварительно договориться с Вами относительно характеров. Тут, я думаю, должно быть единство взглядов.", + "hypothesis": "Тут должно быть единство взглядов." + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 19 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Мне принадлежат комментарии, я же не удержался и от нескольких \"!\" и \"?\" в тексте письма. Хочу только предварительно договориться с Вами относительно характеров. Тут, я думаю, должно быть единство взглядов.\" Гипотеза: \"Тут должно быть единство взглядов.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.038286253809928894, + "2": 0.6786400675773621, + "3": 0.28289926052093506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И, возможно, лучше бы она не приходила снова в кинотеатр. Да, ведь после того, как он нагнал ее и что-то врал, а она села в автобус и уехала не оглядываясь, — после этого она нарочно не приходила туда. Но в конце концов убедила себя, что это нелепо, и почему она должна всего бояться?", + "hypothesis": "Она должна всего бояться." + }, + "outputs": "2", + "meta": { + "verb": "убедить", + "negation": "no_negation", + "genre": "fiction", + "id": 20 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"И, возможно, лучше бы она не приходила снова в кинотеатр. Да, ведь после того, как он нагнал ее и что-то врал, а она села в автобус и уехала не оглядываясь, — после этого она нарочно не приходила туда. Но в конце концов убедила себя, что это нелепо, и почему она должна всего бояться?\" Гипотеза: \"Она должна всего бояться.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 169, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "2" + ] + }, + "predict": { + "1": 0.09517253190279007, + "2": 0.7968698143959045, + "3": 0.10784459859132767 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Позвольте мне объяснить — почему. В течение многих столетий человек верил в то, что на все вопросы существует лишь один правильный ответ, а все остальные — ложны. Если нам известен правильный ответ на нравственный или политический вопрос, мы уверены, что все остальные разумные существа должны прийти к тому же заключению, а если они к нему не приходят, то, значит, они неразумны и их не следует в этом поощрять.", + "hypothesis": "Все Остальные разумные существа должны прийти к тому же заключению." + }, + "outputs": "1", + "meta": { + "verb": "следовать", + "negation": "no_negation", + "genre": "fiction", + "id": 21 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Позвольте мне объяснить — почему. В течение многих столетий человек верил в то, что на все вопросы существует лишь один правильный ответ, а все остальные — ложны. Если нам известен правильный ответ на нравственный или политический вопрос, мы уверены, что все остальные разумные существа должны прийти к тому же заключению, а если они к нему не приходят, то, значит, они неразумны и их не следует в этом поощрять.\" Гипотеза: \"Все Остальные разумные существа должны прийти к тому же заключению.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9769161343574524, + "2": 0.002743956632912159, + "3": 0.02027524635195732 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Тем не менее, я не думаю, что их надо так уже строго судить за это. Надеюсь, что они сделают какие-то выводы сами\".", + "hypothesis": "Они сделают какие-то выводы сами." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "interfax", + "id": 22 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Тем не менее, я не думаю, что их надо так уже строго судить за это. Надеюсь, что они сделают какие-то выводы сами\".\" Гипотеза: \"Они сделают какие-то выводы сами.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.6285468339920044, + "2": 0.10922504961490631, + "3": 0.26201730966567993 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Предполагалось, что такое упражнение позволит развить речевые навыки у школьников. Одна из девочек на уроке объявила, что принесла копилку причудливой формы. Учительница, увидев этот предмет, поняла, что девочка ошиблась.", + "hypothesis": "Девочка ошиблась." + }, + "outputs": "1", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "interfax", + "id": 23 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Предполагалось, что такое упражнение позволит развить речевые навыки у школьников. Одна из девочек на уроке объявила, что принесла копилку причудливой формы. Учительница, увидев этот предмет, поняла, что девочка ошиблась.\" и гипотеза: \"Девочка ошиблась.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.969632625579834, + "2": 0.012205873616039753, + "3": 0.01775944232940674 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Такие дела чисто не делаются. Прощайте». Оба понимали, что рукопожатия не будет.", + "hypothesis": "Рукопожатия не будет." + }, + "outputs": "1", + "meta": { + "verb": "понимать", + "negation": "no_negation", + "genre": "fiction", + "id": 24 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Такие дела чисто не делаются. Прощайте». Оба понимали, что рукопожатия не будет.\" и гипотеза: \"Рукопожатия не будет.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3919287919998169, + "2": 0.16338025033473969, + "3": 0.44411352276802063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Было очень смешно, особенно когда жених начинал перечислять свои положительные качества. Дурной спектакль. Более постыдное зрелище трудно представить.", + "hypothesis": "Есть более постыдное зрелище." + }, + "outputs": "3", + "meta": { + "verb": "представить", + "negation": "no_negation", + "genre": "fiction", + "id": 25 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Было очень смешно, особенно когда жених начинал перечислять свои положительные качества. Дурной спектакль. Более постыдное зрелище трудно представить.\" Гипотеза: \"Есть более постыдное зрелище.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.991931140422821, + "2": 0.002458751667290926, + "3": 0.005205176770687103 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "С партийным билетом не расстанусь, что бы ни случилось. Верила ли я в коммунизм? Честно скажу, не буду врать: я верила в возможность справедливого устройства жизни.", + "hypothesis": "Возможно справедливое устройство жизни." + }, + "outputs": "1", + "meta": { + "verb": "верить", + "negation": "no_negation", + "genre": "fiction", + "id": 26 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"С партийным билетом не расстанусь, что бы ни случилось. Верила ли я в коммунизм? Честно скажу, не буду врать: я верила в возможность справедливого устройства жизни.\" Гипотеза: \"Возможно справедливое устройство жизни.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9896327257156372, + "2": 0.004044402856379747, + "3": 0.005884571000933647 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Размазал шарфом след вороний. \"Зима. Влюбленных метит снег\", – Сказал мне мельком посторонний, На вид хороший человек.", + "hypothesis": "Зима. Влюбленных метит снег." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 27 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Размазал шарфом след вороний. \"Зима. Влюбленных метит снег\", – Сказал мне мельком посторонний, На вид хороший человек.\" Гипотеза: \"Зима. Влюбленных метит снег.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.020283780992031097, + "2": 0.862488329410553, + "3": 0.11672510206699371 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Иные считают, что бытие Божие совершается в заоблачных высях, в других мирах и галактиках. А я говорю — Бог живет с нами, среди и внутри нас.", + "hypothesis": "Бытие Божие совершается в заоблачных высях, в других мирах и галактиках." + }, + "outputs": "3", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "fiction", + "id": 28 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Иные считают, что бытие Божие совершается в заоблачных высях, в других мирах и галактиках. А я говорю — Бог живет с нами, среди и внутри нас.\" Гипотеза: \"Бытие Божие совершается в заоблачных высях, в других мирах и галактиках.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.3544747233390808, + "2": 0.40167251229286194, + "3": 0.2436266839504242 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Комплекс неполноценности, вероятно, разыгрывал из себя повелителя. Да и Толик как-то однажды признался, чего хотел бы больше всего: чтобы она, как крепостная девка, поцеловала ему руку. Пожалел, наверное, потом, что сказал.", + "hypothesis": "Он это сказал." + }, + "outputs": "3", + "meta": { + "verb": "пожалеть", + "negation": "no_negation", + "genre": "fiction", + "id": 29 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Комплекс неполноценности, вероятно, разыгрывал из себя повелителя. Да и Толик как-то однажды признался, чего хотел бы больше всего: чтобы она, как крепостная девка, поцеловала ему руку. Пожалел, наверное, потом, что сказал.\" Гипотеза: \"Он это сказал.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2917117774486542, + "2": 0.22718535363674164, + "3": 0.4809513986110687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Я ни на чем не настаиваю и, разумеется, настаивать ни на чем не буду. Вы - женщина взрослая, вы сами способны определить, что вам нужно. Подумайте, прислушайтесь к себе, присмотритесь.", + "hypothesis": "Что-то вам нужно." + }, + "outputs": "2", + "meta": { + "verb": "определить", + "negation": "no_negation", + "genre": "fiction", + "id": 30 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"- Я ни на чем не настаиваю и, разумеется, настаивать ни на чем не буду. Вы - женщина взрослая, вы сами способны определить, что вам нужно. Подумайте, прислушайтесь к себе, присмотритесь.\" Гипотеза: \"Что-то вам нужно.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.736156165599823, + "2": 0.07759028673171997, + "3": 0.18612943589687347 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Возгорание быстро потушили, никто не пострадал. Как выяснилось, происшествие случилось из-за нарушения правил пожарной безопасности. Хозяева квартиры решили самостоятельно почистить газовую колонку, после чего ушли в соседнюю комнату, и в это время вспыхнул пожар.", + "hypothesis": "Хозяева самостоятельно чистили газовую колонку, после чего ушли в соседнюю комнату, и в это время вспыхнул пожар." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 31 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Возгорание быстро потушили, никто не пострадал. Как выяснилось, происшествие случилось из-за нарушения правил пожарной безопасности. Хозяева квартиры решили самостоятельно почистить газовую колонку, после чего ушли в соседнюю комнату, и в это время вспыхнул пожар.\" Гипотеза: \"Хозяева самостоятельно чистили газовую колонку, после чего ушли в соседнюю комнату, и в это время вспыхнул пожар.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 164, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9322148561477661, + "2": 0.015067849308252335, + "3": 0.0525919646024704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он не даст соврать, ведь я и правда мечтал о старшем брате. Когда понял, что папа не способен ни защитить, ни протянуть руку помощи в нужный момент.", + "hypothesis": "Я и правда мечтал о старшем брате." + }, + "outputs": "1", + "meta": { + "verb": "соврать", + "negation": "negation", + "genre": "fiction", + "id": 32 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Он не даст соврать, ведь я и правда мечтал о старшем брате. Когда понял, что папа не способен ни защитить, ни протянуть руку помощи в нужный момент.\" Гипотеза: \"Я и правда мечтал о старшем брате.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.014231323264539242, + "2": 0.880460798740387, + "3": 0.1051560491323471 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Наша позиция не изменилась, мы проголосуем за\", - сказал он в ответ на просьбу уточнить, не изменилась ли позиция руководства фракции по данному вопросу.", + "hypothesis": "У фракции нет позиции." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 33 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"\"Наша позиция не изменилась, мы проголосуем за\", - сказал он в ответ на просьбу уточнить, не изменилась ли позиция руководства фракции по данному вопросу.\" и гипотеза: \"У фракции нет позиции.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8777788877487183, + "2": 0.0720524787902832, + "3": 0.04952089861035347 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ну кто говорит, что ничего не поменялось? Библию нельзя было перевезти через границу. Это забыли?", + "hypothesis": "Библию нельзя было перевезти через границу." + }, + "outputs": "1", + "meta": { + "verb": "забыть", + "negation": "no_negation", + "genre": "fiction", + "id": 34 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Ну кто говорит, что ничего не поменялось? Библию нельзя было перевезти через границу. Это забыли?\" и гипотеза: \"Библию нельзя было перевезти через границу.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.46394869685173035, + "2": 0.0711488351225853, + "3": 0.46394869685173035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я говорю: \"С тех пор как люди научились вот так жить, прошли тысячи лет!\"", + "hypothesis": "С тех пор как люди научились вот так жить, прошли тысячи лет!" + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 35 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Я говорю: \"С тех пор как люди научились вот так жить, прошли тысячи лет!\"\" Гипотеза: \"С тех пор как люди научились вот так жить, прошли тысячи лет!\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9657179117202759, + "2": 0.013775225728750229, + "3": 0.02004283480346203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мы были нищими, но нищета тех лет Слыла законной и благословенной, Как маргарин, намазанный на хлеб, И тусклый свет в конце вселенной. И веришь ли, бывали сыты мы Отчаянной устойчивостью мира.", + "hypothesis": "Мы бывали сыты Отчаянной устойчивостью мира." + }, + "outputs": "3", + "meta": { + "verb": "верить", + "negation": "no_negation", + "genre": "fiction", + "id": 36 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Мы были нищими, но нищета тех лет Слыла законной и благословенной, Как маргарин, намазанный на хлеб, И тусклый свет в конце вселенной. И веришь ли, бывали сыты мы Отчаянной устойчивостью мира.\" Гипотеза: \"Мы бывали сыты Отчаянной устойчивостью мира.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.11362504214048386, + "2": 0.30886492133140564, + "3": 0.5770356059074402 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Он ни при чём. Он хороший. Это мама... так не вовремя... – Вот-вот, – сказала мать.", + "hypothesis": "Вот-вот, я невовремя." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 37 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"– Он ни при чём. Он хороший. Это мама... так не вовремя... – Вот-вот, – сказала мать.\" Гипотеза: \"Вот-вот, я невовремя.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.5949978232383728, + "2": 0.04310150071978569, + "3": 0.360884428024292 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Возможны ли какие-то радикальные сценарии? - Не думаю. Радикальных моментов не будет и не должно быть, я считаю.", + "hypothesis": "Радикальных моментов не будет и не должно быть." + }, + "outputs": "1", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "interfax", + "id": 38 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Возможны ли какие-то радикальные сценарии? - Не думаю. Радикальных моментов не будет и не должно быть, я считаю.\" Гипотеза: \"Радикальных моментов не будет и не должно быть.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.4599168300628662, + "2": 0.07992155849933624, + "3": 0.4599168300628662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Легкомыслие и дар давали мне дыхание, но не сделал десятой доли того, что должен был сделать. Я не старался, не обманывал себя, смотрел своими глазами. Верил в простоту жизни и сделал, как вижу, как увидят, больше многих, но мало.", + "hypothesis": "Я сделал больше многих, но мало." + }, + "outputs": "1", + "meta": { + "verb": "видеть", + "negation": "no_negation", + "genre": "fiction", + "id": 39 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Легкомыслие и дар давали мне дыхание, но не сделал десятой доли того, что должен был сделать. Я не старался, не обманывал себя, смотрел своими глазами. Верил в простоту жизни и сделал, как вижу, как увидят, больше многих, но мало.\" Гипотеза: \"Я сделал больше многих, но мало.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 159, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "2" + ] + }, + "predict": { + "1": 0.20978054404258728, + "2": 0.4441053867340088, + "3": 0.34586963057518005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Борода его приподнялась, и ее кончик стал ему виден. Он только что ел и хотел сейчас убедиться, чиста ли она. Конечно, думал я, слово \"стыдно\" он сказал только для того, чтобы при этом удобно рассмотреть бороду.", + "hypothesis": "Cлово \"стыдно\" он сказал только для того, чтобы при этом удобно рассмотреть бороду." + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 40 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Борода его приподнялась, и ее кончик стал ему виден. Он только что ел и хотел сейчас убедиться, чиста ли она. Конечно, думал я, слово \"стыдно\" он сказал только для того, чтобы при этом удобно рассмотреть бороду.\" Гипотеза: \"Cлово \"стыдно\" он сказал только для того, чтобы при этом удобно рассмотреть бороду.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 164, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.8078312873840332, + "2": 0.051642924547195435, + "3": 0.14038001000881195 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Это уже слушали без таинственности, а с замиранием, потрясенные тем, что, оказывается, были мы для иностранцев попрошайками. От стыда горело у меня лицо, я чувствовал, как жарко, обжигая все внутри, ходит во мне кровь. В то же время ясно помню, что плавали уже в моем воображении лица тех иностранцев, и я плевался в их рожи мстительно да отчаянно, как только мог, мстил им за жгучий свой, мучительный стыд.", + "hypothesis": "Были мы для иностранцев попрошайками." + }, + "outputs": "3", + "meta": { + "verb": "оказаться", + "negation": "no_negation", + "genre": "fiction", + "id": 41 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Это уже слушали без таинственности, а с замиранием, потрясенные тем, что, оказывается, были мы для иностранцев попрошайками. От стыда горело у меня лицо, я чувствовал, как жарко, обжигая все внутри, ходит во мне кровь. В то же время ясно помню, что плавали уже в моем воображении лица тех иностранцев, и я плевался в их рожи мстительно да отчаянно, как только мог, мстил им за жгучий свой, мучительный стыд.\" Гипотеза: \"Были мы для иностранцев попрошайками.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.0013063519727438688, + "2": 0.9846030473709106, + "3": 0.014044607058167458 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он был влюблен и готов перешагнуть через страх. Как пылкий и честный жених, он собирался забыть прежние увлечения ради новой любви. — Признаюсь, я не уверена, что ваша пара — это хорошая идея, — сказала врач.", + "hypothesis": "Ваша пара — это хорошая идея." + }, + "outputs": "3", + "meta": { + "verb": "уверять", + "negation": "negation", + "genre": "fiction", + "id": 42 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Он был влюблен и готов перешагнуть через страх. Как пылкий и честный жених, он собирался забыть прежние увлечения ради новой любви. — Признаюсь, я не уверена, что ваша пара — это хорошая идея, — сказала врач.\" Гипотеза: \"Ваша пара — это хорошая идея.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7595499157905579, + "2": 0.09071529656648636, + "3": 0.1495642364025116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Большинство застрявших в пробках водителей жаловались на неубранные дороги. В выходные в городе не прекращался снегопад и, похоже, городские власти вновь оказались к этому не готовы. Впрочем, если верить заявлениям чиновников, они сделали все, что смогли.", + "hypothesis": "Дороги были не убраны." + }, + "outputs": "1", + "meta": { + "verb": "жаловаться", + "negation": "no_negation", + "genre": "kp", + "id": 43 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Большинство застрявших в пробках водителей жаловались на неубранные дороги. В выходные в городе не прекращался снегопад и, похоже, городские власти вновь оказались к этому не готовы. Впрочем, если верить заявлениям чиновников, они сделали все, что смогли.\" и гипотеза: \"Дороги были не убраны.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9978657364845276, + "2": 0.0008030154858715832, + "3": 0.0009099357412196696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Отмена \"зимнего\" времени воспринята россиянами положительно и не принесла большинству граждан технических неудобств, показал опрос.", + "hypothesis": "Отмена \"зимнего\" времени воспринята россиянами положительно." + }, + "outputs": "1", + "meta": { + "verb": "показать", + "negation": "no_negation", + "genre": "interfax", + "id": 44 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Отмена \"зимнего\" времени воспринята россиянами положительно и не принесла большинству граждан технических неудобств, показал опрос.\" и гипотеза: \"Отмена \"зимнего\" времени воспринята россиянами положительно.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.011380862444639206, + "2": 0.904093861579895, + "3": 0.08409383147954941 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Получалось, что на связь с людьми с регулярностью добросовестного разведчика он выходил по воскресеньям. Его уважение к человеческим движениям распространялось и на отдыхающих. Можно даже сказать, что в некоторые моменты он их уважал особенно.", + "hypothesis": "Он не уважал отдыхающих." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 45 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Получалось, что на связь с людьми с регулярностью добросовестного разведчика он выходил по воскресеньям. Его уважение к человеческим движениям распространялось и на отдыхающих. Можно даже сказать, что в некоторые моменты он их уважал особенно.\" Гипотеза: \"Он не уважал отдыхающих.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.03930416330695152, + "2": 0.8945586085319519, + "3": 0.06480161100625992 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Все решают они. Самодовольства невпроворот. Три статуи в сквере увидят или пару репродукций в журнале, уже считают себя вправе рассуждать о скульптуре и живописи.", + "hypothesis": "На двух репродукциях в журнале были три статуи в сквере." + }, + "outputs": "2", + "meta": { + "verb": "увидеть", + "negation": "no_negation", + "genre": "fiction", + "id": 46 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Все решают они. Самодовольства невпроворот. Три статуи в сквере увидят или пару репродукций в журнале, уже считают себя вправе рассуждать о скульптуре и живописи.\" Гипотеза: \"На двух репродукциях в журнале были три статуи в сквере.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9286918640136719, + "2": 0.024748800322413445, + "3": 0.04623684287071228 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мы должны их провести так, чтобы показать международному сообществу, иностранным наблюдателям то, что у нас есть гражданское общество. Мы должны показать, что республика идет в правильном направлении, и все наши действия находятся в демократическом русле. Я думаю все, кто участвует в выборах, не только кандидаты, но и народ, сделают все, чтобы показать свою политическую зрелость. - Почему вы решили баллотироваться в президенты?", + "hypothesis": "Все, кто участвует в выборах, не только кандидаты, но и народ, сделают все, чтобы показать свою политическую зрелость ." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "interfax", + "id": 47 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Мы должны их провести так, чтобы показать международному сообществу, иностранным наблюдателям то, что у нас есть гражданское общество. Мы должны показать, что республика идет в правильном направлении, и все наши действия находятся в демократическом русле. Я думаю все, кто участвует в выборах, не только кандидаты, но и народ, сделают все, чтобы показать свою политическую зрелость. - Почему вы решили баллотироваться в президенты?\" Гипотеза: \"Все, кто участвует в выборах, не только кандидаты, но и народ, сделают все, чтобы показать свою политическую зрелость .\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "2" + ] + }, + "predict": { + "1": 0.21332062780857086, + "2": 0.5117295980453491, + "3": 0.2739091217517853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Шикарно!. Я чуть не разрыдалась. Наклонялся так близко, что я чувствовала его дыхание — отвратительное.", + "hypothesis": "Его дыхание — отвратительное." + }, + "outputs": "1", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 48 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Шикарно!. Я чуть не разрыдалась. Наклонялся так близко, что я чувствовала его дыхание — отвратительное.\" Гипотеза: \"Его дыхание — отвратительное.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.25663384795188904, + "2": 0.1998666375875473, + "3": 0.543293833732605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Это не значит, что всему обществу надо становиться стукачами. Но все должны играть по единым правилам. И если, кто-то думает, что он может эти правила не соблюдать, то его сосед говорит: Хорошо, но я не хочу платить за тебя налоги.", + "hypothesis": "Он может эти правила не соблюдать" + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "kp", + "id": 49 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Это не значит, что всему обществу надо становиться стукачами. Но все должны играть по единым правилам. И если, кто-то думает, что он может эти правила не соблюдать, то его сосед говорит: Хорошо, но я не хочу платить за тебя налоги.\" Гипотеза: \"Он может эти правила не соблюдать\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.740498423576355, + "2": 0.11355911195278168, + "3": 0.1458127647638321 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Его подозревают в совершении преступления по статье \"Причинение тяжкого вреда здоровью, с применением предмета, используемого в качестве оружия\".", + "hypothesis": "Кто-то нанёс тяжкий вред здоровью, с применением предмета, используемого в качестве оружия." + }, + "outputs": "1", + "meta": { + "verb": "подозревать", + "negation": "no_negation", + "genre": "kp", + "id": 50 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Его подозревают в совершении преступления по статье \"Причинение тяжкого вреда здоровью, с применением предмета, используемого в качестве оружия\".\" Гипотеза: \"Кто-то нанёс тяжкий вред здоровью, с применением предмета, используемого в качестве оружия.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.0328366793692112, + "2": 0.5136521458625793, + "3": 0.45329639315605164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И потом... мама приносит с фермы молоко... стало быть, мы сами воруем? Рассказать? Скажут, совсем спятила.", + "hypothesis": "Я совсем спятила." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 51 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"И потом... мама приносит с фермы молоко... стало быть, мы сами воруем? Рассказать? Скажут, совсем спятила.\" Гипотеза: \"Я совсем спятила.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9756476879119873, + "2": 0.003987248986959457, + "3": 0.02024892158806324 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я всегда знал им цену. Да, предадут, но предадут, если буду слаб, а тогда я был уверен, что никогда не дам им такой возможности! Меня мало заботили их убеждения, лишь бы следовали моим правилам... Тогда они следовали!..", + "hypothesis": "Никогда не дам им такой возможности." + }, + "outputs": "3", + "meta": { + "verb": "уверять", + "negation": "no_negation", + "genre": "fiction", + "id": 52 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Я всегда знал им цену. Да, предадут, но предадут, если буду слаб, а тогда я был уверен, что никогда не дам им такой возможности! Меня мало заботили их убеждения, лишь бы следовали моим правилам... Тогда они следовали!..\" Гипотеза: \"Никогда не дам им такой возможности.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.0012621274217963219, + "2": 0.9512707591056824, + "3": 0.04736097902059555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Прямо сейчас эту проблему власти уже не решат, но в следующем году обещают исправиться.", + "hypothesis": "Власти решат эту проблему прямо сейчас." + }, + "outputs": "2", + "meta": { + "verb": "обещать", + "negation": "negation", + "genre": "kp", + "id": 53 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Прямо сейчас эту проблему власти уже не решат, но в следующем году обещают исправиться.\" и гипотеза: \"Власти решат эту проблему прямо сейчас.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.8415559530258179, + "2": 0.0886993408203125, + "3": 0.06907912343740463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Плевать на все — пойду прямиком к ней, позвоню в дверь. Теперь плевать. Если откроет муж или сын, совру, например, что с работы, попрошу ее выйти на пару секунд.", + "hypothesis": "Я с работы." + }, + "outputs": "2", + "meta": { + "verb": "соврать", + "negation": "no_negation", + "genre": "fiction", + "id": 54 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Плевать на все — пойду прямиком к ней, позвоню в дверь. Теперь плевать. Если откроет муж или сын, совру, например, что с работы, попрошу ее выйти на пару секунд.\" и гипотеза: \"Я с работы.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.06676813215017319, + "2": 0.6334784030914307, + "3": 0.2992340326309204 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Если вам кто-то утверждает, что он знал заранее, он вам врет\", - сказал он в эфире телеканала \"Дождь\", заверив, что и сам он узнал об этих решениях в момент их оглашения.", + "hypothesis": "Он знал заранее." + }, + "outputs": "2", + "meta": { + "verb": "врать", + "negation": "no_negation", + "genre": "interfax", + "id": 55 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"\"Если вам кто-то утверждает, что он знал заранее, он вам врет\", - сказал он в эфире телеканала \"Дождь\", заверив, что и сам он узнал об этих решениях в момент их оглашения.\" Гипотеза: \"Он знал заранее.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9750955700874329, + "2": 0.01227464247494936, + "3": 0.01227464247494936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У Вас есть представление о том, каким образом это можно контролировать? - Конечно. Мы же говорим о тех людях, у которых есть собственность за границей, но она не отражена в декларации о доходах.", + "hypothesis": "У некоторых людей есть собственность за границей, но она не отражена в декларации о доходах." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "interfax", + "id": 56 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"У Вас есть представление о том, каким образом это можно контролировать? - Конечно. Мы же говорим о тех людях, у которых есть собственность за границей, но она не отражена в декларации о доходах.\" Гипотеза: \"У некоторых людей есть собственность за границей, но она не отражена в декларации о доходах.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.8831918835639954, + "2": 0.07249680906534195, + "3": 0.04397153481841087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "На комиссии депутаты дали старт подготовке к процедуре выборов. Они приняли решение об объявлении конкурса по отбору кандидатур на должность мэра города. Теперь аналогичное решение должен принять муниципалитет.", + "hypothesis": "Депутаты объявят конкурс по отбору кандидатур на должность мэра." + }, + "outputs": "3", + "meta": { + "verb": "принять", + "negation": "no_negation", + "genre": "kp", + "id": 57 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"На комиссии депутаты дали старт подготовке к процедуре выборов. Они приняли решение об объявлении конкурса по отбору кандидатур на должность мэра города. Теперь аналогичное решение должен принять муниципалитет.\" Гипотеза: \"Депутаты объявят конкурс по отбору кандидатур на должность мэра.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.048608798533678055, + "2": 0.2797242999076843, + "3": 0.6710237264633179 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Судя по озвученным данным, количество болеющих снижается.", + "hypothesis": "Количество болеющих равно нулю." + }, + "outputs": "2", + "meta": { + "verb": "судить", + "negation": "no_negation", + "genre": "kp", + "id": 58 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Судя по озвученным данным, количество болеющих снижается.\" Гипотеза: \"Количество болеющих равно нулю.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.480916827917099, + "2": 0.29169079661369324, + "3": 0.22716902196407318 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Если понадобится, постановление правительства о выделении топлива будет подписано\", - сказал Песков.", + "hypothesis": "Постановление о выделении топлива подписано." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 59 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"\"Если понадобится, постановление правительства о выделении топлива будет подписано\", - сказал Песков.\" Гипотеза: \"Постановление о выделении топлива подписано.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.6847801208496094, + "2": 0.09267491102218628, + "3": 0.22231554985046387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У меня есть только одна претензия. И, пожалуй, она не к писателю, а ко времени и месту... Объясняю. В предисловии автор сообщает, что книгу эту он в детстве читал, да забыл, — давая понять читателю, что как бы восстанавливает ее по памяти.", + "hypothesis": "Автор как бы восстанавливает книгу по памяти." + }, + "outputs": "3", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 60 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"У меня есть только одна претензия. И, пожалуй, она не к писателю, а ко времени и месту... Объясняю. В предисловии автор сообщает, что книгу эту он в детстве читал, да забыл, — давая понять читателю, что как бы восстанавливает ее по памяти.\" Гипотеза: \"Автор как бы восстанавливает книгу по памяти.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8054003715515137, + "2": 0.014751422218978405, + "3": 0.17970912158489227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Суд решил, что предварительного слушания не будет.", + "hypothesis": "Предварительного слушания не будет." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "interfax", + "id": 61 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Суд решил, что предварительного слушания не будет.\" Гипотеза: \"Предварительного слушания не будет.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7595625519752502, + "2": 0.09071680903434753, + "3": 0.14956672489643097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Этот факт подтвердили соседи подозреваемого.", + "hypothesis": "Это факт." + }, + "outputs": "1", + "meta": { + "verb": "подтвердить", + "negation": "no_negation", + "genre": "kp", + "id": 62 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Этот факт подтвердили соседи подозреваемого.\" Гипотеза: \"Это факт.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.7357277274131775, + "2": 0.05329594016075134, + "3": 0.2107895314693451 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Свалится она в будке с этой табуретки, — ворчливо сказали у плиты. — Где они двушки берут, хотела бы я знать. — Может быть, не надо было продавать дачу, — неуверенно сказал другой голос.", + "hypothesis": "Не надо было продавать дачу." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 63 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"— Свалится она в будке с этой табуретки, — ворчливо сказали у плиты. — Где они двушки берут, хотела бы я знать. — Может быть, не надо было продавать дачу, — неуверенно сказал другой голос.\" и гипотеза: \"Не надо было продавать дачу.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.979756236076355, + "2": 0.0074805305339396, + "3": 0.012333311140537262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Клялись мы друг другу так: «честное пионерское» или «честное ленинское». Самая большая клятва — «честное сталинское слово». Родители знали, если я сказала «честное сталинское», я не обманываю.", + "hypothesis": "Я не обманываю." + }, + "outputs": "2", + "meta": { + "verb": "знать", + "negation": "no_negation", + "genre": "fiction", + "id": 64 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Клялись мы друг другу так: «честное пионерское» или «честное ленинское». Самая большая клятва — «честное сталинское слово». Родители знали, если я сказала «честное сталинское», я не обманываю.\" и гипотеза: \"Я не обманываю.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9624674320220947, + "2": 0.007348529063165188, + "3": 0.0290639977902174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И обрабатывающая промышленность уже начинает преобладать, ее продукция идет на экспорт. Это огромная работа всей страны, всех граждан. Вот для ее осуществления как считали парламентарии, надо приводить в парламент новых людей, принимать новые законы.", + "hypothesis": "Для осуществления этой огромной работы надо приводить в парламент новых людей, принимать новые законы." + }, + "outputs": "3", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "interfax", + "id": 65 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"И обрабатывающая промышленность уже начинает преобладать, ее продукция идет на экспорт. Это огромная работа всей страны, всех граждан. Вот для ее осуществления как считали парламентарии, надо приводить в парламент новых людей, принимать новые законы.\" Гипотеза: \"Для осуществления этой огромной работы надо приводить в парламент новых людей, принимать новые законы.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9348602890968323, + "2": 0.02823033556342125, + "3": 0.03624846786260605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Вот, на ногах, да скучно одному... — ...И страшно, — усмехнулся воин. Он совсем не удивился, что я держу в Гарнизон. Незнакомец сказал: — Думал, счастье ищешь.", + "hypothesis": "Счастье ищешь." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 66 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"— Вот, на ногах, да скучно одному... — ...И страшно, — усмехнулся воин. Он совсем не удивился, что я держу в Гарнизон. Незнакомец сказал: — Думал, счастье ищешь.\" Гипотеза: \"Счастье ищешь.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.03000979870557785, + "2": 0.8770148754119873, + "3": 0.09243668615818024 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ели, смакуя каждое блюдо. Разговоры и шутки умолкали, иногда повисала полная тишина. Тогда кто-нибудь обязательно говорил: — Ангел молчания пролетел.", + "hypothesis": ": — Ангел молчания летал над едящими постоянно." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 67 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Ели, смакуя каждое блюдо. Разговоры и шутки умолкали, иногда повисала полная тишина. Тогда кто-нибудь обязательно говорил: — Ангел молчания пролетел.\" Гипотеза: \": — Ангел молчания летал над едящими постоянно.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7786904573440552, + "2": 0.023514414206147194, + "3": 0.19688378274440765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "А как же иначе? Прежнее — на слом, подступающее — невнятно. Как говорил сам писатель, очень интересный период!", + "hypothesis": "Очень интересный период." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 68 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"А как же иначе? Прежнее — на слом, подступающее — невнятно. Как говорил сам писатель, очень интересный период!\" Гипотеза: \"Очень интересный период.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.20607700943946838, + "2": 0.5601752996444702, + "3": 0.23351581394672394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я не оказалась \"железной леди\", какою ты хотел сделать меня для людей, — ты учил меня быть ею, но не скрывал, как тебе эти леди противны. Ты учил меня — такую беспомощную — социальной паранойе. Ты ничего не понимал: ты гордился тем, что я никогда не вру, но учил врать.", + "hypothesis": "Тебе эти люди противны." + }, + "outputs": "2", + "meta": { + "verb": "скрывать", + "negation": "negation", + "genre": "fiction", + "id": 69 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Я не оказалась \"железной леди\", какою ты хотел сделать меня для людей, — ты учил меня быть ею, но не скрывал, как тебе эти леди противны. Ты учил меня — такую беспомощную — социальной паранойе. Ты ничего не понимал: ты гордился тем, что я никогда не вру, но учил врать.\" Гипотеза: \"Тебе эти люди противны.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.8388861417770386, + "2": 0.06076870858669281, + "3": 0.1001906618475914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Почему ты так спрашиваешь? – Мать намазала кусок хлеба маслом и протянула дочери. – Просто беспокоимся, что худенькая... Это кто в городе, они все худеть стараются... а тут же силы нужны... – Но в глаза дочери мать не смотрела.", + "hypothesis": "Дочь худенькая." + }, + "outputs": "3", + "meta": { + "verb": "беспокоиться", + "negation": "no_negation", + "genre": "fiction", + "id": 70 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"– Почему ты так спрашиваешь? – Мать намазала кусок хлеба маслом и протянула дочери. – Просто беспокоимся, что худенькая... Это кто в городе, они все худеть стараются... а тут же силы нужны... – Но в глаза дочери мать не смотрела.\" Гипотеза: \"Дочь худенькая.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 152, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.02379756048321724, + "2": 0.8929968476295471, + "3": 0.08306164294481277 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В результате хозяин дома три раза ударил обидчика ножом в шею. Тот упал на землю и потерял сознание. Мужчина подумал, что он умер, и сбежал.", + "hypothesis": "Обидчик умер." + }, + "outputs": "2", + "meta": { + "verb": "подумать", + "negation": "no_negation", + "genre": "kp", + "id": 71 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"В результате хозяин дома три раза ударил обидчика ножом в шею. Тот упал на землю и потерял сознание. Мужчина подумал, что он умер, и сбежал.\" Гипотеза: \"Обидчик умер.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.43485772609710693, + "2": 0.38376057147979736, + "3": 0.18127566576004028 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пользователи спорят: что это – цвета российского или французского флага.", + "hypothesis": "Это цвета российского или французского флага." + }, + "outputs": "3", + "meta": { + "verb": "спорить", + "negation": "no_negation", + "genre": "kp", + "id": 72 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Пользователи спорят: что это – цвета российского или французского флага.\" Гипотеза: \"Это цвета российского или французского флага.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9448511600494385, + "2": 0.013477577827870846, + "3": 0.04151386395096779 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Взысканием долга занимались судебные приставы. Накануне в Центральный отдел пришли двое мужчин. Сказали, что представляют интересы кредитора.", + "hypothesis": "Двое мужчин представляли интересы кредитора." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "kp", + "id": 73 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Взысканием долга занимались судебные приставы. Накануне в Центральный отдел пришли двое мужчин. Сказали, что представляют интересы кредитора.\" и гипотеза: \"Двое мужчин представляли интересы кредитора.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.08960247784852982, + "2": 0.45503896474838257, + "3": 0.45503896474838257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Так, так. Она посмотрела слева от себя, потом справа от себя. – А ты нам нарисуешь горы, – сказала она мне.", + "hypothesis": "Она нарисовала мне горы." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 74 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"– Так, так. Она посмотрела слева от себя, потом справа от себя. – А ты нам нарисуешь горы, – сказала она мне.\" и гипотеза: \"Она нарисовала мне горы.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.683892011642456, + "2": 0.06361186504364014, + "3": 0.251589834690094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я уже упоминал, что совершенно не знал и не понимал, как с ней обстоят дела в действительности, да что там — не знал, есть ли она вообще. И уж во всяком случае, был уверен, что меня это явление совершенно точно не затронет, я не дам прикоснуться к себе пальцем, а если будет что-то такое, то напишу в прокуратуру, обращусь в следственные органы, разошлю письма по газетам. «Они, эти деды, — думал я, — просто-напросто привыкли издеваться над теми, кто не решается им ответить, и когда появлюсь я — всё это прекратится».", + "hypothesis": "Деды привыкли издеваться над теми, кто не решается им ответить, и когда появлюсь я — всё это прекратится." + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 75 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Я уже упоминал, что совершенно не знал и не понимал, как с ней обстоят дела в действительности, да что там — не знал, есть ли она вообще. И уж во всяком случае, был уверен, что меня это явление совершенно точно не затронет, я не дам прикоснуться к себе пальцем, а если будет что-то такое, то напишу в прокуратуру, обращусь в следственные органы, разошлю письма по газетам. «Они, эти деды, — думал я, — просто-напросто привыкли издеваться над теми, кто не решается им ответить, и когда появлюсь я — всё это прекратится».\" Гипотеза: \"Деды привыкли издеваться над теми, кто не решается им ответить, и когда появлюсь я — всё это прекратится.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9063974022865295, + "2": 0.03514483943581581, + "3": 0.05794404447078705 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "После него толстяк больше не возникал. Я молчал. Более того, мне показалось, что мои чувства оскорбили.", + "hypothesis": "Мои чувства оскорбили." + }, + "outputs": "1", + "meta": { + "verb": "показаться", + "negation": "no_negation", + "genre": "fiction", + "id": 76 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"После него толстяк больше не возникал. Я молчал. Более того, мне показалось, что мои чувства оскорбили.\" Гипотеза: \"Мои чувства оскорбили.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.3343183398246765, + "2": 0.486430287361145, + "3": 0.17894771695137024 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "А вы не верили. Вот вам и ответ! - назидательно сказал журналистам губернатор.", + "hypothesis": "Журналисты были не правы." + }, + "outputs": "3", + "meta": { + "verb": "верить", + "negation": "negation", + "genre": "kp", + "id": 77 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"А вы не верили. Вот вам и ответ! - назидательно сказал журналистам губернатор.\" Гипотеза: \"Журналисты были не правы.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.81878262758255, + "2": 0.019255921244621277, + "3": 0.16122785210609436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ее направили специалистам Центра «Амурский тигр» для исследования. - Шкура принадлежит взрослой особи амурского тигра. В последнее время сотрудникам полиции удавалось быстро расследовать подобные дела, надеемся и сейчас у них не возникнет трудностей.", + "hypothesis": "И сейчас у сотрудников полиции не возникнет трудностей с расследованием." + }, + "outputs": "2", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "kp", + "id": 78 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Ее направили специалистам Центра «Амурский тигр» для исследования. - Шкура принадлежит взрослой особи амурского тигра. В последнее время сотрудникам полиции удавалось быстро расследовать подобные дела, надеемся и сейчас у них не возникнет трудностей.\" Гипотеза: \"И сейчас у сотрудников полиции не возникнет трудностей с расследованием.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9436058402061462, + "2": 0.00925078708678484, + "3": 0.04697936773300171 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Если вам кто-то утверждает, что он знал заранее, он вам врет\", - сказал он в эфире телеканала \"Дождь\", заверив, что и сам он узнал об этих решениях в момент их оглашения.", + "hypothesis": "Он и сам узнал об этих решениях в момент их оглашения." + }, + "outputs": "1", + "meta": { + "verb": "заверить", + "negation": "no_negation", + "genre": "interfax", + "id": 79 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"\"Если вам кто-то утверждает, что он знал заранее, он вам врет\", - сказал он в эфире телеканала \"Дождь\", заверив, что и сам он узнал об этих решениях в момент их оглашения.\" Гипотеза: \"Он и сам узнал об этих решениях в момент их оглашения.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.006472364068031311, + "2": 0.9605839848518372, + "3": 0.0328693762421608 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В областном центре задержаны подозреваемые в кражах аккумуляторов.", + "hypothesis": "Аккумуляторы невозможно украсть." + }, + "outputs": "2", + "meta": { + "verb": "подозревать", + "negation": "no_negation", + "genre": "kp", + "id": 80 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"В областном центре задержаны подозреваемые в кражах аккумуляторов.\" Гипотеза: \"Аккумуляторы невозможно украсть.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.005039730574935675, + "2": 0.8475523591041565, + "3": 0.14728251099586487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он считает, что новое сооружение принесет большую пользу.", + "hypothesis": "Новое сооружение уже принесло большую пользу." + }, + "outputs": "2", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "kp", + "id": 81 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Он считает, что новое сооружение принесет большую пользу.\" Гипотеза: \"Новое сооружение уже принесло большую пользу.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9353103041648865, + "2": 0.011773819103837013, + "3": 0.052766598761081696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Сегодня я почувствовал: \"что-то кончилось\". Ссоры. Я не могу ее понять: в чем причина?", + "hypothesis": "Что-то кончилось." + }, + "outputs": "1", + "meta": { + "verb": "почувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 82 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Сегодня я почувствовал: \"что-то кончилось\". Ссоры. Я не могу ее понять: в чем причина?\" Гипотеза: \"Что-то кончилось.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.3468605875968933, + "2": 0.3468605875968933, + "3": 0.306103378534317 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— А я и не знаю, — отвечаю честно. — У нас тут тоже один ходил, неизвестно откуда, каждую неделю приезжал, вот на эту скамейку садился с блокнотиком. Я, говорит, писатель... Писать не будете?", + "hypothesis": "Он был писатель." + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 83 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"— А я и не знаю, — отвечаю честно. — У нас тут тоже один ходил, неизвестно откуда, каждую неделю приезжал, вот на эту скамейку садился с блокнотиком. Я, говорит, писатель... Писать не будете?\" и гипотеза: \"Он был писатель.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9802707433700562, + "2": 0.010889824479818344, + "3": 0.00848100334405899 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Его признали виновным в совершении убийства.", + "hypothesis": "Он совершил убийство." + }, + "outputs": "3", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 84 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Его признали виновным в совершении убийства.\" и гипотеза: \"Он совершил убийство.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.014742149971425533, + "2": 0.8048940896987915, + "3": 0.1795961558818817 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Слишком много вопросов. — Не дремлют — там. Они умнее, чем мы думаем.", + "hypothesis": "Они дремлют." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 85 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Слишком много вопросов. — Не дремлют — там. Они умнее, чем мы думаем.\" Гипотеза: \"Они дремлют.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9865033626556396, + "2": 0.004568417090922594, + "3": 0.008534925989806652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он выразил надежду, что в этом деле восторжествует справедливость. \"Наш подход прост и принципиален - когда происходит преступление, этим должен заниматься суд. Пострадавшая сторона имеет право на справедливость, и мы надеемся, что так и будет\", - подчеркнул тогда британский премьер.", + "hypothesis": "Так и будет." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "interfax", + "id": 86 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Он выразил надежду, что в этом деле восторжествует справедливость. \"Наш подход прост и принципиален - когда происходит преступление, этим должен заниматься суд. Пострадавшая сторона имеет право на справедливость, и мы надеемся, что так и будет\", - подчеркнул тогда британский премьер.\" Гипотеза: \"Так и будет.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5121178030967712, + "2": 0.2741169333457947, + "3": 0.21348245441913605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Что на уме, то и на языке. Не может хоть изредка промолчать даже в такое опасное время. Он говорит: это не армяне, а мы сами плохие.", + "hypothesis": "Мы сами плохие." + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 87 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Что на уме, то и на языке. Не может хоть изредка промолчать даже в такое опасное время. Он говорит: это не армяне, а мы сами плохие.\" Гипотеза: \"Мы сами плохие.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.009123795665800571, + "2": 0.9306524395942688, + "3": 0.05949461832642555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне показалось, здоровяк высыпал в огонь горсть серебряного песка.", + "hypothesis": "Здоровяк высыпал из огня две горсти серебряного песка." + }, + "outputs": "2", + "meta": { + "verb": "показаться", + "negation": "no_negation", + "genre": "fiction", + "id": 88 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Мне показалось, здоровяк высыпал в огонь горсть серебряного песка.\" Гипотеза: \"Здоровяк высыпал из огня две горсти серебряного песка.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9764676690101624, + "2": 0.00310788257047534, + "3": 0.020265938714146614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Сегодня мы оцениваем ее готовность. Работы выполнены качественно и в срок. Думаю, что ребята, которые в следующем году начнут здесь обучаться, будут приходить за новыми знаниями с радостью и удовольствием.", + "hypothesis": "Ребята, которые в следующем году начнут здесь обучаться, будут приходить за новыми знаниями с радостью и удовольствием." + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "kp", + "id": 89 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"- Сегодня мы оцениваем ее готовность. Работы выполнены качественно и в срок. Думаю, что ребята, которые в следующем году начнут здесь обучаться, будут приходить за новыми знаниями с радостью и удовольствием.\" Гипотеза: \"Ребята, которые в следующем году начнут здесь обучаться, будут приходить за новыми знаниями с радостью и удовольствием.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.006935736630111933, + "2": 0.9084022641181946, + "3": 0.08449456840753555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Мы не можем посадить на трон кентавра, – ответил шеф Девятого отделения. – Не сажайте – от этого ничего не изменится. – Да как вы не понимаете? Есть возможность все сделать легально.", + "hypothesis": "Невозможно сделать что-либо легально." + }, + "outputs": "2", + "meta": { + "verb": "понимать", + "negation": "negation", + "genre": "fiction", + "id": 90 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"– Мы не можем посадить на трон кентавра, – ответил шеф Девятого отделения. – Не сажайте – от этого ничего не изменится. – Да как вы не понимаете? Есть возможность все сделать легально.\" Гипотеза: \"Невозможно сделать что-либо легально.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.017442377284169197, + "2": 0.7416687607765198, + "3": 0.24078458547592163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— На иконе? — А чего? Он говорит, это просто размалеванная доска.", + "hypothesis": "Это просто размалеванная доска." + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 91 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"— На иконе? — А чего? Он говорит, это просто размалеванная доска.\" Гипотеза: \"Это просто размалеванная доска.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9870139360427856, + "2": 0.001905385171994567, + "3": 0.01096473541110754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Произведено физическое отделение корабля от станции\", - сказал собеседник агентства.", + "hypothesis": "Корабль отделился от станции." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 92 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"\"Произведено физическое отделение корабля от станции\", - сказал собеседник агентства.\" Гипотеза: \"Корабль отделился от станции.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9411748647689819, + "2": 0.011847643181681633, + "3": 0.04685833677649498 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Даже одного случая достаточно для того, чтобы санитарные врачи забили тревогу. Объявлен карантин в Калининском районе. Тот факт, что бешенство проникло на территорию города, говорит о неблагополучной ситуации по бешенству.", + "hypothesis": "Ситуация по бешенству неблагополучна." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "kp", + "id": 93 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Даже одного случая достаточно для того, чтобы санитарные врачи забили тревогу. Объявлен карантин в Калининском районе. Тот факт, что бешенство проникло на территорию города, говорит о неблагополучной ситуации по бешенству.\" и гипотеза: \"Ситуация по бешенству неблагополучна.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9815701246261597, + "2": 0.009622975252568722, + "3": 0.008492245338857174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Мы ожидаем, что это произойдет в ближайшие дни\", - сказал он.", + "hypothesis": "Это произойдет в ближайшие дни." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 94 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"\"Мы ожидаем, что это произойдет в ближайшие дни\", - сказал он.\" и гипотеза: \"Это произойдет в ближайшие дни.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.06676582992076874, + "2": 0.6334565281867981, + "3": 0.2992236912250519 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Мы не ожидаем, что это произойдет в ближайшие дни\", - сказал он.", + "hypothesis": "Это произойдет в ближайшие дни." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "negation", + "genre": "interfax", + "id": 95 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"\"Мы не ожидаем, что это произойдет в ближайшие дни\", - сказал он.\" Гипотеза: \"Это произойдет в ближайшие дни.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.002171937609091401, + "2": 0.9928897619247437, + "3": 0.004597992170602083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В настоящее время пострадавший находится на лечении в больнице. Врачи установили, что его здоровью причинен тяжкий вред. Как следует из материалов уголовного дела, подозреваемый находился в гостях у знакомого.", + "hypothesis": "Пострадавший здоров." + }, + "outputs": "2", + "meta": { + "verb": "установить", + "negation": "no_negation", + "genre": "kp", + "id": 96 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"В настоящее время пострадавший находится на лечении в больнице. Врачи установили, что его здоровью причинен тяжкий вред. Как следует из материалов уголовного дела, подозреваемый находился в гостях у знакомого.\" Гипотеза: \"Пострадавший здоров.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8984227180480957, + "2": 0.050685543566942215, + "3": 0.050685543566942215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Я знаю о петиции работников завода, - сказала она.", + "hypothesis": "Работники завода составили петицию." + }, + "outputs": "1", + "meta": { + "verb": "знать", + "negation": "no_negation", + "genre": "kp", + "id": 97 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"- Я знаю о петиции работников завода, - сказала она.\" Гипотеза: \"Работники завода составили петицию.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.48376840353012085, + "2": 0.13860197365283966, + "3": 0.37675920128822327 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Что именно стало призом – не уточняется. Но, судя по кадрам, видео конкурса снимали почти все посетители клуба.", + "hypothesis": "Почти все посетители клуба снимали конкурс на видео." + }, + "outputs": "1", + "meta": { + "verb": "судить", + "negation": "no_negation", + "genre": "kp", + "id": 98 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Что именно стало призом – не уточняется. Но, судя по кадрам, видео конкурса снимали почти все посетители клуба.\" Гипотеза: \"Почти все посетители клуба снимали конкурс на видео.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9843319654464722, + "2": 0.001479883212596178, + "3": 0.014040741138160229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как уточнил журналистам источник в экстренных службах столицы, всего из здания вывели восемь человек.", + "hypothesis": "Из здания вывели восемь человек." + }, + "outputs": "1", + "meta": { + "verb": "уточнить", + "negation": "no_negation", + "genre": "kp", + "id": 99 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Как уточнил журналистам источник в экстренных службах столицы, всего из здания вывели восемь человек.\" Гипотеза: \"Из здания вывели восемь человек.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.88565593957901, + "2": 0.02082863263785839, + "3": 0.0933474451303482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Ну как он не понимает, что это - лето, что оно - короткое, что оно вот-вот кончится и что каждый раз у меня в лапах сверкает радуга.", + "hypothesis": "Лето короткое, оно вот-вот кончится." + }, + "outputs": "1", + "meta": { + "verb": "понимать", + "negation": "negation", + "genre": "fiction", + "id": 100 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"- Ну как он не понимает, что это - лето, что оно - короткое, что оно вот-вот кончится и что каждый раз у меня в лапах сверкает радуга.\" Гипотеза: \"Лето короткое, оно вот-вот кончится.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.4682314097881317, + "2": 0.11838743835687637, + "3": 0.41321274638175964 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "«Хочу поблагодарить наших болельщиков за поддержку. Мы играем для них. Надеюсь всех увидеть во второй половине сезона на трибунах», - заключила специалист.", + "hypothesis": "Специалист увидит всех во второй половине сезона на трибунах." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "kp", + "id": 101 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"«Хочу поблагодарить наших болельщиков за поддержку. Мы играем для них. Надеюсь всех увидеть во второй половине сезона на трибунах», - заключила специалист.\" Гипотеза: \"Специалист увидит всех во второй половине сезона на трибунах.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.08793720602989197, + "2": 0.8343250155448914, + "3": 0.07760430872440338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Это хорошо, – сказал председатель профкома. – А я думал, прогуливаешь.", + "hypothesis": "Ты прогуливаешь." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 102 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"– Это хорошо, – сказал председатель профкома. – А я думал, прогуливаешь.\" Гипотеза: \"Ты прогуливаешь.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.5121424198150635, + "2": 0.2134927213191986, + "3": 0.27413010597229004 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Автомобиль едет по своей полосе, потом вдруг выезжает на заснеженную разделительную полосу – как предположили пользователи сети, для обгона.", + "hypothesis": "Автомобиль обогнал разделительную полосу." + }, + "outputs": "2", + "meta": { + "verb": "предположить", + "negation": "no_negation", + "genre": "kp", + "id": 103 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Автомобиль едет по своей полосе, потом вдруг выезжает на заснеженную разделительную полосу – как предположили пользователи сети, для обгона.\" и гипотеза: \"Автомобиль обогнал разделительную полосу.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.3480426073074341, + "2": 0.5063990354537964, + "3": 0.14508575201034546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Я от жизни натерпелась. Я шла из поликлиники, какой-то урод на меня бросился и изнасиловал. — Да что ты говоришь!", + "hypothesis": "Она шла из поликлиника, какой-то урод на нее бросился и изнасиловал" + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 104 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"— Я от жизни натерпелась. Я шла из поликлиники, какой-то урод на меня бросился и изнасиловал. — Да что ты говоришь!\" и гипотеза: \"Она шла из поликлиника, какой-то урод на нее бросился и изнасиловал\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.6144348382949829, + "2": 0.09422663599252701, + "3": 0.29023846983909607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Что значит — кто ее знает? Ну, вы по себе посудите — вы станете ни с того ни с того в пропасть кидаться?.. Да, я понимаю, что вы не лошадь... Ну что вы, что вы!", + "hypothesis": "Вы не лошадь." + }, + "outputs": "1", + "meta": { + "verb": "понимать", + "negation": "no_negation", + "genre": "fiction", + "id": 105 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Что значит — кто ее знает? Ну, вы по себе посудите — вы станете ни с того ни с того в пропасть кидаться?.. Да, я понимаю, что вы не лошадь... Ну что вы, что вы!\" Гипотеза: \"Вы не лошадь.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8875959515571594, + "2": 0.03899824619293213, + "3": 0.0728583112359047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но там, на репетициях, так интересно! А в госпитале все время одно и то же! Перечитала и подумала: какая же я эгоистичная!", + "hypothesis": "Я эгоистичная!" + }, + "outputs": "1", + "meta": { + "verb": "подумать", + "negation": "no_negation", + "genre": "fiction", + "id": 106 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Но там, на репетициях, так интересно! А в госпитале все время одно и то же! Перечитала и подумала: какая же я эгоистичная!\" Гипотеза: \"Я эгоистичная!\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.33644092082977295, + "2": 0.43199869990348816, + "3": 0.23123225569725037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Юным пешеходам стражи порядка раздавали волшебные письма от «Полицейского Деда Мороза», в которых сказано о магических правилах и волшебных заклинаниях, которые защитят детишек в незнакомых ситуациях.", + "hypothesis": "В незнакомых ситуациях детишек защищают только магические правила и заклинания." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "kp", + "id": 107 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Юным пешеходам стражи порядка раздавали волшебные письма от «Полицейского Деда Мороза», в которых сказано о магических правилах и волшебных заклинаниях, которые защитят детишек в незнакомых ситуациях.\" Гипотеза: \"В незнакомых ситуациях детишек защищают только магические правила и заклинания.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.15420526266098022, + "2": 0.36991921067237854, + "3": 0.47498568892478943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Осадил скакуна и заставил его встать у обочины. — А ведь ты мне все наврала! — предположил он, открывая дверцу машины.", + "hypothesis": "А ведь ты мне все наврала!" + }, + "outputs": "3", + "meta": { + "verb": "предположить", + "negation": "no_negation", + "genre": "fiction", + "id": 108 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Осадил скакуна и заставил его встать у обочины. — А ведь ты мне все наврала! — предположил он, открывая дверцу машины.\" Гипотеза: \"А ведь ты мне все наврала!\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.7357368469238281, + "2": 0.025175530463457108, + "3": 0.23885877430438995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- А угрозы очередного газового кризиса это все не создает? - Что касается возможности газового кризиса, то вопрос будет больше зависеть от того, не придет ли кому в голову снова незаконно отбирать транзитный газ. Надеюсь, что этого не произойдет.", + "hypothesis": "Этого не произойдет." + }, + "outputs": "2", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "interfax", + "id": 109 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"- А угрозы очередного газового кризиса это все не создает? - Что касается возможности газового кризиса, то вопрос будет больше зависеть от того, не придет ли кому в голову снова незаконно отбирать транзитный газ. Надеюсь, что этого не произойдет.\" Гипотеза: \"Этого не произойдет.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.016477415338158607, + "2": 0.8996363878250122, + "3": 0.0836792141199112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина рассказывала доверчивым людям о наложенном на них проклятии и предлагала решить проблему.", + "hypothesis": "Доверчивые люди проклинали женщин." + }, + "outputs": "2", + "meta": { + "verb": "рассказывать", + "negation": "no_negation", + "genre": "kp", + "id": 110 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Женщина рассказывала доверчивым людям о наложенном на них проклятии и предлагала решить проблему.\" Гипотеза: \"Доверчивые люди проклинали женщин.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9738522171974182, + "2": 0.003099558176472783, + "3": 0.02290280908346176 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Результаты проведенной экспертизы гильз, найденных на месте преступления, показали, что выстрелы были сделаны из пистолета, принадлежащего отцу семейства\", - сообщается в заявлении.", + "hypothesis": "Выстрелы были сделаны из пистолета, принадлежащего отцу семейства." + }, + "outputs": "1", + "meta": { + "verb": "показать", + "negation": "no_negation", + "genre": "interfax", + "id": 111 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"\"Результаты проведенной экспертизы гильз, найденных на месте преступления, показали, что выстрелы были сделаны из пистолета, принадлежащего отцу семейства\", - сообщается в заявлении.\" Гипотеза: \"Выстрелы были сделаны из пистолета, принадлежащего отцу семейства.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9858251214027405, + "2": 0.003137665567919612, + "3": 0.010951529256999493 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Так, она заявила, что считает вхождение полуострова в состав нашей страны законным.", + "hypothesis": "Вхождение полуострова в состав нашей страны законно." + }, + "outputs": "3", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "kp", + "id": 112 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Так, она заявила, что считает вхождение полуострова в состав нашей страны законным.\" Гипотеза: \"Вхождение полуострова в состав нашей страны законно.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.1731242686510086, + "2": 0.22229596972465515, + "3": 0.6042630672454834 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Вот почему на этот раз я пишу к Вам по-русски. Я — не чиновник, не официальное лицо и даже не издатель, а всего лишь писатель. Много это или мало — дело другое, но, думаю, Вы согласитесь со мной: претензии ко мне могут быть лишь чисто литературные.", + "hypothesis": "Вы обязаны соглашаться со мной." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 113 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Вот почему на этот раз я пишу к Вам по-русски. Я — не чиновник, не официальное лицо и даже не издатель, а всего лишь писатель. Много это или мало — дело другое, но, думаю, Вы согласитесь со мной: претензии ко мне могут быть лишь чисто литературные.\" и гипотеза: \"Вы обязаны соглашаться со мной.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9961246848106384, + "2": 0.002179014030843973, + "3": 0.0013216387014836073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Задача поначалу казалась сложной. Но оперативникам удалось быстро найти следы. Личности подозреваемых установили, их задержали.", + "hypothesis": "Оперативники нашли следы быстро." + }, + "outputs": "1", + "meta": { + "verb": "удаться", + "negation": "no_negation", + "genre": "kp", + "id": 114 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Задача поначалу казалась сложной. Но оперативникам удалось быстро найти следы. Личности подозреваемых установили, их задержали.\" и гипотеза: \"Оперативники нашли следы быстро.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.02589491941034794, + "2": 0.7567604780197144, + "3": 0.2168155014514923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Мы передадим проект резолюции в ближайшие часы\", - сказал он журналистам.", + "hypothesis": "Они уже передали проект резолюции." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 115 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"\"Мы передадим проект резолюции в ближайшие часы\", - сказал он журналистам.\" Гипотеза: \"Они уже передали проект резолюции.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.9485948085784912, + "2": 0.02230881154537201, + "3": 0.02864508144557476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Для вас занятия сегодня отменяются. - Но я хочу посмотреть на президента. - Вы не пройдете внутрь, сами понимаете.", + "hypothesis": "Вы не пройдете внутрь." + }, + "outputs": "2", + "meta": { + "verb": "понимать", + "negation": "no_negation", + "genre": "interfax", + "id": 116 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"- Для вас занятия сегодня отменяются. - Но я хочу посмотреть на президента. - Вы не пройдете внутрь, сами понимаете.\" Гипотеза: \"Вы не пройдете внутрь.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9511011838912964, + "2": 0.01973947510123253, + "3": 0.02872076816856861 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Нельзя же так. Теряешь к себе последнее уважение. И все же - здесь она пыталась быть честной сама с собой - приятно было оказаться по другую сторону баррикады, чувствовать себя победителем в том сражении, которое называется жизнью, хоть на вечер, но быть защищенной от всех неприятностей.", + "hypothesis": "Я победитель в том сражении, которое называется жизнью." + }, + "outputs": "1", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 117 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Нельзя же так. Теряешь к себе последнее уважение. И все же - здесь она пыталась быть честной сама с собой - приятно было оказаться по другую сторону баррикады, чувствовать себя победителем в том сражении, которое называется жизнью, хоть на вечер, но быть защищенной от всех неприятностей.\" Гипотеза: \"Я победитель в том сражении, которое называется жизнью.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9906576871871948, + "2": 0.0011599408462643623, + "3": 0.007563764229416847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мать умершего мужчины тоже подтвердила, что девочка - ее внучка. Кроме того, в качестве доказательства выступили семейные фотографии, судя по которым отец и дочка действительно были близки. В результате суд официально признал мужчину отцом своей дочки.", + "hypothesis": "Мужчина - отец девочки." + }, + "outputs": "3", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 118 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Мать умершего мужчины тоже подтвердила, что девочка - ее внучка. Кроме того, в качестве доказательства выступили семейные фотографии, судя по которым отец и дочка действительно были близки. В результате суд официально признал мужчину отцом своей дочки.\" Гипотеза: \"Мужчина - отец девочки.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9729794859886169, + "2": 0.003976345062255859, + "3": 0.022882284596562386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Хорошо бы, подумаю я, вернуться в город, тогда можно было бы сходить в дом культуры железнодорожников на дискотеку, дискотека длится всю ночь, там играет громкая музыка, и я бы не слышал, как жалобно кричат Ракеты на реке, но, вообще, конечно, страшно возвращаться, если я вернусь, все сразу же изберут меня императором таким-то, и я не смогу ждать, императоры не имеют возможности ждать, им ждать некогда; однако к зиме все равно я вынужден буду вернуться.", + "hypothesis": "Хорошо бы вернуться в город, тогда можно было бы сходить в дом культуры железнодорожников." + }, + "outputs": "1", + "meta": { + "verb": "подумать", + "negation": "no_negation", + "genre": "fiction", + "id": 119 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Хорошо бы, подумаю я, вернуться в город, тогда можно было бы сходить в дом культуры железнодорожников на дискотеку, дискотека длится всю ночь, там играет громкая музыка, и я бы не слышал, как жалобно кричат Ракеты на реке, но, вообще, конечно, страшно возвращаться, если я вернусь, все сразу же изберут меня императором таким-то, и я не смогу ждать, императоры не имеют возможности ждать, им ждать некогда; однако к зиме все равно я вынужден буду вернуться.\" Гипотеза: \"Хорошо бы вернуться в город, тогда можно было бы сходить в дом культуры железнодорожников.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.02517787739634514, + "2": 0.7358054518699646, + "3": 0.23888105154037476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я никогда не говорил, что не буду больше баллотироваться.", + "hypothesis": "Я не буду больше баллотироваться." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "negation", + "genre": "interfax", + "id": 120 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Я никогда не говорил, что не буду больше баллотироваться.\" Гипотеза: \"Я не буду больше баллотироваться.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3627450466156006, + "2": 0.17134864628314972, + "3": 0.46577388048171997 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Там отмечается, что сейчас нужно искать выход, чтобы прервать эту дурную бесконечность. \"Все это может закончиться большой кровью. Думаем, вы понимаете это не хуже нас!\"", + "hypothesis": "Вы понимаете это не хуже нас!" + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "interfax", + "id": 121 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Там отмечается, что сейчас нужно искать выход, чтобы прервать эту дурную бесконечность. \"Все это может закончиться большой кровью. Думаем, вы понимаете это не хуже нас!\"\" Гипотеза: \"Вы понимаете это не хуже нас!\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9779447913169861, + "2": 0.0016660462133586407, + "3": 0.020296595990657806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Однако в подразделениях социальной сферы подобные меры проводиться не будут. Также глава города считает, что количество обслуживающих чиновников машин слишком большое. - Решено оптимизировать работу автотранспортного цеха, - добавил градоначальник.", + "hypothesis": "Работа автотранспортного цеха будет оптимизирована." + }, + "outputs": "3", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 122 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Однако в подразделениях социальной сферы подобные меры проводиться не будут. Также глава города считает, что количество обслуживающих чиновников машин слишком большое. - Решено оптимизировать работу автотранспортного цеха, - добавил градоначальник.\" Гипотеза: \"Работа автотранспортного цеха будет оптимизирована.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.956331193447113, + "2": 0.006443708669394255, + "3": 0.03708098456263542 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но долгое время, хоть и взрослый, но испуганный, был уверен, что они (чекисты) засекли меня, и ждал наказания. Больше я ни на какие выборы никогда не ходил, даже в наши дни. Справедливости ради должен сказать, что не делал этого не из принципа и не из страха.", + "hypothesis": "Я не делал этого не из принципа и не из страха." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 123 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Но долгое время, хоть и взрослый, но испуганный, был уверен, что они (чекисты) засекли меня, и ждал наказания. Больше я ни на какие выборы никогда не ходил, даже в наши дни. Справедливости ради должен сказать, что не делал этого не из принципа и не из страха.\" и гипотеза: \"Я не делал этого не из принципа и не из страха.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9897867441177368, + "2": 0.0058854869566857815, + "3": 0.0040450324304401875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Видимо, получил европейское воспитание. Писал, что играет на фортепьяно и поёт. Надеюсь, представится случай послушать.", + "hypothesis": "Он играет на фортепьяно и поёт." + }, + "outputs": "3", + "meta": { + "verb": "писать", + "negation": "no_negation", + "genre": "fiction", + "id": 124 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Видимо, получил европейское воспитание. Писал, что играет на фортепьяно и поёт. Надеюсь, представится случай послушать.\" и гипотеза: \"Он играет на фортепьяно и поёт.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5277991890907288, + "2": 0.1512170135974884, + "3": 0.32012641429901123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Вы их всяким говном кормите, – сказал я. – То есть как говном?", + "hypothesis": "Их кормят всяким говном." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 125 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"– Вы их всяким говном кормите, – сказал я. – То есть как говном?\" Гипотеза: \"Их кормят всяким говном.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.03200865164399147, + "2": 0.9354299306869507, + "3": 0.03200865164399147 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Его признали виновным в применении насилия в отношении сотрудника полиции.", + "hypothesis": "Он признал виновным сотрудника полиции." + }, + "outputs": "2", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 126 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Его признали виновным в применении насилия в отношении сотрудника полиции.\" Гипотеза: \"Он признал виновным сотрудника полиции.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.010249162092804909, + "2": 0.9226001501083374, + "3": 0.06683292984962463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Неделю петлял вдоль побережья, забирая к югу. Ночевал там, где заставал его закат. Наконец осознал, что кружит — узнал портье, рыжего, с серьгой, — и понял, что ночевал в этом мотеле неделю назад.", + "hypothesis": "Он никогда не ночевал в мотелях." + }, + "outputs": "2", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 127 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Неделю петлял вдоль побережья, забирая к югу. Ночевал там, где заставал его закат. Наконец осознал, что кружит — узнал портье, рыжего, с серьгой, — и понял, что ночевал в этом мотеле неделю назад.\" Гипотеза: \"Он никогда не ночевал в мотелях.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.8442976474761963, + "2": 0.025495579466223717, + "3": 0.12947724759578705 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "При этом правозащитник заявил, что примет решение о том, продолжать ли голодовку, в зависимости от вердикта врачей. \"Я сам настроен на продолжение голодовки, но посмотрим, что скажут врачи. Буду ориентироваться на их рекомендацию\", - сказал правозащитник.", + "hypothesis": "Правозащитник продолжит голодовку." + }, + "outputs": "3", + "meta": { + "verb": "принять", + "negation": "no_negation", + "genre": "interfax", + "id": 128 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"При этом правозащитник заявил, что примет решение о том, продолжать ли голодовку, в зависимости от вердикта врачей. \"Я сам настроен на продолжение голодовки, но посмотрим, что скажут врачи. Буду ориентироваться на их рекомендацию\", - сказал правозащитник.\" Гипотеза: \"Правозащитник продолжит голодовку.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7183101773262024, + "2": 0.07570933550596237, + "3": 0.20579931139945984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Экономика построена на труде людей. А труд, заключающийся в том, что мои деньги прокручивают во всемирной «пирамиде», я не признаю. Я умею считать и потому точно знаю, что либо обещанные мне проценты меньше инфляции, либо больше — но такой банк завтра прогорит.", + "hypothesis": "Либо обещанные мне проценты меньше инфляции, либо больше — но такой банк завтра прогорит." + }, + "outputs": "1", + "meta": { + "verb": "знать", + "negation": "no_negation", + "genre": "fiction", + "id": 129 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Экономика построена на труде людей. А труд, заключающийся в том, что мои деньги прокручивают во всемирной «пирамиде», я не признаю. Я умею считать и потому точно знаю, что либо обещанные мне проценты меньше инфляции, либо больше — но такой банк завтра прогорит.\" Гипотеза: \"Либо обещанные мне проценты меньше инфляции, либо больше — но такой банк завтра прогорит.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.14021432399749756, + "2": 0.6283969879150391, + "3": 0.23117434978485107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Считай, что я пошутил. — А о том, что ты будешь первосвященником?.. — Об этом тоже не нужно говорить!", + "hypothesis": "Ты первосвященник" + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "negation", + "genre": "fiction", + "id": 130 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Считай, что я пошутил. — А о том, что ты будешь первосвященником?.. — Об этом тоже не нужно говорить!\" Гипотеза: \"Ты первосвященник\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.6389753222465515, + "2": 0.12582169473171234, + "3": 0.23506590723991394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В ушах звучали слова несчастного. Я видел, как раскалённое железо с шипением погружается в плоть. — Я надеюсь и молю Небесного Отца, что твой поиск закончится.", + "hypothesis": "Твой поиск закончится." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "fiction", + "id": 131 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"В ушах звучали слова несчастного. Я видел, как раскалённое железо с шипением погружается в плоть. — Я надеюсь и молю Небесного Отца, что твой поиск закончится.\" Гипотеза: \"Твой поиск закончится.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.7968475818634033, + "2": 0.10784158855676651, + "3": 0.09516987204551697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Звоню, но никто не подходит. Звоню минуты две, чтобы мама могла убедиться — я сделал все, что в моих силах. — Да, странная девушка, — говорит мама и тут же спрашивает: — А какое впечатление на тебя произвела Света?", + "hypothesis": "Света - странная девушка." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 132 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Звоню, но никто не подходит. Звоню минуты две, чтобы мама могла убедиться — я сделал все, что в моих силах. — Да, странная девушка, — говорит мама и тут же спрашивает: — А какое впечатление на тебя произвела Света?\" Гипотеза: \"Света - странная девушка.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.5985483527183533, + "2": 0.038263916969299316, + "3": 0.36303794384002686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Не заплатить за проезд и поиграть с собственной жизнью решили два уфимских подростка.", + "hypothesis": "Оба подростка были из Уфы." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 133 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Не заплатить за проезд и поиграть с собственной жизнью решили два уфимских подростка.\" и гипотеза: \"Оба подростка были из Уфы.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.02218600921332836, + "2": 0.8325238823890686, + "3": 0.14467094838619232 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Он находится в шоке\", - пишет издание. Мужчина уже дал показания. У следствия есть версия, что спортсмен принял подругу за грабителя.", + "hypothesis": "Подруга была грабителем." + }, + "outputs": "2", + "meta": { + "verb": "принять за", + "negation": "no_negation", + "genre": "interfax", + "id": 134 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"\"Он находится в шоке\", - пишет издание. Мужчина уже дал показания. У следствия есть версия, что спортсмен принял подругу за грабителя.\" и гипотеза: \"Подруга была грабителем.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.3314041793346405, + "2": 0.3755301237106323, + "3": 0.29246315360069275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Я понял. – Ни хрена ты не понял, – сказала она. – Ладно, забудь, я пошутила.", + "hypothesis": "Ни хрена ты не понял." + }, + "outputs": "3", + "meta": { + "verb": "пошутить", + "negation": "no_negation", + "genre": "fiction", + "id": 135 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"– Я понял. – Ни хрена ты не понял, – сказала она. – Ладно, забудь, я пошутила.\" Гипотеза: \"Ни хрена ты не понял.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9778728485107422, + "2": 0.007466150913387537, + "3": 0.013948606327176094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мать умершего мужчины тоже подтвердила, что девочка - ее внучка. Кроме того, в качестве доказательства выступили семейные фотографии, судя по которым отец и дочка действительно были близки. В результате суд официально признал мужчину отцом своей дочки.", + "hypothesis": "Девочка – внучка матери умершего мужчины." + }, + "outputs": "1", + "meta": { + "verb": "подтвердить", + "negation": "no_negation", + "genre": "kp", + "id": 136 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Мать умершего мужчины тоже подтвердила, что девочка - ее внучка. Кроме того, в качестве доказательства выступили семейные фотографии, судя по которым отец и дочка действительно были близки. В результате суд официально признал мужчину отцом своей дочки.\" Гипотеза: \"Девочка – внучка матери умершего мужчины.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.6388280987739563, + "2": 0.1257927119731903, + "3": 0.2350117564201355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как бы там ни было в таких случаях на самом деле покупатель имеет право обратиться с претензией к торговой сети или к производителю хлеба. Они обязаны поменять булку на качественную либо вернуть деньги. Если покупатель считает, что такая «начинка» нанесла вред его психике или здоровью, он также может потребовать материальную компенсацию.", + "hypothesis": "Покупатель потребовал материальную компенсацию." + }, + "outputs": "3", + "meta": { + "verb": "мочь", + "negation": "no_negation", + "genre": "kp", + "id": 137 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Как бы там ни было в таких случаях на самом деле покупатель имеет право обратиться с претензией к торговой сети или к производителю хлеба. Они обязаны поменять булку на качественную либо вернуть деньги. Если покупатель считает, что такая «начинка» нанесла вред его психике или здоровью, он также может потребовать материальную компенсацию.\" Гипотеза: \"Покупатель потребовал материальную компенсацию.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.6426038146018982, + "2": 0.05274813249707222, + "3": 0.3035445511341095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Надоедливо и пронзительно пели птицы. В колоколе одеяла гулко и мерно раскачивалось звучание. Звук множился и ширился в нем, он понял, что это стучало его сердце.", + "hypothesis": "Это стучало его сердце." + }, + "outputs": "3", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 138 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Надоедливо и пронзительно пели птицы. В колоколе одеяла гулко и мерно раскачивалось звучание. Звук множился и ширился в нем, он понял, что это стучало его сердце.\" Гипотеза: \"Это стучало его сердце.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7850586771965027, + "2": 0.016293372958898544, + "3": 0.19849392771720886 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Возгорание произошло в ресторане, расположенном в квартале, где находится здание центральной почты. \"Причины возгорания пока не известны. Есть опасения, что огонь может перекинуться на жилые дома\", - сказал собеседник агентства.", + "hypothesis": "Причины возгорания пока не известны. Есть опасения, что огонь может перекинуться на жилые дома." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 139 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Возгорание произошло в ресторане, расположенном в квартале, где находится здание центральной почты. \"Причины возгорания пока не известны. Есть опасения, что огонь может перекинуться на жилые дома\", - сказал собеседник агентства.\" Гипотеза: \"Причины возгорания пока не известны. Есть опасения, что огонь может перекинуться на жилые дома.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.14413835108280182, + "2": 0.6459832787513733, + "3": 0.20972006022930145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Глянул на ноги, смутился: – Я люблю так. Чаю хотите? Надеюсь, ваш брат не заедет сюда на тракторе?", + "hypothesis": "Чаю нет." + }, + "outputs": "2", + "meta": { + "verb": "хотеть", + "negation": "no_negation", + "genre": "fiction", + "id": 140 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Глянул на ноги, смутился: – Я люблю так. Чаю хотите? Надеюсь, ваш брат не заедет сюда на тракторе?\" Гипотеза: \"Чаю нет.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.16025415062904358, + "2": 0.6338174343109131, + "3": 0.20577038824558258 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Продавщица закинула голову назад, так что чуть не сломала себе шею, и из этого неудобного положения долго и молча разглядывала меня. Я уже думал, что это никогда не кончится и книги мне не видать, а я очень хотел заполучить эту книгу, но тут продавщица процедила: Семьдесят четыре копейки в кассу, – и повернулась ко мне спиной. Я обрадовался и пошел в кассу; когда я отходил от прилавка, я услышал одно слово, сказанное вполголоса и с такой ненавистью, что потом я не мог смотреть в глаза этому человеку, это слово было: скотина.", + "hypothesis": "Продавщица сказала одно слово: скотина." + }, + "outputs": "3", + "meta": { + "verb": "услышать", + "negation": "no_negation", + "genre": "fiction", + "id": 141 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Продавщица закинула голову назад, так что чуть не сломала себе шею, и из этого неудобного положения долго и молча разглядывала меня. Я уже думал, что это никогда не кончится и книги мне не видать, а я очень хотел заполучить эту книгу, но тут продавщица процедила: Семьдесят четыре копейки в кассу, – и повернулась ко мне спиной. Я обрадовался и пошел в кассу; когда я отходил от прилавка, я услышал одно слово, сказанное вполголоса и с такой ненавистью, что потом я не мог смотреть в глаза этому человеку, это слово было: скотина.\" Гипотеза: \"Продавщица сказала одно слово: скотина.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9882976412773132, + "2": 0.0019078633049502969, + "3": 0.00968892965465784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мы знаем, что обсуждение закончилось. Это его позиция, мы принимаем к сведению. Разумеется, российская сторона продолжит терпеливо разъяснять суть этого вопроса, — сказал Песков журналистам.", + "hypothesis": "Российская сторона продолжит терпеливо разъяснять суть этого вопроса." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "kp", + "id": 142 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Мы знаем, что обсуждение закончилось. Это его позиция, мы принимаем к сведению. Разумеется, российская сторона продолжит терпеливо разъяснять суть этого вопроса, — сказал Песков журналистам.\" Гипотеза: \"Российская сторона продолжит терпеливо разъяснять суть этого вопроса.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.08493324369192123, + "2": 0.7111373543739319, + "3": 0.20374426245689392 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И точно - не комедия. - Какой фильм Вы могли бы назвать идеальным? - Я думаю, такого фильма не существует.", + "hypothesis": "Фильмов не существует." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "interfax", + "id": 143 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"И точно - не комедия. - Какой фильм Вы могли бы назвать идеальным? - Я думаю, такого фильма не существует.\" и гипотеза: \"Фильмов не существует.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.918236494064331, + "2": 0.0457163006067276, + "3": 0.03560389205813408 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "По деревенским меркам, невеста. Ничем Бог не обделил: ни статью, ни красотой, ни умом. Не мог только предвидеть Бог, что женихи этих невест погибнут на полях сражений.", + "hypothesis": "Женихи этих невест погибли на полях сражений." + }, + "outputs": "1", + "meta": { + "verb": "предвидеть", + "negation": "negation", + "genre": "fiction", + "id": 144 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"По деревенским меркам, невеста. Ничем Бог не обделил: ни статью, ни красотой, ни умом. Не мог только предвидеть Бог, что женихи этих невест погибнут на полях сражений.\" и гипотеза: \"Женихи этих невест погибли на полях сражений.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9910564422607422, + "2": 0.0014899930683895946, + "3": 0.006677685771137476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "С заявлением об угоне женщина обратилась в полицию. К счастью, стражам порядка удалось найти и автомобиль и его похитителя. - Сотрудники уголовного розыска задержали подозреваемого в угоне.", + "hypothesis": "Стражи порядка нашли автомобиль и похитителя." + }, + "outputs": "3", + "meta": { + "verb": "удаться", + "negation": "no_negation", + "genre": "kp", + "id": 145 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"С заявлением об угоне женщина обратилась в полицию. К счастью, стражам порядка удалось найти и автомобиль и его похитителя. - Сотрудники уголовного розыска задержали подозреваемого в угоне.\" Гипотеза: \"Стражи порядка нашли автомобиль и похитителя.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9316383600234985, + "2": 0.03612354025244713, + "3": 0.03187891095876694 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Служебное правительство примет все необходимые меры и не допустит манипуляций и дискредитации избирательного процесса.", + "hypothesis": "Манипуляций и дискредитации избирательного процесса не будет." + }, + "outputs": "3", + "meta": { + "verb": "допустить", + "negation": "negation", + "genre": "kp", + "id": 146 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Служебное правительство примет все необходимые меры и не допустит манипуляций и дискредитации избирательного процесса.\" Гипотеза: \"Манипуляций и дискредитации избирательного процесса не будет.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.4864032566547394, + "2": 0.17893777787685394, + "3": 0.334299772977829 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как помню, в первый раз жизни защемило сердце. Позже стал осознавать, что так проявляет себя моя тревожность. Неведомые чувства пугали, но казались сладостными.", + "hypothesis": "Эти чувства, что казались сладостными, уже были мне знакомы." + }, + "outputs": "2", + "meta": { + "verb": "казаться", + "negation": "no_negation", + "genre": "fiction", + "id": 147 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Как помню, в первый раз жизни защемило сердце. Позже стал осознавать, что так проявляет себя моя тревожность. Неведомые чувства пугали, но казались сладостными.\" Гипотеза: \"Эти чувства, что казались сладостными, уже были мне знакомы.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.03686543181538582, + "2": 0.653455376625061, + "3": 0.3086704909801483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я говорю ей: \"Пойми! Ведь ты превратишься в животное!\". Я говорю ей: \"Мир начинается у твоего порога.\"", + "hypothesis": "Животное превратится в порог." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 148 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Я говорю ей: \"Пойми! Ведь ты превратишься в животное!\". Я говорю ей: \"Мир начинается у твоего порога.\"\" Гипотеза: \"Животное превратится в порог.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7404512166976929, + "2": 0.14580348134040833, + "3": 0.11355187743902206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Церковь призывает помнить, что главная свобода для человека - это свобода от греха, от лжи, от безнравственности. При этом Церковь не осуждает грешников, она молится о них и стремится им помочь. Но всегда осуждает грех, который никак нельзя признать нормой\", - подчеркнул он.", + "hypothesis": "Церковь всегда осуждает грех, который никак нельзя признать нормой." + }, + "outputs": "1", + "meta": { + "verb": "подчеркнуть", + "negation": "no_negation", + "genre": "interfax", + "id": 149 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Церковь призывает помнить, что главная свобода для человека - это свобода от греха, от лжи, от безнравственности. При этом Церковь не осуждает грешников, она молится о них и стремится им помочь. Но всегда осуждает грех, который никак нельзя признать нормой\", - подчеркнул он.\" Гипотеза: \"Церковь всегда осуждает грех, который никак нельзя признать нормой.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5760360956192017, + "2": 0.2119118571281433, + "3": 0.2119118571281433 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он сообщил, что такое решение принято в связи с тем, что существует риск ненужных интерпретаций.", + "hypothesis": "Будут ненужные интерпретации данного решения." + }, + "outputs": "3", + "meta": { + "verb": "сообщить", + "negation": "no_negation", + "genre": "interfax", + "id": 150 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Он сообщил, что такое решение принято в связи с тем, что существует риск ненужных интерпретаций.\" Гипотеза: \"Будут ненужные интерпретации данного решения.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5989790558815002, + "2": 0.11794596910476685, + "3": 0.2829377055168152 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Звук разбил воздух, осколки его просыпались над городком. — Без четверти четыре, — сказал Лишка. — Думаю, было достаточно.", + "hypothesis": "Было достаточно." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 151 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Звук разбил воздух, осколки его просыпались над городком. — Без четверти четыре, — сказал Лишка. — Думаю, было достаточно.\" Гипотеза: \"Было достаточно.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9432080984115601, + "2": 0.015245539136230946, + "3": 0.041441671550273895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Да брось, кому там подслушивать. Неохота лезть в крапиву, смотри, стеной стоит. — Ну вот, нарвался на сборище жуликов, — подумал учитель, — и не уйдешь теперь, придется все выслушивать, вот дурацкая ситуация.", + "hypothesis": "Не уйдешь теперь, придется все выслушивать, вот дурацкая ситуация." + }, + "outputs": "1", + "meta": { + "verb": "подумать", + "negation": "no_negation", + "genre": "fiction", + "id": 152 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"— Да брось, кому там подслушивать. Неохота лезть в крапиву, смотри, стеной стоит. — Ну вот, нарвался на сборище жуликов, — подумал учитель, — и не уйдешь теперь, придется все выслушивать, вот дурацкая ситуация.\" Гипотеза: \"Не уйдешь теперь, придется все выслушивать, вот дурацкая ситуация.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.9396399855613708, + "2": 0.013403244316577911, + "3": 0.04678191989660263 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Хотите, чтобы я в правительстве был? Переносите столицу в мою деревню. Так и скажет.", + "hypothesis": "Переносите столицу в мою деревню." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 153 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Хотите, чтобы я в правительстве был? Переносите столицу в мою деревню. Так и скажет.\" и гипотеза: \"Переносите столицу в мою деревню.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9910874962806702, + "2": 0.004589646123349667, + "3": 0.004050347954034805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Это продолжится. - Каким вы видите дальнейшее развитие программы, кто - следующий? - Пока я этого сказать не могу.", + "hypothesis": "Программа будет развиваться в дальнейшем." + }, + "outputs": "3", + "meta": { + "verb": "видеть", + "negation": "no_negation", + "genre": "interfax", + "id": 154 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Это продолжится. - Каким вы видите дальнейшее развитие программы, кто - следующий? - Пока я этого сказать не могу.\" и гипотеза: \"Программа будет развиваться в дальнейшем.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.04082811623811722, + "2": 0.7236956357955933, + "3": 0.23494957387447357 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Угрожая ножом, он потребовал отдать ему все деньги, которые та сможет найти.", + "hypothesis": "Она отдала ему все деньги, которые смогла найти." + }, + "outputs": "2", + "meta": { + "verb": "потребовать", + "negation": "no_negation", + "genre": "kp", + "id": 155 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Угрожая ножом, он потребовал отдать ему все деньги, которые та сможет найти.\" Гипотеза: \"Она отдала ему все деньги, которые смогла найти.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9072176814079285, + "2": 0.007848970592021942, + "3": 0.08438438177108765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Она заплакала, пытаясь содрать кофту с плеча, чтобы вытащить жало и избавиться от насекомого. От движения яд проник глубже, ей стало трудно и жарко дышать, и она опять закричала. Наконец к ней кто-то подошел, залитые слезами и болью глаза ничего не различали, она послушно повернулась, и чьи-то руки сорвали блузку, она только запомнила запах земли и травяного укропа.", + "hypothesis": "Был запах земли и травяного укропа." + }, + "outputs": "1", + "meta": { + "verb": "запомнить", + "negation": "no_negation", + "genre": "fiction", + "id": 156 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Она заплакала, пытаясь содрать кофту с плеча, чтобы вытащить жало и избавиться от насекомого. От движения яд проник глубже, ей стало трудно и жарко дышать, и она опять закричала. Наконец к ней кто-то подошел, залитые слезами и болью глаза ничего не различали, она послушно повернулась, и чьи-то руки сорвали блузку, она только запомнила запах земли и травяного укропа.\" Гипотеза: \"Был запах земли и травяного укропа.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 166, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.22131548821926117, + "2": 0.364887535572052, + "3": 0.4134717285633087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Доверчивость. Кто-то не хочет об этом вспоминать, потому что неприятно, мы пережили много разочарований. Ну кто сказал, что ничего не изменилось?", + "hypothesis": "Ничего не изменилось." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 157 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Доверчивость. Кто-то не хочет об этом вспоминать, потому что неприятно, мы пережили много разочарований. Ну кто сказал, что ничего не изменилось?\" Гипотеза: \"Ничего не изменилось.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.8543834090232849, + "2": 0.01380982156842947, + "3": 0.13102394342422485 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как рассказывают очевидцы, инцидент произошел около восьми утра. Всем пассажирам удалось вовремя покинуть салон. - Классным было утро, ничего не скажешь.", + "hypothesis": "Утро было классным." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "negation", + "genre": "kp", + "id": 158 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Как рассказывают очевидцы, инцидент произошел около восьми утра. Всем пассажирам удалось вовремя покинуть салон. - Классным было утро, ничего не скажешь.\" Гипотеза: \"Утро было классным.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.35416802763938904, + "2": 0.1302911341190338, + "3": 0.5153114199638367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Плевать на все — пойду прямиком к ней, позвоню в дверь. Теперь плевать. Если откроет муж или сын, совру, например, что с работы, попрошу ее выйти на пару секунд.", + "hypothesis": "Она выйдет на пару секунд." + }, + "outputs": "3", + "meta": { + "verb": "попросить", + "negation": "no_negation", + "genre": "fiction", + "id": 159 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Плевать на все — пойду прямиком к ней, позвоню в дверь. Теперь плевать. Если откроет муж или сын, совру, например, что с работы, попрошу ее выйти на пару секунд.\" Гипотеза: \"Она выйдет на пару секунд.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.8257851600646973, + "2": 0.0870371088385582, + "3": 0.0870371088385582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": " – А я знаю? – сказала секретарша.", + "hypothesis": "Секретарша знала." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 160 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \" – А я знаю? – сказала секретарша.\" Гипотеза: \"Секретарша знала.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.008977442979812622, + "2": 0.9157240390777588, + "3": 0.0751672014594078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– О господи! – сказал я. – Она умерла давно, – сказала она, – целую жизнь назад.", + "hypothesis": "Она воскресла." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 161 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"– О господи! – сказал я. – Она умерла давно, – сказала она, – целую жизнь назад.\" Гипотеза: \"Она воскресла.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.025211673229932785, + "2": 0.9460610747337341, + "3": 0.0285685695707798 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Решение по передаче акций банку принято Арбитражным судом Владимирской области.", + "hypothesis": "Арбитражный суд Владимирской области передал акции банку." + }, + "outputs": "3", + "meta": { + "verb": "принять", + "negation": "no_negation", + "genre": "kp", + "id": 162 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Решение по передаче акций банку принято Арбитражным судом Владимирской области.\" Гипотеза: \"Арбитражный суд Владимирской области передал акции банку.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9735907912254333, + "2": 0.008423211053013802, + "3": 0.017831936478614807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У многоэтажного дома была обнаружена женщина, которая, судя по травмам, погибла от падения с высоты.", + "hypothesis": "Женщина погибла от падения с высоты." + }, + "outputs": "1", + "meta": { + "verb": "судить", + "negation": "no_negation", + "genre": "kp", + "id": 163 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"У многоэтажного дома была обнаружена женщина, которая, судя по травмам, погибла от падения с высоты.\" и гипотеза: \"Женщина погибла от падения с высоты.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8244318962097168, + "2": 0.09846435487270355, + "3": 0.07668410986661911 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Кажется, такие мужчины называются брачными аферистами. Боже мой, что мне делать? Сказать ему, что я догадалась об обмане, или положить бумажник на место и пока притвориться, будто я не в курсе и всё прекрасно?", + "hypothesis": "Я догадалась об обмане." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 164 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Кажется, такие мужчины называются брачными аферистами. Боже мой, что мне делать? Сказать ему, что я догадалась об обмане, или положить бумажник на место и пока притвориться, будто я не в курсе и всё прекрасно?\" и гипотеза: \"Я догадалась об обмане.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.4463469982147217, + "2": 0.047044623643159866, + "3": 0.5057774186134338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Надеюсь, что это профессиональная работа.", + "hypothesis": "Это профессиональная работа." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "interfax", + "id": 165 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Надеюсь, что это профессиональная работа.\" Гипотеза: \"Это профессиональная работа.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9622095227241516, + "2": 0.008324743248522282, + "3": 0.029056210070848465 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Глава региона получил травмы, степень их тяжести уточняется, сказал Горелых.", + "hypothesis": "Степень тяжести травм уточняется." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 166 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Глава региона получил травмы, степень их тяжести уточняется, сказал Горелых.\" Гипотеза: \"Степень тяжести травм уточняется.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.002588491188362241, + "2": 0.9215666055679321, + "3": 0.0756467953324318 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Министерство здравоохранения Новосибирской области посчитало, сколько людей воспользовались услугами центров здоровья в ушедшем году.", + "hypothesis": "Никто не пользовался услугами центров здоровья в ушедшем году." + }, + "outputs": "2", + "meta": { + "verb": "посчитать", + "negation": "no_negation", + "genre": "kp", + "id": 167 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Министерство здравоохранения Новосибирской области посчитало, сколько людей воспользовались услугами центров здоровья в ушедшем году.\" Гипотеза: \"Никто не пользовался услугами центров здоровья в ушедшем году.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.41288191080093384, + "2": 0.11829264461994171, + "3": 0.4678564965724945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но стал уже сомневаться в этом. Может, он и правда пробивался к своим? Думал, что время должно это показать.", + "hypothesis": "Время должно это показать." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 168 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Но стал уже сомневаться в этом. Может, он и правда пробивался к своим? Думал, что время должно это показать.\" Гипотеза: \"Время должно это показать.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.4191296398639679, + "2": 0.3264184892177582, + "3": 0.25421497225761414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Уверена, что ты не запомнил тот день. Я уже заметила, что мы запоминаем совсем разное. В тот день я решила уйти от тебя. Все прекратить.", + "hypothesis": "Я уйду от тебя." + }, + "outputs": "3", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "fiction", + "id": 169 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Уверена, что ты не запомнил тот день. Я уже заметила, что мы запоминаем совсем разное. В тот день я решила уйти от тебя. Все прекратить.\" Гипотеза: \"Я уйду от тебя.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.9563462138175964, + "2": 0.006443810183554888, + "3": 0.03708156570792198 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И, возможно, лучше бы она не приходила снова в кинотеатр. Да, ведь после того, как он нагнал ее и что-то врал, а она села в автобус и уехала не оглядываясь, — после этого она нарочно не приходила туда. Но в конце концов убедила себя, что это нелепо, и почему она должна всего бояться?", + "hypothesis": "Она не приходила снова в кинотеатр." + }, + "outputs": "2", + "meta": { + "verb": "быть возможным", + "negation": "no_negation", + "genre": "fiction", + "id": 170 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"И, возможно, лучше бы она не приходила снова в кинотеатр. Да, ведь после того, как он нагнал ее и что-то врал, а она села в автобус и уехала не оглядываясь, — после этого она нарочно не приходила туда. Но в конце концов убедила себя, что это нелепо, и почему она должна всего бояться?\" Гипотеза: \"Она не приходила снова в кинотеатр.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.01571916602551937, + "2": 0.6683959364891052, + "3": 0.3157278895378113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Сто карманов на штанах. Все это ядовито. А я чувствую, что одежда должна переливаться в природу.", + "hypothesis": "Любая одежда легко переливается в природу." + }, + "outputs": "2", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 171 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Сто карманов на штанах. Все это ядовито. А я чувствую, что одежда должна переливаться в природу.\" Гипотеза: \"Любая одежда легко переливается в природу.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9258714914321899, + "2": 0.02177441120147705, + "3": 0.05223409831523895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Электричества в комнате не было. В темноте я нащупал кровать и лег, не раздеваясь. Заснул сразу, но чувствовал сквозь сон, как меня донимает запах сырости.", + "hypothesis": "Меня донимал запах сырости." + }, + "outputs": "1", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 172 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Электричества в комнате не было. В темноте я нащупал кровать и лег, не раздеваясь. Заснул сразу, но чувствовал сквозь сон, как меня донимает запах сырости.\" Гипотеза: \"Меня донимал запах сырости.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.957663357257843, + "2": 0.005025356076657772, + "3": 0.037132635712623596 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Однажды сторож засмотрелся на женщину, и на Дерево села бабочка. Вскоре на нем появились гусеницы, но Колдовской лист не велел их трогать. Он сказал, что настало время исчезнуть нашему племени и появиться новому.", + "hypothesis": "Настало время исчезнуть нашему племени и появиться новому." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 173 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Однажды сторож засмотрелся на женщину, и на Дерево села бабочка. Вскоре на нем появились гусеницы, но Колдовской лист не велел их трогать. Он сказал, что настало время исчезнуть нашему племени и появиться новому.\" и гипотеза: \"Настало время исчезнуть нашему племени и появиться новому.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9790178537368774, + "2": 0.01087590679526329, + "3": 0.009597954340279102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Насилие с применением огнестрельного оружия - это национальная эпидемия и национальная трагедия, которая требует больше, чем просто слов\", - сказал мэр в ходе пресс-конференции в понедельник.", + "hypothesis": "Насилие с применением огнестрельного оружия – это национальная эпидемия и национальная трагедия." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 174 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"\"Насилие с применением огнестрельного оружия - это национальная эпидемия и национальная трагедия, которая требует больше, чем просто слов\", - сказал мэр в ходе пресс-конференции в понедельник.\" и гипотеза: \"Насилие с применением огнестрельного оружия – это национальная эпидемия и национальная трагедия.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7736626267433167, + "2": 0.029998155310750008, + "3": 0.19561254978179932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он признал вину, рассказал, что прогуливался, увидел на Ленинградской припаркованную \"Ниву\" и решил ее угнать. Однако на территории гаражного кооператива машина застряла в глубоком снегу. Чтобы замести следы, угонщик решил сжечь авто.", + "hypothesis": "Угонщик сжег авто." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 175 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Он признал вину, рассказал, что прогуливался, увидел на Ленинградской припаркованную \"Ниву\" и решил ее угнать. Однако на территории гаражного кооператива машина застряла в глубоком снегу. Чтобы замести следы, угонщик решил сжечь авто.\" Гипотеза: \"Угонщик сжег авто.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9909048676490784, + "2": 0.004049601498991251, + "3": 0.004588800016790628 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Буквально всё. Такой талантливый писатель. – Не писатель, а драматург, – говорил Ивановский.", + "hypothesis": "Не писатель, а драматург." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 176 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"– Буквально всё. Такой талантливый писатель. – Не писатель, а драматург, – говорил Ивановский.\" Гипотеза: \"Не писатель, а драматург.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.015361150726675987, + "2": 0.8386904001235962, + "3": 0.1457425206899643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Я не собираюсь подавать апелляцию\", - сказал он в зале суда.", + "hypothesis": "Я подам апелляцию." + }, + "outputs": "2", + "meta": { + "verb": "собираться", + "negation": "negation", + "genre": "interfax", + "id": 177 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"\"Я не собираюсь подавать апелляцию\", - сказал он в зале суда.\" Гипотеза: \"Я подам апелляцию.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.3596847355365753, + "2": 0.2801227569580078, + "3": 0.3596847355365753 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Сосед по камере жестоко избил мигранта в ходе неожиданно случившегося конфликта. Мужчина скончался вследствие полученных травм. Возбуждено уголовное дела, решается вопрос об аресте подозреваемого и предъявлении ему обвинений.", + "hypothesis": "Подозреваемый арестован и ему предъявили обвинения." + }, + "outputs": "2", + "meta": { + "verb": "решать", + "negation": "no_negation", + "genre": "kp", + "id": 178 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Сосед по камере жестоко избил мигранта в ходе неожиданно случившегося конфликта. Мужчина скончался вследствие полученных травм. Возбуждено уголовное дела, решается вопрос об аресте подозреваемого и предъявлении ему обвинений.\" Гипотеза: \"Подозреваемый арестован и ему предъявили обвинения.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.006336796563118696, + "2": 0.9404640197753906, + "3": 0.05305735394358635 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Некоторое время назад он начал говорить о том, что готов расстаться с жизнью.", + "hypothesis": "Он некоторое время назад расстался с жизнью." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "kp", + "id": 179 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Некоторое время назад он начал говорить о том, что готов расстаться с жизнью.\" Гипотеза: \"Он некоторое время назад расстался с жизнью.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.35419830679893494, + "2": 0.061550430953502655, + "3": 0.5839742422103882 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но о чем другом? Где посмотреть эту «таблицу соответствия»? Бывает, и бывает часто, что думаешь «ни о чем», это очень богатая область, «ни о чем» не значит ни о чем вообще, но означает ни о чем конкретно, «идентифицировать» объект размышлений нельзя, нельзя вычленить из потока мыслей какую-то «главную» мысль, ту, «о чем» весь этот поток, как будто листаешь книгу на неизвестном тебе языке, смысл отдельных слов угадывается, но общий смысл, конечно, непонятен, да и никакой смысл непонятен, ты «заглядываешь» в себя и с некоторым удивлением констатируешь: это я, или, быть может, как какой-нибудь турист, пишешь несуществующим мелом на несуществующей стене древних или относительно новых развалин: здесь был я, но ведь когда-нибудь всё повторится, а ты даже не будешь знать об этом.", + "hypothesis": "Это я, или, быть может, как какой-нибудь турист, пишешь несуществующим мелом на несуществующей стене древних или относительно новых развалин: здесь был я, но ведь когда-нибудь всё повторится, а ты даже не будешь знать об этом." + }, + "outputs": "1", + "meta": { + "verb": "констатировать", + "negation": "no_negation", + "genre": "fiction", + "id": 180 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Но о чем другом? Где посмотреть эту «таблицу соответствия»? Бывает, и бывает часто, что думаешь «ни о чем», это очень богатая область, «ни о чем» не значит ни о чем вообще, но означает ни о чем конкретно, «идентифицировать» объект размышлений нельзя, нельзя вычленить из потока мыслей какую-то «главную» мысль, ту, «о чем» весь этот поток, как будто листаешь книгу на неизвестном тебе языке, смысл отдельных слов угадывается, но общий смысл, конечно, непонятен, да и никакой смысл непонятен, ты «заглядываешь» в себя и с некоторым удивлением констатируешь: это я, или, быть может, как какой-нибудь турист, пишешь несуществующим мелом на несуществующей стене древних или относительно новых развалин: здесь был я, но ведь когда-нибудь всё повторится, а ты даже не будешь знать об этом.\" Гипотеза: \"Это я, или, быть может, как какой-нибудь турист, пишешь несуществующим мелом на несуществующей стене древних или относительно новых развалин: здесь был я, но ведь когда-нибудь всё повторится, а ты даже не будешь знать об этом.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 334, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.1572505086660385, + "2": 0.5488581657409668, + "3": 0.29378262162208557 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Что с ней? – спросил я. – С ней? С ней ничего, – сказала она. – Она умерла.", + "hypothesis": "С ней ничего, она умерла." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 181 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"– Что с ней? – спросил я. – С ней? С ней ничего, – сказала она. – Она умерла.\" Гипотеза: \"С ней ничего, она умерла.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.7968251705169678, + "2": 0.10783855617046356, + "3": 0.09516719728708267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Всегда во всех местах отцовой службы висела, Каблуков был уверен, что какая-то актриса времен родительской молодости. \"Ты с ней один раз наперегонки бегал. После войны – не помнишь?\" С ней?", + "hypothesis": "После войны Каблуков бегал с ней наперегонки." + }, + "outputs": "3", + "meta": { + "verb": "помнить", + "negation": "negation", + "genre": "fiction", + "id": 182 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Всегда во всех местах отцовой службы висела, Каблуков был уверен, что какая-то актриса времен родительской молодости. \"Ты с ней один раз наперегонки бегал. После войны – не помнишь?\" С ней?\" Гипотеза: \"После войны Каблуков бегал с ней наперегонки.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.008381395600736141, + "2": 0.587581217288971, + "3": 0.40383827686309814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но на нем вшей не нашли, откуда они взялись, ума не приложу. Решил коротко постричься и избавиться от них раз и навсегда, отчего пришел в прекрасное расположение духа и отправился спать.", + "hypothesis": "Я пришёл в дурное расположение духа." + }, + "outputs": "2", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "fiction", + "id": 183 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Но на нем вшей не нашли, откуда они взялись, ума не приложу. Решил коротко постричься и избавиться от них раз и навсегда, отчего пришел в прекрасное расположение духа и отправился спать.\" и гипотеза: \"Я пришёл в дурное расположение духа.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9631385207176208, + "2": 0.01373843289911747, + "3": 0.02265084721148014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Идти, двигаться, что-то делать! Вырваться из этого болота, скуки, нудной работы, нищеты. Я чувствовала, как словно песок сквозь пальцы, струится время.", + "hypothesis": "Время струится, словно песок сквозь пальцы." + }, + "outputs": "1", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 184 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Идти, двигаться, что-то делать! Вырваться из этого болота, скуки, нудной работы, нищеты. Я чувствовала, как словно песок сквозь пальцы, струится время.\" и гипотеза: \"Время струится, словно песок сквозь пальцы.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8779893517494202, + "2": 0.016080936416983604, + "3": 0.10486087948083878 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "По ее словам, главным фактором в выборе места, где она будет баллотироваться, был фактор времени. \"Я была готова идти в любом муниципальном совете. На всех встречах с горожанами я слышала спасибо за город.", + "hypothesis": "Ее благодарили за город." + }, + "outputs": "1", + "meta": { + "verb": "слышать", + "negation": "no_negation", + "genre": "interfax", + "id": 185 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"По ее словам, главным фактором в выборе места, где она будет баллотироваться, был фактор времени. \"Я была готова идти в любом муниципальном совете. На всех встречах с горожанами я слышала спасибо за город.\" Гипотеза: \"Ее благодарили за город.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9892233610153198, + "2": 0.002778524998575449, + "3": 0.007552812807261944 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Конечно, будем, но об этом - потом\", - сказала она.", + "hypothesis": "Об этом - потом." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 186 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"\"Конечно, будем, но об этом - потом\", - сказала она.\" Гипотеза: \"Об этом - потом.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9942622184753418, + "2": 0.002174939727410674, + "3": 0.0031645186245441437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Полицейские установили, что один из них решил вернуться обратно в центр за сигаретами. Злоумышленник оставшимся в квартире свидетелям пояснил, что потерпевший попросил его забрать забытый телефон. После чего подозреваемый скрылся и не выходил на связь.", + "hypothesis": "Один из них решил вернуться обратно в центр за сигаретами." + }, + "outputs": "1", + "meta": { + "verb": "установить", + "negation": "no_negation", + "genre": "kp", + "id": 187 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Полицейские установили, что один из них решил вернуться обратно в центр за сигаретами. Злоумышленник оставшимся в квартире свидетелям пояснил, что потерпевший попросил его забрать забытый телефон. После чего подозреваемый скрылся и не выходил на связь.\" Гипотеза: \"Один из них решил вернуться обратно в центр за сигаретами.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.09076789021492004, + "2": 0.31681105494499207, + "3": 0.5918809771537781 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщину подозревают в получении взятки.", + "hypothesis": "Женщина дала подозреваемому взятку." + }, + "outputs": "2", + "meta": { + "verb": "подозревать", + "negation": "no_negation", + "genre": "kp", + "id": 188 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Женщину подозревают в получении взятки.\" Гипотеза: \"Женщина дала подозреваемому взятку.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3131089508533478, + "2": 0.10165157914161682, + "3": 0.5849645137786865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он требовал убрать с кровати прелые листья и еловый валежник. В помещении устоялся запах ладана, от него пошли мысли похоронах. Он надеялся на чудо.", + "hypothesis": "Произойдет чудо." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "fiction", + "id": 189 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Он требовал убрать с кровати прелые листья и еловый валежник. В помещении устоялся запах ладана, от него пошли мысли похоронах. Он надеялся на чудо.\" Гипотеза: \"Произойдет чудо.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.05811790004372597, + "2": 0.8022928237915039, + "3": 0.1394175887107849 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Одни и те же сказки. И голос звал ее налить чаю. А мне показалось.", + "hypothesis": "Она налила чаю." + }, + "outputs": "2", + "meta": { + "verb": "звать", + "negation": "no_negation", + "genre": "fiction", + "id": 190 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Одни и те же сказки. И голос звал ее налить чаю. А мне показалось.\" Гипотеза: \"Она налила чаю.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.8058488965034485, + "2": 0.08493584394454956, + "3": 0.10905978828668594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ранее он уже привлекался к уголовной ответственности за аналогичное преступление. Тогда суд назначил ему два года условно, запретил занимать должности, связанные с работой в интернете и посещать митинги, шествия и массовые мероприятия. - В судебном заседании подсудимый вину признал полностью, с предъявленным обвинением согласился.", + "hypothesis": "Подсудимый был виноват." + }, + "outputs": "3", + "meta": { + "verb": "согласиться", + "negation": "no_negation", + "genre": "kp", + "id": 191 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Ранее он уже привлекался к уголовной ответственности за аналогичное преступление. Тогда суд назначил ему два года условно, запретил занимать должности, связанные с работой в интернете и посещать митинги, шествия и массовые мероприятия. - В судебном заседании подсудимый вину признал полностью, с предъявленным обвинением согласился.\" Гипотеза: \"Подсудимый был виноват.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "2" + ] + }, + "predict": { + "1": 0.18609780073165894, + "2": 0.6495451331138611, + "3": 0.16423073410987854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но лучше, когда огромное количество людей имеет возможность прикоснуться к олимпийскому огню. Всякие происшествия возможны, но всеобщее участие в Олимпиаде все прощает\", - сказал он, напомнив, что в руках одного из участников пробега факел случайно погас. \"Мы не беспокоимся, потому что у нас есть резервный олимпийский огонь.", + "hypothesis": "В руках еще одного участника пробега может случайно погаснуть факел." + }, + "outputs": "1", + "meta": { + "verb": "беспокоиться", + "negation": "negation", + "genre": "interfax", + "id": 192 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Но лучше, когда огромное количество людей имеет возможность прикоснуться к олимпийскому огню. Всякие происшествия возможны, но всеобщее участие в Олимпиаде все прощает\", - сказал он, напомнив, что в руках одного из участников пробега факел случайно погас. \"Мы не беспокоимся, потому что у нас есть резервный олимпийский огонь.\" Гипотеза: \"В руках еще одного участника пробега может случайно погаснуть факел.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.019266696646809578, + "2": 0.8192408084869385, + "3": 0.16131806373596191 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Сегодня все силы надо отдать на развитие государства. Все остальное будет определять народ. - Кого вы считаете главным конкурентом на предстоящих выборах?", + "hypothesis": "У вас нет конкурентов на предстоящих выборах." + }, + "outputs": "2", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "interfax", + "id": 193 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Сегодня все силы надо отдать на развитие государства. Все остальное будет определять народ. - Кого вы считаете главным конкурентом на предстоящих выборах?\" и гипотеза: \"У вас нет конкурентов на предстоящих выборах.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9764131903648376, + "2": 0.015782250091433525, + "3": 0.007455006241798401 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В отделе полиции, он рассказал, что действительно занимается ремонтом машин. Но в этот раз ему нужны были деньги. Вот парень и решился на угон.", + "hypothesis": "Парень угнал машину." + }, + "outputs": "3", + "meta": { + "verb": "решиться", + "negation": "no_negation", + "genre": "kp", + "id": 194 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"В отделе полиции, он рассказал, что действительно занимается ремонтом машин. Но в этот раз ему нужны были деньги. Вот парень и решился на угон.\" и гипотеза: \"Парень угнал машину.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.03910626843571663, + "2": 0.53984534740448, + "3": 0.4204320013523102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как мне не хватало тех мук, той горячей тяжести, что напоминала мне о моей вине и предательстве! О, я катался и грыз землю в отчаянии. А в редкий миг просветления понял, что мне нужно.", + "hypothesis": "Я не был виноват и никого не предавал." + }, + "outputs": "2", + "meta": { + "verb": "напоминать", + "negation": "no_negation", + "genre": "fiction", + "id": 195 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Как мне не хватало тех мук, той горячей тяжести, что напоминала мне о моей вине и предательстве! О, я катался и грыз землю в отчаянии. А в редкий миг просветления понял, что мне нужно.\" Гипотеза: \"Я не был виноват и никого не предавал.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.7863409519195557, + "2": 0.10641967505216599, + "3": 0.10641967505216599 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он был влюблен и готов перешагнуть через страх. Как пылкий и честный жених, он собирался забыть прежние увлечения ради новой любви. — Признаюсь, я не уверена, что ваша пара — это хорошая идея, — сказала врач.", + "hypothesis": "Я не уверена." + }, + "outputs": "3", + "meta": { + "verb": "признаться", + "negation": "no_negation", + "genre": "fiction", + "id": 196 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Он был влюблен и готов перешагнуть через страх. Как пылкий и честный жених, он собирался забыть прежние увлечения ради новой любви. — Признаюсь, я не уверена, что ваша пара — это хорошая идея, — сказала врач.\" Гипотеза: \"Я не уверена.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "2" + ] + }, + "predict": { + "1": 0.2271319478750229, + "2": 0.4808382987976074, + "3": 0.2916431725025177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Насколько бессмысленны и случайны точные физические законы природы, настолько же строго и неслучайно всё беззаконное и невозможное, сколько я себя помню, я чувствовал это, это примерно то же, когда говорят: беда не приходит одна, но и не только беда, и не только не одна; как я потом узнал от нее, она была в моем районе и ехала в том же автобусе, что и я, по какой-то однократной надобности, и никогда больше я ее здесь не встретил бы, а жила она совсем в другом районе города, далеко от меня; но получилось так, что мы встретились дней через десять, в вагоне метро, не на моей и не на ее ветке, она потом сказала, что ехала от подруги, а куда я ехал, я уже и не помню; я вошел в вагон и увидел ее, она стоя читала книгу, я подошел к ней, она подняла на меня глаза, голубые и красивые, но теперь не злые, а равнодушные.", + "hypothesis": "она была в моем районе и ехала в том же автобусе, что и я." + }, + "outputs": "1", + "meta": { + "verb": "узнать", + "negation": "no_negation", + "genre": "fiction", + "id": 197 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Насколько бессмысленны и случайны точные физические законы природы, настолько же строго и неслучайно всё беззаконное и невозможное, сколько я себя помню, я чувствовал это, это примерно то же, когда говорят: беда не приходит одна, но и не только беда, и не только не одна; как я потом узнал от нее, она была в моем районе и ехала в том же автобусе, что и я, по какой-то однократной надобности, и никогда больше я ее здесь не встретил бы, а жила она совсем в другом районе города, далеко от меня; но получилось так, что мы встретились дней через десять, в вагоне метро, не на моей и не на ее ветке, она потом сказала, что ехала от подруги, а куда я ехал, я уже и не помню; я вошел в вагон и увидел ее, она стоя читала книгу, я подошел к ней, она подняла на меня глаза, голубые и красивые, но теперь не злые, а равнодушные.\" Гипотеза: \"она была в моем районе и ехала в том же автобусе, что и я.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 305, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8598622679710388, + "2": 0.022914553061127663, + "3": 0.11636970192193985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Молюсь за обоих. Просто хочу обнять своего сына, а прав он или виноват - пусть скажет следствие. (…) Хочется сказать всем оскорбляющим милицию: опомнитесь, милиционеры - это не безликие роботы в форме.", + "hypothesis": "Все оскорбляющие милицию должны опомниться, милиционеры - это не безликие роботы в форме." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "kp", + "id": 198 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Молюсь за обоих. Просто хочу обнять своего сына, а прав он или виноват - пусть скажет следствие. (…) Хочется сказать всем оскорбляющим милицию: опомнитесь, милиционеры - это не безликие роботы в форме.\" Гипотеза: \"Все оскорбляющие милицию должны опомниться, милиционеры - это не безликие роботы в форме.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9605582356452942, + "2": 0.013701627030968666, + "3": 0.025598010048270226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Негодяй схватил кухонный нож, нагрел его на огне и несколько раз приложил к лицу своей жертвы. Травмы, нанесенные женщине, квалифицировали как принесшие тяжкий вред здоровью. - Задержанный признал свою вину.", + "hypothesis": "Задержанный был виноват." + }, + "outputs": "3", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 199 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Негодяй схватил кухонный нож, нагрел его на огне и несколько раз приложил к лицу своей жертвы. Травмы, нанесенные женщине, квалифицировали как принесшие тяжкий вред здоровью. - Задержанный признал свою вину.\" Гипотеза: \"Задержанный был виноват.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.00637668976560235, + "2": 0.9463846683502197, + "3": 0.04711771756410599 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Вот его он должен был позвать и сказать, что ты соврал про телефон. А он не позвал и не сказал.", + "hypothesis": "Он позвал его." + }, + "outputs": "2", + "meta": { + "verb": "быть должным", + "negation": "no_negation", + "genre": "fiction", + "id": 200 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"Вот его он должен был позвать и сказать, что ты соврал про телефон. А он не позвал и не сказал.\" Гипотеза: \"Он позвал его.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.043167151510715485, + "2": 0.6752479076385498, + "3": 0.2814851999282837 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Вдумайтесь: считается, что это общественная организация, а это министерство, и все знают, как обстоит дело в действительности. Но тогда возникает вопрос, кем же «считается», что это общественная организация? Можно ли так говорить, если не существует людей, которые бы так думали?", + "hypothesis": "Это общественная организация" + }, + "outputs": "2", + "meta": { + "verb": "считаться", + "negation": "no_negation", + "genre": "fiction", + "id": 201 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Вдумайтесь: считается, что это общественная организация, а это министерство, и все знают, как обстоит дело в действительности. Но тогда возникает вопрос, кем же «считается», что это общественная организация? Можно ли так говорить, если не существует людей, которые бы так думали?\" Гипотеза: \"Это общественная организация\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8343145251274109, + "2": 0.08793610334396362, + "3": 0.07760334014892578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Правда, они не имеют каких-то особо организованных корней. У нас это получилось типа норвежского случая, когда один человек, просто, скажем, бандит взял и решил убить ни в чем не повинных людей и себя убить. Расследование показало, что, как ни печально, мы столкнулись с таким делом.", + "hypothesis": "Бандит убил ни в чем не повинных людей и себя убил." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "interfax", + "id": 202 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Правда, они не имеют каких-то особо организованных корней. У нас это получилось типа норвежского случая, когда один человек, просто, скажем, бандит взял и решил убить ни в чем не повинных людей и себя убить. Расследование показало, что, как ни печально, мы столкнулись с таким делом.\" Гипотеза: \"Бандит убил ни в чем не повинных людей и себя убил.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9750721454620361, + "2": 0.004515480250120163, + "3": 0.020236976444721222 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Когда он целует колени, закрывает глаза. Он сухими губами жадно хватает кожу, как воду, прижавшись щекой к твоему бедру. Он чертовски красив и не помнит об этом, когда счастлив.", + "hypothesis": "Он чертовски красив." + }, + "outputs": "1", + "meta": { + "verb": "помнить", + "negation": "negation", + "genre": "fiction", + "id": 203 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Когда он целует колени, закрывает глаза. Он сухими губами жадно хватает кожу, как воду, прижавшись щекой к твоему бедру. Он чертовски красив и не помнит об этом, когда счастлив.\" и гипотеза: \"Он чертовски красив.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.990854024887085, + "2": 0.004049394279718399, + "3": 0.004588564857840538 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я добиваюсь того, чтобы мои голоса не крали. Я добиваюсь того, чтобы люди поняли, что их много, и они вместе. И они это поняли, и это ужасно приятно.", + "hypothesis": "Мои голоса не украдут." + }, + "outputs": "3", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "interfax", + "id": 204 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Я добиваюсь того, чтобы мои голоса не крали. Я добиваюсь того, чтобы люди поняли, что их много, и они вместе. И они это поняли, и это ужасно приятно.\" и гипотеза: \"Мои голоса не украдут.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.32626086473464966, + "2": 0.41892722249031067, + "3": 0.2540922164916992 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "А ты прогуливаешь. – Я не прогуливаю, – сказал я. – А я прогуливаю, – сказал художник и засмеялся; потом он подмигнул мне.", + "hypothesis": "Художник прогуливал." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 205 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"А ты прогуливаешь. – Я не прогуливаю, – сказал я. – А я прогуливаю, – сказал художник и засмеялся; потом он подмигнул мне.\" Гипотеза: \"Художник прогуливал.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9961078763008118, + "2": 0.0013216164661571383, + "3": 0.002178977243602276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Из оцепенения меня вывел голос. Сердце не лжёт, это был голос моего отца.", + "hypothesis": "Это был голос моего отца." + }, + "outputs": "1", + "meta": { + "verb": "лгать", + "negation": "negation", + "genre": "fiction", + "id": 206 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Из оцепенения меня вывел голос. Сердце не лжёт, это был голос моего отца.\" Гипотеза: \"Это был голос моего отца.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9778547286987305, + "2": 0.010862985625863075, + "3": 0.010862985625863075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Тогда он решил привлечь к себе внимание. В момент совершения поджога храм был закрыт, поэтому никто не пострадал – нанесен только материальный ущерб. Подозреваемый был ранее судим.", + "hypothesis": "Подозреваемый привлек к себе внимание." + }, + "outputs": "3", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 207 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Тогда он решил привлечь к себе внимание. В момент совершения поджога храм был закрыт, поэтому никто не пострадал – нанесен только материальный ущерб. Подозреваемый был ранее судим.\" Гипотеза: \"Подозреваемый привлек к себе внимание.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.01357728149741888, + "2": 0.8399966359138489, + "3": 0.14596951007843018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— В палату мы не пойдем, — заявил он. — Это бессмысленно. Да ты не беспокойся, там все в порядке.", + "hypothesis": "Он зазывал в палату." + }, + "outputs": "2", + "meta": { + "verb": "беспокоиться", + "negation": "negation", + "genre": "fiction", + "id": 208 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"— В палату мы не пойдем, — заявил он. — Это бессмысленно. Да ты не беспокойся, там все в порядке.\" Гипотеза: \"Он зазывал в палату.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.9038618206977844, + "2": 0.05099239945411682, + "3": 0.04500063136219978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В Липецком районном суде вынесли приговор жителю села Доброе, его признали виновным в хищении огнестрельного оружия и боеприпасов.", + "hypothesis": "Житель села Доброе похитил огнестрельное оружие и боеприпасы." + }, + "outputs": "1", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 209 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"В Липецком районном суде вынесли приговор жителю села Доброе, его признали виновным в хищении огнестрельного оружия и боеприпасов.\" Гипотеза: \"Житель села Доброе похитил огнестрельное оружие и боеприпасы.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.04137271270155907, + "2": 0.8309932351112366, + "3": 0.12743693590164185 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Ты меня всю жизнь обманывал!\" — кричит жена вам в лицо, а вы в ответ улыбаетесь ей так нагло, что мы, русские люди, на сеансе прямо за голову хватаемся! Разве можно так? Надо повиниться, пасть на колени, назвать себя подлецом, негодяем, последней сволочью... Миллионы русских, просмотрев французские фильмы, поняли: нельзя верить ни одному ихнему слову!", + "hypothesis": "Нельзя верить ни одному ихнему слову!" + }, + "outputs": "3", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 210 + } + }, + "prompt": "<|im_start|>user\nПриведено описание ситуации и гипотеза. Ситуация: \"\"Ты меня всю жизнь обманывал!\" — кричит жена вам в лицо, а вы в ответ улыбаетесь ей так нагло, что мы, русские люди, на сеансе прямо за голову хватаемся! Разве можно так? Надо повиниться, пасть на колени, назвать себя подлецом, негодяем, последней сволочью... Миллионы русских, просмотрев французские фильмы, поняли: нельзя верить ни одному ихнему слову!\" Гипотеза: \"Нельзя верить ни одному ихнему слову!\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.8955424427986145, + "2": 0.009948578663170338, + "3": 0.09438947588205338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Даже оппозиция говорит о власти и доказывает, что их программа лучше нашей. Но у нас есть и программа, и достижения. И о них надо говорить, - сказал он.", + "hypothesis": "О нашей программе и наших достижениях надо говорить." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 211 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Даже оппозиция говорит о власти и доказывает, что их программа лучше нашей. Но у нас есть и программа, и достижения. И о них надо говорить, - сказал он.\" Гипотеза: \"О нашей программе и наших достижениях надо говорить.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.47519198060035706, + "2": 0.32659438252449036, + "3": 0.19808949530124664 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Не похож. Тем более что он ни разу в жизни не курил, даже не пробовал. — Угомонись, это все лирика, — строго сказал я, понимая, что именно сейчас мне нужно встать, наврать про неотложные дела и уйти.", + "hypothesis": "У меня именно сейчас были неотложные дела." + }, + "outputs": "2", + "meta": { + "verb": "наврать", + "negation": "no_negation", + "genre": "fiction", + "id": 212 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"Не похож. Тем более что он ни разу в жизни не курил, даже не пробовал. — Угомонись, это все лирика, — строго сказал я, понимая, что именно сейчас мне нужно встать, наврать про неотложные дела и уйти.\" Гипотеза: \"У меня именно сейчас были неотложные дела.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.986671507358551, + "2": 0.0021583351772278547, + "3": 0.010960930958390236 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Забавно, конечно, но сколько можно? Устройство этого ящика, оклеенного звездами из фольги, можно нарисовать с закрытыми глазами. Правда, приходится признать, что изобретатель чудесного ящика — человек талантливый.", + "hypothesis": "изобретатель чудесного ящика — человек талантливый." + }, + "outputs": "1", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "fiction", + "id": 213 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Забавно, конечно, но сколько можно? Устройство этого ящика, оклеенного звездами из фольги, можно нарисовать с закрытыми глазами. Правда, приходится признать, что изобретатель чудесного ящика — человек талантливый.\" и гипотеза: \"изобретатель чудесного ящика — человек талантливый.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.9486664533615112, + "2": 0.022310497239232063, + "3": 0.028647245839238167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Надо сказать, что по данным наших наблюдателей везде, где мы находились, участки открылись вовремя\", - отметил он. При этом, по его словам, активность избирателей \"достаточно высокая для воскресного дня и для парламентских выборов\". \"Я думаю, что активность избирателей на этих выборах будет такая же, как и на президентских\", - сказал он.", + "hypothesis": "Активность избирателей на этих выборах будет такая же, как и на президентских." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "interfax", + "id": 214 + } + }, + "prompt": "<|im_start|>user\nДаны текстовые ситуация: \"Надо сказать, что по данным наших наблюдателей везде, где мы находились, участки открылись вовремя\", - отметил он. При этом, по его словам, активность избирателей \"достаточно высокая для воскресного дня и для парламентских выборов\". \"Я думаю, что активность избирателей на этих выборах будет такая же, как и на президентских\", - сказал он.\" и гипотеза: \"Активность избирателей на этих выборах будет такая же, как и на президентских.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.42033451795578003, + "2": 0.03909720107913017, + "3": 0.5397201776504517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Кому они нужны? Ее нужно забрать в сумасшедший дом или отдать в дом престарелых». Но я объясняю ситуацию, говорю, что взять ее некуда и пока, чтоб она не боялась, нужно только подписать странную расписку.", + "hypothesis": "Взять ее некуда и пока, чтоб она не боялась, нужно только подписать странную расписку." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 215 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Кому они нужны? Ее нужно забрать в сумасшедший дом или отдать в дом престарелых». Но я объясняю ситуацию, говорю, что взять ее некуда и пока, чтоб она не боялась, нужно только подписать странную расписку.\" Гипотеза: \"Взять ее некуда и пока, чтоб она не боялась, нужно только подписать странную расписку.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.7928255200386047, + "2": 0.0506836399435997, + "3": 0.15611658990383148 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– А я вас все равно люблю, – скажу я. – Но как же я вернусь? – Мы не знаем, – скажут они.", + "hypothesis": "Мы не знаем." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 216 + } + }, + "prompt": "<|im_start|>user\nДаны текстовая ситуация и гипотеза. Ситуация: \"– А я вас все равно люблю, – скажу я. – Но как же я вернусь? – Мы не знаем, – скажут они.\" Гипотеза: \"Мы не знаем.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.12683245539665222, + "2": 0.30425527691841125, + "3": 0.5684236288070679 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "По ее словам, она помнит лишь, что собиралась выйти из дома, а все остальные события злополучного утра стерлись из ее памяти, и пришла в себя она лишь в больнице.", + "hypothesis": "Она не рассказала, что помнит." + }, + "outputs": "2", + "meta": { + "verb": "помнить", + "negation": "no_negation", + "genre": "kp", + "id": 217 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"По ее словам, она помнит лишь, что собиралась выйти из дома, а все остальные события злополучного утра стерлись из ее памяти, и пришла в себя она лишь в больнице.\" Гипотеза: \"Она не рассказала, что помнит.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.6386215686798096, + "2": 0.1257520318031311, + "3": 0.23493577539920807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Допросив гостя, следователи восстановили картину убийства. Хозяин квартиры пьянствовал в компании двух братьев и поссорился со старшим. Младший решил заступиться за родственника, взял нож и несколько раз ударил собутыльника в область шеи и груди.", + "hypothesis": "Младший брат заступился за родственника, взял нож и несколько раз ударил собутыльника в область шеи и груди." + }, + "outputs": "3", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 218 + } + }, + "prompt": "<|im_start|>user\nСитуация: \"Допросив гостя, следователи восстановили картину убийства. Хозяин квартиры пьянствовал в компании двух братьев и поссорился со старшим. Младший решил заступиться за родственника, взял нож и несколько раз ударил собутыльника в область шеи и груди.\" Гипотеза: \"Младший брат заступился за родственника, взял нож и несколько раз ударил собутыльника в область шеи и груди.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.022282620891928673, + "2": 0.7378990054130554, + "3": 0.23956073820590973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Это стало для меня откровением, я понял, что есть весь народ, а не просто прослойка интеллигенции. Есть израильтяне, а есть евреи. Из политических соображений некоторые считают, что так говорить нельзя, потому что это разрушит народ в мире.", + "hypothesis": "Разговоры разрушают народ в мире." + }, + "outputs": "2", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "fiction", + "id": 219 + } + }, + "prompt": "<|im_start|>user\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Это стало для меня откровением, я понял, что есть весь народ, а не просто прослойка интеллигенции. Есть израильтяне, а есть евреи. Из политических соображений некоторые считают, что так говорить нельзя, потому что это разрушит народ в мире.\" Гипотеза: \"Разговоры разрушают народ в мире.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.<|im_end|>\n<|im_start|>assistant\nОтвет: ", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} diff --git a/llmtf_eval/darumeru_RCB_params.jsonl b/llmtf_eval/darumeru_RCB_params.jsonl new file mode 100644 index 0000000..4642351 --- /dev/null +++ b/llmtf_eval/darumeru_RCB_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_RCB_total.jsonl b/llmtf_eval/darumeru_RCB_total.jsonl new file mode 100644 index 0000000..0a7c450 --- /dev/null +++ b/llmtf_eval/darumeru_RCB_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "darumeru/RCB", + "results": { + "acc": 0.5454545454545454, + "f1_macro": 0.49090309951702227 + }, + "leaderboard_result": 0.5181788224857838 +} diff --git a/llmtf_eval/darumeru_RWSD.jsonl b/llmtf_eval/darumeru_RWSD.jsonl new file mode 100644 index 0000000..df97f99 --- /dev/null +++ b/llmtf_eval/darumeru_RWSD.jsonl @@ -0,0 +1,7956 @@ +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8898778557777405, + "Нет": 0.10628075897693634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 4, + "span1_text": "слоны", + "span2_index": 13, + "span2_text": "их матери" + }, + "outputs": "Нет", + "meta": { + "id": 0 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"их матери\" к объекту фрагмента \"слоны\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.6468213796615601, + "Нет": 0.3462185263633728 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 14, + "span1_text": "матери", + "span2_index": 13, + "span2_text": "их увидела" + }, + "outputs": "Нет", + "meta": { + "id": 1 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nОбъект из текста: \"матери\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"их увидела\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9217074513435364, + "Нет": 0.07565835863351822 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 6, + "span1_text": "Артура и Селесту", + "span2_index": 13, + "span2_text": "их увидела" + }, + "outputs": "Да", + "meta": { + "id": 2 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"Артура и Селесту\" и \"их увидела\". Текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\" Ответь, относится ли \"их увидела\" к \"Артура и Селесту\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.5839824080467224, + "Нет": 0.40136486291885376 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 0, + "span1_text": "Бернард", + "span2_index": 13, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 3 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nФрагменты из этого текста: \"Бернард\" и \"он\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7458661198616028, + "Нет": 0.2421472817659378 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 27, + "span1_text": "любой", + "span2_index": 40, + "span2_text": "им" + }, + "outputs": "Нет", + "meta": { + "id": 4 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nФрагменты из этого текста: \"любой\" и \"им\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9936461448669434, + "Нет": 0.004060804843902588 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 1, + "span1_text": "Дик", + "span2_index": 14, + "span2_text": "он перепрыгнул" + }, + "outputs": "Нет", + "meta": { + "id": 5 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Дик\" и второй фрагмент: \"он перепрыгнул\" - определи, относится ли первый фрагмент ко второму в тексте: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.6193939447402954, + "Нет": 0.37568140029907227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.", + "span1_index": 7, + "span1_text": "магазинчиками", + "span2_index": 13, + "span2_text": "них" + }, + "outputs": "Да", + "meta": { + "id": 6 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.\"\nВ тексте фрагмент \"них\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"магазинчиками\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.09325113147497177, + "Нет": 0.6890378594398499 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что он сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 4, + "span1_text": "государственному чиновнику", + "span2_index": 13, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 7 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что он сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"государственному чиновнику\"\n2-е выражение: \"он\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9331216812133789, + "Нет": 0.05965247005224228 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Тогда папа выяснил, сколько мужчина задолжал магазину, к этим деньгам он добавил его счет в забегаловке. Вычтя всю эту сумму из зарплаты мужчины, он выписал ему чек.", + "span1_index": 4, + "span1_text": "мужчина", + "span2_index": 10, + "span2_text": "он добавил" + }, + "outputs": "Нет", + "meta": { + "id": 8 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Тогда папа выяснил, сколько мужчина задолжал магазину, к этим деньгам он добавил его счет в забегаловке. Вычтя всю эту сумму из зарплаты мужчины, он выписал ему чек.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он добавил\" на слово/словосочетание \"мужчина\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.24373233318328857, + "Нет": 0.7507484555244446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет старше.", + "span1_index": 0, + "span1_text": "Дядя Фрэнка", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 9 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет старше.\"\nПостарайся определить, относится ли здесь \"он\" к \"Дядя Фрэнка\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.3188961148262024, + "Нет": 0.6751030683517456 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 8, + "span1_text": "хозяин", + "span2_index": 14, + "span2_text": "он перепрыгнул" + }, + "outputs": "Да", + "meta": { + "id": 10 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он перепрыгнул\" к объекту фрагмента \"хозяин\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.5264168381690979, + "Нет": 0.46456125378608704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 4, + "span1_text": "слоны", + "span2_index": 13, + "span2_text": "их увидела" + }, + "outputs": "Нет", + "meta": { + "id": 11 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nОбъект из текста: \"слоны\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"их увидела\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1641087681055069, + "Нет": 0.8334131240844727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 8, + "span1_text": "хозяин", + "span2_index": 14, + "span2_text": "он взревел" + }, + "outputs": "Нет", + "meta": { + "id": 12 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"хозяин\" и \"он взревел\". Текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\" Ответь, относится ли \"он взревел\" к \"хозяин\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.5852423310279846, + "Нет": 0.40223079919815063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что он сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 0, + "span1_text": "Бернард", + "span2_index": 41, + "span2_text": "им" + }, + "outputs": "Да", + "meta": { + "id": 13 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что он сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nФрагменты из этого текста: \"Бернард\" и \"им\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8939720988273621, + "Нет": 0.09422396868467331 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.", + "span1_index": 13, + "span1_text": "лужайку", + "span2_index": 15, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 14 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.\"\nФрагменты из этого текста: \"лужайку\" и \"ее\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.8999796509742737, + "Нет": 0.09485715627670288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.", + "span1_index": 0, + "span1_text": "Конюшня", + "span2_index": 15, + "span2_text": "ее" + }, + "outputs": "Да", + "meta": { + "id": 15 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Конюшня\" и второй фрагмент: \"ее\" - определи, относится ли первый фрагмент ко второму в тексте: \"Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.18163661658763885, + "Нет": 0.8140388131141663 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет моложе.", + "span1_index": 0, + "span1_text": "Дядя Фрэнка", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 16 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет моложе.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Дядя Фрэнка\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.06908910721540451, + "Нет": 0.6554992198944092 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.", + "span1_index": 8, + "span1_text": "фрамуга", + "span2_index": 15, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 17 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"фрамуга\"\n2-е выражение: \"ее\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 157, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9262912273406982, + "Нет": 0.06710030883550644 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 8, + "span1_text": "хозяин", + "span2_index": 14, + "span2_text": "он был там" + }, + "outputs": "Да", + "meta": { + "id": 18 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он был там\" на слово/словосочетание \"хозяин\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.09474063664674759, + "Нет": 0.8988741040229797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 1, + "span1_text": "Дик", + "span2_index": 32, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 19 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nПостарайся определить, относится ли здесь \"его\" к \"Дик\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7741681337356567, + "Нет": 0.22180289030075073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет моложе.", + "span1_index": 1, + "span1_text": "Фрэнка", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 20 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет моложе.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он\" к объекту фрагмента \"Фрэнка\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.31742584705352783, + "Нет": 0.6719905138015747 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 8, + "span1_text": "хозяин", + "span2_index": 32, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 21 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nОбъект из текста: \"хозяин\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.29259833693504333, + "Нет": 0.7019069194793701 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мистер Тейлор был человеком с неуверенным характером и предпочитал думать, что Дэвид был просто неотесанный чурбан, и что любой шаг, который он предпринимал в любом направлении по собственной инициативе, был просто еще одним доказательством его врожденного идиотизма.", + "span1_index": 0, + "span1_text": "Мистер Тейлор", + "span2_index": 34, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 22 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"Мистер Тейлор\" и \"его\". Текст: \"Мистер Тейлор был человеком с неуверенным характером и предпочитал думать, что Дэвид был просто неотесанный чурбан, и что любой шаг, который он предпринимал в любом направлении по собственной инициативе, был просто еще одним доказательством его врожденного идиотизма.\" Ответь, относится ли \"его\" к \"Мистер Тейлор\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1632339060306549, + "Нет": 0.828970193862915 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.", + "span1_index": 11, + "span1_text": "комнатах", + "span2_index": 13, + "span2_text": "них" + }, + "outputs": "Нет", + "meta": { + "id": 23 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.\"\nФрагменты из этого текста: \"комнатах\" и \"них\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.43277686834335327, + "Нет": 0.5556964874267578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 4, + "span1_text": "государственному чиновнику", + "span2_index": 13, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 24 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nФрагменты из этого текста: \"государственному чиновнику\" и \"он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9707226753234863, + "Нет": 0.025868883356451988 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 1, + "span1_text": "Дик", + "span2_index": 14, + "span2_text": "он был там" + }, + "outputs": "Нет", + "meta": { + "id": 25 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Дик\" и второй фрагмент: \"он был там\" - определи, относится ли первый фрагмент ко второму в тексте: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 171, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.017923222854733467, + "Нет": 0.9785747528076172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 4, + "span1_text": "государственному чиновнику", + "span2_index": 40, + "span2_text": "им" + }, + "outputs": "Нет", + "meta": { + "id": 26 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nВ тексте фрагмент \"им\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"государственному чиновнику\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.03575531765818596, + "Нет": 0.8137872815132141 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.", + "span1_index": 8, + "span1_text": "Марк", + "span2_index": 24, + "span2_text": "Ему нужно было" + }, + "outputs": "Да", + "meta": { + "id": 27 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Марк\"\n2-е выражение: \"Ему нужно было\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.8874198794364929, + "Нет": 0.10598719120025635 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 1, + "span1_text": "Дик", + "span2_index": 14, + "span2_text": "он взревел" + }, + "outputs": "Да", + "meta": { + "id": 28 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он взревел\" на слово/словосочетание \"Дик\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.724294126033783, + "Нет": 0.26645293831825256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.", + "span1_index": 4, + "span1_text": "мистер Шмидт", + "span2_index": 24, + "span2_text": "Ему нужно было" + }, + "outputs": "Нет", + "meta": { + "id": 29 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.\"\nПостарайся определить, относится ли здесь \"Ему нужно было\" к \"мистер Шмидт\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8134596347808838, + "Нет": 0.18150737881660461 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 33, + "span1_text": "новости", + "span2_index": 13, + "span2_text": "их матери" + }, + "outputs": "Нет", + "meta": { + "id": 30 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"их матери\" к объекту фрагмента \"новости\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.4645521938800812, + "Нет": 0.5264065861701965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.", + "span1_index": 0, + "span1_text": "Лавочники", + "span2_index": 13, + "span2_text": "них" + }, + "outputs": "Нет", + "meta": { + "id": 31 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.\"\nОбъект из текста: \"Лавочники\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"них\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9103145003318787, + "Нет": 0.08467243611812592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.", + "span1_index": 4, + "span1_text": "мистер Шмидт", + "span2_index": 17, + "span2_text": "его работа" + }, + "outputs": "Да", + "meta": { + "id": 32 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"мистер Шмидт\" и \"его работа\". Текст: \"Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.\" Ответь, относится ли \"его работа\" к \"мистер Шмидт\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.31758466362953186, + "Нет": 0.6723266839981079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 6, + "span1_text": "Артура и Селесту", + "span2_index": 13, + "span2_text": "их матери" + }, + "outputs": "Да", + "meta": { + "id": 33 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nФрагменты из этого текста: \"Артура и Селесту\" и \"их матери\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9353386163711548, + "Нет": 0.05979419872164726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 9, + "span2_text": "их вернули" + }, + "outputs": "Нет", + "meta": { + "id": 34 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nФрагменты из этого текста: \"Матери\" и \"их вернули\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.920137882232666, + "Нет": 0.07552951574325562 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 5, + "span1_text": "мистера Сингера", + "span2_index": 7, + "span2_text": "Он слышал" + }, + "outputs": "Нет", + "meta": { + "id": 35 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"мистера Сингера\" и второй фрагмент: \"Он слышал\" - определи, относится ли первый фрагмент ко второму в тексте: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 179, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7510626912117004, + "Нет": 0.24383436143398285 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.", + "span1_index": 19, + "span1_text": "молодого джентльмена", + "span2_index": 25, + "span2_text": "Он хотел" + }, + "outputs": "Да", + "meta": { + "id": 36 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.\"\nВ тексте фрагмент \"Он хотел\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"молодого джентльмена\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.06115510314702988, + "Нет": 0.745021641254425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 15, + "span2_text": "ему больше не разрешается" + }, + "outputs": "Нет", + "meta": { + "id": 37 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"хозяину\"\n2-е выражение: \"ему больше не разрешается\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.4947814643383026, + "Нет": 0.4947814643383026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 7, + "span1_text": "нового грума", + "span2_index": 35, + "span2_text": "его ремесло" + }, + "outputs": "Нет", + "meta": { + "id": 38 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"его ремесло\" на слово/словосочетание \"нового грума\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2424631267786026, + "Нет": 0.7468390464782715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 3, + "span1_text": "пони", + "span2_index": 10, + "span2_text": "его сбросил" + }, + "outputs": "Нет", + "meta": { + "id": 39 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nПостарайся определить, относится ли здесь \"его сбросил\" к \"пони\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7020598649978638, + "Нет": 0.2926620841026306 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 4, + "span2_text": "он дает" + }, + "outputs": "Нет", + "meta": { + "id": 40 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он дает\" к объекту фрагмента \"Бабар\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.5566245913505554, + "Нет": 0.43349969387054443 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Так Марк и спал. Было уже светло, когда он проснулся с рукой Уоррена на его плече.", + "span1_index": 12, + "span1_text": "Уоррена", + "span2_index": 14, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 41 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Так Марк и спал. Было уже светло, когда он проснулся с рукой Уоррена на его плече.\"\nОбъект из текста: \"Уоррена\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9290295243263245, + "Нет": 0.06729867309331894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 19, + "span1_text": "старый кучер", + "span2_index": 35, + "span2_text": "его ремесло" + }, + "outputs": "Да", + "meta": { + "id": 42 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"старый кучер\" и \"его ремесло\". Текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\" Ответь, относится ли \"его ремесло\" к \"старый кучер\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9560940861701965, + "Нет": 0.03707179054617882 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Равно надоедлив и Си Кей Декстер Хэвен, бледный молодой денди, держащий трость с нефритовой ручкой, с пуделем, спящим у его ног.", + "span1_index": 3, + "span1_text": "Си Кей Декстер Хэвен", + "span2_index": 19, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 43 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Равно надоедлив и Си Кей Декстер Хэвен, бледный молодой денди, держащий трость с нефритовой ручкой, с пуделем, спящим у его ног.\"\nФрагменты из этого текста: \"Си Кей Декстер Хэвен\" и \"его\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.885511577129364, + "Нет": 0.10575927793979645 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 0, + "span1_text": "Сэр Клиффорд", + "span2_index": 35, + "span2_text": "его ремесло" + }, + "outputs": "Нет", + "meta": { + "id": 44 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nФрагменты из этого текста: \"Сэр Клиффорд\" и \"его ремесло\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7503042817115784, + "Нет": 0.2435881346464157 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.", + "span1_index": 0, + "span1_text": "Лайонел", + "span2_index": 17, + "span2_text": "его украсть" + }, + "outputs": "Нет", + "meta": { + "id": 45 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Лайонел\" и второй фрагмент: \"его украсть\" - определи, относится ли первый фрагмент ко второму в тексте: \"Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.34671956300735474, + "Нет": 0.6477574110031128 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Все пуговицы на спине клетчатого платья Доры были застегнуты снаружи вовнутрь. Мод следовало бы подумать о том, чтобы привести ее в порядок, но нет, она оставила бедную маленькую Дору делать все, на что она способна, в одиночку.", + "span1_index": 28, + "span1_text": "Дору", + "span2_index": 24, + "span2_text": "она способна" + }, + "outputs": "Да", + "meta": { + "id": 46 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Все пуговицы на спине клетчатого платья Доры были застегнуты снаружи вовнутрь. Мод следовало бы подумать о том, чтобы привести ее в порядок, но нет, она оставила бедную маленькую Дору делать все, на что она способна, в одиночку.\"\nВ тексте фрагмент \"она способна\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Дору\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.08115930110216141, + "Нет": 0.6795384883880615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.", + "span1_index": 6, + "span1_text": "полу", + "span2_index": 9, + "span2_text": "ним" + }, + "outputs": "Нет", + "meta": { + "id": 47 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"полу\"\n2-е выражение: \"ним\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.07546162605285645, + "Нет": 0.9193108081817627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 37, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 48 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"его\" на слово/словосочетание \"Марк\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.041846249252557755, + "Нет": 0.9524162411689758 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.", + "span1_index": 3, + "span1_text": "Питер", + "span2_index": 17, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 49 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.\"\nПостарайся определить, относится ли здесь \"его\" к \"Питер\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7723351716995239, + "Нет": 0.22127774357795715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "На вывесках над дверями лавочек были изображения, показывающие, какого рода работы выполняют внутри. Хотя все больше людей учились читать, каждый ремесленник все еще использовал такие знаки, не желая потерять возможного клиента только потому, что он оказался неграмотным.", + "span1_index": 30, + "span1_text": "клиента", + "span2_index": 34, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 50 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"На вывесках над дверями лавочек были изображения, показывающие, какого рода работы выполняют внутри. Хотя все больше людей учились читать, каждый ремесленник все еще использовал такие знаки, не желая потерять возможного клиента только потому, что он оказался неграмотным.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он\" к объекту фрагмента \"клиента\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2919059693813324, + "Нет": 0.7002460360527039 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мать Эммы давно умерла, и ее образованием заправляла женщина-совершенство в качестве гувернантки.", + "span1_index": 0, + "span1_text": "Мать", + "span2_index": 5, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 51 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Мать Эммы давно умерла, и ее образованием заправляла женщина-совершенство в качестве гувернантки.\"\nОбъект из текста: \"Мать\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"ее\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.0024712192825973034, + "Нет": 0.9969609379768372 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "В одном Марк был уверен. Гарри знал гораздо меньше, чем он.", + "span1_index": 5, + "span1_text": "Гарри", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 52 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"Гарри\" и \"он\". Текст: \"В одном Марк был уверен. Гарри знал гораздо меньше, чем он.\" Ответь, относится ли \"он\" к \"Гарри\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7225742936134338, + "Нет": 0.2658202648162842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.", + "span1_index": 7, + "span1_text": "капитана", + "span2_index": 17, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 53 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.\"\nФрагменты из этого текста: \"капитана\" и \"его\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.31674012541770935, + "Нет": 0.6705387830734253 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Как насчет того раза, когда вы нарезали луковицы тюльпанов в гамбургеры, потому что вы думали, что они были луком?", + "span1_index": 10, + "span1_text": "гамбургеры", + "span2_index": 16, + "span2_text": "они" + }, + "outputs": "Нет", + "meta": { + "id": 54 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Как насчет того раза, когда вы нарезали луковицы тюльпанов в гамбургеры, потому что вы думали, что они были луком?\"\nФрагменты из этого текста: \"гамбургеры\" и \"они\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.87526935338974, + "Нет": 0.11845482885837555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мои родители умерли, я не зарабатывал достаточно, чтобы содержать себя или свою искалеченную сестру Нелли, и без нашей доброй покровительницы мы пошли бы в богадельню. Нелли называет ее своим ангелом, и она имеет полное право на это.", + "span1_index": 20, + "span1_text": "покровительницы", + "span2_index": 28, + "span2_text": "ее" + }, + "outputs": "Да", + "meta": { + "id": 55 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"покровительницы\" и второй фрагмент: \"ее\" - определи, относится ли первый фрагмент ко второму в тексте: \"Когда мои родители умерли, я не зарабатывал достаточно, чтобы содержать себя или свою искалеченную сестру Нелли, и без нашей доброй покровительницы мы пошли бы в богадельню. Нелли называет ее своим ангелом, и она имеет полное право на это.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.6188827157020569, + "Нет": 0.3753713369369507 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 57, + "span2_text": "он больше не наказывал" + }, + "outputs": "Да", + "meta": { + "id": 56 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nВ тексте фрагмент \"он больше не наказывал\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"хозяину\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.046582888811826706, + "Нет": 0.7286790013313293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 43, + "span2_text": "его таким злым" + }, + "outputs": "Да", + "meta": { + "id": 57 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"хозяину\"\n2-е выражение: \"его таким злым\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7923270463943481, + "Нет": 0.2003316432237625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.", + "span1_index": 6, + "span1_text": "Алисой", + "span2_index": 7, + "span2_text": "Она" + }, + "outputs": "Нет", + "meta": { + "id": 58 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"Она\" на слово/словосочетание \"Алисой\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.03288991376757622, + "Нет": 0.9611841440200806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я пошел и съел немного салата, скорее чтобы скоротать время, а не потому, что мне его хотелось.", + "span1_index": 9, + "span1_text": "время", + "span2_index": 15, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 59 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Я пошел и съел немного салата, скорее чтобы скоротать время, а не потому, что мне его хотелось.\"\nПостарайся определить, относится ли здесь \"его\" к \"время\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7731235027313232, + "Нет": 0.2215036004781723 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мой хозяин и хозяйка решили навестить друзей, которые жили в сорока шести милях от нашего дома, и Джеймс должен был отвезти их.", + "span1_index": 1, + "span1_text": "хозяин и хозяйка", + "span2_index": 21, + "span2_text": "их" + }, + "outputs": "Да", + "meta": { + "id": 60 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Мой хозяин и хозяйка решили навестить друзей, которые жили в сорока шести милях от нашего дома, и Джеймс должен был отвезти их.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"их\" к объекту фрагмента \"хозяин и хозяйка\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1996440887451172, + "Нет": 0.7896077036857605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 12, + "span1_text": "Джон", + "span2_index": 10, + "span2_text": "его сбросил" + }, + "outputs": "Нет", + "meta": { + "id": 61 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nОбъект из текста: \"Джон\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его сбросил\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.010967595502734184, + "Нет": 0.9872713685035706 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.", + "span1_index": 10, + "span1_text": "улыбкой", + "span2_index": 24, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 62 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"улыбкой\" и \"она\". Текст: \"Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.\" Ответь, относится ли \"она\" к \"улыбкой\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.4630035161972046, + "Нет": 0.5246517062187195 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 0, + "span1_text": "Сэр Клиффорд", + "span2_index": 18, + "span2_text": "Его старый кучер" + }, + "outputs": "Да", + "meta": { + "id": 63 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nФрагменты из этого текста: \"Сэр Клиффорд\" и \"Его старый кучер\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8980581760406494, + "Нет": 0.0946546345949173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 43, + "span2_text": "его таким злым" + }, + "outputs": "Нет", + "meta": { + "id": 64 + } + }, + "prompt": "<|im_start|>user\nТекст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nФрагменты из этого текста: \"Билли\" и \"его таким злым\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9958350658416748, + "Нет": 0.002178380498662591 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 1, + "span1_text": "Татьяна", + "span2_index": 5, + "span2_text": "ее не побеспокоить" + }, + "outputs": "Нет", + "meta": { + "id": 65 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Татьяна\" и второй фрагмент: \"ее не побеспокоить\" - определи, относится ли первый фрагмент ко второму в тексте: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 157, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.6757052540779114, + "Нет": 0.31918057799339294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.", + "span1_index": 4, + "span1_text": "Стива", + "span2_index": 13, + "span2_text": "ним" + }, + "outputs": "Да", + "meta": { + "id": 66 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.\"\nВ тексте фрагмент \"ним\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Стива\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.06820672750473022, + "Нет": 0.7332914471626282 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 6, + "span1_text": "мать", + "span2_index": 5, + "span2_text": "ее узкую койку" + }, + "outputs": "Нет", + "meta": { + "id": 67 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"мать\"\n2-е выражение: \"ее узкую койку\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7465622425079346, + "Нет": 0.2423732727766037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Уэйнрайты обращались с мистером Кроули, как с принцем, пока он не изменил свое завещание в их пользу; тогда они стали обращаться с ним, как с грязью. Люди говорили, что он умер, только чтобы избавиться от их вечного нытья.", + "span1_index": 26, + "span1_text": "Люди", + "span2_index": 15, + "span2_text": "их вечного нытья" + }, + "outputs": "Нет", + "meta": { + "id": 68 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Уэйнрайты обращались с мистером Кроули, как с принцем, пока он не изменил свое завещание в их пользу; тогда они стали обращаться с ним, как с грязью. Люди говорили, что он умер, только чтобы избавиться от их вечного нытья.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их вечного нытья\" на слово/словосочетание \"Люди\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.5262605547904968, + "Нет": 0.4644232988357544 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "На вывесках над дверями лавочек были изображения, показывающие, какого рода работы выполняют внутри. Хотя все больше людей учились читать, каждый ремесленник все еще использовал такие знаки, не желая потерять возможного клиента только потому, что он оказался неграмотным.", + "span1_index": 20, + "span1_text": "ремесленник", + "span2_index": 34, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 69 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"На вывесках над дверями лавочек были изображения, показывающие, какого рода работы выполняют внутри. Хотя все больше людей учились читать, каждый ремесленник все еще использовал такие знаки, не желая потерять возможного клиента только потому, что он оказался неграмотным.\"\nПостарайся определить, относится ли здесь \"он\" к \"ремесленник\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.40378814935684204, + "Нет": 0.5875082612037659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 15, + "span2_text": "ему крылья" + }, + "outputs": "Да", + "meta": { + "id": 70 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"ему крылья\" к объекту фрагмента \"хозяину\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1988566666841507, + "Нет": 0.7864934206008911 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 3, + "span1_text": "пони", + "span2_index": 10, + "span2_text": "его как надо" + }, + "outputs": "Да", + "meta": { + "id": 71 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nОбъект из текста: \"пони\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его как надо\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9118959307670593, + "Нет": 0.08481953293085098 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 7, + "span2_text": "Он слышал" + }, + "outputs": "Да", + "meta": { + "id": 72 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"Марк\" и \"Он слышал\". Текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\" Ответь, относится ли \"Он слышал\" к \"Марк\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21917688846588135, + "Нет": 0.7650024890899658 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.", + "span1_index": 6, + "span1_text": "форме", + "span2_index": 24, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 73 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.\"\nФрагменты из этого текста: \"форме\" и \"она\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8608588576316833, + "Нет": 0.13201698660850525 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 4, + "span2_text": "он любит" + }, + "outputs": "Нет", + "meta": { + "id": 74 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nФрагменты из этого текста: \"Бабар\" и \"он любит\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.974469780921936, + "Нет": 0.022917332127690315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 9, + "span2_text": "их вернули" + }, + "outputs": "Да", + "meta": { + "id": 75 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Артура и Селесты\" и второй фрагмент: \"их вернули\" - определи, относится ли первый фрагмент ко второму в тексте: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.20049941539764404, + "Нет": 0.7929905652999878 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 0, + "span1_text": "Мальчик", + "span2_index": 10, + "span2_text": "его сбросил" + }, + "outputs": "Да", + "meta": { + "id": 76 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nВ тексте фрагмент \"его сбросил\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Мальчик\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.006099544931203127, + "Нет": 0.9052527546882629 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.", + "span1_index": 6, + "span1_text": "бобы", + "span2_index": 25, + "span2_text": "их воскресных обедов" + }, + "outputs": "Нет", + "meta": { + "id": 77 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"бобы\"\n2-е выражение: \"их воскресных обедов\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9852965474128723, + "Нет": 0.009659508243203163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 1, + "span1_text": "мистер Бонд", + "span2_index": 15, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 78 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он\" на слово/словосочетание \"мистер Бонд\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.18096187710762024, + "Нет": 0.8110148310661316 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 34, + "span2_text": "ему" + }, + "outputs": "Да", + "meta": { + "id": 79 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nПостарайся определить, относится ли здесь \"ему\" к \"Бабар\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9495567083358765, + "Нет": 0.047275643795728683 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.", + "span1_index": 19, + "span1_text": "подкову", + "span2_index": 24, + "span2_text": "она" + }, + "outputs": "Да", + "meta": { + "id": 80 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"она\" к объекту фрагмента \"подкову\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.43419983983039856, + "Нет": 0.5575236082077026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 9, + "span2_text": "она посылала" + }, + "outputs": "Нет", + "meta": { + "id": 81 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nОбъект из текста: \"Нелли\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она посылала\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.943909764289856, + "Нет": 0.05325174704194069 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сержант Холмс попросил девушек описать злоумышленника. Нэнси не только дала полицейскому отличное описание грузного тридцатилетнего грабителя, но и нарисовала грубый набросок его лица.", + "span1_index": 15, + "span1_text": "грабителя", + "span2_index": 21, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 82 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"грабителя\" и \"его\". Текст: \"Сержант Холмс попросил девушек описать злоумышленника. Нэнси не только дала полицейскому отличное описание грузного тридцатилетнего грабителя, но и нарисовала грубый набросок его лица.\" Ответь, относится ли \"его\" к \"грабителя\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.29071587324142456, + "Нет": 0.6973910927772522 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 10, + "span2_text": "Они очень рады" + }, + "outputs": "Да", + "meta": { + "id": 83 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nФрагменты из этого текста: \"Матери\" и \"Они очень рады\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9473428130149841, + "Нет": 0.04716541990637779 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 11, + "span2_text": "ей работу" + }, + "outputs": "Нет", + "meta": { + "id": 84 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nФрагменты из этого текста: \"покровительница\" и \"ей работу\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.4644579291343689, + "Нет": 0.526299774646759 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.", + "span1_index": 0, + "span1_text": "Политики", + "span2_index": 9, + "span2_text": "они" + }, + "outputs": "Да", + "meta": { + "id": 85 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Политики\" и второй фрагмент: \"они\" - определи, относится ли первый фрагмент ко второму в тексте: \"Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2675848603248596, + "Нет": 0.7273709774017334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.", + "span1_index": 16, + "span1_text": "ведро", + "span2_index": 9, + "span2_text": "ним" + }, + "outputs": "Нет", + "meta": { + "id": 86 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.\"\nВ тексте фрагмент \"ним\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"ведро\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.18777017295360565, + "Нет": 0.5783728957176208 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 12, + "span1_text": "богатый старик", + "span2_index": 4, + "span2_text": "он жаждет" + }, + "outputs": "Нет", + "meta": { + "id": 87 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"богатый старик\"\n2-е выражение: \"он жаждет\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.047218821942806244, + "Нет": 0.9484153985977173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Татьяна знала, что бабушке всегда нравилось угощать гостей ее большого дома множеством разной еды. Теперь Татьяна наблюдала, как бабушка взяла маленькую маму Татьяны в широкие тощие объятия, а затем подтолкнула ее к столу, сняла платок с плеч, усадила ее на почетное место и сказала просто: \"Там побольше\".", + "span1_index": 0, + "span1_text": "Татьяна", + "span2_index": 8, + "span2_text": "ее к столу" + }, + "outputs": "Нет", + "meta": { + "id": 88 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Татьяна знала, что бабушке всегда нравилось угощать гостей ее большого дома множеством разной еды. Теперь Татьяна наблюдала, как бабушка взяла маленькую маму Татьяны в широкие тощие объятия, а затем подтолкнула ее к столу, сняла платок с плеч, усадила ее на почетное место и сказала просто: \"Там побольше\".\"\nОпредели, ссылается ли местоимение в фрагменте текста \"ее к столу\" на слово/словосочетание \"Татьяна\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7257329821586609, + "Нет": 0.2669822573661804 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 1, + "span1_text": "Татьяна", + "span2_index": 9, + "span2_text": "Она" + }, + "outputs": "Да", + "meta": { + "id": 89 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\"\nПостарайся определить, относится ли здесь \"Она\" к \"Татьяна\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.4048077464103699, + "Нет": 0.5889917612075806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 17, + "span2_text": "они убежали" + }, + "outputs": "Нет", + "meta": { + "id": 90 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"они убежали\" к объекту фрагмента \"Матери\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.37474918365478516, + "Нет": 0.6178569793701172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Никто не присоединяется к Facebook, чтобы быть грустным и одиноким. Но новое исследование психолога Университета Висконсина Джорджа Линкольна утверждает, что именно такими он и заставляет нас себя чувствовать.", + "span1_index": 16, + "span1_text": "Джорджа Линкольна", + "span2_index": 22, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 91 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Никто не присоединяется к Facebook, чтобы быть грустным и одиноким. Но новое исследование психолога Университета Висконсина Джорджа Линкольна утверждает, что именно такими он и заставляет нас себя чувствовать.\"\nОбъект из текста: \"Джорджа Линкольна\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"он\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.5595852732658386, + "Нет": 0.43580543994903564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.", + "span1_index": 3, + "span1_text": "Питер", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 92 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"Питер\" и \"он\". Текст: \"Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.\" Ответь, относится ли \"он\" к \"Питер\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9089521765708923, + "Нет": 0.08454572409391403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.", + "span1_index": 7, + "span1_text": "поселенцев", + "span2_index": 9, + "span2_text": "они" + }, + "outputs": "Нет", + "meta": { + "id": 93 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.\"\nФрагменты из этого текста: \"поселенцев\" и \"они\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9270343780517578, + "Нет": 0.06715414673089981 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 12, + "span1_text": "богатый старик", + "span2_index": 4, + "span2_text": "он дает" + }, + "outputs": "Да", + "meta": { + "id": 94 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nФрагменты из этого текста: \"богатый старик\" и \"он дает\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.8315204977989197, + "Нет": 0.16373607516288757 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Уэйнрайты обращались с мистером Кроули, как с принцем, пока он не изменил свое завещание в их пользу; тогда они стали обращаться с ним, как с грязью. Люди говорили, что он умер, только чтобы избавиться от их вечного нытья.", + "span1_index": 0, + "span1_text": "Уэйнрайты", + "span2_index": 15, + "span2_text": "их вечного нытья" + }, + "outputs": "Да", + "meta": { + "id": 95 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Уэйнрайты\" и второй фрагмент: \"их вечного нытья\" - определи, относится ли первый фрагмент ко второму в тексте: \"Уэйнрайты обращались с мистером Кроули, как с принцем, пока он не изменил свое завещание в их пользу; тогда они стали обращаться с ним, как с грязью. Люди говорили, что он умер, только чтобы избавиться от их вечного нытья.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.4658852815628052, + "Нет": 0.527917206287384 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 17, + "span2_text": "они убежали" + }, + "outputs": "Да", + "meta": { + "id": 96 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nВ тексте фрагмент \"они убежали\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Артура и Селесты\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1648028939962387, + "Нет": 0.5752186179161072 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 11, + "span2_text": "ей от себя обеды" + }, + "outputs": "Нет", + "meta": { + "id": 97 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"покровительница\"\n2-е выражение: \"ей от себя обеды\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9649654626846313, + "Нет": 0.029139433056116104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 11, + "span2_text": "ей работу" + }, + "outputs": "Да", + "meta": { + "id": 98 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"ей работу\" на слово/словосочетание \"Нелли\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.37399402260780334, + "Нет": 0.616611897945404 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 19, + "span1_text": "старый кучер", + "span2_index": 35, + "span2_text": "его место" + }, + "outputs": "Да", + "meta": { + "id": 99 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nПостарайся определить, относится ли здесь \"его место\" к \"старый кучер\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.3465045392513275, + "Нет": 0.6473556756973267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.", + "span1_index": 9, + "span1_text": "яхты", + "span2_index": 20, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 100 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"она\" к объекту фрагмента \"яхты\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.31796613335609436, + "Нет": 0.6731342673301697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 9, + "span2_text": "она еще была способна" + }, + "outputs": "Нет", + "meta": { + "id": 101 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nОбъект из текста: \"покровительница\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она еще была способна\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.00037970198900438845, + "Нет": 0.9988767504692078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.", + "span1_index": 6, + "span1_text": "города", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Нет", + "meta": { + "id": 102 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"города\" и \"Он\". Текст: \"Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.\" Ответь, относится ли \"Он\" к \"города\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.6115137338638306, + "Нет": 0.37090185284614563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.", + "span1_index": 8, + "span1_text": "Марк", + "span2_index": 17, + "span2_text": "его работа" + }, + "outputs": "Нет", + "meta": { + "id": 103 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.\"\nФрагменты из этого текста: \"Марк\" и \"его работа\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9001742005348206, + "Нет": 0.09487766027450562 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 17, + "span2_text": "они также ругают" + }, + "outputs": "Да", + "meta": { + "id": 104 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nФрагменты из этого текста: \"Матери\" и \"они также ругают\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.887712299823761, + "Нет": 0.10602211952209473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Как насчет того раза, когда вы нарезали луковицы тюльпанов в гамбургеры, потому что вы думали, что они были луком?", + "span1_index": 7, + "span1_text": "луковицы тюльпанов", + "span2_index": 16, + "span2_text": "они" + }, + "outputs": "Да", + "meta": { + "id": 105 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"луковицы тюльпанов\" и второй фрагмент: \"они\" - определи, относится ли первый фрагмент ко второму в тексте: \"Как насчет того раза, когда вы нарезали луковицы тюльпанов в гамбургеры, потому что вы думали, что они были луком?\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.03296387940645218, + "Нет": 0.9633457660675049 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мы видели мальчика, пытающегося заставить пони перепрыгнуть через ворота; пони не стал прыгать, и мальчик стегнул его кнутом, но он только снова повернул в сторону.", + "span1_index": 2, + "span1_text": "мальчика", + "span2_index": 19, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 106 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Мы видели мальчика, пытающегося заставить пони перепрыгнуть через ворота; пони не стал прыгать, и мальчик стегнул его кнутом, но он только снова повернул в сторону.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"мальчика\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.11765551567077637, + "Нет": 0.6770607829093933 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.", + "span1_index": 6, + "span1_text": "бобы", + "span2_index": 25, + "span2_text": "их шелушить" + }, + "outputs": "Да", + "meta": { + "id": 107 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"бобы\"\n2-е выражение: \"их шелушить\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.924440324306488, + "Нет": 0.0669662356376648 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Татьяна управлялась с двумя гитарами и волынкой и еще успевала указывать пальцем на Фрименов: \"Разве не замечательно, что они пришли, мама!\"", + "span1_index": 13, + "span1_text": "Фрименов", + "span2_index": 18, + "span2_text": "они" + }, + "outputs": "Да", + "meta": { + "id": 108 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Татьяна управлялась с двумя гитарами и волынкой и еще успевала указывать пальцем на Фрименов: \"Разве не замечательно, что они пришли, мама!\"\"\nОпредели, ссылается ли местоимение в фрагменте текста \"они\" на слово/словосочетание \"Фрименов\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.00458824448287487, + "Нет": 0.9907848834991455 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.", + "span1_index": 0, + "span1_text": "Политики", + "span2_index": 16, + "span2_text": "ими" + }, + "outputs": "Нет", + "meta": { + "id": 109 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.\"\nПостарайся определить, относится ли здесь \"ими\" к \"Политики\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.8483073115348816, + "Нет": 0.1474136859178543 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 4, + "span2_text": "он жаждет" + }, + "outputs": "Да", + "meta": { + "id": 110 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он жаждет\" к объекту фрагмента \"Бабар\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.5565651059150696, + "Нет": 0.43345335125923157 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сержант Холмс попросил девушек описать злоумышленника. Нэнси не только дала полицейскому отличное описание грузного тридцатилетнего грабителя, но и нарисовала грубый набросок его лица.", + "span1_index": 0, + "span1_text": "Сержант Холмс", + "span2_index": 21, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 111 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Сержант Холмс попросил девушек описать злоумышленника. Нэнси не только дала полицейскому отличное описание грузного тридцатилетнего грабителя, но и нарисовала грубый набросок его лица.\"\nОбъект из текста: \"Сержант Холмс\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.8887970447540283, + "Нет": 0.10615167021751404 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 15, + "span2_text": "ему больше не разрешается" + }, + "outputs": "Да", + "meta": { + "id": 112 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"Билли\" и \"ему больше не разрешается\". Текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\" Ответь, относится ли \"ему больше не разрешается\" к \"Билли\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 189, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7867276072502136, + "Нет": 0.19891588389873505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 7, + "span1_text": "черного коня", + "span2_index": 15, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 113 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nФрагменты из этого текста: \"черного коня\" и \"он\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.6702563166618347, + "Нет": 0.31660670042037964 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.", + "span1_index": 7, + "span1_text": "поселенцев", + "span2_index": 16, + "span2_text": "ими" + }, + "outputs": "Да", + "meta": { + "id": 114 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.\"\nФрагменты из этого текста: \"поселенцев\" и \"ими\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7935034036636353, + "Нет": 0.2006290853023529 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 5, + "span1_text": "мистера Сингера", + "span2_index": 37, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 115 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"мистера Сингера\" и второй фрагмент: \"его\" - определи, относится ли первый фрагмент ко второму в тексте: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9946213960647583, + "Нет": 0.003587164916098118 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.", + "span1_index": 18, + "span1_text": "лебедку", + "span2_index": 20, + "span2_text": "она" + }, + "outputs": "Да", + "meta": { + "id": 116 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.\"\nВ тексте фрагмент \"она\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"лебедку\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1098298579454422, + "Нет": 0.6320272088050842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 10, + "span2_text": "Они очень рады" + }, + "outputs": "Нет", + "meta": { + "id": 117 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Артура и Селесты\"\n2-е выражение: \"Они очень рады\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.46592891216278076, + "Нет": 0.5279666185379028 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 17, + "span2_text": "они также ругают" + }, + "outputs": "Нет", + "meta": { + "id": 118 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"они также ругают\" на слово/словосочетание \"Артура и Селесты\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.4345097243785858, + "Нет": 0.5579215288162231 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После довольно продолжительной беседы Нэнси убедила экономку в том, что причины для тревоги не было. Она не сказала о неприятности на автобусной станции в Гамильтоне, зная, что упоминание о ней только усилит беспокойство миссис Грюн.", + "span1_index": 6, + "span1_text": "экономку", + "span2_index": 15, + "span2_text": "Она" + }, + "outputs": "Нет", + "meta": { + "id": 119 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"После довольно продолжительной беседы Нэнси убедила экономку в том, что причины для тревоги не было. Она не сказала о неприятности на автобусной станции в Гамильтоне, зная, что упоминание о ней только усилит беспокойство миссис Грюн.\"\nПостарайся определить, относится ли здесь \"Она\" к \"экономку\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 250, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8626611232757568, + "Нет": 0.13229337334632874 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мой хозяин и хозяйка решили навестить друзей, которые жили в сорока шести милях от нашего дома, и Джеймс должен был отвезти их.", + "span1_index": 6, + "span1_text": "друзей", + "span2_index": 21, + "span2_text": "их" + }, + "outputs": "Нет", + "meta": { + "id": 120 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Мой хозяин и хозяйка решили навестить друзей, которые жили в сорока шести милях от нашего дома, и Джеймс должен был отвезти их.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"их\" к объекту фрагмента \"друзей\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.147004172205925, + "Нет": 0.845950722694397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.", + "span1_index": 0, + "span1_text": "Пони", + "span2_index": 25, + "span2_text": "Он хотел" + }, + "outputs": "Нет", + "meta": { + "id": 121 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.\"\nОбъект из текста: \"Пони\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"Он хотел\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.008563642390072346, + "Нет": 0.989822506904602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 1, + "span1_text": "мистер Бонд", + "span2_index": 17, + "span2_text": "его ног" + }, + "outputs": "Нет", + "meta": { + "id": 122 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"мистер Бонд\" и \"его ног\". Текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\" Ответь, относится ли \"его ног\" к \"мистер Бонд\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9086326360702515, + "Нет": 0.0845159962773323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Так Марк и спал. Было уже светло, когда он проснулся с рукой Уоррена на его плече.", + "span1_index": 1, + "span1_text": "Марк", + "span2_index": 14, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 123 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Так Марк и спал. Было уже светло, когда он проснулся с рукой Уоррена на его плече.\"\nФрагменты из этого текста: \"Марк\" и \"его\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.28867343068122864, + "Нет": 0.6924915313720703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.", + "span1_index": 18, + "span1_text": "скольжение", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 124 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.\"\nФрагменты из этого текста: \"скольжение\" и \"его\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9701003432273865, + "Нет": 0.025852298364043236 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 15, + "span2_text": "ему крылья" + }, + "outputs": "Нет", + "meta": { + "id": 125 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Билли\" и второй фрагмент: \"ему крылья\" - определи, относится ли первый фрагмент ко второму в тексте: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8484892845153809, + "Нет": 0.14744532108306885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.", + "span1_index": 8, + "span1_text": "лошади", + "span2_index": 24, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 126 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.\"\nВ тексте фрагмент \"она\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"лошади\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.0985976830124855, + "Нет": 0.6429376602172852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.", + "span1_index": 5, + "span1_text": "куртку", + "span2_index": 20, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 127 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"куртку\"\n2-е выражение: \"она\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.6165217161178589, + "Нет": 0.37393930554389954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.", + "span1_index": 21, + "span1_text": "отверстие", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 128 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"его\" на слово/словосочетание \"отверстие\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9467452764511108, + "Нет": 0.047135669738054276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Жизнь человека и жизнь лошади стоят больше, чем несколько лисьих хвостов; по крайней мере, они должны бы стоить.", + "span1_index": 0, + "span1_text": "Жизнь человека и жизнь лошади", + "span2_index": 14, + "span2_text": "они" + }, + "outputs": "Да", + "meta": { + "id": 129 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Жизнь человека и жизнь лошади стоят больше, чем несколько лисьих хвостов; по крайней мере, они должны бы стоить.\"\nПостарайся определить, относится ли здесь \"они\" к \"Жизнь человека и жизнь лошади\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.863461971282959, + "Нет": 0.13241618871688843 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.", + "span1_index": 6, + "span1_text": "Алисой", + "span2_index": 10, + "span2_text": "ее" + }, + "outputs": "Да", + "meta": { + "id": 130 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"ее\" к объекту фрагмента \"Алисой\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.14675401151180267, + "Нет": 0.844511091709137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 7, + "span1_text": "черного коня", + "span2_index": 17, + "span2_text": "его глубокому сожалению" + }, + "outputs": "Нет", + "meta": { + "id": 131 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nОбъект из текста: \"черного коня\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его глубокому сожалению\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.26760098338127136, + "Нет": 0.7274147868156433 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 20, + "span2_text": "их, потому что" + }, + "outputs": "Нет", + "meta": { + "id": 132 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"Матери\" и \"их, потому что\". Текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\" Ответь, относится ли \"их, потому что\" к \"Матери\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7453206777572632, + "Нет": 0.24197019636631012 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 12, + "span1_text": "богатый старик", + "span2_index": 4, + "span2_text": "он любит" + }, + "outputs": "Да", + "meta": { + "id": 133 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nФрагменты из этого текста: \"богатый старик\" и \"он любит\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.909115195274353, + "Нет": 0.08456088602542877 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.", + "span1_index": 16, + "span1_text": "руку", + "span2_index": 20, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 134 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.\"\nФрагменты из этого текста: \"руку\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.9785237312316895, + "Нет": 0.017922287806868553 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 1, + "span1_text": "мистер Бонд", + "span2_index": 17, + "span2_text": "его повсюду" + }, + "outputs": "Нет", + "meta": { + "id": 135 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"мистер Бонд\" и второй фрагмент: \"его повсюду\" - определи, относится ли первый фрагмент ко второму в тексте: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.5590550303459167, + "Нет": 0.43539249897003174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.", + "span1_index": 0, + "span1_text": "Стол", + "span2_index": 9, + "span2_text": "ним" + }, + "outputs": "Да", + "meta": { + "id": 136 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.\"\nВ тексте фрагмент \"ним\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Стол\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.033257752656936646, + "Нет": 0.7569429874420166 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.", + "span1_index": 9, + "span1_text": "звук", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Да", + "meta": { + "id": 137 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"звук\"\n2-е выражение: \"Он\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.5580683946609497, + "Нет": 0.4346240758895874 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Осел пожелал, чтобы чирей под хвостом исчез, и он послушался.", + "span1_index": 5, + "span1_text": "хвостом", + "span2_index": 8, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 138 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Осел пожелал, чтобы чирей под хвостом исчез, и он послушался.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он\" на слово/словосочетание \"хвостом\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.16330328583717346, + "Нет": 0.8293225765228271 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.", + "span1_index": 0, + "span1_text": "Мама", + "span2_index": 10, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 139 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.\"\nПостарайся определить, относится ли здесь \"ее\" к \"Мама\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.13233181834220886, + "Нет": 0.8629118204116821 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Татьяна управлялась с двумя гитарами и волынкой и еще успевала указывать пальцем на Фрименов: \"Разве не замечательно, что они пришли, мама!\"", + "span1_index": 3, + "span1_text": "двумя гитарами и волынкой", + "span2_index": 18, + "span2_text": "они" + }, + "outputs": "Нет", + "meta": { + "id": 140 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Татьяна управлялась с двумя гитарами и волынкой и еще успевала указывать пальцем на Фрименов: \"Разве не замечательно, что они пришли, мама!\"\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"они\" к объекту фрагмента \"двумя гитарами и волынкой\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.4332273602485657, + "Нет": 0.556274950504303 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 12, + "span1_text": "капитана", + "span2_index": 37, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 141 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nОбъект из текста: \"капитана\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9213775396347046, + "Нет": 0.0756312757730484 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 7, + "span1_text": "черного коня", + "span2_index": 17, + "span2_text": "его повсюду" + }, + "outputs": "Да", + "meta": { + "id": 142 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"черного коня\" и \"его повсюду\". Текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\" Ответь, относится ли \"его повсюду\" к \"черного коня\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.402705579996109, + "Нет": 0.5859331488609314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Никто не присоединяется к Facebook, чтобы быть грустным и одиноким. Но новое исследование психолога Университета Висконсина Джорджа Линкольна утверждает, что именно такими он и заставляет нас себя чувствовать.", + "span1_index": 4, + "span1_text": "Facebook", + "span2_index": 22, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 143 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Никто не присоединяется к Facebook, чтобы быть грустным и одиноким. Но новое исследование психолога Университета Висконсина Джорджа Линкольна утверждает, что именно такими он и заставляет нас себя чувствовать.\"\nФрагменты из этого текста: \"Facebook\" и \"он\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7914025783538818, + "Нет": 0.200097918510437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Осел пожелал, чтобы чирей под хвостом исчез, и он послушался.", + "span1_index": 3, + "span1_text": "чирей", + "span2_index": 8, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 144 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Осел пожелал, чтобы чирей под хвостом исчез, и он послушался.\"\nФрагменты из этого текста: \"чирей\" и \"он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9953241944313049, + "Нет": 0.0027956608682870865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 9, + "span2_text": "она еще была способна" + }, + "outputs": "Да", + "meta": { + "id": 145 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Нелли\" и второй фрагмент: \"она еще была способна\" - определи, относится ли первый фрагмент ко второму в тексте: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 173, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.7942394614219666, + "Нет": 0.20081518590450287 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 11, + "span2_text": "ей от себя обеды" + }, + "outputs": "Да", + "meta": { + "id": 146 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nВ тексте фрагмент \"ей от себя обеды\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Нелли\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.033105675131082535, + "Нет": 0.7534816861152649 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 57, + "span2_text": "он и был" + }, + "outputs": "Нет", + "meta": { + "id": 147 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"хозяину\"\n2-е выражение: \"он и был\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.747998058795929, + "Нет": 0.24283941090106964 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 9, + "span2_text": "она заболела" + }, + "outputs": "Да", + "meta": { + "id": 148 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"она заболела\" на слово/словосочетание \"Нелли\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2666957676410675, + "Нет": 0.7249541878700256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.", + "span1_index": 19, + "span1_text": "Джеффри", + "span2_index": 17, + "span2_text": "его украсть" + }, + "outputs": "Да", + "meta": { + "id": 149 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.\"\nПостарайся определить, относится ли здесь \"его украсть\" к \"Джеффри\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2003570944070816, + "Нет": 0.7924277186393738 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 14, + "span2_text": "ему" + }, + "outputs": "Нет", + "meta": { + "id": 150 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"ему\" к объекту фрагмента \"Марк\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.6736046075820923, + "Нет": 0.31818830966949463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 7, + "span1_text": "нового грума", + "span2_index": 35, + "span2_text": "его место" + }, + "outputs": "Нет", + "meta": { + "id": 151 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nОбъект из текста: \"нового грума\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его место\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.5291215181350708, + "Нет": 0.46694809198379517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 6, + "span1_text": "мать", + "span2_index": 5, + "span2_text": "ее не побеспокоить" + }, + "outputs": "Да", + "meta": { + "id": 152 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"мать\" и \"ее не побеспокоить\". Текст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\" Ответь, относится ли \"ее не побеспокоить\" к \"мать\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.4340079724788666, + "Нет": 0.557277262210846 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 13, + "span2_text": "ним" + }, + "outputs": "Нет", + "meta": { + "id": 153 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.\"\nФрагменты из этого текста: \"Марк\" и \"ним\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.873914897441864, + "Нет": 0.11827152222394943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 57, + "span2_text": "он больше не наказывал" + }, + "outputs": "Нет", + "meta": { + "id": 154 + } + }, + "prompt": "<|im_start|>user\nТекст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nФрагменты из этого текста: \"Билли\" и \"он больше не наказывал\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9952951073646545, + "Нет": 0.002467090031132102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 0, + "span1_text": "Сэр Клиффорд", + "span2_index": 23, + "span2_text": "он ищет" + }, + "outputs": "Да", + "meta": { + "id": 155 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Сэр Клиффорд\" и второй фрагмент: \"он ищет\" - определи, относится ли первый фрагмент ко второму в тексте: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.18131276965141296, + "Нет": 0.8125874400138855 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 4, + "span2_text": "он может" + }, + "outputs": "Да", + "meta": { + "id": 156 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nВ тексте фрагмент \"он может\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Бабар\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.0296464953571558, + "Нет": 0.7645931839942932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.", + "span1_index": 13, + "span1_text": "попкорна", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Нет", + "meta": { + "id": 157 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"попкорна\"\n2-е выражение: \"Он\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 163, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.6733274459838867, + "Нет": 0.3180573582649231 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 20, + "span2_text": "их, потому что" + }, + "outputs": "Да", + "meta": { + "id": 158 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их, потому что\" на слово/словосочетание \"Артура и Селесты\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.942538321018219, + "Нет": 0.053174376487731934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Да", + "meta": { + "id": 159 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.\"\nПостарайся определить, относится ли здесь \"Он\" к \"Марк\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7944660186767578, + "Нет": 0.20087246596813202 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 7, + "span1_text": "нового грума", + "span2_index": 23, + "span2_text": "он ищет" + }, + "outputs": "Нет", + "meta": { + "id": 160 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он ищет\" к объекту фрагмента \"нового грума\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.4644312858581543, + "Нет": 0.5262696146965027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Равно надоедлив и Си Кей Декстер Хэвен, бледный молодой денди, держащий трость с нефритовой ручкой, с пуделем, спящим у его ног.", + "span1_index": 16, + "span1_text": "пуделем", + "span2_index": 19, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 161 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Равно надоедлив и Си Кей Декстер Хэвен, бледный молодой денди, держащий трость с нефритовой ручкой, с пуделем, спящим у его ног.\"\nОбъект из текста: \"пуделем\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.08486253768205643, + "Нет": 0.912358283996582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мы видели мальчика, пытающегося заставить пони перепрыгнуть через ворота; пони не стал прыгать, и мальчик стегнул его кнутом, но он только снова повернул в сторону.", + "span1_index": 5, + "span1_text": "пони", + "span2_index": 19, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 162 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"пони\" и \"он\". Текст: \"Мы видели мальчика, пытающегося заставить пони перепрыгнуть через ворота; пони не стал прыгать, и мальчик стегнул его кнутом, но он только снова повернул в сторону.\" Ответь, относится ли \"он\" к \"пони\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.6124706864356995, + "Нет": 0.371482253074646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 9, + "span2_text": "она заболела" + }, + "outputs": "Нет", + "meta": { + "id": 163 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nФрагменты из этого текста: \"покровительница\" и \"она заболела\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9741169214248657, + "Нет": 0.02290903590619564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 1, + "span1_text": "Татьяна", + "span2_index": 5, + "span2_text": "ее узкую койку" + }, + "outputs": "Да", + "meta": { + "id": 164 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\"\nФрагменты из этого текста: \"Татьяна\" и \"ее узкую койку\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9351120591163635, + "Нет": 0.059779711067676544 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 57, + "span2_text": "он и был" + }, + "outputs": "Да", + "meta": { + "id": 165 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Билли\" и второй фрагмент: \"он и был\" - определи, относится ли первый фрагмент ко второму в тексте: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.03709559515118599, + "Нет": 0.9567080140113831 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.", + "span1_index": 5, + "span1_text": "расстоянии", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 166 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.\"\nВ тексте фрагмент \"его\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"расстоянии\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.03072952665388584, + "Нет": 0.7925249338150024 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мать Эммы давно умерла, и ее образованием заправляла женщина-совершенство в качестве гувернантки.", + "span1_index": 1, + "span1_text": "Эммы", + "span2_index": 5, + "span2_text": "ее" + }, + "outputs": "Да", + "meta": { + "id": 167 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Мать Эммы давно умерла, и ее образованием заправляла женщина-совершенство в качестве гувернантки.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Эммы\"\n2-е выражение: \"ее\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9655354619026184, + "Нет": 0.029156645759940147 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 8, + "span2_text": "забрать их" + }, + "outputs": "Да", + "meta": { + "id": 168 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"забрать их\" на слово/словосочетание \"Артура и Селесты\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.5877589583396912, + "Нет": 0.4039604365825653 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 5, + "span1_text": "мистера Сингера", + "span2_index": 10, + "span2_text": "он зовет" + }, + "outputs": "Да", + "meta": { + "id": 169 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nПостарайся определить, относится ли здесь \"он зовет\" к \"мистера Сингера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 275, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9432083964347839, + "Нет": 0.053212180733680725 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.", + "span1_index": 19, + "span1_text": "молодого джентльмена", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 170 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"его\" к объекту фрагмента \"молодого джентльмена\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.5866000056266785, + "Нет": 0.4031639099121094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мои родители умерли, я не зарабатывал достаточно, чтобы содержать себя или свою искалеченную сестру Нелли, и без нашей доброй покровительницы мы пошли бы в богадельню. Нелли называет ее своим ангелом, и она имеет полное право на это.", + "span1_index": 15, + "span1_text": "Нелли", + "span2_index": 28, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 171 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Когда мои родители умерли, я не зарабатывал достаточно, чтобы содержать себя или свою искалеченную сестру Нелли, и без нашей доброй покровительницы мы пошли бы в богадельню. Нелли называет ее своим ангелом, и она имеет полное право на это.\"\nОбъект из текста: \"Нелли\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"ее\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.012415125034749508, + "Нет": 0.9862555265426636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 6, + "span1_text": "мать", + "span2_index": 9, + "span2_text": "Она" + }, + "outputs": "Нет", + "meta": { + "id": 172 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"мать\" и \"Она\". Текст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\" Ответь, относится ли \"Она\" к \"мать\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.6425722241401672, + "Нет": 0.34394413232803345 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 12, + "span1_text": "Джон", + "span2_index": 10, + "span2_text": "его как надо" + }, + "outputs": "Нет", + "meta": { + "id": 173 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nФрагменты из этого текста: \"Джон\" и \"его как надо\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.8296602964401245, + "Нет": 0.1633697897195816 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "В одном Марк был уверен. Гарри знал гораздо меньше, чем он.", + "span1_index": 2, + "span1_text": "Марк", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 174 + } + }, + "prompt": "<|im_start|>user\nТекст: \"В одном Марк был уверен. Гарри знал гораздо меньше, чем он.\"\nФрагменты из этого текста: \"Марк\" и \"он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7016788721084595, + "Нет": 0.2925032675266266 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.", + "span1_index": 5, + "span1_text": "доктора Варди", + "span2_index": 17, + "span2_text": "его украсть" + }, + "outputs": "Нет", + "meta": { + "id": 175 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"доктора Варди\" и второй фрагмент: \"его украсть\" - определи, относится ли первый фрагмент ко второму в тексте: \"Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2926638424396515, + "Нет": 0.702064037322998 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.", + "span1_index": 23, + "span1_text": "столом", + "span2_index": 37, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 176 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"столом\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.06640780717134476, + "Нет": 0.7139512300491333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После довольно продолжительной беседы Нэнси убедила экономку в том, что причины для тревоги не было. Она не сказала о неприятности на автобусной станции в Гамильтоне, зная, что упоминание о ней только усилит беспокойство миссис Грюн.", + "span1_index": 4, + "span1_text": "Нэнси", + "span2_index": 15, + "span2_text": "Она" + }, + "outputs": "Да", + "meta": { + "id": 177 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"После довольно продолжительной беседы Нэнси убедила экономку в том, что причины для тревоги не было. Она не сказала о неприятности на автобусной станции в Гамильтоне, зная, что упоминание о ней только усилит беспокойство миссис Грюн.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Нэнси\"\n2-е выражение: \"Она\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9218974113464355, + "Нет": 0.06678202748298645 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.", + "span1_index": 34, + "span1_text": "он и Татьяна", + "span2_index": 25, + "span2_text": "их воскресных обедов" + }, + "outputs": "Да", + "meta": { + "id": 178 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их воскресных обедов\" на слово/словосочетание \"он и Татьяна\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.4946507513523102, + "Нет": 0.4946507513523102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 42, + "span2_text": "нее" + }, + "outputs": "Нет", + "meta": { + "id": 179 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nПостарайся определить, относится ли здесь \"нее\" к \"покровительница\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.7730088829994202, + "Нет": 0.22147075831890106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.", + "span1_index": 7, + "span1_text": "капитана", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 180 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он\" к объекту фрагмента \"капитана\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.5871357321739197, + "Нет": 0.40353211760520935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 0, + "span1_text": "Сэр Клиффорд", + "span2_index": 35, + "span2_text": "его место" + }, + "outputs": "Нет", + "meta": { + "id": 181 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nОбъект из текста: \"Сэр Клиффорд\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его место\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.4049686789512634, + "Нет": 0.5892259478569031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Татьяна знала, что бабушке всегда нравилось угощать гостей ее большого дома множеством разной еды. Теперь Татьяна наблюдала, как бабушка взяла маленькую маму Татьяны в широкие тощие объятия, а затем подтолкнула ее к столу, сняла платок с плеч, усадила ее на почетное место и сказала просто: \"Там побольше\".", + "span1_index": 3, + "span1_text": "бабушке", + "span2_index": 8, + "span2_text": "ее к столу" + }, + "outputs": "Нет", + "meta": { + "id": 182 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"бабушке\" и \"ее к столу\". Текст: \"Татьяна знала, что бабушке всегда нравилось угощать гостей ее большого дома множеством разной еды. Теперь Татьяна наблюдала, как бабушка взяла маленькую маму Татьяны в широкие тощие объятия, а затем подтолкнула ее к столу, сняла платок с плеч, усадила ее на почетное место и сказала просто: \"Там побольше\".\" Ответь, относится ли \"ее к столу\" к \"бабушке\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.554276704788208, + "Нет": 0.431671142578125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Жизнь человека и жизнь лошади стоят больше, чем несколько лисьих хвостов; по крайней мере, они должны бы стоить.", + "span1_index": 8, + "span1_text": "несколько лисьих хвостов", + "span2_index": 14, + "span2_text": "они" + }, + "outputs": "Нет", + "meta": { + "id": 183 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Жизнь человека и жизнь лошади стоят больше, чем несколько лисьих хвостов; по крайней мере, они должны бы стоить.\"\nФрагменты из этого текста: \"несколько лисьих хвостов\" и \"они\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.3427642285823822, + "Нет": 0.640367865562439 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.", + "span1_index": 26, + "span1_text": "праздника", + "span2_index": 37, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 184 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.\"\nФрагменты из этого текста: \"праздника\" и \"он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9277300834655762, + "Нет": 0.067204549908638 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 43, + "span2_text": "его на стул" + }, + "outputs": "Да", + "meta": { + "id": 185 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Билли\" и второй фрагмент: \"его на стул\" - определи, относится ли первый фрагмент ко второму в тексте: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.3463480472564697, + "Нет": 0.6470633149147034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 1, + "span1_text": "мистер Бонд", + "span2_index": 17, + "span2_text": "его глубокому сожалению" + }, + "outputs": "Да", + "meta": { + "id": 186 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nВ тексте фрагмент \"его глубокому сожалению\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"мистер Бонд\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.055444516241550446, + "Нет": 0.7653878927230835 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.", + "span1_index": 0, + "span1_text": "Пони", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 187 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Пони\"\n2-е выражение: \"его\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9965806603431702, + "Нет": 0.0008019813685677946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.", + "span1_index": 0, + "span1_text": "Мама", + "span2_index": 7, + "span2_text": "Она" + }, + "outputs": "Да", + "meta": { + "id": 188 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"Она\" на слово/словосочетание \"Мама\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.6164504289627075, + "Нет": 0.3738960921764374 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 12, + "span1_text": "богатый старик", + "span2_index": 34, + "span2_text": "ему" + }, + "outputs": "Нет", + "meta": { + "id": 189 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nПостарайся определить, относится ли здесь \"ему\" к \"богатый старик\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8891763687133789, + "Нет": 0.10619697719812393 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 8, + "span2_text": "забрать их" + }, + "outputs": "Нет", + "meta": { + "id": 190 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"забрать их\" к объекту фрагмента \"Матери\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1633661538362503, + "Нет": 0.8296418190002441 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Все пуговицы на спине клетчатого платья Доры были застегнуты снаружи вовнутрь. Мод следовало бы подумать о том, чтобы привести ее в порядок, но нет, она оставила бедную маленькую Дору делать все, на что она способна, в одиночку.", + "span1_index": 11, + "span1_text": "Мод", + "span2_index": 24, + "span2_text": "она способна" + }, + "outputs": "Нет", + "meta": { + "id": 191 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Все пуговицы на спине клетчатого платья Доры были застегнуты снаружи вовнутрь. Мод следовало бы подумать о том, чтобы привести ее в порядок, но нет, она оставила бедную маленькую Дору делать все, на что она способна, в одиночку.\"\nОбъект из текста: \"Мод\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она способна\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.18170377612113953, + "Нет": 0.814339816570282 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 42, + "span2_text": "нее" + }, + "outputs": "Да", + "meta": { + "id": 192 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"Нелли\" и \"нее\". Текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\" Ответь, относится ли \"нее\" к \"Нелли\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9633272290229797, + "Нет": 0.02908996120095253 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 7, + "span1_text": "черного коня", + "span2_index": 17, + "span2_text": "его ног" + }, + "outputs": "Да", + "meta": { + "id": 193 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nФрагменты из этого текста: \"черного коня\" и \"его ног\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8607802391052246, + "Нет": 0.13200493156909943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.", + "span1_index": 4, + "span1_text": "Стива", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Нет", + "meta": { + "id": 194 + } + }, + "prompt": "<|im_start|>user\nТекст: \"Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.\"\nФрагменты из этого текста: \"Стива\" и \"Он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9957356452941895, + "Нет": 0.0021781630348414183 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 9, + "span2_text": "она посылала" + }, + "outputs": "Да", + "meta": { + "id": 195 + } + }, + "prompt": "<|im_start|>user\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"покровительница\" и второй фрагмент: \"она посылала\" - определи, относится ли первый фрагмент ко второму в тексте: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.8778228163719177, + "Нет": 0.11880039423704147 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.", + "span1_index": 7, + "span1_text": "чувак", + "span2_index": 37, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 196 + } + }, + "prompt": "<|im_start|>user\nПрочитайте текст: \"Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"чувак\". Напиши Да, если это так, и Нет, если не относится.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.0490298829972744, + "Нет": 0.6768366098403931 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.", + "span1_index": 16, + "span1_text": "размеру", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 197 + } + }, + "prompt": "<|im_start|>user\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"размеру\"\n2-е выражение: \"его\"\nОпредели, к какому классу относится эта пара, и напиши название класса.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.6973931789398193, + "Нет": 0.2907167375087738 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 0, + "span1_text": "Мальчик", + "span2_index": 10, + "span2_text": "его как надо" + }, + "outputs": "Нет", + "meta": { + "id": 198 + } + }, + "prompt": "<|im_start|>user\nПрочти текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"его как надо\" на слово/словосочетание \"Мальчик\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.03705761209130287, + "Нет": 0.9557284116744995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.", + "span1_index": 21, + "span1_text": "труп", + "span2_index": 37, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 199 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.\"\nПостарайся определить, относится ли здесь \"он\" к \"труп\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.9925616383552551, + "Нет": 0.005208485759794712 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Первое, что я хорошо запомнил, был большой солнечный луг с чистым прудом посередине него. Несколько тенистых деревьев склонились над ним.", + "span1_index": 11, + "span1_text": "прудом", + "span2_index": 19, + "span2_text": "ним" + }, + "outputs": "Да", + "meta": { + "id": 200 + } + }, + "prompt": "<|im_start|>user\nПеред тобой текст: \"Первое, что я хорошо запомнил, был большой солнечный луг с чистым прудом посередине него. Несколько тенистых деревьев склонились над ним.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"ним\" к объекту фрагмента \"прудом\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.5237584710121155, + "Нет": 0.46221521496772766 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Первое, что я хорошо запомнил, был большой солнечный луг с чистым прудом посередине него. Несколько тенистых деревьев склонились над ним.", + "span1_index": 8, + "span1_text": "луг", + "span2_index": 19, + "span2_text": "ним" + }, + "outputs": "Нет", + "meta": { + "id": 201 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст: \"Первое, что я хорошо запомнил, был большой солнечный луг с чистым прудом посередине него. Несколько тенистых деревьев склонились над ним.\"\nОбъект из текста: \"луг\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"ним\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.5290316939353943, + "Нет": 0.4668688178062439 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я пошел и съел немного салата, скорее чтобы скоротать время, а не потому, что мне его хотелось.", + "span1_index": 5, + "span1_text": "салата", + "span2_index": 15, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 202 + } + }, + "prompt": "<|im_start|>user\nДан небольшой текст и два выделенных в нем фрагмента, \"салата\" и \"его\". Текст: \"Я пошел и съел немного салата, скорее чтобы скоротать время, а не потому, что мне его хотелось.\" Ответь, относится ли \"его\" к \"салата\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.6435233354568481, + "Нет": 0.34445324540138245 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет старше.", + "span1_index": 1, + "span1_text": "Фрэнка", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 203 + } + }, + "prompt": "<|im_start|>user\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет старше.\"\nФрагменты из этого текста: \"Фрэнка\" и \"он\".<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Да" + } +} diff --git a/llmtf_eval/darumeru_RWSD_params.jsonl b/llmtf_eval/darumeru_RWSD_params.jsonl new file mode 100644 index 0000000..4642351 --- /dev/null +++ b/llmtf_eval/darumeru_RWSD_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_RWSD_total.jsonl b/llmtf_eval/darumeru_RWSD_total.jsonl new file mode 100644 index 0000000..2aa5ee5 --- /dev/null +++ b/llmtf_eval/darumeru_RWSD_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "darumeru/RWSD", + "results": { + "acc": 0.6029411764705882 + }, + "leaderboard_result": 0.6029411764705882 +} diff --git a/llmtf_eval/darumeru_cp_para_ru.jsonl b/llmtf_eval/darumeru_cp_para_ru.jsonl new file mode 100644 index 0000000..a02a213 --- /dev/null +++ b/llmtf_eval/darumeru_cp_para_ru.jsonl @@ -0,0 +1,18976 @@ +{ + "metric": { + "symbol_per_token": 2.5393939393939395, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 28599, + 10124, + 13, + 12769, + 27435, + 19479, + 143208, + 13289, + 103241, + 130107, + 12769, + 116328, + 39900, + 100592, + 109225, + 13289, + 2360, + 220, + 16, + 13, + 45458, + 2637, + 16, + 24, + 17, + 17, + 12769, + 105029, + 16331, + 100544, + 35723, + 106386, + 13289, + 12769, + 116328, + 13999, + 12, + 117288, + 13, + 5524, + 10124, + 13, + 110534, + 101816, + 145091, + 13289, + 12769, + 106705, + 100576, + 2233, + 102599, + 13289, + 12769, + 113681, + 106028, + 100273, + 132422, + 13289, + 12769, + 20807, + 101270, + 105241, + 13289, + 220, + 16, + 13, + 220, + 16, + 24, + 17, + 21, + 12769, + 17279, + 100460, + 52429, + 13, + 111762, + 105733, + 75608, + 220, + 16, + 24, + 17, + 19, + 12769, + 126626, + 13, + 51753, + 49520, + 64084, + 103078, + 11, + 16, + 24, + 17, + 16, + 12769, + 19871, + 29256, + 1482, + 13289, + 28599, + 10124, + 13, + 12769, + 38214, + 103425, + 102356, + 125873, + 13289, + 109264, + 112593, + 101364, + 13, + 51753, + 45458, + 2637, + 220, + 16, + 24, + 24, + 20, + 104685, + 102805, + 94520, + 103690, + 129494, + 39900, + 101364, + 13, + 51753, + 112697, + 11, + 220, + 16, + 24, + 24, + 21, + 115972, + 36479, + 95570, + 100331, + 101068, + 13, + 103357, + 22911, + 101110, + 51736, + 101438, + 31443, + 13, + 80584, + 9239, + 112630, + 109922, + 103361, + 25, + 112816, + 27717, + 128908, + 611, + 28599, + 25262, + 13 + ], + "text": " Сб. «Киноварь» Альманах «Литературного особняка» No 1. М.,1922 «Коралловый корабль» «Литературно-худож. сб. голодающим Поволжья» «Из недр земли» «Балтийский альманах» «Новые стихи» 1. 1926 «Плетень. Антология». 1924 «Сегодня. ― Рязань,1921 «Сопо» Сб. «Голгофа строф» Строфы века. ― М., 1995 Сто поэтесс Серебряного века. ― СПб, 1996 Наталья Кугушева. Некрашеные весла. Проржавленные дни: Собрание стихотворений / Сост." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Сб. «Киноварь» Альманах «Литературного особняка» No 1. М.,1922 «Коралловый корабль» «Литературно-художеств. сб. голодающим Поволжья» «Из недр земли» «Балтийский альманах» «Новые стихи» 1. 1926 «Плетень. Антология». 1924 «Сегодня. ― Рязань,1921 «Сопо» Сб. «Голгофа строф» Строфы века. ― М., 1995 Сто поэтесс Серебряного века. ― СПб, 1996 Наталья Кугушева. Некрашеные весла. Проржавленные дни: Собрание стихотворений / Сост." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Сб. «Киноварь» Альманах «Литературного особняка» No 1. М.,1922 «Коралловый корабль» «Литературно-художеств. сб. голодающим Поволжья» «Из недр земли» «Балтийский альманах» «Новые стихи» 1. 1926 «Плетень. Антология». 1924 «Сегодня. ― Рязань,1921 «Сопо» Сб. «Голгофа строф» Строфы века. ― М., 1995 Сто поэтесс Серебряного века. ― СПб, 1996 Наталья Кугушева. Некрашеные весла. Проржавленные дни: Собрание стихотворений / Сост.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 186, + "generated_len": [ + 226 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.176470588235294, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 136453, + 122291, + 141969, + 103736, + 7740, + 103586, + 116529, + 105675, + 109686, + 100256, + 119168, + 100787, + 101563, + 10589, + 101400, + 102105, + 20440, + 102734, + 5524, + 111381, + 104850, + 12507, + 13, + 114506, + 133586, + 5927, + 107316, + 104386, + 11, + 100339, + 111173, + 100702, + 146531, + 101497, + 39900, + 123920, + 7740, + 101259, + 107585, + 115769, + 131759, + 1840, + 102377, + 102105, + 11, + 103318, + 100269, + 102730, + 125258, + 100994, + 127826, + 2001, + 108849, + 100303, + 100634, + 1830, + 13, + 132393, + 11, + 102805, + 7740, + 110120, + 11, + 101115, + 101051, + 112183, + 18600, + 9542, + 100943, + 126138, + 7094, + 104564, + 11, + 108849, + 100303, + 100634, + 1830, + 123842, + 101956, + 104468, + 110724, + 5927, + 105972, + 124284, + 111204, + 13, + 100420, + 102624, + 7740, + 139741, + 5927, + 125727, + 220, + 18, + 24, + 100366, + 11, + 100416, + 127165, + 102447, + 100485, + 124185, + 53419, + 17721, + 105089, + 121106, + 11, + 101327, + 100646, + 2001, + 23784, + 17766, + 59030, + 11, + 64571, + 44075, + 104567, + 11, + 119139, + 104900, + 2297, + 11, + 101414, + 101943, + 12, + 106761, + 38822, + 7740, + 109802, + 100511, + 87994, + 106557, + 51418, + 94520, + 12394, + 2297, + 10693, + 115099, + 23784, + 100814, + 7753, + 7740, + 100926, + 108957, + 107657, + 23784, + 100814, + 7753, + 11, + 102805, + 111006, + 11, + 102805, + 7740, + 110809, + 104780, + 134692, + 12415, + 15752, + 102616, + 13, + 100513, + 18600, + 5591, + 50807, + 5524, + 104949, + 100310, + 84714, + 112768, + 24803, + 101220, + 100829, + 101813, + 100455, + 102798, + 4655, + 11, + 100416, + 100310, + 102798, + 121822, + 7740, + 102798, + 102735, + 13 + ], + "text": " Замок терял оборонительные функции и постепенно становился роскошным жильём дворцового типа для лица с высоким статусом. Процесс завершился в XVII веке, когда замок стал резиденцией государственного чиновника и просвещённого вельможи нового типа, каким был сын мэра города Амстердам — Питер Хофт. Писатель, поэт и драматург, член одной камеры риторов Амстердама, Питер Хофт превратил бывшую крепость в известный литературный салон. Он жил и трудился в замке 39 лет, где собирал вокруг себя литературно одарённых современников, среди которых — Вондел, Бредеро, Якоб Катс, художница-график и мастерица Мария Тесселсхаде Виссер и её сестра Анна Виссер, поэтесса, поэт и композитор Константин Гюйгенс. За рвами с водой были спланированы голландские сады, где были сад слив и сад трав." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Замок терял оборонительные функции и постепенно становился роскошным жильём дворцового типа для лица с высоким статусом. Процесс завершился в XVII веке, когда замок стал резиденцией государственного чиновника и просвещённого вельможи нового типа, каким был сын мэра города Амстердам — Питер Хофт. Писатель, поэт и драматург, член одной камеры риторов Амстердама, Питер Хофт превратил бывшую крепость в известный литературный салон. Он жил и трудился в замке 39 лет, где собирал вокруг себя литературно одарённых современников, среди которых — Вондел, Бредеро, Якоб Катс, художница-график и мастерица Мария Тесселсхаде Виссер и её сестра Анна Виссер, поэтесса, поэт и композитор Константин Гюйгенс. За рвами с водой были спланированы голландские сады, где были сад слив и сад трав." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Замок терял оборонительные функции и постепенно становился роскошным жильём дворцового типа для лица с высоким статусом. Процесс завершился в XVII веке, когда замок стал резиденцией государственного чиновника и просвещённого вельможи нового типа, каким был сын мэра города Амстердам — Питер Хофт. Писатель, поэт и драматург, член одной камеры риторов Амстердама, Питер Хофт превратил бывшую крепость в известный литературный салон. Он жил и трудился в замке 39 лет, где собирал вокруг себя литературно одарённых современников, среди которых — Вондел, Бредеро, Якоб Катс, художница-график и мастерица Мария Тесселсхаде Виссер и её сестра Анна Виссер, поэтесса, поэт и композитор Константин Гюйгенс. За рвами с водой были спланированы голландские сады, где были сад слив и сад трав.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 208, + "generated_len": [ + 226 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.106194690265487, + "len": 0.995575221238938, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 109724, + 100552, + 113839, + 104537, + 16331, + 18335, + 101710, + 100799, + 11, + 48489, + 114610, + 110819, + 18154, + 113968, + 5927, + 104963, + 105581, + 102655, + 100933, + 220, + 16, + 20, + 13, + 220, + 15, + 15, + 13, + 105883, + 220, + 17, + 19, + 103617, + 5927, + 101302, + 129315, + 103633, + 113376, + 106110, + 5524, + 18335, + 101900, + 220, + 18, + 15, + 11, + 15, + 13, + 112955, + 108986, + 18335, + 44946, + 106110, + 100269, + 113609, + 14257, + 105470, + 107270, + 1506, + 57855, + 101672, + 15088, + 35297, + 100515, + 5927, + 105581, + 220, + 17, + 15, + 16, + 24, + 14, + 17, + 15, + 17, + 15, + 7740, + 109553, + 220, + 18, + 16, + 13, + 220, + 23, + 21, + 13, + 110430, + 138213, + 7740, + 100258, + 50693, + 100529, + 111245, + 110664, + 18154, + 220, + 19, + 104522, + 5524, + 18335, + 101900, + 220, + 18, + 15, + 11, + 15, + 11, + 100381, + 16248, + 64292, + 35448, + 529, + 20807, + 64292, + 7740, + 116887, + 1830, + 145639, + 2001, + 18154, + 220, + 18, + 104522, + 11, + 131014, + 125587, + 7740, + 105470, + 107270, + 57855, + 101672, + 15088, + 35297, + 100515, + 2001, + 18154, + 220, + 17, + 104522, + 11, + 110423, + 145101, + 11, + 106004, + 121327, + 59842, + 103175, + 7094, + 11, + 119110, + 101860, + 11, + 109125, + 103175, + 100939, + 102759, + 100378, + 68506, + 100677, + 11, + 108364, + 109164, + 101095, + 31203, + 11, + 130973, + 135754, + 135308, + 7740, + 111245, + 104903, + 100477, + 2001, + 18154, + 105118, + 106110, + 3865, + 5927, + 116030, + 13, + 130342, + 129315, + 220, + 17, + 15, + 15, + 23, + 14, + 17, + 15, + 15, + 24, + 7740, + 220, + 17, + 15, + 16, + 23, + 14, + 17, + 15, + 16, + 24, + 2001, + 107237, + 13373, + 105116, + 101162, + 5927, + 101302, + 101959, + 102387, + 11, + 100339, + 100364, + 101253, + 110543, + 101608, + 18335, + 100364, + 220, + 18, + 15, + 11, + 15, + 13 + ], + "text": " Холлинджер рассчитал PER таким образом, что средний показатель по лиге в каждом сезоне составляет всегда 15. 00. Всего 24 раза в истории НБА игрок завершил сезон с PER выше 30,0. Самый высокий PER за сезон был зафиксирован у Янниса Адетокунбо в сезоне 2019/2020 и составил 31. 86. Майкл Джордан и Леброн Джеймс провели по 4 сезона с PER выше 30,0, Шакил О’Нил и Уилт Чемберлен — по 3 сезона, Энтони Дэвис и Яннис Адетокунбо — по 2 сезона, Дэвид Робинсон, Дуэйн Уэйд, Крис Пол, Трэйси Макгрэди, Стефен Карри, Рассел Уэстбрук и Джеймс Харден — по одному сезону в карьере. Сезон НБА 2008/2009 и 2018/2019 — единственный на данный момент в истории сезоны, когда более одного игрока получил PER более 30,0." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Холлинджер рассчитал PER таким образом, что средний показатель по лиге в каждом сезоне составляет всегда 15. 00Всего 24 раза в истории НБА игрок заканчивал сезон с PER выше 30,0. Самый высокий PER за сезон был зафиксирован у Янниса Адетокунбо в сезоне 2019/2020 и составил 31. 86. Майкл Джордан и Леброн Джеймс провели по 4 сезона с PER выше 30,0, Шакил О’Нил и Уилт Чемберлен — по 3 сезона, Энтони Дэвис и Яннис Адетокунбо — по 2 сезона, Дэвид Робинсон, Дуэйн Уэйд, Крис Пол, Трэйси Макгрэди, Стефен Карри, Рассел Уэстбрук и Джеймс Харден — по одному сезону в карьере. Сезон НБА 2008/2009 и 2018/2019 — единственный на данный момент в истории сезоны, когда более одного игрока получили PER более 30,0." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Холлинджер рассчитал PER таким образом, что средний показатель по лиге в каждом сезоне составляет всегда 15. 00Всего 24 раза в истории НБА игрок заканчивал сезон с PER выше 30,0. Самый высокий PER за сезон был зафиксирован у Янниса Адетокунбо в сезоне 2019/2020 и составил 31. 86. Майкл Джордан и Леброн Джеймс провели по 4 сезона с PER выше 30,0, Шакил О’Нил и Уилт Чемберлен — по 3 сезона, Энтони Дэвис и Яннис Адетокунбо — по 2 сезона, Дэвид Робинсон, Дуэйн Уэйд, Крис Пол, Трэйси Макгрэди, Стефен Карри, Рассел Уэстбрук и Джеймс Харден — по одному сезону в карьере. Сезон НБА 2008/2009 и 2018/2019 — единственный на данный момент в истории сезоны, когда более одного игрока получили PER более 30,0.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 248, + "generated_len": [ + 226 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.781609195402299, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 130248, + 44946, + 53677, + 100462, + 70959, + 46177, + 35889, + 101362, + 17618, + 13373, + 53677, + 100462, + 70959, + 2001, + 109915, + 138259, + 12, + 142040, + 109401, + 116342, + 100994, + 53677, + 100462, + 70959, + 11, + 98851, + 108636, + 5927, + 103434, + 5524, + 220, + 19, + 13373, + 220, + 20, + 101832, + 220, + 16, + 24, + 19, + 18, + 13, + 107623, + 4655, + 104395, + 108499, + 35889, + 20976, + 37255, + 102611, + 109915, + 101946, + 100542, + 11, + 103207, + 90875, + 35723, + 103204, + 101875, + 51795, + 102473, + 108499, + 50807, + 11, + 109364, + 100256, + 29619, + 100393, + 7740, + 114637, + 220, + 18, + 21, + 24, + 12, + 12415, + 103523, + 102392, + 130108, + 13, + 100381, + 121620, + 133586, + 123158, + 106177, + 7740, + 103106, + 100557, + 100826, + 100994, + 26, + 117345, + 100562, + 101875, + 51795, + 100455, + 100796, + 11, + 100347, + 114737, + 132194, + 7740, + 139637, + 101108, + 220, + 17, + 101103, + 11, + 5524, + 102491, + 48355, + 18154, + 125782, + 100588, + 108680, + 100978, + 11, + 100416, + 107087, + 5927, + 100380, + 123356, + 104328, + 132444, + 13, + 23784, + 106043, + 100310, + 117452, + 100697, + 64478, + 220, + 16, + 12, + 12415, + 109981, + 17721, + 100266, + 103523, + 130362, + 36479, + 14009, + 34082, + 7740, + 100697, + 64478, + 111929, + 220, + 16, + 12, + 66349, + 109561, + 220, + 16, + 12, + 12415, + 109981, + 17721, + 100266, + 107468, + 106039, + 100587, + 104079, + 129169, + 101134, + 13, + 105885, + 100269, + 110732, + 220, + 23, + 101832, + 13 + ], + "text": " Битва за Зворник или Нападение на Зворник — штурм Народно-освободительной армией Югославии города Зворник, который состоялся в ночь с 4 на 5 июля 1943. Силы трёх бригад НОАЮ штурмовали город, охраняемый двумя усташскими бригадами, пехотным полком и частями 369-й дивизии Вермахта. Штурм завершился победой партизан и освобождением города; выжившие усташские части, которые потеряли убитыми и ранеными около 2 тысяч, сбежали по мосту через Дрину, где вошли в состав Русского корпуса вермахта. В бою были убиты политрук 1-й пролетарской дивизии Филип Кляич и политрук роты 1-го батальона 1-й пролетарской бригады Радован Гардашевич. Город был оставлен 8 июля." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Битва за Зворник или Нападение на Зворник — штурм Народно-освободительной армией Югославии города Зворник, который состоялся в ночь с 4 на 5 июля 1943. Силы трёх бригад НОАЮ штурмовали город, охраняемый двумя усташскими бригадами, пехотным полком и частями 369-й дивизии Вермахта. Штурм завершился победой партизан и освобождением города; выжившие усташские части, которые потеряли убитыми и ранеными около 2 тысяч, сбежали по мосту через Дрину, где вошли в состав Русского корпуса вермахта. В бою были убиты политрук 1-й пролетарской дивизии Филип Кляич и политрук роты 1-го батальона 1-й пролетарской бригады Радован Гардашевич. Город был оставлен 8 июля." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Битва за Зворник или Нападение на Зворник — штурм Народно-освободительной армией Югославии города Зворник, который состоялся в ночь с 4 на 5 июля 1943. Силы трёх бригад НОАЮ штурмовали город, охраняемый двумя усташскими бригадами, пехотным полком и частями 369-й дивизии Вермахта. Штурм завершился победой партизан и освобождением города; выжившие усташские части, которые потеряли убитыми и ранеными около 2 тысяч, сбежали по мосту через Дрину, где вошли в состав Русского корпуса вермахта. В бою были убиты политрук 1-й пролетарской дивизии Филип Кляич и политрук роты 1-го батальона 1-й пролетарской бригады Радован Гардашевич. Город был оставлен 8 июля.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 195, + "generated_len": [ + 226 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.1725888324873095, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 220, + 16, + 15, + 101930, + 220, + 16, + 22, + 19, + 16, + 100261, + 117085, + 23446, + 115175, + 49284, + 128257, + 5927, + 106142, + 39479, + 13, + 23784, + 100895, + 100270, + 100598, + 100926, + 46339, + 20219, + 101845, + 140417, + 7740, + 100372, + 19175, + 111326, + 106157, + 103303, + 48150, + 85756, + 13, + 23784, + 111090, + 117085, + 23446, + 115175, + 49284, + 111423, + 100262, + 118271, + 19175, + 74726, + 5927, + 7820, + 100329, + 1532, + 11, + 100267, + 7740, + 5927, + 110648, + 94962, + 114952, + 100376, + 102179, + 100553, + 54686, + 11, + 48489, + 18154, + 114534, + 104217, + 112976, + 67589, + 100404, + 105906, + 34613, + 105133, + 13, + 117085, + 23446, + 120511, + 106658, + 111805, + 15752, + 112003, + 128102, + 11, + 102472, + 109654, + 11, + 48489, + 145652, + 13, + 100309, + 100600, + 105553, + 19175, + 5524, + 107812, + 13, + 100513, + 100598, + 57297, + 73385, + 128102, + 117085, + 23446, + 132106, + 11320, + 116541, + 5524, + 100926, + 104395, + 117498, + 109377, + 13, + 101420, + 104046, + 100568, + 5927, + 114444, + 104134, + 11, + 102989, + 44858, + 44946, + 73385, + 102965, + 107758, + 13, + 100703, + 12, + 100304, + 100625, + 140402, + 105640, + 25262, + 39988, + 102168, + 102933, + 117085, + 23446, + 115175, + 49284, + 120631, + 132888, + 13373, + 119467, + 5927, + 125886, + 44786, + 115849, + 10693, + 13, + 130970, + 108240, + 20879, + 220, + 16, + 24, + 100765, + 81376, + 101449, + 105089, + 11, + 100646, + 109341, + 11320, + 5927, + 100895, + 100270, + 100598, + 13, + 111247, + 100428, + 67121, + 48355, + 11, + 48489, + 100372, + 115372, + 100485, + 105135, + 7740, + 118044, + 13, + 110230, + 103255, + 105950, + 73281, + 100265, + 107725, + 102818, + 107815, + 23227, + 101396, + 81659, + 40231, + 13 + ], + "text": " 10 января 1741 года Дженни Дайвер арестовали в третий раз. В тот же день её опознали свидетели и она не смогла назвать ложное имя. В суде Дженни Дайвер предъявили обвинение не только в краже, но и в незаконном возвращении после депортации, что по законам Англии гарантировало смертный приговор. Дженни пыталась добиться смягчения приговора, уверяя, что беременна. Но этот обман не сработал. За день до его приговора Дженни разрешили встретиться с её трёхлетним сыном. Его доставила в тюрьму женщина, ответственная за его проживание. Из-за своей репутации злостной преступницы Дженни Дайвер заставили являться на казнь в траурных одеждах. Причём отдельно от 19 других осуждённых, которых казнили в тот же день. Очевидцы сообщали, что она вела себя спокойно и достойно. Её тело похоронено во дворе церкви Святого Панкратия." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "10 январе 1741 года Дженни Дайвер арестовали в третий раз. В тот же день её опознали свидетели и она не смогла назвать ложное имя. В суде Дженни Дайвер предъявили обвинение не только в краже, но и в незаконном возвращении после депортации, что по законам Англии гарантировало смертный приговор. Дженни пыталась добиться смягчения приговора, уверяя, что беременна. Но этот обман не сработал. За день до его приговора Дженни разрешили встретиться с её трёхлетним сыном. Его доставила в тюрьму женщина, ответственная за его проживание. Из-за своей репутации злостной преступницы Дженни Дайвер заставили явится на казнь в траурных одеждах. Причём отдельно от 19 других осуждённых, которых казнили в тот же день. Очевидцы сообщали, что она вела себя спокойно и достойно. Её тело похоронено во дворе церкви Святого Панкратия." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: 10 январе 1741 года Дженни Дайвер арестовали в третий раз. В тот же день её опознали свидетели и она не смогла назвать ложное имя. В суде Дженни Дайвер предъявили обвинение не только в краже, но и в незаконном возвращении после депортации, что по законам Англии гарантировало смертный приговор. Дженни пыталась добиться смягчения приговора, уверяя, что беременна. Но этот обман не сработал. За день до его приговора Дженни разрешили встретиться с её трёхлетним сыном. Его доставила в тюрьму женщина, ответственная за его проживание. Из-за своей репутации злостной преступницы Дженни Дайвер заставили явится на казнь в траурных одеждах. Причём отдельно от 19 других осуждённых, которых казнили в тот же день. Очевидцы сообщали, что она вела себя спокойно и достойно. Её тело похоронено во дворе церкви Святого Панкратия.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 218, + "generated_len": [ + 226 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.8934426229508197, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 103227, + 27055, + 132769, + 94962, + 145696, + 39988, + 126599, + 101888, + 51412, + 5927, + 122993, + 106878, + 106095, + 12507, + 102851, + 146265, + 121690, + 11, + 124807, + 50807, + 105232, + 101708, + 125567, + 13, + 23784, + 122692, + 110452, + 101041, + 94962, + 102851, + 111153, + 101891, + 100865, + 5524, + 78876, + 101383, + 100855, + 87008, + 64880, + 132582, + 11, + 101945, + 103762, + 91105, + 7975, + 21956, + 100735, + 103716, + 110693, + 102613, + 53671, + 7740, + 102518, + 104897, + 1532, + 102439, + 100735, + 117860, + 11, + 34943, + 100580, + 104896, + 50807, + 13, + 1301, + 102, + 9542, + 138855, + 105413, + 102473, + 114003, + 12507, + 7740, + 107371, + 16742, + 13, + 106744, + 100564, + 13373, + 103227, + 27055, + 113275, + 7740, + 131809, + 11, + 40842, + 132297, + 104730, + 100519, + 13, + 125107, + 102368, + 104469, + 14332, + 7094, + 101072, + 129828, + 100447, + 5927, + 108082, + 220, + 17, + 80798, + 104924, + 112828, + 6856, + 88596, + 105413, + 100317, + 108884, + 134406, + 104053, + 11, + 30392, + 13, + 220, + 16, + 17, + 20, + 13 + ], + "text": " В щите разделённом диагональной чертой изображена в верхнем правом голубом поле серебряная Луна, рогами вверх обращённая. В нижнем левом красном поле белый Орёл с распростёртыми крыльями, стоящий наположенных крестообразно Луке и Колчане означенных золотом, со Стрелами. Щит увенчан дворянскими шлемом и короной. Намёт на щите красный и голубой, подложенный серебром. Герб рода Леванидовых внесён в Часть 2 Общего гербовника дворянских родов Всероссийской империи, стр. 125." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В щите разделённом диагональной чертой изображена в верхнем правом голубом поле серебряная Луна, рогами вверх обращённая. В нижнем левом красном поле белый Орёл с распростёртыми крыльями, стоящий наположенных крестообразно Луке и Колчане означенных золотом, со Стрелами. Щит увенчан дворянскими шлемом и короной. Намёт на щите красный и голубой, подложенный серебром. Герб рода Леванидовых внесён в Часть 2 Общего гербовника дворянских родов Всероссийской империи, стр. 125." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В щите разделённом диагональной чертой изображена в верхнем правом голубом поле серебряная Луна, рогами вверх обращённая. В нижнем левом красном поле белый Орёл с распростёртыми крыльями, стоящий наположенных крестообразно Луке и Колчане означенных золотом, со Стрелами. Щит увенчан дворянскими шлемом и короной. Намёт на щите красный и голубой, подложенный серебром. Герб рода Леванидовых внесён в Часть 2 Общего гербовника дворянских родов Всероссийской империи, стр. 125.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 143, + "generated_len": [ + 226 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.81025641025641, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 110628, + 120807, + 111151, + 12507, + 13, + 28599, + 220, + 16, + 19, + 12, + 107160, + 104994, + 101665, + 105623, + 102980, + 12507, + 7740, + 109803, + 12, + 137244, + 12507, + 5927, + 104531, + 10693, + 112015, + 105362, + 101448, + 11, + 104853, + 2001, + 107657, + 35889, + 48445, + 2233, + 100282, + 1506, + 13, + 72731, + 130061, + 100289, + 5927, + 111509, + 34613, + 100380, + 140773, + 104140, + 100570, + 13, + 23784, + 220, + 17, + 15, + 16, + 15, + 100281, + 123809, + 5927, + 120777, + 11, + 100416, + 101777, + 111534, + 44946, + 109803, + 12, + 124650, + 104271, + 44065, + 102865, + 12769, + 117199, + 102657, + 13433, + 12, + 27435, + 38214, + 109649, + 13289, + 7740, + 28599, + 55258, + 41682, + 11, + 21022, + 104861, + 5927, + 110624, + 102980, + 1532, + 44946, + 12769, + 143614, + 75608, + 128247, + 101943, + 11, + 128464, + 7740, + 133022, + 109432, + 102511, + 118239, + 100570, + 13, + 28599, + 220, + 17, + 15, + 16, + 22, + 100261, + 120615, + 5927, + 107777, + 113968, + 11, + 112979, + 34613, + 105379, + 117962, + 220, + 16, + 23, + 102039, + 220, + 17, + 15, + 16, + 22, + 100261, + 100395, + 12769, + 113056, + 107953, + 75608, + 105883, + 44946, + 100741, + 104522, + 5927, + 107777, + 113968, + 117962, + 220, + 18, + 24, + 109417, + 13, + 100287, + 109574, + 104522, + 220, + 17, + 15, + 16, + 24, + 100261, + 100604, + 100978, + 31443, + 12769, + 143614, + 75608, + 23784, + 220, + 17, + 15, + 17, + 16, + 100281, + 116071, + 5927, + 100380, + 112979, + 102669, + 107777, + 110371, + 12769, + 136043, + 75608, + 139912, + 109432, + 128724, + 109505, + 102905, + 103077, + 220, + 17, + 15, + 16, + 21, + 100261, + 13 + ], + "text": " В детстве занималась балетом. С 14-летнего возраста начала заниматься футболом и мини-футболом в командах Новосибирска, тренер — Анна Нипрелова. Вызывалась в расширенный состав молодёжной сборной России. В 2010 году переехала в Красноярск, где стала выступать за мини-футбольные команды «Сибирячка-КГПУ» и СФУ, а позднее в большом футболе за «Енисей». Победительница, серебряный и бронзовый призёр первого дивизиона России. С 2017 года выступала в высшей лиге, дебютный матч сыграла 18 апреля 2017 года против «Россиянки». Всего за три сезона в высшей лиге сыграла 39 матчей. По окончании сезона 2019 года покинула «Енисей». В 2021 году перешла в состав дебютанта высшей лиги «Рубин». Бронзовый призёр футбольного турнира Европыады 2016 года." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В детстве занималась балетом. С 14-летнего возраста начала заниматься футболом и мини-футболом в командах Новосибирска, тренер — Анна Нипрелова. Вызывалась в расширенный состав молодёжной сборной России. В 2010 году переехала в Красноярск, где стала выступать за мини-футбольные команды «Сибирячка-КГПУ» и СФУ, а позднее в большом футболе за «Енисей». Победительница, серебряный и бронзовый призёр первого дивизиона России. С 2017 года выступала в высшей лиге, дебютный матч сыграла 18 апреля 2017 года против «Россиянки». Всего за три сезона в высшей лиге сыграла 39 матчей. По окончании сезона 2019 года покинула «Енисей». В 2021 году перешла в состав дебютанта высшей лиги «Рубин». Бронзовый призёр футбольного турнира Европеады 2016 года." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В детстве занималась балетом. С 14-летнего возраста начала заниматься футболом и мини-футболом в командах Новосибирска, тренер — Анна Нипрелова. Вызывалась в расширенный состав молодёжной сборной России. В 2010 году переехала в Красноярск, где стала выступать за мини-футбольные команды «Сибирячка-КГПУ» и СФУ, а позднее в большом футболе за «Енисей». Победительница, серебряный и бронзовый призёр первого дивизиона России. С 2017 года выступала в высшей лиге, дебютный матч сыграла 18 апреля 2017 года против «Россиянки». Всего за три сезона в высшей лиге сыграла 39 матчей. По окончании сезона 2019 года покинула «Енисей». В 2021 году перешла в состав дебютанта высшей лиги «Рубин». Бронзовый призёр футбольного турнира Европеады 2016 года.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 216, + "generated_len": [ + 226 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.984126984126984, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 105187, + 142176, + 105327, + 54939, + 10693, + 58060, + 2001, + 132879, + 105751, + 7753, + 7740, + 101311, + 100756, + 108095, + 44786, + 100785, + 10298, + 8164, + 100424, + 11, + 115908, + 7740, + 11122, + 94975, + 57855, + 13, + 104597, + 103308, + 14525, + 26, + 101043, + 105434, + 105625, + 103640, + 44786, + 126970, + 5927, + 103452, + 128420, + 11, + 103812, + 114696, + 11, + 109101, + 103815, + 13, + 143911, + 102543, + 5927, + 105751, + 7753, + 39988, + 120823, + 5927, + 106340, + 11, + 13373, + 123683, + 100457, + 108095, + 94962, + 107725, + 11, + 21022, + 5524, + 220, + 16, + 22, + 16, + 17, + 100261, + 2001, + 114613, + 105751, + 106054, + 108095, + 39900, + 109332, + 5927, + 109254, + 13, + 103101, + 100741, + 100261, + 99845, + 100702, + 101307, + 100659, + 113474, + 12507, + 18154, + 108095, + 39988, + 125916, + 53671, + 13, + 121710, + 95967, + 105187, + 142176, + 143911, + 102449, + 100832, + 52770, + 12769, + 37078, + 2607, + 643, + 61312, + 12769, + 33, + 13, + 432, + 13, + 61312, + 12769, + 49, + 13, + 75608, + 113463, + 100645, + 7740, + 101145, + 123163, + 13 + ], + "text": " Бенгт Ри́хтер — шведский медальер и резчик монетных штемпелей, ученик и зять А. Карлстейна; автор большого количества памятных медалей в честь правителей, военных деятелей, исторических событий. Рихтер работал в медальерной мастерской в Париже, на Стокгольмском монетном дворе, а с 1712 года — старшим медальером монетного двора в Вене. Через три года он стал имперским инспектором по монетной чеканке. Свои работы Бенгт Рихтер подписывал как «RICHTER», «B. R.», «R.». Использовались и другие подписи." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Бенгт Ри́хтер — шведский медальер и резчик монетных штемпелей, ученик и зять А. Карлстейна; автор большого количества памятных медалей в честь правителей, военных деятелей, исторических событий. Рихтер работал в медальерной мастерской в Париже, на Стокгольмском монетном дворе, а с 1712 года — старшим медальером монетного двора в Вене. Через три года он стал имперским инспектором по монетной чеканке. Свои работы Бенгт Рихтер подписывал как «RICHTER», «B. R.», «R.». Использовались и другие подписи." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Бенгт Ри́хтер — шведский медальер и резчик монетных штемпелей, ученик и зять А. Карлстейна; автор большого количества памятных медалей в честь правителей, военных деятелей, исторических событий. Рихтер работал в медальерной мастерской в Париже, на Стокгольмском монетном дворе, а с 1712 года — старшим медальером монетного двора в Вене. Через три года он стал имперским инспектором по монетной чеканке. Свои работы Бенгт Рихтер подписывал как «RICHTER», «B. R.», «R.». Использовались и другие подписи.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 147, + "generated_len": [ + 226 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.7824074074074074, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 104901, + 51736, + 105553, + 14476, + 102617, + 12769, + 39091, + 1840, + 54939, + 109687, + 21923, + 69463, + 112577, + 14476, + 102617, + 13289, + 2001, + 116607, + 128493, + 44858, + 123115, + 44858, + 111170, + 11, + 128377, + 13373, + 113154, + 122044, + 104625, + 120247, + 104145, + 102933, + 107622, + 4655, + 129350, + 101528, + 13, + 127338, + 109905, + 100511, + 97065, + 108279, + 13373, + 119820, + 3658, + 630, + 220, + 23, + 101878, + 220, + 17, + 15, + 16, + 15, + 100261, + 13, + 106890, + 100274, + 112230, + 127898, + 220, + 16, + 15, + 123638, + 11, + 100267, + 220, + 17, + 23, + 101878, + 104621, + 102713, + 139607, + 101494, + 106110, + 5927, + 101279, + 5524, + 123388, + 109498, + 50807, + 113327, + 7740, + 131850, + 101463, + 220, + 16, + 17, + 13, + 220, + 19, + 101933, + 220, + 17, + 15, + 16, + 17, + 100261, + 19921, + 12517, + 132088, + 110300, + 13373, + 140523, + 106110, + 11, + 21022, + 220, + 17, + 21, + 101922, + 220, + 17, + 15, + 16, + 18, + 100261, + 13373, + 122261, + 13, + 102598, + 100274, + 118273, + 11, + 48489, + 88005, + 7486, + 108810, + 12, + 109695, + 113327, + 40842, + 104243, + 12769, + 34604, + 21708, + 102331, + 104071, + 37013, + 61312, + 98851, + 103714, + 5927, + 106160, + 220, + 17, + 15, + 16, + 18, + 100261, + 13, + 220, + 16, + 15, + 101878, + 220, + 17, + 15, + 16, + 19, + 100261, + 11, + 5927, + 100598, + 105431, + 4655, + 126480, + 104522, + 11, + 19921, + 12517, + 132088, + 114426, + 101573, + 13373, + 100779, + 113590, + 104522, + 13, + 23784, + 105765, + 220, + 17, + 15, + 16, + 21, + 100261, + 100274, + 118273, + 11, + 48489, + 132125, + 106110, + 69923, + 109067, + 13, + 23784, + 105784, + 220, + 17, + 15, + 16, + 22, + 100261, + 100269, + 88005, + 7486, + 101697, + 108810, + 12, + 109695, + 40842, + 104243, + 12769, + 75608 + ], + "text": " Милые обманщицы «Ми́лые обма́нщицы» — американская телевизионная молодёжная драма, основанная на одноимённой серии романов писательницы Сары Шепард. Премьера телесериала состоялась на канале Freeform 8 июня 2010 года. Сначала было решено выпустить 10 эпизодов, но 28 июня канал решил продлить первый сезон в связи с высокими рейтингами сериала и заказал ещё 12. 4 октября 2012 года ABC Family продлил шоу на четвёртый сезон, а 26 марта 2013 года на пятый. Также было объявлено, что заказан спин-офф сериала под названием «Рейвенсвуд», который вышел в октябре 2013 года. 10 июня 2014 года, в день премьеры пятого сезона, ABC Family продлил сериал сразу на два последующих сезона. В августе 2016 года было объявлено, что седьмой сезон будет последним. В сентябре 2017 года был заказан второй спин-офф под названием «»." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Милые обманщицы «Ми́лые обма́нщицы» — американская телевизионная молодёжная драма, основанная на одноимённой серии романов писательницы Сары Шепард. Премьера телесериала состоялась на канале Freeform 8 июня 2010 года. Сначала было решено выпустить 10 эпизодов, но 28 июня канал решил продлить первый сезон в связи с высокими рейтингами сериала и заказал ещё 12. 4 октября 2012 года ABC Family продлил шоу на четвёртый сезон, а 26 марта 2013 года на пятый. Также было объявлено, что заказан спин-офф сериала под названием «Рейвенсвуд», который вышел в октябре 2013 года. 10 июня 2014 года, в день премьеры пятого сезона, ABC Family продлил сериал сразу на два последующих сезона. В августе 2016 года было объявлено, что седьмой сезон будет последним. В сентябре 2017 года был заказан второй спин-офф под названием «»." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Милые обманщицы «Ми́лые обма́нщицы» — американская телевизионная молодёжная драма, основанная на одноимённой серии романов писательницы Сары Шепард. Премьера телесериала состоялась на канале Freeform 8 июня 2010 года. Сначала было решено выпустить 10 эпизодов, но 28 июня канал решил продлить первый сезон в связи с высокими рейтингами сериала и заказал ещё 12. 4 октября 2012 года ABC Family продлил шоу на четвёртый сезон, а 26 марта 2013 года на пятый. Также было объявлено, что заказан спин-офф сериала под названием «Рейвенсвуд», который вышел в октябре 2013 года. 10 июня 2014 года, в день премьеры пятого сезона, ABC Family продлил сериал сразу на два последующих сезона. В августе 2016 года было объявлено, что седьмой сезон будет последним. В сентябре 2017 года был заказан второй спин-офф под названием «».<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 237, + "generated_len": [ + 216 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.962566844919786, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 109255, + 12, + 100699, + 102606, + 220, + 16, + 24, + 21, + 20, + 100261, + 2001, + 132125, + 102501, + 104450, + 101042, + 18154, + 103135, + 14837, + 17766, + 102618, + 5927, + 113126, + 109779, + 112653, + 12, + 16, + 104522, + 220, + 16, + 24, + 21, + 20, + 100261, + 13, + 129274, + 14837, + 17766, + 17165, + 107446, + 220, + 16, + 101887, + 220, + 16, + 24, + 21, + 20, + 100261, + 13373, + 126558, + 35889, + 101910, + 106012, + 100378, + 100844, + 5927, + 116889, + 13, + 120036, + 12769, + 101037, + 17766, + 40590, + 13289, + 101988, + 126119, + 100600, + 102501, + 104450, + 13, + 12769, + 65014, + 13337, + 44155, + 13289, + 127690, + 100752, + 126316, + 57297, + 104395, + 110831, + 11, + 101685, + 23680, + 28089, + 44946, + 129917, + 13373, + 102468, + 104267, + 36352, + 107196, + 126446, + 61565, + 100860, + 109208, + 110958, + 109761, + 13, + 36479, + 116506, + 124120, + 104450, + 59369, + 100660, + 104086, + 102757, + 102865, + 12769, + 19871, + 36352, + 101486, + 40231, + 100284, + 19190, + 100301, + 104686, + 13289, + 45458, + 84350, + 5372, + 144453, + 7740, + 19175, + 119890, + 100482, + 5927, + 103715, + 141564, + 104081, + 7753, + 25657, + 64571, + 44155, + 104574, + 116978, + 13, + 102598, + 44946, + 129917, + 107898, + 105153, + 102865, + 104060, + 111046, + 106711, + 134675, + 10298, + 13, + 119110, + 105024, + 102176, + 102290, + 128178, + 44946, + 138895, + 104532, + 110286, + 101717, + 102070, + 2156, + 116977, + 13, + 23784, + 122157, + 117086, + 125600, + 111412, + 105933, + 11, + 139340, + 12769, + 126634, + 114003, + 13289, + 7740, + 105927, + 120561, + 101042, + 44946, + 100741, + 112102, + 57297, + 104874, + 104450, + 13 + ], + "text": " Гран-при Германии 1965 года — седьмой этап чемпионата мира по автогонкам в классе Формула-1 сезона 1965 года. Автогонки прошли 1 августа 1965 года на трассе Нюрбургринг в ФРГ. Команда «Хонда» пропустила этот этап чемпионата. «Лотус» расширил свою заявку до трёх автомобилей, усадив за руль на одну гонку местного пилота Герхарда Миттера. К постоянным участникам чемпионата добавились пилоты команды «Скудерия Чентро Суд» Мастен Грегори и не прошедший в итоге квалификацию Роберто Буссинелло. Также за руль автомобиля собственной команды вернулся Джек Брэбем. Крис Эймон вновь стартовал за частную команду Реджа Парнелла. В гонке Джим Кларк одержал победу, завоевав «большой шлем» и звание чемпиона мира за три этапа до окончания чемпионата." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Гран-при Германии 1965 года — седьмой этап чемпионата мира по автогонкам в классе Формула-1 сезона 1965 года. Автогонки прошли 1 августа 1965 года на трассе Нюрбургринг в ФРГ. Команда «Хонда» пропустила этот этап чемпионата. «Лотус» расширил свою заявку до трёх автомобилей, усадив за руль на одну гонку местного пилота Герхарда Миттера. К постоянным участникам чемпионата добавились пилоты команды «Скудерия Чентро Суд» Мастен Грегори и не прошедший в итоге квалификацию Роберто Буссинелло. Также за руль автомобиля собственной команды вернулся Джек Брэбем. Крис Эймон вновь стартовал за частную команду Реджа Парнелла. В гонке Джим Кларк одержал победу, завоевав «большой шлем» и звание чемпиона мира за три этапа до окончания чемпионата." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Гран-при Германии 1965 года — седьмой этап чемпионата мира по автогонкам в классе Формула-1 сезона 1965 года. Автогонки прошли 1 августа 1965 года на трассе Нюрбургринг в ФРГ. Команда «Хонда» пропустила этот этап чемпионата. «Лотус» расширил свою заявку до трёх автомобилей, усадив за руль на одну гонку местного пилота Герхарда Миттера. К постоянным участникам чемпионата добавились пилоты команды «Скудерия Чентро Суд» Мастен Грегори и не прошедший в итоге квалификацию Роберто Буссинелло. Также за руль автомобиля собственной команды вернулся Джек Брэбем. Крис Эймон вновь стартовал за частную команду Реджа Парнелла. В гонке Джим Кларк одержал победу, завоевав «большой шлем» и звание чемпиона мира за три этапа до окончания чемпионата.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 208, + "generated_len": [ + 216 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.5775862068965516, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 110288, + 29118, + 25, + 118830, + 12, + 101037, + 16331, + 29118, + 11, + 102057, + 110288, + 29118, + 2001, + 100542, + 5927, + 112260, + 11, + 5927, + 134182, + 103260, + 131633, + 111881, + 103757, + 13, + 110288, + 29118, + 12, + 108687, + 12, + 108302, + 105681, + 2001, + 123085, + 5927, + 112260, + 11, + 5927, + 134182, + 103260, + 100381, + 23311, + 103757, + 13, + 110288, + 29118, + 12, + 19479, + 12, + 35095, + 78746, + 17461, + 2001, + 100542, + 5927, + 112260, + 11, + 5927, + 134182, + 103260, + 118881, + 17461, + 13, + 142197, + 50693, + 100854, + 12, + 101037, + 16331, + 29118, + 2001, + 100542, + 5927, + 102606, + 11, + 102349, + 34613, + 101619, + 11, + 104448, + 5927, + 103260, + 118830, + 5372, + 12, + 16604, + 101910, + 105832, + 104189, + 13, + 110288, + 29118, + 11, + 104597, + 127322, + 2001, + 104084, + 100273, + 110201, + 100898, + 13, + 110288, + 29118, + 11, + 111774, + 2297, + 2001, + 132879, + 107535, + 18154, + 101473, + 100847, + 102852, + 100547, + 89052, + 13 + ], + "text": " Халль: Бад-Халль, прежде Халль — город в Австрии, в федеральной земле Верхняя Австрия. Халль-бай-Адмонт — коммуна в Австрии, в федеральной земле Штирия. Халль-ин-Тироль — город в Австрии, в федеральной земле Тироль. Швебиш-Халль — город в Германии, районный центр, расположен в земле Баден-Вюртемберг. Халль, Карл Кристиан — датский политический деятель. Халль, Ларс — шведский спортсмен по современному пятиборью." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Халль: Бад-Халль, прежде Халль — город в Австрии, в федеральной земле Верхняя Австрия. Халль-бай-Адмонт — коммуна в Австрии, в федеральной земле Штирия. Халль-ин-Тироль — город в Австрии, в федеральной земле Тироль. Швебиш-Халль — город в Германии, районный центр, расположен в земле Баден-Вюртемберг. Халль, Карл Кристиан — датский политический деятель. Халль, Ларс — шведский спортсмен по современному пятиборью." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Халль: Бад-Халль, прежде Халль — город в Австрии, в федеральной земле Верхняя Австрия. Халль-бай-Адмонт — коммуна в Австрии, в федеральной земле Штирия. Халль-ин-Тироль — город в Австрии, в федеральной земле Тироль. Швебиш-Халль — город в Германии, районный центр, расположен в земле Баден-Вюртемберг. Халль, Карл Кристиан — датский политический деятель. Халль, Ларс — шведский спортсмен по современному пятиборью.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 137, + "generated_len": [ + 216 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.931297709923665, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 122533, + 75281, + 107626, + 10693, + 67602, + 1482, + 12, + 109131, + 25657, + 5927, + 102822, + 104228, + 20879, + 104876, + 105310, + 13, + 108591, + 108246, + 146407, + 2001, + 106109, + 34613, + 132844, + 11, + 108795, + 11, + 119553, + 13, + 102598, + 106606, + 114893, + 103026, + 100826, + 113387, + 139653, + 115656, + 13, + 23784, + 103346, + 101351, + 120542, + 7740, + 110209, + 101377, + 121794, + 111753, + 37131, + 16742, + 103579, + 105621, + 100994, + 13, + 23784, + 107626, + 10693, + 67602, + 1482, + 12, + 109131, + 25657, + 113594, + 100629, + 117853, + 18154, + 116631, + 132035, + 106187, + 11, + 108926, + 11, + 114553, + 11, + 128964, + 107919, + 13, + 103608, + 5927, + 102215, + 7740, + 108468, + 111854, + 23446, + 18154, + 116631, + 124335, + 105795, + 13, + 100287, + 108265, + 13373, + 220, + 17, + 15, + 16, + 18, + 100260, + 103665, + 141152, + 5927, + 107626, + 10693, + 67602, + 1482, + 12, + 109131, + 25657, + 102655, + 220, + 16, + 15, + 11, + 17, + 13689, + 48489, + 103271, + 73385, + 110530, + 116655, + 12507, + 5524, + 102319, + 119848, + 108218, + 141152, + 100376, + 105018, + 102788, + 38722, + 1482, + 13 + ], + "text": " Экономика Трухильо-Альто в основном зависит от сельского хозяйства. Основные продукты выращивания — сахарный тростник, кофе, табак. Также жители занимаются разведением крупного рогатого скота. В последние годы торговля и промышленность стали неотъемлемой частью экономики города. В Трухильо-Альто расположено несколько заводов по производству пищевых продуктов, дерева, металла, электрического оборудования. Есть в городе и каменоломни по производству строительных материалов. По состоянию на 2013 год уровень безработицы в Трухильо-Альто составляет 10,2%, что делает его вторым муниципалитетом с самым низким уровнем безработицы после Гуайнабо." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Экономика Трухильо-Альто в основном зависит от сельского хозяйства. Основные продукты выращивания — сахарный тростник, кофе, табак. Также жители занимаются разведением крупного рогатого скота. В последние годы торговля и промышленность стали неотъемлемой частью экономики города. В Трухильо-Альто расположено несколько заводов по производству пищевых продуктов, дерева, металла, электрического оборудования. Есть в городе и каменоломни по производству строительных материалов. По состоянию на 2013 год уровень безработицы в Трухильо-Альто составляет 10,2%, что делает его вторым муниципалитетом с самым низким уровнем безработицы после Гуайнабо." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Экономика Трухильо-Альто в основном зависит от сельского хозяйства. Основные продукты выращивания — сахарный тростник, кофе, табак. Также жители занимаются разведением крупного рогатого скота. В последние годы торговля и промышленность стали неотъемлемой частью экономики города. В Трухильо-Альто расположено несколько заводов по производству пищевых продуктов, дерева, металла, электрического оборудования. Есть в городе и каменоломни по производству строительных материалов. По состоянию на 2013 год уровень безработицы в Трухильо-Альто составляет 10,2%, что делает его вторым муниципалитетом с самым низким уровнем безработицы после Гуайнабо.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 152, + "generated_len": [ + 216 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.235849056603773, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 122923, + 51418, + 100446, + 125347, + 1840, + 2001, + 118486, + 114852, + 13, + 132371, + 11, + 102983, + 100799, + 11, + 130382, + 9239, + 105773, + 100636, + 102473, + 125310, + 129615, + 11, + 101280, + 115217, + 38657, + 100447, + 100349, + 13, + 101420, + 12769, + 34604, + 110238, + 40251, + 13289, + 141638, + 110056, + 13373, + 139949, + 132954, + 116210, + 220, + 16, + 23, + 21, + 22, + 100261, + 13, + 12769, + 117741, + 13289, + 51418, + 100446, + 125347, + 1840, + 102655, + 117605, + 127365, + 5524, + 101388, + 7486, + 100659, + 103640, + 101968, + 102050, + 3865, + 121364, + 103480, + 95967, + 100520, + 1482, + 17721, + 100626, + 124756, + 16248, + 17165, + 13, + 121672, + 12648, + 62731, + 127582, + 100336, + 106664, + 102113, + 94520, + 125341, + 115335, + 44613, + 78757, + 104347, + 12507, + 5927, + 23227, + 41873, + 1532, + 7740, + 126541, + 137369, + 78757, + 100492, + 101336, + 101388, + 109994, + 111606, + 94071, + 13 + ], + "text": " Антонио Тантардини — итальянский скульптор. Известен, главным образом, аллегорическими женскими фигурами, часто обнажёнными. Его «Рабыня» пользовалась успехом на Парижской Всемирной выставке 1867 года. «История» Тантардини составляет единый ансамбль с миланским памятником графу Кавуру работы Одоардо Табакки. Должны быть отмечены также памятник Алессандро Вольта перед университетом в Пизе и статуя Моисея перед зданием миланского архиепископства." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Антонио Тантардини — итальянский скульптор. Известен, главным образом, аллегорическими женскими фигурами, часто обнажёнными. Его «Рабыня» пользовалась успехом на Парижской Всемирной выставке 1867 года. «История» Тантардини составляет единый ансамбль с миланским памятником графу Кавуру работы Одоардо Табакки. Должны быть отмечены также памятник Алессандро Вольта перед университетом в Пизе и статуя Моисея перед зданием миланского архиепископства." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Антонио Тантардини — итальянский скульптор. Известен, главным образом, аллегорическими женскими фигурами, часто обнажёнными. Его «Рабыня» пользовалась успехом на Парижской Всемирной выставке 1867 года. «История» Тантардини составляет единый ансамбль с миланским памятником графу Кавуру работы Одоардо Табакки. Должны быть отмечены также памятник Алессандро Вольта перед университетом в Пизе и статуя Моисея перед зданием миланского архиепископства.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 127, + "generated_len": [ + 216 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.521739130434782, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 220, + 16, + 24, + 22, + 15, + 12, + 10693, + 101991, + 105014, + 50190, + 55523, + 14009, + 5927, + 102215, + 103586, + 138708, + 101003, + 7740, + 100274, + 120193, + 73281, + 5927, + 129700, + 13, + 102309, + 100853, + 102539, + 111195, + 100425, + 13373, + 101245, + 84198, + 11, + 7740, + 104166, + 2297, + 10693, + 121262, + 118505, + 5927, + 100503, + 23934, + 102214, + 122539, + 116655, + 6856, + 5927, + 141113, + 7740, + 21923, + 7486, + 110328, + 100425, + 13, + 103012, + 100994, + 107913, + 101021, + 116257, + 120409, + 77495, + 101848, + 107589, + 3865, + 13, + 100402, + 110138, + 103125, + 101452, + 113636, + 100342, + 21477, + 36352, + 102112, + 51412, + 7740, + 109895, + 106779, + 117754, + 11, + 101619, + 100269, + 103733, + 100447, + 5927, + 120194, + 77495, + 115387, + 13, + 106271, + 102443, + 100994, + 52770, + 118619, + 103460, + 113367, + 107340, + 105736, + 100750, + 11, + 7740, + 104166, + 2297, + 10693, + 121262, + 107105, + 86291, + 100311, + 100535, + 23934, + 135164, + 31443, + 13 + ], + "text": " В 1970-х годах производство текстиля в городе постепенно прекратилось и было перенесено в Азию. Этот процесс сильно отразился на населении, и Энсхеде превратился в один из самых бедных муниципалитетов в Нидерландах и обанкротился. Центр города представлял собой огромную заброшенную промзону. При поддержке правительства эта собственность была выкуплена и реконструирована, центр был превращён в пешеходную зону. Значимость города как регионального центра всячески стимулировалось, и Энсхеде сумел возродиться из пепла." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В 1970-х годах производство текстиля в городе постепенно прекратилось и было перенесено в Азию. Этот процесс сильно отразился на населении, и Энсхеде превратился в один из самых бедных муниципалитетов в Нидерландах и обанкротился. Центр города представлял собой огромную заброшенную промзону. При поддержке правительства эта собственность была выкуплена и реконструирована, центр был превращён в пешеходную зону. Значимость города как регионального центра всячески стимулировалось, и Энсхеде сумел возродиться из пепла." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В 1970-х годах производство текстиля в городе постепенно прекратилось и было перенесено в Азию. Этот процесс сильно отразился на населении, и Энсхеде превратился в один из самых бедных муниципалитетов в Нидерландах и обанкротился. Центр города представлял собой огромную заброшенную промзону. При поддержке правительства эта собственность была выкуплена и реконструирована, центр был превращён в пешеходную зону. Значимость города как регионального центра всячески стимулировалось, и Энсхеде сумел возродиться из пепла.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 136, + "generated_len": [ + 216 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.81021897810219, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 113471, + 105874, + 107629, + 102383, + 115379, + 97065, + 5927, + 104260, + 12415, + 100763, + 109361, + 13, + 100738, + 100350, + 52770, + 102102, + 104260, + 109921, + 106585, + 113993, + 11, + 107629, + 102383, + 100702, + 115379, + 18482, + 5927, + 109284, + 104260, + 11, + 102857, + 100336, + 101210, + 104468, + 100909, + 102102, + 5927, + 104260, + 12415, + 100763, + 109361, + 13, + 23784, + 101956, + 102389, + 112713, + 106585, + 107629, + 102383, + 21477, + 119324, + 101940, + 4929, + 17766, + 13, + 28599, + 115880, + 111095, + 100961, + 104265, + 66144, + 21708, + 102113, + 43203, + 3865, + 11, + 36479, + 8341, + 103188, + 7740, + 36479, + 106476, + 21708, + 102113, + 43203, + 3865, + 11, + 100416, + 104152, + 108925, + 100512, + 107629, + 4655, + 14525, + 11, + 101524, + 102285, + 14257, + 121904, + 102806, + 7740, + 100340, + 102319, + 115037, + 100354, + 21599, + 105040, + 100543, + 44858, + 104197, + 13, + 36479, + 121887, + 117688, + 28007, + 119217, + 104303, + 7740, + 115688, + 103325, + 102723, + 5524, + 115880, + 111095, + 100961, + 112439, + 135750, + 12, + 100639, + 134843, + 13, + 108082, + 101940, + 4929, + 74828, + 107339, + 25698, + 28007, + 100445, + 103155, + 104277, + 44786, + 132574, + 104303, + 13 + ], + "text": " В древности река Чарын впадала в Илийское озеро. После того как воды Илийского озера ушли, Чарын стал впадать в реку Или, ранее также несшую свои воды в Илийское озеро. В бывшем дне озера Чарын вырезал каньон. С ростом хребтов Терскей Алатау, Кетмень и Кунгей Алатау, где находятся верховья Чарына, течение реки убыстряется и тем самым увеличивается ее эрозионная сила. Каньон разрезает слои пород и углубляется одновременно с ростом хребтов Северного Тянь-Шаня. Часть каньона пролегает между разноцветных коренных пород." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В древности река Чарын впадала в Илийское озеро. После того как воды Илийского озера ушли, Чарын стал впадать в реку Или, ранее также несшую свои воды в Илийское озеро. В бывшем дне озера Чарын вырезал каньон. С ростом хребтов Терскей Алатау, Кетмень и Кунгей Алатау, где находятся верховья Чарына, течение реки убыстряется и тем самым увеличивается ее эрозионная сила. Каньон разрезает слои пород и углубляется одновременно с ростом хребтов Северного Тянь-Шаня. Часть каньона пролегает между разноцветных коренных пород." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В древности река Чарын впадала в Илийское озеро. После того как воды Илийского озера ушли, Чарын стал впадать в реку Или, ранее также несшую свои воды в Илийское озеро. В бывшем дне озера Чарын вырезал каньон. С ростом хребтов Терскей Алатау, Кетмень и Кунгей Алатау, где находятся верховья Чарына, течение реки убыстряется и тем самым увеличивается ее эрозионная сила. Каньон разрезает слои пород и углубляется одновременно с ростом хребтов Северного Тянь-Шаня. Часть каньона пролегает между разноцветных коренных пород.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 158, + "generated_len": [ + 216 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.295857988165681, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 106279, + 220, + 16, + 24, + 21, + 23, + 100261, + 5927, + 101525, + 101111, + 103545, + 39900, + 120850, + 7820, + 101523, + 5927, + 130279, + 107145, + 105932, + 12769, + 107925, + 18437, + 75608, + 107881, + 3865, + 105987, + 18154, + 116536, + 220, + 16, + 24, + 21, + 23, + 100261, + 100949, + 100645, + 100336, + 120295, + 116503, + 13, + 108353, + 102567, + 105785, + 50223, + 28089, + 101226, + 5927, + 104121, + 74726, + 101253, + 100739, + 2001, + 105323, + 6578, + 103408, + 102886, + 12, + 61432, + 16248, + 22911, + 13, + 23784, + 106279, + 220, + 16, + 24, + 22, + 24, + 100261, + 102886, + 12, + 61432, + 134839, + 119236, + 5927, + 110734, + 13, + 107881, + 12507, + 100702, + 143914, + 131011, + 11, + 101060, + 91877, + 100269, + 100361, + 12, + 118810, + 25657, + 117874, + 125594, + 100629, + 100366, + 57297, + 100392, + 11, + 108043, + 104543, + 100335, + 114861, + 50807, + 13, + 100738, + 113542, + 92093, + 106449, + 116589, + 11, + 5927, + 102822, + 117627, + 115681, + 11, + 143914, + 101608, + 105010, + 123407, + 100455, + 116503, + 5927, + 101525, + 119218, + 103109, + 92093, + 110532, + 122728, + 13, + 23784, + 106123, + 220, + 17, + 15, + 15, + 18, + 100261, + 134444, + 112992, + 71829, + 100265, + 103381, + 5524, + 101066, + 117344, + 100685, + 5927, + 110350, + 7740, + 130570, + 31443, + 102372, + 109721, + 7094, + 104564, + 129346, + 129499, + 11, + 21022, + 97185, + 99845, + 100269, + 103040, + 5591, + 106052, + 7740, + 126333, + 13 + ], + "text": " В июле 1968 года в результате бескровного переворота к власти в Ираке пришла партия «Баас». Президенту республики по Конституции 1968 года давались также широкие полномочия. Вся власть сосредотачивалась в руках только одного человека — Ахмада аль-Бакра. В июле 1979 года аль-Бакр ушёл в отставку. Президентом стал Саддам Хусейн, хотя уже был де-факто лидером Ирака несколько лет до этого, имея контроль над спецслужбами. После ликвидации всех политических противников, в основном левого толка, Саддам получил фактически диктаторские полномочия в результате совмещения всех высших постов. В апреле 2003 года международная коалиция во главе с США вторглась в Ирак и свергла режим Саддама Хусейна, а сам он был схвачен и казнен." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В июле 1968 года в результате бескровного переворота к власти в Ираке пришла партия «Баас». Президенту республики по Конституции 1968 года давались также широкие полномочия. Вся власть сосредотачивалась в руках только одного человека — Ахмада аль-Бакра. В июле 1979 года аль-Бакр ушёл в отставку. Президентом стал Саддам Хусейн, хотя уже был де-факто лидером Ирака несколько лет до этого, имея контроль над спецслужбами. После ликвидации всех политических противников, в основном левого толка, Саддам получил фактически диктаторские полномочия в результате совмещения всех высших постов. В апреле 2003 года международная коалиция во главе с США вторглась в Ирак и свергла режим Саддама Хусейна, а сам он был схвачен и казнен." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В июле 1968 года в результате бескровного переворота к власти в Ираке пришла партия «Баас». Президенту республики по Конституции 1968 года давались также широкие полномочия. Вся власть сосредотачивалась в руках только одного человека — Ахмада аль-Бакра. В июле 1979 года аль-Бакр ушёл в отставку. Президентом стал Саддам Хусейн, хотя уже был де-факто лидером Ирака несколько лет до этого, имея контроль над спецслужбами. После ликвидации всех политических противников, в основном левого толка, Саддам получил фактически диктаторские полномочия в результате совмещения всех высших постов. В апреле 2003 года международная коалиция во главе с США вторглась в Ирак и свергла режим Саддама Хусейна, а сам он был схвачен и казнен.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 190, + "generated_len": [ + 216 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.565714285714286, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 103587, + 54939, + 81659, + 78746, + 110225, + 54939, + 48262, + 34613, + 113951, + 1482, + 112577, + 2001, + 114334, + 11, + 100790, + 111832, + 63780, + 102573, + 106252, + 48262, + 100349, + 101818, + 50807, + 13, + 100287, + 103089, + 108223, + 101295, + 100430, + 100614, + 101173, + 103536, + 38438, + 56857, + 100256, + 29619, + 48445, + 67124, + 23311, + 104359, + 11, + 145901, + 23934, + 220, + 23, + 19, + 128550, + 44786, + 127569, + 11, + 105350, + 122045, + 39233, + 35111, + 1532, + 69775, + 11, + 5524, + 100569, + 15298, + 101738, + 39988, + 115832, + 101108, + 220, + 24, + 220, + 20, + 15, + 15, + 101231, + 101269, + 13, + 80798, + 101374, + 50819, + 5927, + 63780, + 102573, + 106252, + 48262, + 44786, + 101818, + 100263, + 23934, + 101855, + 143235, + 12426, + 100605, + 88596, + 2001, + 101988, + 102097, + 15752, + 32330, + 74828, + 11, + 127472, + 220, + 21, + 112566, + 128550, + 13373, + 35931, + 12, + 101078, + 100441, + 13, + 80584, + 2275, + 253, + 35095, + 38214, + 108958, + 105126, + 5927, + 104706, + 101738, + 94962, + 101395, + 121257, + 104792, + 100740, + 102541, + 18600, + 102332, + 105825, + 107959, + 106381, + 109953, + 63780, + 102573, + 106252, + 48262, + 44786, + 101818, + 7740, + 5927, + 103904, + 101315, + 1532, + 104810, + 100811, + 126486, + 62776, + 5927, + 103659, + 1532, + 61565, + 17461, + 104892, + 113618, + 5927, + 23227, + 35095, + 38214, + 13, + 104354, + 128529, + 110160, + 12561, + 2275, + 253, + 35095, + 38214, + 106446, + 103313, + 110159, + 63780, + 8131, + 15752, + 32330, + 74828, + 13 + ], + "text": " Па́ратирео́идный гормо́н — гормон, производимый паращитовидными железами. По химическому строению является одноцепочечным полипептидом, состоящим из 84 аминокислотных остатков, лишённым цистеина, с молекулярной массой около 9 500 дальтон. Образуется в паращитовидных железах из биопредшественника — пропаратгормона, имеющего 6 дополнительных аминокислот на NH-конце. ПроПТГ синтезируется в гранулярном эндоплазматическом ретикулуме главных клеток паращитовидных желез и в процессе протеолитического расщепления в аппарате Гольджи превращается в ПТГ. Биологическая активность проПТГ существенно ниже активности паратгормона." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Па́ратирео́идный гормо́н — гормон, производимый паращитовидными железами. По химическому строению является одноцепочечным полипептидом, состоящим из 84 аминокислотных остатков, лишённым цистеина, с молекулярной массой около 9 500 дальтон. Образуется в паращитовидных железах из биопредшественника — пропаратгормона, имеющего 6 дополнительных аминокислот на NH-конце. ПроПТГ синтезируется в гранулярном эндоплазматическом ретикулуме главных клеток паращитовидных желез и в процессе протеолитического расщепления в аппарате Гольджи превращается в ПТГ. Биологическая активность проПТГ существенно ниже активности паратгормона." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Па́ратирео́идный гормо́н — гормон, производимый паращитовидными железами. По химическому строению является одноцепочечным полипептидом, состоящим из 84 аминокислотных остатков, лишённым цистеина, с молекулярной массой около 9 500 дальтон. Образуется в паращитовидных железах из биопредшественника — пропаратгормона, имеющего 6 дополнительных аминокислот на NH-конце. ПроПТГ синтезируется в гранулярном эндоплазматическом ретикулуме главных клеток паращитовидных желез и в процессе протеолитического расщепления в аппарате Гольджи превращается в ПТГ. Биологическая активность проПТГ существенно ниже активности паратгормона.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 196, + "generated_len": [ + 278 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.237288135593221, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 112809, + 37013, + 103747, + 103305, + 101747, + 19916, + 48262, + 100269, + 74020, + 100256, + 26539, + 28089, + 115720, + 123721, + 5927, + 107800, + 105325, + 24697, + 115281, + 144472, + 13, + 100420, + 108193, + 103740, + 103900, + 5927, + 118609, + 11, + 106639, + 5524, + 101497, + 39900, + 120850, + 220, + 16, + 24, + 21, + 24, + 100261, + 11, + 104133, + 116617, + 105936, + 102872, + 11, + 113573, + 110488, + 130300, + 7740, + 105454, + 108947, + 5927, + 106381, + 101720, + 87878, + 10693, + 13, + 100420, + 2001, + 97455, + 111824, + 114454, + 5927, + 107219, + 130300, + 5524, + 102813, + 100332, + 100284, + 23680, + 12507, + 7740, + 130351, + 12507, + 13, + 112809, + 37013, + 103747, + 103305, + 101747, + 19916, + 48262, + 100269, + 114613, + 128589, + 5927, + 26539, + 28089, + 101884, + 101538, + 100265, + 92878, + 129404, + 100975, + 12, + 100652, + 106370, + 108623, + 13, + 146358, + 103956, + 5927, + 130300, + 220, + 17, + 15, + 16, + 16, + 100261, + 13, + 101522, + 134218, + 107285, + 129932, + 15298, + 107162, + 140399, + 11, + 131200, + 220, + 17, + 18, + 120263, + 26539, + 28089, + 108122, + 114944, + 5927, + 118609, + 105325, + 24697, + 115281, + 144472, + 13, + 110962, + 100910, + 71829, + 101180, + 97065, + 104841, + 4655, + 13373, + 112321, + 7740, + 100510, + 9239, + 38657, + 104732, + 122974, + 13, + 100738, + 109537, + 103747, + 100298, + 31443, + 67891, + 121475, + 100691, + 107270, + 1506, + 13373, + 102483, + 140776, + 105325, + 24697, + 102250, + 144472, + 114721, + 103747, + 103305, + 101747, + 19916, + 102068, + 116371, + 105622, + 95369, + 13, + 111362, + 112809, + 37013, + 103747, + 103305, + 101747, + 19916, + 48262, + 109562, + 101965, + 104183, + 40590, + 19916, + 103199, + 5927, + 102215, + 116879, + 101747, + 100265, + 92878, + 110750, + 44946, + 116879, + 102990, + 7740, + 109031, + 67891, + 100318, + 10589, + 100571, + 13, + 103747, + 103305, + 101747, + 19916, + 48262, + 11, + 52770, + 67121, + 48355, + 11, + 126502, + 5927, + 114297, + 101085, + 5524, + 116371, + 105622, + 95369, + 104262, + 106054, + 102886, + 12, + 39091, + 38722, + 64478, + 12507, + 13 + ], + "text": " Массуд Абдельхафид был видным ливийским генералом в режиме Муаммара Каддафи. Он занимал различные позиции в правительстве, начиная с государственного переворота 1969 года, включая командующего силами безопасности, губернатора южной Ливии и начальника охраны в главных Городах. Он — ключевая фигура в отношениях Ливии с соседним Чадом и Суданом. Массуд Абдельхафид был старшим командующим в ливийской армии во время чадско-ливийского конфликта. Гражданская война в Ливии 2011 года. Совет Безопасности ООН спроектировал резолюцию, назвав 23 старших ливийских чиновников в правительстве Муаммара Каддафи. Резолюция включала запреты на поездки и замораживания активов. После перехода Абдула Фатах Юниса на сторону мятежников Муаммар Каддафи назначил Абдельхафида министром внутренних дел. Генерал Массуд Абдельхафид возглавил силы каддафистов в городе Сабха во время сражения за Сабху и кампании Феццана. Абдельхафид, как сообщали, сбежал в Египет вместе с министром внутренних дел Насером аль-Мабруком." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Массуд Абдельхафид был видным ливийским генералом в режиме Муаммара Каддафи. Он занимал различные позиции в правительстве, начиная с государственного переворота 1969 года, включая командующего силами безопасности, губернатора южной Ливии и начальника охраны в главных Городах. Он — ключевая фигура в отношениях Ливии с соседним Чадом и Суданом. Массуд Абдельхафид был старшим командующим в ливийской армии во время чадско-ливийского конфликта. Гражданская война в Ливии 2011 года. Совет Безопасности ООН спроектировал резолюцию, назвав 23 старших ливийских чиновников в правительстве Муаммара Каддафи. Резолюция включала запреты на поездки и замораживания активов. После перехода Абдула Фатах Юниса на сторону мятежников Муаммар Каддафи назначил Абдельхафида министром внутренних дел. Генерал Массуд Абдельхафид возглавил силы каддафистов в городе Сабха во время сражения за Сабху и кампании Феццана. Абдельхафид, как сообщали, сбежал в Египет вместе с министром внутренних дел Насером аль-Мабруком." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Массуд Абдельхафид был видным ливийским генералом в режиме Муаммара Каддафи. Он занимал различные позиции в правительстве, начиная с государственного переворота 1969 года, включая командующего силами безопасности, губернатора южной Ливии и начальника охраны в главных Городах. Он — ключевая фигура в отношениях Ливии с соседним Чадом и Суданом. Массуд Абдельхафид был старшим командующим в ливийской армии во время чадско-ливийского конфликта. Гражданская война в Ливии 2011 года. Совет Безопасности ООН спроектировал резолюцию, назвав 23 старших ливийских чиновников в правительстве Муаммара Каддафи. Резолюция включала запреты на поездки и замораживания активов. После перехода Абдула Фатах Юниса на сторону мятежников Муаммар Каддафи назначил Абдельхафида министром внутренних дел. Генерал Массуд Абдельхафид возглавил силы каддафистов в городе Сабха во время сражения за Сабху и кампании Феццана. Абдельхафид, как сообщали, сбежал в Египет вместе с министром внутренних дел Насером аль-Мабруком.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 257, + "generated_len": [ + 278 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.8428571428571425, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 103828, + 104460, + 110068, + 101352, + 39988, + 74020, + 13, + 102428, + 101699, + 100447, + 5927, + 110488, + 101352, + 39988, + 100796, + 100570, + 13, + 117109, + 100564, + 5927, + 109075, + 13, + 100293, + 106376, + 137789, + 102301, + 18154, + 101847, + 101643, + 11, + 102316, + 120519, + 126360, + 109008, + 13, + 100834, + 113029, + 101853, + 123530, + 122528, + 100434, + 7740, + 121361, + 101678, + 100434, + 100768, + 13, + 23784, + 115550, + 100368, + 117775, + 5927, + 110747, + 100796, + 119105, + 100346, + 100268, + 101684, + 13, + 117109, + 17618, + 100336, + 93323, + 32985, + 73281, + 5927, + 132401, + 117794, + 13 + ], + "text": " Голарктический степной вид. Распространён в южной степной части России. Растёт в Белоруссии. На Украине растёт практически по всей территории, кроме северных лесных районов. Для сбора наиболее подходят Херсонская и Запорожская области. В Крыму произрастает в северной части Джанкойского района. Растение также завезено в Северную Америку." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Голарктический степной вид. Распространён в южной степной части России. Растёт в Белоруссии. На Украине растёт практически по всей территории, кроме северных лесных районов. Для сбора наиболее подходят Херсонская и Запорожская области. В Крыму произрастает в северной части Джанкойского района. Растение также завезено в Северную Америку." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Голарктический степной вид. Распространён в южной степной части России. Растёт в Белоруссии. На Украине растёт практически по всей территории, кроме северных лесных районов. Для сбора наиболее подходят Херсонская и Запорожская области. В Крыму произрастает в северной части Джанкойского района. Растение также завезено в Северную Америку.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 91, + "generated_len": [ + 278 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.2158273381294964, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 100525, + 13810, + 16494, + 6856, + 28599, + 13, + 67891, + 13, + 35889, + 28086, + 105957, + 105440, + 7740, + 116111, + 13, + 45458, + 2637, + 220, + 16, + 24, + 21, + 20, + 100525, + 13810, + 16494, + 6856, + 28599, + 13, + 67891, + 13, + 100537, + 102605, + 118152, + 7740, + 125253, + 51736, + 13, + 45458, + 2637, + 220, + 16, + 24, + 22, + 22, + 100525, + 13810, + 16494, + 6856, + 28599, + 13, + 67891, + 13, + 141508, + 114797, + 101042, + 100739, + 7740, + 35889, + 111676, + 13, + 100525, + 13810, + 16494, + 6856, + 28599, + 13, + 67891, + 13, + 102794, + 39127, + 7740, + 105448, + 13, + 100525, + 13810, + 16494, + 6856, + 28599, + 13, + 67891, + 13, + 112012, + 75281, + 134335, + 100391, + 17165, + 5927, + 107777, + 104626, + 13, + 100525, + 13810, + 16494, + 6856, + 28599, + 13, + 67891, + 13, + 121705, + 134455, + 120984, + 5927, + 127441, + 121075, + 104144, + 13, + 45458, + 2637, + 220, + 16, + 24, + 23, + 16, + 100525, + 13810, + 16494, + 6856, + 28599, + 13, + 67891, + 13, + 122068, + 44065, + 109050, + 25, + 105014, + 7740, + 124216, + 13, + 106005, + 13, + 100427, + 13, + 20440, + 101793, + 103706, + 128200, + 13 + ], + "text": " Анисимов С. Ф. Нравственный прогресс и религия. М., 1965 Анисимов С. Ф. Ценности реальные и мнимые. М., 1977 Анисимов С. Ф. Формирование духовного мира человека и НТР. Анисимов С. Ф. Мораль и поведение. Анисимов С. Ф. Методика преподавания этики в высшей школе. Анисимов С. Ф. Роль нравственного просвещения в духовном формировании личности. М., 1981 Анисимов С. Ф. Духовные ценности: производство и потребление. Уч. пос. для изучающих философию." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Анисимов С. Ф. Нравственный прогресс и религия. М., 1965 Анисимов С. Ф. Ценности реальные и мнимые. М., 1977 Анисимов С. Ф. Формирование духовного мира человека и НТР. Анисимов С. Ф. Мораль и поведение. Анисимов С. Ф. Методика преподавания этики в высшей школе. Анисимов С. Ф. Роль нравственного просвещения в духовном формировании личности. М., 1981 Анисимов С. Ф. Духовные ценности: производство и потребление. Уч. пос. для изучающих философию." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Анисимов С. Ф. Нравственный прогресс и религия. М., 1965 Анисимов С. Ф. Ценности реальные и мнимые. М., 1977 Анисимов С. Ф. Формирование духовного мира человека и НТР. Анисимов С. Ф. Мораль и поведение. Анисимов С. Ф. Методика преподавания этики в высшей школе. Анисимов С. Ф. Роль нравственного просвещения в духовном формировании личности. М., 1981 Анисимов С. Ф. Духовные ценности: производство и потребление. Уч. пос. для изучающих философию.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 160, + "generated_len": [ + 278 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 2.3633093525179856, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 126744, + 101682, + 44065, + 40842, + 119602, + 25, + 104470, + 109766, + 101450, + 142398, + 23630, + 109682, + 104802, + 103936, + 107257, + 50807, + 25, + 101165, + 109682, + 11, + 36479, + 38822, + 19039, + 110243, + 109682, + 11, + 100530, + 106054, + 23680, + 109147, + 1506, + 11, + 105158, + 9239, + 23630, + 109682, + 11, + 59842, + 134886, + 109682, + 11, + 116885, + 3865, + 100794, + 109682, + 11, + 35448, + 115271, + 68506, + 101001, + 37013, + 109147, + 1506, + 11, + 105158, + 100528, + 7094, + 109147, + 1506, + 13, + 104802, + 103936, + 116885, + 101498, + 25, + 61565, + 23680, + 101369, + 11, + 35889, + 16248, + 118931, + 109682, + 11, + 28599, + 100619, + 7486, + 110932, + 11, + 57855, + 100711, + 129178, + 11, + 36479, + 102426, + 100389, + 109147, + 1506, + 11, + 100409, + 101498, + 11, + 105158, + 101283, + 103288, + 13, + 104470, + 109766, + 101450, + 35448, + 101529, + 107582, + 35448, + 101529, + 18226, + 100455, + 104534, + 25, + 35448, + 101529, + 107582, + 11, + 36479, + 107959, + 11, + 103286, + 101597, + 11, + 43896, + 109651, + 51412, + 11, + 57855, + 101474, + 23446, + 11, + 43896, + 68506, + 13, + 104802, + 103936, + 107007, + 104564, + 25, + 116885, + 18437, + 100538, + 7094, + 109147, + 1506, + 11, + 112600, + 24697, + 24697, + 48262, + 109147, + 1506, + 11, + 102829, + 23680, + 109147, + 1506, + 11, + 100869, + 40211, + 23680, + 109147, + 1506, + 13, + 104802, + 103936, + 118873, + 13810, + 109682, + 13, + 104802, + 103936, + 100299, + 68506, + 124677, + 25, + 43896, + 31203, + 12507, + 104363, + 11, + 102993, + 70397, + 16248, + 1840, + 11, + 39903, + 102340, + 103752, + 100801, + 11, + 108359, + 9136, + 48445, + 7486, + 100801, + 11, + 109179, + 1840, + 125508, + 36352, + 11, + 109127, + 105654, + 7486, + 100801, + 11, + 100409, + 68506, + 94866, + 1840, + 11, + 102330, + 10693, + 104564, + 11, + 59842, + 23311, + 103825, + 100801, + 11, + 118876, + 29256, + 7486, + 100801, + 11, + 104456, + 42057, + 109682, + 11, + 35889, + 16248, + 7486, + 15088, + 50807, + 11, + 135614, + 44155, + 3865, + 36352, + 11, + 124766, + 104362, + 11, + 36479, + 36497, + 69463, + 11, + 104261, + 48262, + 102421, + 11, + 105490, + 9706, + 102421, + 11, + 100691, + 101228, + 11, + 102829, + 121471, + 100801, + 11, + 59842, + 103752, + 100801, + 11, + 124766, + 29256, + 7486, + 100801, + 11, + 124766, + 7753, + 102832, + 11, + 105158, + 17766, + 34493, + 3865, + 23446, + 13 + ], + "text": " Главные островные подгруппы: Префектура Кагосима Острова Амами: Осима, Кикайгасима, Какеромадзима, Йоросима, Укесима, Токуносима, Окиноэрабудзима, Йорондзима. Острова Токара: Гадзя, Наканосима, Суваносе, Акусеки, Котарадзима, Такара, Йокоате. Префектура Окинава Окинавские острова: Окинава, Куме, Ихея, Идзена, Агуни, Иэ. Острова Керама: Токасикидзима, Дзамамидзима, Акадзима, Герумадзима. Острова Сакисима. Острова Яэяма: Ириомоте, Исигаки, Дайтибанари, Мадзипанари, Кабираванку, Хирапанари, Такэтоми, Кохама, Утипанари, Сотопанари, Куросима, Наканоками, Арагусуку, Хатома, Каяма, Камидзи, Симодзи, Юбу, Акапанари, Убанари, Хатопанари, Хатерума, Йонагуни." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Главные островные подгруппы: Префектура Кагосима Острова Амами: Осима, Кикайгасима, Какеромадзима, Йоросима, Укесима, Токуносима, Окиноэрабудзима, Йорондзима. Острова Токара: Гадзя, Наканосима, Суваносе, Акусеки, Котарадзима, Такара, Йокоате. Префектура Окинава Окинавские острова: Окинава, Куме, Ихея, Идзена, Агуни, Иэ. Острова Керама: Токасикидзима, Дзамамидзима, Акадзима, Герумадзима. Острова Сакисима. Острова Яэяма: Ириомоте, Исигаки, Дайтибанари, Мадзипанари, Кабираванку, Хирапанари, Такэтоми, Кохама, Утипанари, Сотопанари, Куросима, Наканоками, Арагусуку, Хатома, Каяма, Камидзи, Симодзи, Юбу, Акапанари, Убанари, Хатопанари, Хатерума, Йонагуни." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Главные островные подгруппы: Префектура Кагосима Острова Амами: Осима, Кикайгасима, Какеромадзима, Йоросима, Укесима, Токуносима, Окиноэрабудзима, Йорондзима. Острова Токара: Гадзя, Наканосима, Суваносе, Акусеки, Котарадзима, Такара, Йокоате. Префектура Окинава Окинавские острова: Окинава, Куме, Ихея, Идзена, Агуни, Иэ. Острова Керама: Токасикидзима, Дзамамидзима, Акадзима, Герумадзима. Острова Сакисима. Острова Яэяма: Ириомоте, Исигаки, Дайтибанари, Мадзипанари, Кабираванку, Хирапанари, Такэтоми, Кохама, Утипанари, Сотопанари, Куросима, Наканоками, Арагусуку, Хатома, Каяма, Камидзи, Симодзи, Юбу, Акапанари, Убанари, Хатопанари, Хатерума, Йонагуни.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 299, + "generated_len": [ + 278 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.512195121951219, + "len": 0.9902912621359223, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 51418, + 108833, + 132591, + 2001, + 119463, + 117992, + 102538, + 5927, + 103977, + 113644, + 11, + 37405, + 101403, + 122740, + 16248, + 106267, + 7740, + 111402, + 110833, + 40842, + 116165, + 102983, + 100799, + 18154, + 146627, + 102329, + 13, + 100420, + 105611, + 102653, + 110826, + 6578, + 104642, + 53376, + 7740, + 127714, + 109070, + 101451, + 5591, + 9882, + 122906, + 112675, + 13, + 107414, + 116129, + 11, + 30889, + 61613, + 109836, + 101067, + 82702, + 39988, + 113391, + 11, + 101377, + 101066, + 5927, + 220, + 17, + 15, + 16, + 21, + 100281, + 11, + 116737, + 100706, + 12769, + 114288, + 132591, + 13289, + 105611, + 5927, + 220, + 17, + 15, + 15, + 24, + 100281, + 11, + 100376, + 102508, + 5524, + 100876, + 12507, + 103297, + 103411, + 12507, + 13, + 59842, + 113390, + 5927, + 220, + 17, + 100261, + 102539, + 130397, + 132565, + 13, + 36479, + 220, + 21, + 100260, + 24697, + 99845, + 103503, + 106211, + 220, + 16, + 21, + 15, + 106914, + 13, + 103954, + 11, + 7820, + 73385, + 138546, + 108204, + 100425, + 100303, + 130130, + 115340, + 103921, + 11, + 98851, + 101451, + 5591, + 9882, + 104716, + 125704, + 113390, + 7740, + 122224, + 110291, + 101049, + 5927, + 103598, + 1532, + 54343, + 2599, + 11, + 102989, + 94962, + 44946, + 137793, + 115795, + 105290, + 100853, + 5927, + 115605, + 107040, + 11, + 98851, + 107992, + 97334, + 102540, + 111841, + 102635, + 103492, + 39900, + 105548, + 13, + 100738, + 103400, + 100876, + 102025, + 132469, + 12394, + 13, + 102405, + 100799, + 11, + 74726, + 103598, + 8341, + 101266, + 103513, + 11, + 101925, + 145333, + 109464, + 115403, + 39900, + 106451, + 13, + 100420, + 107200, + 109640, + 5927, + 220, + 18, + 15, + 4, + 104990, + 11, + 37405, + 116382, + 100447, + 94962, + 116010, + 1532, + 13, + 102988, + 13 + ], + "text": " Точная медицина — инновационный подход в системе здравоохранения, при котором профилактика и лечение заболеваний подбирается главным образом по генетической информации. Он появился благодаря технологиям больших данных и снижению стоимости секвенирования ДНК. Первой страной, запустившей проект точной медицины, стали США в 2016 году,Термин «точная медицина» появился в 2009 году, после случая с Ником Волкером. У мальчика в 2 года сильно болел кишечник. К 6 годам он перенёс 160 операций. Потом, к его лечению подключился Ховард Джейкоб, который секвенировал геном мальчика и нашёл мутацию в гене XIAP, ответственном за редкий воспалительный процесс в кишечнике, который лечится трансплантацией костного мозга. После операции Ник полностью выздоровел. Таким образом, только генетический анализ, помог побороть болезнь неясного происхождения. Он помогает приблизительно в 30% случаев, при неопределённом диагнозе. Примечания." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Точная медицина — инновационный подход в системе здравоохранения, при котором профилактика и лечение заболеваний подбирается главным образом по генетической информации. Он появился благодаря технологиям больших данных и снижению стоимости секвенирования ДНК. Первой страной, запустившей проект точной медицины, стали США в 2016 году,Термин «точная медицина» появился в 2009 году, после случая c Ником Волкером. У мальчика в 2 года сильно болел кишечник. К 6 годам он перенёс 160 операций. Потом, к его лечению подключился Ховард Джейкоб, который секвенировал геном мальчика и нашёл мутацию в гене XIAP, ответственном за редкий воcпалительный процесс в кишечнике, который лечится трансплантацией костного мозга. После операции Ник полностью выздоровел. Таким образом, только генетический анализ, помог побороть болезнь неясного происхождения. Он помогает приблизительно в 30% случаях, при неопределённом диагнозе. Примечания." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Точная медицина — инновационный подход в системе здравоохранения, при котором профилактика и лечение заболеваний подбирается главным образом по генетической информации. Он появился благодаря технологиям больших данных и снижению стоимости секвенирования ДНК. Первой страной, запустившей проект точной медицины, стали США в 2016 году,Термин «точная медицина» появился в 2009 году, после случая c Ником Волкером. У мальчика в 2 года сильно болел кишечник. К 6 годам он перенёс 160 операций. Потом, к его лечению подключился Ховард Джейкоб, который секвенировал геном мальчика и нашёл мутацию в гене XIAP, ответственном за редкий воcпалительный процесс в кишечнике, который лечится трансплантацией костного мозга. После операции Ник полностью выздоровел. Таким образом, только генетический анализ, помог побороть болезнь неясного происхождения. Он помогает приблизительно в 30% случаях, при неопределённом диагнозе. Примечания.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 228, + "generated_len": [ + 278 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.8085106382978724, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 49520, + 4329, + 102546, + 17165, + 49520, + 4329, + 102546, + 17165, + 2001, + 103165, + 5927, + 102029, + 19039, + 100457, + 101744, + 106690, + 100768, + 11, + 5927, + 101951, + 104876, + 105304, + 124716, + 100743, + 119623, + 13, + 128549, + 113591, + 102169, + 18154, + 134406, + 107862, + 220, + 17, + 15, + 16, + 15, + 100261, + 2001, + 220, + 20, + 100312, + 13, + 101318, + 220, + 17, + 15, + 15, + 21, + 100261, + 49520, + 4329, + 102546, + 17165, + 111380, + 5927, + 100380, + 124716, + 100743, + 103120, + 104876, + 104049, + 13, + 117800, + 110187, + 13373, + 113123, + 101684, + 11, + 102694, + 5927, + 220, + 16, + 16, + 101405, + 7820, + 104188, + 12, + 117750, + 20879, + 142893, + 111852, + 11, + 13373, + 102700, + 31101, + 104675, + 11, + 13373, + 118223, + 1532, + 330, + 19, + 21, + 27435, + 12, + 16, + 16, + 18, + 15, + 1, + 142893, + 107042, + 2001, + 138255, + 11, + 111267, + 100335, + 108218, + 102768, + 220, + 17, + 18, + 20, + 11562, + 13, + 139911, + 128349, + 110576, + 2001, + 100303, + 101001, + 142742, + 13373, + 103727, + 12, + 115717, + 11, + 126759, + 13433, + 13373, + 108956, + 7740, + 125579, + 44867, + 13373, + 103727, + 12, + 114466, + 13 + ], + "text": " Рябинки Рябинки — деревня в Можайском районе Московской области, в составе сельского поселения Замошинское. Численность постоянного населения по Всероссийской переписи 2010 года — 5 человек. До 2006 года Рябинки входили в состав Замошинского сельского округа. Деревня расположена на западе района, примерно в 11 км к юго-востоку от Уваровки, на суходоле, на автодороге \"46К-1130\" Уваровка — Можайск, высота над уровнем моря 235 м. Ближайшие населённые пункты — Храброво на северо-западе, Захаровка на севере и Высокое на северо-востоке." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Рябинки Рябинки — деревня в Можайском районе Московской области, в составе сельского поселения Замошинское. Численность постоянного населения по Всероссийской переписи 2010 года — 5 человек. До 2006 года Рябинки входили в состав Замошинского сельского округа. Деревня расположена на западе района, примерно в 11 км к юго-востоку от Уваровки, на суходоле, на автодороге \"46К-1130\" Уваровка — Можайск, высота над уровнем моря 235 м. Ближайшие населённые пункты — Храброво на северо-западе, Захаровка на севере и Высокое на северо-востоке." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Рябинки Рябинки — деревня в Можайском районе Московской области, в составе сельского поселения Замошинское. Численность постоянного населения по Всероссийской переписи 2010 года — 5 человек. До 2006 года Рябинки входили в состав Замошинского сельского округа. Деревня расположена на западе района, примерно в 11 км к юго-востоку от Уваровки, на суходоле, на автодороге \"46К-1130\" Уваровка — Можайск, высота над уровнем моря 235 м. Ближайшие населённые пункты — Храброво на северо-западе, Захаровка на севере и Высокое на северо-востоке.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 162, + "generated_len": [ + 278 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.79874213836478, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 117318, + 23934, + 112228, + 105564, + 128237, + 100274, + 120750, + 107192, + 7740, + 141530, + 103397, + 13, + 107415, + 123699, + 44065, + 90189, + 100883, + 40842, + 137945, + 49509, + 5158, + 100310, + 111441, + 5927, + 220, + 16, + 24, + 16, + 17, + 100281, + 13, + 101394, + 101927, + 103279, + 100848, + 114354, + 126142, + 56860, + 123011, + 97065, + 104502, + 132165, + 18154, + 133407, + 95369, + 5927, + 100848, + 90189, + 119313, + 13, + 28599, + 100505, + 91146, + 126142, + 56860, + 111326, + 124232, + 118617, + 134035, + 114840, + 7740, + 119463, + 54686, + 37405, + 102414, + 102263, + 106893, + 62491, + 5927, + 120441, + 7740, + 105989, + 13, + 103712, + 100498, + 91398, + 111475, + 104779, + 25, + 5927, + 220, + 16, + 24, + 16, + 23, + 104822, + 69775, + 39103, + 49509, + 5158, + 100823, + 105084, + 101946, + 105156, + 136568, + 124905, + 7740, + 11, + 52770, + 99300, + 11, + 106617, + 126361, + 113139, + 34943, + 117175, + 125342, + 51548, + 102370, + 112731, + 56857, + 100346, + 5927, + 220, + 16, + 24, + 20, + 19, + 5927, + 123699, + 44786, + 90189, + 119313, + 49509, + 5158, + 105145, + 102227, + 7975, + 22885, + 7486, + 105847, + 101175, + 7740, + 117936, + 120913, + 111611, + 7740, + 103402, + 5927, + 220, + 16, + 24, + 21, + 16, + 104822, + 69775, + 39103, + 49509, + 5158, + 120730, + 100752, + 103115, + 112401, + 13373, + 116264, + 104227, + 108165, + 13 + ], + "text": " Одной из ранних целей Ассоциации было улучшение здоровья и благополучия животных. Первые ветеринарные клиники под эгидой ASPCA были созданы в 1912 году. Со времен создания этих клиник Ассоциация выработала новую тактику по улучшению дел в этих клиниках. С тех пор Ассоциация смогла разработать разнообразные медицинские процедуры и инновации при помощи новых изобретений в медицине и технологии. Среди них можно выделить следующие: в 1918 ветеринары ASPCA совершенствовали использование анестезии и, как результат, смогли лечить лошадь со сломанной коленной чашечкой в 1954 в ветеринарных клиниках ASPCA появились патологоанатомические и рентгенологические лаборатории и программы в 1961 ветеринары ASPCA совершили свою первую операцию на открытом сердце собаки." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Одной из ранних целей Ассоциации было улучшение здоровья и благополучия животных. Первые ветеринарные клиники под эгидой ASPCA были созданы в 1912 году. Со времен создания этих клиник Ассоциация выработала новую тактику по улучшению дел в этих клиниках. C тех пор Ассоциация смогла разработать разнообразные медицинские процедуры и инновации при помощи новых изобретений в медицине и технологии. Среди них можно выделить следующие: в 1918 ветеринары ASPCA совершенствовали использование анестезии и, как результат, смогли лечить лошадь со сломанной коленной чашечкой в 1954 в ветеринарных клиниках ASPCA появились патологоанатомические и рентгенологические лаборатории и программы в 1961 ветеринары ASPCA совершили свою первую операцию на открытом сердце собаки." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Одной из ранних целей Ассоциации было улучшение здоровья и благополучия животных. Первые ветеринарные клиники под эгидой ASPCA были созданы в 1912 году. Со времен создания этих клиник Ассоциация выработала новую тактику по улучшению дел в этих клиниках. C тех пор Ассоциация смогла разработать разнообразные медицинские процедуры и инновации при помощи новых изобретений в медицине и технологии. Среди них можно выделить следующие: в 1918 ветеринары ASPCA совершенствовали использование анестезии и, как результат, смогли лечить лошадь со сломанной коленной чашечкой в 1954 в ветеринарных клиниках ASPCA появились патологоанатомические и рентгенологические лаборатории и программы в 1961 ветеринары ASPCA совершили свою первую операцию на открытом сердце собаки.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 180, + "generated_len": [ + 278 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.5162454873646207, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 107287, + 101521, + 101542, + 44613, + 12, + 102175, + 101106, + 11, + 104837, + 111204, + 44786, + 110392, + 124585, + 101794, + 104607, + 13, + 122526, + 5927, + 130333, + 5927, + 120952, + 104626, + 11, + 133694, + 130281, + 12507, + 117107, + 102389, + 11, + 14257, + 103177, + 14332, + 100707, + 23784, + 1840, + 115277, + 64571, + 107950, + 100772, + 11, + 101107, + 5927, + 220, + 16, + 23, + 22, + 18, + 2345, + 16, + 23, + 22, + 19, + 101991, + 5927, + 142873, + 100266, + 104626, + 111300, + 111030, + 14257, + 101569, + 23311, + 12426, + 100772, + 28599, + 36352, + 101983, + 100268, + 13, + 28599, + 220, + 16, + 23, + 22, + 21, + 100261, + 102543, + 120555, + 107141, + 14257, + 115823, + 67891, + 101910, + 108769, + 104189, + 5927, + 100278, + 110298, + 100457, + 48835, + 84198, + 100258, + 101220, + 13, + 23784, + 220, + 16, + 23, + 23, + 19, + 100281, + 112541, + 104496, + 69775, + 109774, + 17394, + 16248, + 1506, + 5927, + 73385, + 136627, + 17461, + 39988, + 138674, + 5927, + 109396, + 13, + 28599, + 220, + 16, + 23, + 23, + 24, + 100261, + 103985, + 142873, + 100266, + 124356, + 11, + 5927, + 220, + 16, + 24, + 15, + 22, + 2345, + 16, + 24, + 16, + 23, + 101991, + 100926, + 107556, + 26, + 101327, + 111524, + 102914, + 100571, + 11, + 5927, + 102572, + 11, + 103915, + 100736, + 100381, + 101371, + 134851, + 13, + 104719, + 98058, + 12769, + 61432, + 25698, + 116776, + 13289, + 7740, + 12769, + 134751, + 106256, + 29118, + 61312, + 100471, + 106085, + 111151, + 6856, + 12769, + 61432, + 36497, + 4329, + 13289, + 7740, + 12769, + 20976, + 102922, + 61312, + 119913, + 100628, + 117410, + 12769, + 19871, + 16248, + 105655, + 97065, + 61312, + 110392, + 67124, + 106724, + 39900, + 101190, + 118973, + 11, + 107093, + 39988, + 7740, + 101938, + 101080, + 107141, + 11, + 21022, + 100336, + 109637, + 110392, + 124585, + 101794, + 104757, + 15088, + 106961, + 110298, + 100317, + 134268, + 11, + 100347, + 128961, + 128087, + 54686, + 110298, + 100266, + 107141, + 11, + 101346, + 114859, + 113748, + 2233, + 17394, + 67745, + 1506, + 28599, + 100565, + 101220, + 13, + 23784, + 220, + 16, + 24, + 16, + 18, + 100281, + 108656, + 111453, + 110392, + 67124, + 106724, + 39988, + 102849, + 11, + 5927, + 220, + 16, + 24, + 17, + 16, + 100281, + 2001, + 104724, + 118541, + 13, + 116340, + 13373, + 107195, + 103045, + 5591, + 19188, + 108008, + 5927, + 130333, + 13 + ], + "text": " Сын музыканта-любителя, автора салонных фортепианных пьес. Учился в Праге в музыкальной школе, основанной Йозефом Прокшем, у пианиста Вилема Блодека, затем в 1873—1874 годах в Пражской школе органистов у Франтишека Скугерского. С 1876 года работал учителем музыки у князей Фюрстенберг в их чешском имении Ланы. В 1884 году сопровождал Антонина Дворжака в его гастрольной поездке в Лондон. С 1889 года профессор Пражской консерватории, в 1907—1918 годах её руководитель; среди учеников Каана, в частности, Эрвин Шульгоф. Автор опер «Беглец» и «Жерминаль», сказочных балетов «Баяя» и «Олим», симфонической поэмы «Сакунтала», фортепианного концерта, камерной и вокальной музыки, а также многочисленных фортепианных обработок произведений чешских композиторов, которые способствовали популяризации чешской музыки, особенно сочинений Бедржиха Сметаны. В 1913 году опубликовал учебник фортепианной игры, в 1921 году — книгу воспоминаний. Похоронен на кладбище Малвазинки в Праге." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Сын музыканта-любителя, автора салонных фортепианных пьес. Учился в Праге в музыкальной школе, основанной Йозефом Прокшем, у пианиста Вилема Блодека, затем в 1873—1874 годах в Пражской школе органистов у Франтишека Скугерского. С 1876 года работал учителем музыки у князей Фюрстенберг в их чешском имении Ланы. В 1884 году сопровождал Антонина Дворжака в его гастрольной поездке в Лондон. С 1889 года профессор Пражской консерватории, в 1907—1918 годах её руководитель; среди учеников Каана, в частности, Эрвин Шульгоф. Автор опер «Беглец» и «Жерминаль», сказочных балетов «Баяя» и «Олим», симфонической поэмы «Сакунтала», фортепианного концерта, камерной и вокальной музыки, а также многочисленных фортепианных обработок произведений чешских композиторов, которые способствовали популяризации чешской музыки, особенно сочинений Бедржиха Сметаны. В 1913 году опубликовал учебник фортепианной игры, в 1921 году — книгу воспоминаний. Похоронен на кладбище Малвазинки в Праге." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Сын музыканта-любителя, автора салонных фортепианных пьес. Учился в Праге в музыкальной школе, основанной Йозефом Прокшем, у пианиста Вилема Блодека, затем в 1873—1874 годах в Пражской школе органистов у Франтишека Скугерского. С 1876 года работал учителем музыки у князей Фюрстенберг в их чешском имении Ланы. В 1884 году сопровождал Антонина Дворжака в его гастрольной поездке в Лондон. С 1889 года профессор Пражской консерватории, в 1907—1918 годах её руководитель; среди учеников Каана, в частности, Эрвин Шульгоф. Автор опер «Беглец» и «Жерминаль», сказочных балетов «Баяя» и «Олим», симфонической поэмы «Сакунтала», фортепианного концерта, камерной и вокальной музыки, а также многочисленных фортепианных обработок произведений чешских композиторов, которые способствовали популяризации чешской музыки, особенно сочинений Бедржиха Сметаны. В 1913 году опубликовал учебник фортепианной игры, в 1921 году — книгу воспоминаний. Похоронен на кладбище Малвазинки в Праге.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 298, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.826815642458101, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 104043, + 103219, + 113499, + 108455, + 100456, + 100269, + 102453, + 5927, + 120054, + 1532, + 103456, + 100376, + 104874, + 103974, + 104161, + 100899, + 13373, + 101051, + 23934, + 140467, + 101137, + 100994, + 11, + 100267, + 21204, + 104577, + 85756, + 107503, + 103905, + 107101, + 13, + 126146, + 100258, + 34493, + 7753, + 34613, + 109544, + 11, + 117827, + 20879, + 134225, + 100268, + 115655, + 1506, + 7820, + 100366, + 100332, + 115610, + 100541, + 129796, + 37277, + 122346, + 101652, + 11, + 100269, + 109103, + 5927, + 103452, + 104247, + 112440, + 1506, + 108549, + 5927, + 220, + 16, + 23, + 24, + 24, + 100281, + 11, + 7820, + 73385, + 100838, + 8341, + 119004, + 142999, + 111679, + 13, + 115567, + 108549, + 11, + 134190, + 103016, + 123356, + 119128, + 88831, + 11, + 100342, + 100336, + 101051, + 23934, + 102214, + 103861, + 3865, + 100377, + 100735, + 7740, + 121798, + 3114, + 105089, + 13, + 23784, + 100260, + 141651, + 220, + 16, + 22, + 20, + 12, + 107160, + 144232, + 107101, + 13373, + 104306, + 108549, + 100269, + 102453, + 106664, + 95967, + 106138, + 102894, + 109459, + 104780, + 108830, + 57855, + 107647, + 106516, + 13, + 101342, + 114852, + 116661, + 13373, + 123504, + 113499, + 13, + 119696, + 113499, + 100269, + 114415, + 115655, + 116270, + 220, + 16, + 11, + 20, + 104457, + 13, + 109461, + 85756, + 108549, + 100274, + 111553, + 100336, + 7740, + 119861, + 122036, + 5927, + 220, + 16, + 24, + 23, + 15, + 100281, + 102565, + 5524, + 103640, + 101968, + 103978, + 120054, + 100268, + 134447, + 100284, + 64292, + 7486, + 106984, + 100266, + 103013, + 13 + ], + "text": " Первый вариант памятника Пушкину был установлен в Ташкенте вскоре после окончания Великой Отечественной войны на одной из старейших улиц города, носящей имя великого русского поэта. Бывший Лагерный проспект, ведущий от Константиновского сквера к летним лагерям Туркестанских войск, был переименован в честь Александра Сергеевича Пушкина в 1899 году, к его столетнему юбилею. Улица Пушкина, центральная улица Русского Ташкента, была также одной из самых благоустроенных и оживлённых. В год празднования 175-летнего юбилея поэта на улице Пушкина был установлен памятник работы скульптора Михаила Константиновича Аникушина. Сам скульптор присутствовал на открытии памятника. Вокруг памятника был разбит сквер площадью 1,5 га. Позднее имя Пушкина было присвоено также и открывшейся в 1980 году рядом с памятником станции Ташкентского метрополитена Чиланзарской линии." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Первый вариант памятника Пушкину был установлен в Ташкенте вскоре после окончания Великой Отечественной войны на одной из старейших улиц города, носящей имя великого русского поэта. Бывший Лагерный проспект, ведущий от Константиновского сквера к летним лагерям Туркестанских войск, был переименован в честь Александра Сергеевича Пушкина в 1899 году, к его столетнему юбилею. Улица Пушкина, центральная улица Русского Ташкента, была также одной из самых благоустроенных и оживлённых. В год празднования 175-летнего юбилея поэта на улице Пушкина был установлен памятник работы скульптора Михаила Константиновича Аникушина. Сам скульптор присутствовал на открытии памятника. Вокруг памятника был разбит сквер площадью 1,5 га. Позднее имя Пушкина было присвоено также и открывшейся в 1980 году рядом с памятником станции Ташкентского метрополитена Чиланзарской линии." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Первый вариант памятника Пушкину был установлен в Ташкенте вскоре после окончания Великой Отечественной войны на одной из старейших улиц города, носящей имя великого русского поэта. Бывший Лагерный проспект, ведущий от Константиновского сквера к летним лагерям Туркестанских войск, был переименован в честь Александра Сергеевича Пушкина в 1899 году, к его столетнему юбилею. Улица Пушкина, центральная улица Русского Ташкента, была также одной из самых благоустроенных и оживлённых. В год празднования 175-летнего юбилея поэта на улице Пушкина был установлен памятник работы скульптора Михаила Константиновича Аникушина. Сам скульптор присутствовал на открытии памятника. Вокруг памятника был разбит сквер площадью 1,5 га. Позднее имя Пушкина было присвоено также и открывшейся в 1980 году рядом с памятником станции Ташкентского метрополитена Чиланзарской линии.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 200, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.85, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 111768, + 9239, + 84350, + 109764, + 108990, + 7740, + 107680, + 17721, + 100883, + 132355, + 110002, + 13, + 67891, + 3114, + 101094, + 107542, + 132355, + 110002, + 13, + 115544, + 100512, + 11, + 107680, + 17721, + 100883, + 7740, + 59195, + 101220, + 107542, + 132355, + 110002, + 13, + 115544, + 100512, + 11, + 107680, + 17721, + 100883, + 7740, + 59195, + 101220, + 132355, + 110002, + 13, + 2001, + 120601, + 25, + 36479, + 23446, + 17394, + 48150, + 118544, + 11, + 220, + 16, + 24, + 23, + 19, + 13 + ], + "text": " Дикорастущие деревья и кустарники Дальнего Востока. Флора советского Дальнего Востока. Деревья, кустарники и лианы советского Дальнего Востока. Деревья, кустарники и лианы Дальнего Востока. — Хабаровск: Книжное издательство, 1984." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Дикорастущие деревья и кустарники Дальнего Востока. Флора советского Дальнего Востока. Деревья, кустарники и лианы советского Дальнего Востока. Деревья, кустарники и лианы Дальнего Востока. — Хабаровск: Книжное издательство, 1984." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Дикорастущие деревья и кустарники Дальнего Востока. Флора советского Дальнего Востока. Деревья, кустарники и лианы советского Дальнего Востока. Деревья, кустарники и лианы Дальнего Востока. — Хабаровск: Книжное издательство, 1984.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 81, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.8, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 100537, + 101468, + 105749, + 126722, + 113280, + 13, + 80584, + 20219, + 101858, + 44065, + 128896, + 103980, + 114261, + 5927, + 101237, + 123414, + 39900, + 108469, + 13, + 100402, + 101580, + 35682, + 53671, + 146570, + 104660, + 108732, + 106209, + 100301, + 102800, + 11, + 82250, + 19175, + 37405, + 109918, + 102040, + 103975, + 144843, + 109906, + 15088, + 22911, + 101110, + 100256, + 108469, + 6578, + 13, + 106930, + 106165, + 24697, + 108732, + 106209, + 100301, + 102800, + 116652, + 100658, + 67124, + 81726, + 101353, + 64880, + 20440, + 106958, + 104345, + 109937, + 37405, + 105673, + 105652, + 94962, + 111075, + 13, + 23784, + 105942, + 100614, + 100380, + 39988, + 103579, + 89302, + 102516, + 117993, + 104889, + 53628, + 24803, + 11, + 123598, + 20440, + 106958, + 104345, + 109937, + 100376, + 59313, + 43203, + 11, + 132713, + 105314, + 102752, + 5524, + 118338, + 57297, + 220, + 17, + 11, + 20, + 11877, + 11, + 100467, + 47353, + 101546, + 101768, + 103313, + 103013, + 127909, + 13373, + 220, + 22, + 11877, + 13 + ], + "text": " Ценный коллекционный минерал. Прозрачные разновидности употребляются в качестве драгоценного камня. При огранке учитываются направления плеохроизма, чтобы не придавать слишком большую толщину темноокрашенным камням. Благодаря свойствам плеохроизма использовался мореплавателями для определения положения Солнца при пасмурном небе. В авиации является составной частью поляризационных фильтров, служащих для определения положения Солнца после заката, позволяя определить положение с точностью до 2,5°, даже если оно находится ниже линии горизонта на 7°." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Ценный коллекционный минерал. Прозрачные разновидности употребляются в качестве драгоценного камня. При огранке учитываются направления плеохроизма, чтобы не придавать слишком большую толщину темноокрашенным камням. Благодаря свойствам плеохроизма использовался мореплавателями для определении положения Солнца при пасмурном небе. В авиации является составной частью поляризационных фильтров, служащих для определения положения Солнца после заката, позволяя определить положение с точностью до 2,5°, даже если оно находится ниже линии горизонта на 7°." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Ценный коллекционный минерал. Прозрачные разновидности употребляются в качестве драгоценного камня. При огранке учитываются направления плеохроизма, чтобы не придавать слишком большую толщину темноокрашенным камням. Благодаря свойствам плеохроизма использовался мореплавателями для определении положения Солнца при пасмурном небе. В авиации является составной частью поляризационных фильтров, служащих для определения положения Солнца после заката, позволяя определить положение с точностью до 2,5°, даже если оно находится ниже линии горизонта на 7°.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 136, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 5.3161764705882355, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 100287, + 103211, + 100658, + 100763, + 141432, + 68088, + 62731, + 14443, + 117801, + 48150, + 13, + 120596, + 28007, + 109077, + 106171, + 116246, + 124246, + 34943, + 109012, + 122040, + 11, + 98851, + 44946, + 107530, + 77495, + 119514, + 101178, + 101537, + 86291, + 113219, + 109012, + 112888, + 46177, + 105393, + 102961, + 102772, + 112888, + 131397, + 11, + 102058, + 109851, + 102374, + 102254, + 90226, + 32062, + 13, + 117801, + 48150, + 100658, + 100763, + 141432, + 100614, + 101796, + 23934, + 102862, + 103499, + 124246, + 13, + 104043, + 105972, + 101979, + 116246, + 124246, + 100269, + 118047, + 5927, + 220, + 16, + 18, + 19, + 22, + 100281, + 2, + 23784, + 135370, + 48150, + 13, + 23784, + 135370, + 48150, + 141432, + 107247, + 5927, + 101629, + 100263, + 133032, + 124246, + 13, + 121683, + 4655, + 133032, + 124246, + 102542, + 113366, + 5927, + 104217, + 100376, + 220, + 16, + 22, + 17, + 15, + 100261, + 13, + 104019, + 5372, + 100822, + 133032, + 124246, + 100614, + 59346, + 11, + 48489, + 116350, + 131397, + 112100, + 104501, + 133032, + 124246, + 109269, + 86610, + 101272, + 23934, + 104320, + 110484, + 11, + 54261, + 132284, + 44946, + 106810, + 122137, + 6856, + 103810, + 104501, + 13 + ], + "text": " По форме морское страхование может быть:# Договорное. Предполагает заключение договора морского страхования со страховщиком, который за определённую плату обязуется возместить страхователю или выгодоприобретателю убытки, причинённые страховым случаем. Договорное морское страхование является одним из первых видов страхования. Первый известный договор морского страхования был заключён в 1347 году# Взаимное. Взаимное страхование осуществляется в клубах взаимного страхования. Клубы взаимного страхования впервые возникли в Англии после 1720 года. Особенностью взаимного страхования является то, что возможные убытки члена клуба взаимного страхования возмещаются из общего фонда, формируемого за счёт взносов членов клуба." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "По форме морское страхование может быть:# Договорное. Предполагает заключение договора морского страхования со страховщиком, который за определённую плату обязуется возместить страхователю или выгодоприобретателю убытки, причинённые страховым случаем. Договорное морское страхование является одним из первых видов страхования. Первый известный договор морского страхования был заключён в 1347 году# Взаимное. Взаимное страхование осуществляется в клубах взаимного страхования. Клубы взаимного страхования впервые возникли в Англии после 1720 года. Особенностью взаимного страхования является то, что возможные убытки члена клуба взаимного страхования возмещаются из общего фонда, формируемого за счёт взносов членов клуба." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: По форме морское страхование может быть:# Договорное. Предполагает заключение договора морского страхования со страховщиком, который за определённую плату обязуется возместить страхователю или выгодоприобретателю убытки, причинённые страховым случаем. Договорное морское страхование является одним из первых видов страхования. Первый известный договор морского страхования был заключён в 1347 году# Взаимное. Взаимное страхование осуществляется в клубах взаимного страхования. Клубы взаимного страхования впервые возникли в Англии после 1720 года. Особенностью взаимного страхования является то, что возможные убытки члена клуба взаимного страхования возмещаются из общего фонда, формируемого за счёт взносов членов клуба.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 157, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.179012345679013, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 220, + 16, + 24, + 24, + 18, + 100281, + 5927, + 36479, + 21956, + 38822, + 109158, + 123743, + 133021, + 105751, + 13373, + 104880, + 101042, + 18154, + 110600, + 24697, + 101327, + 114527, + 5927, + 102417, + 39988, + 105923, + 549, + 17, + 15, + 13, + 23784, + 220, + 16, + 24, + 24, + 23, + 100281, + 5927, + 104456, + 97065, + 12, + 65014, + 40211, + 8164, + 105185, + 123743, + 133021, + 105751, + 13373, + 104880, + 105209, + 18154, + 110600, + 24697, + 101327, + 102478, + 13, + 23784, + 220, + 16, + 24, + 24, + 24, + 100281, + 40842, + 61642, + 31443, + 108137, + 100959, + 13373, + 116653, + 110681, + 18154, + 110600, + 24697, + 101327, + 102478, + 5927, + 28599, + 100801, + 11, + 21022, + 100336, + 101316, + 100568, + 13373, + 104880, + 129796, + 6578, + 84198, + 18154, + 110600, + 24697, + 101327, + 102478, + 13, + 106654, + 14009, + 31443, + 108577, + 129796, + 6578, + 84198, + 13373, + 110810, + 100536, + 44786, + 132846, + 18154, + 110600, + 24697, + 25, + 5927, + 110600, + 44786, + 139500, + 100263, + 121007, + 104108, + 39479, + 13, + 23784, + 104239, + 104509, + 44946, + 64322, + 1532, + 123743, + 101634, + 117861, + 108150, + 26, + 5927, + 110600, + 94962, + 110681, + 136401, + 100317, + 102496, + 121007, + 5927, + 220, + 17, + 15, + 16, + 15, + 100281, + 26, + 5927, + 100536, + 44786, + 134195, + 101031, + 18154, + 110600, + 24697, + 121007, + 100779, + 103617, + 13 + ], + "text": " В 1993 году в Кожикоде завоевала бронзовую медаль на чемпионате мира по шахматам среди девушек в возрастной группе U20. В 1998 году в Куала-Лумпуре завоевала бронзовую медаль на чемпионате Азии по шахматам среди женщин. В 1999 году поделила второе место на международном турнире по шахматам среди женщин в Сари, а также победила на чемпионате Туркмении по шахматам среди женщин. Представляла сборную Туркмении на крупнейших командных турнирах по шахматам: в шахматных олимпиадах участвовала семь раз. В индивидуальном зачете завоевала две золотые медали; в шахматном турнире Азиатских игр участвовала в 2010 году; в командных чемпионатах СССР по шахматам участвовала два раза." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В 1993 году в Кожикоде завоевала бронзовую медаль на чемпионате мира по шахматам среди девушек в возрастной группе U20. В 1998 году в Куала-Лумпуре завоевала бронзовую медаль на чемпионате Азии по шахматам среди женщин. В 1999 году поделила второе место на международном турнире по шахматам среди женщин в Сари, а также победила на чемпионате Туркмении по шахматам среди женщин. Представляла сборную Туркмении на крупнейших командных турнирах по шахматам: в шахматных олимпиадах участвовала семь раз. В индивидуальном зачете завоевала две золотые медали; в шахматном турнире Азиатских игр участвовала в 2010 году; в командных чемпионатах СССР по шахматам участвовала два раза." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В 1993 году в Кожикоде завоевала бронзовую медаль на чемпионате мира по шахматам среди девушек в возрастной группе U20. В 1998 году в Куала-Лумпуре завоевала бронзовую медаль на чемпионате Азии по шахматам среди женщин. В 1999 году поделила второе место на международном турнире по шахматам среди женщин в Сари, а также победила на чемпионате Туркмении по шахматам среди женщин. Представляла сборную Туркмении на крупнейших командных турнирах по шахматам: в шахматных олимпиадах участвовала семь раз. В индивидуальном зачете завоевала две золотые медали; в шахматном турнире Азиатских игр участвовала в 2010 году; в командных чемпионатах СССР по шахматам участвовала два раза.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 183, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.005813953488372, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 220, + 19, + 13, + 220, + 15, + 18, + 13, + 220, + 16, + 22, + 24, + 15, + 2001, + 104773, + 114997, + 101372, + 2297, + 75281, + 220, + 16, + 16, + 13, + 220, + 15, + 22, + 13, + 220, + 16, + 22, + 24, + 18, + 2001, + 118432, + 101372, + 2297, + 100538, + 13373, + 100779, + 114997, + 13, + 120921, + 100258, + 100512, + 6578, + 100817, + 11, + 118650, + 105154, + 106560, + 101372, + 2297, + 101673, + 11, + 110050, + 23934, + 102235, + 135826, + 101894, + 100961, + 25, + 57855, + 102657, + 112595, + 11, + 28599, + 60488, + 5372, + 7740, + 23784, + 103591, + 220, + 16, + 22, + 13, + 220, + 15, + 17, + 13, + 220, + 16, + 23, + 15, + 15, + 2001, + 104773, + 123139, + 25, + 57855, + 102657, + 112595, + 11, + 28599, + 60488, + 5372, + 7740, + 23784, + 103591, + 220, + 16, + 24, + 13, + 220, + 15, + 19, + 13, + 220, + 16, + 23, + 16, + 16, + 2001, + 110596, + 104942, + 114997, + 100258, + 100512, + 6578, + 100817, + 11, + 115040, + 114997, + 101372, + 2297, + 75281, + 5524, + 118193, + 102837, + 100294, + 109766, + 3865, + 129615, + 102816, + 123139, + 220, + 16, + 13, + 220, + 15, + 16, + 13, + 220, + 16, + 24, + 22, + 21, + 2001, + 104300, + 118432, + 104534, + 13373, + 100779, + 114997, + 13, + 23784, + 101951, + 106560, + 101372, + 2297, + 100538, + 104873, + 4655, + 104049, + 57855, + 102657, + 112595, + 7740, + 28599, + 60488, + 5372, + 137427, + 13 + ], + "text": " 4. 03. 1790 — создание департамента Корсика 11. 07. 1793 — разделение Корсики на два департамента. Департамент Льямоне, соответствующий современной Южной Корсике, состоял из трех дистриктов: Аяччо, Сартен и Вико 17. 02. 1800 — создание округов: Аяччо, Сартен и Вико 19. 04. 1811 — упразднение департамента Льямоне, восстановление департамента Корсика с четырьмя супрефектурами вместо округов 1. 01. 1976 — новое разделение острова на два департамента. В составе Южной Корсики образованы округа Аяччо и Сартен Ссылки." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "4. 03. 1790 — создание департамента Корсика 11. 07. 1793 — разделение Корсики на два департамента. Департамент Льямоне, соответствующий современной Южной Корсике, состоял из трех дистриктов: Аяччо, Сартен и Вико 17. 02. 1800 — создание округов: Аяччо, Сартен и Вико 19. 04. 1811 — упразднение департамента Льямоне, восстановление департамента Корсика с четырьмя супрефектурами вместо округов 1. 01. 1976 — новое разделение острова на два департамента. В составе Южной Корсики образованы округа Аяччо и Сартен Ссылки." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: 4. 03. 1790 — создание департамента Корсика 11. 07. 1793 — разделение Корсики на два департамента. Департамент Льямоне, соответствующий современной Южной Корсике, состоял из трех дистриктов: Аяччо, Сартен и Вико 17. 02. 1800 — создание округов: Аяччо, Сартен и Вико 19. 04. 1811 — упразднение департамента Льямоне, восстановление департамента Корсика с четырьмя супрефектурами вместо округов 1. 01. 1976 — новое разделение острова на два департамента. В составе Южной Корсики образованы округа Аяччо и Сартен Ссылки.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 193, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.1813725490196076, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 115544, + 1482, + 112282, + 57297, + 220, + 17, + 20, + 11562, + 11, + 5524, + 101041, + 47805, + 118746, + 12, + 106012, + 16742, + 67969, + 16742, + 13, + 130938, + 142996, + 8164, + 108227, + 46177, + 104643, + 136375, + 48262, + 44065, + 11, + 108143, + 220, + 20, + 2345, + 16, + 20, + 100413, + 11, + 117989, + 57297, + 220, + 22, + 100413, + 11, + 13373, + 102140, + 115320, + 110294, + 51736, + 46177, + 136662, + 2233, + 109851, + 11, + 5524, + 104326, + 90189, + 107351, + 100256, + 11, + 59313, + 65489, + 105826, + 100256, + 46177, + 107802, + 101865, + 100578, + 48262, + 100256, + 118409, + 11, + 101757, + 103593, + 101319, + 44065, + 46177, + 111182, + 7740, + 122691, + 5173, + 67602, + 117289, + 11, + 100829, + 51736, + 46177, + 5927, + 116372, + 107802, + 46339, + 100331, + 109851, + 11, + 107801, + 107013, + 45122, + 44065, + 11, + 5524, + 110560, + 101082, + 5524, + 41873, + 51736, + 11, + 13373, + 136885, + 100828, + 220, + 16, + 2345, + 18, + 100413, + 13, + 101394, + 104277, + 40231, + 116072, + 101264, + 11, + 101945, + 107963, + 11, + 115390, + 102230, + 44065, + 11, + 108143, + 220, + 21, + 2345, + 16, + 20, + 100413, + 13, + 103596, + 100756, + 108143, + 220, + 22, + 2345, + 23, + 103588, + 11, + 111153, + 13, + 121700, + 4655, + 104326, + 142996, + 8164, + 101153, + 48262, + 101264, + 46177, + 104643, + 136375, + 48262, + 44065, + 11, + 108143, + 220, + 16, + 2345, + 16, + 11, + 18, + 100413, + 11, + 145303, + 12, + 103306, + 44065, + 11, + 119433, + 12, + 10124, + 95570, + 9239, + 117289, + 11, + 107802, + 119230, + 12, + 100672, + 101442, + 51736, + 13, + 109265, + 100564, + 5927, + 105351, + 2001, + 106068, + 13, + 121700, + 104595, + 9542, + 5927, + 105784, + 2001, + 106352, + 13 + ], + "text": " Дерево высотой до 25 м, с красновато-бурой корой. Листья эллиптические или обратнояйцевидные, длиной 5—15 см, шириной до 7 см, на верхушке тупые или заострённые, с широко клиновидным, закруглённым или слегка сердцевидным основанием, цельнокрайные или мелко и неясно пильчатые, голые или в молодости слегка опушённые, сверху зелёные, с нижней стороны сизые, на черешках 1—3 см. Соцветия пирамидальные, стоячие, кистевидные, длиной 6—15 см. Венчик длиной 7—8 мм, белый. Плоды широко эллипсоидальные или обратнояйцевидные, длиной 1—1,3 см, оранжево-красные, густо-бугорчатые, слегка тупо-ребристые. Цветёт в мае — июне. Плодоносит в сентябре — ноябре." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Дерево высотой до 25 м, с красновато-бурой корой. Листья эллиптические или обратнояйцевидные, длиной 5—15 см, шириной до 7 см, на верхушке тупые или заострённые, с широко клиновидным, закруглённым или слегка сердцевидным основанием, цельнокрайные или мелко и неясно пильчатые, голые или в молодости слегка опушённые, сверху зелёные, с нижней стороны сизые, на черешках 1—3 см. Соцветия пирамидальные, стоячие, кистевидные, длиной 6—15 см. Венчик длиной 7—8 мм, белый. Плоды широко эллипсоидальные или обратнояйцевидные, длиной 1—1,3 см, оранжево-красные, густо-бугорчатые, слегка тупо-ребристые. Цветёт в мае — июне. Плодоносит в сентябре — ноябре." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Дерево высотой до 25 м, с красновато-бурой корой. Листья эллиптические или обратнояйцевидные, длиной 5—15 см, шириной до 7 см, на верхушке тупые или заострённые, с широко клиновидным, закруглённым или слегка сердцевидным основанием, цельнокрайные или мелко и неясно пильчатые, голые или в молодости слегка опушённые, сверху зелёные, с нижней стороны сизые, на черешках 1—3 см. Соцветия пирамидальные, стоячие, кистевидные, длиной 6—15 см. Венчик длиной 7—8 мм, белый. Плоды широко эллипсоидальные или обратнояйцевидные, длиной 1—1,3 см, оранжево-красные, густо-бугорчатые, слегка тупо-ребристые. Цветёт в мае — июне. Плодоносит в сентябре — ноябре.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 225, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.497584541062802, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 113763, + 106018, + 2001, + 68979, + 106108, + 105008, + 44858, + 103161, + 143971, + 100709, + 104979, + 13, + 101065, + 107775, + 5927, + 100380, + 124348, + 123107, + 11, + 101367, + 100388, + 19188, + 100740, + 100709, + 123107, + 11, + 101908, + 108254, + 50807, + 88515, + 100891, + 93608, + 6856, + 7740, + 134014, + 104057, + 13, + 113763, + 106018, + 105995, + 101021, + 127076, + 4655, + 108368, + 44786, + 105928, + 11, + 100347, + 109047, + 138436, + 100637, + 135454, + 77495, + 141444, + 77495, + 113999, + 5524, + 105142, + 89302, + 2233, + 39988, + 132637, + 11, + 140996, + 114711, + 13, + 113763, + 106018, + 101908, + 106570, + 129230, + 100349, + 46177, + 113677, + 19916, + 62809, + 67602, + 100349, + 105918, + 105773, + 109483, + 50807, + 11, + 140390, + 100583, + 5927, + 128795, + 105130, + 101106, + 10693, + 11, + 101503, + 52770, + 111786, + 110249, + 46177, + 102545, + 100344, + 57719, + 13, + 116708, + 39103, + 2001, + 104527, + 103161, + 112522, + 11, + 5927, + 100380, + 100646, + 107775, + 108368, + 44065, + 113272, + 7740, + 25756, + 67222, + 106503, + 13, + 104369, + 15298, + 112653, + 104395, + 105847, + 39900, + 108056, + 44613, + 25756, + 67222, + 111965, + 11, + 100338, + 130204, + 100741, + 112343, + 108063, + 44065, + 101279, + 5524, + 109908, + 109483, + 50807, + 108368, + 44786, + 105928, + 11, + 104447, + 100741, + 15752, + 67222, + 7753, + 48262, + 12507, + 13, + 117554, + 5524, + 140253, + 108368, + 44786, + 105928, + 11, + 5927, + 100380, + 110047, + 26539, + 48445, + 108753, + 68088, + 101917, + 18264, + 11, + 101367, + 11, + 134714, + 100844, + 20219, + 19479, + 11, + 106570, + 125040, + 44065, + 101742, + 121444, + 19916, + 102842, + 13, + 28599, + 58060, + 1482, + 106018, + 11, + 101367, + 137922, + 7753, + 7975, + 11, + 105995, + 101021, + 101463, + 100503, + 102024, + 60748, + 26539, + 48445, + 108753, + 13 + ], + "text": " Липиды — это самая разнообразная группа биохимических веществ. Они входят в состав биологических мембран, например плазматических мембран, являются компонентами коферментов и источниками энергии. Липиды представляют собой полимеры жирных кислот, которые содержат длинную неполярную углеводородную цепь с небольшой полярной областью, содержащей кислород. Липиды являются гидрофобными или амфифильными биологическими молекулами, растворимыми в органических растворителях, таких как бензол или хлороформ. Жиры — большая группа соединений, в состав которых входят жирные кислоты и глицерин. Молекула трёхатомного спирта глицерина, образующая три сложные эфирные связи с тремя молекулами жирных кислот, называется триглицеридом. Наряду с остатками жирных кислот, в состав сложных липидов может входить, например, сфингозин, гидрофильные группы фосфатов. Стероиды, например холестерол, представляют собой ещё один большой класс липидов." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Липиды — это самая разнообразная группа биохимических веществ. Они входят в состав биологических мембран, например плазматических мембран, являются компонентами коферментов и источниками энергии. Липиды представляют собой полимеры жирных кислот, которые содержат длинную неполярную углеводородную цепь с небольшой полярной областью, содержащей кислород. Липиды являются гидрофобными или амфифильными биологическими молекулами, растворимыми в органических растворителях, таких как бензол или хлороформ. Жиры — большая группа соединений, в состав которых входят жирные кислоты и глицерин. Молекула трёхатомного спирта глицерина, образующая три сложные эфирные связи с тремя молекулами жирных кислот, называется триглицеридом. Наряду с остатками жирных кислот, в состав сложных липидов может входить, например, сфингозин, гидрофильные группы фосфатов. Стероиды, например холестерол, представляют собой ещё один большой класс липидов." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Липиды — это самая разнообразная группа биохимических веществ. Они входят в состав биологических мембран, например плазматических мембран, являются компонентами коферментов и источниками энергии. Липиды представляют собой полимеры жирных кислот, которые содержат длинную неполярную углеводородную цепь с небольшой полярной областью, содержащей кислород. Липиды являются гидрофобными или амфифильными биологическими молекулами, растворимыми в органических растворителях, таких как бензол или хлороформ. Жиры — большая группа соединений, в состав которых входят жирные кислоты и глицерин. Молекула трёхатомного спирта глицерина, образующая три сложные эфирные связи с тремя молекулами жирных кислот, называется триглицеридом. Наряду с остатками жирных кислот, в состав сложных липидов может входить, например, сфингозин, гидрофильные группы фосфатов. Стероиды, например холестерол, представляют собой ещё один большой класс липидов.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 228, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.6470588235294117, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 110612, + 100284, + 38657, + 69463, + 2001, + 105874, + 13373, + 124210, + 104261, + 101895, + 13433, + 13, + 109317, + 102285, + 220, + 19, + 23, + 101405, + 13, + 80584, + 13337, + 15298, + 28007, + 18154, + 101643, + 111048, + 103896, + 101684, + 104261, + 101895, + 100268, + 104022, + 13, + 101896, + 100564, + 137589, + 5524, + 120519, + 103568, + 6856, + 129813, + 106023, + 39900, + 126968, + 11, + 100416, + 13373, + 106806, + 7740, + 100926, + 104391, + 74351, + 10693, + 120837, + 100575, + 29256, + 103077, + 13, + 23784, + 114274, + 5927, + 104261, + 101895, + 100273, + 109868, + 126221, + 108943, + 13, + 125157, + 117881, + 18154, + 88300, + 102091, + 13373, + 110137, + 104261, + 101895, + 100268, + 111278, + 11, + 25756, + 48262, + 100529, + 16494, + 104443, + 100423, + 101121, + 7740, + 100484, + 38972, + 100763, + 110861, + 13, + 80584, + 9542, + 134905, + 220, + 16, + 101405, + 25, + 105874, + 123668, + 25, + 220, + 22, + 101405, + 25, + 105874, + 106064, + 112636, + 25, + 220, + 17, + 16, + 101405, + 25, + 125851, + 125127, + 130252, + 34613, + 25, + 220, + 17, + 21, + 101405, + 25, + 105874, + 92457, + 105437, + 25, + 101405, + 25, + 101372, + 4655, + 25657 + ], + "text": " Большая Чажма — река на полуострове Камчатка. Длина реки 48 км. Протекает по территории Елизовского района Камчатского края. Берёт истоки с северных склонов безымянного массива, где на реке и её притоках образуются водопады. Впадает в Камчатский залив Тихого океана. Река названа по мысу на побережье Камчатского залива, гидроним предположительно имеет ительменское происхождение. Притоки 1 км: река Валентина: 7 км: река Светлая: 21 км: ручей Ключ Болотный: 26 км: река без названия: км: Корыто" + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Большая Чажма — река на полуострове Камчатка. Длина реки 48 км. Протекает по территории Елизовского района Камчатского края. Берёт истоки с северных склонов безымянного массива, где на реке и её притоках образуются водопады. Впадает в Камчатский залив Тихого океана. Река названа по мысу на побережье Камчатского залива, гидроним предположительно имеет ительменское происхождение. Притоки 1 км: река Валентина: 7 км: река Светлая: 21 км: ручей Ключ Болотный: 26 км: река без названия: км: Корыто" + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Большая Чажма — река на полуострове Камчатка. Длина реки 48 км. Протекает по территории Елизовского района Камчатского края. Берёт истоки с северных склонов безымянного массива, где на реке и её притоках образуются водопады. Впадает в Камчатский залив Тихого океана. Река названа по мысу на побережье Камчатского залива, гидроним предположительно имеет ительменское происхождение. Притоки 1 км: река Валентина: 7 км: река Светлая: 21 км: ручей Ключ Болотный: 26 км: река без названия: км: Корыто<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 157, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.464285714285714, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 111145, + 100702, + 103163, + 112198, + 111655, + 105838, + 74828, + 5524, + 21631, + 12279, + 820, + 54756, + 5364, + 1155, + 7740, + 102633, + 102038, + 11, + 101300, + 91877, + 100588, + 100260, + 103399, + 129885, + 31443, + 105838, + 74828, + 124247, + 106411, + 100335, + 73385, + 102351, + 50807, + 11, + 107635, + 101246, + 100340, + 102319, + 108532, + 34613, + 7740, + 119789, + 101024, + 34613, + 109911, + 73385, + 116030, + 13, + 105838, + 17766, + 104861, + 105576, + 102326, + 5927, + 99491, + 140655, + 127040, + 100625, + 111394, + 13, + 111145, + 110539, + 92878, + 118177, + 137901, + 100256, + 13, + 101860, + 44858, + 125752, + 100342, + 101577, + 51412, + 5927, + 220, + 16, + 24, + 21, + 23, + 100281, + 5927, + 106340, + 13, + 23784, + 220, + 16, + 24, + 24, + 16, + 100281, + 105375, + 100262, + 101463, + 102468, + 125751, + 11, + 103275, + 100364, + 107854, + 104542, + 11, + 100267, + 5524, + 118499, + 102269, + 133882, + 13, + 100293, + 100278, + 102378, + 100342, + 100413, + 17766, + 67589, + 100571, + 114399, + 100753, + 145491, + 106863, + 13, + 23784, + 220, + 17, + 15, + 15, + 20, + 100281, + 12769, + 27435, + 101184, + 123308, + 13289, + 100269, + 120082, + 5927, + 116606, + 126491, + 109507, + 13 + ], + "text": " Фильм стал первым опытом сотрудничества Китона с Metro-Goldwyn-Mayer и имел успех, однако уже через год компания лишила Китона творческого контроля над его фильмами, нанеся тем самым серьёзный и долговременный ущерб его карьере. Китон позднее назвал переход в MGM величайшим ошибкой своей карьеры. Фильм долгое время считался утерянным. Полная копия была обнаружена в 1968 году в Париже. В 1991 году выявили ещё одну копию, гораздо более высокого качества, но с отсутствием некоторых фрагментов. На их основе была смонтирована полная качественная версия. В 2005 году «Кинооператор» был включён в Национальный реестр фильмов." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Фильм стал первым опытом сотрудничества Китона с Metro-Goldwyn-Mayer и имел успех, однако уже через год компания лишила Китона творческого контроля над его фильмами, нанеся тем самым серьёзный и долговременный ущерб его карьере. Китон позднее назвал переход в MGM величайшей ошибкой своей карьеры. Фильм долгое время считался утерянным. Полная копия была обнаружена в 1968 году в Париже. В 1991 году выявили ещё одну копию, гораздо более высокого качества, но с отсутствием некоторых фрагментов. На их основе была смонтирована полная качественная версия. В 2005 году «Кинооператор» был включён в Национальный реестр фильмов." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Фильм стал первым опытом сотрудничества Китона с Metro-Goldwyn-Mayer и имел успех, однако уже через год компания лишила Китона творческого контроля над его фильмами, нанеся тем самым серьёзный и долговременный ущерб его карьере. Китон позднее назвал переход в MGM величайшей ошибкой своей карьеры. Фильм долгое время считался утерянным. Полная копия была обнаружена в 1968 году в Париже. В 1991 году выявили ещё одну копию, гораздо более высокого качества, но с отсутствием некоторых фрагментов. На их основе была смонтирована полная качественная версия. В 2005 году «Кинооператор» был включён в Национальный реестр фильмов.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 161, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.7419354838709675, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 114102, + 7740, + 109961, + 105401, + 118076, + 102411, + 102759, + 50, + 16494, + 5927, + 220, + 16, + 21, + 100366, + 13, + 130933, + 103094, + 100342, + 56611, + 100571, + 5927, + 102556, + 131365, + 39988, + 119912, + 220, + 17, + 15, + 15, + 20, + 100261, + 11, + 100376, + 128399, + 120647, + 5524, + 76541, + 22293, + 13, + 113933, + 126441, + 108651, + 11, + 48489, + 68979, + 101728, + 23934, + 100892, + 108107, + 13373, + 105516, + 102094, + 11, + 100727, + 102064, + 116248, + 8379, + 101018, + 11, + 8379, + 100926, + 104649, + 10693, + 11, + 104089, + 71829, + 10693, + 7740, + 113588, + 10693, + 13, + 23784, + 106173, + 83462, + 89348, + 12769, + 35, + 2320, + 8839, + 13, + 29478, + 13289, + 102759, + 50, + 16494, + 104989, + 11, + 48489, + 25, + 110282, + 40251, + 12769, + 121217, + 100907, + 59195, + 100403, + 13289, + 2001, + 68979, + 53687, + 136228, + 13, + 101290, + 21477, + 107080, + 100571, + 11, + 5927, + 101018, + 101169, + 102198, + 102032, + 101288, + 127935, + 102284, + 13, + 100299, + 102504, + 19175, + 103449, + 123758, + 100926, + 13373, + 123205, + 13, + 220, + 17, + 24, + 102039, + 220, + 17, + 15, + 17, + 17, + 100261, + 102759, + 50, + 16494, + 100406, + 100568, + 104502, + 112166, + 105401, + 11, + 110633, + 77495, + 105618, + 5524, + 121357, + 16742, + 124699, + 7486, + 12507, + 13 + ], + "text": " Слова и музыка песни написаны самой МакSим в 16 лет. Композиция была записана в ходе студийной сессии 2005 года, после подписания контракта с Gala Records. Сама певица утверждает, что это одна из двух песен на альбоме, которая действительно написана о ней, о её чувствах, эмоциях и переживаниях. В интервью сайту «D-pils. lv» МакSим сказала, что: Песня «Знаешь ли ты» — это исповедь. Она выстрадана, в ней весь мой печальный жизненный опыт. Я долго не могла исполнять её на публике. 29 апреля 2022 года МакSим представила новую версию песни, записанную совместно с Димой Биланом." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Слова и музыка песни написаны самой МакSим в 16 лет. Композиция была записана в ходе студийной сессии 2005 года, после подписания контракта с Gala Records. Сама певица утверждает, что это одна из двух песен на альбоме, которая действительно написана о ней, о её чувствах, эмоциях и переживаниях. В интервью сайту «D-pils. lv» МакSим сказала, что: Песня «Знаешь ли ты» — это исповедь. Она выстрадана, в ней весь мой печальный жизненный опыт. Я долго не могла исполнять её на публике. 29 апреля 2022 года МакSим представила новую версию песни, записанную совместно с Димой Биланом." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Слова и музыка песни написаны самой МакSим в 16 лет. Композиция была записана в ходе студийной сессии 2005 года, после подписания контракта с Gala Records. Сама певица утверждает, что это одна из двух песен на альбоме, которая действительно написана о ней, о её чувствах, эмоциях и переживаниях. В интервью сайту «D-pils. lv» МакSим сказала, что: Песня «Знаешь ли ты» — это исповедь. Она выстрадана, в ней весь мой печальный жизненный опыт. Я долго не могла исполнять её на публике. 29 апреля 2022 года МакSим представила новую версию песни, записанную совместно с Димой Биланом.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 176, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.889908256880734, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 102613, + 101543, + 115330, + 44938, + 121384, + 31443, + 5372, + 101860, + 135421, + 2001, + 127142, + 110201, + 100898, + 101697, + 107512, + 358, + 101364, + 13, + 35448, + 124374, + 101860, + 11320, + 74828, + 77738, + 103661, + 111513, + 13, + 23784, + 220, + 24, + 15, + 100281, + 99845, + 108193, + 104340, + 38098, + 102091, + 31443, + 12, + 102091, + 117287, + 1506, + 13, + 107661, + 101849, + 16331, + 7820, + 110487, + 101853, + 135153, + 114042, + 7820, + 128307, + 106036, + 100500, + 7486, + 3865, + 113326, + 6856, + 13, + 102740, + 220, + 16, + 15, + 19, + 7740, + 220, + 16, + 15, + 20, + 111165, + 101860, + 135421, + 104244, + 13373, + 108880, + 103494, + 17766, + 102091, + 31443, + 106186, + 105168, + 40231, + 13, + 104764, + 11, + 73385, + 101610, + 109338, + 124132, + 5524, + 128268, + 5173, + 15298, + 17721, + 23446, + 11, + 104333, + 111004, + 5927, + 120165, + 20879, + 220, + 16, + 17, + 18, + 100261, + 13 + ], + "text": " Луций Альбий Пуллаен Поллион — римский политический деятель второй половины I века. О происхождении Поллиона нет никаких сведений. В 90 году он занимал должность консула-суффекта. Принадлежал к числу наиболее лояльных к императору Домициану сенаторов. Между 104 и 105 годом Поллион находился на посту проконсула провинции Азия. Возможно, его следует идентифицировать с владельцем пекарни, упоминаемым в надписи от 123 года." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Луций Альбий Пуллаен Поллион — римский политический деятель второй половины I века. О происхождении Поллиона нет никаких сведений. В 90 году он занимал должность консула-суффекта. Принадлежал к числу наиболее лояльных к императору Домициану сенаторов. Между 104 и 105 годом Поллион находился на посту проконсула провинции Азия. Возможно, его следует идентифицировать с владельцем пекарни, упоминаемым в надписи от 123 года." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Луций Альбий Пуллаен Поллион — римский политический деятель второй половины I века. О происхождении Поллиона нет никаких сведений. В 90 году он занимал должность консула-суффекта. Принадлежал к числу наиболее лояльных к императору Домициану сенаторов. Между 104 и 105 годом Поллион находился на посту проконсула провинции Азия. Возможно, его следует идентифицировать с владельцем пекарни, упоминаемым в надписи от 123 года.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 130, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.213270142180095, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 115333, + 117201, + 11, + 124739, + 100571, + 139969, + 2001, + 104444, + 11, + 105630, + 104145, + 11, + 114841, + 11, + 118336, + 11, + 101115, + 103317, + 114954, + 101031, + 11, + 104753, + 106926, + 119138, + 12, + 41682, + 113892, + 100268, + 105703, + 39900, + 124276, + 11, + 141936, + 101115, + 102612, + 100957, + 100811, + 102130, + 101031, + 11, + 114948, + 110744, + 102382, + 105887, + 11, + 112298, + 110210, + 106613, + 105887, + 101741, + 110006, + 104313, + 105500, + 13, + 118841, + 103231, + 11, + 112370, + 107536, + 2001, + 104232, + 104444, + 105787, + 12, + 106761, + 38822, + 11, + 100720, + 129527, + 3865, + 101442, + 13, + 111148, + 100605, + 34613, + 106926, + 119138, + 12, + 41682, + 113892, + 100268, + 105703, + 39900, + 124276, + 5927, + 220, + 16, + 24, + 21, + 19, + 4235, + 16, + 24, + 22, + 15, + 11, + 220, + 16, + 24, + 23, + 15, + 4235, + 16, + 24, + 23, + 17, + 102042, + 13, + 53677, + 7975, + 100464, + 11, + 101909, + 146355, + 2001, + 103906, + 11, + 115607, + 13404, + 11, + 104753, + 106926, + 124276, + 5524, + 220, + 16, + 24, + 21, + 24, + 25756, + 2637, + 5927, + 220, + 16, + 24, + 22, + 17, + 2345, + 16, + 24, + 23, + 24, + 102042, + 13, + 2001, + 103667, + 124276, + 13, + 103830, + 100794, + 102200, + 11, + 102484, + 113606, + 2001, + 104444, + 7740, + 105630, + 104145, + 11, + 108972, + 11, + 103844, + 13, + 139183, + 119138, + 12, + 41682, + 113892, + 100268, + 105703, + 39900, + 124276, + 5927, + 220, + 16, + 24, + 23, + 20, + 2345, + 16, + 24, + 23, + 22, + 102042, + 13, + 102149, + 34082, + 101529, + 11, + 102484, + 107216, + 2001, + 107186, + 106926, + 36479, + 100989, + 109994, + 106682, + 119138, + 12, + 41682, + 113892, + 100268, + 105703, + 39900, + 124276, + 13, + 102988, + 13 + ], + "text": " Булгакова, Оксана Сергеевна — советский, российский писатель, публицист, сценарист, член Союза журналистов СССР, главный редактор Южно-Уральского книжного издательства, действительный член Географического общества СССР, Заслуженный работник культуры РСФСР, лауреат Государственной премии РСФСР имени братьев Васильевых. Гилёв, Анатолий Васильевич — русский советский художник-график, карикатурист. Художественный редактор Южно-Уральского книжного издательства в 1964–1970, 1980–1982 гг. Золотов, Александр Афанасьевич — журналист, краевед, главный редактор издательства с 1969 г., в 1972—1989 гг. — директор издательства. Курносенко, Владимир Владимирович — советский и российский писатель, хирург, врач. Редактор Южно-Уральского книжного издательства в 1985—1987 гг. Спичкин, Владимир Михайлович — старший редактор Курганского отделения Южно-Уральского книжного издательства. Примечания." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Булгакова, Оксана Сергеевна — советский, российский писатель, публицист, сценарист, член Союза журналистов СССР, главный редактор Южно-Уральского книжного издательства, действительный член Географического общества СССР, Заслуженный работник культуры РСФСР, лауреат Государственной премии РСФСР имени братьев Васильевых. Гилёв, Анатолий Васильевич — русский советский художник-график, карикатурист. Художественный редактор Южно-Уральского книжного издательства в 1964–1970, 1980–1982 гг. Золотов, Александр Афанасьевич — журналист, краевед, главный редактор издательства с 1969 г., в 1972—1989 гг. — директор издательства. Курносенко, Владимир Владимирович — советский и российский писатель, хирург, врач. Редактор Южно-Уральского книжного издательства в 1985—1987 гг. Спичкин, Владимир Михайлович — старший редактор Курганского отделения Южно-Уральского книжного издательства. Примечания." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Булгакова, Оксана Сергеевна — советский, российский писатель, публицист, сценарист, член Союза журналистов СССР, главный редактор Южно-Уральского книжного издательства, действительный член Географического общества СССР, Заслуженный работник культуры РСФСР, лауреат Государственной премии РСФСР имени братьев Васильевых. Гилёв, Анатолий Васильевич — русский советский художник-график, карикатурист. Художественный редактор Южно-Уральского книжного издательства в 1964–1970, 1980–1982 гг. Золотов, Александр Афанасьевич — журналист, краевед, главный редактор издательства с 1969 г., в 1972—1989 гг. — директор издательства. Курносенко, Владимир Владимирович — советский и российский писатель, хирург, врач. Редактор Южно-Уральского книжного издательства в 1985—1987 гг. Спичкин, Владимир Михайлович — старший редактор Курганского отделения Южно-Уральского книжного издательства. Примечания.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 232, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.158139534883721, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 127342, + 220, + 17, + 21, + 101832, + 220, + 16, + 24, + 23, + 18, + 100261, + 7740, + 120097, + 5927, + 109936, + 1532, + 12, + 14525, + 12, + 118919, + 13, + 111893, + 2001, + 117309, + 142403, + 104555, + 45122, + 94538, + 11, + 18154, + 116068, + 118494, + 103906, + 11, + 5927, + 116372, + 100342, + 110774, + 131945, + 11, + 5927, + 103066, + 92878, + 2001, + 111656, + 13, + 106601, + 106802, + 118533, + 39988, + 142403, + 104555, + 45122, + 94538, + 102525, + 101226, + 5927, + 120952, + 104626, + 101741, + 133949, + 18154, + 122640, + 128510, + 13, + 100738, + 104874, + 106905, + 103018, + 123839, + 5927, + 105867, + 103801, + 106452, + 121111, + 104347, + 11, + 98851, + 104647, + 103112, + 100568, + 11, + 107182, + 141893, + 12769, + 108072, + 56892, + 102298, + 130229, + 75608, + 101095, + 101348, + 3865, + 103724, + 101665, + 5927, + 220, + 16, + 24, + 24, + 24, + 100281, + 5927, + 12769, + 129021, + 116769, + 12, + 93311, + 102493, + 61312, + 5927, + 100360, + 100270, + 100281, + 120387, + 110020, + 12769, + 55258, + 13337, + 12507, + 9706, + 26503, + 121673, + 61312, + 5927, + 220, + 17, + 15, + 15, + 16, + 2001, + 12769, + 135246, + 107409, + 133146, + 75608, + 102598, + 5927, + 220, + 17, + 15, + 15, + 16, + 110102, + 121762, + 40842, + 106703, + 101261, + 23784, + 13, + 100691, + 40590, + 104681, + 14525, + 101868, + 100571, + 117633, + 131945, + 13373, + 123913, + 125254, + 12769, + 115921, + 100569, + 100644, + 75608, + 23784, + 220, + 17, + 15, + 15, + 17, + 100281, + 100372, + 101316, + 100568, + 13373, + 120431, + 12769, + 137964, + 30941, + 61312, + 21022, + 5927, + 220, + 17, + 15, + 15, + 18, + 100281, + 101777, + 12769, + 129435, + 103454, + 61312, + 100376, + 101174, + 123809, + 5927, + 104630, + 13, + 23784, + 220, + 17, + 15, + 15, + 20, + 100281, + 101665, + 102485, + 13373, + 134191, + 128704, + 13 + ], + "text": " Родилась 26 июля 1983 года и выросла в Ростове-на-Дону. Мать — Ирина Лопырёва, по первому образованию журналист, в молодости была известной моделью, в настоящее время — предприниматель. Помимо общеобразовательной Лопырёва обучалась в музыкальной школе имени Чайковского по классу фортепиано. После окончания средней школы поступила в Ростовский государственный экономический университет, который успешно закончила, получив специальность «управление предприятием». Карьеру модели начала в 1999 году в «Имидж-Элит», в этом же году выиграла конкурс «Фотомодель Дона», в 2001 — «Ростовская красавица». Также в 2001 решением жюри под председательством В. Юдашкина признана лучшей моделью на фестивале моды «Золотая молния». В 2002 году она победила на конкурсе «Донбасс OPEN», а в 2003 году стала «Мисс Россия», после чего переехала в Москву. В 2005 году начала работать на центральном телевидении." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Родилась 26 июля 1983 года и выросла в Ростове-на-Дону. Мать — Ирина Лопырёва, по первому образованию журналист, в молодости была известной моделью, в настоящее время — предприниматель. Помимо общеобразовательной Лопырёва обучалась в музыкальной школе имени Чайковского по классу фортепиано. После окончания средней школы поступила в Ростовский государственный экономический университет, который успешно закончила, получив специальность «управление предприятием». Карьеру модели начала в 1999 году в «Имидж-Элит», в этом же году выиграла конкурс «Фотомодель Дона», в 2001 — «Ростовская красавица». Также в 2001 решением жюри под председательством В. Юдашкина признана лучшей моделью на фестивале моды «Золотая молния». В 2002 году она победила на конкурсе «Донбасс OPEN», а в 2003 году стала «Мисс Россия», после чего переехала в Москву. В 2005 году начала работать на центральном телевидении." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Родилась 26 июля 1983 года и выросла в Ростове-на-Дону. Мать — Ирина Лопырёва, по первому образованию журналист, в молодости была известной моделью, в настоящее время — предприниматель. Помимо общеобразовательной Лопырёва обучалась в музыкальной школе имени Чайковского по классу фортепиано. После окончания средней школы поступила в Ростовский государственный экономический университет, который успешно закончила, получив специальность «управление предприятием». Карьеру модели начала в 1999 году в «Имидж-Элит», в этом же году выиграла конкурс «Фотомодель Дона», в 2001 — «Ростовская красавица». Также в 2001 решением жюри под председательством В. Юдашкина признана лучшей моделью на фестивале моды «Золотая молния». В 2002 году она победила на конкурсе «Донбасс OPEN», а в 2003 году стала «Мисс Россия», после чего переехала в Москву. В 2005 году начала работать на центральном телевидении.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 236, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.280612244897959, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 125649, + 105628, + 100265, + 104042, + 102984, + 103713, + 107507, + 104473, + 44786, + 117926, + 6856, + 52292, + 220, + 18, + 19, + 7740, + 52292, + 220, + 19, + 17, + 119942, + 103812, + 92093, + 100458, + 5927, + 104069, + 106440, + 133956, + 18154, + 122640, + 107553, + 117926, + 6856, + 13, + 23784, + 101279, + 5524, + 101390, + 5927, + 101666, + 220, + 16, + 24, + 20, + 15, + 12, + 10693, + 102010, + 14391, + 26503, + 15752, + 108898, + 114220, + 19797, + 34395, + 17671, + 1604, + 23934, + 103915, + 6735, + 102224, + 40842, + 104662, + 105293, + 107231, + 1506, + 131015, + 1506, + 23784, + 102302, + 100833, + 101665, + 134553, + 100864, + 111388, + 105730, + 108710, + 13, + 23784, + 102378, + 107911, + 100310, + 118546, + 102720, + 75281, + 7740, + 30889, + 78746, + 27717, + 115893, + 11, + 142906, + 144398, + 20879, + 40590, + 101552, + 7740, + 102206, + 56892, + 106538, + 39900, + 115893, + 107294, + 39900, + 105730, + 108710, + 115541, + 100844, + 386, + 16, + 24, + 16, + 23, + 11, + 104220, + 113058, + 21204, + 131418, + 50587, + 57297, + 100392, + 11, + 7740, + 102381, + 112844, + 106595, + 106643, + 110133, + 111388, + 105730, + 100401, + 45458, + 38214, + 220, + 19, + 17, + 13, + 23784, + 101308, + 220, + 16, + 24, + 20, + 24, + 100261, + 52432, + 109452, + 117926, + 100269, + 106616, + 13373, + 109076, + 14391, + 26503, + 15752, + 101884, + 101538, + 13, + 110701, + 104520, + 11, + 52770, + 7740, + 14257, + 101847, + 128041, + 106188, + 50587, + 11, + 108635, + 1482, + 5927, + 101150, + 137458, + 1840, + 102595, + 45458, + 22288, + 52009, + 817, + 294, + 529, + 2213, + 2005, + 480, + 32453, + 3545, + 2001, + 330, + 104668, + 37131, + 100564, + 104032, + 106683, + 3343 + ], + "text": " Успех применения во Второй мировой войне немецких единых пулемётов MG 34 и MG 42 убедил военных всех стран в необходимости разработки аналогичных по классу собственных пулемётов. В связи с этим в начале 1950-х годов бельгийская фирма Fabrique Nationale из Эрстале под руководством главного конструктора Эрнеста Вервье начала проектирование своего единого пулемёта. В основе конструкции были использованы автоматика и запирание ствола, амортизатор отдачи и крепление сменного ствола ручного пулемёта Браунинг M1918, выпускавшегося фирмой FN до этого, и система ленточного питания немецкого единого пулемета МГ 42. В конце 1959 года получившийся пулемёт был принят на вооружение бельгийской армии. Название оружия, как и у всей остальной продукции FN, составлено в виде аббревиатуры Мitrailleuse d’Appui Général — \"пулемёт общей поддержки\"." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Успех применения во Второй мировой войне немецких единых пулемётов MG 34 и MG 42 убедил военных всех стран в необходимости разработки аналогичных по классу собственных пулемётов. В связи с этим в начале 1950-х годов бельгийская фирма Fabrique Nationale из Эрстале под руководством главного конструктора Эрнеста Вервье начала проектирование своего единого пулемёта. В основе конструкции были использованы автоматика и запирание ствола, амортизатор отдачи и крепление сменного ствола ручного пулемёта Браунинг M1918, выпускавшегося фирмой FN до этого, и система ленточного питания немецкого единого пулемета МG 42. В конце 1959 года получившийся пулемёт был принят на вооружение бельгийской армии. Название оружия, как и у всей остальной продукции FN, составлено в виде аббревиатуры Мitrailleuse d’Appui Général — \"пулемёт общей поддержки\"." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Успех применения во Второй мировой войне немецких единых пулемётов MG 34 и MG 42 убедил военных всех стран в необходимости разработки аналогичных по классу собственных пулемётов. В связи с этим в начале 1950-х годов бельгийская фирма Fabrique Nationale из Эрстале под руководством главного конструктора Эрнеста Вервье начала проектирование своего единого пулемёта. В основе конструкции были использованы автоматика и запирание ствола, амортизатор отдачи и крепление сменного ствола ручного пулемёта Браунинг M1918, выпускавшегося фирмой FN до этого, и система ленточного питания немецкого единого пулемета МG 42. В конце 1959 года получившийся пулемёт был принят на вооружение бельгийской армии. Название оружия, как и у всей остальной продукции FN, составлено в виде аббревиатуры Мitrailleuse d’Appui Général — \"пулемёт общей поддержки\".<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 217, + "generated_len": [ + 215 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.8450704225352115, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 105764, + 5927, + 220, + 16, + 24, + 23, + 16, + 100281, + 5927, + 100284, + 115154, + 118759, + 13, + 23784, + 220, + 17, + 15, + 15, + 20, + 100281, + 100702, + 128465, + 127655, + 104450, + 101042, + 13, + 100293, + 104880, + 101042, + 220, + 17, + 15, + 15, + 21, + 100261, + 111482, + 133021, + 105751, + 13, + 23784, + 220, + 17, + 15, + 15, + 22, + 100281, + 102290, + 100702, + 128465, + 127655, + 104450, + 101042, + 13, + 23784, + 220, + 17, + 15, + 15, + 23, + 100281, + 100702, + 128612, + 107086, + 100721, + 108150, + 107230, + 102496, + 5927, + 130962, + 13 + ], + "text": " Родился в 1981 году в Чхонджу. В 2005 году стал серебряным призёром чемпионата мира. На чемпионате мира 2006 года завоевал бронзовую медаль. В 2007 году вновь стал серебряным призёром чемпионата мира. В 2008 году стал обладателем бронзовой медали Олимпийских игр в Пекине." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Родился в 1981 году в Чхонджу. В 2005 году стал серебряным призёром чемпионата мира. На чемпионате мира 2006 года завоевал бронзовую медаль. В 2007 году вновь стал серебряным призёром чемпионата мира. В 2008 году стал обладателем бронзовой медали Олимпийских игр в Пекине." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Родился в 1981 году в Чхонджу. В 2005 году стал серебряным призёром чемпионата мира. На чемпионате мира 2006 года завоевал бронзовую медаль. В 2007 году вновь стал серебряным призёром чемпионата мира. В 2008 году стал обладателем бронзовой медали Олимпийских игр в Пекине.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 92, + "generated_len": [ + 260 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 2.95, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 28599, + 220, + 16, + 24, + 24, + 21, + 18154, + 220, + 16, + 24, + 24, + 22, + 104244, + 5927, + 101951, + 104504, + 100266, + 12769, + 101872, + 10298, + 111752, + 100521, + 61312, + 101300, + 44946, + 107437, + 19175, + 105893, + 11, + 106420, + 101997, + 74726, + 5927, + 111309, + 100828, + 107637, + 6578, + 12, + 115272, + 6856, + 102865, + 25, + 12769, + 101872, + 10298, + 111752, + 69775, + 12, + 7094, + 13289, + 5927, + 220, + 16, + 24, + 24, + 21, + 7740, + 12769, + 113054, + 12, + 101872, + 10298, + 111752, + 69775, + 12, + 17, + 13289, + 5927, + 220, + 16, + 24, + 24, + 22, + 100281, + 13, + 130342, + 220, + 16, + 24, + 24, + 23, + 100261, + 107146, + 5927, + 12769, + 124530, + 14332, + 61312, + 106366, + 220, + 16, + 21, + 109417, + 13, + 23784, + 220, + 16, + 24, + 24, + 24, + 100281, + 104060, + 5927, + 12769, + 101872, + 10298, + 111752, + 100978, + 61312, + 5927, + 101951, + 100759, + 108654, + 5927, + 126154, + 113968, + 100570, + 11, + 100416, + 107146, + 220, + 16, + 17, + 101044, + 13, + 101795, + 100350, + 11, + 106420, + 5927, + 100358, + 105581, + 101997, + 5927, + 112190, + 107637, + 6578, + 12, + 115272, + 1506, + 12769, + 101872, + 10298, + 111752, + 69775, + 12, + 17, + 75608, + 28599, + 220, + 17, + 15, + 15, + 15, + 18154, + 220, + 17, + 15, + 15, + 16, + 100260, + 100269, + 5927, + 101951, + 12769, + 104162, + 101611, + 61312, + 101300, + 100356, + 110381, + 19175, + 106366, + 44946, + 104653, + 100380, + 110979, + 50223, + 13433, + 100552, + 100578, + 11, + 138721, + 100694, + 220, + 18, + 105587, + 44946, + 138444, + 101293, + 100380, + 5927, + 220, + 17, + 15, + 15, + 16, + 100281, + 13, + 23784, + 105581, + 220, + 17, + 15, + 15, + 17, + 100261, + 105960, + 44946, + 12769, + 118201, + 12, + 17, + 15, + 15, + 15, + 61312, + 5927, + 220, + 16, + 18, + 132462, + 107728, + 220, + 19, + 100829, + 1506, + 13, + 23784, + 220, + 17, + 15, + 15, + 18, + 100281, + 100269, + 5927, + 101951, + 110979, + 50223, + 13433, + 100552, + 100268, + 12769, + 113054, + 13289, + 7740, + 12769, + 101872, + 10298, + 111752, + 100521, + 61312, + 101300, + 13373, + 102851, + 19175, + 111383, + 13 + ], + "text": " С 1996 по 1997 находился в составе сочинской «Жемчужины», однако за основу не играл, принимал участие только в поединках фарм-клубов команды: «Жемчужина-д» в 1996 и «Динамо-Жемчужина-2» в 1997 году. Сезон 1998 года провёл в «Кубани», сыграл 16 матчей. В 1999 году вернулся в «Жемчужину», в составе которой дебютировал в Высшей лиге России, где провёл 12 встреч. Кроме того, принимал в том сезоне участие в матчах фарм-клуба «Жемчужина-2». С 2000 по 2001 год был в составе «Анжи», однако ни разу не сыграл за основной состав махачкалинцев, проведя лишь 3 встречи за дублирующий состав в 2001 году. В сезоне 2002 года выступал за «Краснодар-2000», в 13 встречах забил 4 гола. В 2003 году был в составе махачкалинского «Динамо» и «Жемчужины», однако на поле не выходил." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "С 1996 по 1997 находился в составе сочинской «Жемчужины», однако за основу не играл, принимал участие только в поединках фарм-клубов команды: «Жемчужина-д» в 1996 и «Динамо-Жемчужина-2» в 1997 году. Сезон 1998 года провёл в «Кубани», сыграл 16 матчей. В 1999 году вернулся в «Жемчужину», в составе которой дебютировал в Высшей лиге России, где провёл 12 встреч. Кроме того, принимал в том сезоне участие в матчах фарм-клуба «Жемчужина-2». С 2000 по 2001 год был в составе «Анжи», однако ни разу не сыграл за основной состав махачкалинцев, проведя лишь 3 встречи за дублирующий состав в 2001 году. В сезоне 2002 года выступал за «Краснодар-2000», в 13 встречах забил 4 гола. В 2003 году был в составе махачкалинского «Динамо» и «Жемчужины», однако на поле не выходил." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: С 1996 по 1997 находился в составе сочинской «Жемчужины», однако за основу не играл, принимал участие только в поединках фарм-клубов команды: «Жемчужина-д» в 1996 и «Динамо-Жемчужина-2» в 1997 году. Сезон 1998 года провёл в «Кубани», сыграл 16 матчей. В 1999 году вернулся в «Жемчужину», в составе которой дебютировал в Высшей лиге России, где провёл 12 встреч. Кроме того, принимал в том сезоне участие в матчах фарм-клуба «Жемчужина-2». С 2000 по 2001 год был в составе «Анжи», однако ни разу не сыграл за основной состав махачкалинцев, проведя лишь 3 встречи за дублирующий состав в 2001 году. В сезоне 2002 года выступал за «Краснодар-2000», в 13 встречах забил 4 гола. В 2003 году был в составе махачкалинского «Динамо» и «Жемчужины», однако на поле не выходил.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 281, + "generated_len": [ + 260 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.182291666666667, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 110158, + 100741, + 104438, + 113331, + 104784, + 110063, + 102276, + 9706, + 100538, + 104195, + 25, + 330, + 118994, + 56515, + 34613, + 1, + 2001, + 100868, + 5372, + 20440, + 113575, + 113388, + 100628, + 105970, + 26, + 102276, + 9706, + 75281, + 109639, + 5927, + 101150, + 330, + 105333, + 9706, + 100709, + 108797, + 63233, + 5233, + 330, + 4329, + 102758, + 34613, + 1, + 2001, + 100868, + 5372, + 20440, + 107554, + 113640, + 26, + 102276, + 9706, + 75281, + 110390, + 105126, + 52770, + 12561, + 104806, + 44858, + 91667, + 102819, + 61379, + 102276, + 9706, + 100709, + 46410, + 20346, + 100928, + 11, + 103582, + 100735, + 104187, + 129615, + 13, + 100299, + 102758, + 24697, + 37405, + 123930, + 66459, + 145183, + 68742, + 11, + 101509, + 18226, + 100573, + 100447, + 68742, + 11, + 101653, + 115456, + 117737, + 26, + 330, + 126028, + 110757, + 1, + 2001, + 103989, + 5927, + 112334, + 67891, + 13, + 106035, + 47067, + 1506, + 11, + 23227, + 13, + 118843, + 8131, + 22911, + 11, + 60376, + 13, + 57855, + 13, + 64571, + 129213, + 113704, + 100721, + 11, + 43896, + 13, + 61565, + 13, + 106236, + 102091, + 102958, + 26, + 100614, + 100277, + 111719, + 100826, + 114358, + 39900, + 7740, + 125318, + 39900, + 111518, + 11, + 107900, + 100256, + 100340, + 11, + 48489, + 102276, + 9706, + 101175, + 46410, + 20346, + 57319, + 19175, + 106695, + 104003, + 78085, + 108411, + 11, + 21022, + 20440, + 78085, + 108411, + 122133, + 19175, + 74726, + 104731, + 11, + 100267, + 7740, + 116664, + 18154, + 103217, + 6578, + 13, + 28599, + 109229, + 39280, + 78085, + 108411, + 7740, + 117974, + 91398, + 108666, + 52770, + 102276, + 9706, + 101175, + 103724, + 13, + 102988, + 13 + ], + "text": " Существует три основных способа представления явлений мелодики речи: \"контурный\" — характерен для европейской лингвистической традиции; мелодика представляется в виде \"мелодических кривых\"; \"ярусный\" — характерен для американских исследователей; мелодика фиксируется как прерывная последовательность мелодических ярусов, обозначенных цифрами. Ярусам приписывается значение завершённости, незавершённости, выражаемых эмоций; \"комбинированный\" — представлен в работах Ф. Данеша, П. Делатра, Е. А. Брызгуновой, И. Г. Торсуевой; является совмещением контурного и ярусного способов, обусловленным тем, что мелодические ярусы не существуют вне контуров, а для контуров важна не только форма, но и распределение по уровням. Сочетания контуров и уровней можно рассматривать как мелодические модели. Примечания." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Существует три основных способа представления явлений мелодики речи: \"контурный\" — характерен для европейской лингвистической традиции; мелодика представляется в виде \"мелодических кривых\"; \"ярусный\" — характерен для американских исследователей; мелодика фиксируется как прерывная последовательность мелодических ярусов, обозначенных цифрами. Ярусам приписывается значение завершённости, незавершённости, выражаемых эмоций; \"комбинированный\" — представлен в работах Ф. Данеша, П. Делатра, Е. А. Брызгуновой, И. Г. Торсуевой; является совмещением контурного и ярусного способов, обусловленным тем, что мелодические ярусы не существуют вне контуров, а для контуров важна не только форма, но и распределение по уровням. Сочетания контуров и уровней можно рассматривать как мелодические модели. Примечания." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Существует три основных способа представления явлений мелодики речи: \"контурный\" — характерен для европейской лингвистической традиции; мелодика представляется в виде \"мелодических кривых\"; \"ярусный\" — характерен для американских исследователей; мелодика фиксируется как прерывная последовательность мелодических ярусов, обозначенных цифрами. Ярусам приписывается значение завершённости, незавершённости, выражаемых эмоций; \"комбинированный\" — представлен в работах Ф. Данеша, П. Делатра, Е. А. Брызгуновой, И. Г. Торсуевой; является совмещением контурного и ярусного способов, обусловленным тем, что мелодические ярусы не существуют вне контуров, а для контуров важна не только форма, но и распределение по уровням. Сочетания контуров и уровней можно рассматривать как мелодические модели. Примечания.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 213, + "generated_len": [ + 260 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.315789473684211, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 112370, + 129719, + 90877, + 13, + 143860, + 100536, + 34613, + 100380, + 128536, + 100559, + 101031, + 5927, + 138695, + 101468, + 101164, + 13, + 28599, + 44646, + 105881, + 106936, + 13, + 28599, + 15298, + 100650, + 44065, + 100899, + 101031, + 13, + 119384, + 114399, + 128849, + 13, + 106482, + 101950, + 510, + 106994, + 102384, + 73281, + 108130, + 100314, + 104236, + 3865, + 129719, + 90877, + 3865, + 948, + 101095, + 100386, + 100273, + 104636, + 13, + 112698, + 15088, + 100366, + 103893, + 13 + ], + "text": " Анатолий Грибков. Высший командный состав Вооружённых сил СССР в послевоенный период. Справочные материалы. Секретные войны СССР. Самая полная энциклопедия. Наш генерал [посвящено Анатолию Ивановичу Грибкову]. Карибский кризис. Сорок лет спустя." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Анатолий Грибков. Высший командный состав Вооружённых сил СССР в послевоенный период. Справочные материалы. Секретные войны СССР. Самая полная энциклопедия. Наш генерал [посвящено Анатолию Ивановичу Грибкову]. Карибский кризис. Сорок лет спустя." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Анатолий Грибков. Высший командный состав Вооружённых сил СССР в послевоенный период. Справочные материалы. Секретные войны СССР. Самая полная энциклопедия. Наш генерал [посвящено Анатолию Ивановичу Грибкову]. Карибский кризис. Сорок лет спустя.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 78, + "generated_len": [ + 260 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.7133333333333334, + "len": 0.9932885906040269, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 130275, + 1840, + 23630, + 12, + 36551, + 102027, + 105176, + 23630, + 103356, + 102755, + 104332, + 5927, + 102215, + 121368, + 121559, + 100526, + 100817, + 11, + 5927, + 103506, + 118442, + 13, + 100402, + 100345, + 86610, + 84198, + 101608, + 85756, + 100513, + 103675, + 31203, + 23630, + 13, + 101420, + 103435, + 11, + 109318, + 13810, + 103356, + 102755, + 11, + 108528, + 73385, + 5927, + 124419, + 11, + 7820, + 129858, + 23227, + 100446, + 104675, + 17766, + 3865, + 103356, + 102755, + 3865, + 13, + 23227, + 100446, + 104675, + 17766, + 103356, + 102755, + 100269, + 12769, + 124830, + 101222, + 101182, + 12507, + 13289, + 123348, + 43203, + 7740, + 11, + 103224, + 13373, + 68979, + 11, + 100269, + 111501, + 5927, + 105248, + 102727, + 102799, + 77495, + 146857, + 111615, + 105515, + 17165, + 81529, + 58060, + 40231, + 13, + 126770, + 100513, + 103675, + 31203, + 23630, + 103356, + 102755, + 108970, + 5927, + 110288, + 101529, + 100266, + 112378, + 100266, + 104626, + 11, + 100416, + 7740, + 103516, + 85756, + 130275, + 1840, + 23630, + 13, + 100287, + 109574, + 103018, + 130275, + 1840, + 23630, + 102900, + 119610, + 7820, + 108163, + 18226, + 107313, + 5927, + 104738, + 108190, + 129858, + 11, + 145110, + 3865, + 103356, + 102755, + 3865, + 7740, + 108970, + 121861, + 129612, + 114026, + 5927, + 23227, + 41873, + 1532, + 13 + ], + "text": " Зиновиос-Зафириос Валвис родился в городе Месолонгионе, в семье священника. При крещении получил имя Зафириос. Его отец, Иоаннис Валвис, послал его в Константинополь, к дяде Пантолеону Валвису. Пантолеон Валвис был «Великим экономом» Патриархата и, несмотря на это, был посвящён в греческую тайную революционную организацию Филики Этерия. Молодой Зафириос Валвис учился в Халкинской богословской школе, где и принял имя Зиновиос. По окончании школы Зиновиос переселился к проживавшему в Италии другому дяде, Спиридону Валвису и учился юриспруденции в Пизе." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Зиновиос-Зафириос Валвис родился в городе Месолонгионе, в семье священника. При крещении получил имя Зафириос. Его отец, Иоаннис Валвис, послал его в Константинополь, к дяде Пантолеону Валвису. Пантолеон Валвис был «Великим экономом» Патриархата и, несмотря на это, был посвящён в греческую тайную революционную организацию Филики Этерия. Молодой Зафириос Валвис учился в Халкинской богословской школе,где и принял имя Зиновиос. По окончании школы Зиновиос переселился к проживавшему в Италии другому дяде, Спиридону Валвису и учился юриспруденции в Пизе." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Зиновиос-Зафириос Валвис родился в городе Месолонгионе, в семье священника. При крещении получил имя Зафириос. Его отец, Иоаннис Валвис, послал его в Константинополь, к дяде Пантолеону Валвису. Пантолеон Валвис был «Великим экономом» Патриархата и, несмотря на это, был посвящён в греческую тайную революционную организацию Филики Этерия. Молодой Зафириос Валвис учился в Халкинской богословской школе,где и принял имя Зиновиос. По окончании школы Зиновиос переселился к проживавшему в Италии другому дяде, Спиридону Валвису и учился юриспруденции в Пизе.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 170, + "generated_len": [ + 260 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.946524064171123, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 100728, + 13810, + 110278, + 26503, + 1482, + 2001, + 146977, + 133633, + 105348, + 103120, + 106451, + 11, + 134369, + 104737, + 5927, + 115428, + 94962, + 121806, + 53671, + 13, + 120342, + 44946, + 103084, + 3865, + 57297, + 220, + 17, + 15, + 16, + 22, + 100261, + 13, + 106194, + 77495, + 141006, + 107177, + 100632, + 5927, + 220, + 17, + 15, + 15, + 21, + 100281, + 11, + 100339, + 100702, + 128465, + 127655, + 109177, + 111605, + 105941, + 7740, + 101095, + 100386, + 100268, + 112376, + 13, + 23784, + 220, + 17, + 15, + 15, + 23, + 100281, + 103516, + 101997, + 5927, + 107230, + 107092, + 5927, + 130962, + 11, + 100267, + 19175, + 101966, + 106308, + 5927, + 110483, + 13, + 23784, + 100360, + 100270, + 100281, + 105545, + 220, + 18, + 12, + 1532, + 100959, + 13373, + 107092, + 111605, + 105941, + 7740, + 101095, + 100386, + 100268, + 112376, + 13, + 139912, + 109432, + 104450, + 101042, + 220, + 17, + 15, + 15, + 24, + 100261, + 13, + 118698, + 67187, + 81659, + 34613, + 128464, + 109432, + 64571, + 104256, + 125439, + 100721, + 110371, + 358, + 72138, + 5927, + 220, + 17, + 15, + 16, + 15, + 7740, + 220, + 17, + 15, + 16, + 16, + 101991, + 13, + 106630, + 104902, + 134204, + 102496, + 220, + 17, + 15, + 16, + 16, + 100261, + 13, + 100293, + 120157, + 124048, + 5927, + 121197, + 101474, + 105545, + 220, + 19, + 12, + 1532, + 100959, + 5524, + 109624, + 220, + 16, + 22, + 11, + 19, + 22, + 11562, + 13, + 133505, + 109432, + 104450, + 102905, + 220, + 17, + 15, + 16, + 23, + 100261, + 5927, + 101951, + 104140, + 116605, + 13 + ], + "text": " Алексис Копельо — азербайджанский легкоатлет кубинского происхождения, специализирующийся в тройном прыжке. Выступал за Кубу до 2017 года. Международную спортивную карьеру начал в 2006 году, когда стал серебряным призёром Игр Центральной Америки и Карибского бассейна. В 2008 году принял участие в Олимпийских играх в Пекине, но не смог выйти в финал. В этом же году занял 3-е место на играх Центральной Америки и Карибского бассейна. Бронзовый призёр чемпионата мира 2009 года. Двукратный серебряный призёр Бриллиантовой лиги IAAF в 2010 и 2011 годах. Чемпион Панамериканских игр 2011 года. На мировом первенстве в Тэгу занял 4-е место с результатом 17,47 м. Серебряный призёр чемпионата Европы 2018 года в составе сборной Азербайджана." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Алексис Копельо — азербайджанский легкоатлет кубинского происхождения, специализирующийся в тройном прыжке. Выступал за Кубу до 2017 года. Международную спортивную карьеру начал в 2006 году, когда стал серебряным призёром Игр Центральной Америки и Карибского бассейна. В 2008 году принял участие в Олимпийских играх в Пекине, но не смог выйти в финал. В этом же году занял 3-е место на играх Центральной Америки и Карибского бассейна. Бронзовый призёр чемпионата мира 2009 года. Двукратный серебряный призёр Бриллиантовой лиги IAAF в 2010 и 2011 годах. Чемпион Панамериканских игр 2011 года. На мировом первенстве в Тэгу занял 4-е место с результатом 17,47 м. Серебряный призёр чемпионата Европы 2018 года в составе сборной Азербайджана." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Алексис Копельо — азербайджанский легкоатлет кубинского происхождения, специализирующийся в тройном прыжке. Выступал за Кубу до 2017 года. Международную спортивную карьеру начал в 2006 году, когда стал серебряным призёром Игр Центральной Америки и Карибского бассейна. В 2008 году принял участие в Олимпийских играх в Пекине, но не смог выйти в финал. В этом же году занял 3-е место на играх Центральной Америки и Карибского бассейна. Бронзовый призёр чемпионата мира 2009 года. Двукратный серебряный призёр Бриллиантовой лиги IAAF в 2010 и 2011 годах. Чемпион Панамериканских игр 2011 года. На мировом первенстве в Тэгу занял 4-е место с результатом 17,47 м. Серебряный призёр чемпионата Европы 2018 года в составе сборной Азербайджана.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 208, + "generated_len": [ + 260 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.416666666666667, + "len": 0.9923664122137404, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 133926, + 104393, + 106886, + 103172, + 5927, + 104472, + 102224, + 18600, + 103238, + 13, + 132405, + 34613, + 107736, + 101051, + 91146, + 57186, + 2001, + 16, + 20, + 15, + 101624, + 13, + 105886, + 114809, + 102940, + 112163, + 101162, + 25, + 125685, + 11, + 102005, + 102882, + 35723, + 105349, + 17766, + 89052, + 11, + 100483, + 101347, + 50819, + 7952, + 94962, + 21923, + 107550, + 102395, + 39988, + 122784, + 46177, + 111207, + 26, + 101799, + 102125, + 100503, + 11, + 100267, + 102187, + 100278, + 65619, + 126884, + 57297, + 104395, + 13, + 90033, + 101468, + 101914, + 5372, + 101468, + 131957, + 40842, + 68271, + 104729, + 112906, + 11, + 103063, + 115032, + 122578, + 73385, + 105007, + 25, + 105010, + 5927, + 103211, + 5173, + 79686, + 11, + 11047, + 13, + 22918, + 2637, + 103243, + 104795, + 46177, + 5927, + 100629, + 138367, + 100452, + 13337, + 90877, + 13, + 23784, + 102269, + 102395, + 100263, + 110837, + 114641, + 101288, + 56729, + 117669, + 7820, + 15088, + 105483, + 14009, + 25, + 13373, + 103270, + 111397, + 100335, + 33742, + 68271, + 102521, + 13433, + 11, + 18154, + 100759, + 7740, + 111641, + 102125, + 7952, + 94962, + 114612, + 13 + ], + "text": " Ингредиенты смешиваются непосредственно в бокале рокс. Стандартный объём одной порции —150 мл. Далее наступает самый важный момент: бокал, накрытый ладонью, ударяется дном об поверхность барной стойки или стола; обычно удар один, но иногда их число доходит до трёх. Полученный вспененный напиток подается посетителю, которому рекомендуется выпить его немедленно: фактически в форме пены, т. е., залпом или в несколько быстрых глотков. В некоторых барах применяется экстремальный метод подачи коктейля: на голову клиента надевается каска, по которой и производится удар дном стакана." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Ингредиенты смешиваются непосредственно в бокале рокс. Стандартный объём одной порции —150 мл. Далее наступает самый важный момент: бокал, накрытый ладонью ударяется дном об поверхность барной стойки или стола; обычно удар один, но иногда их число доходит до трёх. Полученный вспененный напиток подается посетителю, которому рекомендуется выпить его немедленно: фактически в форме пены, т. е., залпом или в несколько быстрых глотков. В некоторых барах применяется экстремальный метод подачи коктейля: на голову клиента надевается каска, по которой и производится удар дном стакана." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Ингредиенты смешиваются непосредственно в бокале рокс. Стандартный объём одной порции —150 мл. Далее наступает самый важный момент: бокал, накрытый ладонью ударяется дном об поверхность барной стойки или стола; обычно удар один, но иногда их число доходит до трёх. Полученный вспененный напиток подается посетителю, которому рекомендуется выпить его немедленно: фактически в форме пены, т. е., залпом или в несколько быстрых глотков. В некоторых барах применяется экстремальный метод подачи коктейля: на голову клиента надевается каска, по которой и производится удар дном стакана.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 152, + "generated_len": [ + 260 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.953703703703703, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 103712, + 100765, + 118179, + 106281, + 4329, + 91398, + 111475, + 107867, + 12769, + 99674, + 112750, + 131120, + 61312, + 108784, + 109016, + 11, + 108784, + 106602, + 100268, + 106281, + 4329, + 13, + 102598, + 101610, + 106176, + 108784, + 118096, + 119782, + 5927, + 106403, + 26, + 108784, + 100850, + 26, + 129286, + 142255, + 102769, + 26, + 146708, + 39903, + 40251, + 114309, + 7740, + 111589, + 7820, + 103871, + 107647, + 12769, + 145470, + 125120, + 15088, + 13289, + 7740, + 7820, + 104220, + 100847, + 122560, + 13, + 23784, + 101237, + 101463, + 101253, + 23934, + 125933, + 116561, + 124247, + 101746, + 106281, + 103199, + 101889, + 106176, + 12769, + 121227, + 102844, + 101175, + 112709, + 61312, + 59346, + 80265, + 108292, + 100445, + 60748, + 50807, + 18154, + 110674, + 104329, + 100709, + 101263, + 13373, + 104546, + 11, + 110642, + 61379, + 11, + 29619, + 2156, + 110933, + 510, + 101859, + 18999, + 60, + 13373, + 92175, + 64084, + 117991, + 102378, + 13 + ], + "text": " Среди других традиций лицея можно выделить праздник «Первого звонка», День учителя, День Пушкинского лицея. Также следует отметить День открытых дверей в феврале; День матери; Декаду наук; празднование Дня Победы и подготовку к празднику «Последний Звонок» и к выпускному вечеру. В качестве ещё одного из ярких направлений творческого развития лицеистов необходимо отметить «Математические бои», то есть соревнования между классами по решению математических задач на скорость, корректность, полноту [решения] на состязательной основе." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Среди других традиций лицея можно выделить праздник «Первого звонка», День учителя, День Пушкинского лицея. Также следует отметить День открытых дверей в феврале; День матери; Декаду наук; празднование Дня Победы и подготовку к празднику «Последний Звонок» и к выпускному вечеру. В качестве ещё одного из ярких направлений творческого развития лицеистов необходимо отметить «Математические бои», то есть соревнования между классами по решению математических задач на скорость, корректность, полноту [решения] на состязательной основе." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Среди других традиций лицея можно выделить праздник «Первого звонка», День учителя, День Пушкинского лицея. Также следует отметить День открытых дверей в феврале; День матери; Декаду наук; празднование Дня Победы и подготовку к празднику «Последний Звонок» и к выпускному вечеру. В качестве ещё одного из ярких направлений творческого развития лицеистов необходимо отметить «Математические бои», то есть соревнования между классами по решению математических задач на скорость, корректность, полноту [решения] на состязательной основе.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 129, + "generated_len": [ + 260 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.009174311926605, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 104579, + 126973, + 23934, + 145456, + 112347, + 5927, + 103506, + 101521, + 101542, + 44613, + 118841, + 44100, + 103749, + 16494, + 108830, + 130906, + 107942, + 11, + 100742, + 106336, + 5927, + 220, + 16, + 21, + 12, + 12415, + 103539, + 104311, + 103523, + 13, + 122968, + 102708, + 2001, + 146422, + 110809, + 64571, + 9882, + 61565, + 100262, + 2156, + 13, + 104043, + 108584, + 18154, + 122640, + 146068, + 2001, + 114492, + 104236, + 104560, + 107403, + 13, + 23784, + 220, + 16, + 24, + 21, + 18, + 2345, + 16, + 24, + 22, + 18, + 108970, + 5927, + 106690, + 124356, + 18154, + 122640, + 146068, + 14257, + 45458, + 13, + 105867, + 100586, + 108830, + 13, + 23784, + 220, + 16, + 24, + 22, + 15, + 111482, + 123065, + 105751, + 13373, + 141754, + 120431, + 101741, + 23227, + 13, + 43896, + 13, + 133949, + 13, + 112803, + 2001, + 127045, + 13433, + 115983, + 106007, + 10589, + 12, + 113683, + 100844, + 18437, + 13 + ], + "text": " Был младшим из четверых сыновей в семье музыканта Гилеля Хаимовича Герингаса, служившего в 16-й Литовской дивизии. Старший брат — израильский композитор Бени Гилин. Первый учитель по классу виолончели — Валерий Иванович Раевский. В 1963—1973 учился в Московской консерватории по классу виолончели у М. Ростроповича. В 1970 завоевал золотую медаль на Международном конкурсе имени П. И. Чайковского. Жена — пианистка Татьяна Шац-Герингас." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Был младшим из четверых сыновей в семье музыканта Гилеля Хаимовича Герингаса, служившего в 16-й Литовской дивизии. Старший брат — израильский композитор Бени Гилин. Первый учитель по классу виолончели — Валерий Иванович Раевский. В 1963—1973 учился в Московской консерватории по классу виолончели у М. Ростроповича. В 1970 завоевал золотую медаль на Международном конкурсе имени П. И. Чайковского. Жена — пианистка Татьяна Шац-Герингас." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Был младшим из четверых сыновей в семье музыканта Гилеля Хаимовича Герингаса, служившего в 16-й Литовской дивизии. Старший брат — израильский композитор Бени Гилин. Первый учитель по классу виолончели — Валерий Иванович Раевский. В 1963—1973 учился в Московской консерватории по классу виолончели у М. Ростроповича. В 1970 завоевал золотую медаль на Международном конкурсе имени П. И. Чайковского. Жена — пианистка Татьяна Шац-Герингас.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 130, + "generated_len": [ + 232 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.436893203883495, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 36479, + 106220, + 2001, + 100503, + 23934, + 220, + 17, + 18, + 109096, + 109008, + 117328, + 13, + 100287, + 108265, + 13373, + 220, + 16, + 101723, + 220, + 17, + 15, + 17, + 15, + 100261, + 111632, + 102169, + 110825, + 220, + 20, + 17, + 19, + 220, + 18, + 20, + 19, + 100739, + 11, + 116394, + 2001, + 220, + 16, + 18, + 11, + 15, + 20, + 22, + 105354, + 1761, + 134669, + 17, + 13, + 112951, + 105429, + 110825, + 220, + 19, + 15, + 11, + 16, + 21, + 101405, + 17, + 13, + 36479, + 106220, + 104448, + 7820, + 117835, + 20879, + 103460, + 117328, + 11, + 104245, + 100631, + 50807, + 113774, + 102068, + 13373, + 113123, + 7740, + 57855, + 100316, + 107582, + 13373, + 111379, + 13, + 132365, + 110137, + 116835, + 87008, + 117328, + 11, + 100445, + 102349, + 50807, + 118705, + 1482, + 7740, + 105023, + 14837, + 107582, + 13 + ], + "text": " Кото — один из 23 специальных районов Токио. По состоянию на 1 мая 2020 года численность населения составляла 524 354 человека, плотность — 13,057 чел./км2. Общая площадь составляла 40,16 км2. Кото расположен к востоку от центра Токио, ограничен реками Сумида на западе и Аракава на востоке. Занимает побережье Бухты Токио, между районами Тюо и Эдогава." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Кото — один из 23 специальных районов Токио. По состоянию на 1 мая 2020 года численность населения составляла 524 354 человека, плотность — 13,057 чел./км2. Общая площадь составляла 40,16 км2. Кото расположен к востоку от центра Токио, ограничен реками Сумида на западе и Аракава на востоке. Занимает побережье Бухты Токио, между районами Тюо и Эдогава." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Кото — один из 23 специальных районов Токио. По состоянию на 1 мая 2020 года численность населения составляла 524 354 человека, плотность — 13,057 чел./км2. Общая площадь составляла 40,16 км2. Кото расположен к востоку от центра Токио, ограничен реками Сумида на западе и Аракава на востоке. Занимает побережье Бухты Токио, между районами Тюо и Эдогава.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 124, + "generated_len": [ + 232 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.768421052631579, + "len": 1.0, + "lcs": 0.0 + }, + "predict": { + "tokens": [ + 125600, + 100269, + 107423, + 114141, + 7740, + 102633, + 104633, + 101776, + 2001, + 103875, + 112347, + 7740, + 102380, + 106605, + 13, + 59842, + 106212, + 113820, + 100274, + 116154, + 112347, + 20879, + 102511, + 111158, + 11, + 101060, + 73385, + 102730, + 130950, + 102036, + 5927, + 220, + 16, + 24, + 24, + 20, + 100281, + 5927, + 136553, + 2297, + 118944, + 5927, + 104334, + 220, + 18, + 18, + 100366, + 13, + 101420, + 101697, + 103939, + 100269, + 5524, + 106746, + 108406, + 16742, + 11, + 7740, + 14257, + 100498, + 100274, + 105530, + 104567, + 101776, + 13, + 125600, + 123570, + 5927, + 105277, + 7740, + 100269, + 140519, + 132149, + 16742, + 13, + 100420, + 110795, + 220, + 16, + 15, + 102039, + 220, + 17, + 15, + 16, + 22, + 100261, + 5927, + 104334, + 220, + 23, + 24, + 100366, + 13 + ], + "text": " Кларк был дважды женат и имел десять детей — шесть сыновей и четыре дочери. У Кларка было четверо сыновей от первого брака, хотя его сын Норман умер в 1995 году в Хеленсборо в возрасте 33 лет. Его второй брак был с Филоменой, и у них было шестеро детей. Кларк проживал в деревне и был церковным старостой. Он скончался 10 апреля 2017 года в возрасте 89 лет." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Кларк был дважды женат и имел десять детей — шесть сыновей и четыре дочери. У Кларка было четверо сыновей от первого брака, хотя его сын Норман умер в 1995 году в Хеленсборо в возрасте 33 лет. Его второй брак был с Филоменой, и у них было шестеро детей. Кларк поселился в деревне и был церковным старостой. Он умер 10 апреля 2017 года в возрасте 89 лет." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Кларк был дважды женат и имел десять детей — шесть сыновей и четыре дочери. У Кларка было четверо сыновей от первого брака, хотя его сын Норман умер в 1995 году в Хеленсборо в возрасте 33 лет. Его второй брак был с Филоменой, и у них было шестеро детей. Кларк поселился в деревне и был церковным старостой. Он умер 10 апреля 2017 года в возрасте 89 лет.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 116, + "generated_len": [ + 232 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.4941176470588236, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 105764, + 5927, + 103506, + 146125, + 12, + 100706, + 102994, + 4898, + 38722, + 1506, + 3865, + 13, + 102049, + 100550, + 104661, + 101608, + 5927, + 121379, + 7486, + 101254, + 13, + 102531, + 110735, + 5927, + 100680, + 16248, + 60488, + 3865, + 11, + 106667, + 13373, + 128598, + 109072, + 124265, + 122076, + 32985, + 40231, + 13, + 125634, + 128383, + 106937, + 100266, + 103529, + 100822, + 11, + 57855, + 107601, + 124744, + 100517, + 124765, + 16494, + 102479, + 90877, + 100449, + 52770, + 110093, + 102875, + 68506, + 109651, + 69775, + 13, + 100448, + 102328, + 39865, + 73385, + 73226, + 51736, + 102257, + 113458, + 101175, + 111374, + 13, + 138304, + 5927, + 106878, + 44155, + 106339, + 100266, + 146746, + 110804, + 330, + 39, + 9972, + 3343 + ], + "text": " Родился в семье кочевников-минангкабау. Среднее образование получил в Паданге. Затем переехал в Джакарту, поступил на медицинский факультет Университета Индонезия. Семья отличалась мусульманской религиозностью, Ариф Рахман Хаким практиковался как помощник муэдзина. Это определяло его правые антикоммунистические взгляды. Состоял в правомусульманской студенческой ассоциации \"HMI\"." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Родился в семье кочевников-минангкабау. Среднее образование получил в Паданге. Затем переехал в Джакарту, поступил на медицинский факультет Университета Индонезия. Семья отличалась мусульманской религиозностью, Ариф Рахман Хаким практиковался как помощник муэдзина. Это определяло его правые антикоммунистические взгляды. Состоял в правомусульманской студенческой ассоциации \"HMI\"." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Родился в семье кочевников-минангкабау. Среднее образование получил в Паданге. Затем переехал в Джакарту, поступил на медицинский факультет Университета Индонезия. Семья отличалась мусульманской религиозностью, Ариф Рахман Хаким практиковался как помощник муэдзина. Это определяло его правые антикоммунистические взгляды. Состоял в правомусульманской студенческой ассоциации \"HMI\".<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 106, + "generated_len": [ + 232 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.875, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 35448, + 10693, + 87008, + 60376, + 10693, + 15458, + 2001, + 108084, + 100273, + 106664, + 11, + 98851, + 104448, + 101108, + 105278, + 118830, + 101498, + 11, + 13373, + 104088, + 100995, + 101327, + 110075, + 13, + 116848, + 35448, + 10693, + 87008, + 22918, + 10693, + 15458, + 103528, + 330, + 121593, + 120292, + 3343, + 132378, + 102985, + 23934, + 220, + 16, + 18, + 100945, + 101072, + 7740, + 101324, + 100317, + 110542, + 11, + 220, + 24, + 23934, + 100646, + 104152, + 5927, + 101630, + 89554, + 100934, + 108441, + 102913, + 11, + 21022, + 105447, + 2001, + 5927, + 107517, + 94962, + 102913, + 13, + 100921, + 104842, + 101173, + 118780, + 44065, + 7740, + 116402, + 23934, + 109330, + 13337, + 106211, + 101794, + 114351, + 13, + 108591, + 112523, + 108658, + 102447, + 104032, + 104758, + 13, + 67891, + 18437, + 23680, + 50807, + 7740, + 131230, + 100308, + 101708, + 79686, + 100265, + 101563, + 13, + 23784, + 110314, + 100498, + 78876, + 108544, + 4655, + 45658, + 50223, + 13433, + 39103, + 11, + 100347, + 104084, + 108538, + 220, + 16, + 16, + 20, + 21, + 11, + 220, + 16, + 16, + 21, + 20, + 11, + 220, + 16, + 16, + 24, + 18, + 11, + 220, + 16, + 17, + 16, + 21, + 111272, + 7740, + 123835, + 100323, + 101957, + 50807, + 13, + 100303, + 50223, + 13433, + 39103, + 116083, + 122797, + 21022, + 111711, + 39988, + 101311, + 4929, + 102952, + 7740, + 18154, + 130598, + 109595, + 109986, + 104494, + 45658, + 106052, + 100659, + 45658, + 50223, + 13433, + 38808, + 13, + 23784, + 103464, + 2233, + 100457, + 102651, + 1532, + 80265, + 102818, + 5524, + 102348, + 104947, + 100349, + 5927, + 106587, + 119400, + 100349, + 107936, + 104464, + 50807, + 13, + 100287, + 102568, + 145263, + 103464, + 111996, + 102651, + 5524, + 105304, + 64880, + 100269, + 104770, + 5927, + 87915, + 2345, + 134994, + 119418, + 13, + 110431, + 108624, + 80265, + 104430, + 127490, + 13 + ], + "text": " Охты Ехци — армянский памятник, который расположен около деревни Бадара, на холме среди деревьев. Имя Охты ехци означает \"семь церквей\". Комплекс состоит из 13 культовых и светских зданий, 9 из которых находятся в полуразрушенном состоянии, а остальные — в разрушенном состоянии. Все здания однонефные и построены из грубоотёсанных камней. Основные сооружения расположены вокруг общей площади. Фасадами и окнами они обращены во двор. Вдоль них расставлены хачкары, которые датируются 1156, 1165, 1193, 1216 годами и последующими веками. Хачкары покрыты тонкой ажурной резьбой и по стилю исполнения соотносятся хаченским хачкарам. В монастырском комплексе есть церкви с прямоугольными в плане алтарными апсидами. По данным надписей монастырский комплекс с поселениями был построен в XII—XIII веках. Около монастыря есть большие кладбища." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Охты Ехци — армянский памятник, который расположен около деревни Бадара, на холме среди деревьев. Имя Охты ехци означает \"семь церквей\". Комплекс состоит из 13 культовых и светский зданий, 9 из которых находятся в полуразрушенном состоянии, а остальные — в разрушенном состоянии. Все здания однонефные и построены из грубоотёсанных камней. Основные сооружения расположены вокруг общей площади. Фасадами и окнами они обращены во двор. Вдоль них расставлены хачкары, которые датируются 1156, 1165, 1193, 1216 годами и последующими веками. Хачкары покрыты тонкой ажурной резьбой и по стилю исполнения соотносятся хаченским хачкарам. В монастырском комплексе есть церкви с прямоугольными в плане алтарными апсидами. По данным надписей монастырский комплекс с поселениями был построен в XII—XIII веках. Около монастыря есть большие кладбища." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Охты Ехци — армянский памятник, который расположен около деревни Бадара, на холме среди деревьев. Имя Охты ехци означает \"семь церквей\". Комплекс состоит из 13 культовых и светский зданий, 9 из которых находятся в полуразрушенном состоянии, а остальные — в разрушенном состоянии. Все здания однонефные и построены из грубоотёсанных камней. Основные сооружения расположены вокруг общей площади. Фасадами и окнами они обращены во двор. Вдоль них расставлены хачкары, которые датируются 1156, 1165, 1193, 1216 годами и последующими веками. Хачкары покрыты тонкой ажурной резьбой и по стилю исполнения соотносятся хаченским хачкарам. В монастырском комплексе есть церкви с прямоугольными в плане алтарными апсидами. По данным надписей монастырский комплекс с поселениями был построен в XII—XIII веках. Около монастыря есть большие кладбища.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 237, + "generated_len": [ + 232 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.4132231404958677, + "len": 0.9916666666666667, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 139941, + 1482, + 5927, + 220, + 16, + 24, + 20, + 22, + 100281, + 103799, + 109093, + 105493, + 330, + 124830, + 101193, + 105468, + 102894, + 498, + 330, + 116727, + 51736, + 105468, + 102894, + 1, + 7740, + 330, + 27435, + 19039, + 108333, + 67745, + 1506, + 3343, + 100293, + 109342, + 107001, + 102933, + 11, + 104084, + 131513, + 220, + 16, + 24, + 16, + 21, + 12, + 6578, + 111165, + 11, + 101768, + 102565, + 5524, + 103045, + 100583, + 112098, + 50807, + 5927, + 101951, + 107001, + 102933, + 40842, + 104243, + 131627, + 111693, + 102894, + 13, + 118889, + 122415, + 11, + 108941, + 5524, + 103045, + 100583, + 112098, + 50807, + 11, + 52770, + 57925, + 100995, + 35592, + 1532, + 107001, + 102933, + 13, + 112945, + 100288, + 5927, + 100380, + 137298, + 100732, + 112098, + 6856, + 111380, + 104491, + 25, + 113760, + 108333, + 67745, + 1506, + 11, + 118880, + 5372, + 17165, + 7740, + 61565, + 8341, + 16331, + 13433, + 13, + 110701, + 113760, + 108333, + 67745, + 1506, + 103527, + 31443, + 44946, + 101021, + 100758, + 104491, + 497 + ], + "text": " Образовано в 1957 году путем объединения сел \"Великие Хутора\", \"Малые Хутора\" и \"Кайдачиха\". На карте Винницы, датируемой 1916-м годом, находится рядом с Малыми хуторами в составе Винницы под названием Большие хутора. Числились, наряду с Малыми хуторами, как предместье Винницы. Исторически в состав Винницких хуторов входили села: Кайдачиха, Тененки и Геталка. Название Кайдачиха сохранила за собой часть села.." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Образовано в 1957 году путем объединения сел \"Великие Хутора\", \"Малые Хутора\" и \"Кайдачиха\". На карте Винницы, датируемой 1916-м годом, находится рядом с Малыми хуторами в составе Винницы под названием Большие хутора. Числились, наряду с Малыми хуторами, как предместье Винницы. Исторически в состав Винницких хуторов входили села: Кайдачиха, Тененки и Геталка. Название Кайдачиха сохранила за собой часть села.." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Образовано в 1957 году путем объединения сел \"Великие Хутора\", \"Малые Хутора\" и \"Кайдачиха\". На карте Винницы, датируемой 1916-м годом, находится рядом с Малыми хуторами в составе Винницы под названием Большие хутора. Числились, наряду с Малыми хуторами, как предместье Винницы. Исторически в состав Винницких хуторов входили села: Кайдачиха, Тененки и Геталка. Название Кайдачиха сохранила за собой часть села..<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 141, + "generated_len": [ + 232 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.9956896551724137, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 108027, + 110947, + 23446, + 5927, + 32985, + 100564, + 109898, + 5927, + 141385, + 13, + 2001, + 138489, + 11, + 101576, + 112340, + 100663, + 110947, + 23446, + 23934, + 5927, + 64292, + 17165, + 7740, + 126389, + 16016, + 106705, + 139228, + 39900, + 110079, + 12769, + 16604, + 37773, + 16742, + 111096, + 13289, + 113751, + 101267, + 113751, + 101267, + 2001, + 143481, + 34943, + 117175, + 104821, + 101758, + 102254, + 103659, + 12507, + 11, + 100727, + 119450, + 5927, + 139228, + 94962, + 118067, + 12769, + 16604, + 37773, + 16742, + 111096, + 75608, + 116197, + 102983, + 136569, + 17766, + 110409, + 101812, + 142270, + 105044, + 100796, + 13, + 102584, + 100640, + 146101, + 101758, + 100721, + 103659, + 23784, + 105045, + 11, + 82250, + 146497, + 144605, + 104903, + 129572, + 11, + 101300, + 100339, + 136892, + 146493, + 101632, + 100806, + 103659, + 11, + 112286, + 45093, + 102476, + 19175, + 115579, + 116913, + 101339, + 13, + 105244, + 113751, + 101267, + 113751, + 101267, + 101476, + 100270, + 115619, + 100663, + 102107, + 36352, + 13, + 118857, + 101310, + 135957, + 6856, + 86610, + 101353, + 2001, + 100664, + 100883, + 113751, + 101267, + 113751, + 101267, + 13, + 132384, + 2001, + 127224, + 139228, + 39900, + 110079, + 13, + 39903, + 100316, + 17766, + 2001, + 130574, + 103798, + 135292, + 104475, + 11, + 98851, + 119450, + 5927, + 139228, + 94962, + 118067, + 12769, + 16604, + 37773, + 16742, + 111096, + 13289, + 7740, + 106316, + 141038, + 126913, + 13, + 104903, + 129572, + 2001, + 125205, + 13433, + 132384, + 16016, + 135214, + 50306, + 39903, + 106974, + 64571, + 64569, + 40211, + 2297, + 2001, + 125737, + 110405, + 116915, + 103412, + 121534, + 34613, + 131139, + 100855, + 11, + 98851, + 102127, + 5524, + 103285, + 23227, + 48445, + 13, + 104264, + 14837, + 16331, + 5927, + 102403, + 117991, + 103400, + 13, + 108456, + 103103, + 73385, + 105558, + 100262, + 104103, + 101552, + 36352, + 106232, + 12, + 27435, + 107950, + 3865, + 11, + 100267, + 39903, + 106974, + 19175, + 101966, + 109060, + 86995, + 12182, + 17165, + 11, + 102262, + 100310, + 5927, + 103808, + 1532, + 13 + ], + "text": " Отец Бонни везёт семью в путешествии. — игрушка, которую сделала себе Бонни из вилки и мусора.;Из антикварного магазина «Второй шанс» Габби Габби — кукла со сломанным голосовым аппаратом, которая живёт в антикварном магазине «Второй шанс». Является главным антагонистом четвёртой части. Хотела заполучить голосовой аппарат Вуди, чтобы понравиться девочке Хармони, однако когда шериф пожертвовал ей свой аппарат, девочка все равно не взяла куклу. Вскоре Габби Габби всё же нашла себе хозяйку. Куклы чревовещателя — помощники Габби Габби. Маргарет — хозяйка антикварного магазина. Дракон — серый полосатый кот, который живёт в антикварном магазине «Второй шанс» и любит уничтожать игрушки. Хармони — внучка Маргарет.;Другие Дюк Бубумс — игрушечный мотоциклетный каскадёр, который знаком с Бо Пип. Помогал в спасательной операции. Ранее давно его подарили мальчику Жан-Клоду, но Дюк не смог выполнить трюки, какие были в рекламе." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Отец Бонни везёт семью в путешествии. — игрушка, которую сделала себе Бонни из вилки и мусора.;Из антикварного магазина «Второй шанс» Габби Габби — кукла со сломанным голосовым аппаратом, которая живёт в антикварном магазине «Второй шанс». Является главным антагонистом четвёртой части. Хотела заполучить голосовой аппарат Вуди, чтобы понравиться девочке Хармони, однако когда шериф пожертвовал ей свой аппарат, девочка все ровно не взяла куклу. Вскоре Габби Габби всё же нашла себе хозяйку. Куклы чревовещателя — помощники Габби Габби. Маргарет — хозяйка антикварного магазина. Дракон — серый полосатый кот, который живёт в антикварном магазине «Второй шанс» и любит уничтожать игрушки. Хармони — внучка Маргарет.;Другие Дюк Бубумс — игрушечный мотоциклетный каскадёр, который знаком с Бо Пип. Помогал в спасательной операции. Ранее давно его подарили мальчику Жан-Клоду, но Дюк не смог выполнить трюки, какие были в рекламе." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Отец Бонни везёт семью в путешествии. — игрушка, которую сделала себе Бонни из вилки и мусора.;Из антикварного магазина «Второй шанс» Габби Габби — кукла со сломанным голосовым аппаратом, которая живёт в антикварном магазине «Второй шанс». Является главным антагонистом четвёртой части. Хотела заполучить голосовой аппарат Вуди, чтобы понравиться девочке Хармони, однако когда шериф пожертвовал ей свой аппарат, девочка все ровно не взяла куклу. Вскоре Габби Габби всё же нашла себе хозяйку. Куклы чревовещателя — помощники Габби Габби. Маргарет — хозяйка антикварного магазина. Дракон — серый полосатый кот, который живёт в антикварном магазине «Второй шанс» и любит уничтожать игрушки. Хармони — внучка Маргарет.;Другие Дюк Бубумс — игрушечный мотоциклетный каскадёр, который знаком с Бо Пип. Помогал в спасательной операции. Ранее давно его подарили мальчику Жан-Клоду, но Дюк не смог выполнить трюки, какие были в рекламе.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 253, + "generated_len": [ + 232 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.9452054794520546, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 102775, + 101385, + 5927, + 220, + 16, + 24, + 18, + 22, + 100281, + 100265, + 92878, + 127566, + 102285, + 104801, + 70397, + 78746, + 17165, + 7740, + 107921, + 104801, + 70397, + 78746, + 100268, + 111416, + 94071, + 13, + 113940, + 100647, + 102349, + 100256, + 107187, + 103747, + 35723, + 100268, + 101684, + 13, + 106524, + 51736, + 102850, + 29256, + 62776, + 104491, + 7740, + 113328, + 140777, + 5927, + 220, + 16, + 24, + 20, + 16, + 11, + 220, + 16, + 24, + 20, + 24, + 11, + 220, + 16, + 24, + 21, + 23, + 101991, + 102850, + 129203, + 111850, + 106203, + 7820, + 105949, + 3865, + 114845, + 103460, + 5927, + 100959, + 5524, + 100364, + 124260, + 106191, + 12, + 106597, + 102416, + 112476, + 13, + 107618, + 114054, + 101619, + 23934, + 121674, + 100521, + 140281, + 5927, + 220, + 16, + 24, + 22, + 19, + 100281, + 13, + 134521, + 118595, + 103986, + 110964, + 1506, + 20879, + 220, + 17, + 24, + 101871, + 220, + 16, + 24, + 24, + 23, + 100261, + 2360, + 220, + 19, + 19, + 18, + 100427, + 13, + 121674, + 69775, + 11, + 105637, + 103116, + 109852, + 5173, + 13, + 101913, + 36497, + 61565, + 101094, + 11, + 114707, + 23934, + 119235, + 44786, + 53376, + 105637, + 12, + 134632, + 120106, + 13 + ], + "text": " Основано в 1937 году во время освоения реки Индигирки и формирования Индигирского пароходства. Являлось районным центром Абыйского района. Частые подтопления села и сильные наводнения в 1951, 1959, 1968 годах подтолкнули руководство к переносу районного центра в место с более эффективным социально-экономическим развитием. Районный центр из Дружины перенесли в 1974 году. Постановлением Правительства Республики Саха от 29 сентября 1998 года No 443 пос. Дружина, административно подчинённый п. Белая Гора, исключен из учётных данных административно-территориального деления." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Основано в 1937 году во время освоения реки Индигирки и формирования Индигирского пароходства. Являлось районным центром Абыйского района. Частые подтопления села и сильные наводнения в 1951, 1959, 1968 годах подтолкнули руководство к переносу районного центра в место с более эффективным социально-экономическим развитием. Районный центр из Дружины перенесли в 1974 году. Постановлением Правительства Республики Саха от 29 сентября 1998 года No 443 пос. Дружина, административно подчинённый п. Белая Гора, исключен из учётных данных административно-территориального деления." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Основано в 1937 году во время освоения реки Индигирки и формирования Индигирского пароходства. Являлось районным центром Абыйского района. Частые подтопления села и сильные наводнения в 1951, 1959, 1968 годах подтолкнули руководство к переносу районного центра в место с более эффективным социально-экономическим развитием. Районный центр из Дружины перенесли в 1974 году. Постановлением Правительства Республики Саха от 29 сентября 1998 года No 443 пос. Дружина, административно подчинённый п. Белая Гора, исключен из учётных данных административно-территориального деления.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 167, + "generated_len": [ + 232 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.73015873015873, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 64571, + 61390, + 102924, + 100688, + 11, + 130301, + 141489, + 13, + 130301, + 141489, + 64571, + 61390, + 102924, + 100688, + 2001, + 100669, + 52429, + 111824, + 29619, + 112757, + 104051, + 125729, + 5927, + 106350, + 1532, + 12769, + 144889, + 13289, + 137452, + 100268, + 101684, + 13, + 107355, + 142888, + 101489, + 100811, + 102973, + 13, + 108854, + 101943, + 142835, + 13, + 125175, + 70959, + 107528, + 100811, + 102973, + 13, + 122935, + 104876, + 103268, + 110083, + 107885, + 13, + 102583, + 8341, + 34613, + 110766, + 137452, + 100268, + 101684, + 13 + ], + "text": " Бояринова, Лидия Владимировна. Лидия Владимировна Бояринова — звеньевая полеводческого звена в колхозе «Авангард» Чкаловского района. Герой Социалистического труда. Участница ВДНХ. Ударник коммунистического труда. Депутат сельского Совета народных депутатов. Почетный гражданин Чкаловского района." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Бояринова, Лидия Владимировна. Лидия Владимировна Бояринова — звеньевая полеводческого звена в колхозе «Авангард» Чкаловского района. Герой Социалистического труда. Участница ВДНХ. Ударник коммунистического труда. Депутат сельского Совета народных депутатов. Почетный гражданин Чкаловского района." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Бояринова, Лидия Владимировна. Лидия Владимировна Бояринова — звеньевая полеводческого звена в колхозе «Авангард» Чкаловского района. Герой Социалистического труда. Участница ВДНХ. Ударник коммунистического труда. Депутат сельского Совета народных депутатов. Почетный гражданин Чкаловского района.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 84, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.746987951807229, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 131687, + 5927, + 102070, + 69463, + 100303, + 103535, + 2297, + 102971, + 104944, + 51418, + 104254, + 116854, + 100547, + 100872, + 100773, + 2001, + 123154, + 91883, + 11, + 98851, + 11, + 52770, + 105309, + 11, + 5927, + 100597, + 108696, + 143285, + 101991, + 100269, + 104424, + 5524, + 124373, + 116009, + 91146, + 2156, + 106624, + 13, + 220, + 17, + 22, + 101922, + 220, + 17, + 15, + 15, + 22, + 100261, + 5927, + 122330, + 100601, + 135502, + 100266, + 101520, + 37277, + 7486, + 57186, + 468, + 33296, + 111324, + 102502, + 108212, + 11, + 48489, + 100895, + 100269, + 102983, + 124205, + 100272, + 13, + 116854, + 100547, + 100872, + 100773, + 108574, + 100485, + 123381, + 5927, + 220, + 16, + 20, + 103030, + 104490, + 1506, + 5524, + 106896, + 50807, + 11, + 100267, + 19175, + 109607, + 107147, + 102967, + 13373, + 29619, + 70397, + 100518, + 1532, + 13373, + 117916, + 61379, + 7820, + 116139, + 24697, + 5927, + 103128, + 61498, + 100046, + 13, + 116854, + 100547, + 100872, + 100773, + 132673, + 106200, + 107147, + 102967, + 5927, + 93747, + 13373, + 111805, + 15752, + 109314, + 109567, + 13, + 23784, + 106160, + 220, + 17, + 15, + 15, + 22, + 100261, + 105402, + 119372, + 100580, + 50693, + 102546, + 100843, + 40842, + 97065, + 102072, + 100395, + 100617, + 13373, + 220, + 17, + 20, + 220, + 15, + 15, + 15, + 103340, + 101066, + 13, + 101420, + 132635, + 5927, + 107495, + 105063, + 94962, + 105404, + 100363, + 119372, + 5927, + 107103, + 103555, + 5927, + 49520, + 124627, + 35448, + 53671, + 5927, + 106403, + 220, + 16, + 24, + 22, + 21, + 100261, + 11, + 78757, + 14257, + 105821, + 100826, + 100265, + 92878, + 23934, + 14525, + 106474, + 100577, + 13, + 105487, + 101607, + 19175, + 100274, + 116510, + 1482, + 118271, + 5927, + 101822, + 119372, + 100580, + 50693, + 102546, + 100843, + 13, + 57855, + 101824, + 15088, + 8131, + 110423, + 64571, + 106469, + 11320, + 101040, + 116949, + 104041, + 8379, + 124178, + 11, + 5927, + 100358, + 101504, + 7740, + 13373, + 110043, + 13373, + 109976, + 17618, + 106564, + 100580, + 50693, + 102546, + 100843, + 11, + 103831, + 110922, + 11, + 100267, + 126455, + 119631, + 11, + 48489, + 102412, + 100641, + 115266, + 13 + ], + "text": " Полиция в Парма Хайтс арестовала Теда Ламборджине — пенсионера, который, как считается, в семидесятых годах был связан с производством детской порнографии. 27 марта 2007 года в эфире детройтской телестанции WXYZ следователи сказали, что тот был главным подозреваемым. Ламборджине признал себя виновным в 15 случаях секса с мальчиками, но не согласился пройти тест на полиграфе на причастность к убийствам в Окленде. Ламборджине отклонил предложение пройти тест в ответ на смягчение наказания. В октябре 2007 года семья Марка Стеббинса подала иск против него на 25 000 долларов США. Его обвинили в четырёхдневном удержании Марка в своём доме в Роял Оке в феврале 1976 года, перед удушением во время изнасилования. Ему никогда не было предъявлено обвинение в смерти Марка Стеббинса. Адвокат Дэвид Бинкли ходатайствует о компенсации, в том числе и на расходы на погребение брата Стеббинса, Майкла, но подчёркивает, что деньги вторичны." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Полиция в Парма Хайтс арестовала Теда Ламборджине — пенсионера, который, как считается, в семидесятых годах был связан с производством детской порнографии. 27 марта 2007 года в эфире детройтской телестанции WXYZ следователи сказали, что тот был главным подозреваемым. Ламборджине признал себя виновным в 15 случаях секса с мальчиками, но не согласился пройти тест на полиграфе на причастность к убийствам в Окленде. Ламборджине отклонил предложение пройти тест в ответ на смягчение наказания. В октябре 2007 года семья Марка Стеббинса подала иск против него на 25 000 долларов США. Его обвинили в четырёхдневном удерживании Марка в своём доме в Роял Оке в феврале 1976 года, перед удушением во время изнасилования. Ему никогда не было предъявлено обвинение в смерти Марка Стеббинса. Адвокат Дэвид Бинкли ходатайствует о компенсации, в том числе и на расходы на погребение брата Стеббинса, Майкла, но подчёркивает, что деньги вторичны." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Полиция в Парма Хайтс арестовала Теда Ламборджине — пенсионера, который, как считается, в семидесятых годах был связан с производством детской порнографии. 27 марта 2007 года в эфире детройтской телестанции WXYZ следователи сказали, что тот был главным подозреваемым. Ламборджине признал себя виновным в 15 случаях секса с мальчиками, но не согласился пройти тест на полиграфе на причастность к убийствам в Окленде. Ламборджине отклонил предложение пройти тест в ответ на смягчение наказания. В октябре 2007 года семья Марка Стеббинса подала иск против него на 25 000 долларов США. Его обвинили в четырёхдневном удерживании Марка в своём доме в Роял Оке в феврале 1976 года, перед удушением во время изнасилования. Ему никогда не было предъявлено обвинение в смерти Марка Стеббинса. Адвокат Дэвид Бинкли ходатайствует о компенсации, в том числе и на расходы на погребение брата Стеббинса, Майкла, но подчёркивает, что деньги вторичны.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 270, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.885542168674699, + "len": 0.9939393939393939, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 220, + 17, + 15, + 15, + 23, + 100281, + 105930, + 11, + 114731, + 44858, + 13373, + 106676, + 112814, + 101068, + 11, + 114401, + 5927, + 143956, + 11, + 44946, + 135167, + 100787, + 104244, + 118518, + 11, + 134179, + 102297, + 1840, + 37131, + 18154, + 104294, + 102605, + 13, + 100580, + 101209, + 102253, + 103399, + 11, + 108270, + 117473, + 123206, + 103331, + 101192, + 115769, + 106171, + 11, + 102025, + 101572, + 97065, + 5927, + 112172, + 1532, + 119955, + 13, + 104686, + 50693, + 44858, + 101648, + 100791, + 18154, + 109269, + 86610, + 100430, + 113274, + 117993, + 112172, + 138434, + 100629, + 100366, + 13, + 102484, + 112814, + 33742, + 11, + 101793, + 28089, + 104505, + 77495, + 112412, + 18154, + 118115, + 107726, + 11, + 126260, + 97185, + 115014, + 100909, + 107858, + 13, + 100420, + 107105, + 110711, + 5927, + 111090, + 11, + 48489, + 104830, + 106171, + 11, + 101192, + 115769, + 34943, + 102374, + 100721, + 110125, + 11, + 121064, + 101641, + 101970, + 69126, + 109219, + 13, + 23784, + 103715, + 100527, + 108574, + 105316, + 142561, + 112178, + 104830, + 103331, + 11, + 18154, + 103063, + 103399, + 101572, + 97065, + 5927, + 112172, + 1532, + 11, + 7740, + 128412, + 102025, + 86291, + 113219, + 109911, + 112814, + 116758, + 5927, + 109007, + 220, + 20, + 22, + 19, + 101103, + 102643, + 13, + 100513, + 101390, + 120708, + 124073, + 93129, + 100568, + 103107, + 1506, + 7740, + 115631, + 103067, + 97065, + 12769, + 146760, + 104322, + 75608 + ], + "text": " В 2008 году машина, оформленная на Владимира Сараева, попала в аварию, за рулём находился родственник, управляющий автомобилем по доверенности. Страховая компания, воспользовавшись пунктом правил заключённого договора, полностью отказала в выплате ущерба. Судебная тяжба по возмещению компенсационных выплат длилась несколько лет. Владимир Сараев, изучив судебную практику по подобным делам, взялся сам представлять свои интересы. Он сумел доказать в суде, что пункт договора, заключённого со страховой компанией, противоречит гражданскому кодексу. В итоге суд признал противоречащим закону пункт правил, по которому компания отказала в выплате, и постановил полностью возместить ущерб Сараеву в размере 574 тысяч рублей. За этим процессом пристально следила пресса и отчёт опубликовала «Комсомольская правда»." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В 2008 году машина, оформленная на Владимира Сараева, попала в аварию, за рулём находился родственник, управляющий автомобилем по доверенности. Страховая компания, воспользовавшись пунктом правил заключённого договора, полностью отказала в выплате ущерба. Судебная тяжба по возмещению компенсационных выплат длилась несколько лет. Владимир Сараев, изучив судебную практику по подобным делам, взялся сам представлять свои интересы. Он сумел доказать в суде, что пункт договора, заключённого со страховой компанией противоречит гражданскому кодексу. В итоге суд признал противоречащим закону пункт правил, по которому компания отказала в выплате, и постановил полностью возместить ущерб Сараеву в размере 574 тысяч рублей. За этим процессом пристально следила пресса и отчёт опубликовала «Комсомольская правда»." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В 2008 году машина, оформленная на Владимира Сараева, попала в аварию, за рулём находился родственник, управляющий автомобилем по доверенности. Страховая компания, воспользовавшись пунктом правил заключённого договора, полностью отказала в выплате ущерба. Судебная тяжба по возмещению компенсационных выплат длилась несколько лет. Владимир Сараев, изучив судебную практику по подобным делам, взялся сам представлять свои интересы. Он сумел доказать в суде, что пункт договора, заключённого со страховой компанией противоречит гражданскому кодексу. В итоге суд признал противоречащим закону пункт правил, по которому компания отказала в выплате, и постановил полностью возместить ущерб Сараеву в размере 574 тысяч рублей. За этим процессом пристально следила пресса и отчёт опубликовала «Комсомольская правда».<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 186, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.526315789473684, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 106888, + 100273, + 110128, + 119387, + 12, + 39091, + 107019, + 12, + 100046, + 12, + 118664, + 23680, + 16331, + 49907, + 1532, + 2001, + 110128, + 5927, + 102215, + 61565, + 113698, + 16331, + 118808, + 5927, + 133124, + 106186, + 107006, + 7753, + 23297, + 13, + 129753, + 102003, + 101329, + 100269, + 104860, + 5927, + 220, + 16, + 18, + 19, + 15, + 100281, + 126941, + 103241, + 103415, + 103922, + 54343, + 13373, + 101883, + 102164, + 23446, + 11, + 100416, + 18154, + 131923, + 100342, + 87858, + 51412, + 138815, + 13433, + 105836, + 4655, + 105018, + 23680, + 16331, + 49907, + 100266, + 13, + 23784, + 94515, + 104386, + 5927, + 116373, + 108247, + 103018, + 140692, + 7740, + 113391, + 11, + 100741, + 114679, + 11, + 137466, + 7740, + 108273, + 101728, + 23934, + 102214, + 104642, + 5927, + 106627, + 105140, + 13, + 101318, + 53694, + 101364, + 107846, + 110556, + 140874, + 141242, + 100592, + 2001, + 5927, + 102572, + 11, + 100971, + 105950, + 79686, + 106557, + 137283, + 100434, + 7740, + 100926, + 102730, + 143951, + 17244, + 13, + 23784, + 220, + 16, + 23, + 15, + 23, + 100281, + 110128, + 133237, + 39479, + 135326, + 103256, + 25, + 73385, + 117929, + 11320, + 137675, + 101568, + 100455, + 109502, + 13, + 23784, + 127551, + 101150, + 5927, + 101666, + 30388, + 5927, + 13, + 21923, + 56008, + 102912, + 100262, + 18034, + 101257, + 143147, + 100455, + 119842, + 13, + 116197, + 103640, + 101968, + 102382, + 11, + 5927, + 101403, + 128369, + 45093, + 104660, + 133124, + 110180, + 124331, + 104660, + 107495, + 123609, + 13, + 143344, + 100447, + 131016, + 5927, + 74432, + 133479, + 114959, + 116251, + 5927, + 220, + 16, + 24, + 24, + 18, + 100281, + 13 + ], + "text": " Королевский монастырь Санта-Мария-де-Гуадалупе — монастырь в городе Гвадалупа в испанской провинции Касерес. Монастырь был основан в 1340 году королём Альфонсом XI на месте часовни, где по легенде была найдена статуэтка Девы Гуадалупской. В XIV веке в монастыре работали школы грамматики и медицины, три больницы, аптека и находилась одна из самых больших в Испании библиотек. До XV века являлся местом погребения королевских особ — в частности, здесь похоронены Мария Арагонская и её сын Энрике IV. В 1808 году монастырь подвергся разграблению: его разрушили наполеоновские солдаты. В нынешнем виде в начале XX в. обитель восстановили францисканские монахи. Является памятником культуры, в котором объединены все направления испанской архитектуры религиозного направления четырёх столетий. Включён ЮНЕСКО в список Всемирного культурного наследия в 1993 году." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Королевский монастырь Санта-Мария-де-Гуадалупе — монастырь в городе Гвадалупа в испанской провинции Касерес. Монастырь был основан в 1340 году королём Альфонсом XI на месте часовни, где по легенде была найдена статуэтка Девы Гуадалупской. В XIV веке в монастыре работали школы грамматики и медицины, три больницы, аптека и находилась одна из самых больших в Испании библиотек. До XV века являлся местом погребения королевских особ — в частности, здесь похоронены Мария Арагонская и её сын Энрике IV. В 1808 году монастырь подвергся разграблению: его разрушили наполеоновские солдаты. В нынешнем виде в начале XX в. обитель восстановили францисканские монахи. Является памятником культуры, в котором объединены все направления испанской архитектуры религиозного направления четырех столетий. Включён ЮНЕСКО в список Всемирного культурного наследия в 1993 году." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Королевский монастырь Санта-Мария-де-Гуадалупе — монастырь в городе Гвадалупа в испанской провинции Касерес. Монастырь был основан в 1340 году королём Альфонсом XI на месте часовни, где по легенде была найдена статуэтка Девы Гуадалупской. В XIV веке в монастыре работали школы грамматики и медицины, три больницы, аптека и находилась одна из самых больших в Испании библиотек. До XV века являлся местом погребения королевских особ — в частности, здесь похоронены Мария Арагонская и её сын Энрике IV. В 1808 году монастырь подвергся разграблению: его разрушили наполеоновские солдаты. В нынешнем виде в начале XX в. обитель восстановили францисканские монахи. Является памятником культуры, в котором объединены все направления испанской архитектуры религиозного направления четырех столетий. Включён ЮНЕСКО в список Всемирного культурного наследия в 1993 году.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 211, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.5667870036101084, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 101318, + 105717, + 101364, + 110176, + 105304, + 133699, + 7820, + 109469, + 122053, + 111851, + 115544, + 100266, + 102852, + 12648, + 128744, + 102599, + 13, + 100738, + 104131, + 106091, + 358, + 110176, + 105304, + 114520, + 5927, + 220, + 16, + 22, + 15, + 23, + 2345, + 16, + 22, + 17, + 22, + 102042, + 13, + 5927, + 104202, + 12, + 104441, + 100986, + 145165, + 11, + 112818, + 100986, + 133305, + 13, + 23784, + 220, + 16, + 22, + 17, + 22, + 2345, + 16, + 22, + 22, + 20, + 102042, + 13, + 5927, + 107850, + 100986, + 145165, + 11, + 112818, + 100986, + 133305, + 13, + 23784, + 220, + 16, + 22, + 22, + 20, + 2345, + 16, + 22, + 24, + 21, + 102042, + 13, + 5927, + 112818, + 100763, + 144095, + 114655, + 11, + 104802, + 51795, + 106145, + 107694, + 13, + 23784, + 220, + 16, + 22, + 24, + 21, + 2345, + 16, + 24, + 17, + 24, + 102042, + 13, + 5927, + 112818, + 100986, + 145165, + 11, + 104802, + 51795, + 106145, + 107694, + 13, + 23784, + 104241, + 103595, + 2001, + 101666, + 30388, + 101364, + 105278, + 105304, + 118411, + 7820, + 104044, + 14476, + 104309, + 7740, + 102393, + 11320, + 10693, + 104311, + 101140, + 25262, + 100541, + 104802, + 51795, + 107499, + 106851, + 13, + 23784, + 220, + 16, + 24, + 17, + 24, + 2345, + 16, + 24, + 18, + 20, + 102042, + 13, + 5927, + 102289, + 77495, + 104136, + 11, + 104802, + 51795, + 106145, + 102349, + 13, + 23784, + 220, + 16, + 24, + 18, + 20, + 2345, + 16, + 24, + 24, + 15, + 102042, + 13, + 5927, + 115965, + 100986, + 104136, + 11, + 104802, + 51795, + 106145, + 102349, + 13, + 28599, + 220, + 16, + 24, + 24, + 15, + 5927, + 112818, + 100986, + 104136, + 11, + 104802, + 51795, + 106145, + 102349, + 13, + 141127, + 112422, + 109576, + 104873, + 1482, + 5927, + 220, + 17, + 15, + 15, + 20, + 100281, + 11, + 101180, + 100972, + 5927, + 100485, + 107546, + 116883, + 138067, + 7740, + 100758, + 101643, + 53677, + 16331, + 29471, + 4929, + 113211, + 120520, + 123139, + 13, + 126757, + 120356, + 100768, + 20879, + 220, + 16, + 22, + 102039, + 220, + 17, + 15, + 16, + 22, + 100261, + 2360, + 220, + 17, + 22, + 12, + 129017, + 11, + 45093, + 104230, + 101264, + 103037, + 104802, + 51795, + 107499, + 101684, + 100310, + 112555, + 4655, + 5927, + 104802, + 51795, + 106145, + 107208, + 102054, + 13 + ], + "text": " До XVIII века территория поселения относилась к волости Березовец Деревской пятины Новгородской земли. После реформ Петра I территория поселения входила в 1708—1727 гг. в Санкт-Петербургскую губернию, Тверскую провинцию. В 1727—1775 гг. в Новгородскую губернию, Тверскую провинцию. В 1775—1796 гг. в Тверское наместничество, Осташковский уезд. В 1796—1929 гг. в Тверскую губернию, Осташковский уезд. В середине XIX — начале XX века деревни поселения относились к Петровщинской и Павлиховской волостям Осташковского уезда. В 1929—1935 гг. в Западную область, Осташковский район. В 1935—1990 гг. в Калининскую область, Осташковский район. С 1990 в Тверскую область, Осташковский район. Современное сельское поселение образовано в 2005 году, включило в себя территорию Сосницкого и часть территории Залучьенского сельских округов. Законом Тверской области от 17 апреля 2017 года No 27-ЗО, все муниципальные образования Осташковского района были преобразованы в Осташковский городской округ." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "До XVIII века территория поселения относилась к волости Березовец Деревской пятины Новгородской земли. После реформ Петра I территория поселения входила в 1708—1727 гг. в Санкт-Петербургскую губернию, Тверскую провинцию. В 1727—1775 гг. в Новгородскую губернию, Тверскую провинцию. В 1775—1796 гг. в Тверское наместничество, Осташковский уезд. В 1796—1929 гг. в Тверскую губернию, Осташковский уезд,. В середине XIX — начале XX века деревни поселения относились к Петровщинской и Павлиховской волостям Осташковского уезда. В 1929—1935 гг. в Западную область, Осташковский район. В 1935—1990 гг. в Калининскую область, Осташковский район. С 1990 в Тверскую область, Осташковский район. Современное сельское поселение образовано в 2005 году, включило в себя территорию Сосницкого и часть территории Залучьенского сельских округов. Законом Тверской области от 17 апреля 2017 года No 27-ЗО, все муниципальные образования Осташковского района были преобразованы в Осташковский городской округ." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: До XVIII века территория поселения относилась к волости Березовец Деревской пятины Новгородской земли. После реформ Петра I территория поселения входила в 1708—1727 гг. в Санкт-Петербургскую губернию, Тверскую провинцию. В 1727—1775 гг. в Новгородскую губернию, Тверскую провинцию. В 1775—1796 гг. в Тверское наместничество, Осташковский уезд. В 1796—1929 гг. в Тверскую губернию, Осташковский уезд,. В середине XIX — начале XX века деревни поселения относились к Петровщинской и Павлиховской волостям Осташковского уезда. В 1929—1935 гг. в Западную область, Осташковский район. В 1935—1990 гг. в Калининскую область, Осташковский район. С 1990 в Тверскую область, Осташковский район. Современное сельское поселение образовано в 2005 году, включило в себя территорию Сосницкого и часть территории Залучьенского сельских округов. Законом Тверской области от 17 апреля 2017 года No 27-ЗО, все муниципальные образования Осташковского района были преобразованы в Осташковский городской округ.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 298, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.770731707317073, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 108452, + 6856, + 100571, + 220, + 17, + 20, + 102247, + 220, + 16, + 24, + 24, + 19, + 100261, + 109891, + 109093, + 104395, + 108499, + 13, + 23784, + 115387, + 107248, + 108499, + 111380, + 112194, + 103012, + 11, + 23784, + 22885, + 12426, + 100613, + 11, + 49520, + 104287, + 142174, + 11, + 121196, + 8164, + 80112, + 12, + 74598, + 100801, + 12, + 38214, + 100389, + 11, + 43896, + 101093, + 12426, + 7740, + 104260, + 106014, + 13, + 23784, + 100380, + 220, + 18, + 12, + 12415, + 112814, + 112109, + 107087, + 25, + 116853, + 119608, + 110978, + 100306, + 145327, + 112274, + 23784, + 22885, + 12426, + 104897, + 100434, + 145327, + 112274, + 49520, + 104287, + 1506, + 125051, + 145327, + 112274, + 104278, + 100688, + 107311, + 107502, + 129739, + 14837, + 16331, + 107582, + 107311, + 107502, + 35448, + 100939, + 79288, + 100731, + 107502, + 100303, + 101859, + 111217, + 107502, + 17, + 15, + 101933, + 220, + 16, + 24, + 24, + 19, + 100261, + 5927, + 112558, + 220, + 18, + 12, + 12415, + 112814, + 112109, + 107468, + 100310, + 120475, + 220, + 20, + 12, + 12415, + 139532, + 107502, + 7740, + 119209, + 12769, + 19871, + 44075, + 79862, + 13289, + 220, + 21, + 12, + 66349, + 133229, + 109561, + 13, + 220, + 17, + 15, + 101723, + 108593, + 5927, + 53677, + 100462, + 107040, + 116515, + 103640, + 44065, + 108655, + 5927, + 103452, + 103037, + 43896, + 101093, + 12426, + 100266, + 11, + 104260, + 100872, + 109382, + 11, + 100303, + 115100, + 34082, + 100266, + 11, + 49520, + 104287, + 1506, + 113908, + 11, + 116853, + 112109, + 7740, + 23784, + 22885, + 12426, + 104897, + 100317, + 108499, + 13, + 100293, + 104756, + 122043, + 20879, + 117482, + 104521, + 132808, + 103986, + 111055, + 100266, + 7740, + 100674, + 100256, + 123048, + 11, + 139544, + 13373, + 103713, + 13 + ], + "text": " Образована 25 февраля 1994 года путём объединения трёх бригад. В зону ответственности бригад входили общины Центр, Вогошча, Райловац, Српски-Стари-Град, Илияш и Илиджа. В состав 3-й Сараевской вошли: Кошевская лёгкая пехотная бригада Вогошчанская пехотная бригада Райловацкая пехотная бригада Благовацкий батальон Кривогалавацкий батальон Осиекский батальон Хрешанский батальон20 октября 1994 года в распоряжение 3-й Сараевской бригады были переданы 5-й пехотный батальон и рота «Средне» 6-го пехотного батальона. 20 мая ежегодно в Зворнике проводятся памятные мероприятия в честь образования Илияшской, Илиджанской, Хаджичской, Райловацкой, Кошевской и Вогошчанских бригад. На мероприятиях отдаётся память солдатам Республики Сербской и мирным жителям, погибшим на войне." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Образована 25 февраля 1994 года путём объединения трёх бригад. В зону ответственности бригад входили общины Центр, Вогошча, Райловац, Српски-Стари-Град, Илияш и Илиджа. В состав 3-й Сараевской вошли: Кошевская лёгкая пехотная бригада Вогошчанская пехотная бригада Райловацкая пехотная бригада Благовацкий батальон Кривогалавацкий батальон Осиекский батальон Хрешанский батальон20 октября 1994 года в распоряжение 3-й Сараевской бригады были переданы 5-й пехотный батальон и рота «Средне» 6-го пехотного батальона. 20 мая ежегодно в Зворнике проводятся памятные мероприятия в честь образования Илияшской, Илиджанской, Хаджичской, Райловацкой, Кошевской и Вогошчанских бригад. На мероприятиях отдаётся память солдатам Республики Сербской и мирным жителям, погибшим на войне." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Образована 25 февраля 1994 года путём объединения трёх бригад. В зону ответственности бригад входили общины Центр, Вогошча, Райловац, Српски-Стари-Град, Илияш и Илиджа. В состав 3-й Сараевской вошли: Кошевская лёгкая пехотная бригада Вогошчанская пехотная бригада Райловацкая пехотная бригада Благовацкий батальон Кривогалавацкий батальон Осиекский батальон Хрешанский батальон20 октября 1994 года в распоряжение 3-й Сараевской бригады были переданы 5-й пехотный батальон и рота «Средне» 6-го пехотного батальона. 20 мая ежегодно в Зворнике проводятся памятные мероприятия в честь образования Илияшской, Илиджанской, Хаджичской, Райловацкой, Кошевской и Вогошчанских бригад. На мероприятиях отдаётся память солдатам Республики Сербской и мирным жителям, погибшим на войне.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 226, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.290983606557377, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 100287, + 118321, + 220, + 16, + 23, + 20, + 24, + 100261, + 2001, + 103165, + 105210, + 105340, + 100268, + 116094, + 11, + 45458, + 102725, + 100552, + 100266, + 109469, + 103004, + 119629, + 106851, + 120356, + 105294, + 5927, + 220, + 19, + 15, + 138375, + 20879, + 107694, + 39900, + 100994, + 11, + 13373, + 141779, + 11, + 37405, + 106806, + 102096, + 100441, + 11, + 5524, + 220, + 16, + 24, + 101563, + 50807, + 11, + 220, + 17, + 113975, + 50807, + 11, + 220, + 18, + 112993, + 103310, + 7740, + 220, + 18, + 16, + 17, + 123420, + 13, + 23784, + 12769, + 19871, + 30765, + 53671, + 113546, + 100322, + 13289, + 220, + 16, + 23, + 21, + 17, + 100261, + 330, + 31274, + 29118, + 119623, + 1, + 2001, + 106150, + 108908, + 101501, + 105165, + 220, + 17, + 12, + 66349, + 18868, + 100571, + 103004, + 119629, + 106851, + 18154, + 144448, + 24697, + 101970, + 131387, + 5927, + 100542, + 112818, + 4929, + 11, + 37405, + 106806, + 49520, + 100387, + 100441, + 11, + 5524, + 220, + 17, + 21, + 101563, + 50807, + 7740, + 220, + 17, + 17, + 19, + 123420, + 13, + 23784, + 220, + 16, + 23, + 23, + 21, + 100281, + 2001, + 220, + 19, + 18, + 109332, + 7740, + 220, + 17, + 21, + 15, + 103220, + 13, + 23784, + 220, + 16, + 24, + 16, + 20, + 100281, + 121091, + 220, + 19, + 21, + 109947, + 13, + 100738, + 110977, + 103896, + 109892, + 18999, + 11, + 102816, + 120227, + 102818, + 11, + 100971, + 100342, + 112470, + 133563, + 100784, + 5372, + 100434, + 102164, + 40251, + 43896, + 102792, + 80584, + 9239, + 74351, + 11, + 37405, + 104613, + 44858, + 7820, + 102736, + 3865, + 5927, + 105210, + 100428, + 79862, + 13, + 107613, + 39103, + 44613, + 5927, + 220, + 16, + 24, + 18, + 20, + 100281, + 7740, + 103262, + 108883, + 119040, + 13, + 28599, + 220, + 16, + 24, + 17, + 24, + 100261, + 2001, + 128350, + 104830, + 5927, + 101951, + 124730, + 100743, + 103120, + 101684, + 106690, + 100768, + 13, + 101318, + 220, + 16, + 24, + 18, + 24, + 100261, + 2001, + 101619, + 104178, + 103120, + 109087, + 13 + ], + "text": " По сведениям 1859 года — деревня Калицинского прихода, Микулинской волости Старицкого уезда Тверской губернии в 40 верстах от уездного города, на возвышенности, при реке Русце, с 19 дворами, 2 прудами, 3 колодцами и 312 жителями. В «Списке населённых мест» 1862 года \"Ильинское\" — владельческое сельцо 2-го стана Старицкого уезда по Волоколамскому тракту в город Тверь, при реке Рузце, с 26 дворами и 224 жителями. В 1886 году — 43 двора и 260 жителей. В 1915 году насчитывалось 46 дворов. После литовского разорения, вместо прежней церкви, здесь была построена деревянная деревенская часовня Илии Пророка, приписанная к храму в Калицыне. Закрыта в 1935 году и позже разобрана. С 1929 года — населённый пункт в составе Лотошинского района Московской области. До 1939 года — центр Ильинского сельсовета." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "По сведениям 1859 года — деревня Калицинского прихода, Микулинской волости Старицкого уезда Тверской губернии в 40 верстах от уездного города, на возвышенности, при реке Русце, с 19 дворами, 2 прудами, 3 колодцами и 312 жителями. В «Списке населённых мест» 1862 года \"Ильинское\" — владельческое сельцо 2-го стана Старицкого уезда по Волоколамскому тракту в город Тверь, при реке Рузце, с 26 дворами и 224 жителями. В 1886 году — 43 двора и 260 жителей. В 1915 году насчитывалось 46 дворов. После литовского разорения, вместо прежней церкви, здесь была построена деревянная деревенская часовня Илии Пророка, приписанная к храму в Калицыне. Закрыта в 1935 году и позже разобрана. С 1929 года — населённый пункт в составе Лотошинского района Московской области. До 1939 года — центр Ильинского сельсовета." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: По сведениям 1859 года — деревня Калицинского прихода, Микулинской волости Старицкого уезда Тверской губернии в 40 верстах от уездного города, на возвышенности, при реке Русце, с 19 дворами, 2 прудами, 3 колодцами и 312 жителями. В «Списке населённых мест» 1862 года \"Ильинское\" — владельческое сельцо 2-го стана Старицкого уезда по Волоколамскому тракту в город Тверь, при реке Рузце, с 26 дворами и 224 жителями. В 1886 году — 43 двора и 260 жителей. В 1915 году насчитывалось 46 дворов. После литовского разорения, вместо прежней церкви, здесь была построена деревянная деревенская часовня Илии Пророка, приписанная к храму в Калицыне. Закрыта в 1935 году и позже разобрана. С 1929 года — населённый пункт в составе Лотошинского района Московской области. До 1939 года — центр Ильинского сельсовета.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 265, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.496153846153846, + "len": 0.9923371647509579, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 108452, + 6856, + 100571, + 220, + 17, + 23, + 102247, + 220, + 16, + 24, + 21, + 19, + 100261, + 23934, + 111259, + 121081, + 105563, + 11, + 105563, + 126176, + 7740, + 104063, + 122044, + 7820, + 101071, + 102810, + 105563, + 13, + 23784, + 220, + 17, + 15, + 16, + 19, + 100281, + 103016, + 5927, + 101279, + 34943, + 102170, + 101261, + 109741, + 16248, + 103077, + 13373, + 126483, + 53671, + 108133, + 12, + 127782, + 104692, + 101053, + 7740, + 108893, + 104166, + 112792, + 119263, + 89715, + 102732, + 57297, + 108893, + 104166, + 112792, + 119263, + 13, + 101394, + 61955, + 102582, + 102220, + 107166, + 40842, + 130791, + 39900, + 100994, + 100545, + 102333, + 13, + 110701, + 12769, + 99674, + 102333, + 13289, + 102450, + 5524, + 94937, + 5927, + 18976, + 5927, + 220, + 16, + 20, + 22, + 18, + 25756, + 13, + 100971, + 134178, + 12769, + 103488, + 1482, + 30480, + 51418, + 8341, + 100712, + 100883, + 11, + 64571, + 100553, + 48150, + 7740, + 109186, + 14837, + 102333, + 11, + 100545, + 102333, + 11047, + 21956, + 75608, + 28599, + 220, + 16, + 21, + 22, + 23, + 25756, + 13, + 100545, + 102333, + 40650, + 97334, + 91877, + 19175, + 102469, + 100743, + 89052, + 11, + 21022, + 101501, + 105341, + 13, + 110701, + 73385, + 102063, + 20879, + 100606, + 7486, + 17766, + 100811, + 101741, + 100545, + 1482, + 13, + 129287, + 15752, + 44867, + 92878, + 103704, + 100274, + 101916, + 100826, + 115823, + 125110, + 100428, + 44786, + 11, + 101107, + 2001, + 72590, + 102893, + 39988, + 120291, + 119561, + 102952, + 11, + 101144, + 2001, + 113293, + 105493, + 12507, + 7740, + 116902, + 100256, + 102683, + 100393, + 13, + 23784, + 220, + 16, + 24, + 17, + 20, + 100281, + 100545, + 102333, + 101764, + 110627, + 11, + 21022, + 5927, + 102556, + 113574, + 105731, + 101180, + 100972, + 5927, + 100485, + 100542, + 124723, + 106768, + 11, + 104829, + 17165, + 100284, + 100305, + 100552, + 13433, + 11, + 101600, + 14837, + 78746, + 102665, + 1482, + 11, + 23227, + 134889, + 106218, + 7740, + 103704, + 101095, + 50223, + 101688, + 1482, + 13, + 23784, + 220, + 16, + 24, + 21, + 15, + 100281, + 122144, + 5927, + 100380, + 103388, + 11, + 128029, + 100926, + 102409, + 111401, + 102349, + 2001, + 100545, + 103801, + 11, + 105075, + 100545, + 102333, + 13 + ], + "text": " Образована 28 февраля 1964 года из бывших Ленинградской улицы, улицы Кирова и присоединённой к ним новой улицы. В 2014 году улица в связи со строительством эстакады на развязке Северо-Восточной хорды и шоссе Энтузиастов продлена до шоссе Энтузиастов. Сохраняет название бывшего подмосковного города Перово. Название «Перово» известно с XVI в.: в 1573 г. здесь упоминаются «пустоши Тетеревники, Бортное и Пирогово, Перово тож». С 1678 г. Перово значится уже не пустошью, а сельцом. Название его происходит от неканонического имени Перо. Долгое время село было владением князей Голицыных, затем — загородной царской усадьбой, потом — обычным селом и дачным поселком. В 1925 году Перово стало городом, а в ходе дальнейшего роста включило в себя город Кусково, посёлки Чухлинка, Новогиреево, Плющево и село Карачарово. В 1960 году вошло в состав Москвы, образовав её новый крупный район — Перовский, ныне Перово." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Образована 28 февраля 1964 года из бывших Ленинградской улицы, улицы Кирова и присоединённой к ним новой улицы. В 2014 году улица в связи со строительством эстакады на развязке Северо-Восточной хорды и шоссе Энтузиастов продлена до шоссе Энтузиастов. Сохраняет название бывшего подмосковного города Перово. Название «Перово» известно с XVI в.: в 1573 г. здесь упоминаются «пустоши Тетеревники, Бортное и Пирогово, Перово тож». С 1678 г. Перово значится уже не пустошью, а сельцом. Название его происходит от неканонического имени Перо. Долгое время село было владением князей Голицыных, затем — загородной царской усадьбой, потом — обычным селом и дачным поселком. В 1925 году Перово стало городом, а в ходе дальнейшего роста включило в себя город Кусково, посёлки Чухлинка, Новогиреево, Плющево и село Карачарово. В 1960 году вошло в состав Москвы, образовав её новый крупный район — Перовский, ныне Перово. Примечания." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Образована 28 февраля 1964 года из бывших Ленинградской улицы, улицы Кирова и присоединённой к ним новой улицы. В 2014 году улица в связи со строительством эстакады на развязке Северо-Восточной хорды и шоссе Энтузиастов продлена до шоссе Энтузиастов. Сохраняет название бывшего подмосковного города Перово. Название «Перово» известно с XVI в.: в 1573 г. здесь упоминаются «пустоши Тетеревники, Бортное и Пирогово, Перово тож». С 1678 г. Перово значится уже не пустошью, а сельцом. Название его происходит от неканонического имени Перо. Долгое время село было владением князей Голицыных, затем — загородной царской усадьбой, потом — обычным селом и дачным поселком. В 1925 году Перово стало городом, а в ходе дальнейшего роста включило в себя город Кусково, посёлки Чухлинка, Новогиреево, Плющево и село Карачарово. В 1960 году вошло в состав Москвы, образовав её новый крупный район — Перовский, ныне Перово. Примечания.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 283, + "generated_len": [ + 277 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.091787439613527, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 72731, + 42057, + 5927, + 111083, + 113908, + 103506, + 13, + 23784, + 220, + 16, + 22, + 100366, + 11, + 101944, + 108149, + 14391, + 70968, + 17721, + 38438, + 101968, + 11, + 99845, + 5927, + 102674, + 104994, + 19175, + 100269, + 116013, + 101790, + 102473, + 104853, + 50807, + 57297, + 104859, + 116638, + 11, + 101300, + 5927, + 220, + 16, + 24, + 20, + 15, + 25756, + 11, + 100339, + 100489, + 100274, + 220, + 16, + 24, + 11, + 103516, + 101997, + 5927, + 104880, + 101042, + 5927, + 110278, + 109143, + 34493, + 106016, + 11, + 101573, + 139340, + 107782, + 13373, + 113470, + 220, + 16, + 15, + 15, + 15, + 15, + 11562, + 5927, + 143472, + 12, + 9706, + 101184, + 112659, + 13, + 100448, + 112494, + 99845, + 118110, + 106126, + 100366, + 103893, + 13373, + 104880, + 101042, + 5927, + 130333, + 13, + 100293, + 114360, + 107230, + 102496, + 5927, + 220, + 16, + 24, + 20, + 17, + 25756, + 13, + 5927, + 139981, + 100702, + 113524, + 5927, + 108792, + 100283, + 13373, + 143472, + 12, + 9706, + 101184, + 112659, + 13373, + 220, + 16, + 15, + 15, + 15, + 15, + 11562, + 7740, + 128465, + 127655, + 13373, + 113470, + 220, + 16, + 15, + 15, + 15, + 11562, + 13, + 100293, + 109068, + 124502, + 101209, + 5927, + 113928, + 106012, + 79862, + 19175, + 101966, + 106419, + 108987, + 106959, + 23934, + 12, + 100304, + 100889, + 34943, + 127950, + 13, + 23784, + 101524, + 101837, + 100366, + 107846, + 110859, + 116239, + 100268, + 104501, + 7820, + 101385, + 103199, + 5927, + 102239, + 119907, + 102215, + 11, + 100416, + 99845, + 102633, + 110188, + 102779, + 5927, + 105562, + 122595, + 44786, + 114891, + 13, + 23784, + 220, + 17, + 15, + 15, + 15, + 25756, + 13, + 99845, + 100269, + 110754, + 113598, + 120892, + 116042, + 109627, + 103037, + 112441, + 13 + ], + "text": " Вырос в рыбацкой семье. В 17 лет, став лучшим байдарочником, он в силу возраста не был допущен финскими тренерами до крупных соревнований, однако в 1950 г, когда ему было 19, принял участие в чемпионате мира в Копенгагене, сразу завоевав золото на дистанции 10000 м в каноэ-одиночке. Это достижение он повторил восемь лет спустя на чемпионате мира в Праге. На летних Олимпийских игр в 1952 г. в Хельсинки стал чемпионом в гребле на каноэ-одиночке на 10000 м и серебряным призёром на дистанции 1000 м. На следующих Играх в Мельбурне не смог показать высоких результатов из-за проблем со здоровьем. В течение многих лет являлся председателем любительского клуба каноистов в своем родном городе, где он имел собственный бизнес в сфере дизельных двигателей. В 2000 г. он был удостоен специальной спортивной награды Министерства образования Финляндии." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Вырос в рыбацкой семье. В 17 лет, став лучшим байдарочником, он в силу возраста не был допущен финскими тренерами до крупных соревнований, однако в 1950 г, когда ему было 19, принял участие в чемпионате мира в Копенгагене, сразу завоевав золото на дистанции 10000 м в каноэ-одиночке. Это достижение он повторил восемь лет спустя на чемпионате мира в Праге. На летних Олимпийских игр в 1952 г. в Хельсинки стал чемпионом в гребле на каноэ-одиночке на 10000 м и серебряным призёром на дистанции 1000 м. На следующих Играх в Мельбурне не смог показать высоких результатов из-за проблем со здоровьем. В течение многих лет являлся председателем любительского клуба каноистов в своем родном городе, где он имел собственный бизнес в сфере дизельных двигателей. В 2000 г. он был удостоен специальной спортивной награды Министерства образования Финляндии." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Вырос в рыбацкой семье. В 17 лет, став лучшим байдарочником, он в силу возраста не был допущен финскими тренерами до крупных соревнований, однако в 1950 г, когда ему было 19, принял участие в чемпионате мира в Копенгагене, сразу завоевав золото на дистанции 10000 м в каноэ-одиночке. Это достижение он повторил восемь лет спустя на чемпионате мира в Праге. На летних Олимпийских игр в 1952 г. в Хельсинки стал чемпионом в гребле на каноэ-одиночке на 10000 м и серебряным призёром на дистанции 1000 м. На следующих Играх в Мельбурне не смог показать высоких результатов из-за проблем со здоровьем. В течение многих лет являлся председателем любительского клуба каноистов в своем родном городе, где он имел собственный бизнес в сфере дизельных двигателей. В 2000 г. он был удостоен специальной спортивной награды Министерства образования Финляндии.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 228, + "generated_len": [ + 207 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.166666666666667, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 131690, + 104448, + 5927, + 220, + 20, + 15, + 15, + 122670, + 20879, + 126559, + 11, + 110049, + 101792, + 107849, + 100763, + 108893, + 5927, + 28599, + 96485, + 118781, + 5524, + 105493, + 12507, + 105470, + 66349, + 12, + 37255, + 66144, + 7753, + 13, + 101860, + 102383, + 34613, + 101768, + 100445, + 104829, + 101292, + 104179, + 34613, + 7740, + 107849, + 13433, + 13, + 100287, + 126558, + 109062, + 110743, + 113420, + 44065, + 105096, + 106719, + 14082, + 116806, + 5927, + 117535, + 103078, + 11, + 105470, + 66349, + 12, + 37255, + 66144, + 7753, + 7740, + 107849, + 36352, + 13, + 123947, + 57297, + 133018, + 118645, + 103978, + 2001, + 39479, + 34694, + 102499, + 104178, + 38972, + 34613, + 102655, + 101108, + 220, + 22, + 105624, + 18154, + 107447, + 13, + 102988, + 13 + ], + "text": " Посёлок расположен в 500 метрах от трассы, соединяющей Николаевское шоссе в Солянке с селом Янго-Аскер. Полынный находится между посёлками Мирный и Николаевка. По трассе ежедневно проходят пригородные микроавтобусы в Астрахань, Янго-Аскер и Николаевку. Расстояние до ближайшей железнодорожной станции — разъезда Ильменный составляет около 7 километров по прямой. Примечания." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Посёлок расположен в 500 метрах от трассы, соединяющей Николаевское шоссе в Солянке с селом Янго-Аскер. Полынный находится между посёлками Мирный и Николаевка. По трассе ежедневно проходят пригородные микроавтобусы в Астрахань, Янго-Аскер и Николаевку. Расстояние до ближайшей железнодорожной станции — разъезда Ильменный составляет около 7 километров по прямой. Примечания." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Посёлок расположен в 500 метрах от трассы, соединяющей Николаевское шоссе в Солянке с селом Янго-Аскер. Полынный находится между посёлками Мирный и Николаевка. По трассе ежедневно проходят пригородные микроавтобусы в Астрахань, Янго-Аскер и Николаевку. Расстояние до ближайшей железнодорожной станции — разъезда Ильменный составляет около 7 километров по прямой. Примечания.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 111, + "generated_len": [ + 207 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.203125, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 111145, + 100269, + 108809, + 13373, + 220, + 16, + 21, + 12, + 128522, + 34148, + 100388, + 100447, + 36352, + 13, + 36479, + 132222, + 5927, + 106368, + 104055, + 100645, + 106233, + 108769, + 106035, + 6735, + 7740, + 118834, + 13999, + 14525, + 49520, + 121881, + 11, + 100267, + 103770, + 120484, + 101067, + 13, + 107657, + 104899, + 1532, + 30480, + 7740, + 127358, + 143338, + 11, + 105546, + 51736, + 100265, + 146902, + 122267, + 11, + 19175, + 100310, + 108665, + 100349, + 108498, + 50807, + 13, + 117550, + 44858, + 115670, + 98968, + 100401, + 19175, + 100614, + 5524, + 100272, + 9542, + 112432, + 13, + 102392, + 103758, + 11, + 114576, + 44858, + 13373, + 129733, + 100457, + 141805, + 11, + 13373, + 220, + 17, + 20, + 101515, + 131832, + 106380, + 39988, + 5927, + 112221, + 13, + 106062, + 125703, + 101385, + 101108, + 107495, + 101515, + 23934, + 116915, + 14837, + 17766, + 17165, + 5927, + 101666, + 103578, + 11, + 104108, + 101515, + 103722, + 57297, + 108889, + 13373, + 110947, + 100947, + 67602, + 100266, + 126558, + 7740, + 103875, + 101515, + 138903, + 115918, + 7740, + 107141, + 5927, + 101308, + 103578, + 13 + ], + "text": " Фильм был снят на 16-миллиметровую плёнку. К участию в фильме привлекались Кирстен Данст и Вайнона Райдер, но обе покинули проект. Анна Вареши и Элизабет Блейк, занятые во второстепенных ролях, не были профессиональными актрисами. Известная сцена минета не является сымитированной. Версия, показанная на Каннском кинофестивале, на 25 минут длиннее выпущенной в прокат. Было вырезано около четырёх минут из мотогонки в начале фильма, семь минут дороги до сцены на Бонневильской трассе и шесть минут чёрного экрана и музыки в конце фильма." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Фильм был снят на 16-миллиметровую плёнку. К участию в фильме привлекались Кирстен Данст и Вайнона Райдер, но обе покинули проект. Анна Вареши и Элизабет Блейк, занятые во второстепенных ролях, не были профессиональными актрисами. Известная сцена минета не является сымитированной. Версия, показанная на Каннском кинофестивале, на 25 минут длиннее выпущенной в прокат. Было вырезано около четырёх минут из мотогонки в начале фильма, семь минут дороги до сцены на Бонневильской трассе и шесть минут чёрного экрана и музыки в конце фильма." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Фильм был снят на 16-миллиметровую плёнку. К участию в фильме привлекались Кирстен Данст и Вайнона Райдер, но обе покинули проект. Анна Вареши и Элизабет Блейк, занятые во второстепенных ролях, не были профессиональными актрисами. Известная сцена минета не является сымитированной. Версия, показанная на Каннском кинофестивале, на 25 минут длиннее выпущенной в прокат. Было вырезано около четырёх минут из мотогонки в начале фильма, семь минут дороги до сцены на Бонневильской трассе и шесть минут чёрного экрана и музыки в конце фильма.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 149, + "generated_len": [ + 207 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.54014598540146, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 125579, + 101120, + 1830, + 34613, + 104741, + 12, + 121080, + 100273, + 101619, + 2001, + 111344, + 23784, + 93311, + 31274, + 57297, + 220, + 17, + 15, + 16, + 21, + 100261, + 13, + 23784, + 103171, + 5524, + 122805, + 103987, + 101750, + 2360, + 220, + 16, + 18, + 22, + 20879, + 220, + 16, + 22, + 101922, + 220, + 17, + 15, + 16, + 20, + 100261, + 23784, + 103228, + 93899, + 23784, + 93311, + 31274, + 112317, + 40842, + 106203, + 101750, + 86491, + 93899, + 12, + 16604, + 103228, + 106001, + 55258, + 13, + 122504, + 12, + 141090, + 119961, + 23784, + 93311, + 31274, + 25, + 122504, + 12, + 116535, + 101619, + 108280, + 103263, + 114277, + 101711, + 7740, + 132129, + 142082, + 63233, + 118132, + 26, + 122504, + 12, + 116535, + 101619, + 100900, + 101120, + 1830, + 39900, + 107919, + 26, + 122504, + 12, + 116535, + 101619, + 101926, + 8341, + 100811, + 107919, + 26, + 122504, + 12, + 116535, + 101619, + 109096, + 128921, + 93099, + 26, + 122504, + 12, + 116535, + 101619, + 100900, + 101120, + 1830, + 44786, + 110777, + 26, + 122504, + 12, + 116535, + 101619, + 100900, + 101120, + 1830, + 39988, + 137612, + 112360, + 104645, + 7740, + 116641, + 118620, + 13 + ], + "text": " Высоковольтный научно-исследовательский центр — филиал ВЭИ до 2016 года. В соответствии с указом президента РФ No 137 от 17 марта 2015 года ВНИЦ ВЭИ передан под руководство РФЯЦ-ВНИИТФ. Научно-технические центры ВЭИ: Научно-технический центр технологий сверхпроводимости и силовых полупроводниковых приборов; Научно-технический центр высоковольтного оборудования; Научно-технический центр энергетического оборудования; Научно-технический центр специальных электрических систем; Научно-технический центр высоковольтных испытаний; Научно-технический центр высоковольтной коммутационной техники и технического регулирования." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Высоковольтный научно-исследовательский центр — филиал ВЭИ до 2016 года. В соответствии с указом президента РФ No 137 от 17 марта 2015 года ВНИЦ ВЭИ передан под руководство РФЯЦ-ВНИИТФ. Научно-технические центры ВЭИ: Научно-технический центр технологий сверхпроводимости и силовых полупроводниковых приборов; Научно-технический центр высоковольтного оборудования; Научно-технический центр энергетического оборудования; Научно-технический центр специальных электрических систем; Научно-технический центр высоковольтных испытаний; Научно-технический центр высоковольтной коммутационной техники и технического регулирования." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Высоковольтный научно-исследовательский центр — филиал ВЭИ до 2016 года. В соответствии с указом президента РФ No 137 от 17 марта 2015 года ВНИЦ ВЭИ передан под руководство РФЯЦ-ВНИИТФ. Научно-технические центры ВЭИ: Научно-технический центр технологий сверхпроводимости и силовых полупроводниковых приборов; Научно-технический центр высоковольтного оборудования; Научно-технический центр энергетического оборудования; Научно-технический центр специальных электрических систем; Научно-технический центр высоковольтных испытаний; Научно-технический центр высоковольтной коммутационной техники и технического регулирования.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 158, + "generated_len": [ + 207 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.7518248175182483, + "len": 0.9927007299270073, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 102096, + 16331, + 13433, + 12769, + 34604, + 103996, + 113648, + 13433, + 25, + 126204, + 54939, + 20440, + 101041, + 1506, + 115052, + 100595, + 34694, + 13289, + 2001, + 25756, + 48355, + 10589, + 48199, + 12, + 102758, + 100434, + 108505, + 11, + 100727, + 122188, + 101226, + 20440, + 102478, + 5927, + 220, + 16, + 23, + 21, + 23, + 2345, + 16, + 23, + 22, + 15, + 100265, + 111141, + 1532, + 13, + 119356, + 100568, + 107423, + 5927, + 104207, + 13, + 116847, + 60990, + 7740, + 106926, + 102037, + 19479, + 100381, + 98285, + 101466, + 13, + 23227, + 101534, + 101226, + 13373, + 103509, + 13, + 23784, + 12769, + 106717, + 16331, + 53671, + 13289, + 102600, + 90877, + 100645, + 134565, + 103743, + 11, + 135864, + 105738, + 105241, + 11, + 105557, + 101226, + 101324, + 100434, + 108816, + 75281, + 11, + 127617, + 115889, + 18154, + 100760, + 100430, + 105310, + 11, + 112207, + 100431, + 131854, + 8379, + 100765, + 102861, + 10693, + 11, + 114936, + 8379, + 105792, + 102478, + 5927, + 104217, + 7740, + 102606, + 11, + 8379, + 120657, + 136712, + 100351, + 15088, + 103735, + 114332, + 138449, + 103053, + 48150, + 127936, + 13, + 72731, + 103688, + 220, + 17, + 19, + 109966, + 13 + ], + "text": " Русалка «Руса́лка: Письмо́ для краса́вицъ» — галицко-русская газета, которая издавалась для женщин в 1868—1870 во Львове. Выходила дважды в месяц. Издатель и редактор Северин Шехович. Печаталась на языке. В «Русалке» публиковались художественные произведения, лирические стихи, подавалась светская хроника, полезные советы по ведению хозяйства, печатались заметки о других народах, сообщалось о положении женщин в Англии и Германии, о намерение львовянок создать высшее женское учебное заведение. Вышло 24 номера." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Русалка «Руса́лка: Письмо́ для краса́вицъ» — галицко-русская газета, которая издавалась для женщин в 1868—1870 во Львове. Выходила дважды в месяц. Издатель и редактор Северин Шехович. Печаталась на язычии. В «Русалке» публиковались художественные произведения, лирические поэзии, подавалась светская хроника, полезные советы по ведению хозяйства, печатались заметки о других народах, сообщалось о положении женщин в Англии и Германии, о намерение львовянок создать высшее женское учебное заведение. Вышло 24 номера." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Русалка «Руса́лка: Письмо́ для краса́вицъ» — галицко-русская газета, которая издавалась для женщин в 1868—1870 во Львове. Выходила дважды в месяц. Издатель и редактор Северин Шехович. Печаталась на язычии. В «Русалке» публиковались художественные произведения, лирические поэзии, подавалась светская хроника, полезные советы по ведению хозяйства, печатались заметки о других народах, сообщалось о положении женщин в Англии и Германии, о намерение львовянок создать высшее женское учебное заведение. Вышло 24 номера.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 159, + "generated_len": [ + 207 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.9846938775510203, + "len": 0.9948717948717949, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 220, + 16, + 24, + 23, + 15, + 12, + 10693, + 101991, + 116626, + 114992, + 115786, + 104271, + 39988, + 110804, + 103644, + 132456, + 11, + 7740, + 101764, + 103148, + 11, + 48489, + 220, + 16, + 17, + 220, + 23, + 23, + 23, + 100322, + 5927, + 12769, + 19346, + 22676, + 4349, + 94565, + 61312, + 5927, + 101403, + 5927, + 59346, + 92878, + 105893, + 100909, + 132514, + 102849, + 12769, + 124841, + 107304, + 109125, + 103175, + 3114, + 109656, + 103175, + 103918, + 2297, + 61312, + 100667, + 19175, + 108587, + 13, + 114500, + 5524, + 220, + 20, + 102039, + 220, + 16, + 24, + 22, + 22, + 100261, + 12769, + 116690, + 103175, + 3114, + 109656, + 103175, + 103918, + 2297, + 13289, + 78876, + 109234, + 18226, + 48355, + 102025, + 45093, + 126238, + 13373, + 100909, + 132514, + 102849, + 13, + 23784, + 220, + 16, + 24, + 23, + 23, + 100281, + 104532, + 109343, + 101860, + 130237, + 11, + 100376, + 101174, + 104531, + 101428, + 100568, + 5927, + 110483, + 104450, + 5927, + 220, + 16, + 24, + 24, + 15, + 7740, + 220, + 16, + 24, + 24, + 17, + 101991, + 13, + 105244, + 130237, + 102713, + 110141, + 104502, + 100334, + 5372, + 3865, + 20440, + 100625, + 102865, + 7740, + 5927, + 220, + 16, + 24, + 24, + 16, + 100281, + 112313, + 19313, + 28145, + 13332, + 11, + 138895, + 111488, + 11, + 5927, + 100759, + 130237, + 100269, + 108289, + 131022, + 106054, + 11, + 20440, + 105459, + 7740, + 102026, + 102810, + 100334, + 5372, + 16742, + 13, + 105244, + 104531, + 101979, + 100951, + 5524, + 110627, + 109262, + 107304, + 8379, + 112564, + 102377, + 115838, + 128533, + 39900, + 108253, + 102565, + 5524, + 12769, + 19346, + 22676, + 4349, + 94565, + 75608 + ], + "text": " В 1980-х годах популярность Национальной баскетбольной ассоциации резко возросла, и стало ясно, что 12 888 мест в «Memorial Coliseum», в котором в то время играл свои домашние игры «Портленд Трэйл Блэйзерс», больше не хватает. Начиная с 5 апреля 1977 года «Трэйл Блэйзерс» распродавали полностью все билеты на свои домашние игры. В 1988 году команду купил Пол Аллен, после чего команда выходила в финал чемпионата в 1990 и 1992 годах. Вскоре Аллен решил построить новую арену для своей команды и в 1991 году основал Oregon Arena Corporation, частную компанию, в которой Аллен был единственным акционером, для строительства и управления новой ареной. Вскоре команда договорилась с городом Портленд о строительстве нового мультифункционального комплекса рядом с «Memorial Coliseum»." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В 1980-х годах популярность Национальной баскетбольной ассоциации резко возросла, и стало ясно, что 12 888 мест в «Memorial Coliseum», в котором в то время играл свои домашние игры «Портленд Трэйл Блэйзерс», больше не хватает. Начиная с 5 апреля 1977 года «Трэйл Блэйзерс» распродавали полностью все билеты на свои домашние игры. В 1988 году команду купил Пол Аллен, после чего команда выходила в финал чемпионата в 1990 и 1992 годах. Вскоре Аллен решил построить новую арену для своей команды и в 1991 году основал Oregon Arena Corporation, частную компанию, в которой Аллен был единственным акционером, для строительства и управления новой арены. Вскоре команда договорилась с городом Портленд о строительстве нового мультифункционального комплекса рядом с «Memorial Coliseum»." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В 1980-х годах популярность Национальной баскетбольной ассоциации резко возросла, и стало ясно, что 12 888 мест в «Memorial Coliseum», в котором в то время играл свои домашние игры «Портленд Трэйл Блэйзерс», больше не хватает. Начиная с 5 апреля 1977 года «Трэйл Блэйзерс» распродавали полностью все билеты на свои домашние игры. В 1988 году команду купил Пол Аллен, после чего команда выходила в финал чемпионата в 1990 и 1992 годах. Вскоре Аллен решил построить новую арену для своей команды и в 1991 году основал Oregon Arena Corporation, частную компанию, в которой Аллен был единственным акционером, для строительства и управления новой арены. Вскоре команда договорилась с городом Портленд о строительстве нового мультифункционального комплекса рядом с «Memorial Coliseum».<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 216, + "generated_len": [ + 207 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.4529411764705884, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 109717, + 105827, + 6856, + 107613, + 44938, + 129282, + 8131, + 101466, + 104332, + 220, + 17, + 20, + 101930, + 220, + 16, + 24, + 18, + 19, + 100261, + 5927, + 105277, + 59842, + 100879, + 106768, + 107127, + 44155, + 17461, + 100268, + 101684, + 122474, + 100266, + 113916, + 13, + 28599, + 220, + 16, + 24, + 20, + 19, + 100261, + 118904, + 5927, + 129948, + 122474, + 100268, + 104524, + 113007, + 7740, + 117576, + 11, + 104861, + 106667, + 13373, + 101938, + 102904, + 107891, + 142895, + 100268, + 112353, + 106912, + 11, + 101236, + 104433, + 5927, + 220, + 16, + 24, + 21, + 15, + 100281, + 18154, + 122640, + 51418, + 13, + 43896, + 13, + 100630, + 14837, + 101440, + 16742, + 13, + 28599, + 220, + 16, + 24, + 21, + 18, + 100261, + 2001, + 126525, + 122474, + 100268, + 101497, + 39900, + 104524, + 113007, + 7740, + 117576, + 13, + 23784, + 220, + 16, + 24, + 20, + 23, + 2345, + 16, + 24, + 21, + 18, + 7740, + 5524, + 220, + 16, + 24, + 22, + 21, + 100261, + 102543, + 5927, + 122474, + 100266, + 104664, + 130644, + 102176, + 47273, + 13, + 23784, + 220, + 16, + 24, + 22, + 15, + 100281, + 104433, + 45458, + 106475, + 102280, + 13999, + 12, + 131555, + 101266, + 102062, + 101741, + 61565, + 100682, + 1840, + 44786, + 13, + 23784, + 220, + 16, + 24, + 24, + 23, + 2345, + 17, + 15, + 15, + 22, + 101351, + 114928, + 5927, + 142895, + 100457, + 113643, + 110775, + 106912, + 13 + ], + "text": " Махмутов Закий Гизатович родился 25 января 1934 года в деревне Утяково Красноусольского района Башкирской АССР. С 1954 года пел в хоре Башкирского театра оперы и балета, позднее поступил на вокальное отделение Уфимского училища искусств, которое окончил в 1960 году по классу Т. И. Жоголевой. С 1963 года — солист Башкирского государственного театра оперы и балета. В 1958—1963 и с 1976 года работал в Башкирской государственной филармонии. В 1970 году окончил Музыкально-педагогический институт имени Гнесиных. В 1998—2007 годы преподавал в Уфимском государственном институте искусств." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Махмутов Закий Гизатович родился 25 января 1934 года в деревне Утяково Красноусольского района Башкирской АССР. С 1954 года пел в хоре Башкирского театра оперы и балета, позднее поступил на вокальное отделение Уфимского училища искусств, которое окончил в 1960 году по классу Т. И. Жоголевой. С 1963 года — солист Башкирского государственного театра оперы и балета. В 1958—1963 и с 1976 года работал в Башкирской государственной филармонии. В 1970 году окончил Музыкально-педагогический институт имени Гнесиных. В 1998—2007 годы преподавал в Уфимском государственном институте искусств." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Махмутов Закий Гизатович родился 25 января 1934 года в деревне Утяково Красноусольского района Башкирской АССР. С 1954 года пел в хоре Башкирского театра оперы и балета, позднее поступил на вокальное отделение Уфимского училища искусств, которое окончил в 1960 году по классу Т. И. Жоголевой. С 1963 года — солист Башкирского государственного театра оперы и балета. В 1958—1963 и с 1976 года работал в Башкирской государственной филармонии. В 1970 году окончил Музыкально-педагогический институт имени Гнесиных. В 1998—2007 годы преподавал в Уфимском государственном институте искусств.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 191, + "generated_len": [ + 207 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.3451327433628317, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 25145, + 519, + 458, + 2001, + 100892, + 112640, + 100961, + 36497, + 55617, + 102990, + 14525, + 220, + 16, + 24, + 16, + 21, + 100261, + 113506, + 16604, + 220, + 16, + 24, + 24, + 16, + 100281, + 55617, + 102990, + 14525, + 101868, + 100571, + 105002, + 100256, + 124279, + 103640, + 101968, + 101066, + 13, + 28599, + 104984, + 113506, + 5927, + 220, + 16, + 24, + 16, + 21, + 100281, + 7740, + 57297, + 220, + 16, + 24, + 19, + 18, + 100261, + 55617, + 102990, + 14525, + 134535, + 52770, + 117912, + 48150, + 103164, + 44867, + 111208, + 13, + 100381, + 102990, + 14525, + 108531, + 131314, + 125515, + 5927, + 220, + 16, + 24, + 23, + 24, + 100281, + 13, + 23784, + 103066, + 92878, + 100614, + 107457, + 102416, + 100527, + 94962, + 11, + 5927, + 111719, + 121893, + 57297, + 220, + 17, + 24, + 110817, + 11, + 100823, + 121893, + 220, + 18, + 12, + 19, + 109271, + 44065, + 116911, + 41873, + 4655, + 13, + 102988, + 13 + ], + "text": " Mercantile — двухмачтовая шхуна 1916 года постройкиВ 1991 году шхуна признана Национальным историческим памятником США. С момента постройки в 1916 году и до 1943 года шхуна использовалось как прибрежное торговое судно. Шхуна прошла реставрацию в 1989 году. В настоящее время является туристическим судном, вмещающим до 29 пассажиров, совершающим 3-4 дневные круизы. Примечания." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Mercantile — двухмачтовая шхуна 1916 года постройкиВ 1991 году шхуна признана Национальным историческим памятником США. С момента постройки в 1916 году и до 1943 года шхуна использовалось как прибрежное торговое судно. Шхуна прошла реставрацию в 1989 году. В настоящее время является туристическим судном, вмещающим до 29 пассажиров, совершающим 3-4 дневные круизы. Примечания." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Mercantile — двухмачтовая шхуна 1916 года постройкиВ 1991 году шхуна признана Национальным историческим памятником США. С момента постройки в 1916 году и до 1943 года шхуна использовалось как прибрежное торговое судно. Шхуна прошла реставрацию в 1989 году. В настоящее время является туристическим судном, вмещающим до 29 пассажиров, совершающим 3-4 дневные круизы. Примечания.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 134, + "generated_len": [ + 207 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.8181818181818183, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 103750, + 34493, + 12, + 61432, + 13, + 12769, + 100639, + 116800, + 12, + 61432, + 13289, + 2001, + 104444, + 101455, + 9706, + 101762, + 50619, + 101617, + 138022, + 141148, + 120993, + 22885, + 109410, + 74828, + 13, + 102035, + 104214, + 5372, + 20440, + 102026, + 107455, + 102952, + 108521, + 105293, + 7740, + 101483, + 101081, + 120144, + 13373, + 105306, + 122329, + 116814, + 7740, + 123451, + 10693, + 13, + 133503, + 101455, + 9706, + 101762, + 50619, + 1506, + 12769, + 100639, + 116800, + 12, + 61432, + 13289, + 126253, + 40842, + 104662, + 23784, + 13, + 45458, + 13, + 100299, + 103710, + 64292, + 100688, + 13, + 23784, + 220, + 16, + 24, + 19, + 23, + 100281, + 12769, + 100639, + 116800, + 12, + 61432, + 13289, + 100269, + 106616, + 13373, + 109076, + 107542, + 110513, + 12, + 115093, + 100268, + 129801, + 1506, + 13, + 105512, + 61379, + 118493, + 100335, + 49899, + 39988, + 102345, + 103804, + 12769, + 109653, + 100706, + 100318, + 13289, + 2001, + 220, + 16, + 17, + 15, + 122630, + 100961, + 63233, + 11, + 120618, + 82702, + 39900, + 134491, + 2001, + 220, + 16, + 15, + 15, + 122630, + 100961, + 63233, + 11, + 100362, + 19479, + 44858, + 109427, + 110122, + 113470, + 110825, + 220, + 16, + 20, + 11562, + 13 + ], + "text": " Штаг-Б. «Штаг-Б» — советский радиодальномер корабельного базирования сантиметрового диапазона. Предназначен для управления стрельбой орудий главного и универсального калибра на советских эсминцах и крейсерах. Разработка радиодальномера «Штаг-Б» велась под руководством В. М. Ястребилова. В 1948 году «Штаг-Б» был принят на вооружение советского Военно-Морского Флота. Дальность обнаружения надводной цели класса «эсминец» — 120 кабельтовых, дальность точного сопровождения — 100 кабельтовых, срединная ошибка измерения дистанции составляла 15 м." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Штаг-Б. «Штаг-Б» — советский радиодальномер корабельного базирования сантиметрового диапазона. Предназначен для управления стрельбой орудий главного и универсального калибра на советских эсминцах и крейсерах. Разработка радиодальномера «Штаг-Б» велась под руководством В. М. Ястребилова. В 1948 году «Штаг-Б» был принят на вооружение советского Военно-Морского Флота. Дальность обнаружения надводной цели класса «эсминец» — 120 кабельтовых, дальность точного сопровождения — 100 кабельтовых, срединная ошибка измерения дистанции составляла 15 м." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Штаг-Б. «Штаг-Б» — советский радиодальномер корабельного базирования сантиметрового диапазона. Предназначен для управления стрельбой орудий главного и универсального калибра на советских эсминцах и крейсерах. Разработка радиодальномера «Штаг-Б» велась под руководством В. М. Ястребилова. В 1948 году «Штаг-Б» был принят на вооружение советского Военно-Морского Флота. Дальность обнаружения надводной цели класса «эсминец» — 120 кабельтовых, дальность точного сопровождения — 100 кабельтовых, срединная ошибка измерения дистанции составляла 15 м.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 164, + "generated_len": [ + 167 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.890625, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 113767, + 25657, + 54939, + 117007, + 2001, + 108572, + 106436, + 102105, + 5927, + 100873, + 101856, + 109926, + 104230, + 104509, + 101744, + 134409, + 100768, + 100570, + 13, + 110157, + 5927, + 220, + 17, + 20, + 101405, + 7820, + 114425, + 20879, + 100873, + 101856, + 100688, + 13, + 146973, + 107185, + 13373, + 103013, + 125613, + 2001, + 100873, + 129186, + 18437, + 13, + 137429, + 113306, + 106436, + 102105, + 5524, + 220, + 16, + 24, + 19, + 21, + 100261, + 13, + 23784, + 120222, + 113594, + 107891, + 102583, + 87008, + 100570, + 11, + 108931, + 220, + 21, + 15, + 22, + 16, + 20, + 15, + 13, + 102428, + 101422, + 100710, + 100826, + 118595, + 101750, + 20879, + 220, + 17, + 24, + 13, + 220, + 15, + 22, + 13, + 220, + 17, + 15, + 16, + 19, + 2360, + 220, + 16, + 18, + 24, + 23, + 12, + 2233, + 12769, + 74339, + 141452, + 106104, + 40251, + 102277, + 14837, + 102893, + 6856, + 61312, + 120082, + 5927, + 74432, + 102277, + 14837, + 102893, + 6856, + 102355, + 102695, + 5524, + 106807, + 12507, + 145931, + 106191, + 12, + 134518, + 104345, + 13 + ], + "text": " Мухто́лово — посёлок городского типа в Ардатовском муниципальном районе Нижегородской области России. Расположен в 25 км к северу от Ардатова. Железнодорожная станция на линии Муром — Арзамас. Статус посёлка городского типа с 1946 года. В посёлке расположено отделение Почты России, индекс 607150. Распоряжением Правительства РФ от 29. 07. 2014 No 1398-р «Об утверждении перечня моногородов», включён в список моногородов Российской Федерации с риском ухудшения социально-экономического положения." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Мухто́лово — посёлок городского типа в Ардатовском муниципальном районе Нижегородской области России. Расположен в 25 км к северу от Ардатова. Железнодорожная станция на линии Муром — Арзамас. Статус посёлка городского типа с 1946 года. В посёлке расположено отделение Почты России, индекс 607150. Распоряжением Правительства РФ от 29. 07. 2014 No 1398-р «Об утверждении перечня моногородов», включён в список моногородов Российской Федерации с риском ухудшения социально-экономического положения." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Мухто́лово — посёлок городского типа в Ардатовском муниципальном районе Нижегородской области России. Расположен в 25 км к северу от Ардатова. Железнодорожная станция на линии Муром — Арзамас. Статус посёлка городского типа с 1946 года. В посёлке расположено отделение Почты России, индекс 607150. Распоряжением Правительства РФ от 29. 07. 2014 No 1398-р «Об утверждении перечня моногородов», включён в список моногородов Российской Федерации с риском ухудшения социально-экономического положения.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 149, + "generated_len": [ + 167 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.9923076923076923, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 117800, + 101600, + 29256, + 125337, + 100763, + 110187, + 13373, + 113123, + 106690, + 100768, + 11, + 5927, + 112448, + 100796, + 144448, + 24697, + 100268, + 101684, + 11, + 102694, + 5927, + 220, + 16, + 21, + 101405, + 7820, + 104188, + 12, + 117750, + 20879, + 103460, + 100994, + 144448, + 24697, + 101448, + 13, + 23784, + 105277, + 220, + 23, + 101137, + 2001, + 124717, + 45122, + 44858, + 11, + 107979, + 44858, + 11, + 112684, + 102253, + 11, + 117314, + 105810, + 44858, + 11, + 118702, + 100329, + 44858, + 11, + 23227, + 101440, + 36497, + 11, + 109264, + 100915, + 7740, + 133948, + 11, + 110718, + 130177, + 101385, + 220, + 18, + 102798, + 101072, + 141714, + 13, + 112799, + 19039, + 100482, + 128350, + 104830, + 2001, + 108572, + 106436, + 102105, + 28599, + 100679, + 45122, + 100506, + 2001, + 101768, + 5927, + 220, + 19, + 101405, + 107772, + 100550, + 105278, + 13, + 117800, + 101681, + 51412, + 101646, + 50807, + 11, + 140800, + 113512, + 105874, + 100258, + 104564, + 13, + 23784, + 220, + 16, + 11, + 20, + 101405, + 7820, + 119806, + 20879, + 105278, + 101768, + 109361, + 100580, + 15298, + 39865, + 13 + ], + "text": " Деревня Новопавловское расположена на западе Московской области, в восточной части Волоколамского района, примерно в 16 км к юго-востоку от центра города Волоколамска. В деревне 8 улиц — Зелёная, Лесная, Луговая, Молодёжная, Овражная, Полевая, Строителей и Центральная, зарегистрировано 3 садовых товарищества. Ближайший населённый пункт — посёлок городского типа Сычёво — находится в 4 км восточнее деревни. Деревня окружена лесами, неподалёку протекает река Лама. В 1,5 км к западу от деревни находится озеро Стекло." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Деревня Новопавловское расположена на западе Московской области, в восточной части Волоколамского района, примерно в 16 км к юго-востоку от центра города Волоколамска. В деревне 8 улиц — Зелёная, Лесная, Луговая, Молодёжная, Овражная, Полевая, Строителей и Центральная, зарегистрировано 3 садовых товарищества. Ближайший населённый пункт — посёлок городского типа Сычёво — находится в 4 км восточнее деревни. Деревня окружена лесами, неподалёку протекает река Лама. В 1,5 км к западу от деревни находится озеро Стекло." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Деревня Новопавловское расположена на западе Московской области, в восточной части Волоколамского района, примерно в 16 км к юго-востоку от центра города Волоколамска. В деревне 8 улиц — Зелёная, Лесная, Луговая, Молодёжная, Овражная, Полевая, Строителей и Центральная, зарегистрировано 3 садовых товарищества. Ближайший населённый пункт — посёлок городского типа Сычёво — находится в 4 км восточнее деревни. Деревня окружена лесами, неподалёку протекает река Лама. В 1,5 км к западу от деревни находится озеро Стекло.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 151, + "generated_len": [ + 167 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 5.490445859872612, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 111244, + 100975, + 12, + 12182, + 116763, + 112252, + 100455, + 101781, + 2001, + 136638, + 100528, + 100414, + 134575, + 101781, + 100445, + 146972, + 7740, + 119138, + 12, + 37255, + 109165, + 101542, + 100266, + 141124, + 13, + 124777, + 100614, + 128334, + 132840, + 133221, + 105998, + 5927, + 112142, + 7740, + 108923, + 133221, + 101457, + 100265, + 101837, + 110729, + 13, + 132972, + 100445, + 124777, + 7740, + 146972, + 113363, + 108101, + 108268, + 102737, + 7740, + 128335, + 101279, + 11, + 115424, + 50306, + 101458, + 102055, + 7740, + 103225, + 11, + 111192, + 107858, + 5927, + 110464, + 7740, + 100505, + 100270, + 122138, + 106140, + 11, + 21022, + 100336, + 108101, + 100888, + 7820, + 107516, + 107876, + 7740, + 110857, + 103977, + 11, + 133694, + 13373, + 105280, + 10693, + 13, + 23784, + 105998, + 123863, + 103811, + 89701, + 119243, + 112252, + 100578, + 11, + 21022, + 5927, + 124777, + 123863, + 103811, + 89701, + 123958, + 101641, + 7740, + 101186, + 120928, + 106451, + 13, + 121374, + 31281, + 109021, + 101650, + 102954, + 100290, + 119243, + 112252, + 100578, + 101121, + 146063, + 110861, + 11, + 101733, + 102857, + 124777, + 100342, + 103384, + 101332, + 128238, + 104053, + 13, + 100287, + 120190, + 5927, + 220, + 17, + 15, + 16, + 15, + 100281, + 5927, + 105998, + 116411, + 101108, + 220, + 17, + 17, + 22, + 220, + 15, + 15, + 15, + 119243, + 112252, + 100578, + 13 + ], + "text": " Британско-южноафриканские отношения — двусторонние дипломатические отношения между Великобританией и Южно-Африканской Республикой. ЮАР является крупнейшим торговым партнером Великобритании в Африке и важным партнером страны во многих областях. Отношения между ЮАР и Великобританией включают общий английский язык и культурные связи, схожие системы права и финансов, общие интересы в одних и тех же видах спорта, а также общий интерес к развитию торговли и международной системе, основанной на правилах. В Великобритании проживает большое количество южноафриканцев, а в ЮАР проживает большое количество британских граждан и лиц британского происхождения. Незначительное меньшинство южноафриканцев имеет британское происхождение, поскольку ранее ЮАР была колонией Британской империи. По оценкам в 2010 году в Великобритании проживало около 227 000 южноафриканцев." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Британско-южноафриканские отношения — двусторонние дипломатические отношения между Великобританией и Южно-Африканской Республикой. ЮАР является крупнейшим торговым партнером Великобритании в Африке и важным партнером страны во многих областях. Отношения между ЮАР и Великобританией включают общий английский язык и культурные связи, схожие системы права и финансов, общий интерес к одним и тем же видам спорта, а также общий интерес к развитию торговли и международной системе, основанной на правилах. В Великобритании проживает большое количество южноафриканцев, а в ЮАР проживает большое количество британских граждан и лиц британского происхождения. Незначительное меньшинство южноафриканцев имеет британское происхождение, поскольку ранее ЮАР была колонией Британской империи. По оценкам в 2010 году в Великобритании проживало около 227 000 южноафриканцев." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Британско-южноафриканские отношения — двусторонние дипломатические отношения между Великобританией и Южно-Африканской Республикой. ЮАР является крупнейшим торговым партнером Великобритании в Африке и важным партнером страны во многих областях. Отношения между ЮАР и Великобританией включают общий английский язык и культурные связи, схожие системы права и финансов, общий интерес к одним и тем же видам спорта, а также общий интерес к развитию торговли и международной системе, основанной на правилах. В Великобритании проживает большое количество южноафриканцев, а в ЮАР проживает большое количество британских граждан и лиц британского происхождения. Незначительное меньшинство южноафриканцев имеет британское происхождение, поскольку ранее ЮАР была колонией Британской империи. По оценкам в 2010 году в Великобритании проживало около 227 000 южноафриканцев.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 178, + "generated_len": [ + 167 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.7425149700598803, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 112266, + 106585, + 2001, + 220, + 21, + 11, + 19, + 101405, + 17, + 13, + 102428, + 101592, + 68271, + 13373, + 106864, + 220, + 20, + 19, + 11, + 20, + 103114, + 100335, + 108218, + 102768, + 13, + 119392, + 106585, + 131176, + 44858, + 11, + 89715, + 7975, + 104891, + 8131, + 36497, + 25, + 101546, + 100364, + 100330, + 13373, + 116465, + 105624, + 139290, + 5524, + 104188, + 12, + 103623, + 1506, + 13373, + 103727, + 12, + 108485, + 13, + 101896, + 110246, + 23934, + 100954, + 101902, + 11, + 101048, + 9882, + 103478, + 12, + 119659, + 51736, + 11, + 105999, + 107131, + 101325, + 13, + 103101, + 109361, + 136850, + 105874, + 106036, + 51795, + 101735, + 11, + 115379, + 110397, + 105324, + 100305, + 100763, + 109361, + 11, + 23934, + 100969, + 122123, + 103457, + 105874, + 102613, + 15088, + 100843, + 11, + 108951, + 102285, + 107007, + 102332, + 11, + 115379, + 136077, + 11, + 5927, + 100752, + 102482, + 11, + 5927, + 101913, + 44867, + 103049, + 13, + 23784, + 122236, + 100364, + 103652, + 129813, + 106023, + 44786, + 109535, + 123871, + 104758, + 11, + 101300, + 100278, + 89701, + 68088, + 121745, + 110758, + 5927, + 103532, + 20879, + 103217, + 102102, + 13, + 107283, + 104985, + 5927, + 113643, + 131058, + 127139, + 2001, + 220, + 15, + 17, + 15, + 17, + 15, + 15, + 15, + 15, + 22, + 16, + 16, + 16, + 15, + 17, + 15, + 15, + 15, + 15, + 15, + 17, + 21, + 18, + 22, + 13 + ], + "text": " Площадь озера — 6,4 км2. Располагается на высоте 54,5 метров над уровнем моря. Форма озера лопастная, продолговатая: оно более чем на двенадцать километров вытянуто с юго-запада на северо-восток. Берега изрезанные, каменисто-песчаные, преимущественно возвышенные. Через озеро течёт река Домашняя, впадающая Лоухское озеро, из которого берёт начало река Луокса, приток реки Керети, впадающей, в свою очередь, в Белое море. В озере более десяти безымянных островов различной площади, однако их количество может варьироваться в зависимости от уровня воды. Код объекта в государственном водном реестре — 02020000711102000002637." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Площадь озера — 6,4 км2. Располагается на высоте 54,5 метров над уровнем моря. Форма озера лопастная, продолговатая: оно более чем на двенадцать километров вытянуто с юго-запада на северо-восток. Берега изрезанные, каменисто-песчаные, преимущественно возвышенные. Через озеро течёт река Домашняя, впадающая Лоухское озеро, из которого берёт начало река Луокса, приток реки Керети, впадающей, в свою очередь, в Белое море. В озере более десяти безымянных островов различной площади, однако их количество может варьироваться в зависимости от уровня воды. Код объекта в государственном водном реестре — 02020000711102000002637." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Площадь озера — 6,4 км2. Располагается на высоте 54,5 метров над уровнем моря. Форма озера лопастная, продолговатая: оно более чем на двенадцать километров вытянуто с юго-запада на северо-восток. Берега изрезанные, каменисто-песчаные, преимущественно возвышенные. Через озеро течёт река Домашняя, впадающая Лоухское озеро, из которого берёт начало река Луокса, приток реки Керети, впадающей, в свою очередь, в Белое море. В озере более десяти безымянных островов различной площади, однако их количество может варьироваться в зависимости от уровня воды. Код объекта в государственном водном реестре — 02020000711102000002637.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 188, + "generated_len": [ + 167 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.535483870967742, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 122493, + 100555, + 125418, + 115274, + 112499, + 18154, + 115785, + 25, + 145586, + 100434, + 103016, + 11, + 100504, + 220, + 16, + 19, + 11, + 105253, + 113674, + 107320, + 25, + 145586, + 100434, + 103016, + 11, + 100504, + 220, + 16, + 22, + 13, + 130336, + 101608, + 85756, + 20879, + 23784, + 13, + 43896, + 13, + 104739, + 13, + 112951, + 105429, + 220, + 16, + 18, + 23, + 17, + 119154, + 101498, + 13, + 112266, + 107013, + 45122, + 39900, + 126968, + 220, + 23, + 19, + 20, + 131074, + 11, + 5927, + 100380, + 111380, + 25, + 104881, + 100273, + 102798, + 11, + 115655, + 4655, + 13373, + 39903, + 101134, + 107966, + 102851, + 7740, + 104306, + 109126, + 50223, + 45122, + 94538, + 11, + 124731, + 100883, + 11, + 102562, + 100455, + 106067, + 11, + 102102, + 220, + 16, + 24, + 22, + 131074, + 11, + 5927, + 100358, + 101504, + 35889, + 100803, + 101134, + 44938, + 113975, + 13, + 116458, + 103220, + 13373, + 220, + 16, + 24, + 22, + 23, + 100260, + 101127, + 40251, + 50819, + 220, + 16, + 18, + 15, + 101103, + 13, + 126744, + 103722, + 25, + 105563, + 103297, + 115154, + 13433, + 11, + 145586, + 100434, + 11, + 116864, + 104096, + 100301, + 119608, + 11, + 110612, + 109186, + 14837, + 107409, + 11, + 109544, + 4655, + 137346, + 17461, + 100273, + 7740, + 114950, + 100273, + 13 + ], + "text": " Здание райисполкома находилось по адресу: Кропоткинская улица, дом 14, здание РК КПСС: Кропоткинская улица, дом 17. Район получил имя от В. И. Ленина. Общая площадь 1382 гектара. Площадь зелёного массива 845 гектар, в состав входили: Александровский сад, скверы на Девичьем поле и улице Усачёва, Лужники, Ленинские горы, воды 197 гектар, в том числе Новодевичий пруд. Количество жителей на 1978 год равняется 130 тысяч. Главные дороги: улицы Волхонка, Кропоткинская, Метростроевская, Большая Пироговская, проспекты Комсомольский и Университетский." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Здание райисполкома находилось по адресу: Кропоткинская улица, дом 14, здание РК КПСС: Кропоткинская улица, дом 17. Район получил имя от В. И. Ленина. Общая площадь 1382 гектара. Площадь зелёного массива 845 гектар, в состав входили: Александровский сад, скверы на Девичьем поле и улице Усачёва, Лужники, Ленинские горы, воды 197 гектар, в том числе Новодевичий пруд. Количество жителей на 1978 год равняется 130 тысяч. Главные дороги: улицы Волхонка, Кропоткинская, Метростроевская, Большая Пироговская, проспекты Комсомольский и Университетский." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Здание райисполкома находилось по адресу: Кропоткинская улица, дом 14, здание РК КПСС: Кропоткинская улица, дом 17. Район получил имя от В. И. Ленина. Общая площадь 1382 гектара. Площадь зелёного массива 845 гектар, в состав входили: Александровский сад, скверы на Девичьем поле и улице Усачёва, Лужники, Ленинские горы, воды 197 гектар, в том числе Новодевичий пруд. Количество жителей на 1978 год равняется 130 тысяч. Главные дороги: улицы Волхонка, Кропоткинская, Метростроевская, Большая Пироговская, проспекты Комсомольский и Университетский.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 176, + "generated_len": [ + 167 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.74, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 105764, + 5927, + 121032, + 103506, + 5927, + 220, + 16, + 23, + 23, + 23, + 100281, + 5927, + 105277, + 109715, + 111833, + 13, + 23784, + 110628, + 102543, + 40842, + 105481, + 100393, + 26, + 100376, + 103531, + 11, + 107182, + 110188, + 112057, + 11, + 57297, + 220, + 16, + 24, + 17, + 23, + 100261, + 121417, + 101034, + 119017, + 48150, + 110801, + 13, + 102531, + 105417, + 100334, + 100484, + 11, + 125702, + 28089, + 18226, + 104468, + 110979, + 9239, + 36352, + 13, + 23784, + 220, + 16, + 24, + 19, + 24, + 100281, + 73385, + 119454, + 101027, + 101003, + 107150, + 39988, + 119951, + 68742, + 110979, + 9239, + 17165, + 2001, + 220, + 22, + 16, + 11, + 20, + 100749, + 108014, + 5524, + 119154, + 101498, + 13, + 100703, + 117747, + 118238, + 100293, + 101238, + 101529, + 100268, + 104876, + 103268, + 11, + 114907, + 103268, + 13 + ], + "text": " Родился в крестьянской семье в 1888 году в деревне Зиминка. В детстве работал подпаском; после революции, получив собственный надел, до 1928 года вёл единоличное хозяйство. Затем создал артель, выращивавшую махорку. В 1949 году его звено добилось рекордной урожайности махорки — 71,5 центнера с гектара. Избирался депутатом Нащёкинского сельского Совета, областного Совета." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Родился в крестьянской семье в 1888 году в деревне Зиминка. В детстве работал подпаском; после революции, получив собственный надел, до 1928 года вёл единоличное хозяйство. Затем создал артель, выращивавшую махорку. В 1949 году его звено добилось рекордной урожайности махорки — 71,5 центнера с гектара. Избирался депутатом Нащёкинского сельского Совета, областного Совета." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Родился в крестьянской семье в 1888 году в деревне Зиминка. В детстве работал подпаском; после революции, получив собственный надел, до 1928 года вёл единоличное хозяйство. Затем создал артель, выращивавшую махорку. В 1949 году его звено добилось рекордной урожайности махорки — 71,5 центнера с гектара. Избирался депутатом Нащёкинского сельского Совета, областного Совета.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 121, + "generated_len": [ + 167 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.8380281690140845, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 124346, + 107399, + 109622, + 5524, + 220, + 16, + 22, + 23, + 20, + 18154, + 220, + 16, + 23, + 15, + 21, + 101351, + 13, + 102884, + 104715, + 143523, + 38438, + 101468, + 145724, + 112282, + 220, + 16, + 21, + 100322, + 24803, + 100269, + 109518, + 5927, + 120823, + 107615, + 39865, + 101076, + 105470, + 90877, + 108338, + 23934, + 100994, + 81529, + 118950, + 11, + 21022, + 220, + 23, + 19, + 119462, + 118076, + 120909, + 111762, + 100662, + 129303, + 26503, + 113218, + 12507, + 23934, + 23784, + 79686, + 13, + 43896, + 48199, + 14525, + 122475, + 115778, + 12769, + 142160, + 116803, + 100434, + 13289, + 100342, + 105558, + 51412, + 102818, + 5927, + 220, + 16, + 22, + 23, + 17, + 100281, + 112293, + 103756, + 21708, + 105370, + 7753, + 103186, + 8105, + 11, + 100727, + 41291, + 105645, + 97065, + 100588, + 109183, + 103487, + 10589, + 13, + 109463, + 105114, + 5927, + 65619, + 103207, + 90875, + 63233, + 141766, + 104769, + 114494, + 13, + 220, + 16, + 102247, + 220, + 17, + 15, + 16, + 22, + 100261, + 103744, + 101457, + 100265, + 103381, + 5524, + 105431, + 12, + 132919, + 104418, + 12507, + 101891, + 103752, + 12507, + 102623, + 61642, + 39865, + 102751, + 13373, + 100926, + 131314, + 125515, + 13 + ], + "text": " Строительство храма происходило с 1785 по 1806 годы. Барочный позолоченный иконостас высотой 16 местров был выполнен в мастерской Миклоша Янковича из города Эгера, а 84 иконы написаны художником Антоном Кушельмейстером из Вены. Икона Божией Матери «Ахтырская» была подарена церкви в 1782 году императрицей Екатериной II, которая проезжала через Мишкольц. Церковь входит в число охраняемых архитектурных объектов Венгрии. 1 февраля 2017 года правительство страны во главе с премьер-министром Виктором Орбаном выделило средства на её реставрацию." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Строительство храма происходило с 1785 по 1806 годы. Барочный позолоченный иконостас высотой 16 местров был выполнен в мастерской Миклоша Янковича из города Эгера, а 84 иконы написаны художником Антоном Кушельмейстером из Вены. Икона Божией Матери «Ахтырская» была подарена церкви в 1782 году императрицей Екатериной II, которая проезжала через Мишкольц. Церковь входит в число охраняемых архитектурных объектов Венгрии. 1 февраля 2017 года правительство страны во главе с премьер-министром Виктором Орбаном выделило средства на её реставрацию." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Строительство храма происходило с 1785 по 1806 годы. Барочный позолоченный иконостас высотой 16 местров был выполнен в мастерской Миклоша Янковича из города Эгера, а 84 иконы написаны художником Антоном Кушельмейстером из Вены. Икона Божией Матери «Ахтырская» была подарена церкви в 1782 году императрицей Екатериной II, которая проезжала через Мишкольц. Церковь входит в число охраняемых архитектурных объектов Венгрии. 1 февраля 2017 года правительство страны во главе с премьер-министром Виктором Орбаном выделило средства на её реставрацию.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 163, + "generated_len": [ + 167 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.6780821917808217, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 103915, + 10693, + 60488, + 101280, + 110841, + 5927, + 112334, + 124010, + 11, + 101503, + 52770, + 103430, + 1840, + 144496, + 11, + 107982, + 23311, + 111901, + 11, + 100303, + 100930, + 35889, + 100688, + 13, + 107257, + 118964, + 103915, + 10693, + 60488, + 123285, + 101796, + 23934, + 106381, + 110168, + 108585, + 100811, + 103578, + 12769, + 124839, + 5927, + 112056, + 220, + 17, + 61312, + 100416, + 100926, + 101692, + 117369, + 23446, + 31443, + 112271, + 112706, + 136399, + 13, + 107257, + 118964, + 103915, + 10693, + 60488, + 2001, + 128727, + 104868, + 220, + 16, + 104625, + 220, + 17, + 104522, + 12769, + 35095, + 102273, + 10589, + 18482, + 28599, + 102664, + 6578, + 63233, + 13289, + 113327, + 12769, + 75608, + 23784, + 109905, + 100511, + 97065, + 12, + 100446, + 101621, + 12769, + 132254, + 100434, + 103394, + 103314, + 6856, + 13289, + 101796, + 23934, + 108924, + 110168, + 100614, + 107257, + 118964, + 103915, + 10693, + 60488, + 13, + 110230, + 101692, + 117369, + 23446, + 31443, + 125132, + 124750, + 10124, + 13, + 23784, + 220, + 17, + 15, + 15, + 24, + 100281, + 103714, + 113239, + 101266, + 102351, + 103748, + 39103, + 100293, + 78746, + 12769, + 37255, + 112772, + 4329, + 61312, + 5927, + 106634, + 102895, + 2001, + 100303, + 64292, + 100801, + 103233, + 121286, + 13 + ], + "text": " Эрхарт часто упоминается в работах музыкантов, таких как Джони Митчелл, Патти Смит, Хитер Нова. Амелия Эрхарт явилась одним из главных персонажей фантастического фильма «Ночь в музее 2», где её роль исполнила актриса Эми Адамс. Амелия Эрхарт — центральный персонаж 1 серии 2 сезона «Тридцать Седьмых» сериала «». В телесериала-антологии «Американская история ужасов» одним из важных персонажей является Амелия Эрхарт. Её роль исполнила Лили Рэйб. В 2009 году вышел биографический фильм Миры Наир «Амелия», в главной роли — Хилари Суонк." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Эрхарт часто упоминается в работах музыкантов, таких как Джони Митчелл, Патти Смит, Хитер Нова. Амелия Эрхарт явилась одним из главных персонажей фантастического фильма «Ночь в музее 2», где её роль исполнила актриса Эми Адамс. Амелия Эрхарт — центральный персонаж 1 серии 2 сезона «Тридцать Седьмые» сериала «». В телесериала-антологии «Американская история ужасов» одним из важных персонажей является Амелия Эрхарт. Её роль исполнила Лили Рэйб. В 2009 году вышел биографический фильм Миры Наир «Амелия», в главной роли — Хилари Суонк." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Эрхарт часто упоминается в работах музыкантов, таких как Джони Митчелл, Патти Смит, Хитер Нова. Амелия Эрхарт явилась одним из главных персонажей фантастического фильма «Ночь в музее 2», где её роль исполнила актриса Эми Адамс. Амелия Эрхарт — центральный персонаж 1 серии 2 сезона «Тридцать Седьмые» сериала «». В телесериала-антологии «Американская история ужасов» одним из важных персонажей является Амелия Эрхарт. Её роль исполнила Лили Рэйб. В 2009 году вышел биографический фильм Миры Наир «Амелия», в главной роли — Хилари Суонк.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 167, + "generated_len": [ + 192 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.7395833333333335, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 107085, + 136411, + 7740, + 100303, + 103176, + 101377, + 105575, + 80584, + 12507, + 100997, + 4329, + 11, + 5524, + 102491, + 113058, + 100376, + 116600, + 103004, + 12, + 115226, + 100265, + 92878, + 103816, + 330, + 65014, + 103041, + 28599, + 118209, + 85864, + 25, + 23227, + 105649, + 18154, + 127639, + 100314, + 3343, + 101754, + 17721, + 100883, + 116572, + 7820, + 51418, + 9882, + 11, + 98851, + 100952, + 102717, + 11, + 48489, + 101925, + 137382, + 3865, + 21477, + 100487, + 18264, + 80584, + 12507, + 100997, + 4329, + 11, + 7740, + 48489, + 100895, + 111941, + 131123, + 13, + 107085, + 100376, + 113623, + 7740, + 100774, + 110246, + 124717, + 45122, + 39988, + 100580, + 104896, + 4655, + 136411, + 118124, + 11, + 48489, + 99845, + 7740, + 135675, + 126395, + 137382, + 1506, + 11, + 102057, + 100330, + 99845, + 100698, + 4929, + 100564, + 101834, + 13, + 28599, + 112608, + 101054, + 7740, + 39903, + 103186, + 44946, + 114432, + 11, + 136411, + 108377, + 80112, + 101156, + 100542, + 5927, + 110660, + 124717, + 45122, + 39988, + 100580, + 104896, + 4655, + 7740, + 105617, + 100886, + 104571, + 3865, + 104787, + 3865, + 36352, + 8379, + 141666, + 103436, + 13, + 72731, + 100487, + 28089, + 102866, + 137382, + 1506, + 11, + 136411, + 101075, + 100489, + 11, + 48489, + 140206, + 73385, + 101476, + 100667, + 7740, + 100667, + 5524, + 108935, + 39479, + 12507, + 11, + 52770, + 105890, + 73385, + 13, + 67891, + 3114, + 112596, + 106927, + 106527, + 34148, + 114389, + 11, + 112333, + 5524, + 114487, + 137382, + 1506, + 11, + 7740, + 101608, + 102125, + 110293, + 12507, + 11, + 7952, + 13337, + 100529, + 3865, + 102678, + 57297, + 51548, + 6148, + 100571, + 100580, + 104896, + 4655, + 13 + ], + "text": " Позже Барри и Хэл стали искать Прометея, сбежавшего после уничтожения Стар-Сити во время события \"Лига Справедливости: Плач по правосудию\". Напарники отправились к Тени, который тогда заявил, что помог Оливеру выследить Прометея, и что тот убил злодея. Позже после столкновения и побега Зелёной Стрелы Барри пообещал, что он и Лига найдут Оливера, прежде чем он убьёт снова. С Хэлом и Диной за спиной, Барри обыскивал город в поисках Зелёной Стрелы и рассказал Коннору Хоуку о преступлении отца. Выследив наконец Оливера, Барри сказал ему, что ненавидит его всё больше и больше с каждым разом, как видит его. Флэш совершил глупую ошибку, пытаясь схватить Оливера, и получил удар током, дотронувшись до колчана Стрелы." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Позже Барри и Хэл стали искать Прометея, сбежавшего после уничтожения Стар-Сити во время события \"Лига Справедливости: Плач по правосудию\". Напарники отправились к Тени, который тогда заявил, что помог Оливеру выследить Прометея, и что тот убил злодея. Позже после столкновения и побега Зелёной Стрелы Барри пообещал, что он и Лига найдут Оливера, прежде чем он убьёт снова. С Хэлом и Диной за спиной, Барри обыскивал город в поисках Зелёной Стрелы и рассказал Коннору Хоуку о преступлении отца. Выследив наконец Оливера, Барри сказал ему, что ненавидит его всё больше и больше с каждым разом, как видит его. Флэш совершил глупую ошибку, пытаясь схватить Оливера, и получил удар током, дотронувшись до колчана Стрелы." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Позже Барри и Хэл стали искать Прометея, сбежавшего после уничтожения Стар-Сити во время события \"Лига Справедливости: Плач по правосудию\". Напарники отправились к Тени, который тогда заявил, что помог Оливеру выследить Прометея, и что тот убил злодея. Позже после столкновения и побега Зелёной Стрелы Барри пообещал, что он и Лига найдут Оливера, прежде чем он убьёт снова. С Хэлом и Диной за спиной, Барри обыскивал город в поисках Зелёной Стрелы и рассказал Коннору Хоуку о преступлении отца. Выследив наконец Оливера, Барри сказал ему, что ненавидит его всё больше и больше с каждым разом, как видит его. Флэш совершил глупую ошибку, пытаясь схватить Оливера, и получил удар током, дотронувшись до колчана Стрелы.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 213, + "generated_len": [ + 192 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.8506493506493507, + "len": 0.9934640522875817, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 140607, + 111787, + 104568, + 100975, + 12, + 121259, + 104309, + 115578, + 102368, + 106039, + 9136, + 28089, + 64292, + 100544, + 13, + 104579, + 107423, + 114141, + 11, + 103163, + 103939, + 12507, + 13373, + 102884, + 105031, + 1532, + 135052, + 53671, + 11, + 106605, + 107503, + 111791, + 105067, + 110977, + 103896, + 128253, + 108230, + 1506, + 135052, + 17165, + 11, + 20879, + 111158, + 5524, + 100759, + 101776, + 19175, + 102633, + 13, + 23784, + 220, + 16, + 20, + 16, + 20, + 25756, + 13, + 120384, + 112288, + 13373, + 102884, + 105031, + 1532, + 102518, + 1506, + 101406, + 13, + 220, + 16, + 20, + 20, + 15, + 705, + 106605, + 113101, + 4655, + 40842, + 17461, + 100268, + 111144, + 102518, + 4655, + 11, + 20879, + 100759, + 102633, + 100892, + 123036, + 13, + 35448, + 115751, + 125888, + 101776, + 25, + 106889, + 18154, + 139610, + 12769, + 34604, + 108310, + 44938, + 61312, + 107503, + 101940, + 10589, + 106058, + 110977, + 103896, + 7740, + 107503, + 111791, + 105067, + 110977, + 103896, + 11, + 111069, + 117637, + 13433, + 122059, + 100266, + 102599, + 106091, + 135052, + 17165, + 7740, + 107503, + 102535, + 88596, + 110977, + 103896, + 105895, + 104002, + 51412, + 61565, + 100923, + 109994, + 13, + 102884, + 105031, + 3865, + 2001, + 132067, + 12182, + 104982, + 3865, + 11, + 111069, + 115201, + 101333, + 125033, + 8105, + 131614, + 13 + ], + "text": " Основатель биржанско-дубинской ветви рода Радзивиллов. Был дважды женат, первым браком на Барбаре Кишке, дочери великого гетмана литовского Станислава Петровича Кишки, от брака с которой детей не имел. В 1515 г. вторично женился на Барбаре Кола ум. 1550), дочери воеводы подольского Павла Колы, от которой имел двух дочерей. Оставил троих детей: Николая по прозвищу «Рыжий», великого канцлера литовского и великого гетмана литовского, жену маршалка Волынской земли Петра Кишки и великого стольника литовского князя Семена Гольшанского. Барбару — польскою королеву, жену Сигизмунда II Августа." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Основатель биржанско-дубинской ветви рода Радзивиллов. Был дважды женат, первым браком на Барбаре Кишке, дочери великого гетмана литовского Станислава Петровича Кишки, от брака с которой детей не имел. В 1515 г. вторично женился на Барбаре Кола ум. 1550), дочери воеводы подольского Павла Колы, от которой имел двух дочерей. Оставил троих детей: Николая по прозвищу «Рыжий», великого канцлера литовского и великого гетмана литовского, жену маршалка Волынской земли Петра Кишки и великого стольника литовского князя Семена Гольшанского. Барбару — польскою королеву, жену Сигизмунда II Августа" + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Основатель биржанско-дубинской ветви рода Радзивиллов. Был дважды женат, первым браком на Барбаре Кишке, дочери великого гетмана литовского Станислава Петровича Кишки, от брака с которой детей не имел. В 1515 г. вторично женился на Барбаре Кола ум. 1550), дочери воеводы подольского Павла Колы, от которой имел двух дочерей. Оставил троих детей: Николая по прозвищу «Рыжий», великого канцлера литовского и великого гетмана литовского, жену маршалка Волынской земли Петра Кишки и великого стольника литовского князя Семена Гольшанского. Барбару — польскою королеву, жену Сигизмунда II Августа<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 174, + "generated_len": [ + 192 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.746268656716418, + "len": 0.9774436090225563, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 106831, + 104456, + 13433, + 107146, + 139725, + 220, + 23, + 24, + 102496, + 44946, + 120360, + 16248, + 100314, + 7740, + 105840, + 100314, + 7740, + 107728, + 220, + 18, + 24, + 100958, + 13, + 136439, + 108636, + 220, + 17, + 24, + 101887, + 220, + 16, + 24, + 24, + 15, + 100265, + 108186, + 5524, + 106747, + 106471, + 100677, + 21708, + 13, + 23784, + 101951, + 104140, + 101457, + 99845, + 105893, + 13373, + 102852, + 112190, + 104450, + 102905, + 220, + 16, + 24, + 24, + 21, + 7740, + 107728, + 100829, + 106635, + 5927, + 107419, + 104140, + 100570, + 13, + 23784, + 101951, + 104140, + 100702, + 128465, + 127655, + 100350, + 124047, + 11, + 21022, + 100588, + 102380, + 100261, + 106366, + 7740, + 13373, + 117088, + 220, + 17, + 15, + 15, + 15, + 11, + 100267, + 100761, + 105840, + 40231, + 101948, + 8164, + 100640, + 101580, + 115126, + 109021, + 104889, + 18437, + 48199, + 11, + 19175, + 101428, + 4329, + 23934, + 101742, + 7740, + 106325, + 101644, + 36497, + 100779, + 102862, + 108869, + 13, + 104513, + 102701, + 106278, + 107146, + 220, + 20, + 101871, + 220, + 17, + 15, + 15, + 16, + 100395, + 109259, + 87008, + 13 + ], + "text": " Павел Кука провёл суммарно 89 игр за Чехословакию и Чехию и забил 39 голов. Дебют состоялся 29 августа 1990 во встрече с Финляндией. В составе сборной страны он играл на пяти матчах чемпионата Европы 1996 и забил гол головой в ворота сборной России. В составе сборной стал серебряным призёром того первенства, а через четыре года сыграл и на Евро 2000, но там Чехия потерпела оглушительное фиаско, не выходя из группы и проигрывая два первых матча. Последнюю игру провёл 5 сентября 2001 против Мальты." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Павел Кука провёл суммарно 89 игр за Чехословакию и Чехию и забил 39 голов. Дебют состоялся 29 августа 1990 во встрече с Финляндией. В составе сборной страны он играл на пяти матчах чемпионата Европы 1996 и забил гол головой в ворота сборной России. В составе сборной стал серебряным призёром того первенства, а через четыре года сыграл и на Евро 2000, но там Чехия потерпела оглушительное фиаско, не выйдя из группы и проиграв два первых матча. Последнюю игру провёл 5 сентября 2001 против Мальты." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Павел Кука провёл суммарно 89 игр за Чехословакию и Чехию и забил 39 голов. Дебют состоялся 29 августа 1990 во встрече с Финляндией. В составе сборной страны он играл на пяти матчах чемпионата Европы 1996 и забил гол головой в ворота сборной России. В составе сборной стал серебряным призёром того первенства, а через четыре года сыграл и на Евро 2000, но там Чехия потерпела оглушительное фиаско, не выйдя из группы и проиграв два первых матча. Последнюю игру провёл 5 сентября 2001 против Мальты.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 152, + "generated_len": [ + 192 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.878048780487805, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 119119, + 23446, + 13999, + 2001, + 102220, + 102452, + 113546, + 108208, + 25, + 119119, + 23446, + 13999, + 2001, + 112098, + 5927, + 108711, + 109926, + 101744, + 120586, + 100266, + 100768, + 13, + 119119, + 23446, + 13999, + 2001, + 103165, + 5927, + 129774, + 100457, + 101744, + 120356, + 100768, + 13, + 119119, + 23446, + 13999, + 2001, + 103165, + 5927, + 113761, + 109926, + 101744, + 139202, + 100768, + 13, + 119119, + 23446, + 13999, + 2001, + 108572, + 103978, + 5927, + 109659, + 100544, + 100457, + 101744, + 139202, + 100768, + 13, + 119119, + 23446, + 13999, + 2001, + 102220, + 113499, + 104139, + 25, + 119119, + 23446, + 13999, + 2001, + 106664, + 104139, + 118619, + 88612, + 5927, + 120586, + 100266, + 100768, + 13 + ], + "text": " Полунино — название нескольких населённых пунктов: Полунино — хутор в Дубовском районе Волгоградской области. Полунино — деревня в Ржевском районе Тверской области. Полунино — деревня в Кимовском районе Тульской области. Полунино — посёлок станции в Узловском районе Тульской области. Полунино — название памятника природы: Полунино — памятник природы регионального значения в Волгоградской области." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Полунино — название нескольких населённых пунктов: Полунино — хутор в Дубовском районе Волгоградской области. Полунино — деревня в Ржевском районе Тверской области. Полунино — деревня в Кимовском районе Тульской области. Полунино — посёлок станции в Узловском районе Тульской области. Полунино — название памятника природы: Полунино — памятник природы регионального значения в Волгоградской области." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Полунино — название нескольких населённых пунктов: Полунино — хутор в Дубовском районе Волгоградской области. Полунино — деревня в Ржевском районе Тверской области. Полунино — деревня в Кимовском районе Тульской области. Полунино — посёлок станции в Узловском районе Тульской области. Полунино — название памятника природы: Полунино — памятник природы регионального значения в Волгоградской области.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 103, + "generated_len": [ + 192 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.3671875, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 110612, + 109721, + 134908, + 2001, + 105874, + 5927, + 35889, + 7486, + 19039, + 100457, + 101744, + 112702, + 101688, + 100268, + 104022, + 100570, + 13, + 109317, + 102285, + 2001, + 220, + 18, + 17, + 101405, + 13, + 140605, + 13373, + 109721, + 12507, + 100457, + 101191, + 102224, + 13373, + 106864, + 220, + 20, + 21, + 23, + 103114, + 100335, + 108218, + 102768, + 13, + 51418, + 56857, + 100564, + 18154, + 91146, + 23630, + 101125, + 101646, + 12507, + 100280, + 110408, + 107529, + 5927, + 120414, + 104158, + 13, + 28599, + 100652, + 103544, + 5524, + 122085, + 109721, + 134908, + 11, + 116253, + 139411, + 109284, + 109721, + 134908, + 13, + 116197, + 109345, + 100926, + 134367, + 13, + 108591, + 108951, + 1840, + 2001, + 107294, + 101749, + 51418, + 100787, + 34613, + 7740, + 100545, + 33742, + 101288, + 11, + 105352, + 2001, + 104006, + 51736, + 13, + 107283, + 120084, + 104985, + 220, + 17, + 15, + 15, + 18, + 15, + 24, + 15, + 15, + 16, + 16, + 17, + 16, + 16, + 23, + 16, + 15, + 15, + 15, + 21, + 24, + 22, + 20, + 17, + 13, + 102988, + 13 + ], + "text": " Большая Садоми — река в Нанайском районе Хабаровского края России. Длина реки — 32 км. Начинается на Садомском перевале на высоте 568 метров над уровнем моря. Течёт по поросшей лесом гористой местности в западном направлении. Сливаясь с Малой Садоми, образует короткую реку Садоми. Является левой её составляющей. Основные притоки — ручьи Тёмный и Перевальный, оба — левые. Код водного объекта 20030900112118100069752. Примечания." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Большая Садоми — река в Нанайском районе Хабаровского края России. Длина реки — 32 км. Начинается на Садомском перевале на высоте 568 метро над уровнем моря. Течёт по поросшей лесом гористой местности в западном направлении. Сливаясь с Малой Садоми, образует короткую реку Садоми. Является левой её составляющей. Основные притоки — ручьи Тёмный и Перевальный, оба — левые. Код водного объекта 20030900112118100069752. Примечания." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Большая Садоми — река в Нанайском районе Хабаровского края России. Длина реки — 32 км. Начинается на Садомском перевале на высоте 568 метро над уровнем моря. Течёт по поросшей лесом гористой местности в западном направлении. Сливаясь с Малой Садоми, образует короткую реку Садоми. Является левой её составляющей. Основные притоки — ручьи Тёмный и Перевальный, оба — левые. Код водного объекта 20030900112118100069752. Примечания.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 149, + "generated_len": [ + 192 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.6455696202531644, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 140605, + 20879, + 140278, + 13433, + 5524, + 131405, + 103690, + 100688, + 11, + 115024, + 140278, + 100393, + 5524, + 101137, + 50807, + 110273, + 109998, + 39988, + 11, + 137327, + 7740, + 103127, + 30480, + 13999, + 133469, + 13, + 140605, + 140278, + 100393, + 5524, + 109544, + 12507, + 118840, + 17721, + 69775, + 11, + 115024, + 140278, + 100393, + 5524, + 131405, + 111138, + 119715, + 13, + 105468, + 37773, + 111142, + 115271, + 13, + 23784, + 126377, + 19039, + 100817, + 12769, + 129973, + 34613, + 75608, + 140605, + 20879, + 140278, + 13433, + 5524, + 131405, + 143333, + 30656, + 101094, + 137411, + 100688, + 11, + 115024, + 140278, + 100393, + 5524, + 131405, + 102914, + 28086, + 113816, + 13 + ], + "text": " Начинается от перекрёстка с улицей Серова, заканчивается перекрёстком с улицами Водопроводной, Дружбы и Машиностроителей. Начинается перекрёстком с проспектом Гагарина, заканчивается перекрёстком с улицей Карла Маркса. Хутор Никиткино. В микрорайоне «Звёздный». Начинается от перекрёстка с улицей Архитектора Самсонова, заканчивается перекрёстком с улицей Караваева." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Начинается от перекрёстка с улицей Серова, заканчивается перекрёстком с улицами Водопроводной, Дружбы и Машиностроителей. Начинается перекрёстком с проспектом Гагарина, заканчивается перекрёстком с улицей Карла Маркса. Хутор Никиткино. В микрорайоне «Звёздный». Начинается от перекрёстка с улицей Архитектора Самсонова, заканчивается перекрёстком с улицей Караваева." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Начинается от перекрёстка с улицей Серова, заканчивается перекрёстком с улицами Водопроводной, Дружбы и Машиностроителей. Начинается перекрёстком с проспектом Гагарина, заканчивается перекрёстком с улицей Карла Маркса. Хутор Никиткино. В микрорайоне «Звёздный». Начинается от перекрёстка с улицей Архитектора Самсонова, заканчивается перекрёстком с улицей Караваева.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 100, + "generated_len": [ + 192 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.8323353293413174, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 23784, + 108798, + 102541, + 138846, + 1532, + 100299, + 14525, + 35889, + 68506, + 100304, + 12769, + 16604, + 101188, + 142596, + 120532, + 61312, + 104846, + 100758, + 102408, + 109356, + 102220, + 12769, + 134830, + 34613, + 121420, + 107020, + 13289, + 7740, + 100336, + 120694, + 101173, + 103486, + 100847, + 104868, + 3865, + 13, + 23784, + 103865, + 115205, + 34613, + 121420, + 107020, + 2001, + 68979, + 122662, + 100919, + 7975, + 11, + 140820, + 136847, + 9239, + 23311, + 20346, + 101816, + 100806, + 101261, + 7740, + 109040, + 101293, + 104116, + 107470, + 11, + 100665, + 76401, + 129458, + 73385, + 113132, + 23934, + 117627, + 11562, + 41873, + 19479, + 87994, + 13, + 111145, + 111242, + 111898, + 105363, + 12769, + 124549, + 101856, + 100273, + 101133, + 106247, + 17766, + 13289, + 5927, + 119884, + 103903, + 12769, + 131455, + 100826, + 115205, + 39900, + 121420, + 10124, + 44100, + 75608, + 126139, + 109839, + 109639, + 123919, + 106110, + 109905, + 100511, + 97065, + 12769, + 48353, + 75608, + 23784, + 220, + 16, + 22, + 12, + 12507, + 127230, + 220, + 16, + 20, + 12, + 66349, + 104522, + 113327, + 12769, + 124549, + 135329, + 13289, + 100561, + 23630, + 103132, + 118938, + 104972, + 18154, + 121323, + 18264, + 100335, + 101161, + 100583, + 11, + 107443, + 18226, + 100862, + 108004, + 8379, + 115205, + 94962, + 121420, + 10124, + 81856, + 11, + 98851, + 133768, + 104754, + 3865, + 117461, + 25, + 330, + 113687, + 56515, + 16494, + 11, + 100742, + 28089, + 35723, + 27074, + 3343 + ], + "text": " В мистическом триллере Яна Нэза «Властелин старости», первая часть книги носит название «Чёрный дембель» и также посвящена одноименному персонажу. В книге Чёрный дембель — это лесной идол, обладающий телепортирующим свойством и отправляющий домой всякого, кто помажет его кровью из левого мизинца. Фильм Андрея Прошкина «Солдатский декамерон» в прессе называют «Возвращением Чёрного дембеля». Аналогичным представляется четвертый сезон телесериала «Lost». В 17-ом эпизоде 15-го сезона сериала «Солдаты» старослужащие решили пошутить над молодыми, придумав легенду о Чёрном дембеле, который произносил капитану фразу: \"Покурим, служивый?!\"." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "В мистическом триллере Яна Нэза «Властелин старости», первая часть книги носит название «Чёрный дембель» и также посвящена одноименному персонажу. В книге Чёрный дембель — это лесной идол, обладающий телепортирующим свойством и отправляющий домой всякого, кто помажет его кровью из левого мизинца. Фильм Андрея Прошкина «Солдатский декамерон» в прессе называют «Возвращением Чёрного дембеля». Аналогичным представляется четвёртый сезон телесериала «Lost». В 17-ом эпизоде 15-го сезона сериала «Солдаты» старослужащие решили пошутить над молодыми, придумав легенду о Чёрном дембеле, который произносил капитану фразу: \"Покурим, служивый?!\"." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: В мистическом триллере Яна Нэза «Властелин старости», первая часть книги носит название «Чёрный дембель» и также посвящена одноименному персонажу. В книге Чёрный дембель — это лесной идол, обладающий телепортирующим свойством и отправляющий домой всякого, кто помажет его кровью из левого мизинца. Фильм Андрея Прошкина «Солдатский декамерон» в прессе называют «Возвращением Чёрного дембеля». Аналогичным представляется четвёртый сезон телесериала «Lost». В 17-ом эпизоде 15-го сезона сериала «Солдаты» старослужащие решили пошутить над молодыми, придумав легенду о Чёрном дембеле, который произносил капитану фразу: \"Покурим, служивый?!\".<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 188, + "generated_len": [ + 192 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 2.7241379310344827, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 101318, + 31101, + 34613, + 100504, + 45458, + 13, + 23227, + 13, + 143366, + 5591, + 136350, + 13, + 131652, + 100273, + 112404, + 11, + 220, + 18, + 13, + 101318, + 31101, + 34613, + 100504, + 119139, + 1840, + 13, + 115567, + 129286, + 38722, + 143787, + 11, + 220, + 20, + 13, + 102524, + 100300, + 15088, + 109186, + 14837, + 100688, + 11, + 220, + 19, + 13, + 101318, + 31101, + 34613, + 100504, + 13, + 23227, + 58073, + 100266, + 112404, + 11, + 220, + 23, + 13 + ], + "text": " Доходный дом М. П. Кудрявцевой. Дмитровский переулок, 3. Доходный дом Якоби. Улица Декабристов, 5. Переулок Пирогова, 4. Доходный дом. Поварской переулок, 8." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Доходный дом М. П. Кудрявцевой. Дмитровский переулок, 3. Доходный дом Якоби. Улица Декабристов, 5. Переулок Пирогова, 4. Доходный дом. Поварской переулок, 8." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Доходный дом М. П. Кудрявцевой. Дмитровский переулок, 3. Доходный дом Якоби. Улица Декабристов, 5. Переулок Пирогова, 4. Доходный дом. Поварской переулок, 8.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 79, + "generated_len": [ + 189 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 5.276422764227642, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 102914, + 30480, + 110212, + 100273, + 2001, + 112339, + 114632, + 13, + 117550, + 44065, + 132632, + 25, + 102914, + 102427, + 100273, + 11, + 102484, + 133477, + 2001, + 126872, + 11, + 118482, + 100898, + 106912, + 100570, + 11, + 118641, + 107556, + 133482, + 100266, + 119913, + 100628, + 101157, + 12394, + 101310, + 13, + 102914, + 102427, + 100273, + 11, + 102484, + 118468, + 2001, + 117724, + 11, + 103985, + 11, + 130436, + 112956, + 103896, + 29619, + 143712, + 104051, + 104871, + 13, + 102914, + 102427, + 100273, + 11, + 102484, + 104236, + 2001, + 103667, + 107229, + 114907, + 101497, + 39900, + 141941, + 104524, + 101741, + 57855, + 13, + 35889, + 13, + 133931, + 13, + 102914, + 102427, + 100273, + 11, + 109458, + 139125, + 2001, + 104444, + 102805, + 7740, + 103906, + 13, + 102914, + 102427, + 100273, + 11, + 103731, + 144486, + 2001, + 104444, + 106304, + 11, + 114948, + 104838, + 105887, + 13, + 102914, + 102427, + 100273, + 11, + 103878, + 104236, + 2001, + 104444, + 18034, + 100849, + 23311, + 6735, + 7740, + 120953, + 104986, + 13, + 114948, + 104838, + 105887, + 13 + ], + "text": " Каши́рский — русская фамилия. Известные носители: Каширский, Владимир Викторович — дирижёр, заслуженный деятель искусств России, художественный руководитель Губернаторской симфонической капеллы. Каширский, Владимир Григорьевич — учёный, профессор, декан Саратовского политехнического института. Каширский, Владимир Иванович — директор Московского областного государственного драматического театра имени А. Н. Островского. Каширский, Евгений Ефимович — советский поэт и журналист. Каширский, Николай Кузьмич — советский актёр, Заслуженный артист РСФСР. Каширский, Михаил Иванович — советский флейтист и музыкальный педагог. Заслуженный артист РСФСР." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Каши́рский — русская фамилия. Известные носители: Каширский, Владимир Викторович — дирижёр, заслуженный деятель искусств России, художественный руководитель Губернаторской симфонической капеллы. Каширский, Владимир Григорьевич — учёный, профессор, декан Саратовского политехнического института. Каширский, Владимир Иванович — директор Московского областного государственного драматического театра имени А. Н. Островского. Каширский, Евгений Ефимович — советский поэт и журналист. Каширский, Николай Кузьмич — советский актёр, Заслуженный артист РСФСР. Каширский, Михаил Иванович — советский флейтист и музыкальный педагог. Заслуженный артист РСФСР." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Каши́рский — русская фамилия. Известные носители: Каширский, Владимир Викторович — дирижёр, заслуженный деятель искусств России, художественный руководитель Губернаторской симфонической капеллы. Каширский, Владимир Григорьевич — учёный, профессор, декан Саратовского политехнического института. Каширский, Владимир Иванович — директор Московского областного государственного драматического театра имени А. Н. Островского. Каширский, Евгений Ефимович — советский поэт и журналист. Каширский, Николай Кузьмич — советский актёр, Заслуженный артист РСФСР. Каширский, Михаил Иванович — советский флейтист и музыкальный педагог. Заслуженный артист РСФСР.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 144, + "generated_len": [ + 189 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.7412587412587412, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 102612, + 100957, + 101767, + 100835, + 9882, + 4268, + 254, + 18437, + 108175, + 5927, + 110488, + 100796, + 100402, + 19188, + 102333, + 12, + 124530, + 109382, + 132103, + 11, + 5927, + 119243, + 12, + 102401, + 100615, + 39988, + 108423, + 11, + 13373, + 110452, + 103514, + 137352, + 5927, + 220, + 18, + 101405, + 13373, + 103727, + 12, + 103623, + 20879, + 102607, + 105226, + 39900, + 103460, + 105304, + 2001, + 111693, + 102894, + 106038, + 104074, + 100273, + 16016, + 126178, + 40211, + 7753, + 100271, + 142069, + 11, + 92457, + 137795, + 118256, + 102700, + 117529, + 7740, + 11562, + 1532, + 101017, + 44786, + 107905, + 13, + 114505, + 106435, + 105129, + 5524, + 134382, + 101900, + 220, + 15, + 11877, + 28599, + 110119, + 220, + 24, + 12, + 16, + 15, + 103463, + 11, + 23934, + 100498, + 111497, + 2001, + 220, + 19, + 12, + 20, + 103463, + 2001, + 111919, + 13, + 102049, + 2156, + 101158, + 102253, + 107235, + 101108, + 489, + 16, + 16, + 11877, + 11, + 103586, + 13373, + 101398, + 36497, + 20879, + 220, + 16, + 20, + 11877, + 5927, + 105351, + 57297, + 220, + 18, + 15, + 11877, + 5927, + 105765, + 13, + 107973, + 102253, + 109903, + 117893, + 110119, + 220, + 23, + 15, + 15, + 103588, + 497 + ], + "text": " Географическое положениеРасположен в южной части Приазово-Кубанской равнины, в южно-предгорной зоне, на левом берегу Кубани в 3 км на северо-запад от административного центра поселения — хутора Ольгинский.; Климатумеренно континентальный, без резких колебаний суточных и месячных температур. Продолжительность периода с температурой выше 0° С достигает 9-10 месяцев, из них половина — 4-5 месяцев — лето. Среднегодовая температура около +11°, постепенно нарастая от 15° в мае до 30° в августе. Годовая сумма осадков достигает 800 мм.." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Географическое положениеРасположен в южной части Приазово-Кубанской равнины, в южно-предгорной зоне, на левом берегу Кубани в 3 км на северо-запад от административного центра поселения — хутора Ольгинский.; Климатумеренно континентальный, без резких колебаний суточных и месячных температур. Продолжительность периода с температурой выше 0° С достигает 9-10 месяцев, из них половина — 4-5 месяцев — лето. Среднегодовая температура около +11°, постепенно нарастая от 15° в мае до 30° в августе. Годовая сумма осадков достигает 800 мм.." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Географическое положениеРасположен в южной части Приазово-Кубанской равнины, в южно-предгорной зоне, на левом берегу Кубани в 3 км на северо-запад от административного центра поселения — хутора Ольгинский.; Климатумеренно континентальный, без резких колебаний суточных и месячных температур. Продолжительность периода с температурой выше 0° С достигает 9-10 месяцев, из них половина — 4-5 месяцев — лето. Среднегодовая температура около +11°, постепенно нарастая от 15° в мае до 30° в августе. Годовая сумма осадков достигает 800 мм..<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 164, + "generated_len": [ + 189 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.436708860759493, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 106520, + 100301, + 18264, + 100971, + 117959, + 108870, + 100274, + 5927, + 119871, + 5524, + 102214, + 102862, + 107869, + 100373, + 34943, + 101927, + 107414, + 103986, + 101060, + 101280, + 102608, + 28089, + 100750, + 100959, + 102447, + 115022, + 104524, + 13, + 103160, + 103066, + 100959, + 100274, + 107421, + 1482, + 18154, + 119513, + 220, + 16, + 24, + 22, + 15, + 100261, + 11, + 103530, + 103063, + 7740, + 100274, + 122687, + 105157, + 100588, + 220, + 22, + 100366, + 13, + 100293, + 18154, + 117784, + 5927, + 220, + 16, + 24, + 22, + 22, + 2345, + 16, + 24, + 23, + 20, + 101991, + 100274, + 103864, + 73281, + 220, + 18, + 19, + 19, + 108236, + 119178, + 13, + 118362, + 109041, + 100645, + 220, + 17, + 106128, + 11, + 103224, + 13373, + 68979, + 7740, + 20440, + 101683, + 103021, + 101253, + 103034, + 103074, + 89338, + 100551, + 109101, + 110542, + 13, + 101795, + 103955, + 10124, + 12182, + 14009, + 108870, + 100342, + 112470, + 7740, + 116367, + 105429, + 5524, + 118521, + 135840, + 15298, + 117497, + 119959, + 12507, + 11, + 110621, + 100969, + 100310, + 106831, + 51418, + 107573, + 13433, + 7740, + 53677, + 100532, + 115132, + 109179, + 121514, + 13, + 28599, + 101723, + 220, + 17, + 15, + 16, + 16, + 57297, + 123425, + 103978, + 13373, + 106362, + 114892, + 113465, + 34613, + 121781, + 20440, + 117865, + 44786, + 51548, + 100620, + 15088, + 13 + ], + "text": " Построить здесь станцию метро было в планах с самых первых проектов еще со времен Первой Республики хотя часто рассматривалось место вокруг Национального театра. Именно настоящее место было выбрано по плану 1970 года, согласно которому и было начато строительство через 7 лет. На постройку в 1977—1985 годах было выделено 344 миллиона крон. Изначально планировались 2 выхода, несмотря на это и для построенного одного пришлось снести много исторических зданий. Кроме вестибюля метро была построена и маленькая площадь с современным застекленным фонтаном, автором которого были Павел Трнка и Збынек Кабелик. С мая 2011 до закрытия станции на ремонт действовал вертикальный лифт для инвалидных колясок." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Построить здесь станцию метро было в планах с самых первых проектов еще со времен Первой Республики хотя часто рассматривалось место вокруг Национального театра. Именно настоящее место было выбрано по плану 1970 года, согласно которому и было начато строительство через 7 лет. На постройку в 1977—1985 годах было выделено 344 миллиона крон. Изначально планировались 2 выхода, несмотря на это и для построенного одного пришлось снести много исторических зданий. Кроме вестибюля метро была построена и маленькая площадь с современным застекленным фонтаном, автором которого были Павел Трнка и Збынек Кабелик. С мая 2011 до закрытия станции на ремонт действовал вертикальный лифт для инвалидных колясок." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Построить здесь станцию метро было в планах с самых первых проектов еще со времен Первой Республики хотя часто рассматривалось место вокруг Национального театра. Именно настоящее место было выбрано по плану 1970 года, согласно которому и было начато строительство через 7 лет. На постройку в 1977—1985 годах было выделено 344 миллиона крон. Изначально планировались 2 выхода, несмотря на это и для построенного одного пришлось снести много исторических зданий. Кроме вестибюля метро была построена и маленькая площадь с современным застекленным фонтаном, автором которого были Павел Трнка и Збынек Кабелик. С мая 2011 до закрытия станции на ремонт действовал вертикальный лифт для инвалидных колясок.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 179, + "generated_len": [ + 189 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.321167883211679, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 103004, + 100721, + 112789, + 11, + 53677, + 3114, + 43203, + 112262, + 14525, + 13, + 53677, + 31443, + 54939, + 44613, + 109855, + 54939, + 121507, + 100580, + 101688, + 1482, + 110868, + 112789, + 2001, + 116422, + 127399, + 121946, + 11, + 103633, + 104140, + 101031, + 13, + 106630, + 13433, + 102905, + 220, + 16, + 24, + 20, + 15, + 13, + 35889, + 101362, + 110397, + 13, + 114302, + 106140, + 101031, + 13, + 72731, + 100328, + 97065, + 44946, + 104532, + 28599, + 110215, + 55258, + 13, + 139912, + 109432, + 104450, + 101031, + 220, + 16, + 24, + 19, + 22, + 13, + 23784, + 101951, + 104140, + 101031, + 5927, + 220, + 16, + 24, + 20, + 15, + 100281, + 101777, + 101459, + 100346, + 102905, + 13, + 100738, + 104874, + 120134, + 111394, + 109546, + 128951, + 103905, + 103019, + 7740, + 104346, + 13, + 132373, + 141981, + 102769, + 11, + 122605, + 61565, + 93899, + 20976, + 108306, + 116693, + 13, + 122071, + 101226, + 118551, + 110204, + 13, + 117558, + 97065, + 101997, + 5927, + 140192, + 7740, + 103108, + 67589, + 100363, + 110780, + 106961, + 13373, + 141006, + 105877, + 13, + 107323, + 23934, + 108184, + 102408, + 12769, + 109132, + 21708, + 101700, + 5927, + 101031, + 75608 + ], + "text": " Старовойтова, Злата Андреевна. Зла́та Андре́евна Старово́йтова — советская волейболистка, игрок сборной СССР. Чемпионка Европы 1950. Нападающая. Мастер спорта СССР. Выступала за команду СКИФ. Бронзовый призёр чемпионата СССР 1947. В составе сборной СССР в 1950 году стала чемпионкой Европы. После окончания игровой карьеры работала преподавателем русского языка и литературы. Кандидат педагогических наук, доцент ГЦОЛИФК. Занималась литературной деятельностью. Принимала участие в написании и редактировании множества произведений на спортивную тему. Одна из авторов книги «Волейбол в СССР»." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Старовойтова, Злата Андреевна. Зла́та Андре́евна Старово́йтова — советская волейболистка, игрок сборной СССР. Чемпионка Европы 1950. Нападающая. Мастер спорта СССР. Выступала за команду СКИФ. Бронзовый призёр чемпионата СССР 1947. В составе сборной СССР в 1950 году стала чемпионкой Европы. После окончания игровой карьеры работала преподавателем русского языка и литературы. Кандидат педагогических наук, доцент ГЦОЛИФК. Занималась литературной деятельностью. Принимала участие в написании и редактировании множества произведений на спортивную тему. Одна из авторов книги «Волейбол в СССР»." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Старовойтова, Злата Андреевна. Зла́та Андре́евна Старово́йтова — советская волейболистка, игрок сборной СССР. Чемпионка Европы 1950. Нападающая. Мастер спорта СССР. Выступала за команду СКИФ. Бронзовый призёр чемпионата СССР 1947. В составе сборной СССР в 1950 году стала чемпионкой Европы. После окончания игровой карьеры работала преподавателем русского языка и литературы. Кандидат педагогических наук, доцент ГЦОЛИФК. Занималась литературной деятельностью. Принимала участие в написании и редактировании множества произведений на спортивную тему. Одна из авторов книги «Волейбол в СССР».<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 158, + "generated_len": [ + 189 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 5.17948717948718, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 125665, + 114327, + 2001, + 102220, + 114327, + 6856, + 5927, + 109068, + 107473, + 25, + 125665, + 114327, + 2001, + 128969, + 107185, + 5927, + 109254, + 11, + 111881, + 103757, + 13, + 125665, + 114327, + 11, + 46177, + 124145, + 12, + 138934, + 100273, + 11, + 2001, + 128969, + 107185, + 5927, + 124145, + 1532, + 11, + 103454, + 13, + 125665, + 114327, + 2001, + 128969, + 107185, + 5927, + 110428, + 11, + 113235, + 13, + 125665, + 114327, + 11, + 46177, + 108183, + 12, + 138934, + 100273, + 11, + 2001, + 128969, + 107185, + 5927, + 108183, + 1532, + 11, + 113235, + 13, + 125665, + 114327, + 2001, + 128969, + 107185, + 5927, + 130962, + 11, + 106829, + 13 + ], + "text": " Южный вокзал — название вокзалов в следующих городах: Южный вокзал — железнодорожная станция в Вене, Австрия. Южный вокзал, или Калининград-Пассажирский, — железнодорожная станция в Калининграде, Россия. Южный вокзал — железнодорожная станция в Киеве, Украина. Южный вокзал, или Харьков-Пассажирский, — железнодорожная станция в Харькове, Украина. Южный вокзал — железнодорожная станция в Пекине, Китай." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Южный вокзал — название вокзалов в следующих городах: Южный вокзал — железнодорожная станция в Вене, Австрия. Южный вокзал, или Калининград-Пассажирский, — железнодорожная станция в Калининграде, Россия. Южный вокзал — железнодорожная станция в Киеве, Украина. Южный вокзал, или Харьков-Пассажирский, — железнодорожная станция в Харькове, Украина. Южный вокзал — железнодорожная станция в Пекине, Китай." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Южный вокзал — название вокзалов в следующих городах: Южный вокзал — железнодорожная станция в Вене, Австрия. Южный вокзал, или Калининград-Пассажирский, — железнодорожная станция в Калининграде, Россия. Южный вокзал — железнодорожная станция в Киеве, Украина. Южный вокзал, или Харьков-Пассажирский, — железнодорожная станция в Харькове, Украина. Южный вокзал — железнодорожная станция в Пекине, Китай.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 99, + "generated_len": [ + 189 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.507936507936508, + "len": 0.9946808510638298, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 100680, + 18226, + 17721, + 13810, + 108654, + 5927, + 102465, + 5927, + 112990, + 100457, + 107209, + 12507, + 106368, + 111684, + 19, + 20, + 432, + 13, + 393, + 13, + 386, + 1210, + 75608, + 23784, + 220, + 17, + 15, + 16, + 15, + 100281, + 99845, + 114709, + 102468, + 23934, + 106381, + 119533, + 5927, + 123226, + 69530, + 8304, + 111684, + 20807, + 100701, + 101436, + 44858, + 103394, + 1, + 75608, + 28599, + 220, + 17, + 15, + 16, + 18, + 18154, + 220, + 17, + 15, + 16, + 22, + 100260, + 104394, + 100449, + 5927, + 123226, + 111684, + 35095, + 100787, + 48150, + 125215, + 1, + 61312, + 100416, + 116230, + 101692, + 125179, + 110250, + 110275, + 19479, + 100304, + 13, + 102621, + 101692, + 120502, + 100489, + 112216, + 3865, + 20879, + 116237, + 11, + 5927, + 102572, + 2001, + 44946, + 73385, + 108268, + 111257, + 13, + 100680, + 18226, + 17721, + 13810, + 107423, + 116529, + 111691, + 105185, + 105847, + 106634, + 112990, + 100266, + 106613, + 2001, + 12769, + 60674, + 14275, + 23488, + 61312, + 126844, + 116042, + 44946, + 117634, + 100802, + 100986, + 101692, + 104529, + 107384, + 5927, + 146795, + 113327, + 10693, + 5927, + 220, + 17, + 15, + 16, + 19, + 7740, + 220, + 17, + 15, + 16, + 20, + 101991, + 13, + 23784, + 220, + 17, + 15, + 16, + 21, + 100281, + 106366, + 5927, + 106368, + 111684, + 39091, + 110256, + 110075, + 1, + 13289, + 114848, + 61565, + 107942, + 106740, + 28599, + 88831, + 101085, + 5524, + 45458, + 100509, + 142336, + 102759, + 48199, + 14525, + 101748, + 11, + 112680, + 12507, + 124704, + 7486, + 38722, + 68506, + 7740, + 100293, + 134908, + 142420, + 113666, + 13 + ], + "text": " Джаварис дебютировал в кино в канадском независимом фильме «\"45 R. P. M.\"». В 2010 году он исполнил одну из главных ролей в сериале Cartoon Network «\"Невероятная история\"». С 2013 по 2017 год снимался в сериале «\"Тёмное дитя\"», где исполнял роль Феликса Докинза. Эта роль принесла ему похвалу от критиков, в частности — за его английский акцент. Джаварис дважды становился лауреатом главной канадской премии — «Canadian Screen Awards», выиграв награды за лучшую мужскую роль второго плана в драматических сериалах в 2014 и 2015 годах. В 2016 году сыграл в фильме «\"Море деревьев\"» режиссёра Гаса Ван Сента вместе с Мэттью Макконахи, Кеном Ватанабэ и Наоми Уоттс." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Джаварис дебютировал в кино в канадском независимом фильме «\"45 R. P. M.\"». В 2010 году он исполнил одну из главных ролей в сериале Cartoon Network «\"Невероятная история\"». С 2013 по 2017 год снимался в сериале «\"Тёмное дитя\"», где исполнял роль Феликса Докинза. Эта роль принесла ему похвалу от критиков, в частности — за его английский акцент. Джаварис дважды становился лауреатом главной канадской премии — «Canadian Screen Awards», выиграв награды за лучшую мужскую роль второго плана в драматическом сериале в 2014 и 2015 годах. В 2016 году сыграл в фильме «\"Море деревьев\"» режиссёра Гаса Ван Сента вместе с Мэттью Макконахи, Кеном Ватанабэ и Наоми Уоттс." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Джаварис дебютировал в кино в канадском независимом фильме «\"45 R. P. M.\"». В 2010 году он исполнил одну из главных ролей в сериале Cartoon Network «\"Невероятная история\"». С 2013 по 2017 год снимался в сериале «\"Тёмное дитя\"», где исполнял роль Феликса Докинза. Эта роль принесла ему похвалу от критиков, в частности — за его английский акцент. Джаварис дважды становился лауреатом главной канадской премии — «Canadian Screen Awards», выиграв награды за лучшую мужскую роль второго плана в драматическом сериале в 2014 и 2015 годах. В 2016 году сыграл в фильме «\"Море деревьев\"» режиссёра Гаса Ван Сента вместе с Мэттью Макконахи, Кеном Ватанабэ и Наоми Уоттс.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 209, + "generated_len": [ + 189 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.451851851851852, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 109727, + 12, + 109827, + 109727, + 12, + 109827, + 2001, + 111401, + 105842, + 9706, + 26503, + 105410, + 103972, + 102647, + 11, + 108635, + 34613, + 23934, + 102452, + 117144, + 110110, + 105842, + 9706, + 26503, + 103511, + 109008, + 13, + 133511, + 105432, + 103662, + 51412, + 5524, + 103727, + 12, + 5591, + 25262, + 74351, + 127424, + 35448, + 102459, + 16248, + 7740, + 102275, + 32985, + 11, + 21022, + 5524, + 118914, + 2001, + 113371, + 5524, + 102926, + 106293, + 101108, + 126853, + 111761, + 19039, + 13, + 107001, + 9706, + 26503, + 105410, + 103972, + 104448, + 100364, + 46177, + 101298, + 102025, + 13373, + 101643, + 113603, + 102607, + 105226, + 44786, + 113435, + 57855, + 100800, + 9542, + 39280, + 7740, + 100691, + 15752, + 2001, + 109186, + 106016, + 1840, + 13, + 100293, + 101643, + 105842, + 9706, + 26503, + 104051, + 105432, + 109727, + 12, + 109827, + 141675, + 330, + 113829, + 104135, + 122871, + 18154, + 128894, + 146679, + 498, + 330, + 103477, + 102477, + 44065, + 109785, + 1, + 7740, + 330, + 6735, + 73761, + 51736, + 109785, + 3343, + 102598, + 5927, + 100360, + 109497, + 141675, + 100334, + 130786, + 7740, + 18034, + 102547, + 100361, + 121351, + 101078, + 4929, + 13 + ], + "text": " Юго-Запад Юго-Запад — крупный винодельческий регион Франции, составленный из нескольких изолированных винодельческих районов. Территория региона ограничена с северо-востока городами Орийак и Родез, а с юга — границей с Испанией около городка Андай. Винодельческий регион расположен более или менее полностью на территории французских административных регионов Аквитания и Юг — Пиренеи. На территории винодельческого региона Юго-Запад производятся \"вина контролируемых по происхождению наименований\", \"региональные вина\" и \"столовые вина\". Также в этом регионе производятся арманьяк и флок де Гасконь." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Юго-Запад Юго-Запад — крупный винодельческий регион Франции, составленный из нескольких изолированных винодельческих районов. Территория региона ограничена с северо-востока городами Орийак и Родез, а с юга — границей с Испанией около городка Андай. Винодельческий регион расположен более или менее полностью на территории французских административных регионов Аквитания и Юг — Пиренеи. На территории винодельческого региона Юго-Запад производятся \"вина контролируемых по происхождению наименований\", \"региональные вина\" и \"столовые вина\". Также в этом регионе производятся арманьяк и флок де Гасконь." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Юго-Запад Юго-Запад — крупный винодельческий регион Франции, составленный из нескольких изолированных винодельческих районов. Территория региона ограничена с северо-востока городами Орийак и Родез, а с юга — границей с Испанией около городка Андай. Винодельческий регион расположен более или менее полностью на территории французских административных регионов Аквитания и Юг — Пиренеи. На территории винодельческого региона Юго-Запад производятся \"вина контролируемых по происхождению наименований\", \"региональные вина\" и \"столовые вина\". Также в этом регионе производятся арманьяк и флок де Гасконь.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 156, + "generated_len": [ + 189 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.52808988764045, + "len": 0.9886363636363636, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 122520, + 104332, + 5927, + 104001, + 12, + 55258, + 100262, + 103533, + 13373, + 102884, + 115104, + 110932, + 13, + 100287, + 108265, + 13373, + 120178, + 220, + 17, + 15, + 16, + 15, + 100261, + 99845, + 111299, + 7740, + 103389, + 100610, + 104599, + 13, + 100420, + 104433, + 104347, + 117080, + 12, + 112614, + 47273, + 7740, + 101121, + 106907, + 5927, + 100768, + 100697, + 101621, + 7740, + 102055, + 13, + 122520, + 100614, + 101341, + 104790, + 105847, + 7740, + 73385, + 112412, + 111597, + 101876, + 23934, + 113564, + 7740, + 108937, + 101118, + 39900, + 102055, + 13, + 101132, + 100607, + 101312, + 100983, + 108290, + 105801, + 7740, + 101446, + 125287, + 2297, + 102529, + 6187, + 16684, + 82, + 3723, + 42224, + 3078, + 12332, + 101629, + 7740, + 133822, + 101629, + 13 + ], + "text": " Стюарт родился в Сан-Филипе на Барбадосе. По состоянию на октябрь 2010 года он одинок и воспитывает дочь. Он окончил университет Вест-Индии и имеет степень в области политологии и права. Стюарт является адвокатом и его практику составляли дела из уголовного и корпоративного права. Поддерживал ряд общественных организаций и сейчас спонсирует Dayrells United Achievers Community клуб и спортивный клуб." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Стюарт родился в Сан-Филипе на Барбадосе. По состоянию на октябрь 2010 года он одинок и воспитывает дочь. Он окончил университет Вест-Индии и имеет степень в области политологии и права. Стюарт является адвокатом и его практику составляли дела из уголовного и корпоративного права. Поддержал ряд общественных организаций и сейчас спонсирует Dayrells United Achievers Community клуб и спортивный клуб." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Стюарт родился в Сан-Филипе на Барбадосе. По состоянию на октябрь 2010 года он одинок и воспитывает дочь. Он окончил университет Вест-Индии и имеет степень в области политологии и права. Стюарт является адвокатом и его практику составляли дела из уголовного и корпоративного права. Поддержал ряд общественных организаций и сейчас спонсирует Dayrells United Achievers Community клуб и спортивный клуб.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 109, + "generated_len": [ + 257 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 4.18125, + "len": 0.9814814814814815, + "lcs": 0.0 + }, + "predict": { + "tokens": [ + 131690, + 104860, + 5927, + 101308, + 105717, + 101364, + 101428, + 103310, + 23934, + 104491, + 115548, + 113695, + 13, + 23784, + 100929, + 33742, + 100910, + 120020, + 118392, + 110841, + 100336, + 40842, + 104243, + 104261, + 101468, + 122070, + 13, + 101318, + 220, + 16, + 23, + 21, + 15, + 12, + 10693, + 102010, + 106606, + 118411, + 7820, + 126528, + 100314, + 106453, + 103033, + 13, + 108591, + 107174, + 103220, + 5927, + 100600, + 101164, + 1389, + 133592, + 7740, + 146737, + 11, + 100342, + 102171, + 51412, + 120542, + 13, + 23784, + 101666, + 30388, + 101364, + 5927, + 120222, + 114771, + 105761, + 100575, + 4329, + 44858, + 110372, + 101943, + 11, + 220, + 17, + 5173, + 114030, + 11, + 101285, + 103789, + 105842, + 44858, + 7740, + 106487, + 108737, + 13999, + 12, + 100517, + 131598, + 44858, + 107633, + 13433, + 13, + 23784, + 100600, + 101164, + 105254, + 34613, + 112057, + 123594, + 112194, + 114858, + 220, + 23, + 18, + 11, + 18, + 103652, + 12648, + 13, + 101318, + 220, + 16, + 24, + 17, + 15, + 100261, + 108572, + 113103, + 5927, + 101095, + 108345, + 100986, + 122999, + 133486, + 106851, + 139927, + 105294, + 13, + 28599, + 220, + 16, + 24, + 17, + 15, + 100261, + 5927, + 101951, + 100873, + 100268, + 101940, + 107049, + 105021, + 100906, + 13, + 28599, + 220, + 16, + 24, + 17, + 15, + 100261, + 5927, + 101951, + 100873, + 100268, + 101684, + 13 + ], + "text": " Посёлок основан в конце XVIII века выходцами из села Казанбаш. В дореволюционных источниках упоминается также под названием Каменный Завод. До 1860-х годов жители относились к сословию государственных крестьян. Основные занятия жителей в этот период – земледелие и скотоводство, была распространена торговля. В начале XX века в посёлке функционировали водяная мельница, 2 пивные, казенная винная и бакалейно-мануфактурная лавка. В этот период земельный надел сельской общины составлял 83,3 десятины. До 1920 года посёлок входил в Кармышскую волость Казанского уезда Казанской губернии. С 1920 года в составе Арского кантона ТАССР. С 1920 года в составе Арского района." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Посёлок основан в конце XVIII века выходцами из села Казанбаш. В дореволюционных источниках упоминается также под названием Каменный Завод. До 1860-х годов жители относились к сословию государственных крестьян. Основные занятия жителей в этот период – земледелие и скотоводство, была распространена торговля. В начале XX века в посёлке функционировали водяная мельница, 2 пивные, казенная винная и бакалейно-мануфактурная лавка. В этот период земельный надел сельской общины составлял 83,3 десятины. До 1920 года посёлок входил в Кармышскую волость Казанского уезда Казанской губернии. С 1920 года в составе Арского кантона ТАССР. С 10 августа 1930 года в Арском районе." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Посёлок основан в конце XVIII века выходцами из села Казанбаш. В дореволюционных источниках упоминается также под названием Каменный Завод. До 1860-х годов жители относились к сословию государственных крестьян. Основные занятия жителей в этот период – земледелие и скотоводство, была распространена торговля. В начале XX века в посёлке функционировали водяная мельница, 2 пивные, казенная винная и бакалейно-мануфактурная лавка. В этот период земельный надел сельской общины составлял 83,3 десятины. До 1920 года посёлок входил в Кармышскую волость Казанского уезда Казанской губернии. С 1920 года в составе Арского кантона ТАССР. С 10 августа 1930 года в Арском районе.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 184, + "generated_len": [ + 257 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.2568093385214008, + "len": 0.99609375, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 117550, + 14525, + 5524, + 53694, + 101364, + 11, + 100339, + 133699, + 7820, + 109174, + 17461, + 101970, + 125870, + 130253, + 100268, + 106851, + 13, + 23784, + 106680, + 10693, + 7952, + 20219, + 101094, + 220, + 16, + 21, + 16, + 18, + 100261, + 40650, + 97334, + 12769, + 102515, + 131045, + 12507, + 11, + 44946, + 119825, + 103860, + 12507, + 107216, + 10298, + 100258, + 4655, + 114036, + 1131, + 36479, + 100305, + 103309, + 11, + 21022, + 5927, + 101018, + 5173, + 51795, + 23446, + 111798, + 7486, + 51736, + 103033, + 100455, + 100741, + 101630, + 23630, + 64880, + 12648, + 11, + 92910, + 18154, + 113799, + 53671, + 18154, + 36479, + 107606, + 1532, + 18154, + 103514, + 5524, + 51412, + 102313, + 102797, + 5372, + 75608, + 23784, + 220, + 16, + 22, + 23, + 17, + 100281, + 36479, + 100305, + 103309, + 7740, + 144806, + 13373, + 106806, + 36479, + 12426, + 104362, + 101085, + 5524, + 103165, + 64880, + 57855, + 100283, + 106516, + 11, + 104469, + 69775, + 11, + 61565, + 121278, + 100688, + 7740, + 49520, + 8341, + 105363, + 100265, + 110073, + 10693, + 105895, + 114493, + 120589, + 132358, + 100688, + 7740, + 136448, + 47273, + 104881, + 12648, + 132369, + 16742, + 13, + 23784, + 220, + 16, + 22, + 23, + 15, + 100281, + 23784, + 13, + 43896, + 13, + 129287, + 100615, + 104381, + 103966, + 102577, + 13373, + 117919, + 100909, + 105278, + 5927, + 103832, + 102383, + 100457, + 125893, + 11, + 5927, + 100358, + 101504, + 7740, + 36479, + 100305, + 1830, + 100978, + 5524, + 220, + 20, + 15, + 19, + 102206, + 25262, + 100349, + 5927, + 101018, + 13, + 36479, + 220, + 16, + 23, + 20, + 24, + 100281, + 40650, + 100951, + 52770, + 103165, + 220, + 16, + 12, + 66349, + 18868, + 100571, + 103832, + 102383, + 100268, + 106851, + 7740, + 109963, + 35667, + 97065, + 220, + 18, + 18, + 109332, + 7740, + 220, + 18, + 17, + 23, + 103220, + 13, + 100738, + 104131, + 220, + 16, + 23, + 21, + 16, + 100261, + 111162, + 5927, + 61565, + 3114, + 109239, + 100986, + 122999, + 13, + 36479, + 220, + 16, + 24, + 16, + 19, + 100281, + 105444, + 139268, + 57297, + 220, + 18, + 24, + 16, + 100739, + 11, + 5927, + 105277, + 128047, + 100653, + 100434, + 105565, + 13, + 102988, + 13 + ], + "text": " Известна с XV века, когда относилась к Бобольскому стану Боровского уезда. В материалах дозора 1613 года значится «За боярином, за князем Борисом Михайловичем Лыковым... Кухтина, а в ней пашни паханые крестьянские три полуосмины, да по речке по Кщеме по берегу сена пять копен». В 1782 году Кухтина и слобода на реке Кшома вместе с деревнями Алешина, Левина, Глухова и Реткина во владениях князя Василия Ивановича Долгорукова и Евдокии Александровны Зиновьевой. В 1780 году В. И. Долгоруков выставлял на продажу свои деревни в Медынском уезде, в том числе и Кухтину с 504 крепостными в ней. К 1859 году значилась как деревня 1-го стана Медынского уезда и насчитывала 33 двора и 328 жителей. После реформ 1861 года вошла в Глуховскую волость. К 1914 году население возросло до 391 человека, в деревне открылась земская школа. Примечания." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Известна с XV века, когда относилась к Бобольскому стану Боровского уезда. В материалах дозора 1613 года значится «За боярином, за князем Борисом Михайловичем Лыковым... Кухтина, а в ней пашни паханые крестьянские три полуосмины, да по речке по Кщеме по берегу сена пять копен». В 1782 году Кухтина и слобода на реке Кшома вместе с деревнями Алешина, Левина, Глухова и Реткина во владениях князя Василия Ивановича Долгорукова и Евдокии Александровны Зиновьевой. В 1780 году В. И. Долгоруков выставлял на продажу свои деревни в Медынском уезде, в том числе и Кухтину с 504 крепостными в ней. К 1859 году значилась как деревня 1-го стана Медынского уезда и насчитывала 33 двора и 328 жителей. После реформ 1861 года вошла в Глуховскую волость. К 1914 году население возросло до 391 человек, в деревне открылась земская школа. Примечания." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Известна с XV века, когда относилась к Бобольскому стану Боровского уезда. В материалах дозора 1613 года значится «За боярином, за князем Борисом Михайловичем Лыковым... Кухтина, а в ней пашни паханые крестьянские три полуосмины, да по речке по Кщеме по берегу сена пять копен». В 1782 году Кухтина и слобода на реке Кшома вместе с деревнями Алешина, Левина, Глухова и Реткина во владениях князя Василия Ивановича Долгорукова и Евдокии Александровны Зиновьевой. В 1780 году В. И. Долгоруков выставлял на продажу свои деревни в Медынском уезде, в том числе и Кухтину с 504 крепостными в ней. К 1859 году значилась как деревня 1-го стана Медынского уезда и насчитывала 33 двора и 328 жителей. После реформ 1861 года вошла в Глуховскую волость. К 1914 году население возросло до 391 человек, в деревне открылась земская школа. Примечания.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 277, + "generated_len": [ + 257 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} +{ + "metric": { + "symbol_per_token": 3.679611650485437, + "len": 1.0, + "lcs": 1.0 + }, + "predict": { + "tokens": [ + 35889, + 15752, + 10693, + 23297, + 17721, + 2001, + 100503, + 23934, + 141459, + 126608, + 23227, + 97065, + 3865, + 13, + 109056, + 108119, + 2001, + 101108, + 220, + 18, + 15, + 15, + 100312, + 11, + 35889, + 101983, + 102091, + 100300, + 2001, + 73385, + 120265, + 13, + 102309, + 105531, + 2001, + 126606, + 18154, + 104758, + 11, + 73385, + 105429, + 102655, + 220, + 19, + 15, + 101405, + 17, + 13, + 129807, + 104448, + 13373, + 112448, + 104234, + 104534, + 108352, + 12394, + 89348, + 19619, + 11, + 7820, + 103727, + 12, + 117486, + 20879, + 108119, + 57855, + 100451, + 1840, + 7740, + 7820, + 104188, + 12, + 117750, + 20879, + 108119, + 108360, + 134861, + 15088, + 13, + 125160, + 101468, + 100895, + 10298, + 108119, + 2001, + 69471, + 8131, + 40842, + 13337, + 106777, + 101891, + 14009, + 90877, + 48262, + 44786, + 13, + 129807, + 107856, + 102603, + 120377, + 143472, + 13 + ], + "text": " Нгхесар — один из шестнадцати штатов Палау. Население штата — около 300 человек, Нгерсуул — его столица. Этот штат — шестой по площади, его площадь составляет 40 км2. Штат расположен на восточной стороне острова Бабелтуап, к северо-западу от штата Аираи и к юго-востоку от штата Мелекеок. Священный тотем штата — скат подотряда Орляковидных. Штат известен своими военными каноэ." + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Повтори абсолютно точно следующий текст.\n\nТекст: {text}" + }, + { + "role": "bot", + "content": "Повтор:" + } + ], + "inputs": { + "text": "Нгхесар — один из шестнадцати штатов Палау. Население штата — около 300 человек, Нгерсуул — его столица. Этот штат — шестой по площади, его площадь составляет 40 км2. Штат расположен на восточной стороне острова Бабелтуап, к северо-западу от штата Аираи и к юго-востоку от штата Мелекеок. Священный тотем штата — скат подотряда Орляковидных. Штат известен своими военными каноэ." + } + }, + "prompt": "<|im_start|>user\nПовтори абсолютно точно следующий текст.\n\nТекст: Нгхесар — один из шестнадцати штатов Палау. Население штата — около 300 человек, Нгерсуул — его столица. Этот штат — шестой по площади, его площадь составляет 40 км2. Штат расположен на восточной стороне острова Бабелтуап, к северо-западу от штата Аираи и к юго-востоку от штата Мелекеок. Священный тотем штата — скат подотряда Орляковидных. Штат известен своими военными каноэ.<|im_end|>\n<|im_start|>assistant\nПовтор:", + "info": { + "prompt_len": 124, + "generated_len": [ + 257 + ], + "generated_cumulative_logprob": "TODO: calculate for hf model" + } +} diff --git a/llmtf_eval/darumeru_cp_para_ru_params.jsonl b/llmtf_eval/darumeru_cp_para_ru_params.jsonl new file mode 100644 index 0000000..ced93f5 --- /dev/null +++ b/llmtf_eval/darumeru_cp_para_ru_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 1024, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "generate" + } +} diff --git a/llmtf_eval/darumeru_cp_para_ru_total.jsonl b/llmtf_eval/darumeru_cp_para_ru_total.jsonl new file mode 100644 index 0000000..ec30437 --- /dev/null +++ b/llmtf_eval/darumeru_cp_para_ru_total.jsonl @@ -0,0 +1,9 @@ +{ + "task_name": "darumeru/cp_para_ru", + "results": { + "symbol_per_token": 3.993754090002875, + "len": 0.9986883734384026, + "lcs": 0.98 + }, + "leaderboard_result": 0.98 +} diff --git a/llmtf_eval/darumeru_ruOpenBookQA.jsonl b/llmtf_eval/darumeru_ruOpenBookQA.jsonl new file mode 100644 index 0000000..cdd5619 --- /dev/null +++ b/llmtf_eval/darumeru_ruOpenBookQA.jsonl @@ -0,0 +1,104760 @@ +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16601334512233734, + "B": 0.10069218277931213, + "C": 0.5113571286201477, + "D": 0.16601334512233734 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект с меньшей вероятностью вызовет загрязнение среды", + "option_a": "эндуро", + "option_b": "мотоцикл", + "option_c": "горный велосипед", + "option_d": "Чоппер" + }, + "outputs": "C", + "meta": { + "id": 35 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой объект с меньшей вероятностью вызовет загрязнение среды\nA) эндуро\nB) мотоцикл\nC) горный велосипед\nD) Чоппер\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2431776523590088, + "B": 0.31224626302719116, + "C": 0.04788452014327049, + "D": 0.31224626302719116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому нужно совсем немного воды?", + "option_a": "рыба", + "option_b": "тихоходка", + "option_c": "киты", + "option_d": "лягушки" + }, + "outputs": "B", + "meta": { + "id": 539 + } + }, + "prompt": "<|im_start|>user\nКому нужно совсем немного воды?\nA) рыба\nB) тихоходка\nC) киты\nD) лягушки\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 56, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8536359667778015, + "B": 0.0011325874365866184, + "C": 0.00019681418780237436, + "D": 0.008368752896785736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животному необходимо сжигать сложные углеводы, чтобы", + "option_a": "двигаться", + "option_b": "не спать", + "option_c": "сидеть", + "option_d": "спать" + }, + "outputs": "A", + "meta": { + "id": 2137 + } + }, + "prompt": "<|im_start|>user\nЖивотному необходимо сжигать сложные углеводы, чтобы\nA) двигаться\nB) не спать\nC) сидеть\nD) спать\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7404594421386719, + "B": 0.009321008808910847, + "C": 0.14580510556697845, + "D": 0.01356198824942112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет подходящей пищей для травоядных?", + "option_a": "жуки-палочники", + "option_b": "морские огурцы", + "option_c": "жуки-листоеды", + "option_d": "редис" + }, + "outputs": "D", + "meta": { + "id": 432 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет подходящей пищей для травоядных?\nA) жуки-палочники\nB) морские огурцы\nC) жуки-листоеды\nD) редис\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018292446620762348, + "B": 0.011928172782063484, + "C": 0.9475721716880798, + "D": 0.0043881298042833805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организм, который может выжить без помощи других клеток, - это", + "option_a": "песок", + "option_b": "воздух", + "option_c": "пивные дрожжи", + "option_d": "сахар" + }, + "outputs": "C", + "meta": { + "id": 1394 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Организм, который может выжить без помощи других клеток, - это\nA. песок\nB. воздух\nC. пивные дрожжи\nD. сахар\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.6066216230392456, + "B": 0.02075744979083538, + "C": 0.25287750363349915, + "D": 0.012590029276907444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У некоторых рыб плавники могут использоваться для", + "option_a": "похлопывания по спине", + "option_b": "жестов вроде «дай пять»", + "option_c": "хождения по грунту", + "option_d": "магических пассов" + }, + "outputs": "C", + "meta": { + "id": 1094 + } + }, + "prompt": "<|im_start|>user\nУ некоторых рыб плавники могут использоваться для\nA. похлопывания по спине\nB. жестов вроде «дай пять»\nC. хождения по грунту\nD. магических пассов\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.010454975068569183, + "B": 0.941126823425293, + "C": 0.0020587067119777203, + "D": 0.002332820324227214 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие черты можно передать с помощью репродукции и генетического материала?", + "option_a": "привычки", + "option_b": "форма носа", + "option_c": "деньги", + "option_d": "полет мысли" + }, + "outputs": "B", + "meta": { + "id": 696 + } + }, + "prompt": "<|im_start|>user\nКакие черты можно передать с помощью репродукции и генетического материала?\nA. привычки\nB. форма носа\nC. деньги\nD. полет мысли\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.039514221251010895, + "B": 0.011321013793349266, + "C": 0.899339497089386, + "D": 0.008816814981400967 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Оползень может принести огромные проблемы", + "option_a": "космосу", + "option_b": "путешествиям во времени", + "option_c": "жилым регионам", + "option_d": "Юпитеру" + }, + "outputs": "C", + "meta": { + "id": 214 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Оползень может принести огромные проблемы\nA. космосу\nB. путешествиям во времени\nC. жилым регионам\nD. Юпитеру\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003958804067224264, + "B": 0.0018700065556913614, + "C": 0.9686873555183411, + "D": 0.003958804067224264 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Загрязнение - это", + "option_a": "деревья в зеленом лесу", + "option_b": "когда ветер разносит семена", + "option_c": "бросать обертку от конфеты вниз", + "option_d": "когда рыба плавает в море" + }, + "outputs": "C", + "meta": { + "id": 845 + } + }, + "prompt": "<|im_start|>user\nЗагрязнение - это\nA) деревья в зеленом лесу\nB) когда ветер разносит семена\nC) бросать обертку от конфеты вниз\nD) когда рыба плавает в море\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.01514660194516182, + "B": 0.7298042178153992, + "C": 0.002982543082907796, + "D": 0.2090924084186554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные или насекомые впадают в спячку, чтобы сохранить энергию и меньше есть зимой?", + "option_a": "Стулья", + "option_b": "Птицы", + "option_c": "Люди", + "option_d": "Пчелы" + }, + "outputs": "D", + "meta": { + "id": 974 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие животные или насекомые впадают в спячку, чтобы сохранить энергию и меньше есть зимой?\nA) Стулья\nB) Птицы\nC) Люди\nD) Пчелы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005599969532340765, + "B": 0.44486066699028015, + "C": 0.0023344147484749556, + "D": 0.5040931701660156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером животного-потребителя в пищевой цепи не может быть", + "option_a": "волк, поедающий оленя", + "option_b": "олень, жующий траву", + "option_c": "белка, поедающая жука", + "option_d": "растение, начинающее фотосинтез" + }, + "outputs": "D", + "meta": { + "id": 1522 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером животного-потребителя в пищевой цепи не может быть\nA) волк, поедающий оленя\nB) олень, жующий траву\nC) белка, поедающая жука\nD) растение, начинающее фотосинтез\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007214018609374762, + "B": 0.00019224709831178188, + "C": 0.0016096653416752815, + "D": 0.9448500275611877 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Белые медведи белые из-за унаследованной", + "option_a": "длины меха", + "option_b": "короткой шерсти", + "option_c": "любви к снегу", + "option_d": "генетической характеристики" + }, + "outputs": "D", + "meta": { + "id": 1466 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Белые медведи белые из-за унаследованной\nA. длины меха\nB. короткой шерсти\nC. любви к снегу\nD. генетической характеристики\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009383806958794594, + "B": 0.0006797606474719942, + "C": 0.0030464758165180683, + "D": 0.9571742415428162 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Олень", + "option_a": "жил бы в местности, лишенной фауны или флоры", + "option_b": "жил бы в водной среде", + "option_c": "жил бы в густонаселенном городе", + "option_d": "жил бы в зоне, окруженной деревьями" + }, + "outputs": "D", + "meta": { + "id": 1788 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Олень\nA. жил бы в местности, лишенной фауны или флоры\nB. жил бы в водной среде\nC. жил бы в густонаселенном городе\nD. жил бы в зоне, окруженной деревьями\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02284643054008484, + "B": 0.037667401134967804, + "C": 0.6676706075668335, + "D": 0.21676090359687805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда листья превращаются из зеленых в золотые, можно отметить еще одно изменение:", + "option_a": "больше дождей", + "option_b": "ярче светит солнце", + "option_c": "темнота наступает раньше", + "option_d": "более теплой становится погода" + }, + "outputs": "C", + "meta": { + "id": 1173 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда листья превращаются из зеленых в золотые, можно отметить еще одно изменение:\nA. больше дождей\nB. ярче светит солнце\nC. темнота наступает раньше\nD. более теплой становится погода\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010318009182810783, + "B": 0.12569908797740936, + "C": 0.8196609616279602, + "D": 0.003349767066538334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняет окружающую среду?", + "option_a": "обработка ковра пылесосом", + "option_b": "телевизионные сигналы", + "option_c": "огород на заднем дворе", + "option_d": "дневной сон" + }, + "outputs": "C", + "meta": { + "id": 960 + } + }, + "prompt": "<|im_start|>user\nЧто меняет окружающую среду?\nA) обработка ковра пылесосом\nB) телевизионные сигналы\nC) огород на заднем дворе\nD) дневной сон\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2918655574321747, + "B": 0.012823677621781826, + "C": 0.5452766418457031, + "D": 0.05071862414479256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зачем медведю есть так много, что при ходьбе у него шатается жир?", + "option_a": "чтобы подготовиться к снежному сезону", + "option_b": "потому что он чувствует себя подавленным", + "option_c": "чтобы быть более доступной целью для охотников", + "option_d": "чтобы другие животные могли весело прыгать на его животе" + }, + "outputs": "A", + "meta": { + "id": 805 + } + }, + "prompt": "<|im_start|>user\nЗачем медведю есть так много, что при ходьбе у него шатается жир?\nA. чтобы подготовиться к снежному сезону\nB. потому что он чувствует себя подавленным\nC. чтобы быть более доступной целью для охотников\nD. чтобы другие животные могли весело прыгать на его животе\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05303480848670006, + "B": 0.05303480848670006, + "C": 0.7321228981018066, + "D": 0.11227469146251678 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы кормят своих детенышей", + "option_a": "телепатией", + "option_b": "полетом", + "option_c": "срыгиванием", + "option_d": "перегноем" + }, + "outputs": "C", + "meta": { + "id": 2205 + } + }, + "prompt": "<|im_start|>user\nПтицы кормят своих детенышей\nA) телепатией\nB) полетом\nC) срыгиванием\nD) перегноем\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2768045961856842, + "B": 0.1481628268957138, + "C": 0.015616247430443764, + "D": 0.5171390771865845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна", + "option_a": "имеет меньше вещества, чем Земля", + "option_b": "самостоятельно вращается вокруг Солнца", + "option_c": "весит больше, чем Земля", + "option_d": "имеет большую массу, чем Земля." + }, + "outputs": "A", + "meta": { + "id": 1137 + } + }, + "prompt": "<|im_start|>user\nЛуна\nA) имеет меньше вещества, чем Земля\nB) самостоятельно вращается вокруг Солнца\nC) весит больше, чем Земля\nD) имеет большую массу, чем Земля.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.27781951427459717, + "B": 0.4042249917984009, + "C": 0.16850604116916656, + "D": 0.029281960800290108 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше коэффициент трения, тем сильнее трение, поэтому наибольшее трение будет при", + "option_a": "хлопании руки об руку", + "option_b": "разбивании речных камней", + "option_c": "прижатии зеркал друг к другу", + "option_d": "падении камня" + }, + "outputs": "B", + "meta": { + "id": 1622 + } + }, + "prompt": "<|im_start|>user\nЧем больше коэффициент трения, тем сильнее трение, поэтому наибольшее трение будет при\nA. хлопании руки об руку\nB. разбивании речных камней\nC. прижатии зеркал друг к другу\nD. падении камня\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007183067034929991, + "B": 0.9407961368560791, + "C": 0.0014144297456368804, + "D": 0.006339034531265497 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сверчки живут в", + "option_a": "пустыне", + "option_b": "лесах в гниющих деревьях", + "option_c": "снегу", + "option_d": "лучах солнечного света" + }, + "outputs": "B", + "meta": { + "id": 1327 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сверчки живут в\nA) пустыне\nB) лесах в гниющих деревьях\nC) снегу\nD) лучах солнечного света\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9194456338882446, + "B": 0.0012199024204164743, + "C": 0.0003084396303165704, + "D": 0.0013823305489495397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С годами у пустынной крысы развились черты, которые помогают ей жить в условиях нехватки воды. Примером чего являются эти черты?", + "option_a": "Приобретенные характеристики", + "option_b": "Приобретенные интересы", + "option_c": "Полученная статистика", + "option_d": "Полученная эвристика" + }, + "outputs": "A", + "meta": { + "id": 2165 + } + }, + "prompt": "<|im_start|>user\nС годами у пустынной крысы развились черты, которые помогают ей жить в условиях нехватки воды. Примером чего являются эти черты?\nA) Приобретенные характеристики\nB) Приобретенные интересы\nC) Полученная статистика\nD) Полученная эвристика\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6852380037307739, + "B": 0.0076123070903122425, + "C": 0.15289726853370667, + "D": 0.02344755455851555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая польза от организмов, сохранившихся в осадочных породах?", + "option_a": "топливо", + "option_b": "вода", + "option_c": "еда", + "option_d": "одежда" + }, + "outputs": "A", + "meta": { + "id": 2125 + } + }, + "prompt": "<|im_start|>user\nКакая польза от организмов, сохранившихся в осадочных породах?\nA) топливо\nB) вода\nC) еда\nD) одежда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00099162885453552, + "B": 0.0007722813170403242, + "C": 0.9596739411354065, + "D": 0.0034611248411238194 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что пищеварительная система расщепляет на простые вещества?", + "option_a": "металлы", + "option_b": "камни", + "option_c": "питательные вещества", + "option_d": "пища из пластика" + }, + "outputs": "C", + "meta": { + "id": 1780 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что пищеварительная система расщепляет на простые вещества?\nA) металлы\nB) камни\nC) питательные вещества\nD) пища из пластика\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.018630128353834152, + "B": 0.897649884223938, + "C": 0.004710434004664421, + "D": 0.030715888366103172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное теплокровное?", + "option_a": "саламандра", + "option_b": "попугай", + "option_c": "жаба", + "option_d": "головастик" + }, + "outputs": "B", + "meta": { + "id": 2046 + } + }, + "prompt": "<|im_start|>user\nКакое животное теплокровное?\nA) саламандра\nB) попугай\nC) жаба\nD) головастик\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0024093184620141983, + "B": 0.00036948095657862723, + "C": 0.0002877520746551454, + "D": 0.9719884395599365 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего сделан берег реки?", + "option_a": "животные", + "option_b": "океаны", + "option_c": "кости", + "option_d": "суглинок" + }, + "outputs": "D", + "meta": { + "id": 915 + } + }, + "prompt": "<|im_start|>user\nИз чего сделан берег реки?\nA) животные\nB) океаны\nC) кости\nD) суглинок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04213578626513481, + "B": 0.8463199138641357, + "C": 0.008297028951346874, + "D": 0.015500890091061592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Толстые перья пригодятся птицам", + "option_a": "которые живут в теплом климате", + "option_b": "которые живут в холодном климате", + "option_c": "которым нравится более пышное оперенье", + "option_d": "которые страдают от облысения по мужскому типу" + }, + "outputs": "B", + "meta": { + "id": 1361 + } + }, + "prompt": "<|im_start|>user\nТолстые перья пригодятся птицам\nA. которые живут в теплом климате\nB. которые живут в холодном климате\nC. которым нравится более пышное оперенье\nD. которые страдают от облысения по мужскому типу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006308718118816614, + "B": 0.936296820640564, + "C": 0.0005178511491976678, + "D": 0.0003559135366231203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Езда на двухколесном транспортном средстве, приводимом в движение человеком, благоприятна для окружающей среды, потому что такой транспорт", + "option_a": "помогает людям оставаться в форме", + "option_b": "работает без топлива", + "option_c": "дешевле поддерживать", + "option_d": "хорош тем, что им веселее управлять" + }, + "outputs": "B", + "meta": { + "id": 788 + } + }, + "prompt": "<|im_start|>user\nЕзда на двухколесном транспортном средстве, приводимом в движение человеком, благоприятна для окружающей среды, потому что такой транспорт\nA. помогает людям оставаться в форме\nB. работает без топлива\nC. дешевле поддерживать\nD. хорош тем, что им веселее управлять\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003051123348996043, + "B": 0.0011224454501643777, + "C": 0.9586343765258789, + "D": 0.0023762171622365713 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кошке дать цианид, она", + "option_a": "сблеванет", + "option_b": "закашляется", + "option_c": "скончается", + "option_d": "съест и не подавится" + }, + "outputs": "C", + "meta": { + "id": 2147 + } + }, + "prompt": "<|im_start|>user\nЕсли кошке дать цианид, она\nA. сблеванет\nB. закашляется\nC. скончается\nD. съест и не подавится\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5996374487876892, + "B": 0.2832486927509308, + "C": 0.012445078231394291, + "D": 0.020518464967608452 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Единственная стадия процесса круговорота воды, которой не существует, - это", + "option_a": "оценка", + "option_b": "испарение", + "option_c": "выпадение осадков", + "option_d": "конденсация" + }, + "outputs": "A", + "meta": { + "id": 814 + } + }, + "prompt": "<|im_start|>user\nЕдинственная стадия процесса круговорота воды, которой не существует, - это\nA) оценка\nB) испарение\nC) выпадение осадков\nD) конденсация\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08250119537115097, + "B": 0.7827495336532593, + "C": 0.026784216985106468, + "D": 0.026784216985106468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздействие тепла при более высоких температурах без способности регулировать внутреннюю температуру объекта приведет к истечению срока действия которого из них?", + "option_a": "туз пик", + "option_b": "запаянная пробирка с воздухом", + "option_c": "большой мост", + "option_d": "скучающий призрак" + }, + "outputs": "B", + "meta": { + "id": 2040 + } + }, + "prompt": "<|im_start|>user\nВоздействие тепла при более высоких температурах без способности регулировать внутреннюю температуру объекта приведет к истечению срока действия которого из них?\nA) туз пик\nB) запаянная пробирка с воздухом\nC) большой мост\nD) скучающий призрак\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8957923650741577, + "B": 0.004148341715335846, + "C": 0.0013467692770063877, + "D": 0.011276361532509327 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организм-продуцент сам отвечает за:", + "option_a": "жизнеобеспечение", + "option_b": "воздух", + "option_c": "укрытие", + "option_d": "тело" + }, + "outputs": "A", + "meta": { + "id": 592 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Организм-продуцент сам отвечает за:\nA) жизнеобеспечение\nB) воздух\nC) укрытие\nD) тело\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8720305562019348, + "B": 0.049196600914001465, + "C": 0.0014856086345389485, + "D": 0.004575996659696102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит, когда температура гексана поднимается выше 70 градусов по Цельсию?", + "option_a": "кипит", + "option_b": "возгоняется", + "option_c": "плавится", + "option_d": "замерзает" + }, + "outputs": "A", + "meta": { + "id": 1079 + } + }, + "prompt": "<|im_start|>user\nЧто происходит, когда температура гексана поднимается выше 70 градусов по Цельсию?\nA) кипит\nB) возгоняется\nC) плавится\nD) замерзает\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08228514343500137, + "B": 0.00867279153317213, + "C": 0.08228514343500137, + "D": 0.7806997895240784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой среде мало осадков?", + "option_a": "тропики", + "option_b": "тропический лес", + "option_c": "песочница", + "option_d": "песчаная пустыня" + }, + "outputs": "D", + "meta": { + "id": 2025 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какой среде мало осадков?\nA) тропики\nB) тропический лес\nC) песочница\nD) песчаная пустыня\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0009999237954616547, + "B": 0.0034900770988315344, + "C": 0.9677016735076904, + "D": 0.005078032147139311 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обязательно требуется человеку для удалённого управления какой-либо машиной или устройством?", + "option_a": "информация о погоде", + "option_b": "еда", + "option_c": "все это неверно", + "option_d": "цветочное растение" + }, + "outputs": "C", + "meta": { + "id": 727 + } + }, + "prompt": "<|im_start|>user\nЧто обязательно требуется человеку для удалённого управления какой-либо машиной или устройством?\nA) информация о погоде\nB) еда\nC) все это неверно\nD) цветочное растение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.034911148250103, + "B": 0.20089980959892273, + "C": 0.5461022853851318, + "D": 0.1564609259366989 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ночной хищник, скорее всего, будет исследовать ближайший", + "option_a": "грозовой фронт", + "option_b": "скотный двор", + "option_c": "порог реки", + "option_d": "горный перевал" + }, + "outputs": "B", + "meta": { + "id": 2111 + } + }, + "prompt": "<|im_start|>user\nНочной хищник, скорее всего, будет исследовать ближайший\nA. грозовой фронт\nB. скотный двор\nC. порог реки\nD. горный перевал\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.47087377309799194, + "B": 0.0031727226451039314, + "C": 0.003595165442675352, + "D": 0.47087377309799194 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему растение не приживается в помещении?", + "option_a": "хлорофилл получает меньше световой энергии для поглощения", + "option_b": "это не из-за других растений", + "option_c": "корни имеют меньше световой энергии для поглощения", + "option_d": "температура не так хороша" + }, + "outputs": "A", + "meta": { + "id": 2014 + } + }, + "prompt": "<|im_start|>user\nПочему растение не приживается в помещении?\nA) хлорофилл получает меньше световой энергии для поглощения\nB) это не из-за других растений\nC) корни имеют меньше световой энергии для поглощения\nD) температура не так хороша\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.25034016370773315, + "B": 0.014123225584626198, + "C": 0.07172366231679916, + "D": 0.6005348563194275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чему нужна розетка?", + "option_a": "холодный чай со льдом", + "option_b": "пенистое пиво", + "option_c": "торшер с бахромой", + "option_d": "аккумуляторная воздуходувка для листьев" + }, + "outputs": "C", + "meta": { + "id": 512 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чему нужна розетка?\nA) холодный чай со льдом\nB) пенистое пиво\nC) торшер с бахромой\nD) аккумуляторная воздуходувка для листьев\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.25202080607414246, + "B": 0.22240757942199707, + "C": 0.043794646859169006, + "D": 0.4155120253562927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Место, где обитают пингвины со стаями черных и белых млекопитающих,", + "option_a": "полно песка", + "option_b": "непригодно для проживания игуан", + "option_c": "окрашено кремом", + "option_d": "тепло и ветрено" + }, + "outputs": "B", + "meta": { + "id": 1651 + } + }, + "prompt": "<|im_start|>user\nМесто, где обитают пингвины со стаями черных и белых млекопитающих,\nA. полно песка\nB. непригодно для проживания игуан\nC. окрашено кремом\nD. тепло и ветрено\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005536003038287163, + "B": 0.9310126304626465, + "C": 0.0005149285425432026, + "D": 0.0023077495861798525 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "испарение - первая стадия в каком цикле", + "option_a": "лунный", + "option_b": "круговорот H2O", + "option_c": "рост", + "option_d": "менструальный" + }, + "outputs": "B", + "meta": { + "id": 1244 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: испарение - первая стадия в каком цикле\nA) лунный\nB) круговорот H2O\nC) рост\nD) менструальный\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.15320171415805817, + "B": 0.41644540429115295, + "C": 0.28621846437454224, + "D": 0.056359756737947464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шторм, движущийся над землей, вызовет больше дождя", + "option_a": "над арктическими льдами", + "option_b": "в песчаной местности", + "option_c": "на лугу", + "option_d": "в пустыне" + }, + "outputs": "C", + "meta": { + "id": 277 + } + }, + "prompt": "<|im_start|>user\nШторм, движущийся над землей, вызовет больше дождя\nA. над арктическими льдами\nB. в песчаной местности\nC. на лугу\nD. в пустыне\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006470807828009129, + "B": 0.9603530764579773, + "C": 0.00046874379040673375, + "D": 0.001124457805417478 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения собирают питательные вещества из", + "option_a": "трута", + "option_b": "участка почвы под травой", + "option_c": "бетонной площадки", + "option_d": "магазинов и хранилищ" + }, + "outputs": "B", + "meta": { + "id": 1539 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растения собирают питательные вещества из\nA. трута\nB. участка почвы под травой\nC. бетонной площадки\nD. магазинов и хранилищ\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.009909981861710548, + "B": 0.22555014491081238, + "C": 0.6947433948516846, + "D": 0.02377280965447426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Имея надежные растительные источники пищи в поле, заяц может отреагировать:", + "option_a": "найти помощника", + "option_b": "иметь большие пометы", + "option_c": "съесть больше еды", + "option_d": "найти новое поле" + }, + "outputs": "B", + "meta": { + "id": 1231 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Имея надежные растительные источники пищи в поле, заяц может отреагировать:\nA. найти помощника\nB. иметь большие пометы\nC. съесть больше еды\nD. найти новое поле\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5000579953193665, + "B": 0.2362106889486313, + "C": 0.005555143114179373, + "D": 0.14326901733875275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что верно", + "option_a": "анемометр измеряет скорость урагана", + "option_b": "анемометр измеряет громкость грома", + "option_c": "анемометр измеряет радугу", + "option_d": "анемометр измеряет разряд молнии" + }, + "outputs": "A", + "meta": { + "id": 1351 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что верно\nA) анемометр измеряет скорость урагана\nB) анемометр измеряет громкость грома\nC) анемометр измеряет радугу\nD) анемометр измеряет разряд молнии\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002319400431588292, + "B": 0.9357128739356995, + "C": 0.00031389668583869934, + "D": 0.0010956070618703961 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Положение объекта изменяется, когда", + "option_a": "объект находится в положении", + "option_b": "объект изменяет свое местоположение", + "option_c": "объект чувствует себя эмоционально перемещенным", + "option_d": "объекты рассматривают возможность перемещения" + }, + "outputs": "B", + "meta": { + "id": 1080 + } + }, + "prompt": "<|im_start|>user\nПоложение объекта изменяется, когда\nA) объект находится в положении\nB) объект изменяет свое местоположение\nC) объект чувствует себя эмоционально перемещенным\nD) объекты рассматривают возможность перемещения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0021037652622908354, + "B": 0.961725115776062, + "C": 0.0007739319698885083, + "D": 0.00046941349864937365 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает химическую реакцию?", + "option_a": "наливание воды в миску", + "option_b": "смешивание и нагревание съедобных предметов", + "option_c": "поглаживание кошки", + "option_d": "катание мяча по полу" + }, + "outputs": "B", + "meta": { + "id": 1901 + } + }, + "prompt": "<|im_start|>user\nЧто вызывает химическую реакцию?\nA. наливание воды в миску\nB. смешивание и нагревание съедобных предметов\nC. поглаживание кошки\nD. катание мяча по полу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02086382731795311, + "B": 0.00282361195422709, + "C": 0.03897876292467117, + "D": 0.8871524930000305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что быстро меняет поверхность Земли?", + "option_a": "ураган", + "option_b": "торнадо", + "option_c": "наводнение", + "option_d": "землетрясение" + }, + "outputs": "D", + "meta": { + "id": 1403 + } + }, + "prompt": "<|im_start|>user\nЧто быстро меняет поверхность Земли?\nA. ураган\nB. торнадо\nC. наводнение\nD. землетрясение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.34598246216773987, + "B": 0.39204949140548706, + "C": 0.013415195979177952, + "D": 0.1851910799741745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чего солнечный свет с трудом достигает у больших деревьев в лесах?", + "option_a": "верхушек", + "option_b": "нижних областей", + "option_c": "облаков", + "option_d": "крон" + }, + "outputs": "B", + "meta": { + "id": 2297 + } + }, + "prompt": "<|im_start|>user\nЧего солнечный свет с трудом достигает у больших деревьев в лесах?\nA. верхушек\nB. нижних областей\nC. облаков\nD. крон\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6860911250114441, + "B": 0.22274118661880493, + "C": 0.0019270889461040497, + "D": 0.0019270889461040497 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животному нужно другое животное, чтобы", + "option_a": "передавать генетическую информацию", + "option_b": "есть", + "option_c": "удалять отходы", + "option_d": "летать" + }, + "outputs": "A", + "meta": { + "id": 1991 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животному нужно другое животное, чтобы\nA) передавать генетическую информацию\nB) есть\nC) удалять отходы\nD) летать\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003918946720659733, + "B": 0.00022109184646978974, + "C": 0.0005303717916831374, + "D": 0.9589346647262573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если чертополох намерен разрастаться, он требует", + "option_a": "сена", + "option_b": "морских ракушек", + "option_c": "крупного рогатого скота", + "option_d": "питательных веществ" + }, + "outputs": "D", + "meta": { + "id": 1254 + } + }, + "prompt": "<|im_start|>user\nЕсли чертополох намерен разрастаться, он требует\nA. сена\nB. морских ракушек\nC. крупного рогатого скота\nD. питательных веществ\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.37158113718032837, + "B": 0.007711919955909252, + "C": 0.5406473278999329, + "D": 0.00990230217576027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могло бы лучше защитить внутренние органы животного?", + "option_a": "внутренняя структура, усиленная кальцием", + "option_b": "рюкзак на спине", + "option_c": "ни один из них", + "option_d": "оболочка из хлопка" + }, + "outputs": "A", + "meta": { + "id": 824 + } + }, + "prompt": "<|im_start|>user\nЧто могло бы лучше защитить внутренние органы животного?\nA) внутренняя структура, усиленная кальцием\nB) рюкзак на спине\nC) ни один из них\nD) оболочка из хлопка\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.017209183424711227, + "B": 0.06006595119833946, + "C": 0.23756548762321472, + "D": 0.6457698345184326 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кенгуру может иметь несколько детенышей одновременно на разных этапах жизни - уже выросшего из сумки, еще растущего в сумке и зародыш внутри. У этих животных проявляются замечательные инстинкты", + "option_a": "галлюцинаций", + "option_b": "танца", + "option_c": "крика", + "option_d": "медсестры" + }, + "outputs": "D", + "meta": { + "id": 2224 + } + }, + "prompt": "<|im_start|>user\nКенгуру может иметь несколько детенышей одновременно на разных этапах жизни - уже выросшего из сумки, еще растущего в сумке и зародыш внутри. У этих животных проявляются замечательные инстинкты\nA) галлюцинаций\nB) танца\nC) крика\nD) медсестры\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9287824630737305, + "B": 0.0002749611740000546, + "C": 0.0002749611740000546, + "D": 0.0003530571120791137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сейсмограф - это своего рода инструмент для измерения силы", + "option_a": "подземных толчков", + "option_b": "рек", + "option_c": "вулканической активности", + "option_d": "озерной рыбы" + }, + "outputs": "A", + "meta": { + "id": 2097 + } + }, + "prompt": "<|im_start|>user\nСейсмограф - это своего рода инструмент для измерения силы\nA. подземных толчков\nB. рек\nC. вулканической активности\nD. озерной рыбы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014823747798800468, + "B": 0.00034862113534472883, + "C": 0.0013788233045488596, + "D": 0.9171128273010254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если лес, в котором живут животные, вырубается", + "option_a": "то все животные умирают", + "option_b": "то животные просто восстанавливаются", + "option_c": "то животные легко адаптируются", + "option_d": "то животным становится негде жить" + }, + "outputs": "D", + "meta": { + "id": 1400 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если лес, в котором живут животные, вырубается\nA) то все животные умирают\nB) то животные просто восстанавливаются\nC) то животные легко адаптируются\nD) то животным становится негде жить\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.012987731955945492, + "B": 0.004216499626636505, + "C": 0.9105103015899658, + "D": 0.03115594945847988 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Два попугая, каждый в отдельном доме, каждый в комнате без окон, могут обмениваться информацией посредством", + "option_a": "семян", + "option_b": "пожимания плечами", + "option_c": "криков", + "option_d": "заметок" + }, + "outputs": "C", + "meta": { + "id": 1128 + } + }, + "prompt": "<|im_start|>user\nДва попугая, каждый в отдельном доме, каждый в комнате без окон, могут обмениваться информацией посредством\nA) семян\nB) пожимания плечами\nC) криков\nD) заметок\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0711902529001236, + "B": 0.7653673887252808, + "C": 0.023112092167139053, + "D": 0.05544302985072136 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди, перемещающиеся в окружающую среду, обычно приводят к тому, что аборигенные виды теряют что?", + "option_a": "красота", + "option_b": "дом", + "option_c": "ум", + "option_d": "молодость" + }, + "outputs": "B", + "meta": { + "id": 975 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди, перемещающиеся в окружающую среду, обычно приводят к тому, что аборигенные виды теряют что?\nA) красота\nB) дом\nC) ум\nD) молодость\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014410828007385135, + "B": 0.0001043917000060901, + "C": 6.331675831461325e-05, + "D": 0.958524227142334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животным управляет", + "option_a": "пульт управления", + "option_b": "друг", + "option_c": "погода", + "option_d": "набор нейронов" + }, + "outputs": "D", + "meta": { + "id": 1545 + } + }, + "prompt": "<|im_start|>user\nЖивотным управляет\nA) пульт управления\nB) друг\nC) погода\nD) набор нейронов\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 53, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.027761157602071762, + "B": 0.9193232655525208, + "C": 0.003315597539767623, + "D": 0.002582190092653036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После того, как цветы декоративного лимона упадут, у вас останется", + "option_a": "знак пчелы", + "option_b": "что-то кислое", + "option_c": "ванна для птиц", + "option_d": "вечеринка" + }, + "outputs": "B", + "meta": { + "id": 188 + } + }, + "prompt": "<|im_start|>user\nПосле того, как цветы декоративного лимона упадут, у вас останется\nA. знак пчелы\nB. что-то кислое\nC. ванна для птиц\nD. вечеринка\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6342483758926392, + "B": 0.06684928387403488, + "C": 0.09726514667272568, + "D": 0.12489090859889984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому из них меньше всего нужно дышать воздухом?", + "option_a": "зоопланктон", + "option_b": "канарейка", + "option_c": "медведь", + "option_d": "кот" + }, + "outputs": "A", + "meta": { + "id": 82 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кому из них меньше всего нужно дышать воздухом?\nA) зоопланктон\nB) канарейка\nC) медведь\nD) кот\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.6726451516151428, + "B": 0.0074724131263792515, + "C": 0.1927160620689392, + "D": 0.0024259372148662806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек смотрит на небольшой организм на столе невооруженным человеческим глазом. Желая рассмотреть этот организм более внимательно, человек использует", + "option_a": "бинокль", + "option_b": "телескоп", + "option_c": "лабораторное оборудование", + "option_d": "измерительную линейку" + }, + "outputs": "C", + "meta": { + "id": 1081 + } + }, + "prompt": "<|im_start|>user\nЧеловек смотрит на небольшой организм на столе невооруженным человеческим глазом. Желая рассмотреть этот организм более внимательно, человек использует\nA. бинокль\nB. телескоп\nC. лабораторное оборудование\nD. измерительную линейку\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09871687740087509, + "B": 0.00433731684461236, + "C": 0.007151026278734207, + "D": 0.8265462517738342 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Горячей жидкостью может оказаться", + "option_a": "чашка вчерашнего кофе", + "option_b": "высокий стакан молока", + "option_c": "теплая чашка какао", + "option_d": "вода из макарон, пузырящаяся на плите" + }, + "outputs": "D", + "meta": { + "id": 450 + } + }, + "prompt": "<|im_start|>user\nГорячей жидкостью может оказаться\nA. чашка вчерашнего кофе\nB. высокий стакан молока\nC. теплая чашка какао\nD. вода из макарон, пузырящаяся на плите\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0011222879402339458, + "B": 0.0002837588544934988, + "C": 0.010647973045706749, + "D": 0.9584999084472656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если хищник хочет оставаться незамеченным для жертвы до самого последнего момента, какой метод будет эффективным?", + "option_a": "хищник мочится, чтобы сбить с толку добычу", + "option_b": "очень громко рычит, чтобы напугать жертву", + "option_c": "ни один из этих методов не годится", + "option_d": "прячется за кустом того же цвета, что и он сам" + }, + "outputs": "D", + "meta": { + "id": 1319 + } + }, + "prompt": "<|im_start|>user\nЕсли хищник хочет оставаться незамеченным для жертвы до самого последнего момента, какой метод будет эффективным?\nA) хищник мочится, чтобы сбить с толку добычу\nB) очень громко рычит, чтобы напугать жертву\nC) ни один из этих методов не годится\nD) прячется за кустом того же цвета, что и он сам\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04908178374171257, + "B": 0.005861983168870211, + "C": 0.8699954152107239, + "D": 0.02318459190428257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что люди воспринимают ухом?", + "option_a": "немое кино", + "option_b": "дегустация", + "option_c": "виолончель", + "option_d": "комикс" + }, + "outputs": "C", + "meta": { + "id": 471 + } + }, + "prompt": "<|im_start|>user\nЧто люди воспринимают ухом?\nA) немое кино\nB) дегустация\nC) виолончель\nD) комикс\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9202703237533569, + "B": 0.0005089871119707823, + "C": 6.888392090331763e-05, + "D": 0.00074057187885046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные похожи на людей в том, что если у них закончится кислород, дыхание станет невозможным и", + "option_a": "они погибнут", + "option_b": "они будут печатать газету", + "option_c": "они начнут программировать", + "option_d": "они будут смеяться" + }, + "outputs": "A", + "meta": { + "id": 1160 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животные похожи на людей в том, что если у них закончится кислород, дыхание станет невозможным и\nA. они погибнут\nB. они будут печатать газету\nC. они начнут программировать\nD. они будут смеяться\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8660467267036438, + "B": 0.0027564368210732937, + "C": 0.0024325470440089703, + "D": 0.004544596187770367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хомяк недоедал, потому что", + "option_a": "запасы зерна подходили к концу", + "option_b": "он объявил голодовку", + "option_c": "у него парализовало рот", + "option_d": "он потерял ключ к кладовой с едой" + }, + "outputs": "A", + "meta": { + "id": 557 + } + }, + "prompt": "<|im_start|>user\nХомяк недоедал, потому что\nA) запасы зерна подходили к концу\nB) он объявил голодовку\nC) у него парализовало рот\nD) он потерял ключ к кладовой с едой\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5710710883140564, + "B": 0.0033957127016037703, + "C": 0.0023338370956480503, + "D": 0.346372127532959 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что покрывает более 90% поверхности Земли и 0% поверхности Луны", + "option_a": ", вещество, молекула которого содержит 2 атома водорода и 1 атом кислорода", + "option_b": "химический элемент с символом S", + "option_c": "элемент с символом Fe", + "option_d": "минерал силикат магния и железа" + }, + "outputs": "A", + "meta": { + "id": 1866 + } + }, + "prompt": "<|im_start|>user\nЧто покрывает более 90% поверхности Земли и 0% поверхности Луны\nA) , вещество, молекула которого содержит 2 атома водорода и 1 атом кислорода\nB) химический элемент с символом S\nC) элемент с символом Fe\nD) минерал силикат магния и железа\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01624409854412079, + "B": 0.026781989261507988, + "C": 0.8868976831436157, + "D": 0.026781989261507988 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примеры загрязнения включают все, кроме", + "option_a": "кислотных дождей", + "option_b": "смога", + "option_c": "чечевичного супа", + "option_d": "химических стоков" + }, + "outputs": "C", + "meta": { + "id": 1376 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примеры загрязнения включают все, кроме\nA. кислотных дождей\nB. смога\nC. чечевичного супа\nD. химических стоков\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.640614926815033, + "B": 0.2356690913438797, + "C": 0.0017993556102737784, + "D": 0.0048911552876234055 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если ледник, проходящий мимо дока, задел там какие-то большие валуны, на валунах", + "option_a": "будут выбоины", + "option_b": "будут пятна", + "option_c": "будут ракушки", + "option_d": "будет грязь" + }, + "outputs": "A", + "meta": { + "id": 889 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если ледник, проходящий мимо дока, задел там какие-то большие валуны, на валунах\nA) будут выбоины\nB) будут пятна\nC) будут ракушки\nD) будет грязь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8592156171798706, + "B": 0.001139990403316915, + "C": 0.0003701007226482034, + "D": 0.001006038044579327 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы слышите, что на улице снег, вы можете ожидать, что", + "option_a": "снаружи образовались заносы", + "option_b": "нет никакого снега снаружи", + "option_c": "снаружи много огня", + "option_d": "лягушки падают с неба" + }, + "outputs": "A", + "meta": { + "id": 419 + } + }, + "prompt": "<|im_start|>user\nЕсли вы слышите, что на улице снег, вы можете ожидать, что\nA. снаружи образовались заносы\nB. нет никакого снега снаружи\nC. снаружи много огня\nD. лягушки падают с неба\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.38037586212158203, + "B": 0.0012106529902666807, + "C": 0.0022617976646870375, + "D": 0.5534436106681824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Механическое выветривание разрушает механическими средствами ____", + "option_a": "песчаные дюны", + "option_b": "деревья", + "option_c": "холмы", + "option_d": "валуны" + }, + "outputs": "D", + "meta": { + "id": 1860 + } + }, + "prompt": "<|im_start|>user\nМеханическое выветривание разрушает механическими средствами ____\nA. песчаные дюны\nB. деревья\nC. холмы\nD. валуны\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04735064134001732, + "B": 0.8393101692199707, + "C": 0.028719613328576088, + "D": 0.009323894046247005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если организм умирает, то что будет с численностью бактерий-симбионтов, населяющих этот организм?", + "option_a": "возрастет", + "option_b": "уменьшится", + "option_c": "останется на прежнем уровне", + "option_d": "даст взрывной рост" + }, + "outputs": "B", + "meta": { + "id": 231 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если организм умирает, то что будет с численностью бактерий-симбионтов, населяющих этот организм?\nA) возрастет\nB) уменьшится\nC) останется на прежнем уровне\nD) даст взрывной рост\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03867306560277939, + "B": 0.880194902420044, + "C": 0.0016991759184747934, + "D": 0.03867306560277939 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая среда часто бывает зеленой?", + "option_a": "арктика", + "option_b": "рощи", + "option_c": "пустыни", + "option_d": "океаны" + }, + "outputs": "B", + "meta": { + "id": 100 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая среда часто бывает зеленой?\nA. арктика\nB. рощи\nC. пустыни\nD. океаны\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1439540833234787, + "B": 0.23734013736248016, + "C": 0.3913077414035797, + "D": 0.1439540833234787 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для действия какого объекта больше всего характерна вибрация воздуха?", + "option_a": "кровяные тельца", + "option_b": "кирпич", + "option_c": "альт", + "option_d": "фонарик" + }, + "outputs": "C", + "meta": { + "id": 1299 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для действия какого объекта больше всего характерна вибрация воздуха?\nA. кровяные тельца\nB. кирпич\nC. альт\nD. фонарик\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09559409320354462, + "B": 0.8003995418548584, + "C": 0.0019839920569211245, + "D": 0.04515545442700386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником волокон?", + "option_a": "вода", + "option_b": "растения", + "option_c": "камни", + "option_d": "воздух" + }, + "outputs": "B", + "meta": { + "id": 2118 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является источником волокон?\nA) вода\nB) растения\nC) камни\nD) воздух\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00036843615816906095, + "B": 0.9692398309707642, + "C": 0.00010555871995165944, + "D": 0.0006883292808197439 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "К кому или к чему относится процесс взросления?", + "option_a": "питание растений", + "option_b": "живое существо", + "option_c": "круг интересов", + "option_d": "химическая реакция" + }, + "outputs": "B", + "meta": { + "id": 493 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: К кому или к чему относится процесс взросления?\nA) питание растений\nB) живое существо\nC) круг интересов\nD) химическая реакция\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.1352037638425827, + "B": 0.22291332483291626, + "C": 0.08200522512197495, + "D": 0.47190749645233154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете сделать пулю, исчезающую без следа, из", + "option_a": "металла", + "option_b": "замороженной воды", + "option_c": "свинца", + "option_d": "сплавов" + }, + "outputs": "B", + "meta": { + "id": 842 + } + }, + "prompt": "<|im_start|>user\nВы можете сделать пулю, исчезающую без следа, из\nA) металла\nB) замороженной воды\nC) свинца\nD) сплавов\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.367749959230423, + "B": 0.5350730419158936, + "C": 0.006735575385391712, + "D": 0.02663971669971943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие насекомые могут годами откладывать яйца на взрослой стадии своего жизненного цикла?", + "option_a": "все", + "option_b": "матки", + "option_c": "большие", + "option_d": "самцы" + }, + "outputs": "B", + "meta": { + "id": 235 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие насекомые могут годами откладывать яйца на взрослой стадии своего жизненного цикла?\nA) все\nB) матки\nC) большие\nD) самцы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8914888501167297, + "B": 0.0004351315146777779, + "C": 0.0003840021672658622, + "D": 0.008739849552512169 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения и деревья поглощают углекислый газ, поэтому, если деревья будут вырублены, уровень углерода будет", + "option_a": "возрастать", + "option_b": "летать", + "option_c": "кричать", + "option_d": "снижаться" + }, + "outputs": "A", + "meta": { + "id": 1851 + } + }, + "prompt": "<|im_start|>user\nРастения и деревья поглощают углекислый газ, поэтому, если деревья будут вырублены, уровень углерода будет\nA) возрастать\nB) летать\nC) кричать\nD) снижаться\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9023151397705078, + "B": 0.006079751532524824, + "C": 0.00022145494585856795, + "D": 0.0011971740750595927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая роль делает планктон похожим на фермера?", + "option_a": "он производит пищу", + "option_b": "он нуждается в пище", + "option_c": "он может заболеть", + "option_d": "он живет в океане" + }, + "outputs": "A", + "meta": { + "id": 2055 + } + }, + "prompt": "<|im_start|>user\nКакая роль делает планктон похожим на фермера?\nA. он производит пищу\nB. он нуждается в пище\nC. он может заболеть\nD. он живет в океане\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.041726838797330856, + "B": 0.06071219593286514, + "C": 0.008216502144932747, + "D": 0.8381059765815735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Усвоенная характеристика:", + "option_a": "малыш, стучащий палкой, пока родитель бьет молотком", + "option_b": "ребенок с глазами того же цвета, что и родитель", + "option_c": "ребенок, покрытый веснушками", + "option_d": "младенец с диагнозом серповидноклеточная анемия" + }, + "outputs": "A", + "meta": { + "id": 501 + } + }, + "prompt": "<|im_start|>user\nУсвоенная характеристика:\nA. малыш, стучащий палкой, пока родитель бьет молотком\nB. ребенок с глазами того же цвета, что и родитель\nC. ребенок, покрытый веснушками\nD. младенец с диагнозом серповидноклеточная анемия\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.13468444347381592, + "B": 0.2851269543170929, + "C": 0.4700948894023895, + "D": 0.0437256321310997 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы нашли бревно с отверстием. Кто скорее всего высунется оттуда?", + "option_a": "рыба с большими жабрами", + "option_b": "белка небольшого размера", + "option_c": "никто из перечисленных животных", + "option_d": "динозавр из юрского периода" + }, + "outputs": "B", + "meta": { + "id": 755 + } + }, + "prompt": "<|im_start|>user\nВы нашли бревно с отверстием. Кто скорее всего высунется оттуда?\nA) рыба с большими жабрами\nB) белка небольшого размера\nC) никто из перечисленных животных\nD) динозавр из юрского периода\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9061489701271057, + "B": 0.0005679077003151178, + "C": 0.0005679077003151178, + "D": 0.02414805255830288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В национальных парках действуют правила,", + "option_a": "которые защищают уязвимых обитателей животных в парках", + "option_b": "которые открывают парки для добычи природных ресурсов", + "option_c": "которые допускают замусоривание", + "option_d": "ограничивающие рост хрупких видов животных" + }, + "outputs": "A", + "meta": { + "id": 328 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В национальных парках действуют правила,\nA) которые защищают уязвимых обитателей животных в парках\nB) которые открывают парки для добычи природных ресурсов\nC) которые допускают замусоривание\nD) ограничивающие рост хрупких видов животных\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5364229083061218, + "B": 0.005959120579063892, + "C": 0.0076516615226864815, + "D": 0.36867770552635193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером электрического проводника может быть", + "option_a": "дерево", + "option_b": "лед", + "option_c": "резина", + "option_d": "монета" + }, + "outputs": "D", + "meta": { + "id": 1410 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером электрического проводника может быть\nA) дерево\nB) лед\nC) резина\nD) монета\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07580918073654175, + "B": 0.0048463186249136925, + "C": 0.04598059877753258, + "D": 0.8150255680084229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Секундомер полезен", + "option_a": "при определении текущего времени", + "option_b": "при вычислении ответов в тесте с таблицей умножения", + "option_c": "при установке будильника", + "option_d": "при отслеживании промежуточного времени на пробежках" + }, + "outputs": "D", + "meta": { + "id": 1169 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Секундомер полезен\nA) при определении текущего времени\nB) при вычислении ответов в тесте с таблицей умножения\nC) при установке будильника\nD) при отслеживании промежуточного времени на пробежках\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.06327693164348602, + "B": 0.04928012192249298, + "C": 0.04928012192249298, + "D": 0.7708708643913269 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У деревьев годовые кольца нарастают по одному в год; значит", + "option_a": "дереву с восемью кольцами - пять лет", + "option_b": "дереву с шестью кольцами - семь лет", + "option_c": "дереву с девятью кольцами - девять лет", + "option_d": "определение возраста дерева невозможно на основе колец" + }, + "outputs": "C", + "meta": { + "id": 1493 + } + }, + "prompt": "<|im_start|>user\nУ деревьев годовые кольца нарастают по одному в год; значит\nA. дереву с восемью кольцами - пять лет\nB. дереву с шестью кольцами - семь лет\nC. дереву с девятью кольцами - девять лет\nD. определение возраста дерева невозможно на основе колец\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05113379284739494, + "B": 0.7998670935630798, + "C": 0.0166007112711668, + "D": 0.05794218182563782 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Над головой темно, хотя летний день и еще только полдень. Из-за отсутствия солнечного затмения реальная причина этой темноты заключается в том, что", + "option_a": "на небе нет облаков", + "option_b": "собирается шторм", + "option_c": "светит солнце", + "option_d": "облака полностью отсутствуют" + }, + "outputs": "B", + "meta": { + "id": 1613 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Над головой темно, хотя летний день и еще только полдень. Из-за отсутствия солнечного затмения реальная причина этой темноты заключается в том, что\nA. на небе нет облаков\nB. собирается шторм\nC. светит солнце\nD. облака полностью отсутствуют\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0010899391490966082, + "B": 0.036093827337026596, + "C": 0.9308720827102661, + "D": 0.0020362744107842445 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каким процессом или явлением, связанным с жизнью гор, были образованы Альпы?", + "option_a": "сель", + "option_b": "таяние", + "option_c": "складчатость", + "option_d": "извержение" + }, + "outputs": "C", + "meta": { + "id": 1973 + } + }, + "prompt": "<|im_start|>user\nКаким процессом или явлением, связанным с жизнью гор, были образованы Альпы?\nA) сель\nB) таяние\nC) складчатость\nD) извержение\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.35818544030189514, + "B": 0.04277914762496948, + "C": 0.4599192142486572, + "D": 0.02594686672091484 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого примерно противоположно уборке дома по параметру приобретенности поведения?", + "option_a": "стрижка газона", + "option_b": "уборка двора", + "option_c": "инстинктивное поведение", + "option_d": "мытье посуды" + }, + "outputs": "C", + "meta": { + "id": 858 + } + }, + "prompt": "<|im_start|>user\nЧто из этого примерно противоположно уборке дома по параметру приобретенности поведения?\nA) стрижка газона\nB) уборка двора\nC) инстинктивное поведение\nD) мытье посуды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.011354221031069756, + "B": 0.5470770597457886, + "C": 0.33181899785995483, + "D": 0.03963012993335724 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это явление невозможно в полнолуние", + "option_a": "туман", + "option_b": "лунное затмение", + "option_c": "солнечное затмение", + "option_d": "сумерки" + }, + "outputs": "C", + "meta": { + "id": 507 + } + }, + "prompt": "<|im_start|>user\nЭто явление невозможно в полнолуние\nA. туман\nB. лунное затмение\nC. солнечное затмение\nD. сумерки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014054630883038044, + "B": 0.00011536743841134012, + "C": 0.00021553474653046578, + "D": 0.9348320364952087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ищейки могут найти еду по", + "option_a": "информации из социальных сетях", + "option_b": "сохраненным файлам в своем телефоне", + "option_c": "геометкам в Интернете", + "option_d": "запаху" + }, + "outputs": "D", + "meta": { + "id": 582 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ищейки могут найти еду по\nA. информации из социальных сетях\nB. сохраненным файлам в своем телефоне\nC. геометкам в Интернете\nD. запаху\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.14892585575580597, + "B": 0.5890131592750549, + "C": 0.025879433378577232, + "D": 0.16875511407852173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У многих животных, которые рождают живых детенышей, есть", + "option_a": "жабры", + "option_b": "чешуя", + "option_c": "экзоскелеты", + "option_d": "ноги" + }, + "outputs": "D", + "meta": { + "id": 2123 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У многих животных, которые рождают живых детенышей, есть\nA. жабры\nB. чешуя\nC. экзоскелеты\nD. ноги\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003477409714832902, + "B": 0.0006042831228114665, + "C": 0.0030688033439219, + "D": 0.9641892910003662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы положительно повлиять на окружающую среду", + "option_a": "выбрасывайте пластиковые бутылки в урны для мусора", + "option_b": "используйте пластиковые ножи и вилки для каждого приема пищи", + "option_c": "покупайте менее экономичный автомобиль", + "option_d": "металлолом из старых зданий перерабатывайте для использования в новом строительстве" + }, + "outputs": "D", + "meta": { + "id": 754 + } + }, + "prompt": "<|im_start|>user\nЧтобы положительно повлиять на окружающую среду\nA. выбрасывайте пластиковые бутылки в урны для мусора\nB. используйте пластиковые ножи и вилки для каждого приема пищи\nC. покупайте менее экономичный автомобиль\nD. металлолом из старых зданий перерабатывайте для использования в новом строительстве\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.891215980052948, + "B": 0.001339889015071094, + "C": 0.0009208913543261588, + "D": 0.002503242576494813 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие семьи переживают зиму благодаря", + "option_a": "печи", + "option_b": "кондиционеру", + "option_c": "телевизору", + "option_d": "холодильнику" + }, + "outputs": "A", + "meta": { + "id": 1521 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Многие семьи переживают зиму благодаря\nA. печи\nB. кондиционеру\nC. телевизору\nD. холодильнику\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003786338260397315, + "B": 0.9264863729476929, + "C": 0.0022965301759541035, + "D": 0.010292334482073784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого могло способствовать исчезновению вида?", + "option_a": "Обилие растительности", + "option_b": "Длительный период без осадков", + "option_c": "Достаточное укрытие и товарищеские отношения", + "option_d": "Хороший запас добычи" + }, + "outputs": "B", + "meta": { + "id": 1808 + } + }, + "prompt": "<|im_start|>user\nЧто из этого могло способствовать исчезновению вида?\nA. Обилие растительности\nB. Длительный период без осадков\nC. Достаточное укрытие и товарищеские отношения\nD. Хороший запас добычи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.35635077953338623, + "B": 0.21613767743110657, + "C": 0.19074083864688873, + "D": 0.13109414279460907 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Винт нагревается, когда ставится на пути солнечного света, кто в этом виноват?", + "option_a": "теплопроводность", + "option_b": "градостроительное устройство", + "option_c": "нагревательный элемент", + "option_d": "конвекция" + }, + "outputs": "A", + "meta": { + "id": 608 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Винт нагревается, когда ставится на пути солнечного света, кто в этом виноват?\nA) теплопроводность\nB) градостроительное устройство\nC) нагревательный элемент\nD) конвекция\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001248909393325448, + "B": 0.9413082599639893, + "C": 0.001248909393325448, + "D": 0.010456991381943226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вырубка деревьев может нанести ущерб экосистемам, таким как", + "option_a": "города", + "option_b": "джунгли", + "option_c": "поля", + "option_d": "океаны" + }, + "outputs": "B", + "meta": { + "id": 440 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вырубка деревьев может нанести ущерб экосистемам, таким как\nA. города\nB. джунгли\nC. поля\nD. океаны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08723217993974686, + "B": 0.8276358842849731, + "C": 0.0020515043288469315, + "D": 0.0009690619772300124 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У медвежонка золотистый мех средней длины. Причина этого, скорее всего, в том, что", + "option_a": "его родители - белые медведи", + "option_b": "носители гена из предыдущего поколения разделяют эту характеристику", + "option_c": "у матери-медведицы голубые глаза", + "option_d": "у всех родителей черный мех" + }, + "outputs": "B", + "meta": { + "id": 632 + } + }, + "prompt": "<|im_start|>user\nУ медвежонка золотистый мех средней длины. Причина этого, скорее всего, в том, что\nA) его родители - белые медведи\nB) носители гена из предыдущего поколения разделяют эту характеристику\nC) у матери-медведицы голубые глаза\nD) у всех родителей черный мех\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010314389131963253, + "B": 0.024742931127548218, + "C": 0.002607885980978608, + "D": 0.9284716844558716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая установка, вероятно, преломляет свет?", + "option_a": "банджо и флейта", + "option_b": "два зеркала друг напротив друга", + "option_c": "кот в шляпе", + "option_d": "драгоценные камни, расположенные под соответствующим углом к свету" + }, + "outputs": "D", + "meta": { + "id": 31 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая установка, вероятно, преломляет свет?\nA) банджо и флейта\nB) два зеркала друг напротив друга\nC) кот в шляпе\nD) драгоценные камни, расположенные под соответствующим углом к свету\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9213093519210815, + "B": 0.0013851325493305922, + "C": 0.002587768482044339, + "D": 0.002587768482044339 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что мне делать, чтобы оставаться здоровым", + "option_a": "Не забывать проветривать помещение", + "option_b": "Никогда ни с кем не разговаривать", + "option_c": "Есть гамбургеры почти каждый день", + "option_d": "Никогда не вставать со стула" + }, + "outputs": "A", + "meta": { + "id": 848 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что мне делать, чтобы оставаться здоровым\nA. Не забывать проветривать помещение\nB. Никогда ни с кем не разговаривать\nC. Есть гамбургеры почти каждый день\nD. Никогда не вставать со стула\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8478037714958191, + "B": 0.00022149596770759672, + "C": 0.00036518514389172196, + "D": 0.0004138090298511088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Количество потребленных питательных веществ будет по возможности максимально эффективно", + "option_a": "использовано внутри организма", + "option_b": "сожжено в огне", + "option_c": "распределено в почве", + "option_d": "превращено в золотую пшеницу." + }, + "outputs": "A", + "meta": { + "id": 1727 + } + }, + "prompt": "<|im_start|>user\nКоличество потребленных питательных веществ будет по возможности максимально эффективно\nA) использовано внутри организма\nB) сожжено в огне\nC) распределено в почве\nD) превращено в золотую пшеницу.\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06593865901231766, + "B": 0.4872244596481323, + "C": 0.33486416935920715, + "D": 0.03529442474246025 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меньше всего пострадает от сильной жары?", + "option_a": "Овца", + "option_b": "Мертвая роща", + "option_c": "Озеро", + "option_d": "машина" + }, + "outputs": "B", + "meta": { + "id": 1405 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что меньше всего пострадает от сильной жары?\nA) Овца\nB) Мертвая роща\nC) Озеро\nD) машина\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001814110204577446, + "B": 0.0005889552994631231, + "C": 0.0004586789000313729, + "D": 0.9397323131561279 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При стирке белья, посуды или принятии ванны жизненно важно иметь", + "option_a": "семь ведер для воды", + "option_b": "водонагреватель в городе", + "option_c": "большую щетку для мытья", + "option_d": "достаточно воды, нагретой до приемлемой температуры" + }, + "outputs": "D", + "meta": { + "id": 2020 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При стирке белья, посуды или принятии ванны жизненно важно иметь\nA) семь ведер для воды\nB) водонагреватель в городе\nC) большую щетку для мытья\nD) достаточно воды, нагретой до приемлемой температуры\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.017185352742671967, + "B": 0.9382883906364441, + "C": 0.0003566706145647913, + "D": 0.0005880503449589014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делают некоторые животные, чтобы приспособиться к высоким температурам?", + "option_a": "они бегут", + "option_b": "они потеют", + "option_c": "они охотятся", + "option_d": "они летают" + }, + "outputs": "B", + "meta": { + "id": 1004 + } + }, + "prompt": "<|im_start|>user\nЧто делают некоторые животные, чтобы приспособиться к высоким температурам?\nA) они бегут\nB) они потеют\nC) они охотятся\nD) они летают\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.2841692864894867, + "B": 0.5308980941772461, + "C": 0.07184924185276031, + "D": 0.029951224103569984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустыне кактус - редкий источник", + "option_a": "влаги", + "option_b": "укрытия", + "option_c": "пищи", + "option_d": "тени" + }, + "outputs": "A", + "meta": { + "id": 989 + } + }, + "prompt": "<|im_start|>user\nВ пустыне кактус - редкий источник\nA) влаги\nB) укрытия\nC) пищи\nD) тени\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018433737568557262, + "B": 0.003902422497048974, + "C": 0.9548912644386292, + "D": 0.004422024358063936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что используют некоторые животные для адаптации к высоким температурам?", + "option_a": "огонь", + "option_b": "пищу", + "option_c": "пот", + "option_d": "одеяла" + }, + "outputs": "C", + "meta": { + "id": 429 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что используют некоторые животные для адаптации к высоким температурам?\nA) огонь\nB) пищу\nC) пот\nD) одеяла\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.008945193141698837, + "B": 0.9124345183372498, + "C": 0.003728911280632019, + "D": 0.021458404138684273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняется раз в 3 месяца?", + "option_a": "город", + "option_b": "время года", + "option_c": "холм", + "option_d": "волна" + }, + "outputs": "B", + "meta": { + "id": 1325 + } + }, + "prompt": "<|im_start|>user\nЧто меняется раз в 3 месяца?\nA) город\nB) время года\nC) холм\nD) волна\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014653690159320831, + "B": 0.0032696803100407124, + "C": 0.005390791222453117, + "D": 0.9065917134284973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы выжить, лошадь полагалась на своего хозяина, который приносил ей", + "option_a": "упряжь", + "option_b": "повод", + "option_c": "седло", + "option_d": "зерно" + }, + "outputs": "D", + "meta": { + "id": 25 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы выжить, лошадь полагалась на своего хозяина, который приносил ей\nA) упряжь\nB) повод\nC) седло\nD) зерно\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.014604457654058933, + "B": 0.9035457968711853, + "C": 0.010037488304078579, + "D": 0.01875249482691288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Неприрученное существо, лишенное дикого пространства обитания, возможно, занимает", + "option_a": "торговые центры", + "option_b": "безлюдную среду обитания в черте города, вроде окраин и промзон", + "option_c": "небольшой кратер", + "option_d": "далекую планету" + }, + "outputs": "B", + "meta": { + "id": 2185 + } + }, + "prompt": "<|im_start|>user\nНеприрученное существо, лишенное дикого пространства обитания, возможно, занимает\nA. торговые центры\nB. безлюдную среду обитания в черте города, вроде окраин и промзон\nC. небольшой кратер\nD. далекую планету\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00028179484070278704, + "B": 0.9518657326698303, + "C": 0.00015083390462677926, + "D": 0.0003618317423388362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные легко попадают в лапы хищников, потому что они медленные, в то время как хищники", + "option_a": "вежливые", + "option_b": "быстрые", + "option_c": "манипулятивные", + "option_d": "сумасшедшие" + }, + "outputs": "B", + "meta": { + "id": 2076 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые животные легко попадают в лапы хищников, потому что они медленные, в то время как хищники\nA) вежливые\nB) быстрые\nC) манипулятивные\nD) сумасшедшие\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0023356922902166843, + "B": 0.0020612410735338926, + "C": 0.9422854781150818, + "D": 0.01725856028497219 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дождь не чистый, то вода в этой области будет", + "option_a": "безопасной", + "option_b": "отличной", + "option_c": "небезопасной", + "option_d": "чистой" + }, + "outputs": "C", + "meta": { + "id": 957 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если дождь не чистый, то вода в этой области будет\nA) безопасной\nB) отличной\nC) небезопасной\nD) чистой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003823524806648493, + "B": 0.00035564322024583817, + "C": 0.0010954581666737795, + "D": 0.9355856776237488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветы при увеличении числа опылителей", + "option_a": "уменьшают размножение", + "option_b": "увеличивают потребление воды", + "option_c": "увеличивают визуальную привлекательность", + "option_d": "лучше размножаются" + }, + "outputs": "D", + "meta": { + "id": 361 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Цветы при увеличении числа опылителей\nA. уменьшают размножение\nB. увеличивают потребление воды\nC. увеличивают визуальную привлекательность\nD. лучше размножаются\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16326402127742767, + "B": 0.046775929629802704, + "C": 0.6457217335700989, + "D": 0.05300406739115715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечная энергия может быть использована для", + "option_a": "раскрашивания воздуха", + "option_b": "зябких ощущений", + "option_c": "приготовления пасты", + "option_d": "путешествия во времени" + }, + "outputs": "C", + "meta": { + "id": 1005 + } + }, + "prompt": "<|im_start|>user\nСолнечная энергия может быть использована для\nA) раскрашивания воздуха\nB) зябких ощущений\nC) приготовления пасты\nD) путешествия во времени\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.20267732441425323, + "B": 0.707413375377655, + "C": 0.00327597395516932, + "D": 0.0061203246004879475 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На столбе с чем используется шкив?", + "option_a": "флаг", + "option_b": "термометр", + "option_c": "растения", + "option_d": "еда" + }, + "outputs": "A", + "meta": { + "id": 2152 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На столбе с чем используется шкив?\nA) флаг\nB) термометр\nC) растения\nD) еда\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.10740776360034943, + "B": 0.01866467110812664, + "C": 0.7936420440673828, + "D": 0.016471514478325844 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль застрял в кювете, и пассажиры автомобиля должны выйти и вытолкнуть его обратно на дорогу. Двое из трех пассажиров толкают машину, но она завязла в грязи, и лишь когда третий пассажир помогает им", + "option_a": "машина быстро освобождается из грязи", + "option_b": "машина окончательно тонет в грязи", + "option_c": "машина застревает в грязи намертво", + "option_d": "машина слишком тяжелая, чтобы толкать ее" + }, + "outputs": "A", + "meta": { + "id": 2215 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобиль застрял в кювете, и пассажиры автомобиля должны выйти и вытолкнуть его обратно на дорогу. Двое из трех пассажиров толкают машину, но она завязла в грязи, и лишь когда третий пассажир помогает им\nA) машина быстро освобождается из грязи\nB) машина окончательно тонет в грязи\nC) машина застревает в грязи намертво\nD) машина слишком тяжелая, чтобы толкать ее\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6766014695167542, + "B": 0.17107164859771729, + "C": 0.023152029141783714, + "D": 0.026234686374664307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ветер - это ресурс, который", + "option_a": "можно извлекать повторно", + "option_b": "раньше не использовался", + "option_c": "является источником воды", + "option_d": "бесполезен в сельском хозяйстве" + }, + "outputs": "A", + "meta": { + "id": 1482 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ветер - это ресурс, который\nA) можно извлекать повторно\nB) раньше не использовался\nC) является источником воды\nD) бесполезен в сельском хозяйстве\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.02203322947025299, + "B": 0.011793537996709347, + "C": 0.0010969698196277022, + "D": 0.9368767738342285 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выветривание - это возможная причина того, что", + "option_a": "папоротники могут питаться", + "option_b": "маяк излучает видимый свет", + "option_c": "собаки всегда едят домашнее задание", + "option_d": "кошки могут охотиться на добычу" + }, + "outputs": "A", + "meta": { + "id": 368 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выветривание - это возможная причина того, что\nA. папоротники могут питаться\nB. маяк излучает видимый свет\nC. собаки всегда едят домашнее задание\nD. кошки могут охотиться на добычу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.35106727480888367, + "B": 0.5788121223449707, + "C": 0.002365472726523876, + "D": 0.012012861669063568 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько ящериц обитает в пустыне?", + "option_a": "все", + "option_b": "не так много", + "option_c": "пятнадцать", + "option_d": "ни одной" + }, + "outputs": "B", + "meta": { + "id": 1814 + } + }, + "prompt": "<|im_start|>user\nСколько ящериц обитает в пустыне?\nA) все\nB) не так много\nC) пятнадцать\nD) ни одной\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 55, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7750114798545837, + "B": 0.0027951279189437628, + "C": 0.11885186284780502, + "D": 0.0021768477745354176 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На что похоже содержимое электромагнитов?", + "option_a": "похоже на мотки нитей", + "option_b": "похоже на мышей", + "option_c": "все варианты верны", + "option_d": "похоже на туфли" + }, + "outputs": "A", + "meta": { + "id": 1869 + } + }, + "prompt": "<|im_start|>user\nНа что похоже содержимое электромагнитов?\nA) похоже на мотки нитей\nB) похоже на мышей\nC) все варианты верны\nD) похоже на туфли\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7702248096466064, + "B": 0.1181178092956543, + "C": 0.0009018405107781291, + "D": 0.0019091966096311808 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растениям требуется", + "option_a": "H2O", + "option_b": "кислород", + "option_c": "Fe", + "option_d": "облака" + }, + "outputs": "A", + "meta": { + "id": 1152 + } + }, + "prompt": "<|im_start|>user\nРастениям требуется\nA. H2O\nB. кислород\nC. Fe\nD. облака\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0012936585117131472, + "B": 0.00047591040492989123, + "C": 0.9750358462333679, + "D": 0.0021328823640942574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зимой медведи впадают в спячку", + "option_a": "для общения с другими медведями", + "option_b": "потому что им пора вставать на подзарядку", + "option_c": "потому что окружающая среда более холодная и в ней меньше еды", + "option_d": "потому что у них рождаются детеныши" + }, + "outputs": "C", + "meta": { + "id": 1863 + } + }, + "prompt": "<|im_start|>user\nЗимой медведи впадают в спячку\nA) для общения с другими медведями\nB) потому что им пора вставать на подзарядку\nC) потому что окружающая среда более холодная и в ней меньше еды\nD) потому что у них рождаются детеныши\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9006544351577759, + "B": 0.006876580882817507, + "C": 0.0002353036543354392, + "D": 0.005355486646294594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какова причина существования ягод?", + "option_a": "воспроизводство", + "option_b": "корм для животных", + "option_c": "рост птиц", + "option_d": "хранение корма" + }, + "outputs": "A", + "meta": { + "id": 1699 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какова причина существования ягод?\nA. воспроизводство\nB. корм для животных\nC. рост птиц\nD. хранение корма\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.22696040570735931, + "B": 0.3741944432258606, + "C": 0.008800210431218147, + "D": 0.3302254378795624 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приготовление еды приведет к переносу энергии в эту еду?", + "option_a": "это неверно", + "option_b": "возможно", + "option_c": "это доказуемо", + "option_d": "все эти варианты верны одновременно" + }, + "outputs": "C", + "meta": { + "id": 1323 + } + }, + "prompt": "<|im_start|>user\nПриготовление еды приведет к переносу энергии в эту еду?\nA) это неверно\nB) возможно\nC) это доказуемо\nD) все эти варианты верны одновременно\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9067085981369019, + "B": 0.005391486454755068, + "C": 0.0005682584596797824, + "D": 0.002885855035856366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы вы хотели сделать металлический каркас кровати, с чего бы вы начали?", + "option_a": "добыча руды", + "option_b": "приготовление обеда", + "option_c": "нарезка хлеба", + "option_d": "слив воды" + }, + "outputs": "A", + "meta": { + "id": 296 + } + }, + "prompt": "<|im_start|>user\nЕсли бы вы хотели сделать металлический каркас кровати, с чего бы вы начали?\nA) добыча руды\nB) приготовление обеда\nC) нарезка хлеба\nD) слив воды\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.06332127004861832, + "B": 0.7714110016822815, + "C": 0.0558808296918869, + "D": 0.04352003335952759 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Видимость во время движения ухудшается сильнее, чем хуже _____", + "option_a": "музыка", + "option_b": "дороги", + "option_c": "местные прогнозы", + "option_d": "деревья" + }, + "outputs": "C", + "meta": { + "id": 1027 + } + }, + "prompt": "<|im_start|>user\nВидимость во время движения ухудшается сильнее, чем хуже _____\nA) музыка\nB) дороги\nC) местные прогнозы\nD) деревья\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.01723126322031021, + "B": 0.06815095990896225, + "C": 0.7326918840408325, + "D": 0.1273227483034134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно происходит от нескольких секунд до половины минуты?", + "option_a": "час", + "option_b": "вулкан", + "option_c": "телесериал", + "option_d": "землетрясение" + }, + "outputs": "D", + "meta": { + "id": 1550 + } + }, + "prompt": "<|im_start|>user\nЧто обычно происходит от нескольких секунд до половины минуты?\nA) час\nB) вулкан\nC) телесериал\nD) землетрясение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02140829898416996, + "B": 0.9103040099143982, + "C": 0.006950256414711475, + "D": 0.02140829898416996 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это животное может использовать камень в качестве укрытия", + "option_a": "Дельфин", + "option_b": "Многоножка", + "option_c": "Чайка", + "option_d": "Собака" + }, + "outputs": "B", + "meta": { + "id": 1480 + } + }, + "prompt": "<|im_start|>user\nЭто животное может использовать камень в качестве укрытия\nA. Дельфин\nB. Многоножка\nC. Чайка\nD. Собака\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0005946960882283747, + "B": 0.9488922357559204, + "C": 0.0012589716352522373, + "D": 0.000980488141067326 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы восстановить в городе комфортную тень, которую создавали деревья, теперь поваленные штормом:", + "option_a": "вырастите жабры и живите на плоту", + "option_b": "посадите новые деревья", + "option_c": "достаньте свой топор", + "option_d": "используйте большую газонокосилку" + }, + "outputs": "B", + "meta": { + "id": 1030 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы восстановить в городе комфортную тень, которую создавали деревья, теперь поваленные штормом:\nA. вырастите жабры и живите на плоту\nB. посадите новые деревья\nC. достаньте свой топор\nD. используйте большую газонокосилку\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0509071908891201, + "B": 0.06536611914634705, + "C": 0.7027520537376404, + "D": 0.09510714560747147 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рыхлая грязь в саду может появиться из-за", + "option_a": "мифов о сотворении", + "option_b": "фаз луны", + "option_c": "полевок", + "option_d": "канюков" + }, + "outputs": "C", + "meta": { + "id": 1118 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Рыхлая грязь в саду может появиться из-за\nA) мифов о сотворении\nB) фаз луны\nC) полевок\nD) канюков\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.6854167580604553, + "B": 0.11910756677389145, + "C": 0.03011511079967022, + "D": 0.038668569177389145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наибольшую плотность будет иметь", + "option_a": "гелий", + "option_b": "золото", + "option_c": "апельсиновый сок", + "option_d": "дерево" + }, + "outputs": "B", + "meta": { + "id": 1281 + } + }, + "prompt": "<|im_start|>user\nНаибольшую плотность будет иметь\nA) гелий\nB) золото\nC) апельсиновый сок\nD) дерево\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.007093338295817375, + "B": 0.021849021315574646, + "C": 0.9290440082550049, + "D": 0.004875175654888153 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На какой уровень человеку поможет переместиться пандус?", + "option_a": "более кривой", + "option_b": "более высокий", + "option_c": "для инвалидов", + "option_d": "более темный уровень" + }, + "outputs": "B", + "meta": { + "id": 159 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На какой уровень человеку поможет переместиться пандус?\nA. более кривой\nB. более высокий\nC. для инвалидов\nD. более темный уровень\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005067362450063229, + "B": 0.06173311546444893, + "C": 0.8521993160247803, + "D": 0.022710341960191727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Камень превращается в песок примерно за", + "option_a": "за день", + "option_b": "за неделю", + "option_c": "тысячелетие", + "option_d": "за две недели" + }, + "outputs": "C", + "meta": { + "id": 72 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Камень превращается в песок примерно за\nA) за день\nB) за неделю\nC) тысячелетие\nD) за две недели\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.464982807636261, + "B": 0.2820263206958771, + "C": 0.03368324413895607, + "D": 0.13321980834007263 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из предложенных вариантов отсутствуют молекулы?", + "option_a": "собака", + "option_b": "речь", + "option_c": "книга", + "option_d": "виноград" + }, + "outputs": "B", + "meta": { + "id": 818 + } + }, + "prompt": "<|im_start|>user\nВ каком из предложенных вариантов отсутствуют молекулы?\nA. собака\nB. речь\nC. книга\nD. виноград\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04547157138586044, + "B": 0.00697329081594944, + "C": 0.9133209586143494, + "D": 0.004792668391019106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих действий может привести к сбору семян животными", + "option_a": "Пчелы производят нектар", + "option_b": "пчелы производят мед", + "option_c": "пчелы собирают нектар", + "option_d": "пчелы жалят человека" + }, + "outputs": "C", + "meta": { + "id": 284 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из этих действий может привести к сбору семян животными\nA. Пчелы производят нектар\nB. пчелы производят мед\nC. пчелы собирают нектар\nD. пчелы жалят человека\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008190792985260487, + "B": 0.0038690569344908, + "C": 0.9467269778251648, + "D": 0.009281385689973831 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, происходит перед ливнем?", + "option_a": "газообразный хлор выбрасывается в атмосферу", + "option_b": "электромагнитное поле земли переворачивается", + "option_c": "капли атмосферной воды сталкиваются", + "option_d": "реки и озера переполняются" + }, + "outputs": "C", + "meta": { + "id": 257 + } + }, + "prompt": "<|im_start|>user\nЧто, скорее всего, происходит перед ливнем?\nA) газообразный хлор выбрасывается в атмосферу\nB) электромагнитное поле земли переворачивается\nC) капли атмосферной воды сталкиваются\nD) реки и озера переполняются\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004863428883254528, + "B": 0.9268054366111755, + "C": 0.0007458309410139918, + "D": 0.007076246663928032 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот предмет в вашем кармане, скорее всего, может передавать вашему телу вибрацию", + "option_a": "ваша кредитная карта", + "option_b": "ваш телефон", + "option_c": "ваша библиотечная карточка", + "option_d": "ваш кошелек" + }, + "outputs": "B", + "meta": { + "id": 1537 + } + }, + "prompt": "<|im_start|>user\nЭтот предмет в вашем кармане, скорее всего, может передавать вашему телу вибрацию\nA) ваша кредитная карта\nB) ваш телефон\nC) ваша библиотечная карточка\nD) ваш кошелек\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.07498615980148315, + "B": 0.8061772584915161, + "C": 0.008955820463597775, + "D": 0.027585867792367935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сила, действующая на объект в направлении, противоположном направлению движения объекта, может вызвать уменьшение скорости этого объекта при каком движении?", + "option_a": "вниз", + "option_b": "назад", + "option_c": "вперед", + "option_d": "вверх" + }, + "outputs": "C", + "meta": { + "id": 324 + } + }, + "prompt": "<|im_start|>user\nСила, действующая на объект в направлении, противоположном направлению движения объекта, может вызвать уменьшение скорости этого объекта при каком движении?\nA) вниз\nB) назад\nC) вперед\nD) вверх\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.10949140787124634, + "B": 0.3372572660446167, + "C": 0.10949140787124634, + "D": 0.38216257095336914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ультрафиолетовый свет обнаруживается в спектре", + "option_a": "планет-гигантов в окрестностях Юпитера", + "option_b": "пылающего газового шара, вокруг которого мы вращаемся по орбите", + "option_c": "источников света, которые мы создаем", + "option_d": "огненных шаров, освещенных газом" + }, + "outputs": "B", + "meta": { + "id": 1229 + } + }, + "prompt": "<|im_start|>user\nУльтрафиолетовый свет обнаруживается в спектре\nA) планет-гигантов в окрестностях Юпитера\nB) пылающего газового шара, вокруг которого мы вращаемся по орбите\nC) источников света, которые мы создаем\nD) огненных шаров, освещенных газом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011855128221213818, + "B": 0.9417694807052612, + "C": 0.0007578730001114309, + "D": 0.008147901855409145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда орлы охотятся в поле, некоторые питательные вещества они получают из", + "option_a": "бобов", + "option_b": "грызунов.", + "option_c": "оленей", + "option_d": "рыбы" + }, + "outputs": "B", + "meta": { + "id": 640 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда орлы охотятся в поле, некоторые питательные вещества они получают из\nA. бобов\nB. грызунов.\nC. оленей\nD. рыбы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0044408016838133335, + "B": 0.00022109446581453085, + "C": 0.0002838909567799419, + "D": 0.9589460492134094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какое время человек будет чувствовать наибольшую жару на улице?", + "option_a": "вечер", + "option_b": "полночь", + "option_c": "утро", + "option_d": "полдень" + }, + "outputs": "D", + "meta": { + "id": 1017 + } + }, + "prompt": "<|im_start|>user\nВ какое время человек будет чувствовать наибольшую жару на улице?\nA. вечер\nB. полночь\nC. утро\nD. полдень\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.048959922045469284, + "B": 0.008507958613336086, + "C": 0.00964078027755022, + "D": 0.867835283279419 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, умрет от старости?", + "option_a": "разумные старшеклассники", + "option_b": "дети", + "option_c": "младенцы", + "option_d": "взрослые" + }, + "outputs": "D", + "meta": { + "id": 152 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто, скорее всего, умрет от старости?\nA. разумные старшеклассники\nB. дети\nC. младенцы\nD. взрослые\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0021016730461269617, + "B": 0.00011138459376525134, + "C": 0.00016206361760850996, + "D": 0.9607686996459961 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечный свет - это излучение, испускаемое", + "option_a": "белым карликом", + "option_b": "красным гигантом", + "option_c": "соседним квазаром", + "option_d": "нашей единственной желтой звездой" + }, + "outputs": "D", + "meta": { + "id": 2090 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Солнечный свет - это излучение, испускаемое\nA. белым карликом\nB. красным гигантом\nC. соседним квазаром\nD. нашей единственной желтой звездой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9194709062576294, + "B": 0.0048249405808746815, + "C": 0.0007399286259897053, + "D": 0.004257995169609785 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В списке целей цветка было бы", + "option_a": "производить потомство", + "option_b": "разрушать корни и умереть", + "option_c": "производить углекислый газ", + "option_d": "оставаться бесплодным." + }, + "outputs": "A", + "meta": { + "id": 639 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В списке целей цветка было бы\nA. производить потомство\nB. разрушать корни и умереть\nC. производить углекислый газ\nD. оставаться бесплодным.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.12690366804599762, + "B": 0.14380069077014923, + "C": 0.5019137263298035, + "D": 0.14380069077014923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "когда источник света движется прямо над объектом, размер тени этого объекта будет", + "option_a": "меньше", + "option_b": "больше", + "option_c": "длиннее", + "option_d": "значительнее" + }, + "outputs": "A", + "meta": { + "id": 359 + } + }, + "prompt": "<|im_start|>user\nкогда источник света движется прямо над объектом, размер тени этого объекта будет\nA. меньше\nB. больше\nC. длиннее\nD. значительнее\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.011835427954792976, + "B": 0.010444729588925838, + "C": 0.9402045011520386, + "D": 0.005590660031884909 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеку в лесу, случайно столкнувшемуся с диким волком, нечего будет бояться, потому что", + "option_a": "волки любят людей", + "option_b": "волки слушают людей", + "option_c": "волки уклоняются от встреч с людьми", + "option_d": "волки курят людей" + }, + "outputs": "C", + "meta": { + "id": 1134 + } + }, + "prompt": "<|im_start|>user\nЧеловеку в лесу, случайно столкнувшемуся с диким волком, нечего будет бояться, потому что\nA) волки любят людей\nB) волки слушают людей\nC) волки уклоняются от встреч с людьми\nD) волки курят людей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004580280743539333, + "B": 0.004580280743539333, + "C": 0.02635769732296467, + "D": 0.8728470206260681 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль едет по шоссе, пытаясь превысить скорость. Однако в лобовое стекло машины дует сильный ветер. Несмотря на то, что водитель пытается ускориться, сильный ветер", + "option_a": "переворачивает машину", + "option_b": "помогает машине двигаться быстрее", + "option_c": "может сдвинуть машину вбок", + "option_d": "конфликтует с целью водителя" + }, + "outputs": "D", + "meta": { + "id": 1687 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобиль едет по шоссе, пытаясь превысить скорость. Однако в лобовое стекло машины дует сильный ветер. Несмотря на то, что водитель пытается ускориться, сильный ветер\nA) переворачивает машину\nB) помогает машине двигаться быстрее\nC) может сдвинуть машину вбок\nD) конфликтует с целью водителя\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.017250489443540573, + "B": 0.9418447613716125, + "C": 0.0008588512428104877, + "D": 0.0033968226052820683 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое влияние оказывает опреснение воды из океана на находящуюся поблизости рыбу?", + "option_a": "помогает ей", + "option_b": "разрушает среду ее обитания", + "option_c": "дает ей деньги", + "option_d": "улучшает среду ее обитания" + }, + "outputs": "B", + "meta": { + "id": 2022 + } + }, + "prompt": "<|im_start|>user\nКакое влияние оказывает опреснение воды из океана на находящуюся поблизости рыбу?\nA. помогает ей\nB. разрушает среду ее обитания\nC. дает ей деньги\nD. улучшает среду ее обитания\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8438098430633545, + "B": 0.000466698023956269, + "C": 0.04760449752211571, + "D": 0.0034484579227864742 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За последнее десятилетие в воздухе стало больше углекислого газа, чем когда-либо прежде, вероятно, потому, что", + "option_a": "стало больше крупного рогатого скота", + "option_b": "стало больше растений", + "option_c": "увеличилось население", + "option_d": "стали меньше акватории" + }, + "outputs": "C", + "meta": { + "id": 2051 + } + }, + "prompt": "<|im_start|>user\nЗа последнее десятилетие в воздухе стало больше углекислого газа, чем когда-либо прежде, вероятно, потому, что\nA) стало больше крупного рогатого скота\nB) стало больше растений\nC) увеличилось население\nD) стали меньше акватории\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.01615082286298275, + "B": 0.41653522849082947, + "C": 0.04974803701043129, + "D": 0.4719962477684021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда аэроглиссер перемещается с травы на воду, он", + "option_a": "взрывается", + "option_b": "тонет", + "option_c": "ускоряется", + "option_d": "замедляется" + }, + "outputs": "C", + "meta": { + "id": 1546 + } + }, + "prompt": "<|im_start|>user\nКогда аэроглиссер перемещается с травы на воду, он\nA. взрывается\nB. тонет\nC. ускоряется\nD. замедляется\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5743480920791626, + "B": 0.09980672597885132, + "C": 0.08807913959026337, + "D": 0.14521794021129608 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака может научиться делать то, чему ее учат, это называется выученным поведением, например:", + "option_a": "есть пищу, когда она голодна", + "option_b": "лаять, когда она хочет", + "option_c": "откинуться назад и не мешать стричь ей когти", + "option_d": "помочиться, когда мочевой пузырь полон" + }, + "outputs": "C", + "meta": { + "id": 2044 + } + }, + "prompt": "<|im_start|>user\nСобака может научиться делать то, чему ее учат, это называется выученным поведением, например:\nA) есть пищу, когда она голодна\nB) лаять, когда она хочет\nC) откинуться назад и не мешать стричь ей когти\nD) помочиться, когда мочевой пузырь полон\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.014537462964653969, + "B": 0.48141464591026306, + "C": 0.42484694719314575, + "D": 0.030775807797908783 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой организм использует ксилему для транспортировки полезных веществ?", + "option_a": "зеленые водоросли", + "option_b": "печеночник", + "option_c": "кактус сагуаро", + "option_d": "мох сфагнум" + }, + "outputs": "C", + "meta": { + "id": 518 + } + }, + "prompt": "<|im_start|>user\nКакой организм использует ксилему для транспортировки полезных веществ?\nA. зеленые водоросли\nB. печеночник\nC. кактус сагуаро\nD. мох сфагнум\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.031093189492821693, + "B": 0.9086762070655823, + "C": 0.014687382616102695, + "D": 0.001987721072509885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример доказывает, что в полдень солнце находится прямо над головой?", + "option_a": "солнечные часы легче всего определяют время по теням", + "option_b": "тени длиннее всего в полдень", + "option_c": "тени исчезают в полдень", + "option_d": "солнце очень жаркое в полдень" + }, + "outputs": "C", + "meta": { + "id": 479 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков пример доказывает, что в полдень солнце находится прямо над головой?\nA. солнечные часы легче всего определяют время по теням\nB. тени длиннее всего в полдень\nC. тени исчезают в полдень\nD. солнце очень жаркое в полдень\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8047882318496704, + "B": 0.05144838988780975, + "C": 0.001994870603084564, + "D": 0.016702845692634583 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому питательные вещества нужны для роста?", + "option_a": "птицы", + "option_b": "металлы", + "option_c": "компьютеры", + "option_d": "грязь" + }, + "outputs": "A", + "meta": { + "id": 1350 + } + }, + "prompt": "<|im_start|>user\nКому питательные вещества нужны для роста?\nA) птицы\nB) металлы\nC) компьютеры\nD) грязь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9078137278556824, + "B": 0.0022502453066408634, + "C": 0.00018471137445885688, + "D": 0.0009380417177453637 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Река может толкать консервные банки по воде, потому что", + "option_a": "она движется", + "option_b": "она мокрая", + "option_c": "она громкая", + "option_d": "она прозрачная" + }, + "outputs": "A", + "meta": { + "id": 205 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Река может толкать консервные банки по воде, потому что\nA. она движется\nB. она мокрая\nC. она громкая\nD. она прозрачная\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0008564457530155778, + "B": 0.9392067790031433, + "C": 0.0005194605910219252, + "D": 0.0006670005968771875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером заботы о сохранении природы является отказ от", + "option_a": "солнечного света", + "option_b": "нефти и продуктов ее переработки", + "option_c": "жиров", + "option_d": "чая" + }, + "outputs": "B", + "meta": { + "id": 1938 + } + }, + "prompt": "<|im_start|>user\nПримером заботы о сохранении природы является отказ от\nA. солнечного света\nB. нефти и продуктов ее переработки\nC. жиров\nD. чая\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.035447534173727036, + "B": 0.0029097110964357853, + "C": 0.0032971345353871584, + "D": 0.9142040014266968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сетчатка может уловить свет", + "option_a": "костров", + "option_b": "разомкнутых электрических цепей", + "option_c": "темной спальней", + "option_d": "движущихся животных" + }, + "outputs": "A", + "meta": { + "id": 488 + } + }, + "prompt": "<|im_start|>user\nСетчатка может уловить свет\nA. костров\nB. разомкнутых электрических цепей\nC. темной спальней\nD. движущихся животных\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0020003856625407934, + "B": 0.9144657254219055, + "C": 0.0012132951524108648, + "D": 0.00027072278317064047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если растения собираются распространяться, их семена должны", + "option_a": "быть съеденными", + "option_b": "отправиться в другое место", + "option_c": "пройти тест", + "option_d": "быть промытыми" + }, + "outputs": "B", + "meta": { + "id": 522 + } + }, + "prompt": "<|im_start|>user\nЕсли растения собираются распространяться, их семена должны\nA) быть съеденными\nB) отправиться в другое место\nC) пройти тест\nD) быть промытыми\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0755063071846962, + "B": 0.013121029362082481, + "C": 0.1410643458366394, + "D": 0.7163839340209961 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда стоишь в десятках километров от горы Эльбрус", + "option_a": "гора кажется очень близкой", + "option_b": "гора кажется неинтересной", + "option_c": "гора выглядит так же, как с близкого расстояния", + "option_d": "гора кажется меньше, чем на фотографиях" + }, + "outputs": "D", + "meta": { + "id": 1358 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда стоишь в десятках километров от горы Эльбрус\nA) гора кажется очень близкой\nB) гора кажется неинтересной\nC) гора выглядит так же, как с близкого расстояния\nD) гора кажется меньше, чем на фотографиях\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08112899959087372, + "B": 0.1180419847369194, + "C": 0.6792848110198975, + "D": 0.03381959721446037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У людей могут быть побочные реакции на то, что они получают в", + "option_a": "дисконтном магазине", + "option_b": "у юриста", + "option_c": "в аптеке", + "option_d": "в каталоге" + }, + "outputs": "C", + "meta": { + "id": 1029 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У людей могут быть побочные реакции на то, что они получают в\nA. дисконтном магазине\nB. у юриста\nC. в аптеке\nD. в каталоге\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8606523275375366, + "B": 0.000611213268712163, + "C": 0.00012035503459628671, + "D": 0.0016614499036222696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У коренных жителей южных регионов более темный оттенок кожи из-за", + "option_a": "солнечного излучения", + "option_b": "маскировки", + "option_c": "недостатка питательных веществ", + "option_d": "морковного рациона" + }, + "outputs": "A", + "meta": { + "id": 1558 + } + }, + "prompt": "<|im_start|>user\nУ коренных жителей южных регионов более темный оттенок кожи из-за\nA) солнечного излучения\nB) маскировки\nC) недостатка питательных веществ\nD) морковного рациона\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.007427403703331947, + "B": 0.0016572780441492796, + "C": 0.9727979302406311, + "D": 0.0007828426314517856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одна из необычных особенностей кенгуру:", + "option_a": "у них есть рога", + "option_b": "они говорят по-английски", + "option_c": "у них перепончатые лапы", + "option_d": "они могут летать" + }, + "outputs": "C", + "meta": { + "id": 1877 + } + }, + "prompt": "<|im_start|>user\nОдна из необычных особенностей кенгуру:\nA. у них есть рога\nB. они говорят по-английски\nC. у них перепончатые лапы\nD. они могут летать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0347512923181057, + "B": 0.8962476253509521, + "C": 0.003232373623177409, + "D": 0.007754061371088028 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что в лимане часто бывает солоноватым?", + "option_a": "водяные колеса", + "option_b": "вода", + "option_c": "воздух", + "option_d": "рыба" + }, + "outputs": "B", + "meta": { + "id": 641 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что в лимане часто бывает солоноватым?\nA) водяные колеса\nB) вода\nC) воздух\nD) рыба\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.23782865703105927, + "B": 0.444322407245636, + "C": 0.06813905388116837, + "D": 0.14425036311149597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда рефлектор будет наиболее эффективным?", + "option_a": "лето", + "option_b": "зима", + "option_c": "осень", + "option_d": "весна" + }, + "outputs": "A", + "meta": { + "id": 1641 + } + }, + "prompt": "<|im_start|>user\nКогда рефлектор будет наиболее эффективным?\nA. лето\nB. зима\nC. осень\nD. весна\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007190996780991554, + "B": 0.9418348073959351, + "C": 0.002334575168788433, + "D": 0.004361560568213463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сухое дерево легко делает что?", + "option_a": "замерзает", + "option_b": "горит", + "option_c": "испаряется", + "option_d": "тает" + }, + "outputs": "B", + "meta": { + "id": 473 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сухое дерево легко делает что?\nA. замерзает\nB. горит\nC. испаряется\nD. тает\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.05038023367524147, + "B": 0.03055715747177601, + "C": 0.064689502120018, + "D": 0.7880795001983643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример адаптации:", + "option_a": "есть чипсы", + "option_b": "наносить крем для загара", + "option_c": "читать книгу", + "option_d": "пить воду" + }, + "outputs": "B", + "meta": { + "id": 104 + } + }, + "prompt": "<|im_start|>user\nПример адаптации:\nA) есть чипсы\nB) наносить крем для загара\nC) читать книгу\nD) пить воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00041270526708103716, + "B": 0.00032141516567207873, + "C": 0.000529924058355391, + "D": 0.9581251740455627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из перечисленных объектов дышит?", + "option_a": "баскетбольный мяч", + "option_b": "веревка", + "option_c": "пила", + "option_d": "зебра" + }, + "outputs": "D", + "meta": { + "id": 1673 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из перечисленных объектов дышит?\nA. баскетбольный мяч\nB. веревка\nC. пила\nD. зебра\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.7196218967437744, + "B": 0.04059829190373421, + "C": 0.08594658225774765, + "D": 0.04059829190373421 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рыбу можно ловить в воде гораздо быстрее из-за перепончатых лап, которыми обладает", + "option_a": "гепард", + "option_b": "бегемот", + "option_c": "пингвин", + "option_d": "змея" + }, + "outputs": "C", + "meta": { + "id": 288 + } + }, + "prompt": "<|im_start|>user\nРыбу можно ловить в воде гораздо быстрее из-за перепончатых лап, которыми обладает\nA) гепард\nB) бегемот\nC) пингвин\nD) змея\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0008733677677810192, + "B": 0.0006002562586218119, + "C": 0.9577640295028687, + "D": 0.0011214263504371047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Слово «влажный» означает высокие показатели чего?", + "option_a": "роста", + "option_b": "твердости", + "option_c": "водянистости", + "option_d": "температуры" + }, + "outputs": "C", + "meta": { + "id": 1694 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Слово «влажный» означает высокие показатели чего?\nA. роста\nB. твердости\nC. водянистости\nD. температуры\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.6566352844238281, + "B": 0.0006784996949136257, + "C": 0.025460513308644295, + "D": 0.21317827701568604 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек умирает от укуса змеи, он, вероятно, укушен", + "option_a": "ужом", + "option_b": "питоном", + "option_c": "черной мамбой", + "option_d": "удавом" + }, + "outputs": "C", + "meta": { + "id": 1108 + } + }, + "prompt": "<|im_start|>user\nЕсли человек умирает от укуса змеи, он, вероятно, укушен\nA) ужом\nB) питоном\nC) черной мамбой\nD) удавом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001841866527684033, + "B": 0.0002492695057298988, + "C": 0.0011171484366059303, + "D": 0.9541105031967163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Состояние газа, испаренного с поверхности жидкости при повышенном давлении и более высоких температурах, является", + "option_a": "стадией, которая происходит только один раз на планете", + "option_b": ", стадией, когда молекулы воды не могут выйти в атмосферу", + "option_c": "стадией, когда влага навсегда покидает атмосферу без рециркуляции", + "option_d": "частью того, как природа пополняет, очищает и рециркулирует воду" + }, + "outputs": "D", + "meta": { + "id": 1239 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Состояние газа, испаренного с поверхности жидкости при повышенном давлении и более высоких температурах, является\nA. стадией, которая происходит только один раз на планете\nB. , стадией, когда молекулы воды не могут выйти в атмосферу\nC. стадией, когда влага навсегда покидает атмосферу без рециркуляции\nD. частью того, как природа пополняет, очищает и рециркулирует воду\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005724720191210508, + "B": 0.0007747567142359912, + "C": 0.0034722185228019953, + "D": 0.9627499580383301 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное холоднокровно?", + "option_a": "кошка", + "option_b": "собака", + "option_c": "крыса", + "option_d": "черепаха" + }, + "outputs": "D", + "meta": { + "id": 1486 + } + }, + "prompt": "<|im_start|>user\nКакое животное холоднокровно?\nA. кошка\nB. собака\nC. крыса\nD. черепаха\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001861928729340434, + "B": 0.9645029306411743, + "C": 0.0003235546755604446, + "D": 0.0014500714605674148 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Несмотря на то, что некоторые думают, наша планета вращается вокруг этого объекта", + "option_a": "плутон", + "option_b": "солнце", + "option_c": "млечный путь", + "option_d": "луна" + }, + "outputs": "B", + "meta": { + "id": 841 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Несмотря на то, что некоторые думают, наша планета вращается вокруг этого объекта\nA. плутон\nB. солнце\nC. млечный путь\nD. луна\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.018669424578547478, + "B": 0.03487907722592354, + "C": 0.10743511468172073, + "D": 0.7938441038131714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зимой могут заклинить замки и двери, если это произойдет. Что именно?", + "option_a": "испарившаяся вода выпита человеком", + "option_b": "замерзшая вода течет по ручью", + "option_c": "замерзшая вода неоднократно меняет агрегатное состояние", + "option_d": "ни то, ни другое, ни третье" + }, + "outputs": "C", + "meta": { + "id": 1747 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зимой могут заклинить замки и двери, если это произойдет. Что именно?\nA. испарившаяся вода выпита человеком\nB. замерзшая вода течет по ручью\nC. замерзшая вода неоднократно меняет агрегатное состояние\nD. ни то, ни другое, ни третье\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8945251107215881, + "B": 0.004142473451793194, + "C": 0.0032261614687740803, + "D": 0.00602726312354207 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Колибри переносят на себе", + "option_a": "Пыльцу", + "option_b": "энергию", + "option_c": "Пчел", + "option_d": "Мед" + }, + "outputs": "A", + "meta": { + "id": 1419 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Колибри переносят на себе\nA. Пыльцу\nB. энергию\nC. Пчел\nD. Мед\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4785146713256836, + "B": 0.3288780152797699, + "C": 0.004691192880272865, + "D": 0.1067710593342781 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие организмы разлагаются?", + "option_a": "живые люди", + "option_b": "собранная репа", + "option_c": "спящие собаки", + "option_d": "зимующие медведи" + }, + "outputs": "B", + "meta": { + "id": 609 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие организмы разлагаются?\nA) живые люди\nB) собранная репа\nC) спящие собаки\nD) зимующие медведи\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2052413523197174, + "B": 0.716362714767456, + "C": 0.0020121154375374317, + "D": 0.007958071306347847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нитрат серебра на затвердевшем кремнии заставляет свет", + "option_a": "рассеиваться", + "option_b": "преломляться", + "option_c": "становиться горячим", + "option_d": "усиливаться" + }, + "outputs": "B", + "meta": { + "id": 2083 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нитрат серебра на затвердевшем кремнии заставляет свет\nA) рассеиваться\nB) преломляться\nC) становиться горячим\nD) усиливаться\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.027362266555428505, + "B": 0.906113862991333, + "C": 0.004196139983832836, + "D": 0.01292501948773861 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где вы, скорее всего, найдете взрослого козодоя?", + "option_a": "вода", + "option_b": "лес", + "option_c": "океан", + "option_d": "небо" + }, + "outputs": "B", + "meta": { + "id": 757 + } + }, + "prompt": "<|im_start|>user\nГде вы, скорее всего, найдете взрослого козодоя?\nA. вода\nB. лес\nC. океан\nD. небо\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011838823556900024, + "B": 0.005592264235019684, + "C": 0.008136696182191372, + "D": 0.940474271774292 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Небесное тело в нашей солнечной системе, не имеющее орбиты - это", + "option_a": "Сатурн", + "option_b": "Юпитер", + "option_c": "Уран.", + "option_d": "метеор" + }, + "outputs": "D", + "meta": { + "id": 301 + } + }, + "prompt": "<|im_start|>user\nНебесное тело в нашей солнечной системе, не имеющее орбиты - это\nA) Сатурн\nB) Юпитер\nC) Уран.\nD) метеор\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008625587448477745, + "B": 0.06373494863510132, + "C": 0.001030179439112544, + "D": 0.8798337578773499 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из-за хозяйственной деятельности человека на лесозаготовках некоторые животные теряют запасы", + "option_a": "воздуха", + "option_b": "воды", + "option_c": "денег", + "option_d": "пищи" + }, + "outputs": "D", + "meta": { + "id": 1441 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из-за хозяйственной деятельности человека на лесозаготовках некоторые животные теряют запасы\nA) воздуха\nB) воды\nC) денег\nD) пищи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030565906781703234, + "B": 0.000682017533108592, + "C": 0.0006018783315084875, + "D": 0.9603521823883057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При разрушении, что происходит с формой и цельностью объекта", + "option_a": "они превращаются в воду", + "option_b": "они не меняются", + "option_c": "они остаются прежними", + "option_d": "они изменяются" + }, + "outputs": "D", + "meta": { + "id": 1377 + } + }, + "prompt": "<|im_start|>user\nПри разрушении, что происходит с формой и цельностью объекта\nA. они превращаются в воду\nB. они не меняются\nC. они остаются прежними\nD. они изменяются\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004981189500540495, + "B": 0.9492467045783997, + "C": 0.0020764688961207867, + "D": 0.0018324772827327251 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Потолок пещеры стал ближе к земле из-за:", + "option_a": "удачи", + "option_b": "образования осадочных пород", + "option_c": "магии", + "option_d": "дерева." + }, + "outputs": "B", + "meta": { + "id": 464 + } + }, + "prompt": "<|im_start|>user\nПотолок пещеры стал ближе к земле из-за:\nA. удачи\nB. образования осадочных пород\nC. магии\nD. дерева.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.027723224833607674, + "B": 0.01019880548119545, + "C": 0.00481757428497076, + "D": 0.9180671572685242 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является правдой?", + "option_a": "можно встретить дикого динозавра в его доме", + "option_b": "можно встретить дикую акулу в лесу", + "option_c": "можно встретить дикого орла в фургоне", + "option_d": "можно встретить дикую кабаниху в лесу" + }, + "outputs": "D", + "meta": { + "id": 108 + } + }, + "prompt": "<|im_start|>user\nЧто является правдой?\nA. можно встретить дикого динозавра в его доме\nB. можно встретить дикую акулу в лесу\nC. можно встретить дикого орла в фургоне\nD. можно встретить дикую кабаниху в лесу\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0055476827546954155, + "B": 0.9329767823219299, + "C": 0.0007507972186431289, + "D": 0.0014026738936081529 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в пище не хватает энергии для немедленного использования, то ее", + "option_a": "немедленно выбрасывают", + "option_b": "перерабатывают позже", + "option_c": "оставляют гнить", + "option_d": "выкидывают" + }, + "outputs": "B", + "meta": { + "id": 569 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если в пище не хватает энергии для немедленного использования, то ее\nA. немедленно выбрасывают\nB. перерабатывают позже\nC. оставляют гнить\nD. выкидывают\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.44652894139289856, + "B": 0.007217468228191137, + "C": 0.01731380634009838, + "D": 0.44652894139289856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кровь поглощает кислород в", + "option_a": "органах обеих нижних конечностей тела", + "option_b": "носовых костях, выступающих над ртом", + "option_c": "органах, которые развиваются в детстве", + "option_d": "внутренних каналах уха" + }, + "outputs": "C", + "meta": { + "id": 153 + } + }, + "prompt": "<|im_start|>user\nКровь поглощает кислород в\nA. органах обеих нижних конечностей тела\nB. носовых костях, выступающих над ртом\nC. органах, которые развиваются в детстве\nD. внутренних каналах уха\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8843624591827393, + "B": 0.0007116756751202047, + "C": 0.00019154489564243704, + "D": 0.0015066176420077682 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "H2O обеспечивает проводимость", + "option_a": "электрического тока", + "option_b": "земли", + "option_c": "нейронов", + "option_d": "людей" + }, + "outputs": "A", + "meta": { + "id": 1069 + } + }, + "prompt": "<|im_start|>user\nH2O обеспечивает проводимость\nA) электрического тока\nB) земли\nC) нейронов\nD) людей\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 54, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005858082789927721, + "B": 0.1711982935667038, + "C": 0.7672575116157532, + "D": 0.004026197828352451 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Грибы", + "option_a": "всегда безопасны для проглатывания", + "option_b": "действуют как хищники в пищевой цепи", + "option_c": "могут выполнять свою работу в пищевой цепи без проглатывания", + "option_d": "занимают верхнюю часть пищевой цепи" + }, + "outputs": "C", + "meta": { + "id": 1448 + } + }, + "prompt": "<|im_start|>user\nГрибы\nA. всегда безопасны для проглатывания\nB. действуют как хищники в пищевой цепи\nC. могут выполнять свою работу в пищевой цепи без проглатывания\nD. занимают верхнюю часть пищевой цепи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07168329507112503, + "B": 0.00755536463111639, + "C": 0.09204317629337311, + "D": 0.770668089389801 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что труднее поднять? Выберите правильный вариант", + "option_a": "Пурпурная гиря в 3 кг", + "option_b": "Гиря розового цвета в 2 кг", + "option_c": "Гиря зеленого цвета в 5 кг", + "option_d": "Гиря синего цвета в 8 кг" + }, + "outputs": "D", + "meta": { + "id": 2333 + } + }, + "prompt": "<|im_start|>user\nЧто труднее поднять? Выберите правильный вариант\nA. Пурпурная гиря в 3 кг\nB. Гиря розового цвета в 2 кг\nC. Гиря зеленого цвета в 5 кг\nD. Гиря синего цвета в 8 кг\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.6715916991233826, + "B": 0.03788861259818077, + "C": 0.008454091846942902, + "D": 0.19241423904895782 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бурундук будет есть все кроме этого:", + "option_a": "виноград", + "option_b": "вяленое мясо", + "option_c": "орехи", + "option_d": "желудь" + }, + "outputs": "B", + "meta": { + "id": 681 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Бурундук будет есть все кроме этого:\nA. виноград\nB. вяленое мясо\nC. орехи\nD. желудь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09363972395658493, + "B": 0.0236758291721344, + "C": 0.7840357422828674, + "D": 0.04423227533698082 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком предмете много влаги?", + "option_a": "дрова", + "option_b": "лампочка", + "option_c": "мокрая собака", + "option_d": "книга" + }, + "outputs": "C", + "meta": { + "id": 2192 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком предмете много влаги?\nA) дрова\nB) лампочка\nC) мокрая собака\nD) книга\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009214231744408607, + "B": 0.9398770928382874, + "C": 0.0008570569916628301, + "D": 0.0014130480121821165 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Крот может избежать обнаружения ястребами, совами и другими хищниками,", + "option_a": "медленно двигаясь", + "option_b": "перемещаясь под почвой", + "option_c": "устанавливая ловушки", + "option_d": "создавая приманки для строительства." + }, + "outputs": "B", + "meta": { + "id": 34 + } + }, + "prompt": "<|im_start|>user\nКрот может избежать обнаружения ястребами, совами и другими хищниками,\nA. медленно двигаясь\nB. перемещаясь под почвой\nC. устанавливая ловушки\nD. создавая приманки для строительства.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0011075703660026193, + "B": 0.9459301829338074, + "C": 0.0005231791874393821, + "D": 0.0011075703660026193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Топография Земли широко варьируется от самых глубоких впадин до самых высоких", + "option_a": "сказок", + "option_b": "вершин", + "option_c": "деревьев", + "option_d": "зданий" + }, + "outputs": "B", + "meta": { + "id": 308 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Топография Земли широко варьируется от самых глубоких впадин до самых высоких\nA) сказок\nB) вершин\nC) деревьев\nD) зданий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003402410540729761, + "B": 0.9433941841125488, + "C": 0.0011046009603887796, + "D": 0.010480162687599659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гены - это средство, которое может передать", + "option_a": "прическу", + "option_b": "размер руки", + "option_c": "лак для ногтей", + "option_d": "лексику" + }, + "outputs": "B", + "meta": { + "id": 377 + } + }, + "prompt": "<|im_start|>user\nГены - это средство, которое может передать\nA. прическу\nB. размер руки\nC. лак для ногтей\nD. лексику\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9216100573539734, + "B": 0.0013855845900252461, + "C": 0.0009522974723950028, + "D": 0.0033238448668271303 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда я ищу нечто совершенно необходимое гетеротрофному организму, я могу искать", + "option_a": "витамины", + "option_b": "аспирин", + "option_c": "перекись водорода", + "option_d": "вазелин." + }, + "outputs": "A", + "meta": { + "id": 1469 + } + }, + "prompt": "<|im_start|>user\nКогда я ищу нечто совершенно необходимое гетеротрофному организму, я могу искать\nA. витамины\nB. аспирин\nC. перекись водорода\nD. вазелин.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007776599377393723, + "B": 0.002395361429080367, + "C": 0.9663577079772949, + "D": 0.0007776599377393723 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дневное небо над головой мрачное и темное, несмотря на час дня. Лучше всего взять с собой этим летним днем ​​", + "option_a": "бикини", + "option_b": "обед для пикника", + "option_c": "зонтик", + "option_d": "садовые ножницы" + }, + "outputs": "C", + "meta": { + "id": 1608 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дневное небо над головой мрачное и темное, несмотря на час дня. Лучше всего взять с собой этим летним днем ​​\nA. бикини\nB. обед для пикника\nC. зонтик\nD. садовые ножницы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06121835857629776, + "B": 0.042074721306562424, + "C": 0.8450933694839478, + "D": 0.00731149036437273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет слои горных пород складываться друг на друга?", + "option_a": "строительство", + "option_b": "дождевые черви", + "option_c": "сильные подземные толчки", + "option_d": "торнадо" + }, + "outputs": "C", + "meta": { + "id": 552 + } + }, + "prompt": "<|im_start|>user\nЧто заставляет слои горных пород складываться друг на друга?\nA. строительство\nB. дождевые черви\nC. сильные подземные толчки\nD. торнадо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8765068650245667, + "B": 0.03398585692048073, + "C": 0.0011629321379587054, + "D": 0.016053782775998116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каких обстоятельствах портативный способ создания света наиболее полезен?", + "option_a": "угольно-черные пещеры", + "option_b": "солнечные дни", + "option_c": "яркие комнаты", + "option_d": "поверхность Солнца" + }, + "outputs": "A", + "meta": { + "id": 1064 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каких обстоятельствах портативный способ создания света наиболее полезен?\nA. угольно-черные пещеры\nB. солнечные дни\nC. яркие комнаты\nD. поверхность Солнца\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.015535635873675346, + "B": 0.03288894146680832, + "C": 0.042230233550071716, + "D": 0.8482169508934021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Закончите фразу: хищники живут в одной среде с…", + "option_a": "их логовами", + "option_b": "их источником воды", + "option_c": "их потомством", + "option_d": "их будущей жертвой" + }, + "outputs": "D", + "meta": { + "id": 90 + } + }, + "prompt": "<|im_start|>user\nЗакончите фразу: хищники живут в одной среде с…\nA. их логовами\nB. их источником воды\nC. их потомством\nD. их будущей жертвой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9002335667610168, + "B": 0.00038776890141889453, + "C": 9.210318239638582e-05, + "D": 0.0007244477164931595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может образоваться, если перекрыть реку плотиной?", + "option_a": "подъем уровня H2O", + "option_b": "металлы", + "option_c": "пожары", + "option_d": "горы" + }, + "outputs": "A", + "meta": { + "id": 563 + } + }, + "prompt": "<|im_start|>user\nЧто может образоваться, если перекрыть реку плотиной?\nA) подъем уровня H2O\nB) металлы\nC) пожары\nD) горы\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.000250455632340163, + "B": 0.0006008118507452309, + "C": 0.958650529384613, + "D": 0.0011224643094465137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Термометр будет использоваться, чтобы", + "option_a": "определить, является ли он воздушным", + "option_b": "определить, ветрено ли", + "option_c": "определить, насколько жарко в пустыне", + "option_d": "определить, скоро ли прилив" + }, + "outputs": "C", + "meta": { + "id": 2184 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Термометр будет использоваться, чтобы\nA) определить, является ли он воздушным\nB) определить, ветрено ли\nC) определить, насколько жарко в пустыне\nD) определить, скоро ли прилив\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.012814957648515701, + "B": 0.8983979225158691, + "C": 0.0017343159997835755, + "D": 0.012814957648515701 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Горы существуют на планете рядом с", + "option_a": "Сатурном", + "option_b": "Марсом", + "option_c": "Нептуном", + "option_d": "Ураном" + }, + "outputs": "B", + "meta": { + "id": 1261 + } + }, + "prompt": "<|im_start|>user\nГоры существуют на планете рядом с\nA. Сатурном\nB. Марсом\nC. Нептуном\nD. Ураном\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.013023633509874344, + "B": 0.6275138258934021, + "C": 0.005429058335721493, + "D": 0.2964165508747101 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше заводов и автомобилей выбрасывают в воздух продукты сгорания, тем сложнее будет", + "option_a": "лечь", + "option_b": "улететь в космос", + "option_c": "сесть", + "option_d": "полюбоваться звездами" + }, + "outputs": "D", + "meta": { + "id": 1944 + } + }, + "prompt": "<|im_start|>user\nЧем больше заводов и автомобилей выбрасывают в воздух продукты сгорания, тем сложнее будет\nA. лечь\nB. улететь в космос\nC. сесть\nD. полюбоваться звездами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006094291806221008, + "B": 0.904473066329956, + "C": 0.0022419646847993135, + "D": 0.0032620392739772797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Палочка брюшного тифа может вызвать у вас", + "option_a": "понижение температуры", + "option_b": "тяжелейшую лихорадку", + "option_c": "отвращение", + "option_d": "хохот" + }, + "outputs": "B", + "meta": { + "id": 2207 + } + }, + "prompt": "<|im_start|>user\nПалочка брюшного тифа может вызвать у вас\nA. понижение температуры\nB. тяжелейшую лихорадку\nC. отвращение\nD. хохот\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8954923748970032, + "B": 0.0013463182840496302, + "C": 0.001188121736049652, + "D": 0.00038572665653191507 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более высокое показание барометра означает", + "option_a": "большее давление воздуха в атмосфере", + "option_b": "атмосферу с недостаточным давлением воздуха", + "option_c": "более низкое давление воздуха в атмосфере", + "option_d": ", что барометр сломан" + }, + "outputs": "A", + "meta": { + "id": 1657 + } + }, + "prompt": "<|im_start|>user\nБолее высокое показание барометра означает\nA) большее давление воздуха в атмосфере\nB) атмосферу с недостаточным давлением воздуха\nC) более низкое давление воздуха в атмосфере\nD) , что барометр сломан\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8780137300491333, + "B": 0.008607744239270687, + "C": 0.008607744239270687, + "D": 0.018222592771053314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как гравитация влияет на вещества и предметы на планете?", + "option_a": "предметы опускаются на самую низкую возможную поверхность", + "option_b": "предметы перемещаются вверх, пока это возможно", + "option_c": "предметы двигаются вбок до упора", + "option_d": "предметы остаются на том же месте даже когда не имеют опоры" + }, + "outputs": "A", + "meta": { + "id": 1805 + } + }, + "prompt": "<|im_start|>user\nКак гравитация влияет на вещества и предметы на планете?\nA. предметы опускаются на самую низкую возможную поверхность\nB. предметы перемещаются вверх, пока это возможно\nC. предметы двигаются вбок до упора\nD. предметы остаются на том же месте даже когда не имеют опоры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00127840181812644, + "B": 0.00028525001835078, + "C": 0.9635368585586548, + "D": 0.0009956203866750002 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мальчик бьет другого ребенка по лицу. Ребенок плачет, потому что", + "option_a": "он был счастлив", + "option_b": "он сидел", + "option_c": "ему был причинен вред", + "option_d": "ему было одиноко" + }, + "outputs": "C", + "meta": { + "id": 101 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мальчик бьет другого ребенка по лицу. Ребенок плачет, потому что\nA. он был счастлив\nB. он сидел\nC. ему был причинен вред\nD. ему было одиноко\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2918858826160431, + "B": 0.0507221594452858, + "C": 0.0574757382273674, + "D": 0.481238454580307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Было жарко во время Рождества в", + "option_a": "Мурманске", + "option_b": "Варшаве", + "option_c": "Осло", + "option_d": "Каире" + }, + "outputs": "D", + "meta": { + "id": 1000 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Было жарко во время Рождества в\nA) Мурманске\nB) Варшаве\nC) Осло\nD) Каире\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.3235252797603607, + "B": 0.005925572011619806, + "C": 0.005925572011619806, + "D": 0.604424774646759 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где лучше всего стрелять в животных?", + "option_a": "национальный парк", + "option_b": "небо", + "option_c": "море", + "option_d": "лес" + }, + "outputs": "D", + "meta": { + "id": 1131 + } + }, + "prompt": "<|im_start|>user\nГде лучше всего стрелять в животных?\nA. национальный парк\nB. небо\nC. море\nD. лес\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005095860455185175, + "B": 0.004497080575674772, + "C": 0.5890013575553894, + "D": 0.35724738240242004 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "если на объект действуют две равные силы, направленные друг на друга в противоположных направлениях, то где этот объект окажется?", + "option_a": "на 60 градусов левее", + "option_b": "на полкорпуса выше", + "option_c": "на месте между ними", + "option_d": "порвется пополам" + }, + "outputs": "C", + "meta": { + "id": 484 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: если на объект действуют две равные силы, направленные друг на друга в противоположных направлениях, то где этот объект окажется?\nA) на 60 градусов левее\nB) на полкорпуса выше\nC) на месте между ними\nD) порвется пополам\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9053645133972168, + "B": 0.004750917199999094, + "C": 0.0005674160784110427, + "D": 0.027339641004800797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Миллилитры (мл) - это единица измерения, обычно используемая в пределах значений от 1 до 1000 для измерения", + "option_a": "пространства внутри контейнера", + "option_b": "высоты контейнера", + "option_c": "веса контейнера", + "option_d": "длины контейнера." + }, + "outputs": "A", + "meta": { + "id": 750 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Миллилитры (мл) - это единица измерения, обычно используемая в пределах значений от 1 до 1000 для измерения\nA) пространства внутри контейнера\nB) высоты контейнера\nC) веса контейнера\nD) длины контейнера.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0038426003884524107, + "B": 0.9402533173561096, + "C": 0.0005200394080020487, + "D": 0.0005200394080020487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет использовать сырье для изготовления вещей. Учитывая желание творить из сырья, человек", + "option_a": "делает камни из дерева", + "option_b": "делает книги из деревьев", + "option_c": "делает кукурузу из собак", + "option_d": "делает мех из скатертей" + }, + "outputs": "B", + "meta": { + "id": 1062 + } + }, + "prompt": "<|im_start|>user\nЧеловек хочет использовать сырье для изготовления вещей. Учитывая желание творить из сырья, человек\nA. делает камни из дерева\nB. делает книги из деревьев\nC. делает кукурузу из собак\nD. делает мех из скатертей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.10681993514299393, + "B": 0.0032256825361400843, + "C": 0.5424764156341553, + "D": 0.2903667092323303 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример хищнического поведения:", + "option_a": "птица, добывающая клювом червей", + "option_b": "мышь, укрывающаяся в норе", + "option_c": "волчица, выкармливающая помет щенков", + "option_d": "орел, присевший на ветку" + }, + "outputs": "A", + "meta": { + "id": 1191 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример хищнического поведения:\nA) птица, добывающая клювом червей\nB) мышь, укрывающаяся в норе\nC) волчица, выкармливающая помет щенков\nD) орел, присевший на ветку\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01036828849464655, + "B": 0.9333235025405884, + "C": 0.0005162066081538796, + "D": 0.00031309513724409044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет электрический вентилятор работать?", + "option_a": "лопасти вращаются сами", + "option_b": "ток из розетки позволяет лопастям вращаться", + "option_c": "воздух толкает вентилятор", + "option_d": "розетки позволяют вентилятору думать" + }, + "outputs": "B", + "meta": { + "id": 541 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что заставляет электрический вентилятор работать?\nA) лопасти вращаются сами\nB) ток из розетки позволяет лопастям вращаться\nC) воздух толкает вентилятор\nD) розетки позволяют вентилятору думать\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018343034898862243, + "B": 0.0001034843226079829, + "C": 0.9501926898956299, + "D": 0.022346390411257744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Диафрагма микрофона преобразует звуковую энергию в", + "option_a": "световую энергию", + "option_b": "атомную энергию", + "option_c": "электричество низкого напряжения", + "option_d": "тепловую энергию" + }, + "outputs": "C", + "meta": { + "id": 1025 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Диафрагма микрофона преобразует звуковую энергию в\nA. световую энергию\nB. атомную энергию\nC. электричество низкого напряжения\nD. тепловую энергию\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003485034452751279, + "B": 0.0011314250295981765, + "C": 0.9663034677505493, + "D": 0.0018654045416042209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что образуют природные геологические процессы?", + "option_a": "животные", + "option_b": "воздушный поток", + "option_c": "безжизненная материя", + "option_d": "компании" + }, + "outputs": "C", + "meta": { + "id": 59 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что образуют природные геологические процессы?\nA. животные\nB. воздушный поток\nC. безжизненная материя\nD. компании\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.3227922022342682, + "B": 0.06356155127286911, + "C": 0.41447338461875916, + "D": 0.08161464333534241 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает смену времен года на орбите Земли?", + "option_a": "Марс", + "option_b": "Сатурн", + "option_c": "местная звезда", + "option_d": "вулканический свет" + }, + "outputs": "C", + "meta": { + "id": 494 + } + }, + "prompt": "<|im_start|>user\nЧто вызывает смену времен года на орбите Земли?\nA) Марс\nB) Сатурн\nC) местная звезда\nD) вулканический свет\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4605518877506256, + "B": 0.3586781620979309, + "C": 0.02023523859679699, + "D": 0.08003190904855728 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы пропустили восходящую луну сегодня, вам придется подождать, пока вы увидите ее снова", + "option_a": "30 лет", + "option_b": "10 месяцев", + "option_c": "10 минут", + "option_d": "24 часа" + }, + "outputs": "D", + "meta": { + "id": 949 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы пропустили восходящую луну сегодня, вам придется подождать, пока вы увидите ее снова\nA. 30 лет\nB. 10 месяцев\nC. 10 минут\nD. 24 часа\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.053713370114564896, + "B": 0.18747809529304504, + "C": 0.6543627977371216, + "D": 0.03691662475466728 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После вождения капот автомобиля кажется", + "option_a": "пушистым", + "option_b": "мягким", + "option_c": "более горячим", + "option_d": "холодным" + }, + "outputs": "C", + "meta": { + "id": 876 + } + }, + "prompt": "<|im_start|>user\nПосле вождения капот автомобиля кажется\nA. пушистым\nB. мягким\nC. более горячим\nD. холодным\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.038964927196502686, + "B": 0.782631516456604, + "C": 0.012650060467422009, + "D": 0.10591766238212585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая среда была бы самой яркой, если бы вы там проснулись?", + "option_a": "дождливая среда", + "option_b": "подводная среда", + "option_c": "замерзшие районы", + "option_d": "лесные районы" + }, + "outputs": "C", + "meta": { + "id": 470 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая среда была бы самой яркой, если бы вы там проснулись?\nA. дождливая среда\nB. подводная среда\nC. замерзшие районы\nD. лесные районы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.020931843668222427, + "B": 0.37102583050727844, + "C": 0.5398393869400024, + "D": 0.00988750346004963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могло бы случиться, чтобы растение появилось на новом месте?", + "option_a": "растение не способно переместиться", + "option_b": "растение спонтанно появилось там", + "option_c": "его зародыши в оболочке должны рассеяться на новых территориях", + "option_d": "растение пешком добралось до нового места" + }, + "outputs": "C", + "meta": { + "id": 2222 + } + }, + "prompt": "<|im_start|>user\nЧто могло бы случиться, чтобы растение появилось на новом месте?\nA. растение не способно переместиться\nB. растение спонтанно появилось там\nC. его зародыши в оболочке должны рассеяться на новых территориях\nD. растение пешком добралось до нового места\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05506843328475952, + "B": 0.017878102138638496, + "C": 0.012287427671253681, + "D": 0.8614152073860168 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы помочь вашему телу восстанавливать клетки", + "option_a": "пейте соду", + "option_b": "жуйте жвачку", + "option_c": "ешьте сахар-сырец", + "option_d": "ешьте курицу" + }, + "outputs": "D", + "meta": { + "id": 1312 + } + }, + "prompt": "<|im_start|>user\nЧтобы помочь вашему телу восстанавливать клетки\nA) пейте соду\nB) жуйте жвачку\nC) ешьте сахар-сырец\nD) ешьте курицу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.017808405682444572, + "B": 0.8580570816993713, + "C": 0.022866446524858475, + "D": 0.04840826988220215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При употреблении и переваривании большой порции пищи однозначно сформируется это.", + "option_a": "болезнь", + "option_b": "фекалии", + "option_c": "топливо", + "option_d": "удобрения" + }, + "outputs": "B", + "meta": { + "id": 1300 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При употреблении и переваривании большой порции пищи однозначно сформируется это.\nA. болезнь\nB. фекалии\nC. топливо\nD. удобрения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008966825902462006, + "B": 0.0015582008054479957, + "C": 0.03129729628562927, + "D": 0.9146410822868347 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек помещает жидкое вещество в стеклянный стакан, и оно", + "option_a": "затвердевает", + "option_b": "немедленно испаряется", + "option_c": "плавит стекло", + "option_d": "принимает форму стакана" + }, + "outputs": "D", + "meta": { + "id": 354 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек помещает жидкое вещество в стеклянный стакан, и оно\nA) затвердевает\nB) немедленно испаряется\nC) плавит стекло\nD) принимает форму стакана\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4616023898124695, + "B": 0.01789826713502407, + "C": 0.0021376432850956917, + "D": 0.4616023898124695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, переваривается организмом?", + "option_a": "Кексики", + "option_b": "воздух", + "option_c": "огонь", + "option_d": "вода" + }, + "outputs": "A", + "meta": { + "id": 261 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, переваривается организмом?\nA. Кексики\nB. воздух\nC. огонь\nD. вода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16017329692840576, + "B": 0.1100853830575943, + "C": 0.02783394604921341, + "D": 0.6334977149963379 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если ученый работает зимой на южном полюсе, какой сезон сейчас в арктическом регионе", + "option_a": "Осень", + "option_b": "Зима", + "option_c": "Весна", + "option_d": "Лето" + }, + "outputs": "D", + "meta": { + "id": 1911 + } + }, + "prompt": "<|im_start|>user\nЕсли ученый работает зимой на южном полюсе, какой сезон сейчас в арктическом регионе\nA. Осень\nB. Зима\nC. Весна\nD. Лето\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9107137322425842, + "B": 0.0008304634247906506, + "C": 0.0001055815810104832, + "D": 0.0008304634247906506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Полную неспособность однажды дышащего организма функционировать можно описать как?", + "option_a": "состояние мертвеца", + "option_b": "состояние активности", + "option_c": "состояние ловкости", + "option_d": "состояние задумчивости" + }, + "outputs": "A", + "meta": { + "id": 784 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Полную неспособность однажды дышащего организма функционировать можно описать как?\nA) состояние мертвеца\nB) состояние активности\nC) состояние ловкости\nD) состояние задумчивости\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007671210914850235, + "B": 0.000410610344260931, + "C": 0.9532616138458252, + "D": 0.0014331708662211895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При солнечном затмении важно не забыть:", + "option_a": "сделать снимок", + "option_b": "посмотреть в окно", + "option_c": "не смотреть на него незащищенным взглядом", + "option_d": "прикрыть голову руками" + }, + "outputs": "C", + "meta": { + "id": 2139 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При солнечном затмении важно не забыть:\nA) сделать снимок\nB) посмотреть в окно\nC) не смотреть на него незащищенным взглядом\nD) прикрыть голову руками\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006399454083293676, + "B": 0.00046357495011761785, + "C": 0.0009813880315050483, + "D": 0.9497632384300232 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ручей течет медленно, а вода движется очень плавно, но если лист упадет в него,", + "option_a": "он будет держаться на месте", + "option_b": "он растает", + "option_c": "он заплачет", + "option_d": "он переместится по течению" + }, + "outputs": "D", + "meta": { + "id": 1031 + } + }, + "prompt": "<|im_start|>user\nРучей течет медленно, а вода движется очень плавно, но если лист упадет в него,\nA) он будет держаться на месте\nB) он растает\nC) он заплачет\nD) он переместится по течению\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0020593195222318172, + "B": 0.9414070248603821, + "C": 0.0020593195222318172, + "D": 0.0020593195222318172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Принятие более короткого горячего душа", + "option_a": "увеличит потребление воды", + "option_b": "поможет сохранить запас воды", + "option_c": "поможет в потреблении воды", + "option_d": "приведет к перегрузке водонагревателя" + }, + "outputs": "B", + "meta": { + "id": 1644 + } + }, + "prompt": "<|im_start|>user\nПринятие более короткого горячего душа\nA. увеличит потребление воды\nB. поможет сохранить запас воды\nC. поможет в потреблении воды\nD. приведет к перегрузке водонагревателя\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008323521353304386, + "B": 0.0004695809620898217, + "C": 0.9620682597160339, + "D": 9.246596891898662e-05 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вещество может поглощать солнечную энергию, то что может произойти или произойдет с этим веществом?", + "option_a": "температура будет поддерживаться", + "option_b": "уровень тепла будет экспоненциально снижаться", + "option_c": "будет наблюдаться повышение уровня тепла", + "option_d": "вещество будет постепенно охлаждаться" + }, + "outputs": "C", + "meta": { + "id": 255 + } + }, + "prompt": "<|im_start|>user\nЕсли вещество может поглощать солнечную энергию, то что может произойти или произойдет с этим веществом?\nA) температура будет поддерживаться\nB) уровень тепла будет экспоненциально снижаться\nC) будет наблюдаться повышение уровня тепла\nD) вещество будет постепенно охлаждаться\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00032676314003765583, + "B": 0.0005387412966229022, + "C": 0.9740671515464783, + "D": 0.0006104738567955792 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кролики отлично сохраняют температуру тела из-за", + "option_a": "замороженной тундры", + "option_b": "здания суда", + "option_c": "своей адаптации", + "option_d": "океана" + }, + "outputs": "C", + "meta": { + "id": 774 + } + }, + "prompt": "<|im_start|>user\nКролики отлично сохраняют температуру тела из-за\nA) замороженной тундры\nB) здания суда\nC) своей адаптации\nD) океана\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03462059795856476, + "B": 0.8928769826889038, + "C": 0.0008141984581016004, + "D": 0.0010454514995217323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бабочка на миг соприкасается со столом для пикника, и на ее крыле происходит едва заметное", + "option_a": "умирание", + "option_b": "истирание", + "option_c": "озлобление", + "option_d": "возмещение" + }, + "outputs": "B", + "meta": { + "id": 1628 + } + }, + "prompt": "<|im_start|>user\nБабочка на миг соприкасается со столом для пикника, и на ее крыле происходит едва заметное\nA. умирание\nB. истирание\nC. озлобление\nD. возмещение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.895906388759613, + "B": 0.002851473866030574, + "C": 0.0009257379570044577, + "D": 0.018593942746520042 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каждые четыре сезона кедр расширяет", + "option_a": "ствол", + "option_b": "зрение", + "option_c": "голосовой диапазон", + "option_d": "объем легких" + }, + "outputs": "A", + "meta": { + "id": 253 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каждые четыре сезона кедр расширяет\nA) ствол\nB) зрение\nC) голосовой диапазон\nD) объем легких\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7951510548591614, + "B": 0.12194036692380905, + "C": 0.0013546351110562682, + "D": 0.002867762465029955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Компания, которая производит долговечные продукты, вероятно, будет?", + "option_a": "Продавать больше", + "option_b": "Производить больше", + "option_c": "Производить меньше", + "option_d": "Продавать меньше" + }, + "outputs": "D", + "meta": { + "id": 687 + } + }, + "prompt": "<|im_start|>user\nКомпания, которая производит долговечные продукты, вероятно, будет?\nA) Продавать больше\nB) Производить больше\nC) Производить меньше\nD) Продавать меньше\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0020862403325736523, + "B": 0.000869674317073077, + "C": 0.000869674317073077, + "D": 0.9537136554718018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как вы могли бы выяснить, какие детали необходимы, чтобы ваша машина могла ездить?", + "option_a": "очень хорошо подумать, пока не поймете это", + "option_b": "спросить человека, который изобрел машину", + "option_c": "бросить машину в озеро и посмотреть, плавает ли она", + "option_d": "разобрать ее и определить, из чего он состоит" + }, + "outputs": "D", + "meta": { + "id": 1045 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как вы могли бы выяснить, какие детали необходимы, чтобы ваша машина могла ездить?\nA) очень хорошо подумать, пока не поймете это\nB) спросить человека, который изобрел машину\nC) бросить машину в озеро и посмотреть, плавает ли она\nD) разобрать ее и определить, из чего он состоит\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013086286373436451, + "B": 0.9174195528030396, + "C": 0.005455175880342722, + "D": 0.010191611014306545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семья готовила большую часть еды, используя газовую плиту и", + "option_a": "удачу", + "option_b": "электричество", + "option_c": "лед", + "option_d": "магию" + }, + "outputs": "B", + "meta": { + "id": 2113 + } + }, + "prompt": "<|im_start|>user\nСемья готовила большую часть еды, используя газовую плиту и\nA) удачу\nB) электричество\nC) лед\nD) магию\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.014531620778143406, + "B": 0.8990395665168762, + "C": 0.011317238211631775, + "D": 0.011317238211631775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кролик, скорее всего, съест именно это", + "option_a": "форель", + "option_b": "одуванчики", + "option_c": "полевые мыши", + "option_d": "пауки" + }, + "outputs": "B", + "meta": { + "id": 1008 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кролик, скорее всего, съест именно это\nA) форель\nB) одуванчики\nC) полевые мыши\nD) пауки\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011222630739212036, + "B": 0.13671962916851044, + "C": 0.012716907076537609, + "D": 0.7867671847343445 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бананы, ананасы и кокосы доставляют из мест, которые", + "option_a": "находятся далеко в Арктике", + "option_b": "являются островами", + "option_c": "достаточно влажны", + "option_d": "являются очень теплыми" + }, + "outputs": "D", + "meta": { + "id": 994 + } + }, + "prompt": "<|im_start|>user\nБананы, ананасы и кокосы доставляют из мест, которые\nA) находятся далеко в Арктике\nB) являются островами\nC) достаточно влажны\nD) являются очень теплыми\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004850954283028841, + "B": 0.0025965289678424597, + "C": 0.9244282841682434, + "D": 0.019185896962881088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы Джон пошел в дальний магазин, в каких единицах он бы оценил свое путешествие?", + "option_a": "декаметр", + "option_b": "сантиметр", + "option_c": "километр", + "option_d": "метр" + }, + "outputs": "C", + "meta": { + "id": 207 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если бы Джон пошел в дальний магазин, в каких единицах он бы оценил свое путешествие?\nA) декаметр\nB) сантиметр\nC) километр\nD) метр\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.368635356426239, + "B": 0.4177185893058777, + "C": 0.06405922025442123, + "D": 0.023566070944070816 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тепло для выживания требуется…", + "option_a": "луне", + "option_b": "ищейке", + "option_c": "океану", + "option_d": "компьютеру" + }, + "outputs": "B", + "meta": { + "id": 1449 + } + }, + "prompt": "<|im_start|>user\nТепло для выживания требуется…\nA) луне\nB) ищейке\nC) океану\nD) компьютеру\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003762349719181657, + "B": 0.004830952733755112, + "C": 0.920616626739502, + "D": 0.016861682757735252 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тихий город в пустыне увидит больше _____, чем большой город.", + "option_a": "зданий", + "option_b": "автомобилей", + "option_c": "звезд", + "option_d": "людей" + }, + "outputs": "C", + "meta": { + "id": 1978 + } + }, + "prompt": "<|im_start|>user\nТихий город в пустыне увидит больше _____, чем большой город.\nA. зданий\nB. автомобилей\nC. звезд\nD. людей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0024081855081021786, + "B": 0.00041847990360111, + "C": 0.9715313911437988, + "D": 0.0027288319543004036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где мама-медведица может найти еду?", + "option_a": "на вершине самых высоких деревьев", + "option_b": "в самых глубоких шахтах", + "option_c": "в дупле срубленного дуба", + "option_d": "на дне озера" + }, + "outputs": "C", + "meta": { + "id": 1635 + } + }, + "prompt": "<|im_start|>user\nГде мама-медведица может найти еду?\nA. на вершине самых высоких деревьев\nB. в самых глубоких шахтах\nC. в дупле срубленного дуба\nD. на дне озера\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002078566700220108, + "B": 0.019720889627933502, + "C": 0.9502057433128357, + "D": 0.0016187893925234675 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из сценариев является точным?", + "option_a": "Солнце, движущееся вокруг Земли", + "option_b": "ни один из них", + "option_c": "Земля, движущаяся вокруг Солнца", + "option_d": "Солнце, вращающееся вокруг Марса" + }, + "outputs": "C", + "meta": { + "id": 1100 + } + }, + "prompt": "<|im_start|>user\nКакой из сценариев является точным?\nA) Солнце, движущееся вокруг Земли\nB) ни один из них\nC) Земля, движущаяся вокруг Солнца\nD) Солнце, вращающееся вокруг Марса\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.007703714072704315, + "B": 0.8904282450675964, + "C": 0.0015169513644650578, + "D": 0.05023452639579773 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Плавающая стрелка на компасе всегда указывает направление от", + "option_a": "востока", + "option_b": "севера", + "option_c": "запада", + "option_d": "юга" + }, + "outputs": "D", + "meta": { + "id": 2321 + } + }, + "prompt": "<|im_start|>user\nПлавающая стрелка на компасе всегда указывает направление от\nA. востока\nB. севера\nC. запада\nD. юга\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.29142874479293823, + "B": 0.2571849822998047, + "C": 0.009972142986953259, + "D": 0.3742019236087799 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если яркая вещь в небе, отличная от нашего Солнца, сделает что-то целиком менее чем за месяц, скорее всего речь о", + "option_a": "лунном цикле", + "option_b": "горящих облаках", + "option_c": "умирающем воздухе", + "option_d": "восходящих звездах" + }, + "outputs": "A", + "meta": { + "id": 1220 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если яркая вещь в небе, отличная от нашего Солнца, сделает что-то целиком менее чем за месяц, скорее всего речь о\nA. лунном цикле\nB. горящих облаках\nC. умирающем воздухе\nD. восходящих звездах\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.0038170472253113985, + "B": 0.0026234157849103212, + "C": 0.003368532285094261, + "D": 0.9340006113052368 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Насекомое может притвориться птичьим пометом, чтобы", + "option_a": "дать социальный комментарий", + "option_b": "насмешить других насекомых", + "option_c": "слиться с окружающей средой", + "option_d": "привлечь птиц" + }, + "outputs": "C", + "meta": { + "id": 2328 + } + }, + "prompt": "<|im_start|>user\nНасекомое может притвориться птичьим пометом, чтобы\nA. дать социальный комментарий\nB. насмешить других насекомых\nC. слиться с окружающей средой\nD. привлечь птиц\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005512528121471405, + "B": 0.9270647168159485, + "C": 0.005512528121471405, + "D": 0.00624651275575161 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена могут прорасти, когда", + "option_a": "проглочены", + "option_b": "помещены под землю", + "option_c": "оставлены в покое", + "option_d": "пожарены" + }, + "outputs": "B", + "meta": { + "id": 558 + } + }, + "prompt": "<|im_start|>user\nСемена могут прорасти, когда\nA) проглочены\nB) помещены под землю\nC) оставлены в покое\nD) пожарены\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.014880427159368992, + "B": 0.0054742032662034035, + "C": 0.9206194281578064, + "D": 0.0048309676349163055 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда колеса визжат на асфальте, трение", + "option_a": "устраняет движение вперед", + "option_b": "останавливает движение", + "option_c": "работает против движения", + "option_d": "делает вещи грубыми" + }, + "outputs": "C", + "meta": { + "id": 1933 + } + }, + "prompt": "<|im_start|>user\nКогда колеса визжат на асфальте, трение\nA) устраняет движение вперед\nB) останавливает движение\nC) работает против движения\nD) делает вещи грубыми\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.012428965419530869, + "B": 0.6785985231399536, + "C": 0.01808403804898262, + "D": 0.22030867636203766 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Полицейский может сказать, что машина ускоряется, потому что она", + "option_a": "едет по дороге", + "option_b": "едет по холму вверх", + "option_c": "движется вперед", + "option_d": "все быстрее едет" + }, + "outputs": "D", + "meta": { + "id": 139 + } + }, + "prompt": "<|im_start|>user\nПолицейский может сказать, что машина ускоряется, потому что она\nA) едет по дороге\nB) едет по холму вверх\nC) движется вперед\nD) все быстрее едет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0009931712411344051, + "B": 0.9611666798591614, + "C": 0.0009931712411344051, + "D": 0.0009931712411344051 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди плачут, когда рождаются, лошади могут ходить, когда родились, а птицы могут щебетать, когда родились, благодаря", + "option_a": "ТВ", + "option_b": "инстинктивному поведению", + "option_c": "обучению у мамы", + "option_d": "школе" + }, + "outputs": "B", + "meta": { + "id": 1990 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди плачут, когда рождаются, лошади могут ходить, когда родились, а птицы могут щебетать, когда родились, благодаря\nA) ТВ\nB) инстинктивному поведению\nC) обучению у мамы\nD) школе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.02600778639316559, + "B": 0.13207842409610748, + "C": 0.02025488391518593, + "D": 0.7600589394569397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шахтер, скорее всего,", + "option_a": "грязный", + "option_b": "мокрый", + "option_c": "загорелый", + "option_d": "обветренный" + }, + "outputs": "A", + "meta": { + "id": 857 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шахтер, скорее всего,\nA) грязный\nB) мокрый\nC) загорелый\nD) обветренный\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009628011845052242, + "B": 0.04314975067973137, + "C": 0.8666859269142151, + "D": 0.005839684046804905 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что происходит в каменистых местах, порождает:", + "option_a": "новые виды оранжевых пчел", + "option_b": "места, где разводятся гуси", + "option_c": "материалы, подобные тальку", + "option_d": "трубки для хранения бумажных полотенец" + }, + "outputs": "C", + "meta": { + "id": 971 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: То, что происходит в каменистых местах, порождает:\nA) новые виды оранжевых пчел\nB) места, где разводятся гуси\nC) материалы, подобные тальку\nD) трубки для хранения бумажных полотенец\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0574868768453598, + "B": 0.0025257973466068506, + "C": 0.002862103283405304, + "D": 0.899246096611023 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может послужить убежищем мелким животным?", + "option_a": "воздух", + "option_b": "ветер", + "option_c": "солнце", + "option_d": "гранит" + }, + "outputs": "D", + "meta": { + "id": 1458 + } + }, + "prompt": "<|im_start|>user\nЧто может послужить убежищем мелким животным?\nA. воздух\nB. ветер\nC. солнце\nD. гранит\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5906094312667847, + "B": 0.31613048911094666, + "C": 0.00351189193315804, + "D": 0.0005385660915635526 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Облака состоят из частиц влаги, которые удерживаются в небе до тех пор, пока", + "option_a": "вес не начнет работать против них", + "option_b": "налетит шторм", + "option_c": "погода начинает меняться", + "option_d": "наступит зима" + }, + "outputs": "A", + "meta": { + "id": 1186 + } + }, + "prompt": "<|im_start|>user\nОблака состоят из частиц влаги, которые удерживаются в небе до тех пор, пока\nA. вес не начнет работать против них\nB. налетит шторм\nC. погода начинает меняться\nD. наступит зима\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.062232449650764465, + "B": 0.012254294939339161, + "C": 0.8590924143791199, + "D": 0.0084222462028265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пустыни обычно", + "option_a": "холодные", + "option_b": "душные", + "option_c": "теплые", + "option_d": "лесистые" + }, + "outputs": "B", + "meta": { + "id": 1126 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пустыни обычно\nA) холодные\nB) душные\nC) теплые\nD) лесистые\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.026754191145300865, + "B": 0.07272543013095856, + "C": 0.07272543013095856, + "D": 0.7818720936775208 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то окажется снаружи в течение дня, то что это что-то получит днем, но не ночью?", + "option_a": "ночник в подарок", + "option_b": "пар", + "option_c": "благодарность", + "option_d": "лучи ближайшей к нам звезды" + }, + "outputs": "D", + "meta": { + "id": 1591 + } + }, + "prompt": "<|im_start|>user\nЕсли что-то окажется снаружи в течение дня, то что это что-то получит днем, но не ночью?\nA) ночник в подарок\nB) пар\nC) благодарность\nD) лучи ближайшей к нам звезды\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004890107084065676, + "B": 0.9318894743919373, + "C": 0.0023099230602383614, + "D": 0.004890107084065676 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером простой машины, требующей для работы механической энергии, может быть", + "option_a": "радиоприемник, которому нужны четыре батареи", + "option_b": "фонарь, для работы которого нужно повернуть кривошип", + "option_c": "компьютер, который необходимо подключить к сети", + "option_d": "плита, работающая на газе" + }, + "outputs": "B", + "meta": { + "id": 865 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером простой машины, требующей для работы механической энергии, может быть\nA) радиоприемник, которому нужны четыре батареи\nB) фонарь, для работы которого нужно повернуть кривошип\nC) компьютер, который необходимо подключить к сети\nD) плита, работающая на газе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02778242714703083, + "B": 0.03148161619901657, + "C": 0.716518223285675, + "D": 0.1811641901731491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая клетка должна выполнять все возможные жизненные функции одновременно?", + "option_a": "клетка цветка", + "option_b": "клетка легкого", + "option_c": "бактериальная клетка", + "option_d": "клетка хвоста" + }, + "outputs": "C", + "meta": { + "id": 850 + } + }, + "prompt": "<|im_start|>user\nКакая клетка должна выполнять все возможные жизненные функции одновременно?\nA) клетка цветка\nB) клетка легкого\nC) бактериальная клетка\nD) клетка хвоста\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17908194661140442, + "B": 0.024236105382442474, + "C": 0.01887509785592556, + "D": 0.7082828283309937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время грозы животное, скорее всего, спрячется в", + "option_a": "пруд", + "option_b": "песок", + "option_c": "горный каньон", + "option_d": "пещеру" + }, + "outputs": "D", + "meta": { + "id": 1061 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Во время грозы животное, скорее всего, спрячется в\nA. пруд\nB. песок\nC. горный каньон\nD. пещеру\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005587068386375904, + "B": 0.93960040807724, + "C": 0.004351213574409485, + "D": 0.0014126320602372289 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как выглядит ваше тело и как оно функционирует - это то, что", + "option_a": "запрограммировано ушедшими с Земли", + "option_b": "получено от родителей", + "option_c": "передано из яиц", + "option_d": "переданных из завтрашнего дня" + }, + "outputs": "B", + "meta": { + "id": 905 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как выглядит ваше тело и как оно функционирует - это то, что\nA. запрограммировано ушедшими с Земли\nB. получено от родителей\nC. передано из яиц\nD. переданных из завтрашнего дня\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0029705616179853678, + "B": 0.9333226680755615, + "C": 0.001403193804435432, + "D": 0.010368279181420803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Щенка могут забрать у людей, если они", + "option_a": "нежно играют с ним", + "option_b": "держат его на улице без укрытия", + "option_c": "кормят его качественной едой", + "option_d": "дали ему чистой воды" + }, + "outputs": "B", + "meta": { + "id": 789 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Щенка могут забрать у людей, если они\nA. нежно играют с ним\nB. держат его на улице без укрытия\nC. кормят его качественной едой\nD. дали ему чистой воды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.021241189911961555, + "B": 0.9031983017921448, + "C": 0.0068960040807724, + "D": 0.011369588784873486 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в стакане со смесью веществ происходит химическая реакция, какой из этих причин она скорее всего могла быть вызвана?", + "option_a": "человек, кричащий на стакан", + "option_b": "человек, включающий обогреватель в комнате со стаканом", + "option_c": "человек, пристально смотрящий на стакан", + "option_d": "человек, проходящий мимо стакана" + }, + "outputs": "B", + "meta": { + "id": 1172 + } + }, + "prompt": "<|im_start|>user\nЕсли в стакане со смесью веществ происходит химическая реакция, какой из этих причин она скорее всего могла быть вызвана?\nA. человек, кричащий на стакан\nB. человек, включающий обогреватель в комнате со стаканом\nC. человек, пристально смотрящий на стакан\nD. человек, проходящий мимо стакана\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.23898650705814362, + "B": 0.047059230506420135, + "C": 0.4464855492115021, + "D": 0.186122864484787 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака может дышать", + "option_a": "под океаном", + "option_b": "в церкви", + "option_c": "в космосе", + "option_d": "в саркофаге" + }, + "outputs": "B", + "meta": { + "id": 1667 + } + }, + "prompt": "<|im_start|>user\nСобака может дышать\nA) под океаном\nB) в церкви\nC) в космосе\nD) в саркофаге\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014080890454351902, + "B": 0.029809245839715004, + "C": 0.008540492504835129, + "D": 0.8711538910865784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У тигра с коротким хвостом, скорее всего", + "option_a": "есть дети с длинными хвостами", + "option_b": "были родители с длинными хвостами", + "option_c": "есть братья и сестры с длинными хвостами", + "option_d": "были предки с этим признаком" + }, + "outputs": "D", + "meta": { + "id": 1750 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У тигра с коротким хвостом, скорее всего\nA) есть дети с длинными хвостами\nB) были родители с длинными хвостами\nC) есть братья и сестры с длинными хвостами\nD) были предки с этим признаком\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8637117147445679, + "B": 0.033489737659692764, + "C": 0.005819643381983042, + "D": 0.010872526094317436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скольжение имеет свой показатель трения, что можно увидеть на примере", + "option_a": "катания игрушечного автомобиля", + "option_b": "автогонок", + "option_c": "беговой дорожки", + "option_d": "носорога" + }, + "outputs": "B", + "meta": { + "id": 2138 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Скольжение имеет свой показатель трения, что можно увидеть на примере\nA. катания игрушечного автомобиля\nB. автогонок\nC. беговой дорожки\nD. носорога\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007738781627267599, + "B": 0.8944815397262573, + "C": 0.001956670545041561, + "D": 0.044533614069223404 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В комнате без света, но с зеркалами может быть светло, если", + "option_a": "свет включен в другом доме", + "option_b": "соединенная с нею проемом соседняя комната ярко освещена", + "option_c": "комната полностью темная", + "option_d": "соединенная с нею проемом соседняя комната достаточно темная" + }, + "outputs": "B", + "meta": { + "id": 1572 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В комнате без света, но с зеркалами может быть светло, если\nA) свет включен в другом доме\nB) соединенная с нею проемом соседняя комната ярко освещена\nC) комната полностью темная\nD) соединенная с нею проемом соседняя комната достаточно темная\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8993276357650757, + "B": 0.0006386794266290963, + "C": 0.00034186049015261233, + "D": 0.0011932102497667074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В таких местах, как Северный полюс, очень мало видов растений и животных, потому что температуры всегда очень", + "option_a": "низкие", + "option_b": "душные", + "option_c": "высокие", + "option_d": "скучные" + }, + "outputs": "A", + "meta": { + "id": 2190 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В таких местах, как Северный полюс, очень мало видов растений и животных, потому что температуры всегда очень\nA) низкие\nB) душные\nC) высокие\nD) скучные\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21534794569015503, + "B": 0.03742186352610588, + "C": 0.663318395614624, + "D": 0.025719644501805305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является наиболее вероятным фактором увеличения площади океана?", + "option_a": "ледники сильно остывают", + "option_b": "площадь суши увеличивается в десять раз", + "option_c": "ледникам становится намного горячее", + "option_d": "земля сжимается со временем из-за холода" + }, + "outputs": "C", + "meta": { + "id": 461 + } + }, + "prompt": "<|im_start|>user\nЧто является наиболее вероятным фактором увеличения площади океана?\nA. ледники сильно остывают\nB. площадь суши увеличивается в десять раз\nC. ледникам становится намного горячее\nD. земля сжимается со временем из-за холода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4966247081756592, + "B": 0.2070239782333374, + "C": 0.0672108456492424, + "D": 0.14228536188602448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что доспехи легко притягивают к себе?", + "option_a": "палочку", + "option_b": "бумажный листок", + "option_c": "украшение для холодильника", + "option_d": "деревянную шестеренку" + }, + "outputs": "C", + "meta": { + "id": 2244 + } + }, + "prompt": "<|im_start|>user\nЧто доспехи легко притягивают к себе?\nA) палочку\nB) бумажный листок\nC) украшение для холодильника\nD) деревянную шестеренку\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5763542056083679, + "B": 0.18711481988430023, + "C": 0.060747284442186356, + "D": 0.03251568228006363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди часто рвут", + "option_a": "личные документы", + "option_b": "испарение", + "option_c": "напряжение", + "option_d": "дождь" + }, + "outputs": "A", + "meta": { + "id": 1593 + } + }, + "prompt": "<|im_start|>user\nЛюди часто рвут\nA) личные документы\nB) испарение\nC) напряжение\nD) дождь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0065277316607534885, + "B": 0.0012853865046054125, + "C": 0.9688012599945068, + "D": 0.002119244309142232 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что было бы наиболее полезно при определении климата области?", + "option_a": "Общее количество осадков за прошлый год", + "option_b": "Отчет о наводнении трехлетней давности", + "option_c": "Среднесуточные температуры за пять лет", + "option_d": "Отчет о торнадо" + }, + "outputs": "C", + "meta": { + "id": 690 + } + }, + "prompt": "<|im_start|>user\nЧто было бы наиболее полезно при определении климата области?\nA. Общее количество осадков за прошлый год\nB. Отчет о наводнении трехлетней давности\nC. Среднесуточные температуры за пять лет\nD. Отчет о торнадо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010479646734893322, + "B": 0.0012516152346506715, + "C": 0.943347692489624, + "D": 0.008161556906998158 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть существа, у которых, в зависимости от вида, разное количество частей тела. У паукообразных есть определенное количество, в то время как у людей - другое, и эти многочисленные различия можно отнести к", + "option_a": "выживанию", + "option_b": "росту в окружающей среде", + "option_c": "унаследованным характеристикам", + "option_d": "способностям развития" + }, + "outputs": "C", + "meta": { + "id": 2180 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Есть существа, у которых, в зависимости от вида, разное количество частей тела. У паукообразных есть определенное количество, в то время как у людей - другое, и эти многочисленные различия можно отнести к\nA. выживанию\nB. росту в окружающей среде\nC. унаследованным характеристикам\nD. способностям развития\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004415331408381462, + "B": 0.0011163705494254827, + "C": 0.00046537251910194755, + "D": 0.9534460306167603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда пес угодил мордой в костер, это вызвало", + "option_a": "радость", + "option_b": "детей", + "option_c": "красивую кожу", + "option_d": "шрамы" + }, + "outputs": "D", + "meta": { + "id": 75 + } + }, + "prompt": "<|im_start|>user\nКогда пес угодил мордой в костер, это вызвало\nA) радость\nB) детей\nC) красивую кожу\nD) шрамы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2930380403995514, + "B": 0.6203615069389343, + "C": 0.0015377224190160632, + "D": 0.018733294680714607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какими могут стать бактерии?", + "option_a": "энергичными", + "option_b": "патогенными", + "option_c": "электронными", + "option_d": "здоровенными" + }, + "outputs": "B", + "meta": { + "id": 1073 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какими могут стать бактерии?\nA) энергичными\nB) патогенными\nC) электронными\nD) здоровенными\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.11822528392076492, + "B": 0.7709257006645203, + "C": 0.023279938846826553, + "D": 0.03838212788105011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное рождает живых детенышей?", + "option_a": "Акула", + "option_b": "Черепаха", + "option_c": "Жираф", + "option_d": "Паук" + }, + "outputs": "C", + "meta": { + "id": 838 + } + }, + "prompt": "<|im_start|>user\nКакое животное рождает живых детенышей?\nA) Акула\nB) Черепаха\nC) Жираф\nD) Паук\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8462436199188232, + "B": 0.00013409687380772084, + "C": 0.0002838830987457186, + "D": 0.0005303634097799659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вы нажимаете на тормоз в машине, из-за трения", + "option_a": "скорость падает", + "option_b": "скорость не меняется", + "option_c": "машина летит", + "option_d": "скорость увеличивается" + }, + "outputs": "A", + "meta": { + "id": 1896 + } + }, + "prompt": "<|im_start|>user\nКогда вы нажимаете на тормоз в машине, из-за трения\nA) скорость падает\nB) скорость не меняется\nC) машина летит\nD) скорость увеличивается\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.005754236597567797, + "B": 0.0007787512731738389, + "C": 0.0001737628917908296, + "D": 0.9677138328552246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Распространение семян произошло, когда семена растения", + "option_a": "были проданы человеку в другой стране", + "option_b": "были генетически модифицированы для устойчивости к пестицидам", + "option_c": "были уничтожены радиацией во время обработки", + "option_d": "были посажены в том же саду" + }, + "outputs": "A", + "meta": { + "id": 275 + } + }, + "prompt": "<|im_start|>user\nРаспространение семян произошло, когда семена растения\nA. были проданы человеку в другой стране\nB. были генетически модифицированы для устойчивости к пестицидам\nC. были уничтожены радиацией во время обработки\nD. были посажены в том же саду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5367761254310608, + "B": 0.03028283640742302, + "C": 0.044061265885829926, + "D": 0.3255711495876312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие две буквы больше всего ассоциируются с болезненной красной кожей?", + "option_a": "O и A", + "option_b": "Q и P", + "option_c": "F и J", + "option_d": "U и V" + }, + "outputs": "D", + "meta": { + "id": 924 + } + }, + "prompt": "<|im_start|>user\nКакие две буквы больше всего ассоциируются с болезненной красной кожей?\nA) O и A\nB) Q и P\nC) F и J\nD) U и V\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10574720799922943, + "B": 0.030297081917524338, + "C": 0.7813720703125, + "D": 0.030297081917524338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек допивает бутылку воды и замечает, что на дне бутылки есть небольшой символ, состоящий из трех стрелок треугольной формы. Этот символ говорит человеку, что он должен", + "option_a": "повторно использовать бутылку", + "option_b": "сжечь бутылку", + "option_c": "сдать бутылку в переработку", + "option_d": "переделать бутылку" + }, + "outputs": "C", + "meta": { + "id": 1078 + } + }, + "prompt": "<|im_start|>user\nЧеловек допивает бутылку воды и замечает, что на дне бутылки есть небольшой символ, состоящий из трех стрелок треугольной формы. Этот символ говорит человеку, что он должен\nA. повторно использовать бутылку\nB. сжечь бутылку\nC. сдать бутылку в переработку\nD. переделать бутылку\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.00467016501352191, + "B": 0.08278065174818039, + "C": 0.17524664103984833, + "D": 0.6931139230728149 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди вносят свой вклад в загрязнение окружающей среды,", + "option_a": "покупая продукты, сделанные из переработанных продуктов", + "option_b": "оставляя мусор на общественных пляжах", + "option_c": "переходя на энергоэффективные приборы", + "option_d": "часто перерабатывая бумагу и пластик." + }, + "outputs": "B", + "meta": { + "id": 27 + } + }, + "prompt": "<|im_start|>user\nЛюди вносят свой вклад в загрязнение окружающей среды,\nA) покупая продукты, сделанные из переработанных продуктов\nB) оставляя мусор на общественных пляжах\nC) переходя на энергоэффективные приборы\nD) часто перерабатывая бумагу и пластик.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.007248998619616032, + "B": 0.0056455256417393684, + "C": 0.000865769456140697, + "D": 0.9494314789772034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Орлы едят", + "option_a": "ястребов", + "option_b": "мелких роющих млекопитающих", + "option_c": "растений и зерна", + "option_d": "летающих насекомых" + }, + "outputs": "B", + "meta": { + "id": 1383 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Орлы едят\nA. ястребов\nB. мелких роющих млекопитающих\nC. растений и зерна\nD. летающих насекомых\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3433217406272888, + "B": 0.30298036336898804, + "C": 0.07660543918609619, + "D": 0.18376688659191132 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кошке легче всего ухватиться, когда она взбирается наверх, за", + "option_a": "столб с ковровым покрытием", + "option_b": "пластиковый столб", + "option_c": "ледяной столб", + "option_d": "металлический столб" + }, + "outputs": "A", + "meta": { + "id": 752 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кошке легче всего ухватиться, когда она взбирается наверх, за\nA. столб с ковровым покрытием\nB. пластиковый столб\nC. ледяной столб\nD. металлический столб\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.926047146320343, + "B": 0.0012286611599847674, + "C": 0.00045199922169558704, + "D": 0.000745220691896975 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Девушка хочет помочь защитить окружающую среду, поэтому она решает", + "option_a": "ходить пешком на работу", + "option_b": "бросить работу", + "option_c": "поехать на работу", + "option_d": "навестить друга" + }, + "outputs": "A", + "meta": { + "id": 704 + } + }, + "prompt": "<|im_start|>user\nДевушка хочет помочь защитить окружающую среду, поэтому она решает\nA) ходить пешком на работу\nB) бросить работу\nC) поехать на работу\nD) навестить друга\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.89989173412323, + "B": 0.003677651984617114, + "C": 0.00026640822761692107, + "D": 0.004167325794696808 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Больше грязи и песка накапливается на ровной местности у реки всякий раз, когда", + "option_a": "один за другим идут дни с очень большим количеством осадков за день", + "option_b": "на берегу реки охотятся на оленей", + "option_c": "птицы летают над этой территорией", + "option_d": "вертолет летит слишком низко над землей" + }, + "outputs": "A", + "meta": { + "id": 547 + } + }, + "prompt": "<|im_start|>user\nБольше грязи и песка накапливается на ровной местности у реки всякий раз, когда\nA) один за другим идут дни с очень большим количеством осадков за день\nB) на берегу реки охотятся на оленей\nC) птицы летают над этой территорией\nD) вертолет летит слишком низко над землей\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5692883133888245, + "B": 0.011815201491117477, + "C": 0.26891276240348816, + "D": 0.005581106524914503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во что превращается электрическая энергия при включении лампочки?", + "option_a": "энергия, которую можно увидеть и использовать, чтобы увидеть материю вокруг нас", + "option_b": "энергия, полученная в результате движения", + "option_c": "энергия, невидимо спрятанная внутри объекта", + "option_d": "энергия солнца и ветра" + }, + "outputs": "A", + "meta": { + "id": 1969 + } + }, + "prompt": "<|im_start|>user\nВо что превращается электрическая энергия при включении лампочки?\nA) энергия, которую можно увидеть и использовать, чтобы увидеть материю вокруг нас\nB) энергия, полученная в результате движения\nC) энергия, невидимо спрятанная внутри объекта\nD) энергия солнца и ветра\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8967245817184448, + "B": 0.0025187148712575436, + "C": 0.0028540778439491987, + "D": 0.01861092448234558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какими должны быть все животные в холодную погоду, чтобы выжить и сохранять активность?", + "option_a": "теплокровными", + "option_b": "готовыми к космическим странствиям", + "option_c": "замерзшими", + "option_d": "лежащими" + }, + "outputs": "A", + "meta": { + "id": 1393 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какими должны быть все животные в холодную погоду, чтобы выжить и сохранять активность?\nA) теплокровными\nB) готовыми к космическим странствиям\nC) замерзшими\nD) лежащими\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.7181689143180847, + "B": 0.014905120246112347, + "C": 0.14141583442687988, + "D": 0.004270388279110193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для установления чего нужны измерения утром и вечером?", + "option_a": "соленость воды в прибрежной зоне", + "option_b": "длина волны", + "option_c": "период приливов и отливов", + "option_d": "высота горы" + }, + "outputs": "C", + "meta": { + "id": 2188 + } + }, + "prompt": "<|im_start|>user\nДля установления чего нужны измерения утром и вечером?\nA. соленость воды в прибрежной зоне\nB. длина волны\nC. период приливов и отливов\nD. высота горы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5812010169029236, + "B": 0.10099758207798004, + "C": 0.07865700125694275, + "D": 0.1469506323337555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воду можно кипятить в кастрюле над", + "option_a": "углями", + "option_b": "автомобильной покрышкой", + "option_c": "кубиком льда", + "option_d": "ванной" + }, + "outputs": "A", + "meta": { + "id": 300 + } + }, + "prompt": "<|im_start|>user\nВоду можно кипятить в кастрюле над\nA) углями\nB) автомобильной покрышкой\nC) кубиком льда\nD) ванной\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.009700743481516838, + "B": 0.11817925423383713, + "C": 0.7706255316734314, + "D": 0.049264442175626755 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы летите из Москвы в Австралию в декабре, по прибытии вам, скорее всего, захочется надеть:", + "option_a": "шорты", + "option_b": "варежки", + "option_c": "плотное пальто", + "option_d": "лыжную маску." + }, + "outputs": "A", + "meta": { + "id": 2234 + } + }, + "prompt": "<|im_start|>user\nЕсли вы летите из Москвы в Австралию в декабре, по прибытии вам, скорее всего, захочется надеть:\nA) шорты\nB) варежки\nC) плотное пальто\nD) лыжную маску.\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.0048018330708146095, + "B": 0.0048018330708146095, + "C": 0.9150674343109131, + "D": 0.03548101335763931 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Маленькие, обычно красные пластиковые квадраты часто помещают на транспортные средства, такие как велосипеды, чтобы", + "option_a": "создать свет", + "option_b": "продемонстрировать цвет", + "option_c": "идентифицировать водителей", + "option_d": "отражать свет фар" + }, + "outputs": "D", + "meta": { + "id": 679 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Маленькие, обычно красные пластиковые квадраты часто помещают на транспортные средства, такие как велосипеды, чтобы\nA) создать свет\nB) продемонстрировать цвет\nC) идентифицировать водителей\nD) отражать свет фар\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005759706255048513, + "B": 0.0002233280538348481, + "C": 0.00011953889043070376, + "D": 0.9686337113380432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делают с животными и растениями люди, сбрасывающие мусор в океан?", + "option_a": "разводят им мух", + "option_b": "типологизируют их", + "option_c": "читают их мысли", + "option_d": "загрязняют среду их обитания" + }, + "outputs": "D", + "meta": { + "id": 1199 + } + }, + "prompt": "<|im_start|>user\nЧто делают с животными и растениями люди, сбрасывающие мусор в океан?\nA) разводят им мух\nB) типологизируют их\nC) читают их мысли\nD) загрязняют среду их обитания\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.14067406952381134, + "B": 0.002006608061492443, + "C": 0.0005749028059653938, + "D": 0.8095234036445618 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "что из этого можно считать стадией круговорота воды?", + "option_a": "все последующие варианты", + "option_b": "комбинация гвоздей и молотков", + "option_c": "комбинация хлора и газа", + "option_d": "выпадение осадков" + }, + "outputs": "D", + "meta": { + "id": 2012 + } + }, + "prompt": "<|im_start|>user\nчто из этого можно считать стадией круговорота воды?\nA) все последующие варианты\nB) комбинация гвоздей и молотков\nC) комбинация хлора и газа\nD) выпадение осадков\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01487779151648283, + "B": 0.03568996861577034, + "C": 0.812299907207489, + "D": 0.06667763739824295 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дороги нужно ремонтировать весной, потому что", + "option_a": "они холодные", + "option_b": "дорога просит об этом", + "option_c": "лед разрушает их", + "option_d": "они неровные" + }, + "outputs": "C", + "meta": { + "id": 1389 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дороги нужно ремонтировать весной, потому что\nA) они холодные\nB) дорога просит об этом\nC) лед разрушает их\nD) они неровные\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0006776436930522323, + "B": 0.00011062229896197096, + "C": 8.615272963652387e-05, + "D": 0.9541934132575989 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Основная причина, по которой люди хотят использовать ветер в качестве источника энергии, заключается в том, что", + "option_a": "в нем легко приготовить печенье", + "option_b": "он поет песни", + "option_c": "он заставляет улыбнуться", + "option_d": "он вечный источник энергии" + }, + "outputs": "D", + "meta": { + "id": 1704 + } + }, + "prompt": "<|im_start|>user\nОсновная причина, по которой люди хотят использовать ветер в качестве источника энергии, заключается в том, что\nA) в нем легко приготовить печенье\nB) он поет песни\nC) он заставляет улыбнуться\nD) он вечный источник энергии\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2934778928756714, + "B": 0.0025390812661498785, + "C": 0.6212926506996155, + "D": 0.0005665455828420818 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если пчелиный улей раньше спал в холодное время, но теперь не спит, хотя снег ещё не растаял, - то улей, вероятно,", + "option_a": "оттаял", + "option_b": "вымер", + "option_c": "почуял весну", + "option_d": "заморожен" + }, + "outputs": "C", + "meta": { + "id": 424 + } + }, + "prompt": "<|im_start|>user\nЕсли пчелиный улей раньше спал в холодное время, но теперь не спит, хотя снег ещё не растаял, - то улей, вероятно,\nA) оттаял\nB) вымер\nC) почуял весну\nD) заморожен\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.0767529234290123, + "B": 0.08697246015071869, + "C": 0.03625551238656044, + "D": 0.7282114624977112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них выживет с большей вероятностью?", + "option_a": "человек, дрейфующий на плоту в море без припасов", + "option_b": "кошка, оставленная в пустыне", + "option_c": "потерявшаяся у реки собака с маленькими щенками", + "option_d": "никто из них" + }, + "outputs": "C", + "meta": { + "id": 649 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто из них выживет с большей вероятностью?\nA) человек, дрейфующий на плоту в море без припасов\nB) кошка, оставленная в пустыне\nC) потерявшаяся у реки собака с маленькими щенками\nD) никто из них\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5577410459518433, + "B": 0.2325010597705841, + "C": 0.024505432695150375, + "D": 0.09692085534334183 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Озеро, в которое ежедневно наливают два ведра ледяной воды, вероятно,", + "option_a": "сузится", + "option_b": "разольется", + "option_c": "высохнет", + "option_d": "испарится" + }, + "outputs": "B", + "meta": { + "id": 972 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Озеро, в которое ежедневно наливают два ведра ледяной воды, вероятно,\nA. сузится\nB. разольется\nC. высохнет\nD. испарится\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03174857795238495, + "B": 0.09779251366853714, + "C": 0.8188066482543945, + "D": 0.009096121415495872 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения наиболее вероятны?", + "option_a": "птицы едят жирафов", + "option_b": "одуванчики едят червей", + "option_c": "волки едят полевок", + "option_d": "петунии поедают мышей" + }, + "outputs": "C", + "meta": { + "id": 241 + } + }, + "prompt": "<|im_start|>user\nКакие отношения наиболее вероятны?\nA. птицы едят жирафов\nB. одуванчики едят червей\nC. волки едят полевок\nD. петунии поедают мышей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.016848381608724594, + "B": 0.013121532276272774, + "C": 0.0008388315327465534, + "D": 0.9198904633522034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как человек может надуть воздушный шар и использовать тот же воздух для наполнения футбольного мяча?", + "option_a": "это способность человека видеть соответствия", + "option_b": "это закон термодинамики", + "option_c": "это сдвиг в космосе", + "option_d": "все эти объяснения верны" + }, + "outputs": "A", + "meta": { + "id": 885 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как человек может надуть воздушный шар и использовать тот же воздух для наполнения футбольного мяча?\nA. это способность человека видеть соответствия\nB. это закон термодинамики\nC. это сдвиг в космосе\nD. все эти объяснения верны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.04651708900928497, + "B": 0.2676873803138733, + "C": 0.18397866189479828, + "D": 0.4413418769836426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево срубят, что с ним будет?", + "option_a": "рост", + "option_b": "подавление жизненной силы", + "option_c": "энергия", + "option_d": "жизнь" + }, + "outputs": "B", + "meta": { + "id": 1512 + } + }, + "prompt": "<|im_start|>user\nЕсли дерево срубят, что с ним будет?\nA) рост\nB) подавление жизненной силы\nC) энергия\nD) жизнь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0634944960474968, + "B": 0.8765144348144531, + "C": 0.0011629422660917044, + "D": 0.000905700318980962 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что преобразует солнечный свет, воду и углекислый газ в рост?", + "option_a": "объект, который вращается вокруг Земли", + "option_b": "объект, который цветет", + "option_c": "объект, который летает в небе", + "option_d": "объект, который живет в пещерах" + }, + "outputs": "B", + "meta": { + "id": 1442 + } + }, + "prompt": "<|im_start|>user\nЧто преобразует солнечный свет, воду и углекислый газ в рост?\nA. объект, который вращается вокруг Земли\nB. объект, который цветет\nC. объект, который летает в небе\nD. объект, который живет в пещерах\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003855130635201931, + "B": 0.0005217351717874408, + "C": 0.0004604297282639891, + "D": 0.9433193802833557 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетка может фотосинтезировать, если это клетка", + "option_a": "хорька", + "option_b": "крачки", + "option_c": "попугая", + "option_d": "ивы" + }, + "outputs": "D", + "meta": { + "id": 1424 + } + }, + "prompt": "<|im_start|>user\nКлетка может фотосинтезировать, если это клетка\nA) хорька\nB) крачки\nC) попугая\nD) ивы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9239344596862793, + "B": 0.0007435205625370145, + "C": 0.00035121425753459334, + "D": 0.0007435205625370145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, могло бы заменить солнце в нашей солнечной системе?", + "option_a": "другая звезда", + "option_b": "Луна", + "option_c": "Юпитер", + "option_d": "Венера" + }, + "outputs": "A", + "meta": { + "id": 2056 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, могло бы заменить солнце в нашей солнечной системе?\nA. другая звезда\nB. Луна\nC. Юпитер\nD. Венера\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8851319551467896, + "B": 0.01621175743639469, + "C": 0.0015079284785315394, + "D": 0.007657892070710659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наклон Земли контролирует", + "option_a": "времена года", + "option_b": "приливы", + "option_c": "закаты", + "option_d": "часы" + }, + "outputs": "A", + "meta": { + "id": 1402 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Наклон Земли контролирует\nA. времена года\nB. приливы\nC. закаты\nD. часы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.877804696559906, + "B": 0.0001390980905853212, + "C": 9.560063335811719e-05, + "D": 0.0004284523311071098 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мертвые организмы - источник чего для разлагателей?", + "option_a": "питание", + "option_b": "гордость", + "option_c": "океаны", + "option_d": "люди" + }, + "outputs": "A", + "meta": { + "id": 1409 + } + }, + "prompt": "<|im_start|>user\nМертвые организмы - источник чего для разлагателей?\nA) питание\nB) гордость\nC) океаны\nD) люди\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.041173674166202545, + "B": 0.01716374233365059, + "C": 0.8269953727722168, + "D": 0.046655889600515366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В 60-е годы люди смотрели по телевизору, как люди впервые прошли", + "option_a": "по высокой крыше в большом городе", + "option_b": "по краю обрыва в горах", + "option_c": "по спутнику планеты без большого количества воздуха в нашей солнечной системе", + "option_d": ") на пляж в Бразилии" + }, + "outputs": "C", + "meta": { + "id": 1315 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В 60-е годы люди смотрели по телевизору, как люди впервые прошли\nA) по высокой крыше в большом городе\nB) по краю обрыва в горах\nC) по спутнику планеты без большого количества воздуха в нашей солнечной системе\nD) ) на пляж в Бразилии\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.3122180700302124, + "B": 0.45427456498146057, + "C": 0.04788018763065338, + "D": 0.07894107699394226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещь, которая превращается из большого предмета в узенький предмет, видна над нами некоторое время, находящееся в промежутке", + "option_a": "между неделей и месяцем", + "option_b": "между днем и парой недель", + "option_c": "между месяцем и декадой", + "option_d": "между минутой и часом" + }, + "outputs": "C", + "meta": { + "id": 1179 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вещь, которая превращается из большого предмета в узенький предмет, видна над нами некоторое время, находящееся в промежутке\nA. между неделей и месяцем\nB. между днем и парой недель\nC. между месяцем и декадой\nD. между минутой и часом\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.11333026736974716, + "B": 0.019693849608302116, + "C": 0.16489458084106445, + "D": 0.652170717716217 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чему из этого учат?", + "option_a": "мытье пола", + "option_b": "рыжие волосы", + "option_c": "избегание неприятных запахов", + "option_d": "прямая ходьба" + }, + "outputs": "A", + "meta": { + "id": 376 + } + }, + "prompt": "<|im_start|>user\nЧему из этого учат?\nA. мытье пола\nB. рыжие волосы\nC. избегание неприятных запахов\nD. прямая ходьба\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004438359290361404, + "B": 0.958418607711792, + "C": 0.0005300863413140178, + "D": 0.0005300863413140178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кактусы хранят жидкости в своих", + "option_a": "цветах", + "option_b": "стволах", + "option_c": "супермаркетах", + "option_d": "шкафчиках" + }, + "outputs": "B", + "meta": { + "id": 1511 + } + }, + "prompt": "<|im_start|>user\nКактусы хранят жидкости в своих\nA. цветах\nB. стволах\nC. супермаркетах\nD. шкафчиках\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8804246783256531, + "B": 0.011082910932600498, + "C": 0.0014999090926721692, + "D": 0.02346252277493477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда человек нажимает на педаль велосипеда, велосипед", + "option_a": "быстро ускоряется", + "option_b": "очень слабо замедляется", + "option_c": "не реагирует", + "option_d": "останавливается" + }, + "outputs": "A", + "meta": { + "id": 1760 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда человек нажимает на педаль велосипеда, велосипед\nA) быстро ускоряется\nB) очень слабо замедляется\nC) не реагирует\nD) останавливается\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.636423647403717, + "B": 0.014967250637710094, + "C": 0.004288189113140106, + "D": 0.26530084013938904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером выветривания являются", + "option_a": "песок", + "option_b": "острые валуны", + "option_c": "высокие деревья", + "option_d": "коралловые рифы" + }, + "outputs": "A", + "meta": { + "id": 1308 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером выветривания являются\nA. песок\nB. острые валуны\nC. высокие деревья\nD. коралловые рифы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6294224858283997, + "B": 0.03133710101246834, + "C": 0.14044314622879028, + "D": 0.09652506560087204 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что действует без контакта между объектами?", + "option_a": "притяжение противоположных зарядов", + "option_b": "трение", + "option_c": "вес", + "option_d": "давление" + }, + "outputs": "A", + "meta": { + "id": 2009 + } + }, + "prompt": "<|im_start|>user\nЧто действует без контакта между объектами?\nA. притяжение противоположных зарядов\nB. трение\nC. вес\nD. давление\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.9203951954841614, + "B": 0.0007406724034808576, + "C": 0.0010776720009744167, + "D": 0.014876802451908588 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гравитация больше всего влияет на воду, когда она", + "option_a": "покоится в океане или озере", + "option_b": "полна морских обитателей", + "option_c": "быстро течет с волнами", + "option_d": "находится на изогнутой поверхности" + }, + "outputs": "D", + "meta": { + "id": 1578 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Гравитация больше всего влияет на воду, когда она\nA) покоится в океане или озере\nB) полна морских обитателей\nC) быстро течет с волнами\nD) находится на изогнутой поверхности\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.027748972177505493, + "B": 0.002010128926485777, + "C": 0.0009495175909250975, + "D": 0.9189197421073914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая из следующих культур была основным продуктом питания человека?", + "option_a": "пшеница", + "option_b": "ячмень", + "option_c": "кукуруза", + "option_d": "рис" + }, + "outputs": "A", + "meta": { + "id": 2106 + } + }, + "prompt": "<|im_start|>user\nКакая из следующих культур была основным продуктом питания человека?\nA) пшеница\nB) ячмень\nC) кукуруза\nD) рис\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8151673674583435, + "B": 0.0029399527702480555, + "C": 0.02172347530722618, + "D": 0.0521119050681591 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда кислота пролилась на растение, оно начало", + "option_a": "расти", + "option_b": "петь", + "option_c": "цвести", + "option_d": "дымиться" + }, + "outputs": "D", + "meta": { + "id": 306 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда кислота пролилась на растение, оно начало\nA) расти\nB) петь\nC) цвести\nD) дымиться\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9079558849334717, + "B": 0.0006448070053011179, + "C": 0.00044316897401586175, + "D": 0.001986145507544279 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дом коалы может быть разрушен из-за", + "option_a": "лесного пожара", + "option_b": "магии", + "option_c": "разбитого сердца", + "option_d": "привязанности" + }, + "outputs": "A", + "meta": { + "id": 936 + } + }, + "prompt": "<|im_start|>user\nДом коалы может быть разрушен из-за\nA) лесного пожара\nB) магии\nC) разбитого сердца\nD) привязанности\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.06673291325569153, + "B": 0.8129733204841614, + "C": 0.0029320395551621914, + "D": 0.04047555476427078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если существо движется регулярно, то это существо", + "option_a": "вероятно, сильное", + "option_b": "вряд ли здоровое", + "option_c": "вот-вот умрет", + "option_d": "мало двигается" + }, + "outputs": "A", + "meta": { + "id": 2127 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если существо движется регулярно, то это существо\nA. вероятно, сильное\nB. вряд ли здоровое\nC. вот-вот умрет\nD. мало двигается\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003597959643229842, + "B": 0.8803917169570923, + "C": 0.003175188321620226, + "D": 0.026585526764392853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример объединения двух веществ:", + "option_a": "установка ноутбука на стол", + "option_b": "заливка сиропа в молоко", + "option_c": "строительство крыши дома", + "option_d": "размещение одежды в чемодане" + }, + "outputs": "B", + "meta": { + "id": 4 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример объединения двух веществ:\nA) установка ноутбука на стол\nB) заливка сиропа в молоко\nC) строительство крыши дома\nD) размещение одежды в чемодане\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.31239941716194153, + "B": 0.08950392156839371, + "C": 0.04227865859866142, + "D": 0.4545384645462036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Федор, который живет в Екатеринбурге, заметил, что время между восходом и заходом солнца было самым коротким за весь год. Какой месяц, скорее всего, будет следующим?", + "option_a": "июль", + "option_b": "апрель.", + "option_c": "сентябрь", + "option_d": "январь" + }, + "outputs": "D", + "meta": { + "id": 2096 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Федор, который живет в Екатеринбурге, заметил, что время между восходом и заходом солнца было самым коротким за весь год. Какой месяц, скорее всего, будет следующим?\nA) июль\nB) апрель.\nC) сентябрь\nD) январь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011344318045303226, + "B": 0.0021193977445364, + "C": 0.9688714146614075, + "D": 0.0034942959900945425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где найти живого дышащего дятла?", + "option_a": "на луне", + "option_b": "в наперстке", + "option_c": "в лесу", + "option_d": "в шкафу" + }, + "outputs": "C", + "meta": { + "id": 2291 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где найти живого дышащего дятла?\nA) на луне\nB) в наперстке\nC) в лесу\nD) в шкафу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.014689176343381405, + "B": 0.9087871313095093, + "C": 0.00890943594276905, + "D": 0.011439941823482513 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если я хочу получить больше энергии после чрезмерных нагрузок", + "option_a": "Я могу расчесать волосы", + "option_b": "Я могу пойти на пробежку", + "option_c": "Я могу съесть яблоко", + "option_d": "Я могу умыться" + }, + "outputs": "C", + "meta": { + "id": 1549 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если я хочу получить больше энергии после чрезмерных нагрузок\nA. Я могу расчесать волосы\nB. Я могу пойти на пробежку\nC. Я могу съесть яблоко\nD. Я могу умыться\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.019755804911255836, + "B": 0.0009835836244747043, + "C": 0.0023594945669174194, + "D": 0.9518879652023315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения не смогли бы стоять, если бы им не хватало", + "option_a": "нескольких листьев, поддерживаемых на торсе", + "option_b": "геля, который формирует цветы", + "option_c": "способность цвести каждую ночь", + "option_d": "крошечных опорных структур внутри" + }, + "outputs": "D", + "meta": { + "id": 1721 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растения не смогли бы стоять, если бы им не хватало\nA. нескольких листьев, поддерживаемых на торсе\nB. геля, который формирует цветы\nC. способность цвести каждую ночь\nD. крошечных опорных структур внутри\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8850792050361633, + "B": 0.001330662751570344, + "C": 0.0004895234596915543, + "D": 0.04406549781560898 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что гарантирует, что к кончикам ваших пальцев будет поступать достаточно газа, который производят растения?", + "option_a": "ваша система кровообращения", + "option_b": "ваша поджелудочная железа", + "option_c": "теплые носки", + "option_d": "ваша нервная система" + }, + "outputs": "A", + "meta": { + "id": 2001 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что гарантирует, что к кончикам ваших пальцев будет поступать достаточно газа, который производят растения?\nA. ваша система кровообращения\nB. ваша поджелудочная железа\nC. теплые носки\nD. ваша нервная система\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00046767061576247215, + "B": 0.9581543803215027, + "C": 0.00013398987357504666, + "D": 0.00032142497366294265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером создания альтернативного топлива является превращение какого материала в топливо?", + "option_a": "песок", + "option_b": "растительность", + "option_c": "минералы", + "option_d": "горные породы" + }, + "outputs": "B", + "meta": { + "id": 1769 + } + }, + "prompt": "<|im_start|>user\nПримером создания альтернативного топлива является превращение какого материала в топливо?\nA. песок\nB. растительность\nC. минералы\nD. горные породы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6510319113731384, + "B": 0.007232311647385359, + "C": 0.002660618629306555, + "D": 0.27139046788215637 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для сборки велосипеда необходимо все это, кроме одного. Чего именно?", + "option_a": "Спицы", + "option_b": "Болты", + "option_c": "Гайки", + "option_d": "Гвозди" + }, + "outputs": "D", + "meta": { + "id": 203 + } + }, + "prompt": "<|im_start|>user\nДля сборки велосипеда необходимо все это, кроме одного. Чего именно?\nA. Спицы\nB. Болты\nC. Гайки\nD. Гвозди\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0017870257142931223, + "B": 0.00011424072727095336, + "C": 0.0007449431577697396, + "D": 0.9257022142410278 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дверной звонок был нажат, но звука не было. Что могло быть причиной этого?", + "option_a": "атмосферное давление", + "option_b": "высокая температура", + "option_c": "снеговик во дворе", + "option_d": "разряженные батарейки" + }, + "outputs": "D", + "meta": { + "id": 2072 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дверной звонок был нажат, но звука не было. Что могло быть причиной этого?\nA. атмосферное давление\nB. высокая температура\nC. снеговик во дворе\nD. разряженные батарейки\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014617487322539091, + "B": 0.00032616022508591413, + "C": 0.00041879803757183254, + "D": 0.9722699522972107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеку нужно есть фрукты и овощи, чтобы вести здоровый образ жизни, поэтому другие люди должны", + "option_a": "затоплять поля", + "option_b": "есть чипсы", + "option_c": "покупать рогалики", + "option_d": "заниматься сельским хозяйством" + }, + "outputs": "D", + "meta": { + "id": 187 + } + }, + "prompt": "<|im_start|>user\nЧеловеку нужно есть фрукты и овощи, чтобы вести здоровый образ жизни, поэтому другие люди должны\nA) затоплять поля\nB) есть чипсы\nC) покупать рогалики\nD) заниматься сельским хозяйством\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8678563237190247, + "B": 0.004554091952741146, + "C": 0.0035467303823679686, + "D": 0.002151200780645013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По сравнению с обычным пловцом, на организм аквалангиста приходится больше", + "option_a": "давления", + "option_b": "тепла", + "option_c": "воды", + "option_d": "воздуха" + }, + "outputs": "A", + "meta": { + "id": 2098 + } + }, + "prompt": "<|im_start|>user\nПо сравнению с обычным пловцом, на организм аквалангиста приходится больше\nA) давления\nB) тепла\nC) воды\nD) воздуха\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.031747475266456604, + "B": 0.0003112412814516574, + "C": 0.00179106998257339, + "D": 0.9277971982955933 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличительное стекло", + "option_a": "может улучшить ощущения пользователя", + "option_b": "поможет усилить запах наблюдаемого образца", + "option_c": "может размыть ноги муравья", + "option_d": "позволит пользователю лучше видеть ноги муравья" + }, + "outputs": "D", + "meta": { + "id": 244 + } + }, + "prompt": "<|im_start|>user\nУвеличительное стекло\nA. может улучшить ощущения пользователя\nB. поможет усилить запах наблюдаемого образца\nC. может размыть ноги муравья\nD. позволит пользователю лучше видеть ноги муравья\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01423879899084568, + "B": 0.030143536627292633, + "C": 0.880923330783844, + "D": 0.034157101064920425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево падает в лесу, а затем покрывается грязью, от него когда-нибудь могут остаться:", + "option_a": "туалетная бумага", + "option_b": "домики для снежных людей", + "option_c": "отпечатки на скальных породах", + "option_d": "следы на пляже" + }, + "outputs": "C", + "meta": { + "id": 682 + } + }, + "prompt": "<|im_start|>user\nЕсли дерево падает в лесу, а затем покрывается грязью, от него когда-нибудь могут остаться:\nA) туалетная бумага\nB) домики для снежных людей\nC) отпечатки на скальных породах\nD) следы на пляже\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.40795886516571045, + "B": 0.002140771597623825, + "C": 0.004532013554126024, + "D": 0.5238295793533325 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чему лейкоциты позволяют оставаться в организме?", + "option_a": "кислород", + "option_b": "вирусы", + "option_c": "паразиты", + "option_d": "бактерии" + }, + "outputs": "A", + "meta": { + "id": 80 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чему лейкоциты позволяют оставаться в организме?\nA. кислород\nB. вирусы\nC. паразиты\nD. бактерии\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6987304091453552, + "B": 0.02109983004629612, + "C": 0.13758817315101624, + "D": 0.02109983004629612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более светлые объекты отражают больше света, например,", + "option_a": "светло-сиреневую дверь легко увидеть", + "option_b": "экраны телефонов почти не отражают", + "option_c": "зеркало не может быть темным", + "option_d": "легко увидеть черную дверь" + }, + "outputs": "A", + "meta": { + "id": 647 + } + }, + "prompt": "<|im_start|>user\nБолее светлые объекты отражают больше света, например,\nA) светло-сиреневую дверь легко увидеть\nB) экраны телефонов почти не отражают\nC) зеркало не может быть темным\nD) легко увидеть черную дверь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002683196682482958, + "B": 0.00022025017824489623, + "C": 0.0012674522586166859, + "D": 0.9552841186523438 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что и как образует долины?", + "option_a": "сильные ветры, приносящие дождь и град", + "option_b": "лужи воды, заполняющиеся до тех пор, пока не образуется глубокое озеро", + "option_c": "дождевая вода, часто льющаяся вниз", + "option_d": "постоянное движение воды по прямому или извилистому пути" + }, + "outputs": "D", + "meta": { + "id": 69 + } + }, + "prompt": "<|im_start|>user\nЧто и как образует долины?\nA. сильные ветры, приносящие дождь и град\nB. лужи воды, заполняющиеся до тех пор, пока не образуется глубокое озеро\nC. дождевая вода, часто льющаяся вниз\nD. постоянное движение воды по прямому или извилистому пути\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.035662904381752014, + "B": 0.9197584390640259, + "C": 0.00027228964609093964, + "D": 0.0005087039899080992 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если два ястреба найдут мертвую лису, они", + "option_a": "подерутся", + "option_b": "съедят", + "option_c": "умрут от голода", + "option_d": "полетят прочь" + }, + "outputs": "A", + "meta": { + "id": 200 + } + }, + "prompt": "<|im_start|>user\nЕсли два ястреба найдут мертвую лису, они\nA) подерутся\nB) съедят\nC) умрут от голода\nD) полетят прочь\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8991777300834656, + "B": 0.0007235980010591447, + "C": 0.0019669432658702135, + "D": 0.0004973211325705051 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Транспирация включает в себя", + "option_a": "перемещение H2O по системе нарцисса", + "option_b": "перемещение пыльцы по системе растения", + "option_c": "производство новых молекул кислорода", + "option_d": "производство новых саженцев" + }, + "outputs": "A", + "meta": { + "id": 1852 + } + }, + "prompt": "<|im_start|>user\nТранспирация включает в себя\nA) перемещение H2O по системе нарцисса\nB) перемещение пыльцы по системе растения\nC) производство новых молекул кислорода\nD) производство новых саженцев\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007033365312963724, + "B": 0.9211891293525696, + "C": 0.003322326811030507, + "D": 0.019118670374155045 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кондор кричал от боли, когда его крыло было обожжено", + "option_a": "льдом", + "option_b": "пламенем костра", + "option_c": "электричеством", + "option_d": "водой" + }, + "outputs": "B", + "meta": { + "id": 317 + } + }, + "prompt": "<|im_start|>user\nКондор кричал от боли, когда его крыло было обожжено\nA. льдом\nB. пламенем костра\nC. электричеством\nD. водой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.23008593916893005, + "B": 0.29543617367744446, + "C": 0.26072150468826294, + "D": 0.1231561228632927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль может быть приведен в действие всем, кроме", + "option_a": "движения атмосферы", + "option_b": "очищенных продуктов ископаемого топлива", + "option_c": "толчка кота", + "option_d": "тепла солнца" + }, + "outputs": "C", + "meta": { + "id": 441 + } + }, + "prompt": "<|im_start|>user\nАвтомобиль может быть приведен в действие всем, кроме\nA. движения атмосферы\nB. очищенных продуктов ископаемого топлива\nC. толчка кота\nD. тепла солнца\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.031205320730805397, + "B": 0.20348425209522247, + "C": 0.00894047413021326, + "D": 0.7102298140525818 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Самолет летит по воздуху вокруг", + "option_a": "пещеры", + "option_b": "черной дыры", + "option_c": "подводной лодки", + "option_d": "планеты" + }, + "outputs": "D", + "meta": { + "id": 445 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Самолет летит по воздуху вокруг\nA. пещеры\nB. черной дыры\nC. подводной лодки\nD. планеты\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009476490318775177, + "B": 0.8530464768409729, + "C": 0.020061729475855827, + "D": 0.04247068241238594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы определить, насколько твердым может быть определенный минерал, человек может:", + "option_a": "измерить его вес", + "option_b": "попытаться оставить на нем отметку", + "option_c": "раздавить его, чтобы увидеть изнутри", + "option_d": "посмотреть, может ли он отскочить" + }, + "outputs": "B", + "meta": { + "id": 1302 + } + }, + "prompt": "<|im_start|>user\nЧтобы определить, насколько твердым может быть определенный минерал, человек может:\nA) измерить его вес\nB) попытаться оставить на нем отметку\nC) раздавить его, чтобы увидеть изнутри\nD) посмотреть, может ли он отскочить\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04108268395066261, + "B": 0.11167430877685547, + "C": 0.02823568508028984, + "D": 0.7282079458236694 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мрамор не может образовываться, пока лава", + "option_a": "оскорбляет вулкан", + "option_b": "затвердевает", + "option_c": "остывает", + "option_d": "еще горячая" + }, + "outputs": "D", + "meta": { + "id": 791 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мрамор не может образовываться, пока лава\nA) оскорбляет вулкан\nB) затвердевает\nC) остывает\nD) еще горячая\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9181934595108032, + "B": 0.002008540090173483, + "C": 0.0005754563026130199, + "D": 0.0006520774913951755 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земля получает тепло от:", + "option_a": "звезды, вокруг которой она вращается", + "option_b": "солнца другой ближайшей галактики", + "option_c": "парниковых газов в ее атмосфере", + "option_d": "часто случающихся солнечных затмений" + }, + "outputs": "A", + "meta": { + "id": 1016 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земля получает тепло от:\nA) звезды, вокруг которой она вращается\nB) солнца другой ближайшей галактики\nC) парниковых газов в ее атмосфере\nD) часто случающихся солнечных затмений\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4317849278450012, + "B": 0.08502349257469177, + "C": 0.3362744450569153, + "D": 0.03544306382536888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Весы", + "option_a": ", помогают пользователям узнать, нужно ли им сбросить несколько фунтов.", + "option_b": "измеряют рост пользователя", + "option_c": "измеряют, сколько жира на животе у пользователя", + "option_d": "помогают пользователям определить уровень сахара в крови" + }, + "outputs": "A", + "meta": { + "id": 2154 + } + }, + "prompt": "<|im_start|>user\nВесы\nA. , помогают пользователям узнать, нужно ли им сбросить несколько фунтов.\nB. измеряют рост пользователя\nC. измеряют, сколько жира на животе у пользователя\nD. помогают пользователям определить уровень сахара в крови\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8712007999420166, + "B": 0.001484195119701326, + "C": 0.001681813271716237, + "D": 0.04914978891611099 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если сорняк вырывается, то что с ним происходит?", + "option_a": "процветает", + "option_b": "становится некрасивым", + "option_c": "функционирует", + "option_d": "погибает" + }, + "outputs": "D", + "meta": { + "id": 1774 + } + }, + "prompt": "<|im_start|>user\nЕсли сорняк вырывается, то что с ним происходит?\nA. процветает\nB. становится некрасивым\nC. функционирует\nD. погибает\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00939096137881279, + "B": 0.00014259420277085155, + "C": 0.00010432415729155764, + "D": 0.957904040813446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда клетка поглощает кислород и использует клеточное дыхание, она затем испускает", + "option_a": "воду", + "option_b": "дым", + "option_c": "солнечный свет", + "option_d": "CO2" + }, + "outputs": "D", + "meta": { + "id": 2285 + } + }, + "prompt": "<|im_start|>user\nКогда клетка поглощает кислород и использует клеточное дыхание, она затем испускает\nA) воду\nB) дым\nC) солнечный свет\nD) CO2\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01108471304178238, + "B": 0.8805678486824036, + "C": 0.00761840445920825, + "D": 0.034143321216106415 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Область, где большую часть года выпадает снег, часто бывает", + "option_a": "дождливой", + "option_b": "высотной", + "option_c": "ветреной", + "option_d": "лесистой" + }, + "outputs": "B", + "meta": { + "id": 1156 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Область, где большую часть года выпадает снег, часто бывает\nA. дождливой\nB. высотной\nC. ветреной\nD. лесистой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12580464780330658, + "B": 0.002610992407426238, + "C": 0.0033525803592056036, + "D": 0.820349395275116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что наиболее вероятно?", + "option_a": "самка мухи откладывает яйца, пока является личинкой", + "option_b": "самец мухи откладывает яйца, пока является личинкой", + "option_c": "самец мухи откладывает яйца, когда он взрослый", + "option_d": "самка мухи откладывает яйца, когда она стала взрослой" + }, + "outputs": "D", + "meta": { + "id": 1489 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что наиболее вероятно?\nA. самка мухи откладывает яйца, пока является личинкой\nB. самец мухи откладывает яйца, пока является личинкой\nC. самец мухи откладывает яйца, когда он взрослый\nD. самка мухи откладывает яйца, когда она стала взрослой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08466599881649017, + "B": 0.03529404103755951, + "C": 0.031146882101893425, + "D": 0.8032886981964111 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стоя на искрящихся проводах, вы ничего не чувствуете, потому что", + "option_a": "на вас брюки", + "option_b": "вы просто невосприимчивы", + "option_c": "на вас каска", + "option_d": "на вас кроссовки" + }, + "outputs": "D", + "meta": { + "id": 2231 + } + }, + "prompt": "<|im_start|>user\nСтоя на искрящихся проводах, вы ничего не чувствуете, потому что\nA. на вас брюки\nB. вы просто невосприимчивы\nC. на вас каска\nD. на вас кроссовки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21312735974788666, + "B": 0.21312735974788666, + "C": 0.45119062066078186, + "D": 0.02246345765888691 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если с дуба удалить листья, это может привести к тому, что дерево", + "option_a": "потеряет воду", + "option_b": "потеряет желуди", + "option_c": "потеряет энергию", + "option_d": "потеряет кору" + }, + "outputs": "C", + "meta": { + "id": 1652 + } + }, + "prompt": "<|im_start|>user\nЕсли с дуба удалить листья, это может привести к тому, что дерево\nA. потеряет воду\nB. потеряет желуди\nC. потеряет энергию\nD. потеряет кору\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9121789336204529, + "B": 0.0006478060968220234, + "C": 0.0012102611362934113, + "D": 0.006964571308344603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что имеет хорошо ощутимые ароматы?", + "option_a": "сыр", + "option_b": "металлы", + "option_c": "звезды", + "option_d": "велосипеды" + }, + "outputs": "A", + "meta": { + "id": 1413 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что имеет хорошо ощутимые ароматы?\nA. сыр\nB. металлы\nC. звезды\nD. велосипеды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5839875936508179, + "B": 0.03733307495713234, + "C": 0.21483704447746277, + "D": 0.04230391979217529 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Толстые перья можно использовать для", + "option_a": "лазания, раскалывания орехов и снятия кожуры фруктов", + "option_b": "ухаживания и поиска пищи", + "option_c": "сохранения устойчивости к погодным условиям, гибкости опоры в полете и защиты от бактерий", + "option_d": "убийства добычи, чистки и кормления детенышей" + }, + "outputs": "C", + "meta": { + "id": 829 + } + }, + "prompt": "<|im_start|>user\nТолстые перья можно использовать для\nA) лазания, раскалывания орехов и снятия кожуры фруктов\nB) ухаживания и поиска пищи\nC) сохранения устойчивости к погодным условиям, гибкости опоры в полете и защиты от бактерий\nD) убийства добычи, чистки и кормления детенышей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005933874752372503, + "B": 0.8806650638580322, + "C": 0.014234625734388828, + "D": 0.04968372732400894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая плотная среда часто бывает темного цвета?", + "option_a": "равнины", + "option_b": "лесной массив", + "option_c": "горы", + "option_d": "пустыня" + }, + "outputs": "B", + "meta": { + "id": 1115 + } + }, + "prompt": "<|im_start|>user\nКакая плотная среда часто бывает темного цвета?\nA) равнины\nB) лесной массив\nC) горы\nD) пустыня\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09534669667482376, + "B": 0.5486823916435242, + "C": 0.010049469769001007, + "D": 0.2936885356903076 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы хотите, чтобы в летние месяцы в вашем доме было прохладно", + "option_a": "посадите плющ вокруг деревьев", + "option_b": "посадите деревья, которые будут возвышаться над домом", + "option_c": "посадите кусты вокруг фундамента", + "option_d": "посадите кусты, которые не вырастают выше трав" + }, + "outputs": "B", + "meta": { + "id": 425 + } + }, + "prompt": "<|im_start|>user\nЕсли вы хотите, чтобы в летние месяцы в вашем доме было прохладно\nA. посадите плющ вокруг деревьев\nB. посадите деревья, которые будут возвышаться над домом\nC. посадите кусты вокруг фундамента\nD. посадите кусты, которые не вырастают выше трав\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00025148692657239735, + "B": 0.9625979661941528, + "C": 9.251687879441306e-05, + "D": 0.00025148692657239735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кролики - травоядные животные, то есть они", + "option_a": "едят металл", + "option_b": "едят растительность", + "option_c": "едят людей", + "option_d": "едят динозавров" + }, + "outputs": "B", + "meta": { + "id": 1859 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кролики - травоядные животные, то есть они\nA. едят металл\nB. едят растительность\nC. едят людей\nD. едят динозавров\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.2979455590248108, + "B": 0.6307507157325745, + "C": 0.0061836629174649715, + "D": 0.00545706320554018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что сделано из минералов?", + "option_a": "Стоунхендж", + "option_b": "автомобильные двигатели", + "option_c": "спирт", + "option_d": "электричество" + }, + "outputs": "A", + "meta": { + "id": 1960 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что сделано из минералов?\nA) Стоунхендж\nB) автомобильные двигатели\nC) спирт\nD) электричество\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004422970116138458, + "B": 0.000986897968687117, + "C": 0.0020892631728202105, + "D": 0.9550955295562744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сойки находят питание в", + "option_a": "металлических синих колокольчиках", + "option_b": "пластиковых бусинах", + "option_c": "философии", + "option_d": "шелковице" + }, + "outputs": "D", + "meta": { + "id": 2258 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сойки находят питание в\nA. металлических синих колокольчиках\nB. пластиковых бусинах\nC. философии\nD. шелковице\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.003829172346740961, + "B": 0.9369676113128662, + "C": 0.0026317492593079805, + "D": 0.0026317492593079805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Розе легче всего расти", + "option_a": "в бетонных джунглях", + "option_b": "в чьем-то животе", + "option_c": "на вспаханной земле", + "option_d": "на кирпиче" + }, + "outputs": "C", + "meta": { + "id": 1369 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Розе легче всего расти\nA. в бетонных джунглях\nB. в чьем-то животе\nC. на вспаханной земле\nD. на кирпиче\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.25489792227745056, + "B": 0.0028316599782556295, + "C": 0.003208691254258156, + "D": 0.6928843259811401 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного может побудить больше людей носить маски?", + "option_a": "Велогонка с сотнями участников", + "option_b": "использование электрических газонокосилок", + "option_c": "автобус, в котором в качестве топлива используется нефтепродукт", + "option_d": "зараженное мясо гамбургера из продуктового магазина" + }, + "outputs": "C", + "meta": { + "id": 943 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из перечисленного может побудить больше людей носить маски?\nA. Велогонка с сотнями участников\nB. использование электрических газонокосилок\nC. автобус, в котором в качестве топлива используется нефтепродукт\nD. зараженное мясо гамбургера из продуктового магазина\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.0029943755362182856, + "B": 0.015206693671643734, + "C": 0.9408048391342163, + "D": 0.010451397858560085 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проводник электричества необходим, чтобы", + "option_a": "вонзить нож для масла в хлеб", + "option_b": "испечь капкейк в микроволновке", + "option_c": "привести в движение двухколесный велосипед", + "option_d": "раскачать качели" + }, + "outputs": "B", + "meta": { + "id": 1311 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Проводник электричества необходим, чтобы\nA. вонзить нож для масла в хлеб\nB. испечь капкейк в микроволновке\nC. привести в движение двухколесный велосипед\nD. раскачать качели\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.18463708460330963, + "B": 0.6444467306137085, + "C": 0.022051755338907242, + "D": 0.05289940908551216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После того, как цыплят выпустили в поле, популяция червей", + "option_a": "дала взрывной рост", + "option_b": "увеличилась", + "option_c": "уменьшилась", + "option_d": "колебалась" + }, + "outputs": "C", + "meta": { + "id": 2182 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: После того, как цыплят выпустили в поле, популяция червей\nA) дала взрывной рост\nB) увеличилась\nC) уменьшилась\nD) колебалась\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00439142482355237, + "B": 0.9482836127281189, + "C": 0.004976135678589344, + "D": 0.007240234408527613 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком месте больше всего солнечного света?", + "option_a": "север Канады", + "option_b": "Сахара", + "option_c": "тропические леса Бразилии", + "option_d": "север России" + }, + "outputs": "B", + "meta": { + "id": 1835 + } + }, + "prompt": "<|im_start|>user\nВ каком месте больше всего солнечного света?\nA. север Канады\nB. Сахара\nC. тропические леса Бразилии\nD. север России\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0026798169128596783, + "B": 0.00028245060821063817, + "C": 0.0020870433654636145, + "D": 0.9540808796882629 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является побочным продуктом работы лампочки?", + "option_a": "вкус", + "option_b": "смерть", + "option_c": "звук", + "option_d": "тепло" + }, + "outputs": "D", + "meta": { + "id": 267 + } + }, + "prompt": "<|im_start|>user\nЧто является побочным продуктом работы лампочки?\nA. вкус\nB. смерть\nC. звук\nD. тепло\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8925550580024719, + "B": 0.0003844614257104695, + "C": 0.0004936582408845425, + "D": 0.00991539191454649 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Могучая река течет по местности тысячелетиями. Впоследствии можно отметить, что там, где когда-то были реки, теперь есть", + "option_a": "массивные каньоны", + "option_b": "большие кирпичи", + "option_c": "старые носки", + "option_d": "небольшие ручьи" + }, + "outputs": "A", + "meta": { + "id": 1740 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Могучая река течет по местности тысячелетиями. Впоследствии можно отметить, что там, где когда-то были реки, теперь есть\nA) массивные каньоны\nB) большие кирпичи\nC) старые носки\nD) небольшие ручьи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8139307498931885, + "B": 0.001386628719046712, + "C": 0.07570735365152359, + "D": 0.0037692475598305464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Твердость минералов можно измерить определенными способами, например, чем?", + "option_a": "приложение давления с помощью острого, жесткого предмета, чтобы оставить следы", + "option_b": "нагрев минералов до высоких температур", + "option_c": "ударяя минералы более твердым камнем", + "option_d": "беря кусочки металла и сравнивая текстуру с минералами" + }, + "outputs": "A", + "meta": { + "id": 223 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Твердость минералов можно измерить определенными способами, например, чем?\nA) приложение давления с помощью острого, жесткого предмета, чтобы оставить следы\nB) нагрев минералов до высоких температур\nC) ударяя минералы более твердым камнем\nD) беря кусочки металла и сравнивая текстуру с минералами\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007143716793507338, + "B": 0.9356423616409302, + "C": 0.000517489155754447, + "D": 0.002628026995807886 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Использование ветра для питания заводов - хорошая идея, потому что", + "option_a": "он не содержит грязи", + "option_b": "его можно получать непрерывно", + "option_c": "он электрический и мощный", + "option_d": "использует очень мало бензина" + }, + "outputs": "B", + "meta": { + "id": 543 + } + }, + "prompt": "<|im_start|>user\nИспользование ветра для питания заводов - хорошая идея, потому что\nA) он не содержит грязи\nB) его можно получать непрерывно\nC) он электрический и мощный\nD) использует очень мало бензина\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.17353013157844543, + "B": 0.286102831363678, + "C": 0.049717213958501816, + "D": 0.416277140378952 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из них больше всего пострадает от яда?", + "option_a": "мертвый", + "option_b": "минеральный", + "option_c": "деятельный", + "option_d": "разлагающийся" + }, + "outputs": "C", + "meta": { + "id": 251 + } + }, + "prompt": "<|im_start|>user\nКакой из них больше всего пострадает от яда?\nA) мертвый\nB) минеральный\nC) деятельный\nD) разлагающийся\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07117506861686707, + "B": 0.014015202410519123, + "C": 0.001673877239227295, + "D": 0.8670898675918579 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Болезнь отрицательно сказывается на здоровье кого?", + "option_a": "камня", + "option_b": "кирпича", + "option_c": "пластмассы", + "option_d": "ламы" + }, + "outputs": "D", + "meta": { + "id": 2326 + } + }, + "prompt": "<|im_start|>user\nБолезнь отрицательно сказывается на здоровье кого?\nA) камня\nB) кирпича\nC) пластмассы\nD) ламы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0064423903822898865, + "B": 0.9561355113983154, + "C": 0.0002497985551599413, + "D": 0.003907507285475731 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что травоядные животные делают с растениями", + "option_a": "сжигают их", + "option_b": "перекусывают ими", + "option_c": "продают их", + "option_d": "сажают их" + }, + "outputs": "B", + "meta": { + "id": 743 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что травоядные животные делают с растениями\nA) сжигают их\nB) перекусывают ими\nC) продают их\nD) сажают их\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.031627848744392395, + "B": 0.000842853682115674, + "C": 0.0002736345340963453, + "D": 0.924301266670227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если я чувствую слабость после большой активности, и чтобы исправить это,я могу", + "option_a": "воспользоваться ванной", + "option_b": "больше заниматься спортом", + "option_c": "устроить вечеринку", + "option_d": "съесть яблоко" + }, + "outputs": "D", + "meta": { + "id": 849 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если я чувствую слабость после большой активности, и чтобы исправить это,я могу\nA. воспользоваться ванной\nB. больше заниматься спортом\nC. устроить вечеринку\nD. съесть яблоко\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02762780524790287, + "B": 0.9149072766304016, + "C": 0.0017661865567788482, + "D": 0.007915498688817024 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет труднее увидеть при росте светового загрязнения?", + "option_a": "небо", + "option_b": "звезды", + "option_c": "луна", + "option_d": "солнце" + }, + "outputs": "B", + "meta": { + "id": 138 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет труднее увидеть при росте светового загрязнения?\nA) небо\nB) звезды\nC) луна\nD) солнце\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8492395877838135, + "B": 0.015554366633296013, + "C": 0.013726679608225822, + "D": 0.009434200823307037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого поможет человеку пройти через темный подвал?", + "option_a": "свеча и спичка", + "option_b": "перегоревшая электрическая лампа", + "option_c": "масляный фонарь без масла", + "option_d": "сломанный военный фонарь" + }, + "outputs": "A", + "meta": { + "id": 16 + } + }, + "prompt": "<|im_start|>user\nЧто из этого поможет человеку пройти через темный подвал?\nA) свеча и спичка\nB) перегоревшая электрическая лампа\nC) масляный фонарь без масла\nD) сломанный военный фонарь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.008110950700938702, + "B": 0.9374985098838806, + "C": 0.00040382047882303596, + "D": 0.0010976978810504079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собаки делают толстую шкуру тоньше за счет", + "option_a": "стрижки", + "option_b": "линьки", + "option_c": "бритья", + "option_d": "продажи" + }, + "outputs": "B", + "meta": { + "id": 2116 + } + }, + "prompt": "<|im_start|>user\nСобаки делают толстую шкуру тоньше за счет\nA. стрижки\nB. линьки\nC. бритья\nD. продажи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0007652881322428584, + "B": 0.9509838819503784, + "C": 0.00021925871260464191, + "D": 0.0003190195420756936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой цвет имеют замороженные осадки, покрывающие опавшие листья в северном полушарии?", + "option_a": "серый", + "option_b": "белый", + "option_c": "желтый", + "option_d": "зеленый" + }, + "outputs": "B", + "meta": { + "id": 2286 + } + }, + "prompt": "<|im_start|>user\nКакой цвет имеют замороженные осадки, покрывающие опавшие листья в северном полушарии?\nA) серый\nB) белый\nC) желтый\nD) зеленый\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0018728503491729498, + "B": 9.324372513219714e-05, + "C": 4.9909773224499077e-05, + "D": 0.9701604843139648 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где охраняются лоси?", + "option_a": "собачьи будки", + "option_b": "статуи", + "option_c": "кошачьи поилки", + "option_d": "природные парки" + }, + "outputs": "D", + "meta": { + "id": 1616 + } + }, + "prompt": "<|im_start|>user\nГде охраняются лоси?\nA) собачьи будки\nB) статуи\nC) кошачьи поилки\nD) природные парки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.01876545324921608, + "B": 0.9041702151298523, + "C": 0.01876545324921608, + "D": 0.007822604849934578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из признаков указывают на неживое дерево?", + "option_a": "оно расположено горизонтально на территории парка", + "option_b": "ни один из перечисленных здесь признаков", + "option_c": "оно свежее и зеленое с сильными корнями", + "option_d": "оно высокое и с цветами" + }, + "outputs": "A", + "meta": { + "id": 605 + } + }, + "prompt": "<|im_start|>user\nКакие из признаков указывают на неживое дерево?\nA) оно расположено горизонтально на территории парка\nB) ни один из перечисленных здесь признаков\nC) оно свежее и зеленое с сильными корнями\nD) оно высокое и с цветами\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0012470487272366881, + "B": 0.00010896590538322926, + "C": 0.0003572854329831898, + "D": 0.9399058222770691 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как на аукционе продавец может избежать слишком больших убытков?", + "option_a": "заставить покупателя остерегаться", + "option_b": "блокировать аукцион", + "option_c": "запечатывать заявки", + "option_d": "установить резервную цену" + }, + "outputs": "D", + "meta": { + "id": 462 + } + }, + "prompt": "<|im_start|>user\nКак на аукционе продавец может избежать слишком больших убытков?\nA) заставить покупателя остерегаться\nB) блокировать аукцион\nC) запечатывать заявки\nD) установить резервную цену\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.008754008449614048, + "B": 0.8929330706596375, + "C": 0.014432919211685658, + "D": 0.02379585988819599 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приготовление пищи требует добавления чего?", + "option_a": "замороженная вода", + "option_b": "открытое пламя", + "option_c": "холод", + "option_d": "воздух" + }, + "outputs": "B", + "meta": { + "id": 660 + } + }, + "prompt": "<|im_start|>user\nПриготовление пищи требует добавления чего?\nA. замороженная вода\nB. открытое пламя\nC. холод\nD. воздух\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005003520753234625, + "B": 0.0007673147483728826, + "C": 0.0002822793321684003, + "D": 0.9535022974014282 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, например, производит перебирание пальцами гитарных струн?", + "option_a": "ослабление самой толстой гитарной струны", + "option_b": "прекращение воспроизведения музыкальных звуков", + "option_c": "исчезновение гитары", + "option_d": "создание музыки с помощью инструмента" + }, + "outputs": "D", + "meta": { + "id": 145 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, например, производит перебирание пальцами гитарных струн?\nA. ослабление самой толстой гитарной струны\nB. прекращение воспроизведения музыкальных звуков\nC. исчезновение гитары\nD. создание музыки с помощью инструмента\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009358782321214676, + "B": 0.0020882263779640198, + "C": 0.00041119614616036415, + "D": 0.9546216726303101 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зачем благотворителям жертвовать специальные соломинки в помощь бедным странам?", + "option_a": "они загрязняют воду", + "option_b": "им нужна соломинка", + "option_c": "они отравляют воду", + "option_d": "они очищают воду" + }, + "outputs": "D", + "meta": { + "id": 1674 + } + }, + "prompt": "<|im_start|>user\nЗачем благотворителям жертвовать специальные соломинки в помощь бедным странам?\nA. они загрязняют воду\nB. им нужна соломинка\nC. они отравляют воду\nD. они очищают воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9358592629432678, + "B": 0.0006646232795901597, + "C": 0.00019041776249650866, + "D": 0.0010957784252241254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое действие совершает пот после того, как он образуется?", + "option_a": "он испаряется или падает", + "option_b": "он сжимается", + "option_c": "он расширяется", + "option_d": "он поднимается" + }, + "outputs": "A", + "meta": { + "id": 2238 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое действие совершает пот после того, как он образуется?\nA. он испаряется или падает\nB. он сжимается\nC. он расширяется\nD. он поднимается\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.017589092254638672, + "B": 0.18910054862499237, + "C": 0.002380424877628684, + "D": 0.7479072213172913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Имея вытянутые ноги, это существо может ловить окуня сверху.", + "option_a": "пчела", + "option_b": "орел", + "option_c": "воробей", + "option_d": "акула" + }, + "outputs": "B", + "meta": { + "id": 2239 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Имея вытянутые ноги, это существо может ловить окуня сверху.\nA. пчела\nB. орел\nC. воробей\nD. акула\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9141319990158081, + "B": 0.0008335805032402277, + "C": 0.002265906659886241, + "D": 0.01150722336024046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустынной среде обитают", + "option_a": "насекомые", + "option_b": "банановые деревья", + "option_c": "секвойи", + "option_d": "рыба" + }, + "outputs": "A", + "meta": { + "id": 2036 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В пустынной среде обитают\nA. насекомые\nB. банановые деревья\nC. секвойи\nD. рыба\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8574750423431396, + "B": 0.0006900384905748069, + "C": 0.0007819160236977041, + "D": 0.05481654405593872 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Утилизация старых автомобилей положительно влияет", + "option_a": "на повторное использование металла", + "option_b": "на погоду", + "option_c": "на продолжительность жизни человека", + "option_d": "на экономику" + }, + "outputs": "A", + "meta": { + "id": 417 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Утилизация старых автомобилей положительно влияет\nA. на повторное использование металла\nB. на погоду\nC. на продолжительность жизни человека\nD. на экономику\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007813526317477226, + "B": 0.003968036267906427, + "C": 0.9709464311599731, + "D": 0.0006085180211812258 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Важно утилизировать металлы, потому что они", + "option_a": "опасны для производства", + "option_b": "трудно добываются", + "option_c": "из числа невозобновляемых ресурсов", + "option_d": "дорого стоят" + }, + "outputs": "C", + "meta": { + "id": 2236 + } + }, + "prompt": "<|im_start|>user\nВажно утилизировать металлы, потому что они\nA) опасны для производства\nB) трудно добываются\nC) из числа невозобновляемых ресурсов\nD) дорого стоят\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0880371555685997, + "B": 0.03669934347271919, + "C": 0.7371260523796082, + "D": 0.07769250869750977 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электрическая проводимость возникает, когда напряжение протекает через", + "option_a": "центральную нервную систему", + "option_b": "длинную ветку дерева", + "option_c": "кусок стальной ваты", + "option_d": "водоем" + }, + "outputs": "C", + "meta": { + "id": 64 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Электрическая проводимость возникает, когда напряжение протекает через\nA. центральную нервную систему\nB. длинную ветку дерева\nC. кусок стальной ваты\nD. водоем\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0002814450126606971, + "B": 0.12866109609603882, + "C": 0.838975727558136, + "D": 0.0007650468614883721 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы хотите смотреть телевизор, он должен сначала быть", + "option_a": "дополнен китайскими деталями", + "option_b": "протерт от пыли", + "option_c": "подключен", + "option_d": "куплен в безоблачный день" + }, + "outputs": "C", + "meta": { + "id": 1334 + } + }, + "prompt": "<|im_start|>user\nЕсли вы хотите смотреть телевизор, он должен сначала быть\nA) дополнен китайскими деталями\nB) протерт от пыли\nC) подключен\nD) куплен в безоблачный день\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.37284040451049805, + "B": 0.07341662049293518, + "C": 0.42248353362083435, + "D": 0.05045846104621887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди - это на 60%", + "option_a": "Воздух", + "option_b": "Солнечный свет", + "option_c": "Вода", + "option_d": "Растения" + }, + "outputs": "C", + "meta": { + "id": 699 + } + }, + "prompt": "<|im_start|>user\nЛюди - это на 60%\nA. Воздух\nB. Солнечный свет\nC. Вода\nD. Растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8620158433914185, + "B": 0.012295994907617569, + "C": 0.00039525414467789233, + "D": 0.000255195249337703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Идущий с океана к побережью ураган набирает силу, и это из-за", + "option_a": "того, что моря имеют влажность из-за высоких температур и много жидкости", + "option_b": "того, что океан довольно влажный", + "option_c": "соли из океана", + "option_d": "море прохладное и спокойное" + }, + "outputs": "A", + "meta": { + "id": 1197 + } + }, + "prompt": "<|im_start|>user\nИдущий с океана к побережью ураган набирает силу, и это из-за\nA. того, что моря имеют влажность из-за высоких температур и много жидкости\nB. того, что океан довольно влажный\nC. соли из океана\nD. море прохладное и спокойное\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0009864774765446782, + "B": 0.9546886086463928, + "C": 0.00017142407887149602, + "D": 0.0006779953837394714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Измерение - это способ сбора точных данных; какой пример описывает это?", + "option_a": "налить воды в литровый кувшин, чтобы оставить ее про запас", + "option_b": "перелить молоко в емкость с делениями, чтобы увидеть, сколько осталось", + "option_c": "завернуться в одеяло и убедиться, что одеяло достаточно теплое", + "option_d": "понаблюдать, как долго кошка будет играть со своим хвостом" + }, + "outputs": "B", + "meta": { + "id": 2103 + } + }, + "prompt": "<|im_start|>user\nИзмерение - это способ сбора точных данных; какой пример описывает это?\nA. налить воды в литровый кувшин, чтобы оставить ее про запас\nB. перелить молоко в емкость с делениями, чтобы увидеть, сколько осталось\nC. завернуться в одеяло и убедиться, что одеяло достаточно теплое\nD. понаблюдать, как долго кошка будет играть со своим хвостом\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.36054328083992004, + "B": 0.08044807612895966, + "C": 0.02611766941845417, + "D": 0.46294674277305603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные не соревнуются за еду?", + "option_a": "дельфин и рыба", + "option_b": "гиена и медведь", + "option_c": "орел и ворон", + "option_d": "кит и кошка" + }, + "outputs": "D", + "meta": { + "id": 575 + } + }, + "prompt": "<|im_start|>user\nКакие животные не соревнуются за еду?\nA) дельфин и рыба\nB) гиена и медведь\nC) орел и ворон\nD) кит и кошка\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01158915925770998, + "B": 0.9206409454345703, + "C": 0.005474330857396126, + "D": 0.01022739801555872 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого из перечисленных ниже вариантов ястреб коснется когтями?", + "option_a": "орехи и ягоды", + "option_b": "мышь", + "option_c": "лев", + "option_d": "носорог" + }, + "outputs": "B", + "meta": { + "id": 772 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кого из перечисленных ниже вариантов ястреб коснется когтями?\nA. орехи и ягоды\nB. мышь\nC. лев\nD. носорог\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0034478730522096157, + "B": 0.00143728731200099, + "C": 0.9559996128082275, + "D": 0.002685206476598978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каждые двадцать четыре часа и пятьдесят минут луна может воздействовать на водоемы, заставляя их", + "option_a": "умереть", + "option_b": "плавать", + "option_c": "набухать", + "option_d": "гореть" + }, + "outputs": "C", + "meta": { + "id": 2168 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каждые двадцать четыре часа и пятьдесят минут луна может воздействовать на водоемы, заставляя их\nA. умереть\nB. плавать\nC. набухать\nD. гореть\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9238433837890625, + "B": 0.0015738781075924635, + "C": 0.0003511796530801803, + "D": 0.0009546051733195782 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая привычка самая здоровая для человека?", + "option_a": "полноценный сон", + "option_b": "есть только конфеты", + "option_c": "чрезмерное употребление алкоголя", + "option_d": "прыжки с парашютом без парашюта" + }, + "outputs": "A", + "meta": { + "id": 1891 + } + }, + "prompt": "<|im_start|>user\nКакая привычка самая здоровая для человека?\nA. полноценный сон\nB. есть только конфеты\nC. чрезмерное употребление алкоголя\nD. прыжки с парашютом без парашюта\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06917911022901535, + "B": 0.8427740335464478, + "C": 0.004422472324222326, + "D": 0.012021525762975216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воробьи набирают подъемную силу с большей грацией, чем стервятник, благодаря", + "option_a": "умственным способностям", + "option_b": "размеру", + "option_c": "цвету пера", + "option_d": "силе воли" + }, + "outputs": "B", + "meta": { + "id": 1067 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воробьи набирают подъемную силу с большей грацией, чем стервятник, благодаря\nA) умственным способностям\nB) размеру\nC) цвету пера\nD) силе воли\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7167471647262573, + "B": 0.05192099139094353, + "C": 0.12455196678638458, + "D": 0.01022384874522686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, уменьшит количество еды в окружающей среде?", + "option_a": "испарение воды", + "option_b": "сила тяжести", + "option_c": "дерево", + "option_d": "время" + }, + "outputs": "A", + "meta": { + "id": 120 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, уменьшит количество еды в окружающей среде?\nA) испарение воды\nB) сила тяжести\nC) дерево\nD) время\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4827633500099182, + "B": 0.42603716254234314, + "C": 0.0011966507881879807, + "D": 0.002870615804567933 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздушные массы толкаются западными ветрами, но останавливаются", + "option_a": "извилистыми воздушными потоками", + "option_b": "гравитацией", + "option_c": "токами", + "option_d": "солнечным светом" + }, + "outputs": "A", + "meta": { + "id": 973 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воздушные массы толкаются западными ветрами, но останавливаются\nA) извилистыми воздушными потоками\nB) гравитацией\nC) токами\nD) солнечным светом\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.33483803272247314, + "B": 0.03999069705605507, + "C": 0.4871864318847656, + "D": 0.03114478662610054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Олень ест много травы, но олень не может производить больше еды для себя, потому что в пищевой цепочке олень не может быть", + "option_a": "управляющим", + "option_b": "потребителем", + "option_c": "производителем", + "option_d": "заградителем" + }, + "outputs": "C", + "meta": { + "id": 1715 + } + }, + "prompt": "<|im_start|>user\nОлень ест много травы, но олень не может производить больше еды для себя, потому что в пищевой цепочке олень не может быть\nA) управляющим\nB) потребителем\nC) производителем\nD) заградителем\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006362490355968475, + "B": 0.944277286529541, + "C": 0.003005427774041891, + "D": 0.002652280731126666 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, требует помощи специальных тканей на концах стеблей?", + "option_a": "космическое путешествие с участием человека", + "option_b": "быстрый рост бамбука", + "option_c": "кошки, копающие когтями", + "option_d": "медленный рост млекопитающих" + }, + "outputs": "B", + "meta": { + "id": 1826 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, скорее всего, требует помощи специальных тканей на концах стеблей?\nA) космическое путешествие с участием человека\nB) быстрый рост бамбука\nC) кошки, копающие когтями\nD) медленный рост млекопитающих\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001646565506234765, + "B": 0.9665098786354065, + "C": 9.289286390412599e-05, + "D": 0.00010526140977162868 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда свет попадает в глаз через зрачок, он падает на что?", + "option_a": "мозг", + "option_b": "сетчатку глаза", + "option_c": "сетку для овощей", + "option_d": "нос" + }, + "outputs": "B", + "meta": { + "id": 1804 + } + }, + "prompt": "<|im_start|>user\nКогда свет попадает в глаз через зрачок, он падает на что?\nA) мозг\nB) сетчатку глаза\nC) сетку для овощей\nD) нос\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.32445117831230164, + "B": 0.005244264379143715, + "C": 0.0017025634879246354, + "D": 0.6061545610427856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На мышь, скорее всего, будет охотиться животное с", + "option_a": "острыми зубами", + "option_b": "длинной шеей", + "option_c": "густым мехом", + "option_d": "перепончатыми лапами" + }, + "outputs": "A", + "meta": { + "id": 1707 + } + }, + "prompt": "<|im_start|>user\nНа мышь, скорее всего, будет охотиться животное с\nA) острыми зубами\nB) длинной шеей\nC) густым мехом\nD) перепончатыми лапами\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010713500902056694, + "B": 0.0011291946284472942, + "C": 0.0011291946284472942, + "D": 0.9643985629081726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "24 часа равны одному чему?", + "option_a": "минута", + "option_b": "момент", + "option_c": "год", + "option_d": "цикл день-ночь" + }, + "outputs": "D", + "meta": { + "id": 1372 + } + }, + "prompt": "<|im_start|>user\n24 часа равны одному чему?\nA) минута\nB) момент\nC) год\nD) цикл день-ночь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.898859977722168, + "B": 0.011314976960420609, + "C": 0.004162547644227743, + "D": 0.0068628801964223385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Частота пульса увеличивается", + "option_a": "с увеличением темпа бега", + "option_b": "когда человек засыпает", + "option_c": "когда бегун замедляется", + "option_d": "когда принимаешь позы йоги" + }, + "outputs": "A", + "meta": { + "id": 1827 + } + }, + "prompt": "<|im_start|>user\nЧастота пульса увеличивается\nA) с увеличением темпа бега\nB) когда человек засыпает\nC) когда бегун замедляется\nD) когда принимаешь позы йоги\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.0005930847837589681, + "B": 0.00031745541491545737, + "C": 0.9463212490081787, + "D": 0.0323813334107399 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчелы", + "option_a": "производят мед из фруктов", + "option_b": "продают свой мед фермерам", + "option_c": "собирают мед из цветов", + "option_d": "производят мед из сладкой жидкости, содержащейся в цветах" + }, + "outputs": "D", + "meta": { + "id": 645 + } + }, + "prompt": "<|im_start|>user\nПчелы\nA) производят мед из фруктов\nB) продают свой мед фермерам\nC) собирают мед из цветов\nD) производят мед из сладкой жидкости, содержащейся в цветах\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.458055317401886, + "B": 0.0008842548122629523, + "C": 0.458055317401886, + "D": 0.0011354056186974049 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вытягивание застрявшего автомобиля требует большой", + "option_a": "тактичности", + "option_b": "бури", + "option_c": "силы", + "option_d": "силы тяжести" + }, + "outputs": "C", + "meta": { + "id": 1002 + } + }, + "prompt": "<|im_start|>user\nВытягивание застрявшего автомобиля требует большой\nA. тактичности\nB. бури\nC. силы\nD. силы тяжести\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002038975479081273, + "B": 0.0015879557467997074, + "C": 0.9321067929267883, + "D": 0.001091384794563055 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пауки ловят свою жертву", + "option_a": "соблазнением", + "option_b": "обманом", + "option_c": "шелковистой нитью", + "option_d": "мухобойкой" + }, + "outputs": "C", + "meta": { + "id": 427 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пауки ловят свою жертву\nA. соблазнением\nB. обманом\nC. шелковистой нитью\nD. мухобойкой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8952573537826538, + "B": 0.002849407959729433, + "C": 0.0017282533226534724, + "D": 0.005323394667357206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой вид транспорта имеет нулевые выбросы?", + "option_a": "педальные велосипеды", + "option_b": "скоростные катера", + "option_c": "гибридные автомобили", + "option_d": "мотоциклы" + }, + "outputs": "A", + "meta": { + "id": 1266 + } + }, + "prompt": "<|im_start|>user\nКакой вид транспорта имеет нулевые выбросы?\nA) педальные велосипеды\nB) скоростные катера\nC) гибридные автомобили\nD) мотоциклы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8987135291099548, + "B": 0.0007232244242914021, + "C": 0.0005632477113977075, + "D": 0.0013511610450223088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мантия - это", + "option_a": "твердая масса", + "option_b": "магия", + "option_c": "страсть", + "option_d": "гнев" + }, + "outputs": "A", + "meta": { + "id": 357 + } + }, + "prompt": "<|im_start|>user\nМантия - это\nA) твердая масса\nB) магия\nC) страсть\nD) гнев\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008831172250211239, + "B": 0.07394249737262726, + "C": 0.7949567437171936, + "D": 0.06525402516126633 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Слишком туманно, чтобы увидеть на шоссе дальше двух метров. Это из-за", + "option_a": "пепла от вулкана", + "option_b": "пара гелия в воздухе", + "option_c": "пара H2O, сконденсировавшегося в воздухе", + "option_d": "лесного пожара поблизости" + }, + "outputs": "C", + "meta": { + "id": 2275 + } + }, + "prompt": "<|im_start|>user\nСлишком туманно, чтобы увидеть на шоссе дальше двух метров. Это из-за\nA) пепла от вулкана\nB) пара гелия в воздухе\nC) пара H2O, сконденсировавшегося в воздухе\nD) лесного пожара поблизости\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0014290298568084836, + "B": 0.9505072832107544, + "C": 0.00024832814233377576, + "D": 0.004401722457259893 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Объект можно увидеть, если он отражает свет в сторону чего?", + "option_a": "ухо", + "option_b": "орган зрения", + "option_c": "ноги", + "option_d": "мозг" + }, + "outputs": "B", + "meta": { + "id": 2228 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Объект можно увидеть, если он отражает свет в сторону чего?\nA. ухо\nB. орган зрения\nC. ноги\nD. мозг\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014465205604210496, + "B": 0.0006832879735156894, + "C": 0.0023849094286561012, + "D": 0.9621410965919495 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делают с почвой дождевые черви?", + "option_a": "сжимают", + "option_b": "загрязняют", + "option_c": "уплотняют", + "option_d": "разрыхляют" + }, + "outputs": "D", + "meta": { + "id": 2233 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делают с почвой дождевые черви?\nA) сжимают\nB) загрязняют\nC) уплотняют\nD) разрыхляют\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003088810946792364, + "B": 0.0002237527078250423, + "C": 9.327400766778737e-05, + "D": 0.9704755544662476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Млекопитающие - одни из немногих животных, у которых температура тела в основной массе случаев", + "option_a": "колеблется", + "option_b": "повышается", + "option_c": "внезапно падает", + "option_d": "остается неизменной" + }, + "outputs": "D", + "meta": { + "id": 468 + } + }, + "prompt": "<|im_start|>user\nМлекопитающие - одни из немногих животных, у которых температура тела в основной массе случаев\nA) колеблется\nB) повышается\nC) внезапно падает\nD) остается неизменной\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001624701777473092, + "B": 0.953676164150238, + "C": 0.0008696400909684598, + "D": 0.0030353423207998276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего используются специализированные клеточные ткани на концах стеблей растений?", + "option_a": "для одежды", + "option_b": "для роста вверх", + "option_c": "для животных", + "option_d": "для людей" + }, + "outputs": "B", + "meta": { + "id": 2176 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего используются специализированные клеточные ткани на концах стеблей растений?\nA) для одежды\nB) для роста вверх\nC) для животных\nD) для людей\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2304789274930954, + "B": 0.6265066266059875, + "C": 0.01891886070370674, + "D": 0.03534508869051933 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В декабре около 15:00 я не буду использовать", + "option_a": "путешествия во времени", + "option_b": "солнцезащитные очки", + "option_c": "магию", + "option_d": "планеты" + }, + "outputs": "B", + "meta": { + "id": 901 + } + }, + "prompt": "<|im_start|>user\nВ декабре около 15:00 я не буду использовать\nA) путешествия во времени\nB) солнцезащитные очки\nC) магию\nD) планеты\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8711273670196533, + "B": 0.023214757442474365, + "C": 0.0035600983537733555, + "D": 0.004571256693452597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые бабочки могут испытывать неполные метаморфозы,", + "option_a": "пропуская кокон", + "option_b": "съедая больше фруктов", + "option_c": "летя дальше", + "option_d": "быстро размножаясь" + }, + "outputs": "A", + "meta": { + "id": 38 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые бабочки могут испытывать неполные метаморфозы,\nA) пропуская кокон\nB) съедая больше фруктов\nC) летя дальше\nD) быстро размножаясь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.027452556416392326, + "B": 0.0032787402160465717, + "C": 0.0005697595770470798, + "D": 0.9091038107872009 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример повышенного спроса, влекущего за собой увеличение производства:", + "option_a": "у людей рождаются дети, поэтому шьют детскую одежду", + "option_b": "собаки едят сухие корма, поэтому магазины продают их", + "option_c": "кошки едят мышей, поэтому мыши боятся кошек", + "option_d": "солдат кормят консервированными бобами, поэтому бобы сажают, когда идет война" + }, + "outputs": "D", + "meta": { + "id": 1269 + } + }, + "prompt": "<|im_start|>user\nВыберите пример повышенного спроса, влекущего за собой увеличение производства:\nA) у людей рождаются дети, поэтому шьют детскую одежду\nB) собаки едят сухие корма, поэтому магазины продают их\nC) кошки едят мышей, поэтому мыши боятся кошек\nD) солдат кормят консервированными бобами, поэтому бобы сажают, когда идет война\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9207608103752136, + "B": 7.336562703130767e-05, + "C": 7.336562703130767e-05, + "D": 0.0009514199919067323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда солнце садится, как это называется?", + "option_a": "закат", + "option_b": "полдень", + "option_c": "утро", + "option_d": "рассвет" + }, + "outputs": "A", + "meta": { + "id": 2042 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда солнце садится, как это называется?\nA) закат\nB) полдень\nC) утро\nD) рассвет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9219362735748291, + "B": 0.014901712536811829, + "C": 0.0025895293802022934, + "D": 0.003325021592900157 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая из них, вероятно, требует наибольшей силы?", + "option_a": "поднятие штанги", + "option_b": "умение давить подушку", + "option_c": "рукопожатие", + "option_d": "нажатие кнопки на клавиатуре" + }, + "outputs": "A", + "meta": { + "id": 1648 + } + }, + "prompt": "<|im_start|>user\nКакая из них, вероятно, требует наибольшей силы?\nA. поднятие штанги\nB. умение давить подушку\nC. рукопожатие\nD. нажатие кнопки на клавиатуре\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.906988799571991, + "B": 0.0003906786732841283, + "C": 0.00034477273584343493, + "D": 0.0037066559307277203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет в результате разведения двух волков?", + "option_a": "волчата", + "option_b": "котята", + "option_c": "лисята", + "option_d": "страусята" + }, + "outputs": "A", + "meta": { + "id": 480 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет в результате разведения двух волков?\nA) волчата\nB) котята\nC) лисята\nD) страусята\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.02393629215657711, + "B": 0.8982027173042297, + "C": 0.002858782419934869, + "D": 0.006857861764729023 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что разрыхляет почву?", + "option_a": "тепло", + "option_b": "ветер", + "option_c": "дома сусликов", + "option_d": "птичьи гнезда" + }, + "outputs": "C", + "meta": { + "id": 1650 + } + }, + "prompt": "<|im_start|>user\nЧто разрыхляет почву?\nA. тепло\nB. ветер\nC. дома сусликов\nD. птичьи гнезда\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014676416758447886, + "B": 0.00012047136260662228, + "C": 0.0003274751070421189, + "D": 0.9761896133422852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше пчел приманивает одуванчик, тем больше он", + "option_a": "попадает на страницы газет", + "option_b": "становится вином", + "option_c": "становится розой", + "option_d": "преуспевает в воспроизведении" + }, + "outputs": "D", + "meta": { + "id": 1071 + } + }, + "prompt": "<|im_start|>user\nЧем больше пчел приманивает одуванчик, тем больше он\nA) попадает на страницы газет\nB) становится вином\nC) становится розой\nD) преуспевает в воспроизведении\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006816487293690443, + "B": 0.012082512490451336, + "C": 0.9598328471183777, + "D": 0.0006816487293690443 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Переработка отходов происходит", + "option_a": "когда уголь превращается в тепловую энергию", + "option_b": "когда ископаемое топливо используется в автомобилях", + "option_c": "когда старые бутылки Pepsi превращаются в футболки", + "option_d": "когда плиты из пенополистирола превращаются в мусор" + }, + "outputs": "C", + "meta": { + "id": 1235 + } + }, + "prompt": "<|im_start|>user\nПереработка отходов происходит\nA) когда уголь превращается в тепловую энергию\nB) когда ископаемое топливо используется в автомобилях\nC) когда старые бутылки Pepsi превращаются в футболки\nD) когда плиты из пенополистирола превращаются в мусор\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0007540413644164801, + "B": 0.9370080828666687, + "C": 0.002982291392982006, + "D": 0.002982291392982006 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причина, по которой мухи всегда могут найти пищу, заключается в том, что они могут чувствовать запах", + "option_a": "неприятный для людей", + "option_b": "разложения организмов", + "option_c": "умирающих животных", + "option_d": "гниющих деревьев" + }, + "outputs": "B", + "meta": { + "id": 146 + } + }, + "prompt": "<|im_start|>user\nПричина, по которой мухи всегда могут найти пищу, заключается в том, что они могут чувствовать запах\nA. неприятный для людей\nB. разложения организмов\nC. умирающих животных\nD. гниющих деревьев\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.30618834495544434, + "B": 0.5720351338386536, + "C": 0.004367541987448931, + "D": 0.025133470073342323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда в Самаре темнеет раньше всего, это", + "option_a": "время, когда Чили находится ближе всего к солнцу", + "option_b": "время, когда Самара находится ближе всего к солнцу", + "option_c": "время, когда США ближе всего к солнцу", + "option_d": "время, когда Африка ближе всего к солнцу" + }, + "outputs": "A", + "meta": { + "id": 654 + } + }, + "prompt": "<|im_start|>user\nКогда в Самаре темнеет раньше всего, это\nA) время, когда Чили находится ближе всего к солнцу\nB) время, когда Самара находится ближе всего к солнцу\nC) время, когда США ближе всего к солнцу\nD) время, когда Африка ближе всего к солнцу\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0025560760404914618, + "B": 0.9100260138511658, + "C": 0.02425137162208557, + "D": 0.0005703375791199505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Даже такие предметы, как масса камней, могут быть изменены в результате этого процесса.", + "option_a": "Климат", + "option_b": "Выветривание", + "option_c": "Выветривание", + "option_d": "Погода" + }, + "outputs": "B", + "meta": { + "id": 260 + } + }, + "prompt": "<|im_start|>user\nДаже такие предметы, как масса камней, могут быть изменены в результате этого процесса.\nA) Климат\nB) Выветривание\nC) Выветривание\nD) Погода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0707801952958107, + "B": 0.46154484152793884, + "C": 0.10298457741737366, + "D": 0.31721481680870056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек хочет снизить риск наводнения", + "option_a": "он будет жить в долине", + "option_b": "он будет жить на вершине горы", + "option_c": "он будет жить в пойме", + "option_d": "он будет жить ниже уровня моря" + }, + "outputs": "B", + "meta": { + "id": 1176 + } + }, + "prompt": "<|im_start|>user\nЕсли человек хочет снизить риск наводнения\nA. он будет жить в долине\nB. он будет жить на вершине горы\nC. он будет жить в пойме\nD. он будет жить ниже уровня моря\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.16794268786907196, + "B": 0.0227285735309124, + "C": 0.5172999501228333, + "D": 0.21564269065856934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому, вероятно, нужно меньше всего еды?", + "option_a": "кошка", + "option_b": "собака", + "option_c": "акула", + "option_d": "змея" + }, + "outputs": "D", + "meta": { + "id": 1336 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кому, вероятно, нужно меньше всего еды?\nA. кошка\nB. собака\nC. акула\nD. змея\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003464727895334363, + "B": 0.9606729745864868, + "C": 0.0008760203490965068, + "D": 0.004448798950761557 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что едят орлы?", + "option_a": "трава", + "option_b": "грызуны", + "option_c": "киты", + "option_d": "яблоки" + }, + "outputs": "B", + "meta": { + "id": 1829 + } + }, + "prompt": "<|im_start|>user\nЧто едят орлы?\nA. трава\nB. грызуны\nC. киты\nD. яблоки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.10520733147859573, + "B": 0.0024742393288761377, + "C": 0.7773828506469727, + "D": 0.0496964231133461 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то потребляет воздух, то", + "option_a": "оно способно расти", + "option_b": "оно выращено в домашних условиях", + "option_c": "оно вырастет в новую форму жизни", + "option_d": "оно было выведено из скорлупы" + }, + "outputs": "A", + "meta": { + "id": 505 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если что-то потребляет воздух, то\nA) оно способно расти\nB) оно выращено в домашних условиях\nC) оно вырастет в новую форму жизни\nD) оно было выведено из скорлупы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.04808759689331055, + "B": 0.03745066374540329, + "C": 0.3553219735622406, + "D": 0.5169904232025146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект поглотил бы больше всего солнечной энергии?", + "option_a": "уголь", + "option_b": "зеркала", + "option_c": "белая бумага", + "option_d": "вода" + }, + "outputs": "A", + "meta": { + "id": 191 + } + }, + "prompt": "<|im_start|>user\nКакой объект поглотил бы больше всего солнечной энергии?\nA. уголь\nB. зеркала\nC. белая бумага\nD. вода\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.3452011048793793, + "B": 0.00045800607767887414, + "C": 0.5691403746604919, + "D": 0.0003566954401321709 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На Камчатке происходят сильные землетрясения из-за", + "option_a": "техтоники", + "option_b": "эрозии", + "option_c": "вулканической активности", + "option_d": "пожара" + }, + "outputs": "A", + "meta": { + "id": 498 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На Камчатке происходят сильные землетрясения из-за\nA. техтоники\nB. эрозии\nC. вулканической активности\nD. пожара\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8413645029067993, + "B": 0.028789911419153214, + "C": 0.019786998629570007, + "D": 0.013599391095340252 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы согреть чашку кофе, можно", + "option_a": "использовать нагретую поверхность", + "option_b": "нагреть ее горелкой", + "option_c": "поставить на солнце", + "option_d": "оставить ее в духовке" + }, + "outputs": "A", + "meta": { + "id": 548 + } + }, + "prompt": "<|im_start|>user\nЧтобы согреть чашку кофе, можно\nA) использовать нагретую поверхность\nB) нагреть ее горелкой\nC) поставить на солнце\nD) оставить ее в духовке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9219257831573486, + "B": 0.006211887113749981, + "C": 0.0020167045295238495, + "D": 0.013150564394891262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой ситуации будет наибольшая влажность?", + "option_a": "перед ураганом", + "option_b": "во время снегопада", + "option_c": "в пустыне", + "option_d": "на горе" + }, + "outputs": "A", + "meta": { + "id": 528 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какой ситуации будет наибольшая влажность?\nA. перед ураганом\nB. во время снегопада\nC. в пустыне\nD. на горе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8852836489677429, + "B": 0.023592010140419006, + "C": 0.007659204304218292, + "D": 0.004645542241632938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Такие события, как грозы и _______, могут заставить животных покинуть окружающую среду.", + "option_a": "цунами", + "option_b": "солнечные затмения", + "option_c": "больше доступной еды", + "option_d": "автокатастрофы" + }, + "outputs": "A", + "meta": { + "id": 307 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Такие события, как грозы и _______, могут заставить животных покинуть окружающую среду.\nA. цунами\nB. солнечные затмения\nC. больше доступной еды\nD. автокатастрофы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0010979445651173592, + "B": 0.9377092123031616, + "C": 0.0004576914361678064, + "D": 0.0007546055712737143 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы отправляются на юг искать", + "option_a": "отпуск", + "option_b": "другой климат", + "option_c": "страховку", + "option_d": "друзей" + }, + "outputs": "B", + "meta": { + "id": 2077 + } + }, + "prompt": "<|im_start|>user\nПтицы отправляются на юг искать\nA. отпуск\nB. другой климат\nC. страховку\nD. друзей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.2166295200586319, + "B": 0.24547339975833893, + "C": 0.11595342308282852, + "D": 0.3571617007255554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У кого детеныши не проходят стадию куколки?", + "option_a": "муравей", + "option_b": "жираф", + "option_c": "бабочка", + "option_d": "пчела" + }, + "outputs": "B", + "meta": { + "id": 1993 + } + }, + "prompt": "<|im_start|>user\nУ кого детеныши не проходят стадию куколки?\nA. муравей\nB. жираф\nC. бабочка\nD. пчела\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002339598024263978, + "B": 0.002339598024263978, + "C": 0.943861186504364, + "D": 0.0014190379297360778 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если источник семени фасоли находится очень далеко, и этот единичный боб дает росток там, где нет других ростков фасоли, то боб является", + "option_a": "плохим семенем", + "option_b": "свежей скорлупой", + "option_c": "принесенным издалека семенем", + "option_d": "мясистой печенью" + }, + "outputs": "C", + "meta": { + "id": 126 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если источник семени фасоли находится очень далеко, и этот единичный боб дает росток там, где нет других ростков фасоли, то боб является\nA) плохим семенем\nB) свежей скорлупой\nC) принесенным издалека семенем\nD) мясистой печенью\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8856192827224731, + "B": 0.03891139477491379, + "C": 0.004101231228560209, + "D": 0.0003814738884102553 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек получает в подарок фруктовое вино, как можно измерить его объем?", + "option_a": "использовать цилиндр с маркировкой единиц измерения", + "option_b": "ни один из приведенных ответов не верен", + "option_c": "использовать рулетку", + "option_d": "использовать термометр" + }, + "outputs": "A", + "meta": { + "id": 1415 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если человек получает в подарок фруктовое вино, как можно измерить его объем?\nA) использовать цилиндр с маркировкой единиц измерения\nB) ни один из приведенных ответов не верен\nC) использовать рулетку\nD) использовать термометр\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7625120282173157, + "B": 0.0058218506164848804, + "C": 0.0024269085843116045, + "D": 0.15014751255512238 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не может быть примером севооборота?", + "option_a": "посадка болгарского перца в один год и острого перца в следующий", + "option_b": "посадка кабачков в один год и фасоли в следующий", + "option_c": "посадка томатов в один год и люцерны в следующий", + "option_d": "посадка кукурузы в один год и латука в следующий" + }, + "outputs": "A", + "meta": { + "id": 483 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что не может быть примером севооборота?\nA. посадка болгарского перца в один год и острого перца в следующий\nB. посадка кабачков в один год и фасоли в следующий\nC. посадка томатов в один год и люцерны в следующий\nD. посадка кукурузы в один год и латука в следующий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6100417375564575, + "B": 0.012661012820899487, + "C": 0.004110428970307112, + "D": 0.28816333413124084 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого, скорее всего, приведет к потере управления автомобилем?", + "option_a": "шоссе после того, как из облаков выпали осадки", + "option_b": "хорошее шоссе с сухим асфальтом", + "option_c": "дорога из сухого булыжника", + "option_d": "все варианты верны" + }, + "outputs": "A", + "meta": { + "id": 1755 + } + }, + "prompt": "<|im_start|>user\nЧто из этого, скорее всего, приведет к потере управления автомобилем?\nA) шоссе после того, как из облаков выпали осадки\nB) хорошее шоссе с сухим асфальтом\nC) дорога из сухого булыжника\nD) все варианты верны\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.012892494909465313, + "B": 0.06547348946332932, + "C": 0.7976304292678833, + "D": 0.06547348946332932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пункт лишний в этом списке?", + "option_a": "кошки и мыши", + "option_b": "собаки и землеройки", + "option_c": "медведи и лосось", + "option_d": "львы и гиены" + }, + "outputs": "D", + "meta": { + "id": 2260 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой пункт лишний в этом списке?\nA) кошки и мыши\nB) собаки и землеройки\nC) медведи и лосось\nD) львы и гиены\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8727136254310608, + "B": 0.0013120718067511916, + "C": 0.00025836226996034384, + "D": 0.0021632409188896418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Окружающая среда в пустыне", + "option_a": "иссушенная", + "option_b": "холодная", + "option_c": "дождливая", + "option_d": "тропическая" + }, + "outputs": "A", + "meta": { + "id": 129 + } + }, + "prompt": "<|im_start|>user\nОкружающая среда в пустыне\nA) иссушенная\nB) холодная\nC) дождливая\nD) тропическая\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.021115656942129135, + "B": 0.016444889828562737, + "C": 0.0015296131605282426, + "D": 0.897860586643219 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения верны?", + "option_a": "у птиц теплая кровь; у змей теплая кровь", + "option_b": "у птиц холодная кровь; у змей теплая кровь", + "option_c": "у змей и у птиц одинаково холодная кровь", + "option_d": "у птиц горячая кровь; у змей холодная кровь" + }, + "outputs": "D", + "meta": { + "id": 2064 + } + }, + "prompt": "<|im_start|>user\nКакие отношения верны?\nA. у птиц теплая кровь; у змей теплая кровь\nB. у птиц холодная кровь; у змей теплая кровь\nC. у змей и у птиц одинаково холодная кровь\nD. у птиц горячая кровь; у змей холодная кровь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.01161162368953228, + "B": 0.007042805664241314, + "C": 0.00484044523909688, + "D": 0.9224255681037903 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно повесить на стену, чтобы сосед перестал жаловаться на вашу ночную игру на гитаре?", + "option_a": "краска", + "option_b": "обои", + "option_c": "ковер", + "option_d": "шторы" + }, + "outputs": "C", + "meta": { + "id": 1918 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно повесить на стену, чтобы сосед перестал жаловаться на вашу ночную игру на гитаре?\nA) краска\nB) обои\nC) ковер\nD) шторы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2682821750640869, + "B": 0.1843874603509903, + "C": 0.02495413087308407, + "D": 0.4423225522041321 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если не учитывать отражения в атмосфере и другие оптические феномены, сколько солнц будет на закате?", + "option_a": "2", + "option_b": "42", + "option_c": "20", + "option_d": "1" + }, + "outputs": "D", + "meta": { + "id": 1416 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если не учитывать отражения в атмосфере и другие оптические феномены, сколько солнц будет на закате?\nA. 2\nB. 42\nC. 20\nD. 1\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006443736609071493, + "B": 0.00028311804635450244, + "C": 0.0007695946260355413, + "D": 0.9563353061676025 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это необходимо растению, чтобы выжить", + "option_a": "насекомые, чтобы поесть", + "option_b": "жидкая пища", + "option_c": "еда руками", + "option_d": "питательный материал" + }, + "outputs": "D", + "meta": { + "id": 680 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это необходимо растению, чтобы выжить\nA. насекомые, чтобы поесть\nB. жидкая пища\nC. еда руками\nD. питательный материал\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.011943521909415722, + "B": 0.003877494018524885, + "C": 0.002351819071918726, + "D": 0.94879150390625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что необходимо для фотосинтеза", + "option_a": "химическое вещество с атомным номером 18", + "option_b": "то, у чего занимает 8,3 минуты, чтобы добраться от звезды до Земли", + "option_c": "8-я запись в таблице Менделеева", + "option_d": "наиболее распространенное химическое вещество в атмосфере" + }, + "outputs": "B", + "meta": { + "id": 1619 + } + }, + "prompt": "<|im_start|>user\nЧто необходимо для фотосинтеза\nA) химическое вещество с атомным номером 18\nB) то, у чего занимает 8,3 минуты, чтобы добраться от звезды до Земли\nC) 8-я запись в таблице Менделеева\nD) наиболее распространенное химическое вещество в атмосфере\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.3151083290576935, + "B": 0.05475761741399765, + "C": 0.4584799110889435, + "D": 0.10230069607496262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для них пища является источником энергии.", + "option_a": "воды", + "option_b": "пески", + "option_c": "муравьеды", + "option_d": "пластики" + }, + "outputs": "C", + "meta": { + "id": 676 + } + }, + "prompt": "<|im_start|>user\nДля них пища является источником энергии.\nA) воды\nB) пески\nC) муравьеды\nD) пластики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.015054290182888508, + "B": 0.007111143320798874, + "C": 0.8219363689422607, + "D": 0.1260480284690857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одинокая лиса ищет свою следующую трапезу на лугу, который когда-то изобиловал едой. Однако в этом сезоне все кролики съедены, а поле сухое и бесплодное. Лиса может начать", + "option_a": "летать", + "option_b": "говорить", + "option_c": "голодать", + "option_d": "плавать" + }, + "outputs": "C", + "meta": { + "id": 1957 + } + }, + "prompt": "<|im_start|>user\nОдинокая лиса ищет свою следующую трапезу на лугу, который когда-то изобиловал едой. Однако в этом сезоне все кролики съедены, а поле сухое и бесплодное. Лиса может начать\nA. летать\nB. говорить\nC. голодать\nD. плавать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9181357622146606, + "B": 0.0005754201556555927, + "C": 0.0005078065441921353, + "D": 0.0020084138959646225 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше материи входит в состав планеты, тем больше вероятность, что планета будет сильнее _____ другие тела", + "option_a": "притягивать", + "option_b": "освещать", + "option_c": "рикошетить", + "option_d": "отталкивать" + }, + "outputs": "A", + "meta": { + "id": 62 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем больше материи входит в состав планеты, тем больше вероятность, что планета будет сильнее _____ другие тела\nA. притягивать\nB. освещать\nC. рикошетить\nD. отталкивать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8869961500167847, + "B": 0.00043293862836435437, + "C": 0.00024668098194524646, + "D": 0.0013335447292774916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево отделено от корней, оно", + "option_a": "высохнет", + "option_b": "убежит", + "option_c": "сгруппируется", + "option_d": "станет сильнее" + }, + "outputs": "A", + "meta": { + "id": 1110 + } + }, + "prompt": "<|im_start|>user\nЕсли дерево отделено от корней, оно\nA. высохнет\nB. убежит\nC. сгруппируется\nD. станет сильнее\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0021080696024000645, + "B": 0.002388755790889263, + "C": 0.963692843914032, + "D": 0.0057303267531096935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Корабль движется с помощью магнитного компаса, потому что он", + "option_a": "непредсказуем", + "option_b": "водонепроницаем", + "option_c": "предсказуем", + "option_d": "традиционен" + }, + "outputs": "C", + "meta": { + "id": 94 + } + }, + "prompt": "<|im_start|>user\nКорабль движется с помощью магнитного компаса, потому что он\nA. непредсказуем\nB. водонепроницаем\nC. предсказуем\nD. традиционен\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04919376224279404, + "B": 0.5993027091026306, + "C": 0.24982653558254242, + "D": 0.02323748730123043 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В году есть 4 сезона, то есть новый", + "option_a": "начинается каждый день", + "option_b": "начинается каждый квартал", + "option_c": "это фальшивка", + "option_d": "всегда будет седьмым" + }, + "outputs": "B", + "meta": { + "id": 2135 + } + }, + "prompt": "<|im_start|>user\nВ году есть 4 сезона, то есть новый\nA. начинается каждый день\nB. начинается каждый квартал\nC. это фальшивка\nD. всегда будет седьмым\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01294697169214487, + "B": 0.008898315019905567, + "C": 0.021345948800444603, + "D": 0.9076527953147888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лист бумаги имеет другую форму, когда", + "option_a": "на нем есть слова", + "option_b": "он стоит на столе", + "option_c": "на нем есть рисунок", + "option_d": "он превращен в бумажный веер" + }, + "outputs": "D", + "meta": { + "id": 2038 + } + }, + "prompt": "<|im_start|>user\nЛист бумаги имеет другую форму, когда\nA) на нем есть слова\nB) он стоит на столе\nC) на нем есть рисунок\nD) он превращен в бумажный веер\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.37798193097114563, + "B": 0.1785460263490677, + "C": 0.2943726181983948, + "D": 0.03515779599547386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Учитель в передней части класса читал с ноутбука. Для ученика в середине класса ноутбук учителя выглядел больше, чем", + "option_a": "экран проектора за учителем", + "option_b": "ноутбук, который держит ученик, идущий за окном", + "option_c": "собственный ноутбук ученика", + "option_d": "соседний студенческий ноутбук" + }, + "outputs": "B", + "meta": { + "id": 1821 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Учитель в передней части класса читал с ноутбука. Для ученика в середине класса ноутбук учителя выглядел больше, чем\nA. экран проектора за учителем\nB. ноутбук, который держит ученик, идущий за окном\nC. собственный ноутбук ученика\nD. соседний студенческий ноутбук\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5538331270217896, + "B": 0.035405367612838745, + "C": 0.15867584943771362, + "D": 0.15867584943771362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организмы-декомпозиторы (разлагатели) важны для", + "option_a": "дельфинов", + "option_b": "огня", + "option_c": "камней", + "option_d": "строительства" + }, + "outputs": "A", + "meta": { + "id": 1523 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Организмы-декомпозиторы (разлагатели) важны для\nA) дельфинов\nB) огня\nC) камней\nD) строительства\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030543869361281395, + "B": 0.0006014443933963776, + "C": 5.255362702882849e-05, + "D": 0.9596598148345947 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то услышит хруст во время прогулки под деревом, что из этого, вероятно, произошло?", + "option_a": "лаяла собака", + "option_b": "мышь убежала", + "option_c": "утка начала крякать", + "option_d": "растоптаны сухие листья" + }, + "outputs": "D", + "meta": { + "id": 1465 + } + }, + "prompt": "<|im_start|>user\nЕсли кто-то услышит хруст во время прогулки под деревом, что из этого, вероятно, произошло?\nA) лаяла собака\nB) мышь убежала\nC) утка начала крякать\nD) растоптаны сухие листья\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32862553000450134, + "B": 0.2900110185146332, + "C": 0.044474631547927856, + "D": 0.25593382120132446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животное может делать некоторые важные вещи, не будучи обученным и даже не видя, как это делается", + "option_a": "это так", + "option_b": "это не так", + "option_c": "трудно ответить утвердительно", + "option_d": "все варианты правильны" + }, + "outputs": "A", + "meta": { + "id": 591 + } + }, + "prompt": "<|im_start|>user\nЖивотное может делать некоторые важные вещи, не будучи обученным и даже не видя, как это делается\nA) это так\nB) это не так\nC) трудно ответить утвердительно\nD) все варианты правильны\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.020025992766022682, + "B": 0.048039861023426056, + "C": 0.029137644916772842, + "D": 0.8515268564224243 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Иногда кукурузу", + "option_a": "можно выращивать в арктических условиях", + "option_b": "можно использовать в качестве растопки", + "option_c": "можно сделать источником топлива паровоза", + "option_d": "можно сделать источником топлива экономичного автомобиля." + }, + "outputs": "D", + "meta": { + "id": 1862 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Иногда кукурузу\nA. можно выращивать в арктических условиях\nB. можно использовать в качестве растопки\nC. можно сделать источником топлива паровоза\nD. можно сделать источником топлива экономичного автомобиля.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.000601818086579442, + "B": 0.9602560997009277, + "C": 0.0001724237808957696, + "D": 0.0002508751058485359 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фундаментальная особенность всей жизни - производить", + "option_a": "полярные сияния", + "option_b": "потомство", + "option_c": "магнетизм", + "option_d": "электричество" + }, + "outputs": "B", + "meta": { + "id": 373 + } + }, + "prompt": "<|im_start|>user\nФундаментальная особенность всей жизни - производить\nA) полярные сияния\nB) потомство\nC) магнетизм\nD) электричество\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011083843186497688, + "B": 0.8804987072944641, + "C": 0.008632105775177479, + "D": 0.03868641331791878 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может быть лучшим материалом для компонента электронного устройства?", + "option_a": "хлопковая нить", + "option_b": "коричневая медная панель", + "option_c": "катушка резины", + "option_d": "полоска пластика" + }, + "outputs": "B", + "meta": { + "id": 1153 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может быть лучшим материалом для компонента электронного устройства?\nA) хлопковая нить\nB) коричневая медная панель\nC) катушка резины\nD) полоска пластика\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0014436800265684724, + "B": 0.002100542187690735, + "C": 0.9602516889572144, + "D": 0.004446847829967737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Количество колец, найденных на спиле ствола дерева, подскажет", + "option_a": "разновидность дерева", + "option_b": "прочность", + "option_c": "возраст", + "option_d": "рост" + }, + "outputs": "C", + "meta": { + "id": 190 + } + }, + "prompt": "<|im_start|>user\nКоличество колец, найденных на спиле ствола дерева, подскажет\nA) разновидность дерева\nB) прочность\nC) возраст\nD) рост\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013452744111418724, + "B": 0.9431102275848389, + "C": 0.0016067014075815678, + "D": 0.0026490027084946632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что часто формируется миллионы лет?", + "option_a": "человек", + "option_b": "русло реки", + "option_c": "общество", + "option_d": "динозавр" + }, + "outputs": "B", + "meta": { + "id": 1872 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что часто формируется миллионы лет?\nA) человек\nB) русло реки\nC) общество\nD) динозавр\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.014856964349746704, + "B": 0.019076719880104065, + "C": 0.9191678762435913, + "D": 0.002278389409184456 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего используется гидролокатор", + "option_a": "дезориентации врагов", + "option_b": "сбора потерянных вещей", + "option_c": "предупреждения других", + "option_d": "помощи во сне" + }, + "outputs": "B", + "meta": { + "id": 12 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего используется гидролокатор\nA. дезориентации врагов\nB. сбора потерянных вещей\nC. предупреждения других\nD. помощи во сне\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12993690371513367, + "B": 0.747735321521759, + "C": 0.025586096569895744, + "D": 0.028992844745516777 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером электрического изолятора может быть", + "option_a": "волшебный котел", + "option_b": "посуда", + "option_c": "апельсиновый сок", + "option_d": "молоко" + }, + "outputs": "B", + "meta": { + "id": 2298 + } + }, + "prompt": "<|im_start|>user\nПримером электрического изолятора может быть\nA. волшебный котел\nB. посуда\nC. апельсиновый сок\nD. молоко\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002202352276071906, + "B": 0.08264265209436417, + "C": 0.888492226600647, + "D": 0.0009180768975056708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда популяция хищников уменьшается в окружающей среде, что происходит с другими популяциями?", + "option_a": "появятся новые хищники", + "option_b": "количество добычи уменьшится", + "option_c": "количество нехищных животных будет расти", + "option_d": "все популяции увеличатся" + }, + "outputs": "C", + "meta": { + "id": 1561 + } + }, + "prompt": "<|im_start|>user\nКогда популяция хищников уменьшается в окружающей среде, что происходит с другими популяциями?\nA. появятся новые хищники\nB. количество добычи уменьшится\nC. количество нехищных животных будет расти\nD. все популяции увеличатся\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0006883014575578272, + "B": 0.00017402986122760922, + "C": 0.00022345877368934453, + "D": 0.9692006707191467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего всем живым существам нужна энергия?", + "option_a": "умирать", + "option_b": "наблюдать", + "option_c": "разлагаться", + "option_d": "сохранять тонус и жизнеспособность" + }, + "outputs": "D", + "meta": { + "id": 1059 + } + }, + "prompt": "<|im_start|>user\nДля чего всем живым существам нужна энергия?\nA. умирать\nB. наблюдать\nC. разлагаться\nD. сохранять тонус и жизнеспособность\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1277591735124588, + "B": 0.008167371153831482, + "C": 0.05325794965028763, + "D": 0.7352033257484436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наполнение бутылки водой и последующее ее помещение в морозильную камеру может привести к", + "option_a": "ослаблению крышки бутылки", + "option_b": "сдуванию бутылки", + "option_c": "аккуратным кубикам льда в бутылке", + "option_d": "разрыву бутылки" + }, + "outputs": "D", + "meta": { + "id": 1363 + } + }, + "prompt": "<|im_start|>user\nНаполнение бутылки водой и последующее ее помещение в морозильную камеру может привести к\nA) ослаблению крышки бутылки\nB) сдуванию бутылки\nC) аккуратным кубикам льда в бутылке\nD) разрыву бутылки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04219944402575493, + "B": 0.04219944402575493, + "C": 0.005711073987185955, + "D": 0.8475985527038574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лягушка, скорее всего, съест", + "option_a": "мышь", + "option_b": "другую лягушку", + "option_c": "кленовый лист", + "option_d": "таракана" + }, + "outputs": "D", + "meta": { + "id": 132 + } + }, + "prompt": "<|im_start|>user\nЛягушка, скорее всего, съест\nA) мышь\nB) другую лягушку\nC) кленовый лист\nD) таракана\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.04584025591611862, + "B": 0.49282923340797424, + "C": 0.01910906285047531, + "D": 0.38381579518318176 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это животное эволюционировало, используя для размножения защитные контейнеры вместо живых маленьких существ:", + "option_a": "носорог", + "option_b": "хомяк", + "option_c": "мангуст", + "option_d": "утконос" + }, + "outputs": "D", + "meta": { + "id": 475 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это животное эволюционировало, используя для размножения защитные контейнеры вместо живых маленьких существ:\nA. носорог\nB. хомяк\nC. мангуст\nD. утконос\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7975130677223206, + "B": 0.06546386331319809, + "C": 0.00781854335218668, + "D": 0.018755711615085602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "До наступления зимы белки должны собрать орехи, чтобы пережить", + "option_a": "декабрь", + "option_b": "камни", + "option_c": "одеяла", + "option_d": "микроволны" + }, + "outputs": "A", + "meta": { + "id": 407 + } + }, + "prompt": "<|im_start|>user\nДо наступления зимы белки должны собрать орехи, чтобы пережить\nA) декабрь\nB) камни\nC) одеяла\nD) микроволны\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0023667807690799236, + "B": 0.00041128479642793536, + "C": 0.9548274874687195, + "D": 0.0014355250168591738 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником гравитации на планете?", + "option_a": "люди", + "option_b": "растения", + "option_c": "масса", + "option_d": "воздух" + }, + "outputs": "C", + "meta": { + "id": 2120 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является источником гравитации на планете?\nA. люди\nB. растения\nC. масса\nD. воздух\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.3715684711933136, + "B": 0.4771033823490143, + "C": 0.014407273381948471, + "D": 0.03456125408411026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда в горах замерзает дождь, он раскалывает", + "option_a": "деревья", + "option_b": "гранит", + "option_c": "медведей", + "option_d": "машины" + }, + "outputs": "B", + "meta": { + "id": 835 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда в горах замерзает дождь, он раскалывает\nA) деревья\nB) гранит\nC) медведей\nD) машины\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0008090867777355015, + "B": 0.8872714042663574, + "C": 0.0009168154210783541, + "D": 0.08252909034490585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что образуют слои горных пород в ходе землетрясения?", + "option_a": "испарение", + "option_b": "складки", + "option_c": "раковины", + "option_d": "расплавы" + }, + "outputs": "B", + "meta": { + "id": 20 + } + }, + "prompt": "<|im_start|>user\nЧто образуют слои горных пород в ходе землетрясения?\nA. испарение\nB. складки\nC. раковины\nD. расплавы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009376809932291508, + "B": 0.0007696954417042434, + "C": 0.9564605951309204, + "D": 0.00390883581712842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одним из возобновляемых источников топлива является", + "option_a": "ископаемое топливо", + "option_b": "уголь", + "option_c": "растительное масло", + "option_d": "нефтяное топливо." + }, + "outputs": "C", + "meta": { + "id": 1149 + } + }, + "prompt": "<|im_start|>user\nОдним из возобновляемых источников топлива является\nA. ископаемое топливо\nB. уголь\nC. растительное масло\nD. нефтяное топливо.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7510008811950684, + "B": 0.061645906418561935, + "C": 0.005060204304754734, + "D": 0.11516972631216049 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Они могут смотреть на океан?", + "option_a": "собаки", + "option_b": "бревна", + "option_c": "пустныни", + "option_d": "болота" + }, + "outputs": "A", + "meta": { + "id": 1107 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Они могут смотреть на океан?\nA. собаки\nB. бревна\nC. пустныни\nD. болота\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22903013229370117, + "B": 0.005386272445321083, + "C": 0.7054625153541565, + "D": 0.004753368906676769 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот белый объект виден из-за близости к Земле", + "option_a": "Венера", + "option_b": "Марс", + "option_c": "наша Луна", + "option_d": "Нептун" + }, + "outputs": "C", + "meta": { + "id": 43 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Этот белый объект виден из-за близости к Земле\nA. Венера\nB. Марс\nC. наша Луна\nD. Нептун\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01891849748790264, + "B": 0.0015529249794781208, + "C": 0.9115442633628845, + "D": 0.02752625197172165 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда полотенце из микрофибры используется для сбора лужи молока, тогда полотенце", + "option_a": "целиком становится молочно-белым", + "option_b": "частично превращается в молоко", + "option_c": "содержит молоко", + "option_d": "становится влажнее молока" + }, + "outputs": "C", + "meta": { + "id": 888 + } + }, + "prompt": "<|im_start|>user\nКогда полотенце из микрофибры используется для сбора лужи молока, тогда полотенце\nA. целиком становится молочно-белым\nB. частично превращается в молоко\nC. содержит молоко\nD. становится влажнее молока\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.005998491775244474, + "B": 0.8902551531791687, + "C": 0.03451893851161003, + "D": 0.014389634132385254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером преломления может служить то, что", + "option_a": "свет от телевизора освещает стену", + "option_b": "свет от огня пляшет по углам", + "option_c": "соленья в банке кажутся крупнее", + "option_d": "включение света заставляет предметы отбрасывать тени" + }, + "outputs": "C", + "meta": { + "id": 381 + } + }, + "prompt": "<|im_start|>user\nПримером преломления может служить то, что\nA. свет от телевизора освещает стену\nB. свет от огня пляшет по углам\nC. соленья в банке кажутся крупнее\nD. включение света заставляет предметы отбрасывать тени\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.24572698771953583, + "B": 0.6679551005363464, + "C": 0.0021259549539536238, + "D": 0.005778944119811058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зайчик хочет съесть клубнику, но не может ее найти. Однако он находит много маленьких белых бутонов. Если заяц подождет несколько дней", + "option_a": "там будут ягоды", + "option_b": "будут зеленые цветы", + "option_c": "там будет восемь зайцев", + "option_d": ", там будут дополнительные пчелы" + }, + "outputs": "A", + "meta": { + "id": 1935 + } + }, + "prompt": "<|im_start|>user\nЗайчик хочет съесть клубнику, но не может ее найти. Однако он находит много маленьких белых бутонов. Если заяц подождет несколько дней\nA. там будут ягоды\nB. будут зеленые цветы\nC. там будет восемь зайцев\nD. , там будут дополнительные пчелы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.0055357925593853, + "B": 0.9309771656990051, + "C": 0.002307661809027195, + "D": 0.001399667584337294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лягушки зарываются в грязь, чтобы", + "option_a": "найти еду", + "option_b": "выносить детенышей", + "option_c": "сохранить энергию", + "option_d": "вздремнуть" + }, + "outputs": "C", + "meta": { + "id": 113 + } + }, + "prompt": "<|im_start|>user\nЛягушки зарываются в грязь, чтобы\nA) найти еду\nB) выносить детенышей\nC) сохранить энергию\nD) вздремнуть\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.05046161636710167, + "B": 0.19957959651947021, + "C": 0.13716889917850494, + "D": 0.5425135493278503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, как Земля вращается и движется в пространстве, может влиять на то, как", + "option_a": "запасается тепло солнца", + "option_b": "мелеют океаны", + "option_c": "звезды видны в небе", + "option_d": "растут растения, которые мы можем есть" + }, + "outputs": "C", + "meta": { + "id": 2245 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: То, как Земля вращается и движется в пространстве, может влиять на то, как\nA) запасается тепло солнца\nB) мелеют океаны\nC) звезды видны в небе\nD) растут растения, которые мы можем есть\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.23736925423145294, + "B": 0.0529642328619957, + "C": 0.0038367160595953465, + "D": 0.6452364325523376 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Двадцать четыре часа - это", + "option_a": "суточный цикл", + "option_b": "две тысячи четыреста минут", + "option_c": "десятая часть месяца", + "option_d": "двадцать четыре полных оборота часовой стрелки на часах" + }, + "outputs": "A", + "meta": { + "id": 1090 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Двадцать четыре часа - это\nA) суточный цикл\nB) две тысячи четыреста минут\nC) десятая часть месяца\nD) двадцать четыре полных оборота часовой стрелки на часах\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.049251072108745575, + "B": 0.007552896160632372, + "C": 0.0096981106325984, + "D": 0.8729960918426514 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может показать, что водоем является источником воды?", + "option_a": "птица, сидящая на берегу", + "option_b": "ребенок, плещущийся в ванне", + "option_c": "человек, пьющий из стакана воды", + "option_d": "олень, пьющий из озера" + }, + "outputs": "D", + "meta": { + "id": 623 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может показать, что водоем является источником воды?\nA. птица, сидящая на берегу\nB. ребенок, плещущийся в ванне\nC. человек, пьющий из стакана воды\nD. олень, пьющий из озера\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.024505091831088066, + "B": 0.8114972114562988, + "C": 0.016842085868120193, + "D": 0.08553117513656616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете использовать дерево, чтобы", + "option_a": "построить человека", + "option_b": "построить скамейку", + "option_c": "построить машину", + "option_d": "построить компьютер" + }, + "outputs": "B", + "meta": { + "id": 1610 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы можете использовать дерево, чтобы\nA. построить человека\nB. построить скамейку\nC. построить машину\nD. построить компьютер\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0008923386340029538, + "B": 0.0008923386340029538, + "C": 0.9785681366920471, + "D": 0.0010111521696671844 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чугунной печи используется топливо из этого материала", + "option_a": "лазеры", + "option_b": "свет", + "option_c": "древесина", + "option_d": "звук" + }, + "outputs": "C", + "meta": { + "id": 1065 + } + }, + "prompt": "<|im_start|>user\nВ чугунной печи используется топливо из этого материала\nA. лазеры\nB. свет\nC. древесина\nD. звук\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0030815170612186193, + "B": 0.0018690344877541065, + "C": 0.9681838154792786, + "D": 0.0012845672899857163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один из слоев нашей планеты - это земная кора. Его можно найти", + "option_a": "на вершине Луны", + "option_b": "в центре земли", + "option_c": "чуть выше его мантии", + "option_d": "рядом с Солнцем." + }, + "outputs": "C", + "meta": { + "id": 763 + } + }, + "prompt": "<|im_start|>user\nОдин из слоев нашей планеты - это земная кора. Его можно найти\nA) на вершине Луны\nB) в центре земли\nC) чуть выше его мантии\nD) рядом с Солнцем.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8632237315177917, + "B": 0.02606709860265255, + "C": 0.0004774355620611459, + "D": 0.0074683488346636295 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие объекты растут", + "option_a": "пищевые продукты", + "option_b": "дышащие предметы", + "option_c": "большие предметы", + "option_d": "движущиеся предметы" + }, + "outputs": "B", + "meta": { + "id": 2217 + } + }, + "prompt": "<|im_start|>user\nКакие объекты растут\nA) пищевые продукты\nB) дышащие предметы\nC) большие предметы\nD) движущиеся предметы\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7029818296432495, + "B": 0.006081984844058752, + "C": 0.0013570742448791862, + "D": 0.1777416467666626 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электропроводимость может возникнуть, когда", + "option_a": "человек нажимает кнопку выключателя", + "option_b": "человек заводит собаку", + "option_c": "человек отправляется в поездку", + "option_d": "человек помещает пластик в машину" + }, + "outputs": "A", + "meta": { + "id": 1979 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Электропроводимость может возникнуть, когда\nA) человек нажимает кнопку выключателя\nB) человек заводит собаку\nC) человек отправляется в поездку\nD) человек помещает пластик в машину\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.0006831794162280858, + "B": 0.00032271110103465617, + "C": 0.9619882702827454, + "D": 0.0021043408196419477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему люди должны экономить бензин при заправке своих автомобилей?", + "option_a": ", потому что он может испортить их двигатели", + "option_b": ", потому что его трудно найти", + "option_c": ", потому что чем больше он используется, тем больше он стоит", + "option_d": ", потому что его можно использовать только один раз" + }, + "outputs": "D", + "meta": { + "id": 1917 + } + }, + "prompt": "<|im_start|>user\nПочему люди должны экономить бензин при заправке своих автомобилей?\nA. , потому что он может испортить их двигатели\nB. , потому что его трудно найти\nC. , потому что чем больше он используется, тем больше он стоит\nD. , потому что его можно использовать только один раз\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.838108241558075, + "B": 0.0049835736863315105, + "C": 0.011954971589148045, + "D": 0.022334828972816467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником энергии для жизни на Земле?", + "option_a": "ближайшая звезда", + "option_b": "планеты", + "option_c": "реки", + "option_d": "горы" + }, + "outputs": "A", + "meta": { + "id": 895 + } + }, + "prompt": "<|im_start|>user\nЧто является источником энергии для жизни на Земле?\nA. ближайшая звезда\nB. планеты\nC. реки\nD. горы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1517478972673416, + "B": 0.7706394791603088, + "C": 0.004043944645673037, + "D": 0.007555083837360144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что-то в месте с пониженной температурой становится каким?", + "option_a": "теплым", + "option_b": "холодным", + "option_c": "горячим", + "option_d": "поджаренным" + }, + "outputs": "B", + "meta": { + "id": 469 + } + }, + "prompt": "<|im_start|>user\nЧто-то в месте с пониженной температурой становится каким?\nA) теплым\nB) холодным\nC) горячим\nD) поджаренным\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.025378145277500153, + "B": 0.03258618339896202, + "C": 0.06087900698184967, + "D": 0.8404087424278259 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена путешествуют, и в этом им чаще помогает", + "option_a": "Рыба", + "option_b": "Молва", + "option_c": "Знание", + "option_d": "Лодка" + }, + "outputs": "A", + "meta": { + "id": 1571 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Семена путешествуют, и в этом им чаще помогает\nA) Рыба\nB) Молва\nC) Знание\nD) Лодка\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01622368022799492, + "B": 0.034345533698797226, + "C": 0.10579168796539307, + "D": 0.7817007303237915 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смена ночи на день происходит", + "option_a": "три раза в день", + "option_b": "двадцать девять раз в месяц", + "option_c": "шесть раз в неделю", + "option_d": "семь раз в неделю" + }, + "outputs": "D", + "meta": { + "id": 3 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Смена ночи на день происходит\nA) три раза в день\nB) двадцать девять раз в месяц\nC) шесть раз в неделю\nD) семь раз в неделю\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.034077711403369904, + "B": 0.03007347136735916, + "C": 0.4704282581806183, + "D": 0.4151514768600464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Возобновляемые ресурсы", + "option_a": "обеспечиваются солнечными и нефтяными запасами", + "option_b": "обеспечиваются самой крупной звездой и ветром", + "option_c": "обеспечиваются солнцем и окаменелостями", + "option_d": "обеспечиваемыми солнцем и углем" + }, + "outputs": "B", + "meta": { + "id": 283 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Возобновляемые ресурсы\nA. обеспечиваются солнечными и нефтяными запасами\nB. обеспечиваются самой крупной звездой и ветром\nC. обеспечиваются солнцем и окаменелостями\nD. обеспечиваемыми солнцем и углем\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.016863636672496796, + "B": 0.08564060181379318, + "C": 0.38381457328796387, + "D": 0.43491891026496887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда ученый, наконец, завершил свое новое изобретение, он вознес хвалу своей", + "option_a": "бабушке", + "option_b": "счастливой звезде", + "option_c": "матери", + "option_d": "наблюдательности" + }, + "outputs": "D", + "meta": { + "id": 360 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда ученый, наконец, завершил свое новое изобретение, он вознес хвалу своей\nA. бабушке\nB. счастливой звезде\nC. матери\nD. наблюдательности\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9228470921516418, + "B": 0.002287509385496378, + "C": 0.0007426455267705023, + "D": 0.001781514030881226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лисы едят", + "option_a": "мышей", + "option_b": "волков", + "option_c": "человека", + "option_d": "медведей" + }, + "outputs": "A", + "meta": { + "id": 1844 + } + }, + "prompt": "<|im_start|>user\nЛисы едят\nA) мышей\nB) волков\nC) человека\nD) медведей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.01007103081792593, + "B": 0.0129314586520195, + "C": 0.007843326777219772, + "D": 0.906565248966217 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где лучше всего использовать теплицу?", + "option_a": "Мурманск", + "option_b": "Ростов-на-Дону", + "option_c": "Астрахань", + "option_d": "Сочи" + }, + "outputs": "A", + "meta": { + "id": 619 + } + }, + "prompt": "<|im_start|>user\nГде лучше всего использовать теплицу?\nA) Мурманск\nB) Ростов-на-Дону\nC) Астрахань\nD) Сочи\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03634069487452507, + "B": 0.8271103501319885, + "C": 0.00715590687468648, + "D": 0.04117939993739128 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В конечном итоге мы исчерпаем наш запас", + "option_a": "воды", + "option_b": "угля", + "option_c": "воздуха", + "option_d": "времени" + }, + "outputs": "B", + "meta": { + "id": 908 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В конечном итоге мы исчерпаем наш запас\nA) воды\nB) угля\nC) воздуха\nD) времени\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.0050266822800040245, + "B": 0.0008735064184293151, + "C": 0.0014401684748008847, + "D": 0.9579160809516907 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое влияние оказывает эрозия на реку?", + "option_a": "иссушает", + "option_b": "оставляет без изменений", + "option_c": "расширяет", + "option_d": "сужает" + }, + "outputs": "C", + "meta": { + "id": 2270 + } + }, + "prompt": "<|im_start|>user\nКакое влияние оказывает эрозия на реку?\nA) иссушает\nB) оставляет без изменений\nC) расширяет\nD) сужает\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.000778038811404258, + "B": 0.0008816334302537143, + "C": 0.966828465461731, + "D": 0.0006866168114356697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дыхание нужно нашему телу, чтобы", + "option_a": "мыслить спокойно", + "option_b": "говорить часами", + "option_c": "обеспечивать тело кислородом", + "option_d": "бегать" + }, + "outputs": "C", + "meta": { + "id": 799 + } + }, + "prompt": "<|im_start|>user\nДыхание нужно нашему телу, чтобы\nA. мыслить спокойно\nB. говорить часами\nC. обеспечивать тело кислородом\nD. бегать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5675622820854187, + "B": 0.0012415375094860792, + "C": 0.08703849464654922, + "D": 0.268097460269928 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лиса ест", + "option_a": "полевок", + "option_b": "облака", + "option_c": "морковь", + "option_d": "неосторожные одуванчики" + }, + "outputs": "A", + "meta": { + "id": 457 + } + }, + "prompt": "<|im_start|>user\nЛиса ест\nA) полевок\nB) облака\nC) морковь\nD) неосторожные одуванчики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.036951955407857895, + "B": 0.4501670002937317, + "C": 0.16560719907283783, + "D": 0.2730400860309601 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих явлений обычно завершается в кратчайшие сроки?", + "option_a": "все это", + "option_b": "проливной дождь", + "option_c": "сильнейшее землетрясение", + "option_d": "извержение вулкана" + }, + "outputs": "C", + "meta": { + "id": 1147 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из этих явлений обычно завершается в кратчайшие сроки?\nA) все это\nB) проливной дождь\nC) сильнейшее землетрясение\nD) извержение вулкана\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01877960003912449, + "B": 0.02128007635474205, + "C": 0.011390403844416142, + "D": 0.9048518538475037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто может слышать звуки?", + "option_a": "валуны", + "option_b": "бетонные статуи", + "option_c": "камни", + "option_d": "жирафы" + }, + "outputs": "D", + "meta": { + "id": 76 + } + }, + "prompt": "<|im_start|>user\nКто может слышать звуки?\nA. валуны\nB. бетонные статуи\nC. камни\nD. жирафы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.035638973116874695, + "B": 0.005465413443744183, + "C": 0.9191412925720215, + "D": 0.0007396633154712617 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличение времени сна ведет к", + "option_a": "худшему состоянию здоровья", + "option_b": "беспокойству", + "option_c": "лучшему самочувствию", + "option_d": "бессоннице" + }, + "outputs": "C", + "meta": { + "id": 1418 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Увеличение времени сна ведет к\nA. худшему состоянию здоровья\nB. беспокойству\nC. лучшему самочувствию\nD. бессоннице\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0007599749369546771, + "B": 0.9443814754486084, + "C": 0.0003589867556001991, + "D": 0.0006706755375489593 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земля - ​​источник", + "option_a": "радости", + "option_b": "природных ресурсов", + "option_c": "человечества", + "option_d": "интеллекта" + }, + "outputs": "B", + "meta": { + "id": 48 + } + }, + "prompt": "<|im_start|>user\nЗемля - ​​источник\nA) радости\nB) природных ресурсов\nC) человечества\nD) интеллекта\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 51, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006914245313964784, + "B": 0.0011399663053452969, + "C": 0.9735982418060303, + "D": 0.0024133087135851383 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что нужно четырехлистному клеверу, чтобы прокормить себя?", + "option_a": "ирландские песни", + "option_b": "удача", + "option_c": "солнце", + "option_d": "горный козел" + }, + "outputs": "C", + "meta": { + "id": 1447 + } + }, + "prompt": "<|im_start|>user\nЧто нужно четырехлистному клеверу, чтобы прокормить себя?\nA) ирландские песни\nB) удача\nC) солнце\nD) горный козел\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0016232780180871487, + "B": 0.9528404474258423, + "C": 0.0009845677996054292, + "D": 0.0018394148210063577 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает кактус с водой", + "option_a": "выплевывает", + "option_b": "накапливает внутри", + "option_c": "пачкает", + "option_d": "фильтрует и выпускает" + }, + "outputs": "B", + "meta": { + "id": 2171 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает кактус с водой\nA) выплевывает\nB) накапливает внутри\nC) пачкает\nD) фильтрует и выпускает\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.502909779548645, + "B": 0.0007560942904092371, + "C": 0.006330700125545263, + "D": 0.44381633400917053 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мантия - это", + "option_a": "ядро в самой глубокой части нашей планеты", + "option_b": "ближайшая к нам планета", + "option_c": "своего рода скала, найденная на Земле", + "option_d": "уровень нашей планеты" + }, + "outputs": "D", + "meta": { + "id": 786 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мантия - это\nA) ядро в самой глубокой части нашей планеты\nB) ближайшая к нам планета\nC) своего рода скала, найденная на Земле\nD) уровень нашей планеты\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8143429756164551, + "B": 0.009046534076333046, + "C": 0.013162627816200256, + "D": 0.02786528319120407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Железная подкова с красной и синей полосами держится над скрепкой и", + "option_a": "плавит ее", + "option_b": "роняет ее", + "option_c": "горит", + "option_d": "дергает ее" + }, + "outputs": "D", + "meta": { + "id": 1683 + } + }, + "prompt": "<|im_start|>user\nЖелезная подкова с красной и синей полосами держится над скрепкой и\nA) плавит ее\nB) роняет ее\nC) горит\nD) дергает ее\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0023982415441423655, + "B": 0.00020955599029548466, + "C": 0.0001632023777347058, + "D": 0.9675196409225464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения могут использовать воду и сахарозу для создания своих собственных", + "option_a": "эмоций", + "option_b": "панд", + "option_c": "друзей", + "option_d": "питательных смесей" + }, + "outputs": "D", + "meta": { + "id": 1988 + } + }, + "prompt": "<|im_start|>user\nРастения могут использовать воду и сахарозу для создания своих собственных\nA. эмоций\nB. панд\nC. друзей\nD. питательных смесей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0001201928680529818, + "B": 9.360630065202713e-05, + "C": 0.9739329218864441, + "D": 0.0012921951711177826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему опасно держать животное в боксе в помещениях без циркуляции воздуха? Оно", + "option_a": "запутается", + "option_b": "заговорит", + "option_c": "перегреется", + "option_d": "испугается" + }, + "outputs": "C", + "meta": { + "id": 879 + } + }, + "prompt": "<|im_start|>user\nПочему опасно держать животное в боксе в помещениях без циркуляции воздуха? Оно\nA) запутается\nB) заговорит\nC) перегреется\nD) испугается\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7929679155349731, + "B": 0.012817133218050003, + "C": 0.005342975724488497, + "D": 0.09470652043819427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что опасного может произойти во время эксперимента?", + "option_a": "разбрызгивание лимонного сока", + "option_b": "разговоры студентов", + "option_c": "открытие рюкзака", + "option_d": "таяние льда" + }, + "outputs": "A", + "meta": { + "id": 940 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что опасного может произойти во время эксперимента?\nA) разбрызгивание лимонного сока\nB) разговоры студентов\nC) открытие рюкзака\nD) таяние льда\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03083808533847332, + "B": 0.901220977306366, + "C": 0.0025313443038612604, + "D": 0.00779708893969655 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую роль в процессе воспроизводства дерева играет белка?", + "option_a": "пожиратель коры", + "option_b": "переносчик семян", + "option_c": "разрушитель крон", + "option_d": "убийца надежд" + }, + "outputs": "B", + "meta": { + "id": 325 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какую роль в процессе воспроизводства дерева играет белка?\nA. пожиратель коры\nB. переносчик семян\nC. разрушитель крон\nD. убийца надежд\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.879827618598938, + "B": 0.004074410535395145, + "C": 0.0014988918555900455, + "D": 0.0016984668327495456 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные представлены", + "option_a": "на публичных выставках для просмотра", + "option_b": "в ящиках для хранения", + "option_c": "в бочках для путешествий", + "option_d": "в палатках для сна." + }, + "outputs": "A", + "meta": { + "id": 1672 + } + }, + "prompt": "<|im_start|>user\nНекоторые животные представлены\nA. на публичных выставках для просмотра\nB. в ящиках для хранения\nC. в бочках для путешествий\nD. в палатках для сна.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8805049061775208, + "B": 0.003175596473738551, + "C": 0.00023003942624200135, + "D": 0.0028024541679769754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Осенью белки заняты", + "option_a": "запасанием орехов", + "option_b": "хранением воды", + "option_c": "посадкой цветов", + "option_d": "сном круглые сутки" + }, + "outputs": "A", + "meta": { + "id": 797 + } + }, + "prompt": "<|im_start|>user\nОсенью белки заняты\nA. запасанием орехов\nB. хранением воды\nC. посадкой цветов\nD. сном круглые сутки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.0713098794221878, + "B": 0.8687321543693542, + "C": 0.0010171807371079922, + "D": 0.0066328514367341995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животным обычно требуется теплая температура тела для выживания, примером может служить", + "option_a": "птица на дереве", + "option_b": "змея в пустыне", + "option_c": "лиса на снегу", + "option_d": "акула в воде" + }, + "outputs": "C", + "meta": { + "id": 1861 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животным обычно требуется теплая температура тела для выживания, примером может служить\nA) птица на дереве\nB) змея в пустыне\nC) лиса на снегу\nD) акула в воде\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005671294871717691, + "B": 0.0018411999335512519, + "C": 0.9537651538848877, + "D": 0.0007675263332203031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек хочет наблюдать затмение", + "option_a": "лучше обойтись без солнцезащитных очков", + "option_b": "лучше всего использовать телескоп", + "option_c": "лучше всего использовать защиту для глаз", + "option_d": "лучше всего просто посмотреть на него" + }, + "outputs": "C", + "meta": { + "id": 1129 + } + }, + "prompt": "<|im_start|>user\nЕсли человек хочет наблюдать затмение\nA) лучше обойтись без солнцезащитных очков\nB) лучше всего использовать телескоп\nC) лучше всего использовать защиту для глаз\nD) лучше всего просто посмотреть на него\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07273125648498535, + "B": 0.012638797052204609, + "C": 0.7819346785545349, + "D": 0.07273125648498535 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, замыкает цепь?", + "option_a": "птичий глаз", + "option_b": "собачья лапа", + "option_c": "клавиши вашего телефона", + "option_d": "деревянная линейка" + }, + "outputs": "C", + "meta": { + "id": 747 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, замыкает цепь?\nA) птичий глаз\nB) собачья лапа\nC) клавиши вашего телефона\nD) деревянная линейка\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030536875128746033, + "B": 0.00019521570357028395, + "C": 0.0007720930734649301, + "D": 0.9594400525093079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звезды - это", + "option_a": "теплые огни, которые плавают туда-сюда", + "option_b": "сгустки азота", + "option_c": "огни в небе", + "option_d": "огромные шары газа, горящие за миллиарды километров от нас" + }, + "outputs": "D", + "meta": { + "id": 1019 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Звезды - это\nA. теплые огни, которые плавают туда-сюда\nB. сгустки азота\nC. огни в небе\nD. огромные шары газа, горящие за миллиарды километров от нас\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.001667730393819511, + "B": 0.0012988295638933778, + "C": 0.9789333343505859, + "D": 0.0008926716400310397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стандарт загрязнения - это", + "option_a": ", способ заставить фабрики производить больше продукции", + "option_b": "стандарт, который применяется к каждому отдельному человеку", + "option_c": "способ ограничить количество ущерба, наносимого окружающей среде крупными производителями", + "option_d": "лучший способ уменьшить отравление деревьев в Сибири" + }, + "outputs": "C", + "meta": { + "id": 202 + } + }, + "prompt": "<|im_start|>user\nСтандарт загрязнения - это\nA. , способ заставить фабрики производить больше продукции\nB. стандарт, который применяется к каждому отдельному человеку\nC. способ ограничить количество ущерба, наносимого окружающей среде крупными производителями\nD. лучший способ уменьшить отравление деревьев в Сибири\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.045363202691078186, + "B": 0.9111443161964417, + "C": 0.00044472524314187467, + "D": 0.0054178619757294655 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое вредное явление может вызвать потепление атмосферы?", + "option_a": "тающие ледяные шапки", + "option_b": "кислотные дожди", + "option_c": "ядерная война", + "option_d": "загрязняющие газы" + }, + "outputs": "D", + "meta": { + "id": 657 + } + }, + "prompt": "<|im_start|>user\nКакое вредное явление может вызвать потепление атмосферы?\nA. тающие ледяные шапки\nB. кислотные дожди\nC. ядерная война\nD. загрязняющие газы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08407559245824814, + "B": 0.021257640793919563, + "C": 0.0309296827763319, + "D": 0.7976870536804199 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Место, подверженное землетрясениям, каких вы бы хотели избежать:", + "option_a": "Москва", + "option_b": "Тверь", + "option_c": "Санкт-Петербург", + "option_d": "Камчатка" + }, + "outputs": "D", + "meta": { + "id": 1139 + } + }, + "prompt": "<|im_start|>user\nМесто, подверженное землетрясениям, каких вы бы хотели избежать:\nA) Москва\nB) Тверь\nC) Санкт-Петербург\nD) Камчатка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.022703520953655243, + "B": 0.7518373727798462, + "C": 0.04806335270404816, + "D": 0.10175012052059174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы я воссоздавал входящую и выходящую воду, мне нужно было бы убедиться, что", + "option_a": "я окрашиваю воду в оранжевый цвет", + "option_b": "Я повторяю это дважды", + "option_c": "Я использую солнце для силы тяжести", + "option_d": "Я включаю животных" + }, + "outputs": "B", + "meta": { + "id": 2153 + } + }, + "prompt": "<|im_start|>user\nЕсли бы я воссоздавал входящую и выходящую воду, мне нужно было бы убедиться, что\nA) я окрашиваю воду в оранжевый цвет\nB) Я повторяю это дважды\nC) Я использую солнце для силы тяжести\nD) Я включаю животных\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004321136511862278, + "B": 0.002312937518581748, + "C": 0.9331055879592896, + "D": 0.010365867055952549 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если жидкость исчезнет, ​​то что она, вероятно, сделала?", + "option_a": "расплавилась", + "option_b": "конденсировалась", + "option_c": "превратилась в газ", + "option_d": "затвердела" + }, + "outputs": "C", + "meta": { + "id": 290 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если жидкость исчезнет, ​​то что она, вероятно, сделала?\nA. расплавилась\nB. конденсировалась\nC. превратилась в газ\nD. затвердела\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.031042421236634254, + "B": 0.004201135132461786, + "C": 0.8005946278572083, + "D": 0.12277516722679138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пара туристов приехала в США и сидит на лугу, наслаждаясь перекусом, когда мимо них проносится нечто с ужасным запахом. Что это может быть?", + "option_a": "енот на прогулке", + "option_b": "человек с отличным одеколоном", + "option_c": "ожившее пугало", + "option_d": "маленький скунс, занятый своими делами" + }, + "outputs": "D", + "meta": { + "id": 319 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пара туристов приехала в США и сидит на лугу, наслаждаясь перекусом, когда мимо них проносится нечто с ужасным запахом. Что это может быть?\nA. енот на прогулке\nB. человек с отличным одеколоном\nC. ожившее пугало\nD. маленький скунс, занятый своими делами\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22990968823432922, + "B": 0.1580144613981247, + "C": 0.33451661467552185, + "D": 0.20289458334445953 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере приближения автомобиля к вам ночью", + "option_a": "фары остаются включенными", + "option_b": "фары уходят в темноту", + "option_c": "фары становятся более яркими", + "option_d": "фары выключаются" + }, + "outputs": "C", + "meta": { + "id": 669 + } + }, + "prompt": "<|im_start|>user\nПо мере приближения автомобиля к вам ночью\nA) фары остаются включенными\nB) фары уходят в темноту\nC) фары становятся более яркими\nD) фары выключаются\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003047761507332325, + "B": 0.957578182220459, + "C": 0.0006800474948249757, + "D": 0.00345356622710824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой среде обитания обитают кабаны?", + "option_a": "мировой океан", + "option_b": "умеренный пояс", + "option_c": "арктический пояс", + "option_d": "пустыня" + }, + "outputs": "B", + "meta": { + "id": 63 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какой среде обитания обитают кабаны?\nA. мировой океан\nB. умеренный пояс\nC. арктический пояс\nD. пустыня\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0677441954612732, + "B": 0.7283187508583069, + "C": 0.036260854452848434, + "D": 0.0869852751493454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько раз в год расширяется и нарастает внешняя оболочка дерева?", + "option_a": "1000 раз", + "option_b": "один раз", + "option_c": "десять раз", + "option_d": "100 раз" + }, + "outputs": "B", + "meta": { + "id": 1206 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько раз в год расширяется и нарастает внешняя оболочка дерева?\nA) 1000 раз\nB) один раз\nC) десять раз\nD) 100 раз\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.06505477428436279, + "B": 0.7925293445587158, + "C": 0.05741063877940178, + "D": 0.01130482368171215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пример лучше всего показывает влияние вибрации на материю?", + "option_a": "фортепьяно", + "option_b": "бумажный самолетик", + "option_c": "подушка", + "option_d": "коробка конфет" + }, + "outputs": "A", + "meta": { + "id": 550 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой пример лучше всего показывает влияние вибрации на материю?\nA. фортепьяно\nB. бумажный самолетик\nC. подушка\nD. коробка конфет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010620146058499813, + "B": 0.0011193550890311599, + "C": 0.9559950232505798, + "D": 0.0018455046229064465 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль останавливается при нажатии на тормоза, потому что", + "option_a": "дороги имеют трение", + "option_b": "дороги неровные", + "option_c": "шины перестают вращаться из-за давления на обод колеса", + "option_d": "шины не могут создавать трение" + }, + "outputs": "C", + "meta": { + "id": 1055 + } + }, + "prompt": "<|im_start|>user\nАвтомобиль останавливается при нажатии на тормоза, потому что\nA. дороги имеют трение\nB. дороги неровные\nC. шины перестают вращаться из-за давления на обод колеса\nD. шины не могут создавать трение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00047845946392044425, + "B": 0.001147764502093196, + "C": 0.9802583456039429, + "D": 0.0031199476215988398 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему электромобили лучше влияют на атмосферу, чем традиционные автомобили?", + "option_a": "у них есть Bluetooth", + "option_b": "они идут быстрее", + "option_c": "они оставляют больше пригодного для дыхания воздуха", + "option_d": "они больше" + }, + "outputs": "C", + "meta": { + "id": 248 + } + }, + "prompt": "<|im_start|>user\nПочему электромобили лучше влияют на атмосферу, чем традиционные автомобили?\nA) у них есть Bluetooth\nB) они идут быстрее\nC) они оставляют больше пригодного для дыхания воздуха\nD) они больше\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.05900132656097412, + "B": 0.4940120279788971, + "C": 0.18173688650131226, + "D": 0.20593485236167908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мне нужна электрическая энергия, чтобы", + "option_a": "Бегать", + "option_b": "Прокатиться на велосипеде", + "option_c": "приготовить хлеб", + "option_d": "Поплавать" + }, + "outputs": "C", + "meta": { + "id": 1439 + } + }, + "prompt": "<|im_start|>user\nМне нужна электрическая энергия, чтобы\nA) Бегать\nB) Прокатиться на велосипеде\nC) приготовить хлеб\nD) Поплавать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.12571118772029877, + "B": 0.0017931737238541245, + "C": 0.0020319321192801, + "D": 0.8197398781776428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Небольшой угол наклона оси человеческой планеты отвечает за распределение энергии, которую получают…", + "option_a": "все страны", + "option_b": "марсианские континенты", + "option_c": "свободные страны", + "option_d": "полярные области" + }, + "outputs": "A", + "meta": { + "id": 1503 + } + }, + "prompt": "<|im_start|>user\nНебольшой угол наклона оси человеческой планеты отвечает за распределение энергии, которую получают…\nA. все страны\nB. марсианские континенты\nC. свободные страны\nD. полярные области\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013418941758573055, + "B": 0.9407404661178589, + "C": 0.0008578442502766848, + "D": 0.002994170878082514 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Волк съест", + "option_a": "гору", + "option_b": "козла", + "option_c": "дерево", + "option_d": "облако" + }, + "outputs": "B", + "meta": { + "id": 1809 + } + }, + "prompt": "<|im_start|>user\nВолк съест\nA. гору\nB. козла\nC. дерево\nD. облако\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00911177508533001, + "B": 0.0043040974996984005, + "C": 0.021858010441064835, + "D": 0.9294262528419495 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы держите дома молодую птицу и ей стало трудно летать", + "option_a": "заприте ее в клетке на неделю", + "option_b": "откажитесь от нее и найдите новую птицу", + "option_c": "уберите из клетки все насесты", + "option_d": "попробуйте посадить ее на диету" + }, + "outputs": "D", + "meta": { + "id": 2000 + } + }, + "prompt": "<|im_start|>user\nЕсли вы держите дома молодую птицу и ей стало трудно летать\nA) заприте ее в клетке на неделю\nB) откажитесь от нее и найдите новую птицу\nC) уберите из клетки все насесты\nD) попробуйте посадить ее на диету\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.27359217405319214, + "B": 0.04754318669438362, + "C": 0.5791946053504944, + "D": 0.005678224377334118 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Карелия - край гигантских озер, где", + "option_a": "ледники плавают в озерах", + "option_b": "много купающихся", + "option_c": "ледники вырывали озера", + "option_d": "озера заполнены угрями" + }, + "outputs": "C", + "meta": { + "id": 510 + } + }, + "prompt": "<|im_start|>user\nКарелия - край гигантских озер, где\nA. ледники плавают в озерах\nB. много купающихся\nC. ледники вырывали озера\nD. озера заполнены угрями\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7187990546226501, + "B": 0.021705850958824158, + "C": 0.0012245604302734137, + "D": 0.181740865111351 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чем сидят самки птиц?", + "option_a": "разнообразные укрытия", + "option_b": "мусорные баки", + "option_c": "только дымоходы", + "option_d": "ящики" + }, + "outputs": "A", + "meta": { + "id": 2289 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В чем сидят самки птиц?\nA) разнообразные укрытия\nB) мусорные баки\nC) только дымоходы\nD) ящики\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.880807101726532, + "B": 0.0008031921461224556, + "C": 0.000910135917365551, + "D": 0.030139561742544174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые минералы произошли из материала, который сформировался", + "option_a": "на далеких звездах", + "option_b": "по просьбе человека", + "option_c": "в память о динозаврах", + "option_d": "вчера" + }, + "outputs": "A", + "meta": { + "id": 1041 + } + }, + "prompt": "<|im_start|>user\nНекоторые минералы произошли из материала, который сформировался\nA. на далеких звездах\nB. по просьбе человека\nC. в память о динозаврах\nD. вчера\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8748500347137451, + "B": 0.0021685364190489054, + "C": 0.0001570882450323552, + "D": 0.009718706831336021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Система трубок, которая перемещает воду и питательные вещества в нужные участки, чтобы максимально использовать их, может быть найдена в", + "option_a": "лилии", + "option_b": "двери", + "option_c": "столе", + "option_d": "камне" + }, + "outputs": "A", + "meta": { + "id": 1072 + } + }, + "prompt": "<|im_start|>user\nСистема трубок, которая перемещает воду и питательные вещества в нужные участки, чтобы максимально использовать их, может быть найдена в\nA) лилии\nB) двери\nC) столе\nD) камне\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04485572502017021, + "B": 0.0949595719575882, + "C": 0.7016615867614746, + "D": 0.0949595719575882 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Больше времени на прогулки, когда", + "option_a": "зима", + "option_b": "совы охотятся", + "option_c": "лето", + "option_d": "эвакуация" + }, + "outputs": "C", + "meta": { + "id": 1075 + } + }, + "prompt": "<|im_start|>user\nБольше времени на прогулки, когда\nA) зима\nB) совы охотятся\nC) лето\nD) эвакуация\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06924901902675629, + "B": 0.39850062131881714, + "C": 0.39850062131881714, + "D": 0.047594115138053894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каменный круг вращается, чтобы", + "option_a": "собирать пчел", + "option_b": "шлифовать драгоценные камни", + "option_c": "рассматривать ограненные бриллианты", + "option_d": "ловить клоунов" + }, + "outputs": "B", + "meta": { + "id": 2063 + } + }, + "prompt": "<|im_start|>user\nКаменный круг вращается, чтобы\nA) собирать пчел\nB) шлифовать драгоценные камни\nC) рассматривать ограненные бриллианты\nD) ловить клоунов\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.009043553844094276, + "B": 0.9224675297737122, + "C": 0.0022865685168653727, + "D": 0.005485192406922579 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электричество, передаваемое через проводник", + "option_a": ", останавливает работу проводника", + "option_b": "отводит тепло обратно к проводнику", + "option_c": "заставляет огонь течь через проводник", + "option_d": "движется, как уличный транспорт на зеленый свет" + }, + "outputs": "D", + "meta": { + "id": 635 + } + }, + "prompt": "<|im_start|>user\nЭлектричество, передаваемое через проводник\nA) , останавливает работу проводника\nB) отводит тепло обратно к проводнику\nC) заставляет огонь течь через проводник\nD) движется, как уличный транспорт на зеленый свет\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0027067456394433975, + "B": 0.0030671446584165096, + "C": 0.0014488165033981204, + "D": 0.963668167591095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фонари", + "option_a": "освещают возраст человека", + "option_b": "требуют для правильной работы пульт дистанционного управления", + "option_c": "упрощают поиск слов", + "option_d": "упрощают поиск игрушек для кошки под диваном" + }, + "outputs": "D", + "meta": { + "id": 1037 + } + }, + "prompt": "<|im_start|>user\nФонари\nA. освещают возраст человека\nB. требуют для правильной работы пульт дистанционного управления\nC. упрощают поиск слов\nD. упрощают поиск игрушек для кошки под диваном\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007204319816082716, + "B": 0.0009749986929818988, + "C": 0.0006701061502099037, + "D": 0.9435797333717346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где лучше всего использовать воду для работы маяка?", + "option_a": "тундра", + "option_b": "горы", + "option_c": "пустыня", + "option_d": "океан" + }, + "outputs": "D", + "meta": { + "id": 2336 + } + }, + "prompt": "<|im_start|>user\nГде лучше всего использовать воду для работы маяка?\nA) тундра\nB) горы\nC) пустыня\nD) океан\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.883711576461792, + "B": 0.0008058406529016793, + "C": 0.00016891336417756975, + "D": 0.0019331112271174788 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего северным птицам пух и толстые перья?", + "option_a": "чтобы не замерзнуть", + "option_b": "чтобы не согреваться", + "option_c": "чтобы тело оставалось холодным", + "option_d": "чтобы замерзнуть" + }, + "outputs": "A", + "meta": { + "id": 2317 + } + }, + "prompt": "<|im_start|>user\nДля чего северным птицам пух и толстые перья?\nA. чтобы не замерзнуть\nB. чтобы не согреваться\nC. чтобы тело оставалось холодным\nD. чтобы замерзнуть\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.0018361692782491446, + "B": 0.0004642563289962709, + "C": 0.9511592388153076, + "D": 0.0011136928806081414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ночное времяпрепровождение в пустыне может привести к тому, что животные", + "option_a": "дрожат", + "option_b": "прыгают", + "option_c": "испытывают жажду", + "option_d": "бегут" + }, + "outputs": "A", + "meta": { + "id": 1290 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ночное времяпрепровождение в пустыне может привести к тому, что животные\nA) дрожат\nB) прыгают\nC) испытывают жажду\nD) бегут\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6352079510688782, + "B": 0.0010821529431268573, + "C": 0.0020217278506606817, + "D": 0.3000510036945343 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что положительно влияет на окружающую среду?", + "option_a": "размещение семян саженцев в земле", + "option_b": "вырубка леса в засушливой среде", + "option_c": "внедрение новых видов в землю", + "option_d": "обработка почвы на данной территории" + }, + "outputs": "A", + "meta": { + "id": 274 + } + }, + "prompt": "<|im_start|>user\nЧто положительно влияет на окружающую среду?\nA) размещение семян саженцев в земле\nB) вырубка леса в засушливой среде\nC) внедрение новых видов в землю\nD) обработка почвы на данной территории\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00035363988718017936, + "B": 0.9303155541419983, + "C": 0.00040072647971101105, + "D": 0.00040072647971101105 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Подвесной вентилятор означает", + "option_a": "вращение магнитных предметов", + "option_b": "движение воздуха в помещении", + "option_c": "духоту и застоявшийся воздух", + "option_d": "атаку инопланетян" + }, + "outputs": "B", + "meta": { + "id": 57 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Подвесной вентилятор означает\nA) вращение магнитных предметов\nB) движение воздуха в помещении\nC) духоту и застоявшийся воздух\nD) атаку инопланетян\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014605623437091708, + "B": 0.0016550341388210654, + "C": 0.0024080604780465364, + "D": 0.9714808464050293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если стоять на пластиковой сумке, она", + "option_a": "испаряется", + "option_b": "расплавляется", + "option_c": "поднимается в воздух", + "option_d": "деформируется" + }, + "outputs": "D", + "meta": { + "id": 472 + } + }, + "prompt": "<|im_start|>user\nЕсли стоять на пластиковой сумке, она\nA) испаряется\nB) расплавляется\nC) поднимается в воздух\nD) деформируется\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.9189321398735046, + "B": 0.0025810913648456335, + "C": 0.0002720450283959508, + "D": 0.0002720450283959508 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чего также становится больше при увеличении доступности источников пищи в окружающей среде?", + "option_a": "Мусор", + "option_b": "Животные / растения", + "option_c": "Водоемы", + "option_d": "Воздух" + }, + "outputs": "B", + "meta": { + "id": 2049 + } + }, + "prompt": "<|im_start|>user\nЧего также становится больше при увеличении доступности источников пищи в окружающей среде?\nA) Мусор\nB) Животные / растения\nC) Водоемы\nD) Воздух\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.044726599007844925, + "B": 0.00534183019772172, + "C": 0.6174315810203552, + "D": 0.2916540503501892 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Планета, содержащая множество экосистем, является по счету _________ от центра своей солнечной системы", + "option_a": "пятой", + "option_b": "первой", + "option_c": "четвертой", + "option_d": "третьей" + }, + "outputs": "D", + "meta": { + "id": 1526 + } + }, + "prompt": "<|im_start|>user\nПланета, содержащая множество экосистем, является по счету _________ от центра своей солнечной системы\nA) пятой\nB) первой\nC) четвертой\nD) третьей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0011221668682992458, + "B": 8.128950139507651e-05, + "C": 7.173774065449834e-05, + "D": 0.9583964943885803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения, как и все другие организмы, требуют этого, чтобы выжить?", + "option_a": "Интернет", + "option_b": "обувь", + "option_c": "игры", + "option_d": "пропитание" + }, + "outputs": "D", + "meta": { + "id": 597 + } + }, + "prompt": "<|im_start|>user\nРастения, как и все другие организмы, требуют этого, чтобы выжить?\nA) Интернет\nB) обувь\nC) игры\nD) пропитание\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.918384313583374, + "B": 0.003753226948902011, + "C": 0.0007390542305074632, + "D": 0.0025795528199523687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного может удовлетворить потребности белки в калориях?", + "option_a": "рыба", + "option_b": "орехи", + "option_c": "кора дерева", + "option_d": "листья" + }, + "outputs": "B", + "meta": { + "id": 559 + } + }, + "prompt": "<|im_start|>user\nЧто из перечисленного может удовлетворить потребности белки в калориях?\nA. рыба\nB. орехи\nC. кора дерева\nD. листья\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00707616051658988, + "B": 0.031713154166936874, + "C": 0.926794171333313, + "D": 0.0015789050376042724 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как можно показать, что электрический проводник является средством передвижения электричества?", + "option_a": "воткнуть вилку в электрическую розетку безопасно, если она пластиковая", + "option_b": "электричество не может хорошо проводить через резиновые подошвы обуви", + "option_c": "попытка схватиться за электрифицированный забор может убить вас", + "option_d": "электричество - вещь непостоянная" + }, + "outputs": "C", + "meta": { + "id": 1470 + } + }, + "prompt": "<|im_start|>user\nКак можно показать, что электрический проводник является средством передвижения электричества?\nA) воткнуть вилку в электрическую розетку безопасно, если она пластиковая\nB) электричество не может хорошо проводить через резиновые подошвы обуви\nC) попытка схватиться за электрифицированный забор может убить вас\nD) электричество - вещь непостоянная\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0011185671901330352, + "B": 0.9553220868110657, + "C": 0.0003204748500138521, + "D": 0.002368006855249405 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда электричество проходит по проводнику?", + "option_a": "когда он вынесен на улицу", + "option_b": "когда он подключен к батарее", + "option_c": "когда он прикреплен к человеку", + "option_d": "когда он находится рядом с лампочкой" + }, + "outputs": "B", + "meta": { + "id": 521 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда электричество проходит по проводнику?\nA. когда он вынесен на улицу\nB. когда он подключен к батарее\nC. когда он прикреплен к человеку\nD. когда он находится рядом с лампочкой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8371157646179199, + "B": 0.010537732392549515, + "C": 0.011940814554691315, + "D": 0.06064046546816826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет отражать больше всего света", + "option_a": "серебряная ложка", + "option_b": "Банное полотенце", + "option_c": "лист бумаги", + "option_d": "Автомобильная шина" + }, + "outputs": "A", + "meta": { + "id": 1125 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет отражать больше всего света\nA) серебряная ложка\nB) Банное полотенце\nC) лист бумаги\nD) Автомобильная шина\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17349101603031158, + "B": 0.0010316151892766356, + "C": 0.0010316151892766356, + "D": 0.7775327563285828 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причиной какого явления может быть вырубка леса?", + "option_a": "глобальное потепление", + "option_b": "гибель океанов", + "option_c": "солевые растворы", + "option_d": "гибель деревьев" + }, + "outputs": "D", + "meta": { + "id": 1262 + } + }, + "prompt": "<|im_start|>user\nПричиной какого явления может быть вырубка леса?\nA) глобальное потепление\nB) гибель океанов\nC) солевые растворы\nD) гибель деревьев\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.009024110622704029, + "B": 0.4348059892654419, + "C": 0.001776952762156725, + "D": 0.4926997125148773 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Радуге нужны", + "option_a": "лепреконы и горшки с золотом", + "option_b": "солнце и влажный воздух", + "option_c": "дождь и темное небо", + "option_d": "солнце и ясное небо" + }, + "outputs": "B", + "meta": { + "id": 387 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Радуге нужны\nA) лепреконы и горшки с золотом\nB) солнце и влажный воздух\nC) дождь и темное небо\nD) солнце и ясное небо\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009298214688897133, + "B": 0.00820564478635788, + "C": 0.002663983032107353, + "D": 0.948443591594696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Использование резиновых перчаток при работе с электроникой может", + "option_a": "полностью разрушить электронику", + "option_b": "поддерживать быстрое движение электричества", + "option_c": "остановить работу электроники", + "option_d": "препятствовать быстрому перемещению электричества" + }, + "outputs": "D", + "meta": { + "id": 1113 + } + }, + "prompt": "<|im_start|>user\nИспользование резиновых перчаток при работе с электроникой может\nA. полностью разрушить электронику\nB. поддерживать быстрое движение электричества\nC. остановить работу электроники\nD. препятствовать быстрому перемещению электричества\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0006007158663123846, + "B": 0.9584973454475403, + "C": 0.0003215400502085686, + "D": 0.00028375809779390693 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Единственный способ для млекопитающих создать семью -", + "option_a": "украсть детей", + "option_b": "произвести потомство", + "option_c": "отложить яйца", + "option_d": "усыновить детей" + }, + "outputs": "B", + "meta": { + "id": 985 + } + }, + "prompt": "<|im_start|>user\nЕдинственный способ для млекопитающих создать семью -\nA) украсть детей\nB) произвести потомство\nC) отложить яйца\nD) усыновить детей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9091895222663879, + "B": 0.0005028584855608642, + "C": 0.0005698133027181029, + "D": 0.0019888440147042274 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У мальчика могут быть каштановые волосы из-за", + "option_a": "наследственности", + "option_b": "удачи", + "option_c": "магии", + "option_d": "огня" + }, + "outputs": "A", + "meta": { + "id": 572 + } + }, + "prompt": "<|im_start|>user\nУ мальчика могут быть каштановые волосы из-за\nA. наследственности\nB. удачи\nC. магии\nD. огня\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004454599227756262, + "B": 0.0006028643692843616, + "C": 0.00036565575283020735, + "D": 0.9619255065917969 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Медведю в дикой природе нужно найти других животных, чтобы поесть. О медведях известно, что", + "option_a": "они никогда не убивают", + "option_b": "они едят только цветы", + "option_c": "они послушны людям", + "option_d": "они убийцы" + }, + "outputs": "D", + "meta": { + "id": 1895 + } + }, + "prompt": "<|im_start|>user\nМедведю в дикой природе нужно найти других животных, чтобы поесть. О медведях известно, что\nA. они никогда не убивают\nB. они едят только цветы\nC. они послушны людям\nD. они убийцы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0039336723275482655, + "B": 0.0003228954738005996, + "C": 0.0011270159156993032, + "D": 0.9625378847122192 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое действие можно рассматривать как действие, которое приносит пользу окружающей среде", + "option_a": "строительство бассейна на земле", + "option_b": "сжигание мусора", + "option_c": "охота на оленей", + "option_d": "выкуп алюминиевых банок" + }, + "outputs": "D", + "meta": { + "id": 775 + } + }, + "prompt": "<|im_start|>user\nКакое действие можно рассматривать как действие, которое приносит пользу окружающей среде\nA. строительство бассейна на земле\nB. сжигание мусора\nC. охота на оленей\nD. выкуп алюминиевых банок\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9082945585250854, + "B": 0.000502363545820117, + "C": 0.000502363545820117, + "D": 0.0022514371667057276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Использование менструальной чаши вместо прокладок или тампонов может помочь избежать", + "option_a": "отходов", + "option_b": "таблеток", + "option_c": "крови", + "option_d": "гриппа" + }, + "outputs": "A", + "meta": { + "id": 909 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Использование менструальной чаши вместо прокладок или тампонов может помочь избежать\nA. отходов\nB. таблеток\nC. крови\nD. гриппа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.0025821279268711805, + "B": 0.9193010926246643, + "C": 0.0013821133179590106, + "D": 0.0020109631586819887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лист поглощает солнечный свет для фотосинтеза до тех пор, пока", + "option_a": "солнечные панели размещаются на крыше", + "option_b": "солнечные лучи не станут слишком яркими", + "option_c": "кресло не загораживает солнечные лучи", + "option_d": "солнечный чай подается в саду" + }, + "outputs": "C", + "meta": { + "id": 729 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лист поглощает солнечный свет для фотосинтеза до тех пор, пока\nA) солнечные панели размещаются на крыше\nB) солнечные лучи не станут слишком яркими\nC) кресло не загораживает солнечные лучи\nD) солнечный чай подается в саду\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00815871637314558, + "B": 0.9430193901062012, + "C": 0.00035846896935254335, + "D": 0.0034010589588433504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гречка и пшеница - одни из любимых продуктов", + "option_a": "медведей", + "option_b": "людей", + "option_c": "рыб", + "option_d": "пришельцев" + }, + "outputs": "B", + "meta": { + "id": 158 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Гречка и пшеница - одни из любимых продуктов\nA. медведей\nB. людей\nC. рыб\nD. пришельцев\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013569830916821957, + "B": 0.8395357131958008, + "C": 0.00823051854968071, + "D": 0.06081576645374298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зимние снегопады следуют за осенним листопадом примерно через", + "option_a": "два дня", + "option_b": "два месяца", + "option_c": "два года", + "option_d": "12 месяцев" + }, + "outputs": "B", + "meta": { + "id": 322 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зимние снегопады следуют за осенним листопадом примерно через\nA. два дня\nB. два месяца\nC. два года\nD. 12 месяцев\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08169076591730118, + "B": 0.17293936014175415, + "C": 0.6036176681518555, + "D": 0.07209184765815735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Много железа содержится", + "option_a": "в небе", + "option_b": "в чашках с кофе", + "option_c": "во втором слое Земли", + "option_d": "в пустоте" + }, + "outputs": "C", + "meta": { + "id": 1474 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Много железа содержится\nA) в небе\nB) в чашках с кофе\nC) во втором слое Земли\nD) в пустоте\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3227904736995697, + "B": 0.2218504399061203, + "C": 0.10479472577571869, + "D": 0.2218504399061203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если корове предлагается выбор, она откажется", + "option_a": "от тюка сена", + "option_b": "от моркови", + "option_c": "от яблока", + "option_d": "от свинины" + }, + "outputs": "D", + "meta": { + "id": 724 + } + }, + "prompt": "<|im_start|>user\nЕсли корове предлагается выбор, она откажется\nA) от тюка сена\nB) от моркови\nC) от яблока\nD) от свинины\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00047000826452858746, + "B": 0.9629437327384949, + "C": 0.0016404901398345828, + "D": 0.00041478080675005913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что мешает солнечному свету достигать подножия больших деревьев?", + "option_a": "луны", + "option_b": "тень от кроны", + "option_c": "облака", + "option_d": "кофейная гуща" + }, + "outputs": "B", + "meta": { + "id": 720 + } + }, + "prompt": "<|im_start|>user\nЧто мешает солнечному свету достигать подножия больших деревьев?\nA. луны\nB. тень от кроны\nC. облака\nD. кофейная гуща\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.039306461811065674, + "B": 0.09429129958152771, + "C": 0.7894913554191589, + "D": 0.039306461811065674 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Окружающая среда, которая покрыта снегом, часто бывает белой из-за снега и другого фактора. Какого?", + "option_a": "холодный воздух, который течет по кругу", + "option_b": "температуры, которые ниже, чем в тропиках", + "option_c": "условия, которые не позволяют производить или хранить достаточно тепла", + "option_d": "холодный ветер, который иногда встречается с теплыми фронтами" + }, + "outputs": "C", + "meta": { + "id": 1193 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Окружающая среда, которая покрыта снегом, часто бывает белой из-за снега и другого фактора. Какого?\nA) холодный воздух, который течет по кругу\nB) температуры, которые ниже, чем в тропиках\nC) условия, которые не позволяют производить или хранить достаточно тепла\nD) холодный ветер, который иногда встречается с теплыми фронтами\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00380786438472569, + "B": 0.9317536354064941, + "C": 0.0007498129270970821, + "D": 0.0033604283817112446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бензин не может существовать без сырья, такого как", + "option_a": "песок", + "option_b": "ископаемые вещества", + "option_c": "вода", + "option_d": "воздух" + }, + "outputs": "B", + "meta": { + "id": 1364 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Бензин не может существовать без сырья, такого как\nA) песок\nB) ископаемые вещества\nC) вода\nD) воздух\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.019493190571665764, + "B": 0.002328129718080163, + "C": 0.0005194759578444064, + "D": 0.9392345547676086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплицы - это конструкции, используемые для размещения растений во время", + "option_a": "ясной погоды", + "option_b": "спячки", + "option_c": "карнавала", + "option_d": "заморозков" + }, + "outputs": "D", + "meta": { + "id": 1909 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Теплицы - это конструкции, используемые для размещения растений во время\nA) ясной погоды\nB) спячки\nC) карнавала\nD) заморозков\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006404970772564411, + "B": 0.9505819082260132, + "C": 0.0012612134451046586, + "D": 0.0014291420811787248 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой тип волны может вызвать бренчание струны?", + "option_a": "Приливная", + "option_b": "Механическая", + "option_c": "Светлая", + "option_d": "Темная" + }, + "outputs": "B", + "meta": { + "id": 1712 + } + }, + "prompt": "<|im_start|>user\nКакой тип волны может вызвать бренчание струны?\nA) Приливная\nB) Механическая\nC) Светлая\nD) Темная\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008204365149140358, + "B": 0.00046285861753858626, + "C": 0.0018306412966921926, + "D": 0.9482956528663635 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно приготовить в печи?", + "option_a": "мороженое с фруктами", + "option_b": "взбитые сливки", + "option_c": "бутерброды с мороженым", + "option_d": "лазанья" + }, + "outputs": "D", + "meta": { + "id": 314 + } + }, + "prompt": "<|im_start|>user\nЧто можно приготовить в печи?\nA) мороженое с фруктами\nB) взбитые сливки\nC) бутерброды с мороженым\nD) лазанья\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00799779687076807, + "B": 0.924419641494751, + "C": 0.0003101082402281463, + "D": 0.0022914072033017874 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для работы холодильника", + "option_a": "требуется дополнительный льдогенератор", + "option_b": "требуется электрическая розетка", + "option_c": "необходимы батарейки AA", + "option_d": "требуется холодильник" + }, + "outputs": "B", + "meta": { + "id": 1840 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для работы холодильника\nA. требуется дополнительный льдогенератор\nB. требуется электрическая розетка\nC. необходимы батарейки AA\nD. требуется холодильник\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6685407757759094, + "B": 0.2170434147119522, + "C": 0.004504592623561621, + "D": 0.042738381773233414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из этих учеников увидит учителя больше?", + "option_a": "девочка посередине", + "option_b": "девочка сзади", + "option_c": "мальчик вне класса", + "option_d": "мальчик, сидящий впереди" + }, + "outputs": "D", + "meta": { + "id": 30 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто из этих учеников увидит учителя больше?\nA. девочка посередине\nB. девочка сзади\nC. мальчик вне класса\nD. мальчик, сидящий впереди\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0038770686369389296, + "B": 0.0030194642022252083, + "C": 0.9486873745918274, + "D": 0.008207754231989384 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Плохое место в городе, с точки зрения природы и здоровья Земли, скорее всего окажется", + "option_a": "опыленными цветами", + "option_b": "компостом в куче", + "option_c": "грудой мусора", + "option_d": "поливными садами" + }, + "outputs": "C", + "meta": { + "id": 1757 + } + }, + "prompt": "<|im_start|>user\nПлохое место в городе, с точки зрения природы и здоровья Земли, скорее всего окажется\nA. опыленными цветами\nB. компостом в куче\nC. грудой мусора\nD. поливными садами\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.025057397782802582, + "B": 0.0012475344119593501, + "C": 0.001601866097189486, + "D": 0.9402719736099243 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из следующих предметов могут участвовать в процессе фотосинтеза?", + "option_a": "летающая оса", + "option_b": "стремительный гепард", + "option_c": "мокрая грязь", + "option_d": "желтый тюльпан" + }, + "outputs": "D", + "meta": { + "id": 66 + } + }, + "prompt": "<|im_start|>user\nКакие из следующих предметов могут участвовать в процессе фотосинтеза?\nA. летающая оса\nB. стремительный гепард\nC. мокрая грязь\nD. желтый тюльпан\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.008158508688211441, + "B": 0.11262472718954086, + "C": 0.003001347417011857, + "D": 0.8321904540061951 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Под землей можно спрятаться от какой угрозы?", + "option_a": "еда", + "option_b": "охотники", + "option_c": "грязь", + "option_d": "вода" + }, + "outputs": "B", + "meta": { + "id": 1889 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Под землей можно спрятаться от какой угрозы?\nA) еда\nB) охотники\nC) грязь\nD) вода\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0034774839878082275, + "B": 0.00945278163999319, + "C": 0.9642099142074585, + "D": 0.001642647315748036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из-за недостатка средств к существованию 1 из 4 человек", + "option_a": "воспитывает единорогов", + "option_b": "видит фей", + "option_c": "хронически недоедает", + "option_d": "ненавидит волшебников" + }, + "outputs": "C", + "meta": { + "id": 988 + } + }, + "prompt": "<|im_start|>user\nИз-за недостатка средств к существованию 1 из 4 человек\nA. воспитывает единорогов\nB. видит фей\nC. хронически недоедает\nD. ненавидит волшебников\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004958773963153362, + "B": 0.0009764404967427254, + "C": 0.00035921239759773016, + "D": 0.9449750781059265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может причинить вред животному?", + "option_a": "привязанность", + "option_b": "объятия", + "option_c": "любовь", + "option_d": "удары" + }, + "outputs": "D", + "meta": { + "id": 833 + } + }, + "prompt": "<|im_start|>user\nЧто может причинить вред животному?\nA. привязанность\nB. объятия\nC. любовь\nD. удары\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5896102786064148, + "B": 0.0012897673295810819, + "C": 0.000537655025254935, + "D": 0.3155956566333771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку Ford терял клиентов, его прибыль", + "option_a": "резко упала", + "option_b": "выросла", + "option_c": "осталась прежней", + "option_d": "колебалась" + }, + "outputs": "A", + "meta": { + "id": 1952 + } + }, + "prompt": "<|im_start|>user\nПоскольку Ford терял клиентов, его прибыль\nA) резко упала\nB) выросла\nC) осталась прежней\nD) колебалась\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008168626576662064, + "B": 0.007208786904811859, + "C": 0.0012526994105428457, + "D": 0.9441648125648499 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака с очень толстым хвостом, которая спаривается с другой собакой с толстым хвостом, имеет высокую вероятность создания помета из", + "option_a": "ситцевых котят", + "option_b": "бесхвостых щенков", + "option_c": "маленьких хвостатых щенков", + "option_d": "толстохвостых щенков" + }, + "outputs": "D", + "meta": { + "id": 683 + } + }, + "prompt": "<|im_start|>user\nСобака с очень толстым хвостом, которая спаривается с другой собакой с толстым хвостом, имеет высокую вероятность создания помета из\nA. ситцевых котят\nB. бесхвостых щенков\nC. маленьких хвостатых щенков\nD. толстохвостых щенков\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018393598729744554, + "B": 0.9528119564056396, + "C": 0.0030325916595757008, + "D": 0.004999898374080658 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой зверь хорошо себя чувствует в необычно жарких и сухих местах?", + "option_a": "медуза", + "option_b": "лисица фенек", + "option_c": "песец", + "option_d": "белый медведь" + }, + "outputs": "B", + "meta": { + "id": 1791 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой зверь хорошо себя чувствует в необычно жарких и сухих местах?\nA. медуза\nB. лисица фенек\nC. песец\nD. белый медведь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.25068750977516174, + "B": 0.03844417631626129, + "C": 0.6013680696487427, + "D": 0.04936330020427704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из ресурсов вы можете использовать столько, сколько хотите, не уменьшая их количества вообще?", + "option_a": "солнечный свет", + "option_b": "природный газ", + "option_c": "доброжелательность", + "option_d": "ископаемое топливо" + }, + "outputs": "A", + "meta": { + "id": 243 + } + }, + "prompt": "<|im_start|>user\nКакие из ресурсов вы можете использовать столько, сколько хотите, не уменьшая их количества вообще?\nA) солнечный свет\nB) природный газ\nC) доброжелательность\nD) ископаемое топливо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0005325401434674859, + "B": 0.001640339265577495, + "C": 0.9628551602363586, + "D": 0.0014475941425189376 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы вещь была перемещена толчком,", + "option_a": "кого-то заставят съесть крекеры", + "option_b": "кому-то нужно похудеть", + "option_c": "кому-то нужно немного напрячься", + "option_d": "нужно открыть тренажерный зал" + }, + "outputs": "C", + "meta": { + "id": 751 + } + }, + "prompt": "<|im_start|>user\nЧтобы вещь была перемещена толчком,\nA. кого-то заставят съесть крекеры\nB. кому-то нужно похудеть\nC. кому-то нужно немного напрячься\nD. нужно открыть тренажерный зал\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.014198310673236847, + "B": 0.008611710742115974, + "C": 0.3231520652770996, + "D": 0.6037275195121765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то умирает от жажды, он может напиться,", + "option_a": "выпив кислоту", + "option_b": "разыскивая долину", + "option_c": "ловя губами дождь", + "option_d": "найдя снег" + }, + "outputs": "C", + "meta": { + "id": 386 + } + }, + "prompt": "<|im_start|>user\nЕсли кто-то умирает от жажды, он может напиться,\nA) выпив кислоту\nB) разыскивая долину\nC) ловя губами дождь\nD) найдя снег\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008769644424319267, + "B": 0.018565336242318153, + "C": 0.8945279717445374, + "D": 0.027012405917048454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чем легче увидеть себя?", + "option_a": "смоляная яма", + "option_b": "глубокая пещера", + "option_c": "чистое горное озеро", + "option_d": "бездна" + }, + "outputs": "C", + "meta": { + "id": 67 + } + }, + "prompt": "<|im_start|>user\nВ чем легче увидеть себя?\nA) смоляная яма\nB) глубокая пещера\nC) чистое горное озеро\nD) бездна\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9376505613327026, + "B": 0.005575473420321941, + "C": 0.002324203494936228, + "D": 0.0026336675509810448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Доминирующая черта всегда будет видна, когда", + "option_a": "присутствует доминантный аллель", + "option_b": "обе черты отсутствуют", + "option_c": "она отсутствует", + "option_d": "присутствуют только рецессивные аллели" + }, + "outputs": "A", + "meta": { + "id": 1876 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Доминирующая черта всегда будет видна, когда\nA. присутствует доминантный аллель\nB. обе черты отсутствуют\nC. она отсутствует\nD. присутствуют только рецессивные аллели\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.11630343645811081, + "B": 0.7583936452865601, + "C": 0.025950802490115166, + "D": 0.010817904025316238 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие виды растений могут воспроизводиться только в том случае, если в окружающей среде есть", + "option_a": "грибы", + "option_b": "муравьи", + "option_c": "пчелы", + "option_d": "пауки." + }, + "outputs": "C", + "meta": { + "id": 954 + } + }, + "prompt": "<|im_start|>user\nМногие виды растений могут воспроизводиться только в том случае, если в окружающей среде есть\nA. грибы\nB. муравьи\nC. пчелы\nD. пауки.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.27420035004615784, + "B": 0.0064485748298466206, + "C": 0.005022154655307531, + "D": 0.6577724814414978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример успешного воспроизведения?", + "option_a": "Глиняная табличка разделяется на две идентичные половинки", + "option_b": "Птица щебечет другой птице", + "option_c": "Лань бежит рядом со своим олененком", + "option_d": "Меньший айсберг отделяется от большего" + }, + "outputs": "C", + "meta": { + "id": 315 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример успешного воспроизведения?\nA. Глиняная табличка разделяется на две идентичные половинки\nB. Птица щебечет другой птице\nC. Лань бежит рядом со своим олененком\nD. Меньший айсберг отделяется от большего\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.7582474946975708, + "B": 0.02594580128788948, + "C": 0.054927267134189606, + "D": 0.048473138362169266 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кварц может создавать радугу, когда свет падает", + "option_a": "вокруг области кристалла", + "option_b": "в комнате, где находится кварц", + "option_c": "через любую из его сторон", + "option_d": ", в зеркало, закрепленное на куске кварца" + }, + "outputs": "C", + "meta": { + "id": 1088 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кварц может создавать радугу, когда свет падает\nA) вокруг области кристалла\nB) в комнате, где находится кварц\nC) через любую из его сторон\nD) , в зеркало, закрепленное на куске кварца\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030393549241125584, + "B": 0.0012669916031882167, + "C": 0.0030393549241125584, + "D": 0.9549369215965271 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Природный ресурс:", + "option_a": "плиты из пенопласта", + "option_b": "нейлоновые колготки.", + "option_c": "оконное стекло", + "option_d": "соленые волны" + }, + "outputs": "D", + "meta": { + "id": 51 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Природный ресурс:\nA. плиты из пенопласта\nB. нейлоновые колготки.\nC. оконное стекло\nD. соленые волны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.2606126368045807, + "B": 0.2953127920627594, + "C": 0.13949589431285858, + "D": 0.22998984158039093 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное испускает то, к чему многие аутичные люди будут особенно чувствительны?", + "option_a": "скунс", + "option_b": "собака", + "option_c": "кошка", + "option_d": "корова" + }, + "outputs": "A", + "meta": { + "id": 503 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое животное испускает то, к чему многие аутичные люди будут особенно чувствительны?\nA. скунс\nB. собака\nC. кошка\nD. корова\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.04070403799414635, + "B": 0.067109614610672, + "C": 0.6367182731628418, + "D": 0.16098758578300476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура тела кошки будет самой высокой, если погрузить ее", + "option_a": "в яблочный сок", + "option_b": "в воду", + "option_c": "в жидкий азот", + "option_d": "в лаву" + }, + "outputs": "D", + "meta": { + "id": 2261 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура тела кошки будет самой высокой, если погрузить ее\nA. в яблочный сок\nB. в воду\nC. в жидкий азот\nD. в лаву\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.030757524073123932, + "B": 0.0036734624300152063, + "C": 0.01646331697702408, + "D": 0.898866593837738 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из объектов требует энергии для роста?", + "option_a": "машина", + "option_b": "письменный стол", + "option_c": "дом", + "option_d": "бегемот" + }, + "outputs": "D", + "meta": { + "id": 53 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из объектов требует энергии для роста?\nA) машина\nB) письменный стол\nC) дом\nD) бегемот\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1461285799741745, + "B": 0.04744100943207741, + "C": 0.7421022653579712, + "D": 0.007275315001606941 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Неодушевленные предметы могут быть опылителями, например", + "option_a": "ветер", + "option_b": "птицы", + "option_c": "пчелы", + "option_d": "олени" + }, + "outputs": "A", + "meta": { + "id": 969 + } + }, + "prompt": "<|im_start|>user\nНеодушевленные предметы могут быть опылителями, например\nA) ветер\nB) птицы\nC) пчелы\nD) олени\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.008503054268658161, + "B": 0.5961101651191711, + "C": 0.2815825045108795, + "D": 0.02311369776725769 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Карты могут быть перерисованы из-за", + "option_a": "лавины", + "option_b": "землетрясения", + "option_c": "ледника", + "option_d": "глубокого замерзания" + }, + "outputs": "B", + "meta": { + "id": 2061 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Карты могут быть перерисованы из-за\nA) лавины\nB) землетрясения\nC) ледника\nD) глубокого замерзания\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011911018751561642, + "B": 0.0023454187903553247, + "C": 0.0014225682243704796, + "D": 0.9462093710899353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорее всего, белка", + "option_a": "запасает еду на лето", + "option_b": "запасает еду на весну", + "option_c": "имеет незначительную потребность в хранении еды", + "option_d": "хранит еду для наступающих суровых условий" + }, + "outputs": "D", + "meta": { + "id": 144 + } + }, + "prompt": "<|im_start|>user\nСкорее всего, белка\nA) запасает еду на лето\nB) запасает еду на весну\nC) имеет незначительную потребность в хранении еды\nD) хранит еду для наступающих суровых условий\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.15571658313274384, + "B": 0.6978732943534851, + "C": 0.01128007099032402, + "D": 0.0649123266339302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Очистка воды используется для удаления вредных веществ перед чем?", + "option_a": "опорожнение", + "option_b": "испарение", + "option_c": "поглощение", + "option_d": "удаление" + }, + "outputs": "C", + "meta": { + "id": 1612 + } + }, + "prompt": "<|im_start|>user\nОчистка воды используется для удаления вредных веществ перед чем?\nA) опорожнение\nB) испарение\nC) поглощение\nD) удаление\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0033749535214155912, + "B": 0.9357810616493225, + "C": 0.0009669403079897165, + "D": 0.017139427363872528 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую роль в пищевой цепи играют грибы?", + "option_a": "строители", + "option_b": "разложители", + "option_c": "создатели", + "option_d": "потребители" + }, + "outputs": "B", + "meta": { + "id": 2043 + } + }, + "prompt": "<|im_start|>user\nКакую роль в пищевой цепи играют грибы?\nA) строители\nB) разложители\nC) создатели\nD) потребители\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8384908437728882, + "B": 0.0034267206210643053, + "C": 0.0008664106135256588, + "D": 0.0034267206210643053 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные приспосабливаются к этому", + "option_a": "природа местности", + "option_b": "ступни", + "option_c": "кожа", + "option_d": "внешний вид" + }, + "outputs": "A", + "meta": { + "id": 96 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животные приспосабливаются к этому\nA) природа местности\nB) ступни\nC) кожа\nD) внешний вид\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006049713119864464, + "B": 0.0008802281809039414, + "C": 0.9652873873710632, + "D": 0.0012807244202122092 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поджаривание хлеба делает его", + "option_a": "меньше", + "option_b": "длиннее", + "option_c": "тверже", + "option_d": "шире" + }, + "outputs": "C", + "meta": { + "id": 1184 + } + }, + "prompt": "<|im_start|>user\nПоджаривание хлеба делает его\nA) меньше\nB) длиннее\nC) тверже\nD) шире\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 53, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5799084901809692, + "B": 0.12939506769180298, + "C": 0.12939506769180298, + "D": 0.037072308361530304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Функция ваших легких будет нарушена на", + "option_a": "поверхности колец Сатурна", + "option_b": "небольшой парусной лодке", + "option_c": "продуваемом ветрами пляже", + "option_d": "красивом лугу" + }, + "outputs": "A", + "meta": { + "id": 2082 + } + }, + "prompt": "<|im_start|>user\nФункция ваших легких будет нарушена на\nA) поверхности колец Сатурна\nB) небольшой парусной лодке\nC) продуваемом ветрами пляже\nD) красивом лугу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003907826263457537, + "B": 0.013639653101563454, + "C": 0.0006790783372707665, + "D": 0.9562135338783264 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При температуре выше 100 градусов по Цельсию во что превращаетс] вода?", + "option_a": "холодный душ", + "option_b": "твердое тело", + "option_c": "лед", + "option_d": "частицы пара" + }, + "outputs": "D", + "meta": { + "id": 790 + } + }, + "prompt": "<|im_start|>user\nПри температуре выше 100 градусов по Цельсию во что превращаетс] вода?\nA. холодный душ\nB. твердое тело\nC. лед\nD. частицы пара\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.10940200090408325, + "B": 0.06635566800832748, + "C": 0.024410884827375412, + "D": 0.7133906483650208 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком месте в 1824 году произошла катастрофа, вызванная пришедшей в город волной из залива?", + "option_a": "Москва", + "option_b": "Санкт-Петербург", + "option_c": "Екатеринбург", + "option_d": "Астрахань" + }, + "outputs": "B", + "meta": { + "id": 318 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком месте в 1824 году произошла катастрофа, вызванная пришедшей в город волной из залива?\nA) Москва\nB) Санкт-Петербург\nC) Екатеринбург\nD) Астрахань\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21649101376533508, + "B": 0.10226310789585114, + "C": 0.5193349123001099, + "D": 0.10226310789585114 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, имеет негативное влияние?", + "option_a": "снег на ледниковую среду", + "option_b": "тепло на ледниковую среду", + "option_c": "холод на ледниковую среду", + "option_d": "жизнь на ледниковую среду" + }, + "outputs": "B", + "meta": { + "id": 546 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, имеет негативное влияние?\nA) снег на ледниковую среду\nB) тепло на ледниковую среду\nC) холод на ледниковую среду\nD) жизнь на ледниковую среду\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.13813285529613495, + "B": 0.006877230480313301, + "C": 0.7948997616767883, + "D": 0.006877230480313301 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что умерло миллионы лет назад, все еще может быть актуальным", + "option_a": "потому что мы помним о прошлом", + "option_b": "потому что мы водим машины", + "option_c": "потому что мы все еще видим прошлое", + "option_d": "потому что мы скучаем по умершим" + }, + "outputs": "B", + "meta": { + "id": 1846 + } + }, + "prompt": "<|im_start|>user\nТо, что умерло миллионы лет назад, все еще может быть актуальным\nA. потому что мы помним о прошлом\nB. потому что мы водим машины\nC. потому что мы все еще видим прошлое\nD. потому что мы скучаем по умершим\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8982929587364197, + "B": 0.0005629841471090913, + "C": 0.0003869329812005162, + "D": 0.0025231202598661184 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свалки могут вызывать", + "option_a": "неприятные запахи", + "option_b": "перенаселение", + "option_c": "разрастание травы", + "option_d": "шумовое загрязнение" + }, + "outputs": "A", + "meta": { + "id": 902 + } + }, + "prompt": "<|im_start|>user\nСвалки могут вызывать\nA. неприятные запахи\nB. перенаселение\nC. разрастание травы\nD. шумовое загрязнение\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.061851002275943756, + "B": 0.3141053020954132, + "C": 0.0425095297396183, + "D": 0.5178720951080322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, имеющий определенные предпочтения, - это что-то вроде", + "option_a": "ему легко становится скучно", + "option_b": "ему нравятся светловолосые девушки", + "option_c": "он ненавидит то пить колу, то есть горох", + "option_d": "ему нравится ужинать" + }, + "outputs": "B", + "meta": { + "id": 1182 + } + }, + "prompt": "<|im_start|>user\nЧеловек, имеющий определенные предпочтения, - это что-то вроде\nA) ему легко становится скучно\nB) ему нравятся светловолосые девушки\nC) он ненавидит то пить колу, то есть горох\nD) ему нравится ужинать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008272640407085419, + "B": 0.0006790597108192742, + "C": 0.0008719299221411347, + "D": 0.9561872482299805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земноводные вылупляются из", + "option_a": "деревьев", + "option_b": "скал", + "option_c": "неба", + "option_d": "кальциевых капсул жизни" + }, + "outputs": "D", + "meta": { + "id": 71 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земноводные вылупляются из\nA) деревьев\nB) скал\nC) неба\nD) кальциевых капсул жизни\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.004893277771770954, + "B": 0.015072356909513474, + "C": 0.009141847491264343, + "D": 0.9324936866760254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Попугай ел много корма. Это может привести к тому, что", + "option_a": "родители попугая будут ругать его", + "option_b": "попугай не сможет оторваться от земли", + "option_c": "попугай станет летать быстрее", + "option_d": "попугай окажется в больнице" + }, + "outputs": "B", + "meta": { + "id": 1773 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Попугай ел много корма. Это может привести к тому, что\nA) родители попугая будут ругать его\nB) попугай не сможет оторваться от земли\nC) попугай станет летать быстрее\nD) попугай окажется в больнице\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8497704267501831, + "B": 0.0014476858777925372, + "C": 0.04794076830148697, + "D": 0.006488076876848936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Часть клетки, которая отделяет внутреннюю часть от внешней среды, также обеспечивает клетку", + "option_a": "питательными веществами", + "option_b": "пищей", + "option_c": "поддержкой", + "option_d": "энергией" + }, + "outputs": "C", + "meta": { + "id": 228 + } + }, + "prompt": "<|im_start|>user\nЧасть клетки, которая отделяет внутреннюю часть от внешней среды, также обеспечивает клетку\nA. питательными веществами\nB. пищей\nC. поддержкой\nD. энергией\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.024436455219984055, + "B": 0.33733487129211426, + "C": 0.09664805233478546, + "D": 0.4908193349838257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает эрозию?", + "option_a": "салаты", + "option_b": "бетон", + "option_c": "штормы", + "option_d": "автомобили" + }, + "outputs": "C", + "meta": { + "id": 2316 + } + }, + "prompt": "<|im_start|>user\nЧто вызывает эрозию?\nA. салаты\nB. бетон\nC. штормы\nD. автомобили\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07053159177303314, + "B": 0.0012918311404064298, + "C": 0.8592507243156433, + "D": 0.00842379778623581 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сильные дожди вызывают наводнения, которые", + "option_a": "питают поля", + "option_b": "создают плотины", + "option_c": "вымывают посевы", + "option_d": "кормят рыбу" + }, + "outputs": "C", + "meta": { + "id": 1488 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сильные дожди вызывают наводнения, которые\nA) питают поля\nB) создают плотины\nC) вымывают посевы\nD) кормят рыбу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.01264670118689537, + "B": 0.003197586862370372, + "C": 0.15406835079193115, + "D": 0.782423734664917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит с водой быстрее, когда солнце начинает интенсивнее согревать ее?", + "option_a": "объем воды сохраняется", + "option_b": "уровень воды повышается, поскольку влага удерживается в воде", + "option_c": "тепло вызывает потерю объема воды, поскольку влага испаряется в воздух", + "option_d": "тепло заставляет воду закипать, когда она достигает более высоких температур" + }, + "outputs": "C", + "meta": { + "id": 1216 + } + }, + "prompt": "<|im_start|>user\nЧто происходит с водой быстрее, когда солнце начинает интенсивнее согревать ее?\nA. объем воды сохраняется\nB. уровень воды повышается, поскольку влага удерживается в воде\nC. тепло вызывает потерю объема воды, поскольку влага испаряется в воздух\nD. тепло заставляет воду закипать, когда она достигает более высоких температур\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010061643086373806, + "B": 0.2290019541978836, + "C": 0.6224917769432068, + "D": 0.09546221047639847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда у животного растут глаза, что происходит?", + "option_a": "они высыхают", + "option_b": "они закрываются", + "option_c": "они видят больше", + "option_d": "они выскакивают" + }, + "outputs": "C", + "meta": { + "id": 1277 + } + }, + "prompt": "<|im_start|>user\nКогда у животного растут глаза, что происходит?\nA. они высыхают\nB. они закрываются\nC. они видят больше\nD. они выскакивают\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0034862987231463194, + "B": 0.001453305478207767, + "C": 0.9666540026664734, + "D": 0.0027151324320584536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Коралл - это тип живых организмов, которые можно идентифицировать в", + "option_a": "Тихом океане исключительно", + "option_b": "любых местах, заполненных жидкостью", + "option_c": "открытых местах с соленой водой", + "option_d": "источниках воды в Евразии." + }, + "outputs": "C", + "meta": { + "id": 262 + } + }, + "prompt": "<|im_start|>user\nКоралл - это тип живых организмов, которые можно идентифицировать в\nA) Тихом океане исключительно\nB) любых местах, заполненных жидкостью\nC) открытых местах с соленой водой\nD) источниках воды в Евразии.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0026445346884429455, + "B": 0.9415194988250732, + "C": 0.0006686429842375219, + "D": 0.002333793556317687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свет, который может обжечь кожу, излучается", + "option_a": "фонариком", + "option_b": "лазером", + "option_c": "лампочкой", + "option_d": "люминесцентным светом." + }, + "outputs": "B", + "meta": { + "id": 2280 + } + }, + "prompt": "<|im_start|>user\nСвет, который может обжечь кожу, излучается\nA. фонариком\nB. лазером\nC. лампочкой\nD. люминесцентным светом.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0014730605762451887, + "B": 0.0016691965283825994, + "C": 0.9797939658164978, + "D": 0.002428666455671191 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звук можно услышать, когда он достигает чего?", + "option_a": "глаза", + "option_b": "мозг", + "option_c": "орган слуха", + "option_d": "шея" + }, + "outputs": "C", + "meta": { + "id": 1185 + } + }, + "prompt": "<|im_start|>user\nЗвук можно услышать, когда он достигает чего?\nA. глаза\nB. мозг\nC. орган слуха\nD. шея\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002420407719910145, + "B": 0.0010089759016409516, + "C": 0.9764620661735535, + "D": 0.0011433195322751999 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если я хочу избежать слишком большого количества ультрафиолетовых лучей, я могу", + "option_a": "надеть бикини", + "option_b": "надеть шорты", + "option_c": "уйти в тень", + "option_d": "ничего не надеть" + }, + "outputs": "C", + "meta": { + "id": 1730 + } + }, + "prompt": "<|im_start|>user\nЕсли я хочу избежать слишком большого количества ультрафиолетовых лучей, я могу\nA) надеть бикини\nB) надеть шорты\nC) уйти в тень\nD) ничего не надеть\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8855781555175781, + "B": 0.0009150658152066171, + "C": 0.0003814561932813376, + "D": 0.0031938934698700905 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Засуха может вызвать появление", + "option_a": "пересохшей травы", + "option_b": "пышных лужаек", + "option_c": "переполненных прудов", + "option_d": "цветущих цветов" + }, + "outputs": "A", + "meta": { + "id": 1941 + } + }, + "prompt": "<|im_start|>user\nЗасуха может вызвать появление\nA) пересохшей травы\nB) пышных лужаек\nC) переполненных прудов\nD) цветущих цветов\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06054375320672989, + "B": 0.02859884314239025, + "C": 0.12817111611366272, + "D": 0.7375739216804504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, у которого есть домашнее животное-амфибия, скорее всего, будет кормить его", + "option_a": "оленем", + "option_b": "воском", + "option_c": "стейком", + "option_d": "мучными червями" + }, + "outputs": "D", + "meta": { + "id": 1495 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек, у которого есть домашнее животное-амфибия, скорее всего, будет кормить его\nA) оленем\nB) воском\nC) стейком\nD) мучными червями\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8982591032981873, + "B": 0.006052421871572733, + "C": 0.0002346778492210433, + "D": 0.0032396281603723764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Крошечные частицы влаги можно найти", + "option_a": "в том, чем мы все дышим", + "option_b": "под океанскими волнами", + "option_c": "исключительно в горячем паре", + "option_d": "только в кучевых облаках" + }, + "outputs": "A", + "meta": { + "id": 209 + } + }, + "prompt": "<|im_start|>user\nКрошечные частицы влаги можно найти\nA. в том, чем мы все дышим\nB. под океанскими волнами\nC. исключительно в горячем паре\nD. только в кучевых облаках\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014876472763717175, + "B": 0.024527156725525856, + "C": 0.0017767413519322872, + "D": 0.9203748106956482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером инстинктивного поведения является", + "option_a": "птица, умирающая от инфекции", + "option_b": "птенец, падающий из гнезда", + "option_c": "лошадь, выполняющая команды своего всадника", + "option_d": "стадо зебр, направляющееся в сторону дождевых облаков в конце засушливого сезона" + }, + "outputs": "D", + "meta": { + "id": 768 + } + }, + "prompt": "<|im_start|>user\nПримером инстинктивного поведения является\nA) птица, умирающая от инфекции\nB) птенец, падающий из гнезда\nC) лошадь, выполняющая команды своего всадника\nD) стадо зебр, направляющееся в сторону дождевых облаков в конце засушливого сезона\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.013526732102036476, + "B": 0.004391487222164869, + "C": 0.9482971429824829, + "D": 0.005638780537992716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент оставляет ногтем линию на образце минерала, а значит, этот минерал можно охарактеризовать как что?", + "option_a": "минерал", + "option_b": "жидкий минерал", + "option_c": "мягкий минерал", + "option_d": "минеральный расплав" + }, + "outputs": "C", + "meta": { + "id": 2310 + } + }, + "prompt": "<|im_start|>user\nСтудент оставляет ногтем линию на образце минерала, а значит, этот минерал можно охарактеризовать как что?\nA. минерал\nB. жидкий минерал\nC. мягкий минерал\nD. минеральный расплав\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9286333918571472, + "B": 0.001087317825295031, + "C": 0.00021410557383205742, + "D": 0.011689769104123116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Утром в ясную погоду небо", + "option_a": "яркое", + "option_b": "облачное", + "option_c": "грозовое", + "option_d": "темное" + }, + "outputs": "A", + "meta": { + "id": 1928 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Утром в ясную погоду небо\nA) яркое\nB) облачное\nC) грозовое\nD) темное\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.007030930835753679, + "B": 0.009027895517647266, + "C": 0.920870304107666, + "D": 0.027807872742414474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ястреб предпочел бы это на обед", + "option_a": "Попкорн", + "option_b": "Трава", + "option_c": "Цыпленок", + "option_d": "Яблоко" + }, + "outputs": "C", + "meta": { + "id": 1346 + } + }, + "prompt": "<|im_start|>user\nЯстреб предпочел бы это на обед\nA. Попкорн\nB. Трава\nC. Цыпленок\nD. Яблоко\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8876237273216248, + "B": 0.020874910056591034, + "C": 0.0010393004631623626, + "D": 0.0022001992911100388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чистка туалета - это навык", + "option_a": "усвоенный", + "option_b": "врожденный", + "option_c": "генетический", + "option_d": "предопределенный" + }, + "outputs": "A", + "meta": { + "id": 836 + } + }, + "prompt": "<|im_start|>user\nЧистка туалета - это навык\nA) усвоенный\nB) врожденный\nC) генетический\nD) предопределенный\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008258439600467682, + "B": 0.0023660827428102493, + "C": 0.0016261833952739835, + "D": 0.9545458555221558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного встречается в лесах?", + "option_a": "Скорпионы", + "option_b": "Киты", + "option_c": "Верблюды", + "option_d": "Сверчки" + }, + "outputs": "D", + "meta": { + "id": 1736 + } + }, + "prompt": "<|im_start|>user\nЧто из перечисленного встречается в лесах?\nA) Скорпионы\nB) Киты\nC) Верблюды\nD) Сверчки\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002089256886392832, + "B": 0.0011182985035702586, + "C": 0.95509272813797, + "D": 0.004422957077622414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то страдает от частых падений", + "option_a": ", им следует выйти из дома", + "option_b": "им следует просто перестать пытаться ходить", + "option_c": "им следует попробовать расстелить ковер или бросить коврики", + "option_d": "им следует попробовать надеть обувь с гладкой подошвой" + }, + "outputs": "C", + "meta": { + "id": 1759 + } + }, + "prompt": "<|im_start|>user\nЕсли кто-то страдает от частых падений\nA. , им следует выйти из дома\nB. им следует просто перестать пытаться ходить\nC. им следует попробовать расстелить ковер или бросить коврики\nD. им следует попробовать надеть обувь с гладкой подошвой\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8893135190010071, + "B": 0.002204387914389372, + "C": 0.005288051441311836, + "D": 0.0046666888520121574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы помочь животным не замерзнуть в укрытиях зимой", + "option_a": "прикрепите термоизоляторы к их укрытиям", + "option_b": "поместите их укрытия на цемент", + "option_c": "поставьте укрытия прямо на пути ветра", + "option_d": "прикрепите черепицу к их укрытиям" + }, + "outputs": "A", + "meta": { + "id": 671 + } + }, + "prompt": "<|im_start|>user\nЧтобы помочь животным не замерзнуть в укрытиях зимой\nA. прикрепите термоизоляторы к их укрытиям\nB. поместите их укрытия на цемент\nC. поставьте укрытия прямо на пути ветра\nD. прикрепите черепицу к их укрытиям\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.043806564062833786, + "B": 0.8798783421516418, + "C": 0.003595861839130521, + "D": 0.01255078986287117 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером тектонических изменений на Земле является случай, когда вулкан, напоминающий высокую гору, сильно взрывается и", + "option_a": "превращает глубокий кратер в вулканическую породу и лед", + "option_b": "испускает потоки магмы вниз, образуя огромное озеро лавы", + "option_c": "хлещет вверх, открывая холмы снега", + "option_d": "заполняет глубокий кратер очень горячей водой" + }, + "outputs": "B", + "meta": { + "id": 1015 + } + }, + "prompt": "<|im_start|>user\nПримером тектонических изменений на Земле является случай, когда вулкан, напоминающий высокую гору, сильно взрывается и\nA. превращает глубокий кратер в вулканическую породу и лед\nB. испускает потоки магмы вниз, образуя огромное озеро лавы\nC. хлещет вверх, открывая холмы снега\nD. заполняет глубокий кратер очень горячей водой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9163162708282471, + "B": 0.0003483183681964874, + "C": 0.000307389855151996, + "D": 0.0008355723111890256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стадо оленей может быть вынуждено искать новый дом, если", + "option_a": "ресурсов в районе становится слишком мало для выживания стада", + "option_b": "вода в этом районе становится слегка соленой", + "option_c": "весной рождается больше детенышей", + "option_d": "лось перемещается в место, где живут олени" + }, + "outputs": "A", + "meta": { + "id": 204 + } + }, + "prompt": "<|im_start|>user\nСтадо оленей может быть вынуждено искать новый дом, если\nA. ресурсов в районе становится слишком мало для выживания стада\nB. вода в этом районе становится слегка соленой\nC. весной рождается больше детенышей\nD. лось перемещается в место, где живут олени\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010944087989628315, + "B": 0.009658124297857285, + "C": 0.7672398090362549, + "D": 0.17119434475898743 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного нельзя считать возобновляемыми источниками энергии?", + "option_a": "Солнце", + "option_b": "Ветер", + "option_c": "Природный газ", + "option_d": "Гидроэнергетика" + }, + "outputs": "C", + "meta": { + "id": 693 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из перечисленного нельзя считать возобновляемыми источниками энергии?\nA) Солнце\nB) Ветер\nC) Природный газ\nD) Гидроэнергетика\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.47796109318733215, + "B": 0.2898980677127838, + "C": 0.05037672445178032, + "D": 0.05037672445178032 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько раз равноденствие бывает в первой половине года", + "option_a": "три раза", + "option_b": "четыре раза", + "option_c": "дважды", + "option_d": "один раз" + }, + "outputs": "D", + "meta": { + "id": 1454 + } + }, + "prompt": "<|im_start|>user\nСколько раз равноденствие бывает в первой половине года\nA) три раза\nB) четыре раза\nC) дважды\nD) один раз\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8524478673934937, + "B": 0.033052992075681686, + "C": 0.0009981137700378895, + "D": 0.004473235923796892 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дрожжи, поставленные в прогретую духовку из кухонного шкафчика,", + "option_a": "поднимаются", + "option_b": "замерзают", + "option_c": "опускаются", + "option_d": "превращаются в противогрибковый крем" + }, + "outputs": "A", + "meta": { + "id": 1875 + } + }, + "prompt": "<|im_start|>user\nДрожжи, поставленные в прогретую духовку из кухонного шкафчика,\nA) поднимаются\nB) замерзают\nC) опускаются\nD) превращаются в противогрибковый крем\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5472513437271118, + "B": 0.376120001077652, + "C": 0.0010564436670392752, + "D": 0.002534276805818081 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником чего, в первую очередь, является солнце?", + "option_a": "Свет", + "option_b": "Энергия", + "option_c": "Тепло", + "option_d": "Питательные вещества" + }, + "outputs": "A", + "meta": { + "id": 801 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Источником чего, в первую очередь, является солнце?\nA. Свет\nB. Энергия\nC. Тепло\nD. Питательные вещества\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8922683000564575, + "B": 0.0053056213073432446, + "C": 0.0003391770296730101, + "D": 0.001341471099294722 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В течение нескольких лет на жаре и под прямыми лучами солнечного света большой валун может быть", + "option_a": "разрушен", + "option_b": "катапультирован", + "option_c": "заморожен", + "option_d": "прогнившим" + }, + "outputs": "A", + "meta": { + "id": 2203 + } + }, + "prompt": "<|im_start|>user\nВ течение нескольких лет на жаре и под прямыми лучами солнечного света большой валун может быть\nA. разрушен\nB. катапультирован\nC. заморожен\nD. прогнившим\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.015109981410205364, + "B": 0.8249770402908325, + "C": 0.052739012986421585, + "D": 0.04654202237725258 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Содержание органического вещества в почве может быть увеличено", + "option_a": "выкапыванием цветов из почвы", + "option_b": "разлагающимся трупом мыши", + "option_c": "скунсами, распыляющими свой секрет на почву", + "option_d": "животными, поедающими посевы, посаженные в почву" + }, + "outputs": "B", + "meta": { + "id": 2021 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Содержание органического вещества в почве может быть увеличено\nA. выкапыванием цветов из почвы\nB. разлагающимся трупом мыши\nC. скунсами, распыляющими свой секрет на почву\nD. животными, поедающими посевы, посаженные в почву\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.14026793837547302, + "B": 0.3364852964878082, + "C": 0.10924077779054642, + "D": 0.3364852964878082 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой ситуации большая часть спасательных операций может быть проведена по воздуху?", + "option_a": "выселение", + "option_b": "взрыв бомбы", + "option_c": "пожар", + "option_d": "затопление" + }, + "outputs": "D", + "meta": { + "id": 634 + } + }, + "prompt": "<|im_start|>user\nВ какой ситуации большая часть спасательных операций может быть проведена по воздуху?\nA) выселение\nB) взрыв бомбы\nC) пожар\nD) затопление\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.000992490560747683, + "B": 0.960507869720459, + "C": 0.0008758698240853846, + "D": 0.00036511686630547047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если растение эффективно питается, причина, скорее всего,", + "option_a": "пластиковые трубы", + "option_b": "сосуды специальной ткани - ксилемы", + "option_c": "внутренние стенки желудка растения", + "option_d": "металлические трубы" + }, + "outputs": "B", + "meta": { + "id": 1719 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если растение эффективно питается, причина, скорее всего,\nA. пластиковые трубы\nB. сосуды специальной ткани - ксилемы\nC. внутренние стенки желудка растения\nD. металлические трубы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009380895644426346, + "B": 0.0023718620650470257, + "C": 0.9568773508071899, + "D": 0.006447388790547848 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тепло заставляет вас потеть, поэтому в какое время дня вы потеете больше всего?", + "option_a": "раннее утро", + "option_b": "ночное время", + "option_c": "полдень", + "option_d": "во время метели" + }, + "outputs": "C", + "meta": { + "id": 1453 + } + }, + "prompt": "<|im_start|>user\nТепло заставляет вас потеть, поэтому в какое время дня вы потеете больше всего?\nA) раннее утро\nB) ночное время\nC) полдень\nD) во время метели\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8064985871315002, + "B": 0.008959390223026276, + "C": 0.010152319446206093, + "D": 0.09632252156734467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как ребенок с новым биноклем сможет разглядеть друга, стоящего вдалеке?", + "option_a": "лучше", + "option_b": "хуже", + "option_c": "так же, как и без бинокля", + "option_d": "все варианты верны одновременно" + }, + "outputs": "A", + "meta": { + "id": 517 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как ребенок с новым биноклем сможет разглядеть друга, стоящего вдалеке?\nA) лучше\nB) хуже\nC) так же, как и без бинокля\nD) все варианты верны одновременно\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03497381508350372, + "B": 0.9019865989685059, + "C": 0.004733191337436438, + "D": 0.010020166635513306 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что наиболее полезно при запоре слона?", + "option_a": "сыр", + "option_b": "овес", + "option_c": "жевательная резинка", + "option_d": "пустые обещания" + }, + "outputs": "B", + "meta": { + "id": 1258 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что наиболее полезно при запоре слона?\nA. сыр\nB. овес\nC. жевательная резинка\nD. пустые обещания\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.026484794914722443, + "B": 0.6027911305427551, + "C": 0.32265087962150574, + "D": 0.0005496743833646178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что должно произойти в первую очередь для того, чтобы инструмент заработал?", + "option_a": "его нужно очистить", + "option_b": "ничего из этого", + "option_c": "его нужно изобрести", + "option_d": "его нужно продать" + }, + "outputs": "C", + "meta": { + "id": 881 + } + }, + "prompt": "<|im_start|>user\nЧто должно произойти в первую очередь для того, чтобы инструмент заработал?\nA. его нужно очистить\nB. ничего из этого\nC. его нужно изобрести\nD. его нужно продать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8738741278648376, + "B": 0.008567160926759243, + "C": 0.008567160926759243, + "D": 0.03839534893631935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура тела комодского варана была бы самой высокой, если бы его погрузили в", + "option_a": "жидкий азот", + "option_b": "яблочный сок", + "option_c": "лаву", + "option_d": "воду" + }, + "outputs": "C", + "meta": { + "id": 2095 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура тела комодского варана была бы самой высокой, если бы его погрузили в\nA. жидкий азот\nB. яблочный сок\nC. лаву\nD. воду\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.3859715163707733, + "B": 0.035900942981243134, + "C": 0.05223556607961655, + "D": 0.43736302852630615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, виноват в переселении животных в удаленные места обитания?", + "option_a": "зоопарк", + "option_b": "торговый центр", + "option_c": "благотворительный фонд дикой природы", + "option_d": "кролик" + }, + "outputs": "B", + "meta": { + "id": 674 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто, скорее всего, виноват в переселении животных в удаленные места обитания?\nA) зоопарк\nB) торговый центр\nC) благотворительный фонд дикой природы\nD) кролик\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00021788998856209219, + "B": 0.9450473785400391, + "C": 0.00011662810720736161, + "D": 7.530076254624873e-05 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек хочет помочь окружающей среде, он должен", + "option_a": "оставлять кран открытым", + "option_b": "повторно использовать бумагу", + "option_c": "подолгу смотреть телевизор", + "option_d": "ежегодно покупать новую машину" + }, + "outputs": "B", + "meta": { + "id": 1601 + } + }, + "prompt": "<|im_start|>user\nЕсли человек хочет помочь окружающей среде, он должен\nA) оставлять кран открытым\nB) повторно использовать бумагу\nC) подолгу смотреть телевизор\nD) ежегодно покупать новую машину\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.1624036282300949, + "B": 0.20853038132190704, + "C": 0.05974495783448219, + "D": 0.5002383589744568 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда построили новый пригород, для чего стало меньше места?", + "option_a": "Пистолеты", + "option_b": "Криминал", + "option_c": "Головастики", + "option_d": "Воздух" + }, + "outputs": "C", + "meta": { + "id": 1642 + } + }, + "prompt": "<|im_start|>user\nКогда построили новый пригород, для чего стало меньше места?\nA) Пистолеты\nB) Криминал\nC) Головастики\nD) Воздух\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9321032762527466, + "B": 0.000584174005780369, + "C": 0.0007500943029299378, + "D": 0.0038092932663857937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Химические вещества в Duracell преобразуются в", + "option_a": "напряжение", + "option_b": "солнечный свет", + "option_c": "магию", + "option_d": "океанское течение" + }, + "outputs": "A", + "meta": { + "id": 758 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Химические вещества в Duracell преобразуются в\nA. напряжение\nB. солнечный свет\nC. магию\nD. океанское течение\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007116674445569515, + "B": 0.9321004748344421, + "C": 0.0048912144266068935, + "D": 0.0048912144266068935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек меняет привычки животных. Какое влияние это оказывает на животных?", + "option_a": "постыдное", + "option_b": "враждебное и вредное", + "option_c": "позитивное", + "option_d": "полезное и счастливое" + }, + "outputs": "B", + "meta": { + "id": 303 + } + }, + "prompt": "<|im_start|>user\nЧеловек меняет привычки животных. Какое влияние это оказывает на животных?\nA. постыдное\nB. враждебное и вредное\nC. позитивное\nD. полезное и счастливое\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8920220136642456, + "B": 0.006010396871715784, + "C": 0.0015196665190160275, + "D": 0.0019512902945280075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что все, вероятно, стало возможным благодаря складчатости горных пород?", + "option_a": "Гималаи, спелеология и долины", + "option_b": "реки, молнии, огонь", + "option_c": "дубы, водопады, телевизоры", + "option_d": "кошки, прерии, собаки, птицы" + }, + "outputs": "A", + "meta": { + "id": 1211 + } + }, + "prompt": "<|im_start|>user\nЧто все, вероятно, стало возможным благодаря складчатости горных пород?\nA) Гималаи, спелеология и долины\nB) реки, молнии, огонь\nC) дубы, водопады, телевизоры\nD) кошки, прерии, собаки, птицы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0018353578634560108, + "B": 0.0006751904147677124, + "C": 0.0005258388118818402, + "D": 0.9507389068603516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие ресурсы можно использовать снова?", + "option_a": "конечные", + "option_b": "топливные", + "option_c": "одноразовые", + "option_d": "возобновляемые" + }, + "outputs": "D", + "meta": { + "id": 116 + } + }, + "prompt": "<|im_start|>user\nКакие ресурсы можно использовать снова?\nA) конечные\nB) топливные\nC) одноразовые\nD) возобновляемые\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.06144336611032486, + "B": 0.02902378886938095, + "C": 0.022603750228881836, + "D": 0.8481994867324829 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "До чего солнечный свет идет дольше?", + "option_a": "Уран", + "option_b": "Плутон", + "option_c": "Марс", + "option_d": "Земля" + }, + "outputs": "B", + "meta": { + "id": 1295 + } + }, + "prompt": "<|im_start|>user\nДо чего солнечный свет идет дольше?\nA. Уран\nB. Плутон\nC. Марс\nD. Земля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.27535226941108704, + "B": 0.08939377963542938, + "C": 0.45397910475730896, + "D": 0.10129643976688385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что измеряется, например ведро с солью, нужно сначала", + "option_a": "наклонить", + "option_b": "сжечь", + "option_c": "собрать", + "option_d": "потерять" + }, + "outputs": "C", + "meta": { + "id": 1900 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: То, что измеряется, например ведро с солью, нужно сначала\nA) наклонить\nB) сжечь\nC) собрать\nD) потерять\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.024972883984446526, + "B": 0.8269882798194885, + "C": 0.06788333505392075, + "D": 0.00433963630348444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зеленый лук, получивший больше воды, обычно будет", + "option_a": "менее здоровым", + "option_b": "старше", + "option_c": "выше", + "option_d": "холоднее" + }, + "outputs": "C", + "meta": { + "id": 1201 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зеленый лук, получивший больше воды, обычно будет\nA) менее здоровым\nB) старше\nC) выше\nD) холоднее\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9071905612945557, + "B": 0.0005017529474571347, + "C": 0.000304328539641574, + "D": 0.0037074806168675423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У матерей много ролей, одна из которых", + "option_a": "вынашивание и роды", + "option_b": "приготовление хорошего обеда", + "option_c": "организация забав", + "option_d": "наблюдение за младенцами" + }, + "outputs": "A", + "meta": { + "id": 2274 + } + }, + "prompt": "<|im_start|>user\nУ матерей много ролей, одна из которых\nA) вынашивание и роды\nB) приготовление хорошего обеда\nC) организация забав\nD) наблюдение за младенцами\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007190206088125706, + "B": 0.0038486402481794357, + "C": 0.0011026537977159023, + "D": 0.9417311549186707 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером искусственной адаптации для выживания является", + "option_a": "Прогулка на улице", + "option_b": "Выращивание травы в поле", + "option_c": "Питье воды в теплый день", + "option_d": "Нанесение солнцезащитного крема в солнечном месте" + }, + "outputs": "D", + "meta": { + "id": 1047 + } + }, + "prompt": "<|im_start|>user\nПримером искусственной адаптации для выживания является\nA) Прогулка на улице\nB) Выращивание травы в поле\nC) Питье воды в теплый день\nD) Нанесение солнцезащитного крема в солнечном месте\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008142259903252125, + "B": 0.010454868897795677, + "C": 0.009226389229297638, + "D": 0.9411172270774841 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сдвиг плиты, вероятно, непосредственно создал", + "option_a": "кислород", + "option_b": "океанские брызги", + "option_c": "человеческую жизнь", + "option_d": "Альпы" + }, + "outputs": "D", + "meta": { + "id": 2186 + } + }, + "prompt": "<|im_start|>user\nСдвиг плиты, вероятно, непосредственно создал\nA) кислород\nB) океанские брызги\nC) человеческую жизнь\nD) Альпы\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.4152226448059082, + "B": 0.012538637034595013, + "C": 0.011065308935940266, + "D": 0.4705089032649994 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения ресурсов верны?", + "option_a": "ветер возобновляемый; металл невозобновляемый", + "option_b": "ветер пригоден для вторичной переработки, металл нет", + "option_c": "ветер радует, металл нет", + "option_d": "ветер невозобновляемый; металл возобновляемый" + }, + "outputs": "A", + "meta": { + "id": 282 + } + }, + "prompt": "<|im_start|>user\nКакие отношения ресурсов верны?\nA) ветер возобновляемый; металл невозобновляемый\nB) ветер пригоден для вторичной переработки, металл нет\nC) ветер радует, металл нет\nD) ветер невозобновляемый; металл возобновляемый\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.024354662746191025, + "B": 0.48917651176452637, + "C": 0.3809710443019867, + "D": 0.05155882239341736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в комнате будет влажно или сухо, это зависит от количества водяного пара в воздухе, поэтому, если комната хочет быть влажной", + "option_a": ", используйте осушитель", + "option_b": "наполните ванну", + "option_c": "откройте окно", + "option_d": "надейтесь, что пойдет дождь" + }, + "outputs": "B", + "meta": { + "id": 1843 + } + }, + "prompt": "<|im_start|>user\nЕсли в комнате будет влажно или сухо, это зависит от количества водяного пара в воздухе, поэтому, если комната хочет быть влажной\nA. , используйте осушитель\nB. наполните ванну\nC. откройте окно\nD. надейтесь, что пойдет дождь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.016372695565223694, + "B": 0.009930542670190334, + "C": 0.003653242252767086, + "D": 0.8939188718795776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звук может использоваться для общения", + "option_a": "планетами", + "option_b": "растениями", + "option_c": "водой", + "option_d": "существами" + }, + "outputs": "D", + "meta": { + "id": 216 + } + }, + "prompt": "<|im_start|>user\nЗвук может использоваться для общения\nA. планетами\nB. растениями\nC. водой\nD. существами\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07433077692985535, + "B": 0.7991312146186829, + "C": 0.021296124905347824, + "D": 0.016585437580943108 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В теплой комнате источником тепла, вероятно, является", + "option_a": "небольшой потолочный вентилятор", + "option_b": "ряд металлических труб вдоль стены", + "option_c": "выключенная плита", + "option_d": "куча коробок" + }, + "outputs": "B", + "meta": { + "id": 947 + } + }, + "prompt": "<|im_start|>user\nВ теплой комнате источником тепла, вероятно, является\nA) небольшой потолочный вентилятор\nB) ряд металлических труб вдоль стены\nC) выключенная плита\nD) куча коробок\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.04467899724841118, + "B": 0.07366320490837097, + "C": 0.034796036779880524, + "D": 0.7919541597366333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При письме деревянно-графитовым инструментом резкость становится сильнее от нажатия, и на бумаге остается больше", + "option_a": "кальмара", + "option_b": "минерала", + "option_c": "света", + "option_d": "белил" + }, + "outputs": "B", + "meta": { + "id": 220 + } + }, + "prompt": "<|im_start|>user\nПри письме деревянно-графитовым инструментом резкость становится сильнее от нажатия, и на бумаге остается больше\nA) кальмара\nB) минерала\nC) света\nD) белил\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11866414546966553, + "B": 0.531815767288208, + "C": 0.1344640851020813, + "D": 0.1344640851020813 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кегли, оставленные в снегу, становятся", + "option_a": "горячими", + "option_b": "твердыми", + "option_c": "мягкими", + "option_d": "липкими" + }, + "outputs": "B", + "meta": { + "id": 1806 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кегли, оставленные в снегу, становятся\nA) горячими\nB) твердыми\nC) мягкими\nD) липкими\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007205740548670292, + "B": 0.9437658190727234, + "C": 0.00340375117957592, + "D": 0.00340375117957592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Моя рубашка стала мне мала, что мне сделать, чтобы сохранить и повторно использовать ткань?", + "option_a": "Пройдите с ней по взлетно-посадочной полосе", + "option_b": "Сделайте из нее сумку", + "option_c": "Используйте ее, чтобы защитить свое тело от пуль", + "option_d": "Отслеживайте погоду по ее состоянию" + }, + "outputs": "B", + "meta": { + "id": 2300 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Моя рубашка стала мне мала, что мне сделать, чтобы сохранить и повторно использовать ткань?\nA. Пройдите с ней по взлетно-посадочной полосе\nB. Сделайте из нее сумку\nC. Используйте ее, чтобы защитить свое тело от пуль\nD. Отслеживайте погоду по ее состоянию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.01687617599964142, + "B": 0.0037655839696526527, + "C": 0.006208398379385471, + "D": 0.9214079976081848 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "что из этого приведет к обращению вспять опустынивания?", + "option_a": "удаление всей воды из пустынь", + "option_b": "вырубка как можно большего количества деревьев", + "option_c": "посев семян каждого срубленного дерева", + "option_d": "все эти варианты" + }, + "outputs": "C", + "meta": { + "id": 1660 + } + }, + "prompt": "<|im_start|>user\nчто из этого приведет к обращению вспять опустынивания?\nA. удаление всей воды из пустынь\nB. вырубка как можно большего количества деревьев\nC. посев семян каждого срубленного дерева\nD. все эти варианты\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0016265311278402805, + "B": 0.9547500014305115, + "C": 0.00028264871798455715, + "D": 0.006433054804801941 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У уроженцев Карибского бассейна темный оттенок кожи, что связано с", + "option_a": "единорогами", + "option_b": "солнечным излучением", + "option_c": "недостатком питательных веществ", + "option_d": "маскировкой" + }, + "outputs": "B", + "meta": { + "id": 587 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У уроженцев Карибского бассейна темный оттенок кожи, что связано с\nA) единорогами\nB) солнечным излучением\nC) недостатком питательных веществ\nD) маскировкой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1362989991903305, + "B": 0.7843466401100159, + "C": 0.0098734674975276, + "D": 0.003205445595085621 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "выключатель включает что-то, подсоединенное к источнику питания, потому что:", + "option_a": "цепь разомкнута", + "option_b": "кусок меди замыкает цепь", + "option_c": "изоляция добавляет ток", + "option_d": "свет выключается" + }, + "outputs": "B", + "meta": { + "id": 1627 + } + }, + "prompt": "<|im_start|>user\nвыключатель включает что-то, подсоединенное к источнику питания, потому что:\nA. цепь разомкнута\nB. кусок меди замыкает цепь\nC. изоляция добавляет ток\nD. свет выключается\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06255514174699783, + "B": 0.8635470867156982, + "C": 0.0031144372187554836, + "D": 0.0027484812308102846 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кошка и змея являются хищниками для ряда одних и тех же животных. Если в среде обитания кошки и змеи всего семь мышей, будет", + "option_a": "совместная трапеза между ними", + "option_b": "конкуренция за мышей между змеей и кошкой", + "option_c": "война между мышами и кошками", + "option_d": "для каждого из них по десять мышей" + }, + "outputs": "B", + "meta": { + "id": 1459 + } + }, + "prompt": "<|im_start|>user\nКошка и змея являются хищниками для ряда одних и тех же животных. Если в среде обитания кошки и змеи всего семь мышей, будет\nA) совместная трапеза между ними\nB) конкуренция за мышей между змеей и кошкой\nC) война между мышами и кошками\nD) для каждого из них по десять мышей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.47847095131874084, + "B": 0.37263354659080505, + "C": 0.01125255785882473, + "D": 0.06475400179624557 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому питательные вещества необходимы для выживания?", + "option_a": "барсуки", + "option_b": "скалы", + "option_c": "здания", + "option_d": "облака" + }, + "outputs": "A", + "meta": { + "id": 372 + } + }, + "prompt": "<|im_start|>user\nКому питательные вещества необходимы для выживания?\nA) барсуки\nB) скалы\nC) здания\nD) облака\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004960101097822189, + "B": 0.00027982977917417884, + "C": 0.003008453641086817, + "D": 0.9452279806137085 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда что-то конденсируется,", + "option_a": "внутри него становится влажно", + "option_b": "это испаряется жидкое озеро", + "option_c": "оно становится расплавленной жидкостью", + "option_d": ", оно превращается в более похожую на воду форму" + }, + "outputs": "D", + "meta": { + "id": 201 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда что-то конденсируется,\nA. внутри него становится влажно\nB. это испаряется жидкое озеро\nC. оно становится расплавленной жидкостью\nD. , оно превращается в более похожую на воду форму\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003899452742189169, + "B": 0.005673670209944248, + "C": 0.0009859360288828611, + "D": 0.9541646242141724 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На больших высотах риск затопления невелик, но что произойдет на низких высотах?", + "option_a": "больше паводковых вод будут чистыми", + "option_b": "ущерб от наводнения будет уменьшен", + "option_c": "риск наводнения будет меньше", + "option_d": "ущерб от воды будет более очевидным" + }, + "outputs": "D", + "meta": { + "id": 2266 + } + }, + "prompt": "<|im_start|>user\nНа больших высотах риск затопления невелик, но что произойдет на низких высотах?\nA) больше паводковых вод будут чистыми\nB) ущерб от наводнения будет уменьшен\nC) риск наводнения будет меньше\nD) ущерб от воды будет более очевидным\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03122027963399887, + "B": 0.0025627168361097574, + "C": 0.9123903512954712, + "D": 0.005425271112471819 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Предохранитель может использоваться для экстренного размыкания цепи и прекращения прохождения токов, вызывающих перегрев элементов в", + "option_a": "термостате", + "option_b": "солнечной энергии", + "option_c": "в электрической цепи.", + "option_d": "магнитных полях" + }, + "outputs": "C", + "meta": { + "id": 694 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Предохранитель может использоваться для экстренного размыкания цепи и прекращения прохождения токов, вызывающих перегрев элементов в\nA. термостате\nB. солнечной энергии\nC. в электрической цепи.\nD. магнитных полях\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.86149662733078, + "B": 0.006577607709914446, + "C": 0.008445816114544868, + "D": 0.04289139062166214 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Компас был бы полезен", + "option_a": "капитану ВМФ", + "option_b": "капитану КВН", + "option_c": "капитану команды телеигры «Что? Где? Когда?»", + "option_d": "Капитану Очевидность" + }, + "outputs": "A", + "meta": { + "id": 1399 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Компас был бы полезен\nA) капитану ВМФ\nB) капитану КВН\nC) капитану команды телеигры «Что? Где? Когда?»\nD) Капитану Очевидность\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.06678254157304764, + "B": 0.8135778903961182, + "C": 0.011605065315961838, + "D": 0.0458989255130291 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто бы мог увидеть розовую розу ночью?", + "option_a": "собаки", + "option_b": "люди", + "option_c": "лемуры", + "option_d": "кроты" + }, + "outputs": "C", + "meta": { + "id": 123 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто бы мог увидеть розовую розу ночью?\nA) собаки\nB) люди\nC) лемуры\nD) кроты\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006402867380529642, + "B": 0.9502697587013245, + "C": 0.0007647134480066597, + "D": 0.0014286728110164404 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда Луна, Солнце и Земля выстраиваются в линию, приливы", + "option_a": "становятся ниже", + "option_b": "увеличиваются", + "option_c": "исчезают", + "option_d": "заводят Инстаграм" + }, + "outputs": "B", + "meta": { + "id": 395 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда Луна, Солнце и Земля выстраиваются в линию, приливы\nA. становятся ниже\nB. увеличиваются\nC. исчезают\nD. заводят Инстаграм\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.015729183331131935, + "B": 0.315929114818573, + "C": 0.5902332663536072, + "D": 0.03329868242144585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что общего между паром и льдом?", + "option_a": "химическая формула", + "option_b": "форма", + "option_c": "температура", + "option_d": "внешний вид" + }, + "outputs": "A", + "meta": { + "id": 238 + } + }, + "prompt": "<|im_start|>user\nЧто общего между паром и льдом?\nA. химическая формула\nB. форма\nC. температура\nD. внешний вид\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06415802985429764, + "B": 0.003194240154698491, + "C": 0.0067622060887515545, + "D": 0.885674238204956 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит, когда ртуть попадает в воду?", + "option_a": "растворяется", + "option_b": "затвердевает", + "option_c": "плавает", + "option_d": "тонет" + }, + "outputs": "D", + "meta": { + "id": 741 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что происходит, когда ртуть попадает в воду?\nA) растворяется\nB) затвердевает\nC) плавает\nD) тонет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.07250803709030151, + "B": 0.012600007466971874, + "C": 0.324958473443985, + "D": 0.5357659459114075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что преобразует углекислый газ, воду и солнечную энергию в кислород?", + "option_a": "омела", + "option_b": "хризантема", + "option_c": "гриб", + "option_d": "родинка" + }, + "outputs": "B", + "meta": { + "id": 1499 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что преобразует углекислый газ, воду и солнечную энергию в кислород?\nA) омела\nB) хризантема\nC) гриб\nD) родинка\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.002771977102383971, + "B": 0.09179526567459106, + "C": 0.8709293007850647, + "D": 0.0035592890344560146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Возобновляемые ресурсы", + "option_a": "часто поступают из ископаемого топлива", + "option_b": "биоразлагаются столетия", + "option_c": "следует использовать консервативно", + "option_d": "можно использовать до бесконечности" + }, + "outputs": "D", + "meta": { + "id": 1425 + } + }, + "prompt": "<|im_start|>user\nВозобновляемые ресурсы\nA. часто поступают из ископаемого топлива\nB. биоразлагаются столетия\nC. следует использовать консервативно\nD. можно использовать до бесконечности\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9103394746780396, + "B": 0.0005034945206716657, + "C": 0.0007325802580453455, + "D": 0.0009406516328454018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сила, приложенная к движущемуся предмету против направления его движения,", + "option_a": "тормозит его", + "option_b": "расплавляет его", + "option_c": "ускоряет его", + "option_d": "сжигает его" + }, + "outputs": "A", + "meta": { + "id": 780 + } + }, + "prompt": "<|im_start|>user\nСила, приложенная к движущемуся предмету против направления его движения,\nA) тормозит его\nB) расплавляет его\nC) ускоряет его\nD) сжигает его\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0039381785318255424, + "B": 0.005056721158325672, + "C": 0.9636405110359192, + "D": 0.0039381785318255424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одним из способов, которым люди могут вызвать загрязнение окружающей среды, является", + "option_a": "размещение пластмасс в специальных контейнерах", + "option_b": "предотвращение разлива нефти в океанах", + "option_c": "использование химикатов против насекомых на сельскохозяйственных культурах", + "option_d": "принятие законов против загрязнения" + }, + "outputs": "C", + "meta": { + "id": 713 + } + }, + "prompt": "<|im_start|>user\nОдним из способов, которым люди могут вызвать загрязнение окружающей среды, является\nA) размещение пластмасс в специальных контейнерах\nB) предотвращение разлива нефти в океанах\nC) использование химикатов против насекомых на сельскохозяйственных культурах\nD) принятие законов против загрязнения\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8680146336555481, + "B": 0.020413748919963837, + "C": 0.010926691815257072, + "D": 0.023131806403398514 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что замедляет передачу тепла?", + "option_a": "деревянная стена", + "option_b": "ветер", + "option_c": "солнце", + "option_d": "световые лучи" + }, + "outputs": "A", + "meta": { + "id": 221 + } + }, + "prompt": "<|im_start|>user\nЧто замедляет передачу тепла?\nA. деревянная стена\nB. ветер\nC. солнце\nD. световые лучи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009201519191265106, + "B": 0.002053136471658945, + "C": 0.9385804533958435, + "D": 0.007166150026023388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего, вероятно, в наибольшей степени уменьшит загрязнение?", + "option_a": "использование грузовика вместо автомобиля", + "option_b": "использование автомобиля вместо автобуса", + "option_c": "использование велосипеда вместо мотоцикла", + "option_d": "использование мотоцикла вместо велосипеда" + }, + "outputs": "C", + "meta": { + "id": 2263 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего, вероятно, в наибольшей степени уменьшит загрязнение?\nA. использование грузовика вместо автомобиля\nB. использование автомобиля вместо автобуса\nC. использование велосипеда вместо мотоцикла\nD. использование мотоцикла вместо велосипеда\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8896681666374207, + "B": 0.002831618767231703, + "C": 0.0010416943114250898, + "D": 0.006792699918150902 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Норвежское правительство поддерживает специальную камеру хранения в 1300 км от Полярного круга для использования в случае антропогенных или стихийных бедствий. Хранилище построено в арктической вечной мерзлоте и содержит", + "option_a": "семена для воспроизводства съедобных культур", + "option_b": "семена арктических животных", + "option_c": "семена, которые ошпарены кипятком", + "option_d": "проростки семян" + }, + "outputs": "A", + "meta": { + "id": 2202 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Норвежское правительство поддерживает специальную камеру хранения в 1300 км от Полярного круга для использования в случае антропогенных или стихийных бедствий. Хранилище построено в арктической вечной мерзлоте и содержит\nA) семена для воспроизводства съедобных культур\nB) семена арктических животных\nC) семена, которые ошпарены кипятком\nD) проростки семян\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.241995707154274, + "B": 0.5805175304412842, + "C": 0.03275056183338165, + "D": 0.05399654060602188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из перечисленных объектов может пострадать от яда?", + "option_a": "робот", + "option_b": "Дерево", + "option_c": "дом", + "option_d": "машина" + }, + "outputs": "B", + "meta": { + "id": 1104 + } + }, + "prompt": "<|im_start|>user\nКакой из перечисленных объектов может пострадать от яда?\nA) робот\nB) Дерево\nC) дом\nD) машина\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0016411085380241275, + "B": 0.015570403076708317, + "C": 0.963306725025177, + "D": 0.0006841157446615398 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гены родителей определяют у кролика", + "option_a": "выбор партнера", + "option_b": "пищевые предпочтения", + "option_c": "цвет шерсти", + "option_d": "место обитания" + }, + "outputs": "C", + "meta": { + "id": 332 + } + }, + "prompt": "<|im_start|>user\nГены родителей определяют у кролика\nA. выбор партнера\nB. пищевые предпочтения\nC. цвет шерсти\nD. место обитания\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8670637011528015, + "B": 0.00963220838457346, + "C": 0.003127119969576597, + "D": 0.04891638830304146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда животным нужно подзарядиться, они не могут использовать электричество, и поэтому им остается", + "option_a": "вздремнуть", + "option_b": "полагаться на воду", + "option_c": "использовать источники топлива", + "option_d": "полагаться на калории" + }, + "outputs": "D", + "meta": { + "id": 184 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда животным нужно подзарядиться, они не могут использовать электричество, и поэтому им остается\nA. вздремнуть\nB. полагаться на воду\nC. использовать источники топлива\nD. полагаться на калории\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.656380832195282, + "B": 0.017491957172751427, + "C": 0.008262615650892258, + "D": 0.24146904051303864 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Водоросли осуществляют фотосинтез, и поэтому их можно найти в этой части водоема", + "option_a": "сверху", + "option_b": "снизу", + "option_c": "нигде", + "option_d": "в середине" + }, + "outputs": "A", + "meta": { + "id": 2191 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Водоросли осуществляют фотосинтез, и поэтому их можно найти в этой части водоема\nA. сверху\nB. снизу\nC. нигде\nD. в середине\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8719605803489685, + "B": 0.0014854894252493978, + "C": 0.0014854894252493978, + "D": 0.0014854894252493978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пыльная буря возникла из-за", + "option_a": "неустойчивой практики ведения сельского хозяйства", + "option_b": "кеглей для боулинга", + "option_c": "радикальной реформы", + "option_d": "двух футбольных команд" + }, + "outputs": "A", + "meta": { + "id": 1517 + } + }, + "prompt": "<|im_start|>user\nПыльная буря возникла из-за\nA) неустойчивой практики ведения сельского хозяйства\nB) кеглей для боулинга\nC) радикальной реформы\nD) двух футбольных команд\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06317870318889618, + "B": 0.19460412859916687, + "C": 0.007545621134340763, + "D": 0.6792351007461548 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером предмета домашнего обихода, который способен быть изолятором, может быть", + "option_a": "бриллиантовая брошь", + "option_b": "серебряный подсвечник", + "option_c": "золототая чаша", + "option_d": "пластиковый половник" + }, + "outputs": "D", + "meta": { + "id": 2302 + } + }, + "prompt": "<|im_start|>user\nПримером предмета домашнего обихода, который способен быть изолятором, может быть\nA. бриллиантовая брошь\nB. серебряный подсвечник\nC. золототая чаша\nD. пластиковый половник\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008205738849937916, + "B": 0.011939279735088348, + "C": 0.9484544396400452, + "D": 0.0011105259181931615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разрыв бумаги пополам", + "option_a": "увеличивает лист бумаги", + "option_b": "оставляет бумагу неизменной", + "option_c": "изменяет форму бумаги", + "option_d": "превращает бумагу в газообразную форму" + }, + "outputs": "C", + "meta": { + "id": 556 + } + }, + "prompt": "<|im_start|>user\nРазрыв бумаги пополам\nA) увеличивает лист бумаги\nB) оставляет бумагу неизменной\nC) изменяет форму бумаги\nD) превращает бумагу в газообразную форму\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02490132488310337, + "B": 0.0006635978352278471, + "C": 0.934415340423584, + "D": 0.0023161841090768576 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно найти там, где происходит фотосинтез?", + "option_a": "немного хлорного пигмента", + "option_b": "немного синего пигмента", + "option_c": "зеленую пигментацию листьев", + "option_d": "немного хлорида" + }, + "outputs": "C", + "meta": { + "id": 1504 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно найти там, где происходит фотосинтез?\nA) немного хлорного пигмента\nB) немного синего пигмента\nC) зеленую пигментацию листьев\nD) немного хлорида\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.25207802653312683, + "B": 0.41560640931129456, + "C": 0.014221268706023693, + "D": 0.25207802653312683 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воспроизведение музыки на определенной частоте может", + "option_a": "треснуть зеркало", + "option_b": "послать звук наружу", + "option_c": "повредить зубы", + "option_d": "разбить стекло" + }, + "outputs": "D", + "meta": { + "id": 1533 + } + }, + "prompt": "<|im_start|>user\nВоспроизведение музыки на определенной частоте может\nA. треснуть зеркало\nB. послать звук наружу\nC. повредить зубы\nD. разбить стекло\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6944729089736938, + "B": 0.006808373611420393, + "C": 0.01271971594542265, + "D": 0.22546234726905823 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы на неделю застряли в пустыне без одежды, вы, скорее всего,", + "option_a": "испаритесь", + "option_b": "обнаружите лес", + "option_c": "замерзнете", + "option_d": "погибнете" + }, + "outputs": "D", + "meta": { + "id": 1573 + } + }, + "prompt": "<|im_start|>user\nЕсли вы на неделю застряли в пустыне без одежды, вы, скорее всего,\nA. испаритесь\nB. обнаружите лес\nC. замерзнете\nD. погибнете\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01176095474511385, + "B": 0.9342883825302124, + "C": 0.0009653979213908315, + "D": 0.0038182230200618505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицам комфортнее обитать в таких местах, как", + "option_a": "подводные пути", + "option_b": "рощи растений", + "option_c": "городские перекрестки", + "option_d": "собачьи площадки" + }, + "outputs": "B", + "meta": { + "id": 1873 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Птицам комфортнее обитать в таких местах, как\nA. подводные пути\nB. рощи растений\nC. городские перекрестки\nD. собачьи площадки\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8895048499107361, + "B": 0.0028310990892350674, + "C": 0.003208055393770337, + "D": 0.00466769328340888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уклон - это мера разницы в высоте от вершины до основания", + "option_a": "пирамиды", + "option_b": "башни", + "option_c": "монетки", + "option_d": "коробки" + }, + "outputs": "A", + "meta": { + "id": 1879 + } + }, + "prompt": "<|im_start|>user\nУклон - это мера разницы в высоте от вершины до основания\nA. пирамиды\nB. башни\nC. монетки\nD. коробки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.018213806673884392, + "B": 0.01607362926006317, + "C": 0.018213806673884392, + "D": 0.8775903582572937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если какой-либо вид растений или животных прекращает свое существование на Земле по естественным причинам или в результате деятельности человека, утрата растения или животного", + "option_a": "- это обратимое исчезновение", + "option_b": "может быть животному наградой", + "option_c": "может быть обратимой", + "option_d": "не может быть отменено" + }, + "outputs": "D", + "meta": { + "id": 1236 + } + }, + "prompt": "<|im_start|>user\nЕсли какой-либо вид растений или животных прекращает свое существование на Земле по естественным причинам или в результате деятельности человека, утрата растения или животного\nA) - это обратимое исчезновение\nB) может быть животному наградой\nC) может быть обратимой\nD) не может быть отменено\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.29182446002960205, + "B": 0.6177923083305359, + "C": 0.01865571178495884, + "D": 0.014529083855450153 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, способствует размножению растений?", + "option_a": "охота и собирательство семьи барсуков", + "option_b": "рост человеческого загрязнения", + "option_c": "приготовление рисового плова", + "option_d": "гравитация на Марсе" + }, + "outputs": "A", + "meta": { + "id": 1767 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, способствует размножению растений?\nA. охота и собирательство семьи барсуков\nB. рост человеческого загрязнения\nC. приготовление рисового плова\nD. гравитация на Марсе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8917014002799988, + "B": 0.001950589008629322, + "C": 0.008741933852434158, + "D": 0.016332082450389862 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно происходит в течение многих лет?", + "option_a": "разрушение горных пород", + "option_b": "вспышка молнии", + "option_c": "прилив", + "option_d": "наводнение" + }, + "outputs": "A", + "meta": { + "id": 953 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что обычно происходит в течение многих лет?\nA. разрушение горных пород\nB. вспышка молнии\nC. прилив\nD. наводнение\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8064722418785095, + "B": 0.008959097787737846, + "C": 0.016737796366214752, + "D": 0.08500154316425323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На что сильно влияют времена года?", + "option_a": "Окружающая среда", + "option_b": "Настроение", + "option_c": "Поведение", + "option_d": "Потребление" + }, + "outputs": "A", + "meta": { + "id": 1999 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На что сильно влияют времена года?\nA) Окружающая среда\nB) Настроение\nC) Поведение\nD) Потребление\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0016053213039413095, + "B": 0.9423000812530518, + "C": 0.00024618394672870636, + "D": 0.0001162890694104135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бабочки часто имеют на крыльях окраску, похожую на глаза, чтобы", + "option_a": "выглядеть красиво", + "option_b": "отпугивать хищников", + "option_c": "видеть цветы", + "option_d": "веселиться" + }, + "outputs": "B", + "meta": { + "id": 1140 + } + }, + "prompt": "<|im_start|>user\nБабочки часто имеют на крыльях окраску, похожую на глаза, чтобы\nA) выглядеть красиво\nB) отпугивать хищников\nC) видеть цветы\nD) веселиться\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011410616338253021, + "B": 0.9064574837684631, + "C": 0.008886597119271755, + "D": 0.03101726993918419 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные по-разному переносят разную температуру. Когда становится жарко, какие животные тяжело дышат?", + "option_a": "мертвые", + "option_b": "собаки", + "option_c": "рыбы", + "option_d": "киты" + }, + "outputs": "B", + "meta": { + "id": 1093 + } + }, + "prompt": "<|im_start|>user\nЖивотные по-разному переносят разную температуру. Когда становится жарко, какие животные тяжело дышат?\nA) мертвые\nB) собаки\nC) рыбы\nD) киты\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5059508681297302, + "B": 0.3940349519252777, + "C": 0.0006712857284583151, + "D": 0.0005924075376242399 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример того, что если организм перегревается, этот организм может умереть?", + "option_a": "собака, тяжело дышащая под жарким солнцем", + "option_b": "дождевой червь, высыхающий на тротуаре", + "option_c": "медведь, сбрасывающий мех, чтобы охладиться", + "option_d": "птица, останавливающаяся, чтобы отдохнуть после долгого полета" + }, + "outputs": "B", + "meta": { + "id": 659 + } + }, + "prompt": "<|im_start|>user\nКаков пример того, что если организм перегревается, этот организм может умереть?\nA) собака, тяжело дышащая под жарким солнцем\nB) дождевой червь, высыхающий на тротуаре\nC) медведь, сбрасывающий мех, чтобы охладиться\nD) птица, останавливающаяся, чтобы отдохнуть после долгого полета\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.22066111862659454, + "B": 0.36380866169929504, + "C": 0.1718510538339615, + "D": 0.1718510538339615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мальчик потерялся в густо засаженной деревьями местности, и единственный помощник, который у него есть, - это небольшой компас. Мальчик знает, что его дом находится к югу от него, но стрелка на компасе сообщает, что он сейчас идет строго на север. Таким образом, чтобы попасть домой, мальчик", + "option_a": "поворачивает направо", + "option_b": "поворачивает налево", + "option_c": "разворачивается", + "option_d": "держится того же курса" + }, + "outputs": "C", + "meta": { + "id": 1452 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мальчик потерялся в густо засаженной деревьями местности, и единственный помощник, который у него есть, - это небольшой компас. Мальчик знает, что его дом находится к югу от него, но стрелка на компасе сообщает, что он сейчас идет строго на север. Таким образом, чтобы попасть домой, мальчик\nA. поворачивает направо\nB. поворачивает налево\nC. разворачивается\nD. держится того же курса\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00025676420773379505, + "B": 0.00022659362002741545, + "C": 0.982797384262085, + "D": 0.0004796987632289529 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В направлении какого объекта поворачиваются листья растения?", + "option_a": "собака", + "option_b": "человек", + "option_c": "солнце", + "option_d": "пыль" + }, + "outputs": "C", + "meta": { + "id": 1720 + } + }, + "prompt": "<|im_start|>user\nВ направлении какого объекта поворачиваются листья растения?\nA) собака\nB) человек\nC) солнце\nD) пыль\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.006295312196016312, + "B": 0.0020437887869775295, + "C": 0.0038183000870049, + "D": 0.9343072175979614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы выжить в своей среде обитания, верблюды наследственно закрепили такое изменение организма", + "option_a": "слоновьи уши", + "option_b": "длинные морды, чтобы пить из нор", + "option_c": "горбы на спине", + "option_d": "все перечисленные варианты сразу" + }, + "outputs": "C", + "meta": { + "id": 1632 + } + }, + "prompt": "<|im_start|>user\nЧтобы выжить в своей среде обитания, верблюды наследственно закрепили такое изменение организма\nA. слоновьи уши\nB. длинные морды, чтобы пить из нор\nC. горбы на спине\nD. все перечисленные варианты сразу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.02238372340798378, + "B": 0.0006759298266842961, + "C": 0.0005264146602712572, + "D": 0.9517800807952881 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Восходы в январе", + "option_a": "поздние", + "option_b": "зеленые", + "option_c": "старые", + "option_d": "ранние" + }, + "outputs": "A", + "meta": { + "id": 1981 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Восходы в январе\nA) поздние\nB) зеленые\nC) старые\nD) ранние\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0021100977901369333, + "B": 0.006499558687210083, + "C": 0.964620053768158, + "D": 0.005735840182751417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каждая частичка роста и жизни на Земле связана с силой", + "option_a": "солнечных пришельцев", + "option_b": "магических сфер", + "option_c": "дневного света", + "option_d": "волшебных бобов" + }, + "outputs": "C", + "meta": { + "id": 1291 + } + }, + "prompt": "<|im_start|>user\nКаждая частичка роста и жизни на Земле связана с силой\nA) солнечных пришельцев\nB) магических сфер\nC) дневного света\nD) волшебных бобов\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09760880470275879, + "B": 0.0029475304763764143, + "C": 0.8172684907913208, + "D": 0.014968794770538807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнце - это ближайший к Земле", + "option_a": "аккумулятор", + "option_b": "человек", + "option_c": "источник звездного света", + "option_d": "спутник" + }, + "outputs": "C", + "meta": { + "id": 1709 + } + }, + "prompt": "<|im_start|>user\nСолнце - это ближайший к Земле\nA. аккумулятор\nB. человек\nC. источник звездного света\nD. спутник\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.035684723407030106, + "B": 0.5582029819488525, + "C": 0.232693612575531, + "D": 0.08560319989919662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "От какой стены отражается наиболее неприятное эхо?", + "option_a": "Любой", + "option_b": "Выпуклой", + "option_c": "Вогнутой", + "option_d": "Плоской" + }, + "outputs": "C", + "meta": { + "id": 2032 + } + }, + "prompt": "<|im_start|>user\nОт какой стены отражается наиболее неприятное эхо?\nA) Любой\nB) Выпуклой\nC) Вогнутой\nD) Плоской\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.011259680613875389, + "B": 0.05046239122748375, + "C": 0.8944672346115112, + "D": 0.009936634451150894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На что влияет увеличение размера цветка?", + "option_a": "улучшает запах", + "option_b": "делает его красивее", + "option_c": "увеличивает количество опылителей", + "option_d": "уменьшает размер рыльца" + }, + "outputs": "C", + "meta": { + "id": 2218 + } + }, + "prompt": "<|im_start|>user\nНа что влияет увеличение размера цветка?\nA) улучшает запах\nB) делает его красивее\nC) увеличивает количество опылителей\nD) уменьшает размер рыльца\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004361066035926342, + "B": 0.9417279958724976, + "C": 0.0005902060656808317, + "D": 0.0006687911227345467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шипучка - это сочетание каких элементов?", + "option_a": "жидкость в сахарной оболочке", + "option_b": "кристаллы сахарозы и ароматизаторы, растворенные в воде", + "option_c": "газированная вода в банке", + "option_d": "леденцы из магазина" + }, + "outputs": "B", + "meta": { + "id": 1434 + } + }, + "prompt": "<|im_start|>user\nШипучка - это сочетание каких элементов?\nA. жидкость в сахарной оболочке\nB. кристаллы сахарозы и ароматизаторы, растворенные в воде\nC. газированная вода в банке\nD. леденцы из магазина\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.12201493233442307, + "B": 0.15667028725147247, + "C": 0.06530988961458206, + "D": 0.6196430325508118 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример вращения Земли вокруг своей оси?", + "option_a": "облачность варьируется в зависимости от сезона", + "option_b": "созвездия видны только в некоторых частях мира в определенные месяцы", + "option_c": "в Антарктиде всегда холодно", + "option_d": "экватор движется вверх и вниз вокруг Земли" + }, + "outputs": "B", + "meta": { + "id": 1577 + } + }, + "prompt": "<|im_start|>user\nКаков пример вращения Земли вокруг своей оси?\nA) облачность варьируется в зависимости от сезона\nB) созвездия видны только в некоторых частях мира в определенные месяцы\nC) в Антарктиде всегда холодно\nD) экватор движется вверх и вниз вокруг Земли\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.015873286873102188, + "B": 0.8666520714759827, + "C": 0.01236212719231844, + "D": 0.03360374644398689 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, скорее всего, не увидит, куда идти, если он заблудится", + "option_a": "в небольшой реке", + "option_b": "в густом лесу", + "option_c": "в пустыне", + "option_d": "на горе" + }, + "outputs": "B", + "meta": { + "id": 626 + } + }, + "prompt": "<|im_start|>user\nЧеловек, скорее всего, не увидит, куда идти, если он заблудится\nA. в небольшой реке\nB. в густом лесу\nC. в пустыне\nD. на горе\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002296765800565481, + "B": 0.9265813827514648, + "C": 0.0004522599920164794, + "D": 0.02798033319413662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Следствием загрязнения может быть то, что", + "option_a": "вода превращается в мороженое", + "option_b": "рыба становится несъедобной", + "option_c": "увеличивается документооборот", + "option_d": "мусорное ведро переполняется" + }, + "outputs": "B", + "meta": { + "id": 24 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Следствием загрязнения может быть то, что\nA) вода превращается в мороженое\nB) рыба становится несъедобной\nC) увеличивается документооборот\nD) мусорное ведро переполняется\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.03951475769281387, + "B": 0.17709283530712128, + "C": 0.00778091698884964, + "D": 0.7004157900810242 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приобретенная характеристика:", + "option_a": "постоянный рубец, полученный много лет назад", + "option_b": "веснушки из-за генов вашей мамы", + "option_c": "большой нос, такой же, как у вашего отца", + "option_d": "каштановые, вьющиеся волосы, напоминающие волосы вашей сестры" + }, + "outputs": "A", + "meta": { + "id": 438 + } + }, + "prompt": "<|im_start|>user\nПриобретенная характеристика:\nA. постоянный рубец, полученный много лет назад\nB. веснушки из-за генов вашей мамы\nC. большой нос, такой же, как у вашего отца\nD. каштановые, вьющиеся волосы, напоминающие волосы вашей сестры\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.7857128381729126, + "B": 0.009890665300190449, + "C": 0.034521814435720444, + "D": 0.07308267802000046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку вода менее плотная, она плавает поверх", + "option_a": "растительного масла", + "option_b": "меда", + "option_c": "упавшего в воду жука", + "option_d": "воды" + }, + "outputs": "B", + "meta": { + "id": 263 + } + }, + "prompt": "<|im_start|>user\nПоскольку вода менее плотная, она плавает поверх\nA. растительного масла\nB. меда\nC. упавшего в воду жука\nD. воды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8658782839775085, + "B": 0.001475127530284226, + "C": 0.012351090088486671, + "D": 0.010899798944592476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жабры позволяют", + "option_a": "камбале потреблять кислород", + "option_b": "жирафам дышать под водой", + "option_c": "дышать тюленям и цаплям", + "option_d": "дышать морским птицам" + }, + "outputs": "A", + "meta": { + "id": 783 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Жабры позволяют\nA) камбале потреблять кислород\nB) жирафам дышать под водой\nC) дышать тюленям и цаплям\nD) дышать морским птицам\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12640045583248138, + "B": 0.8242344856262207, + "C": 0.0015911469236016273, + "D": 0.011757072992622852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой персонаж Диснея был травоядным?", + "option_a": "Плуто", + "option_b": "Бэмби", + "option_c": "Чеширский кот", + "option_d": "Симба" + }, + "outputs": "B", + "meta": { + "id": 867 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой персонаж Диснея был травоядным?\nA. Плуто\nB. Бэмби\nC. Чеширский кот\nD. Симба\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011912296526134014, + "B": 0.9463108777999878, + "C": 0.0016121541848406196, + "D": 0.0043822890147566795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магма пробивается из вулканов и", + "option_a": "танцует на пустынных равнинах", + "option_b": "имеет достаточно высокий градус, чтобы плавить сталь", + "option_c": "привлекает инопланетян", + "option_d": "может замораживать воду в любое время" + }, + "outputs": "B", + "meta": { + "id": 2140 + } + }, + "prompt": "<|im_start|>user\nМагма пробивается из вулканов и\nA. танцует на пустынных равнинах\nB. имеет достаточно высокий градус, чтобы плавить сталь\nC. привлекает инопланетян\nD. может замораживать воду в любое время\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.30415645241737366, + "B": 0.2684171199798584, + "C": 0.05285445973277092, + "D": 0.30415645241737366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что содержит семена?", + "option_a": "свекла", + "option_b": "мандарины", + "option_c": "морковь", + "option_d": "картофель" + }, + "outputs": "B", + "meta": { + "id": 1171 + } + }, + "prompt": "<|im_start|>user\nЧто содержит семена?\nA. свекла\nB. мандарины\nC. морковь\nD. картофель\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01763666607439518, + "B": 0.5154189467430115, + "C": 0.03294963017106056, + "D": 0.40140867233276367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нагревание льда", + "option_a": "меняет его химический состав", + "option_b": "оставляет лужу", + "option_c": "требует морозильника", + "option_d": "делает его еще холоднее" + }, + "outputs": "B", + "meta": { + "id": 1163 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нагревание льда\nA) меняет его химический состав\nB) оставляет лужу\nC) требует морозильника\nD) делает его еще холоднее\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6835479140281677, + "B": 0.0816381573677063, + "C": 0.011048522777855396, + "D": 0.1048254743218422 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ива сама производит", + "option_a": "энергию", + "option_b": "дождь", + "option_c": "солнечный свет", + "option_d": "снег" + }, + "outputs": "A", + "meta": { + "id": 665 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ива сама производит\nA) энергию\nB) дождь\nC) солнечный свет\nD) снег\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14201979339122772, + "B": 0.6364885568618774, + "C": 0.021779440343379974, + "D": 0.1253320276737213 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Механизм, который использует ____, - это одноместные качели", + "option_a": "шкив", + "option_b": "маятник", + "option_c": "рычаг", + "option_d": "удочка" + }, + "outputs": "B", + "meta": { + "id": 331 + } + }, + "prompt": "<|im_start|>user\nМеханизм, который использует ____, - это одноместные качели\nA) шкив\nB) маятник\nC) рычаг\nD) удочка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.929690957069397, + "B": 0.0001891627034638077, + "C": 0.00021434942027553916, + "D": 0.0002428896987112239 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дрожь - это когда животное выделяет тепло, трясясь, чтобы поддержать в теле что?", + "option_a": "приемлемую температуру", + "option_b": "хорошее настроение", + "option_c": "холод", + "option_d": "потомство" + }, + "outputs": "A", + "meta": { + "id": 887 + } + }, + "prompt": "<|im_start|>user\nДрожь - это когда животное выделяет тепло, трясясь, чтобы поддержать в теле что?\nA. приемлемую температуру\nB. хорошее настроение\nC. холод\nD. потомство\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.026679489761590958, + "B": 0.0067456308752298355, + "C": 0.020778007805347443, + "D": 0.8835033178329468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Давление будет достаточно высоким в таких местах, как", + "option_a": "дно реки", + "option_b": "дно дома", + "option_c": "дно горы", + "option_d": "дно моря" + }, + "outputs": "D", + "meta": { + "id": 977 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Давление будет достаточно высоким в таких местах, как\nA. дно реки\nB. дно дома\nC. дно горы\nD. дно моря\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009021828882396221, + "B": 0.011584257706999779, + "C": 0.9202515482902527, + "D": 0.016854995861649513 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно считать исчерпаемым?", + "option_a": "солнечная энергия", + "option_b": "ветер", + "option_c": "нефть", + "option_d": "вода" + }, + "outputs": "C", + "meta": { + "id": 2243 + } + }, + "prompt": "<|im_start|>user\nЧто можно считать исчерпаемым?\nA. солнечная энергия\nB. ветер\nC. нефть\nD. вода\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9010220170021057, + "B": 0.00026674283435568213, + "C": 0.00018332948093302548, + "D": 0.00018332948093302548 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда звук издается внутри комнаты, иногда бывает", + "option_a": "эхо", + "option_b": "электрический заряд", + "option_c": "свет", + "option_d": "видео" + }, + "outputs": "A", + "meta": { + "id": 2062 + } + }, + "prompt": "<|im_start|>user\nКогда звук издается внутри комнаты, иногда бывает\nA. эхо\nB. электрический заряд\nC. свет\nD. видео\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8590266108512878, + "B": 0.029394274577498436, + "C": 0.009542924351990223, + "D": 0.013884872198104858 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сало медведя", + "option_a": "бесполезно и даже опасно для его здоровья", + "option_b": "позволяет ему есть больше", + "option_c": "позволяет ему сохранять телесный комфорт", + "option_d": "затрудняет жизнь медведя" + }, + "outputs": "C", + "meta": { + "id": 962 + } + }, + "prompt": "<|im_start|>user\nСало медведя\nA. бесполезно и даже опасно для его здоровья\nB. позволяет ему есть больше\nC. позволяет ему сохранять телесный комфорт\nD. затрудняет жизнь медведя\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.029140286147594452, + "B": 0.8516040444374084, + "C": 0.03741687163710594, + "D": 0.022694477811455727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой камень мягче ногтя?", + "option_a": "Медь", + "option_b": "Кальцит", + "option_c": "Графит", + "option_d": "Кварц" + }, + "outputs": "C", + "meta": { + "id": 2269 + } + }, + "prompt": "<|im_start|>user\nКакой камень мягче ногтя?\nA. Медь\nB. Кальцит\nC. Графит\nD. Кварц\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.013226525858044624, + "B": 0.009090450592339039, + "C": 0.00707964925095439, + "D": 0.9272511005401611 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из перечисленных вариантов есть молекулы?", + "option_a": "мысли", + "option_b": "суицид", + "option_c": "терапия", + "option_d": "эскимо" + }, + "outputs": "D", + "meta": { + "id": 186 + } + }, + "prompt": "<|im_start|>user\nВ каком из перечисленных вариантов есть молекулы?\nA. мысли\nB. суицид\nC. терапия\nD. эскимо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.494064062833786, + "B": 0.009049098938703537, + "C": 0.0020191268995404243, + "D": 0.4360100030899048 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Навык, которым обладают некоторые люди:", + "option_a": "остроумный разговор", + "option_b": "зрение", + "option_c": "биение сердца", + "option_d": "десять пальцев" + }, + "outputs": "A", + "meta": { + "id": 677 + } + }, + "prompt": "<|im_start|>user\nНавык, которым обладают некоторые люди:\nA. остроумный разговор\nB. зрение\nC. биение сердца\nD. десять пальцев\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002086531138047576, + "B": 0.003440108150243759, + "C": 0.9538466334342957, + "D": 0.00236434955149889 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого, вероятно, можно будет увидеть в вольере в зоопарке?", + "option_a": "человек", + "option_b": "бактерии", + "option_c": "бегемот", + "option_d": "динозавр" + }, + "outputs": "C", + "meta": { + "id": 2320 + } + }, + "prompt": "<|im_start|>user\nКого, вероятно, можно будет увидеть в вольере в зоопарке?\nA. человек\nB. бактерии\nC. бегемот\nD. динозавр\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05407937243580818, + "B": 0.061279959976673126, + "C": 0.8459436893463135, + "D": 0.0026924535632133484 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что наиболее точно?", + "option_a": "замораживание - это когда твердые вещества нагреваются выше их точки плавления; плавление - это когда твердые вещества охлаждаются от жидкого до твердого состояния", + "option_b": "плавление - это когда твердые вещества нагреваются выше их точки плавления; кипение - это когда твердые вещества охлаждают от жидкого состояния до твердого", + "option_c": "плавление - это когда твердые вещества нагреваются выше их точки плавления; замораживание - это когда твердые вещества охлаждаются от жидкого до твердого состояния", + "option_d": "замораживание - это когда твердые вещества нагреваются выше их точки плавления; кипение - это когда твердые вещества охлаждаются из жидкого состояния в твердое" + }, + "outputs": "C", + "meta": { + "id": 773 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что наиболее точно?\nA. замораживание - это когда твердые вещества нагреваются выше их точки плавления; плавление - это когда твердые вещества охлаждаются от жидкого до твердого состояния\nB. плавление - это когда твердые вещества нагреваются выше их точки плавления; кипение - это когда твердые вещества охлаждают от жидкого состояния до твердого\nC. плавление - это когда твердые вещества нагреваются выше их точки плавления; замораживание - это когда твердые вещества охлаждаются от жидкого до твердого состояния\nD. замораживание - это когда твердые вещества нагреваются выше их точки плавления; кипение - это когда твердые вещества охлаждаются из жидкого состояния в твердое\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.025481976568698883, + "B": 0.35176780819892883, + "C": 0.4516788125038147, + "D": 0.11420229077339172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Банки из-под газировки можно отнести в место, известное как", + "option_a": "океан", + "option_b": "кладбище", + "option_c": "свалка металлолома", + "option_d": "архив" + }, + "outputs": "C", + "meta": { + "id": 866 + } + }, + "prompt": "<|im_start|>user\nБанки из-под газировки можно отнести в место, известное как\nA) океан\nB) кладбище\nC) свалка металлолома\nD) архив\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03987927734851837, + "B": 0.005397072993218899, + "C": 0.9076482057571411, + "D": 0.007852695882320404 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево упадет, то что?", + "option_a": "скорее всего выживет", + "option_b": "скорее всего станет пышнее", + "option_c": "скорее всего сгниет", + "option_d": "скорее всего вырастет выше" + }, + "outputs": "C", + "meta": { + "id": 792 + } + }, + "prompt": "<|im_start|>user\nЕсли дерево упадет, то что?\nA. скорее всего выживет\nB. скорее всего станет пышнее\nC. скорее всего сгниет\nD. скорее всего вырастет выше\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003905278630554676, + "B": 0.00013363128527998924, + "C": 7.152767648221925e-05, + "D": 0.9555901288986206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет землю устраивать землетрясение?", + "option_a": "дождь", + "option_b": "извержение гейзера", + "option_c": "штиль", + "option_d": "смещение участков земной коры" + }, + "outputs": "D", + "meta": { + "id": 898 + } + }, + "prompt": "<|im_start|>user\nЧто заставляет землю устраивать землетрясение?\nA) дождь\nB) извержение гейзера\nC) штиль\nD) смещение участков земной коры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0037880067247897387, + "B": 0.9268946647644043, + "C": 0.0033429041504859924, + "D": 0.0012297857319936156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В декабре в северном полушарии вам понадобятся", + "option_a": "короткие шорты", + "option_b": "варежки", + "option_c": "лосьон для загара", + "option_d": "охлаждающие вентиляторы" + }, + "outputs": "B", + "meta": { + "id": 2148 + } + }, + "prompt": "<|im_start|>user\nВ декабре в северном полушарии вам понадобятся\nA) короткие шорты\nB) варежки\nC) лосьон для загара\nD) охлаждающие вентиляторы\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006850563222542405, + "B": 0.0018621762283146381, + "C": 0.9646311402320862, + "D": 0.00041550767491571605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приготовление пищи при правильной температуре", + "option_a": "- слишком трудная работа, и ее следует избегать", + "option_b": "позволяет бактериям процветать", + "option_c": "искореняет возможные болезни, вызываемые патогенными организмами", + "option_d": "оставляет мясо сырым и недостаточно приготовленным" + }, + "outputs": "C", + "meta": { + "id": 173 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Приготовление пищи при правильной температуре\nA. - слишком трудная работа, и ее следует избегать\nB. позволяет бактериям процветать\nC. искореняет возможные болезни, вызываемые патогенными организмами\nD. оставляет мясо сырым и недостаточно приготовленным\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0008839407819323242, + "B": 0.0034960536286234856, + "C": 0.9693588018417358, + "D": 0.0065314881503582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Песчаные отмели являются частью большинства морей, потому что есть", + "option_a": "места, где рыба ест", + "option_b": "много камней в море", + "option_c": "волны, которые наносят и уносят ил", + "option_d": "песок, который нужно ссыпать куда-нибудь" + }, + "outputs": "C", + "meta": { + "id": 1218 + } + }, + "prompt": "<|im_start|>user\nПесчаные отмели являются частью большинства морей, потому что есть\nA) места, где рыба ест\nB) много камней в море\nC) волны, которые наносят и уносят ил\nD) песок, который нужно ссыпать куда-нибудь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.002382326405495405, + "B": 0.0008764088852331042, + "C": 0.0021023957524448633, + "D": 0.9610990285873413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите источник, передающий энергию для открытия дверной ручки?", + "option_a": "дизельное топливо", + "option_b": "рука призрака", + "option_c": "вы", + "option_d": "электричество" + }, + "outputs": "C", + "meta": { + "id": 1181 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите источник, передающий энергию для открытия дверной ручки?\nA. дизельное топливо\nB. рука призрака\nC. вы\nD. электричество\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07302100211381912, + "B": 0.044289480894804, + "C": 0.7850497961044312, + "D": 0.044289480894804 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая из бывших планет еще не очистила свою орбиту?", + "option_a": "планета Венера", + "option_b": "Земля", + "option_c": "Бывшая девятая планета", + "option_d": "планета Марс" + }, + "outputs": "C", + "meta": { + "id": 309 + } + }, + "prompt": "<|im_start|>user\nКакая из бывших планет еще не очистила свою орбиту?\nA. планета Венера\nB. Земля\nC. Бывшая девятая планета\nD. планета Марс\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.08718537539243698, + "B": 0.12685395777225494, + "C": 0.0015968559309840202, + "D": 0.7299942374229431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кола и ментос вместе будут", + "option_a": "тихо испаряться", + "option_b": "быстро расширяться", + "option_c": "медленно замораживаться", + "option_d": "внезапно исчезать" + }, + "outputs": "B", + "meta": { + "id": 907 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кола и ментос вместе будут\nA) тихо испаряться\nB) быстро расширяться\nC) медленно замораживаться\nD) внезапно исчезать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0008578987908549607, + "B": 0.0038448357954621315, + "C": 0.9408002495765686, + "D": 0.0008578987908549607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы быть экологичнее", + "option_a": "нажимайте педаль в грузовике до упора", + "option_b": "запрыгивайте в седан", + "option_c": "используйте силу ног, чтобы крутить педали", + "option_d": "катайтесь на мотоцикле по городу" + }, + "outputs": "C", + "meta": { + "id": 1926 + } + }, + "prompt": "<|im_start|>user\nЧтобы быть экологичнее\nA. нажимайте педаль в грузовике до упора\nB. запрыгивайте в седан\nC. используйте силу ног, чтобы крутить педали\nD. катайтесь на мотоцикле по городу\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.019558405503630638, + "B": 0.9423767328262329, + "C": 0.0007583616534247994, + "D": 0.00040592174627818167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для вашего здоровья жизненно важно", + "option_a": "хорошо проводить время", + "option_b": "иметь жизнеспособную колонию бактерий", + "option_c": "иметь самолет", + "option_d": "водить водный мотоцикл" + }, + "outputs": "B", + "meta": { + "id": 1183 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для вашего здоровья жизненно важно\nA) хорошо проводить время\nB) иметь жизнеспособную колонию бактерий\nC) иметь самолет\nD) водить водный мотоцикл\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8458186984062195, + "B": 0.025541510432958603, + "C": 0.0012716369237750769, + "D": 0.0056990813463926315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Прошедшая неделя была теплой, влажной и туманной. Поскольку завтра ожидается немного прохладная погода, разумный человек может предположить, что завтра будет", + "option_a": "туманно", + "option_b": "ясно", + "option_c": "жарко", + "option_d": "дождливо" + }, + "outputs": "D", + "meta": { + "id": 1945 + } + }, + "prompt": "<|im_start|>user\nПрошедшая неделя была теплой, влажной и туманной. Поскольку завтра ожидается немного прохладная погода, разумный человек может предположить, что завтра будет\nA) туманно\nB) ясно\nC) жарко\nD) дождливо\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08265133947134018, + "B": 0.3268924057483673, + "C": 0.10612642765045166, + "D": 0.41973814368247986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда шарик с водой заморожен, он будет содержать", + "option_a": "гораздо меньше воды", + "option_b": "в два раза больше льда", + "option_c": "большее количество воды", + "option_d": "такое же количество воды" + }, + "outputs": "D", + "meta": { + "id": 22 + } + }, + "prompt": "<|im_start|>user\nКогда шарик с водой заморожен, он будет содержать\nA. гораздо меньше воды\nB. в два раза больше льда\nC. большее количество воды\nD. такое же количество воды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.044044364243745804, + "B": 0.22367572784423828, + "C": 0.011136159300804138, + "D": 0.6889697909355164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого передается генетически, а не приобретается?", + "option_a": "богатство", + "option_b": "мудрость", + "option_c": "срок тюремного заключения", + "option_d": "рост" + }, + "outputs": "D", + "meta": { + "id": 1746 + } + }, + "prompt": "<|im_start|>user\nЧто из этого передается генетически, а не приобретается?\nA. богатство\nB. мудрость\nC. срок тюремного заключения\nD. рост\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0023741803597658873, + "B": 0.00010431421105749905, + "C": 8.647951472084969e-05, + "D": 0.9578127264976501 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные не могут расти или оставаться здоровыми без", + "option_a": "носков", + "option_b": "цветного льда", + "option_c": "ресторанов", + "option_d": "надлежащего питания" + }, + "outputs": "D", + "meta": { + "id": 1970 + } + }, + "prompt": "<|im_start|>user\nЖивотные не могут расти или оставаться здоровыми без\nA) носков\nB) цветного льда\nC) ресторанов\nD) надлежащего питания\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.31891536712646484, + "B": 0.04890725389122963, + "C": 0.04890725389122963, + "D": 0.5258025527000427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое растение поглощает больше всего солнечного света?", + "option_a": "то, которое растет в тундре", + "option_b": "то, которое ест насекомых", + "option_c": "то, которое растет из фиников", + "option_d": "то, которое больше всего нравится божьим коровкам" + }, + "outputs": "C", + "meta": { + "id": 2089 + } + }, + "prompt": "<|im_start|>user\nКакое растение поглощает больше всего солнечного света?\nA) то, которое растет в тундре\nB) то, которое ест насекомых\nC) то, которое растет из фиников\nD) то, которое больше всего нравится божьим коровкам\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21873624622821808, + "B": 0.03801065310835838, + "C": 0.5945866703987122, + "D": 0.07101325690746307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В осадочных породах вы найдете больше всего", + "option_a": "канавок", + "option_b": "тел птеродактилей", + "option_c": "гальки", + "option_d": "крыльев кур" + }, + "outputs": "B", + "meta": { + "id": 6 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В осадочных породах вы найдете больше всего\nA) канавок\nB) тел птеродактилей\nC) гальки\nD) крыльев кур\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03447143733501434, + "B": 0.04426220431923866, + "C": 0.7845662832260132, + "D": 0.08269267529249191 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Урожаи у фермера с каждым годом все хуже, какой метод может быть причиной этого?", + "option_a": "Переход к устойчивому ведению сельского хозяйства", + "option_b": "Разведение домашнего скота и сельскохозяйственных культур", + "option_c": "Выращивание только кукурузы", + "option_d": "Использование гидропоники в сельском хозяйстве" + }, + "outputs": "C", + "meta": { + "id": 1594 + } + }, + "prompt": "<|im_start|>user\nУрожаи у фермера с каждым годом все хуже, какой метод может быть причиной этого?\nA) Переход к устойчивому ведению сельского хозяйства\nB) Разведение домашнего скота и сельскохозяйственных культур\nC) Выращивание только кукурузы\nD) Использование гидропоники в сельском хозяйстве\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8910563588142395, + "B": 0.0019491779385134578, + "C": 0.0022087080869823694, + "D": 0.004126410000026226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что утки могут благодаря их перепончатым придаткам?", + "option_a": "перемещаться", + "option_b": "мечтать о сезонной пицце", + "option_c": "петь", + "option_d": "заниматься балетом" + }, + "outputs": "A", + "meta": { + "id": 1036 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что утки могут благодаря их перепончатым придаткам?\nA) перемещаться\nB) мечтать о сезонной пицце\nC) петь\nD) заниматься балетом\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.008904711343348026, + "B": 0.9083051681518555, + "C": 0.008904711343348026, + "D": 0.004206287674605846 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Конденсация - это этап в процессе круговорота воды, когда", + "option_a": "лед брызгает водой в мой стакан", + "option_b": "влажная пленка возникаетна моих очках", + "option_c": "капля дождя падает мне в глаза", + "option_d": "пот падает мне в глаза" + }, + "outputs": "B", + "meta": { + "id": 1832 + } + }, + "prompt": "<|im_start|>user\nКонденсация - это этап в процессе круговорота воды, когда\nA) лед брызгает водой в мой стакан\nB) влажная пленка возникаетна моих очках\nC) капля дождя падает мне в глаза\nD) пот падает мне в глаза\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.012370974756777287, + "B": 0.0914098247885704, + "C": 0.0021497532725334167, + "D": 0.8672723174095154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой этап жизненный цикл обязательно включает в себя?", + "option_a": "транспортировка воды", + "option_b": "воспроизведение идей", + "option_c": "убийство родственников", + "option_d": "репликация сущностей" + }, + "outputs": "D", + "meta": { + "id": 1467 + } + }, + "prompt": "<|im_start|>user\nКакой этап жизненный цикл обязательно включает в себя?\nA. транспортировка воды\nB. воспроизведение идей\nC. убийство родственников\nD. репликация сущностей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009149939753115177, + "B": 0.9333191514015198, + "C": 0.001238309545442462, + "D": 0.005549718160182238 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где бы вы, скорее всего, нашли железо?", + "option_a": "океан", + "option_b": "шахта", + "option_c": "воздух", + "option_d": "лес" + }, + "outputs": "B", + "meta": { + "id": 2068 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где бы вы, скорее всего, нашли железо?\nA) океан\nB) шахта\nC) воздух\nD) лес\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9316427111625671, + "B": 0.0014006681740283966, + "C": 0.0004547304124571383, + "D": 0.0029652146622538567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что такое хищники?", + "option_a": "мясоеды", + "option_b": "едоки растений", + "option_c": "травоядные", + "option_d": "мирные грибоеды" + }, + "outputs": "A", + "meta": { + "id": 1884 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что такое хищники?\nA. мясоеды\nB. едоки растений\nC. травоядные\nD. мирные грибоеды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8512288331985474, + "B": 0.03740038350224495, + "C": 0.01559079997241497, + "D": 0.009456298314034939 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая температура крови у амфибии?", + "option_a": "низкая", + "option_b": "человеческая", + "option_c": "высокая", + "option_d": "огненная" + }, + "outputs": "A", + "meta": { + "id": 519 + } + }, + "prompt": "<|im_start|>user\nКакая температура крови у амфибии?\nA. низкая\nB. человеческая\nC. высокая\nD. огненная\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.830852210521698, + "B": 0.0682005062699318, + "C": 0.009229934774339199, + "D": 0.0038476092740893364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если почва рыхлая, что происходит с насыщением почвы кислородом?", + "option_a": "упрощается", + "option_b": "становится скучным", + "option_c": "усложняется", + "option_d": "просит пощады" + }, + "outputs": "A", + "meta": { + "id": 2254 + } + }, + "prompt": "<|im_start|>user\nЕсли почва рыхлая, что происходит с насыщением почвы кислородом?\nA. упрощается\nB. становится скучным\nC. усложняется\nD. просит пощады\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.04816838726401329, + "B": 0.029215604066848755, + "C": 0.2771899402141571, + "D": 0.5868111252784729 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "если жидкость меняет свое состояние на газ, то эта жидкость", + "option_a": "слизистая", + "option_b": "холодная", + "option_c": "горячая", + "option_d": "конденсирующаяся" + }, + "outputs": "C", + "meta": { + "id": 652 + } + }, + "prompt": "<|im_start|>user\nесли жидкость меняет свое состояние на газ, то эта жидкость\nA) слизистая\nB) холодная\nC) горячая\nD) конденсирующаяся\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8958572149276733, + "B": 0.007750683464109898, + "C": 0.00603623827919364, + "D": 0.009952074848115444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может делать вода в закрытой банке, помещенная в морозильную камеру?", + "option_a": "испариться", + "option_b": "вытечь", + "option_c": "испачкать банку", + "option_d": "разорвать банку" + }, + "outputs": "D", + "meta": { + "id": 1243 + } + }, + "prompt": "<|im_start|>user\nЧто может делать вода в закрытой банке, помещенная в морозильную камеру?\nA. испариться\nB. вытечь\nC. испачкать банку\nD. разорвать банку\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.036835819482803345, + "B": 0.7398672103881836, + "C": 0.10013014078140259, + "D": 0.025316864252090454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После шторма", + "option_a": "будет не хватать питьевой воды", + "option_b": "пруды могут высохнуть", + "option_c": "русла ручьев могут расшириться", + "option_d": "цветы увянут и засохнут" + }, + "outputs": "C", + "meta": { + "id": 1328 + } + }, + "prompt": "<|im_start|>user\nПосле шторма\nA. будет не хватать питьевой воды\nB. пруды могут высохнуть\nC. русла ручьев могут расшириться\nD. цветы увянут и засохнут\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0007774906698614359, + "B": 0.9661473035812378, + "C": 0.0003241063095629215, + "D": 0.0030750352889299393 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнце отвечает за то, что", + "option_a": "щенки учатся новым трюкам", + "option_b": "растения прорастают, цветут и увядают", + "option_c": "цветы вянут в вазе", + "option_d": "дети растут и стареют" + }, + "outputs": "B", + "meta": { + "id": 2178 + } + }, + "prompt": "<|im_start|>user\nСолнце отвечает за то, что\nA. щенки учатся новым трюкам\nB. растения прорастают, цветут и увядают\nC. цветы вянут в вазе\nD. дети растут и стареют\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.204614520072937, + "B": 0.07527347654104233, + "C": 0.4908447265625, + "D": 0.1406293660402298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Между львами возрастает конкуренция", + "option_a": "когда антилопы напуганы и на них труднее охотиться", + "option_b": "когда популяция львов уменьшается", + "option_c": "когда есть множество вариантов добычи", + "option_d": "когда в сообщество попадают новые виды добычи" + }, + "outputs": "A", + "meta": { + "id": 1398 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Между львами возрастает конкуренция\nA. когда антилопы напуганы и на них труднее охотиться\nB. когда популяция львов уменьшается\nC. когда есть множество вариантов добычи\nD. когда в сообщество попадают новые виды добычи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.2695138454437256, + "B": 0.06814377009868622, + "C": 0.019523514434695244, + "D": 0.5705607533454895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы просыпаетесь к северу от экватора и замечаете, что восход солнца происходит раньше, чем вчера, и позже, чем на следующий день, какой это может быть день", + "option_a": "21 февраля", + "option_b": "21 декабря", + "option_c": "31 сентября", + "option_d": "21 мая" + }, + "outputs": "B", + "meta": { + "id": 363 + } + }, + "prompt": "<|im_start|>user\nВы просыпаетесь к северу от экватора и замечаете, что восход солнца происходит раньше, чем вчера, и позже, чем на следующий день, какой это может быть день\nA. 21 февраля\nB. 21 декабря\nC. 31 сентября\nD. 21 мая\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003881008829921484, + "B": 0.0001705196191323921, + "C": 0.0005252374103292823, + "D": 0.9496515393257141 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Желтый карлик - источник", + "option_a": "холода", + "option_b": "звука", + "option_c": "жизни", + "option_d": "тепла" + }, + "outputs": "D", + "meta": { + "id": 1977 + } + }, + "prompt": "<|im_start|>user\nЖелтый карлик - источник\nA) холода\nB) звука\nC) жизни\nD) тепла\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.020502759143710136, + "B": 0.2830318808555603, + "C": 0.5991784334182739, + "D": 0.029831336811184883 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Производство лампочек влияет на", + "option_a": "мозг", + "option_b": "океан", + "option_c": "воздух", + "option_d": "клетки крови" + }, + "outputs": "B", + "meta": { + "id": 646 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Производство лампочек влияет на\nA) мозг\nB) океан\nC) воздух\nD) клетки крови\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005013277754187584, + "B": 0.002683414379134774, + "C": 0.9553616046905518, + "D": 0.0018442817963659763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди проходят несколько этапов своей жизни. Первый - младенчество, последний -", + "option_a": "стадия 7", + "option_b": "старшая школа", + "option_c": "старость", + "option_d": "половое созревание" + }, + "outputs": "C", + "meta": { + "id": 148 + } + }, + "prompt": "<|im_start|>user\nЛюди проходят несколько этапов своей жизни. Первый - младенчество, последний -\nA) стадия 7\nB) старшая школа\nC) старость\nD) половое созревание\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.0008934637880884111, + "B": 0.0007884789956733584, + "C": 0.9798020124435425, + "D": 0.002143308287486434 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тайфун потенциально может вызвать", + "option_a": "чрезмерное увлажнение отдельно взятой грядки", + "option_b": "уменьшение озер", + "option_c": "наводнение в регионе", + "option_d": "высыхание рек" + }, + "outputs": "A", + "meta": { + "id": 856 + } + }, + "prompt": "<|im_start|>user\nТайфун потенциально может вызвать\nA. чрезмерное увлажнение отдельно взятой грядки\nB. уменьшение озер\nC. наводнение в регионе\nD. высыхание рек\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1457197368144989, + "B": 0.03251447156071663, + "C": 0.7400259375572205, + "D": 0.009315552189946175 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зима в северном полушарии", + "option_a": "коррелирует с длинными солнечными днями в южном полушарии.", + "option_b": "приходится в южном полушарии на дни влажной осени", + "option_c": "коррелирует с холодными месяцами в южном полушарии", + "option_d": "такая же, как и в южном полушарии" + }, + "outputs": "A", + "meta": { + "id": 2110 + } + }, + "prompt": "<|im_start|>user\nЗима в северном полушарии\nA) коррелирует с длинными солнечными днями в южном полушарии.\nB) приходится в южном полушарии на дни влажной осени\nC) коррелирует с холодными месяцами в южном полушарии\nD) такая же, как и в южном полушарии\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.001282255630940199, + "B": 0.000605694658588618, + "C": 0.9664415121078491, + "D": 0.00019664027786348015 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мужчина подключает телевизор к розетке за шкафом. Теперь он может включить телевизор, чтобы он мог смотреть свое любимое шоу. Мужчина знает, что, воткнув шнур в розетку", + "option_a": "он разомкнул контур", + "option_b": "он заключил хорошую сделку", + "option_c": "он замкнул контур", + "option_d": "он изобрел новые схемы" + }, + "outputs": "C", + "meta": { + "id": 1733 + } + }, + "prompt": "<|im_start|>user\nМужчина подключает телевизор к розетке за шкафом. Теперь он может включить телевизор, чтобы он мог смотреть свое любимое шоу. Мужчина знает, что, воткнув шнур в розетку\nA. он разомкнул контур\nB. он заключил хорошую сделку\nC. он замкнул контур\nD. он изобрел новые схемы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.3255626857280731, + "B": 0.6082311868667603, + "C": 0.0011741623748093843, + "D": 0.002816669177263975 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто наиболее способствовал развитию науки о падении чего-либо?", + "option_a": "Ньютон", + "option_b": "Галилей", + "option_c": "Эйнштейн", + "option_d": "Резерфорд" + }, + "outputs": "A", + "meta": { + "id": 1481 + } + }, + "prompt": "<|im_start|>user\nКто наиболее способствовал развитию науки о падении чего-либо?\nA. Ньютон\nB. Галилей\nC. Эйнштейн\nD. Резерфорд\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07800538092851639, + "B": 0.011962512508034706, + "C": 0.005650690756738186, + "D": 0.8386368751525879 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, использующий компас, может найти свой путь, когда он теряется", + "option_a": "во времени", + "option_b": "в игре", + "option_c": "в разговоре", + "option_d": "на воде" + }, + "outputs": "D", + "meta": { + "id": 1502 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек, использующий компас, может найти свой путь, когда он теряется\nA) во времени\nB) в игре\nC) в разговоре\nD) на воде\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9207634329795837, + "B": 0.00021229109552223235, + "C": 0.00011363123485352844, + "D": 0.00027258717454969883 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую потребность медведя удовлетворяет темная пещера?", + "option_a": "в убежище для безопасности", + "option_b": "в упражнениях для здоровья", + "option_c": "в еде, которую он может съесть", + "option_d": "в друзьях для общения" + }, + "outputs": "A", + "meta": { + "id": 443 + } + }, + "prompt": "<|im_start|>user\nКакую потребность медведя удовлетворяет темная пещера?\nA) в убежище для безопасности\nB) в упражнениях для здоровья\nC) в еде, которую он может съесть\nD) в друзьях для общения\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.001608565216884017, + "B": 0.8332573771476746, + "C": 0.003858747659251094, + "D": 0.11276912689208984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой среде обитания будут жить живые существа?", + "option_a": "Среда обитания с множеством игрушек", + "option_b": "Среда обитания с изменяющейся погодой", + "option_c": "Среда обитания, которую выбирает большинство животных", + "option_d": "Среда обитания с большим количеством воды" + }, + "outputs": "D", + "meta": { + "id": 980 + } + }, + "prompt": "<|im_start|>user\nВ какой среде обитания будут жить живые существа?\nA) Среда обитания с множеством игрушек\nB) Среда обитания с изменяющейся погодой\nC) Среда обитания, которую выбирает большинство животных\nD) Среда обитания с большим количеством воды\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014369447017088532, + "B": 0.0012680992949754, + "C": 0.0006787645979784429, + "D": 0.9557717442512512 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Возможность наслаждаться египетскими сушеными финиками в маленьком городке под Московй стала возможной, потому что", + "option_a": "свежие продукты лучше, чем сушеные", + "option_b": "транспортировка еды едва окупается", + "option_c": "перевозимая еда имеет прекрасный вкус", + "option_d": "транспортировка еды стала проще, дешевле и быстрее" + }, + "outputs": "D", + "meta": { + "id": 1076 + } + }, + "prompt": "<|im_start|>user\nВозможность наслаждаться египетскими сушеными финиками в маленьком городке под Московй стала возможной, потому что\nA. свежие продукты лучше, чем сушеные\nB. транспортировка еды едва окупается\nC. перевозимая еда имеет прекрасный вкус\nD. транспортировка еды стала проще, дешевле и быстрее\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.9190174341201782, + "B": 0.001565656391903758, + "C": 0.0022780164144933224, + "D": 0.0037558141630142927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда погода меняется, как с Рождества на Пасху,", + "option_a": "воздух может похолодать", + "option_b": "земля может замерзнуть", + "option_c": "земля может нагреться", + "option_d": "растения могут погибнуть" + }, + "outputs": "C", + "meta": { + "id": 802 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда погода меняется, как с Рождества на Пасху,\nA) воздух может похолодать\nB) земля может замерзнуть\nC) земля может нагреться\nD) растения могут погибнуть\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6231582164764404, + "B": 0.12270712107419968, + "C": 0.027379661798477173, + "D": 0.15755906701087952 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы бы использовали сейсмометр, если бы", + "option_a": "раздался загадочный грохот у берегов Японии", + "option_b": "кто-то пукнул в классе", + "option_c": "дети топали по полу", + "option_d": "хотели отследить жужжание пчелы" + }, + "outputs": "A", + "meta": { + "id": 1284 + } + }, + "prompt": "<|im_start|>user\nВы бы использовали сейсмометр, если бы\nA) раздался загадочный грохот у берегов Японии\nB) кто-то пукнул в классе\nC) дети топали по полу\nD) хотели отследить жужжание пчелы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.019034018740057945, + "B": 0.9171103835105896, + "C": 0.002006170805543661, + "D": 0.00617944123223424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое влияние на здоровье существа оказывает то, что существо становится сильнее?", + "option_a": "плохое воздействие", + "option_b": "хорошее влияние", + "option_c": "минимальный эффект", + "option_d": "неожиданные осложнения" + }, + "outputs": "B", + "meta": { + "id": 819 + } + }, + "prompt": "<|im_start|>user\nКакое влияние на здоровье существа оказывает то, что существо становится сильнее?\nA. плохое воздействие\nB. хорошее влияние\nC. минимальный эффект\nD. неожиданные осложнения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0036508499179035425, + "B": 0.8933334946632385, + "C": 0.000923079380299896, + "D": 0.06471286714076996 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторым животным помогают в поиске источников пищи", + "option_a": "неоновые вывески", + "option_b": "ароматы", + "option_c": "созвездия", + "option_d": "брачные крики" + }, + "outputs": "B", + "meta": { + "id": 2247 + } + }, + "prompt": "<|im_start|>user\nНекоторым животным помогают в поиске источников пищи\nA) неоновые вывески\nB) ароматы\nC) созвездия\nD) брачные крики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08619081974029541, + "B": 0.5620347261428833, + "C": 0.052277371287345886, + "D": 0.20676104724407196 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример ощущения", + "option_a": "Вода находится передо мной", + "option_b": "Мои штаны прилегают к моей коже", + "option_c": "Растения растут в лучах солнца", + "option_d": "Телевизор включился" + }, + "outputs": "B", + "meta": { + "id": 1925 + } + }, + "prompt": "<|im_start|>user\nПример ощущения\nA) Вода находится передо мной\nB) Мои штаны прилегают к моей коже\nC) Растения растут в лучах солнца\nD) Телевизор включился\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.007275623735040426, + "B": 0.025394422933459282, + "C": 0.5779743790626526, + "D": 0.35055917501449585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Без надежных источников пищи или воды", + "option_a": "собак нужно кормить, но не поить", + "option_b": "животные должны сами создать себе источники пищи и воды", + "option_c": "существам труднее выжить", + "option_d": "нужно заботиться обо всех организмах" + }, + "outputs": "C", + "meta": { + "id": 2293 + } + }, + "prompt": "<|im_start|>user\nБез надежных источников пищи или воды\nA) собак нужно кормить, но не поить\nB) животные должны сами создать себе источники пищи и воды\nC) существам труднее выжить\nD) нужно заботиться обо всех организмах\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4460850954055786, + "B": 0.2705642879009247, + "C": 0.09953504055738449, + "D": 0.06840936839580536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Верхний слой почвы содержит больше всего питательных веществ там, где я", + "option_a": "хожу в поход", + "option_b": "перехожу вброд", + "option_c": "бегаю трусцой", + "option_d": "катаюсь на коньках" + }, + "outputs": "A", + "meta": { + "id": 524 + } + }, + "prompt": "<|im_start|>user\nВерхний слой почвы содержит больше всего питательных веществ там, где я\nA) хожу в поход\nB) перехожу вброд\nC) бегаю трусцой\nD) катаюсь на коньках\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.029553871601819992, + "B": 0.048726096749305725, + "C": 0.4079786241054535, + "D": 0.4623003304004669 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером схемы может быть", + "option_a": "скалолазание", + "option_b": "пробег на милю", + "option_c": "плавание кругами", + "option_d": "питание лампочки от батареи" + }, + "outputs": "D", + "meta": { + "id": 2295 + } + }, + "prompt": "<|im_start|>user\nПримером схемы может быть\nA. скалолазание\nB. пробег на милю\nC. плавание кругами\nD. питание лампочки от батареи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.07861820608377457, + "B": 0.012056492269039154, + "C": 0.11438882350921631, + "D": 0.745908796787262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поглощение солнечных лучей", + "option_a": "повышает количество градусов Фаренгейта этого объекта", + "option_b": "снижает количество градусов Цельсия этого объекта", + "option_c": "вызывает охлаждение объекта", + "option_d": "вызывает снижение температуры объекта" + }, + "outputs": "A", + "meta": { + "id": 698 + } + }, + "prompt": "<|im_start|>user\nПоглощение солнечных лучей\nA. повышает количество градусов Фаренгейта этого объекта\nB. снижает количество градусов Цельсия этого объекта\nC. вызывает охлаждение объекта\nD. вызывает снижение температуры объекта\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.018478387966752052, + "B": 0.8903385996818542, + "C": 0.004123086109757423, + "D": 0.012699997052550316 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если начнется кислотный дождь, вам следует:", + "option_a": "Ловить воду ртом", + "option_b": "Переместить машину в гараж", + "option_c": "Танцевать под дождем", + "option_d": "Прокатиться на велосипеде" + }, + "outputs": "B", + "meta": { + "id": 1679 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если начнется кислотный дождь, вам следует:\nA. Ловить воду ртом\nB. Переместить машину в гараж\nC. Танцевать под дождем\nD. Прокатиться на велосипеде\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11462406814098358, + "B": 0.03721298277378082, + "C": 0.7474427819252014, + "D": 0.004444457124918699 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На человека в костюме водолаза возле затонувшего корабля кто-то распыляет темное вещество. Кто бы это мог быть?", + "option_a": "шланг", + "option_b": "медведь", + "option_c": "головоногий моллюск", + "option_d": "карандаш" + }, + "outputs": "C", + "meta": { + "id": 1348 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На человека в костюме водолаза возле затонувшего корабля кто-то распыляет темное вещество. Кто бы это мог быть?\nA) шланг\nB) медведь\nC) головоногий моллюск\nD) карандаш\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.01134247425943613, + "B": 0.33147570490837097, + "C": 0.0028678267262876034, + "D": 0.619278073310852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как преломление влияет на внешний вид вещей", + "option_a": "Они выглядят черными", + "option_b": "Они кажутся разделенными на части", + "option_c": "Они просто исчезают", + "option_d": "Они кажутся такими же" + }, + "outputs": "B", + "meta": { + "id": 1563 + } + }, + "prompt": "<|im_start|>user\nКак преломление влияет на внешний вид вещей\nA. Они выглядят черными\nB. Они кажутся разделенными на части\nC. Они просто исчезают\nD. Они кажутся такими же\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.23731622099876404, + "B": 0.6450923085212708, + "C": 0.01948009990155697, + "D": 0.022073844447731972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Живое состоит из клеток, как", + "option_a": "виноград", + "option_b": "грязь", + "option_c": "вода", + "option_d": "камни" + }, + "outputs": "A", + "meta": { + "id": 5 + } + }, + "prompt": "<|im_start|>user\nЖивое состоит из клеток, как\nA) виноград\nB) грязь\nC) вода\nD) камни\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 53, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13476324081420898, + "B": 0.6039669513702393, + "C": 0.02341833896934986, + "D": 0.17303943634033203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У более старых растений, скорее всего, будет больше листьев, чем когда", + "option_a": "их было семнадцать", + "option_b": "они были ростками", + "option_c": "они ели хот-доги", + "option_d": "не существовала ботаника" + }, + "outputs": "B", + "meta": { + "id": 1101 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У более старых растений, скорее всего, будет больше листьев, чем когда\nA. их было семнадцать\nB. они были ростками\nC. они ели хот-доги\nD. не существовала ботаника\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.020624198019504547, + "B": 0.6027274131774902, + "C": 0.002463209442794323, + "D": 0.3226167559623718 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У команды есть пицца после игры, и они съедают ее большую часть, но не выбрасывают остальную пиццу. Позже пицца становится несъедобной из-за", + "option_a": "необходимости играть в игры", + "option_b": "отсутствия консервирования", + "option_c": "необходмости ложиться спать раньше, чем предполагалось", + "option_d": "выгорания на солнце" + }, + "outputs": "B", + "meta": { + "id": 1543 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У команды есть пицца после игры, и они съедают ее большую часть, но не выбрасывают остальную пиццу. Позже пицца становится несъедобной из-за\nA. необходимости играть в игры\nB. отсутствия консервирования\nC. необходмости ложиться спать раньше, чем предполагалось\nD. выгорания на солнце\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1522987186908722, + "B": 0.1522987186908722, + "C": 0.5315747261047363, + "D": 0.09237382560968399 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это животное процветает, когда заходит солнце", + "option_a": "бычья акула", + "option_b": "луговая собачка", + "option_c": "полярная сова", + "option_d": "пятнистый жираф" + }, + "outputs": "C", + "meta": { + "id": 1640 + } + }, + "prompt": "<|im_start|>user\nЭто животное процветает, когда заходит солнце\nA. бычья акула\nB. луговая собачка\nC. полярная сова\nD. пятнистый жираф\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.003038467140868306, + "B": 0.0023663605097681284, + "C": 0.9546579718589783, + "D": 0.006432434543967247 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птица собирается отложить яйцо, поэтому ей нужно устроить безопасное круглое место, чтобы положить туда яйцо. Птица строит, используя", + "option_a": "ленту", + "option_b": "жевательную резинку", + "option_c": "камни", + "option_d": "палочки" + }, + "outputs": "D", + "meta": { + "id": 1457 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Птица собирается отложить яйцо, поэтому ей нужно устроить безопасное круглое место, чтобы положить туда яйцо. Птица строит, используя\nA) ленту\nB) жевательную резинку\nC) камни\nD) палочки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.917946994304657, + "B": 0.0004480455827433616, + "C": 0.0007387022487819195, + "D": 0.0010748053900897503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электромобиль вызывает", + "option_a": "меньше выбросов CO2", + "option_b": "равные с другими машинами выбросы CO2", + "option_c": "выбросы электричества", + "option_d": "больше выбросов CO2" + }, + "outputs": "A", + "meta": { + "id": 1335 + } + }, + "prompt": "<|im_start|>user\nЭлектромобиль вызывает\nA. меньше выбросов CO2\nB. равные с другими машинами выбросы CO2\nC. выбросы электричества\nD. больше выбросов CO2\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.007929300889372826, + "B": 0.8088106513023376, + "C": 0.08524801582098007, + "D": 0.021554073318839073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "О чем может свидетельствовать то, что шерсть животного стала гуще?", + "option_a": "это могло быть что-то плохое", + "option_b": "это могло быть летом", + "option_c": "полушарие могло быть обращено в сторону от солнца", + "option_d": "животное могло умирать" + }, + "outputs": "C", + "meta": { + "id": 1968 + } + }, + "prompt": "<|im_start|>user\nО чем может свидетельствовать то, что шерсть животного стала гуще?\nA. это могло быть что-то плохое\nB. это могло быть летом\nC. полушарие могло быть обращено в сторону от солнца\nD. животное могло умирать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.12900646030902863, + "B": 0.6551488637924194, + "C": 0.10047033429145813, + "D": 0.006422854028642178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы положите лист бумаги на горячий предмет, останется", + "option_a": "влажное пятно", + "option_b": "пушистый завиток", + "option_c": "одиночный след", + "option_d": "немного льда" + }, + "outputs": "C", + "meta": { + "id": 2093 + } + }, + "prompt": "<|im_start|>user\nЕсли вы положите лист бумаги на горячий предмет, останется\nA. влажное пятно\nB. пушистый завиток\nC. одиночный след\nD. немного льда\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09559512138366699, + "B": 0.08436239510774612, + "C": 0.7063577175140381, + "D": 0.05116838216781616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Будет ли ледник двигаться с большей скоростью, чем морское судно?", + "option_a": "возможно, он движется быстрее", + "option_b": "все эти варианты верны", + "option_c": "это, вероятно, неверно", + "option_d": "есть шансы в пользу ледника" + }, + "outputs": "C", + "meta": { + "id": 192 + } + }, + "prompt": "<|im_start|>user\nБудет ли ледник двигаться с большей скоростью, чем морское судно?\nA) возможно, он движется быстрее\nB) все эти варианты верны\nC) это, вероятно, неверно\nD) есть шансы в пользу ледника\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002713915193453431, + "B": 0.0014526540180668235, + "C": 0.9662206768989563, + "D": 0.0009983935160562396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "A переключатель подключает что-то к батареям, потому что:", + "option_a": "электроны затем начинают возмущаться", + "option_b": "переключатель позволяет кислоте высвободиться", + "option_c": "кусок металла замыкает цепь", + "option_d": "цепь размыкается" + }, + "outputs": "C", + "meta": { + "id": 151 + } + }, + "prompt": "<|im_start|>user\nA переключатель подключает что-то к батареям, потому что:\nA) электроны затем начинают возмущаться\nB) переключатель позволяет кислоте высвободиться\nC) кусок металла замыкает цепь\nD) цепь размыкается\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0016317408299073577, + "B": 0.00019488362886477262, + "C": 7.169368473114446e-05, + "D": 0.9578080177307129 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алмазы существуют из-за существования", + "option_a": "автомобилей", + "option_b": "рабочей силы", + "option_c": "машин для кормления растений", + "option_d": "необработанного углерода" + }, + "outputs": "D", + "meta": { + "id": 1962 + } + }, + "prompt": "<|im_start|>user\nАлмазы существуют из-за существования\nA) автомобилей\nB) рабочей силы\nC) машин для кормления растений\nD) необработанного углерода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014960948377847672, + "B": 0.0033382389228791, + "C": 0.021768052130937576, + "D": 0.9256011247634888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дерево можно заменить, посадив что?", + "option_a": "брод", + "option_b": "ферму", + "option_c": "траву", + "option_d": "высокий куст" + }, + "outputs": "D", + "meta": { + "id": 1732 + } + }, + "prompt": "<|im_start|>user\nДерево можно заменить, посадив что?\nA) брод\nB) ферму\nC) траву\nD) высокий куст\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.061933744698762894, + "B": 0.004486465360969305, + "C": 0.8549689054489136, + "D": 0.04256639629602432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человеку нужен кальций, где он может его найти?", + "option_a": "в картофельном хлебе на завтрак", + "option_b": "в куске мела для рисования в классе", + "option_c": "в ванильном мороженом", + "option_d": "в цветке растения" + }, + "outputs": "B", + "meta": { + "id": 1734 + } + }, + "prompt": "<|im_start|>user\nЕсли человеку нужен кальций, где он может его найти?\nA) в картофельном хлебе на завтрак\nB) в куске мела для рисования в классе\nC) в ванильном мороженом\nD) в цветке растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18600451946258545, + "B": 0.6492195725440979, + "C": 0.008172468282282352, + "D": 0.1128174290060997 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У кого из перечисленных ниже животных нулевая популяция?", + "option_a": "бурый медведь", + "option_b": "саблезубый тигр", + "option_c": "благородный олень", + "option_d": "венценосный журавль" + }, + "outputs": "B", + "meta": { + "id": 595 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У кого из перечисленных ниже животных нулевая популяция?\nA. бурый медведь\nB. саблезубый тигр\nC. благородный олень\nD. венценосный журавль\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9073224663734436, + "B": 0.0008273709681816399, + "C": 0.00018461141735315323, + "D": 0.0009375341469421983 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если часть дерева, содержащая хлоропласты, имеет более плоскую поверхность, она имеет более", + "option_a": "выраженную способность поглощать солнечный свет", + "option_b": "яркие цвета", + "option_c": "короткую жизнь", + "option_d": "уверенных в себе друзей" + }, + "outputs": "A", + "meta": { + "id": 1385 + } + }, + "prompt": "<|im_start|>user\nЕсли часть дерева, содержащая хлоропласты, имеет более плоскую поверхность, она имеет более\nA. выраженную способность поглощать солнечный свет\nB. яркие цвета\nC. короткую жизнь\nD. уверенных в себе друзей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0033775181509554386, + "B": 0.9364921450614929, + "C": 0.0005869246087968349, + "D": 0.0008539702976122499 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда луна полная, она имеет другой", + "option_a": "размер", + "option_b": "внешний вид", + "option_c": "расстояние", + "option_d": "вес" + }, + "outputs": "B", + "meta": { + "id": 714 + } + }, + "prompt": "<|im_start|>user\nКогда луна полная, она имеет другой\nA) размер\nB) внешний вид\nC) расстояние\nD) вес\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 54, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0005400512018240988, + "B": 0.00015472725499421358, + "C": 0.00016470631817355752, + "D": 0.9764354825019836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гусеница - это первая часть обыденного четырехэтапного жизненного цикла", + "option_a": "машины", + "option_b": "компании", + "option_c": "двигателя", + "option_d": "красочного беспозвоночного" + }, + "outputs": "D", + "meta": { + "id": 210 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Гусеница - это первая часть обыденного четырехэтапного жизненного цикла\nA. машины\nB. компании\nC. двигателя\nD. красочного беспозвоночного\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007721814909018576, + "B": 0.0007721814909018576, + "C": 0.9595499038696289, + "D": 0.0023784865625202656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное, скорее всего, является опылителем?", + "option_a": "медведь", + "option_b": "паук", + "option_c": "шмель", + "option_d": "крокодил" + }, + "outputs": "C", + "meta": { + "id": 2132 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое животное, скорее всего, является опылителем?\nA) медведь\nB) паук\nC) шмель\nD) крокодил\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.2704635262489319, + "B": 0.6488082408905029, + "C": 0.0018223689403384924, + "D": 0.009254752658307552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После долгой и тяжелой тренировки многие профессионалы помогут своему телу восстановиться, потребляя", + "option_a": "электролиты", + "option_b": "углеводы", + "option_c": "сахар", + "option_d": "белок" + }, + "outputs": "D", + "meta": { + "id": 826 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: После долгой и тяжелой тренировки многие профессионалы помогут своему телу восстановиться, потребляя\nA. электролиты\nB. углеводы\nC. сахар\nD. белок\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07802054286003113, + "B": 0.6532579660415649, + "C": 0.009318224154412746, + "D": 0.21208181977272034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пункт списка является примером охоты?", + "option_a": "Кошки, питающиеся кошачьим кормом", + "option_b": "морская выдра раскалывает ракорины моллюсков камнем", + "option_c": "Люди идут в рестораны", + "option_d": "Собака ест собачий корм" + }, + "outputs": "B", + "meta": { + "id": 1692 + } + }, + "prompt": "<|im_start|>user\nКакой пункт списка является примером охоты?\nA. Кошки, питающиеся кошачьим кормом\nB. морская выдра раскалывает ракорины моллюсков камнем\nC. Люди идут в рестораны\nD. Собака ест собачий корм\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.025920558720827103, + "B": 0.062180183827877045, + "C": 0.45945286750793457, + "D": 0.4054657518863678 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы вы смотрели лунное затмение с Луны", + "option_a": "вы бы переместились в другое измерение", + "option_b": "время пошло бы назад", + "option_c": "вы бы видели солнечное затмение", + "option_d": "вы были бы сброшены с Луны" + }, + "outputs": "C", + "meta": { + "id": 709 + } + }, + "prompt": "<|im_start|>user\nЕсли бы вы смотрели лунное затмение с Луны\nA) вы бы переместились в другое измерение\nB) время пошло бы назад\nC) вы бы видели солнечное затмение\nD) вы были бы сброшены с Луны\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.07209641486406326, + "B": 0.02340627834200859, + "C": 0.2516412138938904, + "D": 0.6036558747291565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хлорофилл", + "option_a": "- это цвет щеки смущенного человека", + "option_b": "хорошо впишется в арктику", + "option_c": "не будет ущемлен в день Святого Патрика", + "option_d": "- цвет, используемый также для описания кого-то грустного" + }, + "outputs": "C", + "meta": { + "id": 1797 + } + }, + "prompt": "<|im_start|>user\nХлорофилл\nA. - это цвет щеки смущенного человека\nB. хорошо впишется в арктику\nC. не будет ущемлен в день Святого Патрика\nD. - цвет, используемый также для описания кого-то грустного\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7846109867095947, + "B": 0.02684791199862957, + "C": 0.020909175276756287, + "D": 0.09370841830968857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот материал обладает наименьшей теплопроводностью", + "option_a": "термобелье", + "option_b": "медь", + "option_c": "алюминий", + "option_d": "сталь" + }, + "outputs": "A", + "meta": { + "id": 2006 + } + }, + "prompt": "<|im_start|>user\nЭтот материал обладает наименьшей теплопроводностью\nA) термобелье\nB) медь\nC) алюминий\nD) сталь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8996303081512451, + "B": 0.02716648019850254, + "C": 0.0017366950633004308, + "D": 0.0008203566540032625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если оставить сливочное масло на прилавке, когда день станет жарче, что произойдет с маслом?", + "option_a": "превращается из твердого в полужидкое", + "option_b": "сильно затвердевает", + "option_c": "начинает гнить", + "option_d": "его необходимо покрасить" + }, + "outputs": "A", + "meta": { + "id": 1440 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если оставить сливочное масло на прилавке, когда день станет жарче, что произойдет с маслом?\nA. превращается из твердого в полужидкое\nB. сильно затвердевает\nC. начинает гнить\nD. его необходимо покрасить\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.05652864649891853, + "B": 0.6886599063873291, + "C": 0.08224869519472122, + "D": 0.09319997578859329 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какое время вы, скорее всего, увидите радугу?", + "option_a": "3 часа ночи", + "option_b": "21:00", + "option_c": "10:00 A.M.", + "option_d": "Полночь" + }, + "outputs": "C", + "meta": { + "id": 923 + } + }, + "prompt": "<|im_start|>user\nВ какое время вы, скорее всего, увидите радугу?\nA. 3 часа ночи\nB. 21:00\nC. 10:00 A.M.\nD. Полночь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.04824205860495567, + "B": 0.033156245946884155, + "C": 0.007398158777505159, + "D": 0.8551108837127686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В северном полушарии зима", + "option_a": "через месяц после марта", + "option_b": "через месяц после ноября", + "option_c": "через месяц после августа", + "option_d": "через месяц после июня" + }, + "outputs": "B", + "meta": { + "id": 1455 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В северном полушарии зима\nA. через месяц после марта\nB. через месяц после ноября\nC. через месяц после августа\nD. через месяц после июня\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.21304044127464294, + "B": 0.6562107801437378, + "C": 0.019815849140286446, + "D": 0.02883188985288143 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое покрытие тела есть у животного, которое кудахает?", + "option_a": "Кожа", + "option_b": "Мех", + "option_c": "Чешуя", + "option_d": "Перья" + }, + "outputs": "D", + "meta": { + "id": 809 + } + }, + "prompt": "<|im_start|>user\nКакое покрытие тела есть у животного, которое кудахает?\nA) Кожа\nB) Мех\nC) Чешуя\nD) Перья\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.027967093512415886, + "B": 0.7212808132171631, + "C": 0.18236835300922394, + "D": 0.0008445330313406885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На поле выпадает больше осадков, и еды много, поэтому зайцы, живущие там, будут", + "option_a": "умирать намного раньше", + "option_b": "искать новую землю", + "option_c": "производить большие пометы", + "option_d": "есть меньше еды" + }, + "outputs": "C", + "meta": { + "id": 1675 + } + }, + "prompt": "<|im_start|>user\nНа поле выпадает больше осадков, и еды много, поэтому зайцы, живущие там, будут\nA. умирать намного раньше\nB. искать новую землю\nC. производить большие пометы\nD. есть меньше еды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003938480746001005, + "B": 0.0004703844606410712, + "C": 9.859792771749198e-05, + "D": 0.9637144207954407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Использование зеркал для фокусировки собранного света от небесных тел позволяет провести", + "option_a": "концерт небесной музыки", + "option_b": "смещение небесных тел", + "option_c": "радиационные эксперименты", + "option_d": "детальное наблюдение" + }, + "outputs": "D", + "meta": { + "id": 863 + } + }, + "prompt": "<|im_start|>user\nИспользование зеркал для фокусировки собранного света от небесных тел позволяет провести\nA. концерт небесной музыки\nB. смещение небесных тел\nC. радиационные эксперименты\nD. детальное наблюдение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.046050649136304855, + "B": 0.38557735085487366, + "C": 0.38557735085487366, + "D": 0.1104697659611702 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из следующих действий скорее могут включать электрический свет в помещении?", + "option_a": "Прыгать на месте", + "option_b": "Хлопать в ладоши", + "option_c": "Поворачивать дверную ручку", + "option_d": "Потирать нос" + }, + "outputs": "B", + "meta": { + "id": 1111 + } + }, + "prompt": "<|im_start|>user\nКакие из следующих действий скорее могут включать электрический свет в помещении?\nA. Прыгать на месте\nB. Хлопать в ладоши\nC. Поворачивать дверную ручку\nD. Потирать нос\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.909365177154541, + "B": 0.00030505802715197206, + "C": 0.00026921278913505375, + "D": 0.0022540909703820944 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могут сделать пищевая сода и уксус вместе?", + "option_a": "вступить в реакцию нейтрализации", + "option_b": "стать жесткими", + "option_c": "закипеть", + "option_d": "ничего" + }, + "outputs": "A", + "meta": { + "id": 1063 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что могут сделать пищевая сода и уксус вместе?\nA. вступить в реакцию нейтрализации\nB. стать жесткими\nC. закипеть\nD. ничего\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0025383473839610815, + "B": 0.02408316731452942, + "C": 0.9037142395973206, + "D": 0.012890790589153767 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если некто использует в пищу других животных, то это", + "option_a": "нечто неодушевленное", + "option_b": "продуцент", + "option_c": "хищник", + "option_d": "травоядное животное" + }, + "outputs": "C", + "meta": { + "id": 2179 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если некто использует в пищу других животных, то это\nA. нечто неодушевленное\nB. продуцент\nC. хищник\nD. травоядное животное\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004483852535486221, + "B": 0.0004725945764221251, + "C": 0.00019700672419276088, + "D": 0.9682424664497375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "если два объекта имеют одинаковый заряд, то как эти два материала будут влиять друг на друга?", + "option_a": "собираться вместе", + "option_b": "притягиваться", + "option_c": "страдать от насекомых", + "option_d": "отталкиваться" + }, + "outputs": "D", + "meta": { + "id": 1595 + } + }, + "prompt": "<|im_start|>user\nесли два объекта имеют одинаковый заряд, то как эти два материала будут влиять друг на друга?\nA. собираться вместе\nB. притягиваться\nC. страдать от насекомых\nD. отталкиваться\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00900652352720499, + "B": 0.019066808745265007, + "C": 0.0009492805111221969, + "D": 0.9186903238296509 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеку нужно переместить валун из расщелины на обрыв. Человек использует", + "option_a": "быструю машину и мяч", + "option_b": "палку с листом", + "option_c": "небольшую тарелку супа", + "option_d": "доску с приподнятым концом" + }, + "outputs": "D", + "meta": { + "id": 294 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человеку нужно переместить валун из расщелины на обрыв. Человек использует\nA) быструю машину и мяч\nB) палку с листом\nC) небольшую тарелку супа\nD) доску с приподнятым концом\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00821345392614603, + "B": 0.0001931619190145284, + "C": 0.0002480247931089252, + "D": 0.9493461847305298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что положительно сказывается на силе тела?", + "option_a": "частый физический контакт", + "option_b": "нерегулярные движения тела", + "option_c": "снижение физического усилия", + "option_d": "активные физические упражнения" + }, + "outputs": "D", + "meta": { + "id": 1164 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что положительно сказывается на силе тела?\nA) частый физический контакт\nB) нерегулярные движения тела\nC) снижение физического усилия\nD) активные физические упражнения\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01720128208398819, + "B": 0.8288041949272156, + "C": 0.0770907923579216, + "D": 0.007170561235398054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется неживое состояние белковых тел", + "option_a": "инерция", + "option_b": "смерть", + "option_c": "покой", + "option_d": "сон" + }, + "outputs": "B", + "meta": { + "id": 910 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как называется неживое состояние белковых тел\nA. инерция\nB. смерть\nC. покой\nD. сон\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8621193766593933, + "B": 0.029500102624297142, + "C": 0.001296144095249474, + "D": 0.006582362577319145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Осадки - это когда град с облаков падает на землю, а также", + "option_a": "дождь", + "option_b": "вода", + "option_c": "ручей", + "option_d": "облака" + }, + "outputs": "A", + "meta": { + "id": 1798 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Осадки - это когда град с облаков падает на землю, а также\nA) дождь\nB) вода\nC) ручей\nD) облака\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8597074151039124, + "B": 0.0006105421925894916, + "C": 0.00010609631863189861, + "D": 0.0007839517202228308 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делают все живые существа?", + "option_a": "развиваются", + "option_b": "плавают", + "option_c": "летают", + "option_d": "сокращаются" + }, + "outputs": "A", + "meta": { + "id": 1432 + } + }, + "prompt": "<|im_start|>user\nЧто делают все живые существа?\nA) развиваются\nB) плавают\nC) летают\nD) сокращаются\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 54, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2669989764690399, + "B": 0.18350555002689362, + "C": 0.009136202745139599, + "D": 0.4988197684288025 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из водоемов содержит больше всего воды на Земле?", + "option_a": "Галилейское море", + "option_b": "Море спокойствия", + "option_c": "Каспийское море", + "option_d": "Саргассово море" + }, + "outputs": "D", + "meta": { + "id": 199 + } + }, + "prompt": "<|im_start|>user\nКакой из водоемов содержит больше всего воды на Земле?\nA. Галилейское море\nB. Море спокойствия\nC. Каспийское море\nD. Саргассово море\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9029507040977478, + "B": 0.0025362027809023857, + "C": 0.000302906206343323, + "D": 0.0002673138224054128 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На выживание организма положительно влияет", + "option_a": "доступ к жизненно важным и необходимым объектам", + "option_b": "доступ к грязной, испорченной воде", + "option_c": "доступ к пище, не содержащей питательных веществ", + "option_d": "доступ к дорогам и автомагистралям" + }, + "outputs": "A", + "meta": { + "id": 598 + } + }, + "prompt": "<|im_start|>user\nНа выживание организма положительно влияет\nA. доступ к жизненно важным и необходимым объектам\nB. доступ к грязной, испорченной воде\nC. доступ к пище, не содержащей питательных веществ\nD. доступ к дорогам и автомагистралям\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.034325871616601944, + "B": 0.8852759003639221, + "C": 0.005964942276477814, + "D": 0.026733016595244408 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, будет на вкус больше всего похоже на сахар?", + "option_a": "табак", + "option_b": "мандарин", + "option_c": "мясо", + "option_d": "рис" + }, + "outputs": "B", + "meta": { + "id": 655 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, будет на вкус больше всего похоже на сахар?\nA. табак\nB. мандарин\nC. мясо\nD. рис\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00036995968548581004, + "B": 0.0014632189413532615, + "C": 0.9732478260993958, + "D": 0.0006099603488110006 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое влияние оказывают упражнения на здоровье человека?", + "option_a": "убивают", + "option_b": "ухудшают", + "option_c": "укрепляют", + "option_d": "ослабляют" + }, + "outputs": "C", + "meta": { + "id": 808 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое влияние оказывают упражнения на здоровье человека?\nA) убивают\nB) ухудшают\nC) укрепляют\nD) ослабляют\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.024756496772170067, + "B": 0.011694139800965786, + "C": 0.08640865981578827, + "D": 0.8198225498199463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все живые существа состоят из частей, содержащих", + "option_a": "кровеносный сосуд", + "option_b": "сердце", + "option_c": "скелет", + "option_d": "ядро ​​" + }, + "outputs": "D", + "meta": { + "id": 141 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Все живые существа состоят из частей, содержащих\nA. кровеносный сосуд\nB. сердце\nC. скелет\nD. ядро ​​\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.32421016693115234, + "B": 0.22282618284225464, + "C": 0.11927026510238647, + "D": 0.252495139837265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Было бы неожиданно увидеть мышь с", + "option_a": "большими зубами", + "option_b": "ушами", + "option_c": "кладкой яиц", + "option_d": "длинным хвостом" + }, + "outputs": "C", + "meta": { + "id": 2079 + } + }, + "prompt": "<|im_start|>user\nБыло бы неожиданно увидеть мышь с\nA. большими зубами\nB. ушами\nC. кладкой яиц\nD. длинным хвостом\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8661631941795349, + "B": 0.03805655613541603, + "C": 0.0007898386102169752, + "D": 0.0553719587624073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из предложенного списка вращается?", + "option_a": "все они", + "option_b": "Земля", + "option_c": "планета Марс", + "option_d": "планета Венера" + }, + "outputs": "A", + "meta": { + "id": 1670 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из предложенного списка вращается?\nA) все они\nB) Земля\nC) планета Марс\nD) планета Венера\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03967979550361633, + "B": 0.9031080007553101, + "C": 0.0013577679637819529, + "D": 0.0019755407702177763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Осадки иногда приводят к образованию", + "option_a": "гор", + "option_b": "пещер", + "option_c": "вулканов", + "option_d": "землетрясений" + }, + "outputs": "B", + "meta": { + "id": 1887 + } + }, + "prompt": "<|im_start|>user\nОсадки иногда приводят к образованию\nA. гор\nB. пещер\nC. вулканов\nD. землетрясений\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0006869261269457638, + "B": 0.0007783893379382789, + "C": 5.638633228954859e-05, + "D": 0.9672640562057495 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что отличает процветающих животных от тех, которые вымирают, так это", + "option_a": "тип животного", + "option_b": "лишение способности приспосабливаться", + "option_c": "способность оставаться на одном месте", + "option_d": "способность адаптироваться" + }, + "outputs": "D", + "meta": { + "id": 1690 + } + }, + "prompt": "<|im_start|>user\nЧто отличает процветающих животных от тех, которые вымирают, так это\nA. тип животного\nB. лишение способности приспосабливаться\nC. способность оставаться на одном месте\nD. способность адаптироваться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013200883753597736, + "B": 0.9254534244537354, + "C": 0.0007447429234161973, + "D": 0.0033377064391970634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если птица зеленого цвета, другая птица может понять это,", + "option_a": "отвернувшись от нее", + "option_b": "заметив ее", + "option_c": "прикоснувшись к ней", + "option_d": "убив ее" + }, + "outputs": "B", + "meta": { + "id": 1267 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если птица зеленого цвета, другая птица может понять это,\nA) отвернувшись от нее\nB) заметив ее\nC) прикоснувшись к ней\nD) убив ее\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008009454235434532, + "B": 0.0026002891827374697, + "C": 0.9257670044898987, + "D": 0.011653686873614788 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Способность духовки превращать ингредиенты теста в пирог проистекает из ее", + "option_a": "темного внутреннего пространства", + "option_b": "засушливой среды", + "option_c": "более высоких температур", + "option_d": "просторного внутреннего пространства" + }, + "outputs": "C", + "meta": { + "id": 163 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Способность духовки превращать ингредиенты теста в пирог проистекает из ее\nA. темного внутреннего пространства\nB. засушливой среды\nC. более высоких температур\nD. просторного внутреннего пространства\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6371148228645325, + "B": 0.031720079481601715, + "C": 0.031720079481601715, + "D": 0.18253645300865173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из железа делают", + "option_a": "предметы, которые крепят кровлю к крыше", + "option_b": "пакеты для печенья", + "option_c": "гончарную глину для печей", + "option_d": "завязки для мешков для хлеба" + }, + "outputs": "A", + "meta": { + "id": 717 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из железа делают\nA) предметы, которые крепят кровлю к крыше\nB) пакеты для печенья\nC) гончарную глину для печей\nD) завязки для мешков для хлеба\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05810165032744408, + "B": 0.1579366773366928, + "C": 0.5512531399726868, + "D": 0.1579366773366928 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Который из них замерзнет последним?", + "option_a": "наперсток с водой", + "option_b": "пруд с водой", + "option_c": "океан воды", + "option_d": "стакан воды" + }, + "outputs": "C", + "meta": { + "id": 1373 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Который из них замерзнет последним?\nA. наперсток с водой\nB. пруд с водой\nC. океан воды\nD. стакан воды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003440472763031721, + "B": 0.000320013816235587, + "C": 0.0005276135634630919, + "D": 0.9539477229118347 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего сделан мокрый снег?", + "option_a": "ветер", + "option_b": "огонь", + "option_c": "ледниковый лед", + "option_d": "затвердевшая в полете вода" + }, + "outputs": "D", + "meta": { + "id": 1119 + } + }, + "prompt": "<|im_start|>user\nИз чего сделан мокрый снег?\nA. ветер\nB. огонь\nC. ледниковый лед\nD. затвердевшая в полете вода\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0897507295012474, + "B": 0.8515312671661377, + "C": 0.00307110114954412, + "D": 0.003480013692751527 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является правдой?", + "option_a": "горячий кофе всегда будет горячим", + "option_b": "горячий кофе может травмировать из-за своей температуры", + "option_c": "горячий кофе холодный", + "option_d": "горячий кофе не может нагреться настолько, чтобы обжечь человека" + }, + "outputs": "B", + "meta": { + "id": 1796 + } + }, + "prompt": "<|im_start|>user\nЧто является правдой?\nA) горячий кофе всегда будет горячим\nB) горячий кофе может травмировать из-за своей температуры\nC) горячий кофе холодный\nD) горячий кофе не может нагреться настолько, чтобы обжечь человека\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11353211104869843, + "B": 0.009319283068180084, + "C": 0.5765636563301086, + "D": 0.2403474897146225 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то является живым, то ему требуется", + "option_a": "нечто, чтобы заинтересовать его", + "option_b": "что-то, что вселяет в него надежду", + "option_c": "источник сил для движения вперед", + "option_d": "что-то, о чем стоит подумать" + }, + "outputs": "C", + "meta": { + "id": 981 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если что-то является живым, то ему требуется\nA. нечто, чтобы заинтересовать его\nB. что-то, что вселяет в него надежду\nC. источник сил для движения вперед\nD. что-то, о чем стоит подумать\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00725797563791275, + "B": 0.00036135336267761886, + "C": 0.0005957708926871419, + "D": 0.9506072402000427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в окружающей среде наступит продолжительная засуха", + "option_a": "животные начнут интенсивнее плодиться", + "option_b": "растения продолжат процветать", + "option_c": "головастики быстрее созреют и превратятся в лягушек", + "option_d": "пруды могут высохнуть и убить популяцию рыб" + }, + "outputs": "D", + "meta": { + "id": 515 + } + }, + "prompt": "<|im_start|>user\nЕсли в окружающей среде наступит продолжительная засуха\nA. животные начнут интенсивнее плодиться\nB. растения продолжат процветать\nC. головастики быстрее созреют и превратятся в лягушек\nD. пруды могут высохнуть и убить популяцию рыб\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8765355348587036, + "B": 0.00015739089576527476, + "C": 0.0002290023840032518, + "D": 0.00029404490487650037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы лучше понять мир вокруг нас, специалисты", + "option_a": "наблюдают, проверяют данные, фиксируют факты и рассматривают версии", + "option_b": "обсуждают темы с непрофессионалами", + "option_c": "смотрят несколько образовательных программ", + "option_d": "делают записи в книгах" + }, + "outputs": "A", + "meta": { + "id": 86 + } + }, + "prompt": "<|im_start|>user\nЧтобы лучше понять мир вокруг нас, специалисты\nA. наблюдают, проверяют данные, фиксируют факты и рассматривают версии\nB. обсуждают темы с непрофессионалами\nC. смотрят несколько образовательных программ\nD. делают записи в книгах\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5049697160720825, + "B": 0.006356630474328995, + "C": 0.015248763374984264, + "D": 0.3932707905769348 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На чье здоровье влияет болезнь?", + "option_a": "одушевленный объект", + "option_b": "синий объект", + "option_c": "мертвый объект", + "option_d": "неодушевленный объект" + }, + "outputs": "A", + "meta": { + "id": 2227 + } + }, + "prompt": "<|im_start|>user\nНа чье здоровье влияет болезнь?\nA. одушевленный объект\nB. синий объект\nC. мертвый объект\nD. неодушевленный объект\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.910673975944519, + "B": 0.004217257723212242, + "C": 0.001758014434017241, + "D": 0.001992091303691268 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Привлекательная женщина получила свой цвет глаз благодаря", + "option_a": "хромосомам", + "option_b": "доминированию в поведении", + "option_c": "слюне", + "option_d": "электронным письмам" + }, + "outputs": "A", + "meta": { + "id": 1283 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Привлекательная женщина получила свой цвет глаз благодаря\nA) хромосомам\nB) доминированию в поведении\nC) слюне\nD) электронным письмам\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.9269413352012634, + "B": 0.002027675975114107, + "C": 0.00018860325508285314, + "D": 0.004864141810685396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого приведет к увеличению популяции в данной среде обитания?", + "option_a": "все перечисленное", + "option_b": "жестокий голод и холод", + "option_c": "сильная засуха и жара", + "option_d": "обильный выбор блюд" + }, + "outputs": "D", + "meta": { + "id": 403 + } + }, + "prompt": "<|im_start|>user\nЧто из этого приведет к увеличению популяции в данной среде обитания?\nA) все перечисленное\nB) жестокий голод и холод\nC) сильная засуха и жара\nD) обильный выбор блюд\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0072601730935275555, + "B": 0.0006753013003617525, + "C": 0.0002192382380599156, + "D": 0.9508950710296631 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пространство, где есть место для размножения многоклеточных организмов, скорее всего,", + "option_a": "суровое", + "option_b": "пустынное", + "option_c": "заполнено вакуумом", + "option_d": "обитаемое" + }, + "outputs": "D", + "meta": { + "id": 195 + } + }, + "prompt": "<|im_start|>user\nПространство, где есть место для размножения многоклеточных организмов, скорее всего,\nA) суровое\nB) пустынное\nC) заполнено вакуумом\nD) обитаемое\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001819998025894165, + "B": 9.061236050911248e-05, + "C": 0.00010267725883750245, + "D": 0.9427822828292847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете использовать такие растения, как звездчатый анис, для", + "option_a": "объятий", + "option_b": "бега", + "option_c": "плавания", + "option_d": "приправы" + }, + "outputs": "D", + "meta": { + "id": 1587 + } + }, + "prompt": "<|im_start|>user\nВы можете использовать такие растения, как звездчатый анис, для\nA. объятий\nB. бега\nC. плавания\nD. приправы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04642356559634209, + "B": 0.0002760446514002979, + "C": 0.0001388039527228102, + "D": 0.932442307472229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скелетная система", + "option_a": "состоит из тканей и паренхиматозных органов", + "option_b": "состоят из легких и сердца", + "option_c": "состоит из лейкоцитов", + "option_d": "состоит из кальцинированного материала" + }, + "outputs": "D", + "meta": { + "id": 8 + } + }, + "prompt": "<|im_start|>user\nСкелетная система\nA. состоит из тканей и паренхиматозных органов\nB. состоят из легких и сердца\nC. состоит из лейкоцитов\nD. состоит из кальцинированного материала\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009237756952643394, + "B": 0.9422768354415894, + "C": 0.00027895611128769815, + "D": 0.0006691808812320232 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В зависимости от типа птицы, у нее могут быть отличные от другой птицы", + "option_a": "бюджеты", + "option_b": "предпочтения в питании", + "option_c": "автомобили", + "option_d": "новогодние желания" + }, + "outputs": "B", + "meta": { + "id": 2050 + } + }, + "prompt": "<|im_start|>user\nВ зависимости от типа птицы, у нее могут быть отличные от другой птицы\nA) бюджеты\nB) предпочтения в питании\nC) автомобили\nD) новогодние желания\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01580634154379368, + "B": 0.8629969954490662, + "C": 0.006589062977582216, + "D": 0.03791744261980057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Посмотрите на испарение в действии:", + "option_a": "бегите в городской совет", + "option_b": "оставьте два каменных кувшина с разными уровнями жидкости", + "option_c": "прогуляйтесь по солнцу", + "option_d": "станьте человеком" + }, + "outputs": "B", + "meta": { + "id": 110 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Посмотрите на испарение в действии:\nA. бегите в городской совет\nB. оставьте два каменных кувшина с разными уровнями жидкости\nC. прогуляйтесь по солнцу\nD. станьте человеком\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.49847984313964844, + "B": 0.3425998389720917, + "C": 0.02812230959534645, + "D": 0.017057040706276894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветущие растения обеспечивают жизнедеятельность многих животных, таких как", + "option_a": "белки", + "option_b": "тюлени", + "option_c": "дельфины", + "option_d": "киты" + }, + "outputs": "A", + "meta": { + "id": 40 + } + }, + "prompt": "<|im_start|>user\nЦветущие растения обеспечивают жизнедеятельность многих животных, таких как\nA) белки\nB) тюлени\nC) дельфины\nD) киты\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10038229823112488, + "B": 0.007271669339388609, + "C": 0.004997740034013987, + "D": 0.8404906988143921 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где самый теплый декабрь?", + "option_a": "Канада", + "option_b": "Россия", + "option_c": "Италия", + "option_d": "Австралия" + }, + "outputs": "D", + "meta": { + "id": 912 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где самый теплый декабрь?\nA) Канада\nB) Россия\nC) Италия\nD) Австралия\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.22773271799087524, + "B": 0.10757331550121307, + "C": 0.034923944622278214, + "D": 0.5463024377822876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой элемент в результате разложения образуется?", + "option_a": "Углерод", + "option_b": "Фосфор", + "option_c": "Кремний", + "option_d": "Водород" + }, + "outputs": "A", + "meta": { + "id": 1430 + } + }, + "prompt": "<|im_start|>user\nКакой элемент в результате разложения образуется?\nA) Углерод\nB) Фосфор\nC) Кремний\nD) Водород\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8998971581459045, + "B": 0.00038762396434322, + "C": 0.00012584308569785208, + "D": 0.0007241769344545901 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воспроизводство - это когда организм передает генетическую информацию от себя к чему?", + "option_a": "молодняк", + "option_b": "общество", + "option_c": "мозг", + "option_d": "ноги" + }, + "outputs": "A", + "meta": { + "id": 1857 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воспроизводство - это когда организм передает генетическую информацию от себя к чему?\nA. молодняк\nB. общество\nC. мозг\nD. ноги\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.08911187201738358, + "B": 0.8454699516296387, + "C": 0.0011217528954148293, + "D": 0.0023747512605041265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеческие астронавты посетили", + "option_a": "ближайший к Земле небесный объект", + "option_b": "ближайшую к Земле планету", + "option_c": "ближайшее к Земле Солнце", + "option_d": "ближайшее к Земле созвездие" + }, + "outputs": "A", + "meta": { + "id": 1124 + } + }, + "prompt": "<|im_start|>user\nЧеловеческие астронавты посетили\nA. ближайший к Земле небесный объект\nB. ближайшую к Земле планету\nC. ближайшее к Земле Солнце\nD. ближайшее к Земле созвездие\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.913041889667511, + "B": 0.0017625854816287756, + "C": 0.003292943350970745, + "D": 0.0029060123488307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время сильной бури большой валун может быть", + "option_a": "сломан", + "option_b": "окрашен", + "option_c": "заострен", + "option_d": "сглажен" + }, + "outputs": "D", + "meta": { + "id": 1811 + } + }, + "prompt": "<|im_start|>user\nВо время сильной бури большой валун может быть\nA. сломан\nB. окрашен\nC. заострен\nD. сглажен\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.07556923478841782, + "B": 0.04583505913615227, + "C": 0.021650947630405426, + "D": 0.8124458193778992 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них живет на суше во взрослом состоянии?", + "option_a": "тигровые акулы", + "option_b": "пузатые жабы", + "option_c": "электрические угри", + "option_d": "сомы" + }, + "outputs": "B", + "meta": { + "id": 2011 + } + }, + "prompt": "<|im_start|>user\nКто из них живет на суше во взрослом состоянии?\nA. тигровые акулы\nB. пузатые жабы\nC. электрические угри\nD. сомы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.47084692120552063, + "B": 0.03410803899168968, + "C": 0.016111494973301888, + "D": 0.41552096605300903 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает электромонтаж лучше?", + "option_a": "веревка", + "option_b": "пластик", + "option_c": "конопля", + "option_d": "вольфрам" + }, + "outputs": "D", + "meta": { + "id": 198 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает электромонтаж лучше?\nA. веревка\nB. пластик\nC. конопля\nD. вольфрам\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0004595945356413722, + "B": 0.9416082501411438, + "C": 0.0006687060813419521, + "D": 0.0007577432552352548 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как зима переходит в весну, вы увидите, как", + "option_a": "усиливаются метели", + "option_b": "растут листья", + "option_c": "медведи переходят в спячку", + "option_d": "листья становятся оранжевыми" + }, + "outputs": "B", + "meta": { + "id": 1352 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере того, как зима переходит в весну, вы увидите, как\nA) усиливаются метели\nB) растут листья\nC) медведи переходят в спячку\nD) листья становятся оранжевыми\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006306787952780724, + "B": 0.9360103607177734, + "C": 0.005565720610320568, + "D": 0.0038252603262662888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если объект подвергается химическому изменению, тогда что в этом объекте после изменения обязательно будет новым?", + "option_a": "тепло", + "option_b": "химические характеристики", + "option_c": "внешний вид", + "option_d": "температура" + }, + "outputs": "B", + "meta": { + "id": 334 + } + }, + "prompt": "<|im_start|>user\nЕсли объект подвергается химическому изменению, тогда что в этом объекте после изменения обязательно будет новым?\nA. тепло\nB. химические характеристики\nC. внешний вид\nD. температура\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.382909893989563, + "B": 0.019063960760831833, + "C": 0.4916660189628601, + "D": 0.019063960760831833 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как часы тикают, близится полдень и день становится теплее, гостиная в коттедже", + "option_a": "будет прогреваться соответственно улице", + "option_b": "будет все прохладней", + "option_c": "будет становиться прохладнее", + "option_d": "будет охлаждаться" + }, + "outputs": "A", + "meta": { + "id": 1392 + } + }, + "prompt": "<|im_start|>user\nПо мере того, как часы тикают, близится полдень и день становится теплее, гостиная в коттедже\nA) будет прогреваться соответственно улице\nB) будет все прохладней\nC) будет становиться прохладнее\nD) будет охлаждаться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.030499955639243126, + "B": 0.0060057975351810455, + "C": 0.02691611833870411, + "D": 0.8913393616676331 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что разлагается разлагателями?", + "option_a": "живые активные существа", + "option_b": "металлы", + "option_c": "пластик и огонь", + "option_d": "безжизненные формы жизни" + }, + "outputs": "D", + "meta": { + "id": 1723 + } + }, + "prompt": "<|im_start|>user\nЧто разлагается разлагателями?\nA. живые активные существа\nB. металлы\nC. пластик и огонь\nD. безжизненные формы жизни\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.0010805181227624416, + "B": 0.9228259921073914, + "C": 0.003771378891542554, + "D": 0.011616664938628674 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Качество почвы улучшается, когда", + "option_a": "дождевая вода затопляет землю", + "option_b": "микроскопические насекомые населяют ландшафт", + "option_c": "прорастают небольшие деревья", + "option_d": "организмы погибают и гниют" + }, + "outputs": "D", + "meta": { + "id": 229 + } + }, + "prompt": "<|im_start|>user\nКачество почвы улучшается, когда\nA. дождевая вода затопляет землю\nB. микроскопические насекомые населяют ландшафт\nC. прорастают небольшие деревья\nD. организмы погибают и гниют\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7357362508773804, + "B": 0.02852758951485157, + "C": 0.0072129047475755215, + "D": 0.1128288134932518 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жуков иногда поедают", + "option_a": "тля", + "option_b": "киты", + "option_c": "слоны", + "option_d": "синие сойки" + }, + "outputs": "D", + "meta": { + "id": 1700 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Жуков иногда поедают\nA. тля\nB. киты\nC. слоны\nD. синие сойки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8738497495651245, + "B": 0.018136171624064445, + "C": 0.004585542716085911, + "D": 0.033882830291986465 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо, проявляющее инстинктивное поведение, может", + "option_a": "использовать камни, чтобы открывать раковины", + "option_b": "торговать с другими существами", + "option_c": "использовать инструменты, чтобы красить дома", + "option_d": "лазить по деревьям, чтобы добраться до фруктов" + }, + "outputs": "D", + "meta": { + "id": 1462 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Существо, проявляющее инстинктивное поведение, может\nA. использовать камни, чтобы открывать раковины\nB. торговать с другими существами\nC. использовать инструменты, чтобы красить дома\nD. лазить по деревьям, чтобы добраться до фруктов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.19282019138336182, + "B": 0.10320920497179031, + "C": 0.21849389374256134, + "D": 0.40820032358169556 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На", + "option_a": "Айсбергах", + "option_b": "Мексике", + "option_c": "Англии", + "option_d": "Техасе нет земноводных." + }, + "outputs": "A", + "meta": { + "id": 847 + } + }, + "prompt": "<|im_start|>user\nНа\nA) Айсбергах\nB) Мексике\nC) Англии\nD) Техасе нет земноводных.\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 54, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.862027645111084, + "B": 0.07075953483581543, + "C": 0.0024212582502514124, + "D": 0.00745800044387579 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Розничный торговец получает заказ на алюминий, который нужно доставлять еженедельно. Откуда, вероятно, придет алюминий?", + "option_a": "от торговца", + "option_b": "из загадочного места", + "option_c": "от Санта-Клауса", + "option_d": "из школы" + }, + "outputs": "A", + "meta": { + "id": 2248 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Розничный торговец получает заказ на алюминий, который нужно доставлять еженедельно. Откуда, вероятно, придет алюминий?\nA) от торговца\nB) из загадочного места\nC) от Санта-Клауса\nD) из школы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8961964249610901, + "B": 0.004702806938439608, + "C": 0.0005616701673716307, + "D": 0.0053289784118533134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего может изменить форму и структуру яйца?", + "option_a": "Уронить его из окна здания", + "option_b": "Положить его на подушку", + "option_c": "Оставить его в картонной коробке", + "option_d": "Держать его в руке" + }, + "outputs": "A", + "meta": { + "id": 1950 + } + }, + "prompt": "<|im_start|>user\nЧто из следующего может изменить форму и структуру яйца?\nA) Уронить его из окна здания\nB) Положить его на подушку\nC) Оставить его в картонной коробке\nD) Держать его в руке\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0004701501165982336, + "B": 0.002705527003854513, + "C": 0.9632343053817749, + "D": 0.0008783559896983206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда я играю на скрипке, струны создают звук через", + "option_a": "речь", + "option_b": "параллельное расположение", + "option_c": "колебание", + "option_d": "пот" + }, + "outputs": "C", + "meta": { + "id": 952 + } + }, + "prompt": "<|im_start|>user\nКогда я играю на скрипке, струны создают звук через\nA. речь\nB. параллельное расположение\nC. колебание\nD. пот\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005570774432271719, + "B": 0.936860203742981, + "C": 0.000753922329749912, + "D": 0.0029818208422511816 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Олень может голодать и недоедать. Чтобы исправить это, олень может", + "option_a": "съесть другого оленя", + "option_b": "съесть одуванчики", + "option_c": "съесть детенышей", + "option_d": "съесть валуны" + }, + "outputs": "B", + "meta": { + "id": 834 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Олень может голодать и недоедать. Чтобы исправить это, олень может\nA. съесть другого оленя\nB. съесть одуванчики\nC. съесть детенышей\nD. съесть валуны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.003891217289492488, + "B": 0.0020828184206038713, + "C": 0.9521494507789612, + "D": 0.0018380808178335428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скелетная система защищает", + "option_a": "поджелудочную железу", + "option_b": "ногти на ногах", + "option_c": "глаза", + "option_d": "волосы" + }, + "outputs": "A", + "meta": { + "id": 2226 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Скелетная система защищает\nA) поджелудочную железу\nB) ногти на ногах\nC) глаза\nD) волосы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0023385114036500454, + "B": 0.943422794342041, + "C": 0.0009748365264385939, + "D": 0.004950628615915775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стадо крупного рогатого скота медленно пробирается через большое поле. Пастух понимает, что он забыл принести зерно для скота, но коровы и быки прекрасно выживут в поле, потому что", + "option_a": "они охотятся на мясо", + "option_b": "они едят грубые корма", + "option_c": "они едят насекомых", + "option_d": "они едят добычу" + }, + "outputs": "B", + "meta": { + "id": 2161 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Стадо крупного рогатого скота медленно пробирается через большое поле. Пастух понимает, что он забыл принести зерно для скота, но коровы и быки прекрасно выживут в поле, потому что\nA. они охотятся на мясо\nB. они едят грубые корма\nC. они едят насекомых\nD. они едят добычу\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0029887112323194742, + "B": 0.0001686115429038182, + "C": 0.000588512048125267, + "D": 0.9390251040458679 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хотя оленей можно встретить во многих различных местах, они в основном живут", + "option_a": "рядом с хижинами в небольших городах", + "option_b": "в полях", + "option_c": "в густонаселенных парках", + "option_d": "в лесах" + }, + "outputs": "D", + "meta": { + "id": 162 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Хотя оленей можно встретить во многих различных местах, они в основном живут\nA. рядом с хижинами в небольших городах\nB. в полях\nC. в густонаселенных парках\nD. в лесах\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1901954710483551, + "B": 0.0027129927184432745, + "C": 0.7522376775741577, + "D": 0.0027129927184432745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример какого ресурса для выращивания растений - почва?", + "option_a": "Природные ресурсы", + "option_b": "Обильные ресурсы", + "option_c": "Возобновляемые ресурсы", + "option_d": "Вторичные ресурсы" + }, + "outputs": "C", + "meta": { + "id": 1338 + } + }, + "prompt": "<|im_start|>user\nПример какого ресурса для выращивания растений - почва?\nA. Природные ресурсы\nB. Обильные ресурсы\nC. Возобновляемые ресурсы\nD. Вторичные ресурсы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5246586203575134, + "B": 0.360592246055603, + "C": 0.003535121912136674, + "D": 0.005143572110682726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто преследует стрекоз на юге?", + "option_a": "пустельги", + "option_b": "электричество", + "option_c": "облака", + "option_d": "белые медведи" + }, + "outputs": "A", + "meta": { + "id": 837 + } + }, + "prompt": "<|im_start|>user\nКто преследует стрекоз на юге?\nA) пустельги\nB) электричество\nC) облака\nD) белые медведи\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 56, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.0731494352221489, + "B": 0.3714835047721863, + "C": 0.06455415487289429, + "D": 0.4209459722042084 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена можно найти внутри объекта, который часто можно увидеть в", + "option_a": "субботу", + "option_b": "День святого Валентина", + "option_c": "Хэллоуин", + "option_d": "День дурака" + }, + "outputs": "C", + "meta": { + "id": 667 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Семена можно найти внутри объекта, который часто можно увидеть в\nA) субботу\nB) День святого Валентина\nC) Хэллоуин\nD) День дурака\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8689960837364197, + "B": 0.0021540261805057526, + "C": 0.0004241529095452279, + "D": 0.0003303306002635509 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если боб находится в миле от места происхождения, а затем развивается в растение, которое производит много бобов, то, скорее всего, этот исходный боб", + "option_a": "был транспортирован из другого места", + "option_b": "был синим", + "option_c": "был честным", + "option_d": "был плоским" + }, + "outputs": "A", + "meta": { + "id": 1954 + } + }, + "prompt": "<|im_start|>user\nЕсли боб находится в миле от места происхождения, а затем развивается в растение, которое производит много бобов, то, скорее всего, этот исходный боб\nA. был транспортирован из другого места\nB. был синим\nC. был честным\nD. был плоским\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.18921086192131042, + "B": 0.14735755324363708, + "C": 0.21440398693084717, + "D": 0.35349240899086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как объект преобразует электрическую энергию в звук, видно на примере", + "option_a": "iphone", + "option_b": "мягкого ковра", + "option_c": "внешней стены", + "option_d": "деревянного стола" + }, + "outputs": "A", + "meta": { + "id": 230 + } + }, + "prompt": "<|im_start|>user\nКак объект преобразует электрическую энергию в звук, видно на примере\nA) iphone\nB) мягкого ковра\nC) внешней стены\nD) деревянного стола\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0012650912394747138, + "B": 0.012002850882709026, + "C": 0.9535045623779297, + "D": 0.0030347961001098156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все хищники также плотоядны, потому что хищники", + "option_a": "слушают музыку", + "option_b": "готовят пищу", + "option_c": "глотают мясо", + "option_d": "готовят овощи" + }, + "outputs": "C", + "meta": { + "id": 2169 + } + }, + "prompt": "<|im_start|>user\nВсе хищники также плотоядны, потому что хищники\nA. слушают музыку\nB. готовят пищу\nC. глотают мясо\nD. готовят овощи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.01165092270821333, + "B": 0.9255473613739014, + "C": 0.004856826737523079, + "D": 0.021766789257526398 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лечит витамин D?", + "option_a": "каркас тела", + "option_b": "зрение", + "option_c": "печаль", + "option_d": "повреждения мозга" + }, + "outputs": "A", + "meta": { + "id": 1886 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что лечит витамин D?\nA. каркас тела\nB. зрение\nC. печаль\nD. повреждения мозга\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0027146367356181145, + "B": 0.00036738612107001245, + "C": 0.001865740749053657, + "D": 0.9664775729179382 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Питательные вещества в почве", + "option_a": "расходуются немедленно", + "option_b": "не важны для пищевой цепи", + "option_c": "передаются сперва высшим хищникам", + "option_d": "передаются организмам-продуцентам" + }, + "outputs": "D", + "meta": { + "id": 1321 + } + }, + "prompt": "<|im_start|>user\nПитательные вещества в почве\nA. расходуются немедленно\nB. не важны для пищевой цепи\nC. передаются сперва высшим хищникам\nD. передаются организмам-продуцентам\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003422302193939686, + "B": 0.9489095211029053, + "C": 0.000763618852943182, + "D": 0.0012589945690706372 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Макс бросил немного порошка со вкусом апельсина в стакан воды и перемешивал, пока порошок не растворился. Его сестра попробовала получившийся напиток, и на вкус он был как", + "option_a": "кола", + "option_b": "цитрусовые", + "option_c": "темное шоколадное молоко", + "option_d": "яблоки" + }, + "outputs": "B", + "meta": { + "id": 1971 + } + }, + "prompt": "<|im_start|>user\nМакс бросил немного порошка со вкусом апельсина в стакан воды и перемешивал, пока порошок не растворился. Его сестра попробовала получившийся напиток, и на вкус он был как\nA. кола\nB. цитрусовые\nC. темное шоколадное молоко\nD. яблоки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.039180200546979904, + "B": 0.12068352848291397, + "C": 0.009906306862831116, + "D": 0.7869554162025452 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько времени требуется Земле, чтобы совершить полный оборот один раз", + "option_a": "1440 минут", + "option_b": "46 часов", + "option_c": "1400 минут", + "option_d": "28 часов" + }, + "outputs": "A", + "meta": { + "id": 944 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько времени требуется Земле, чтобы совершить полный оборот один раз\nA. 1440 минут\nB. 46 часов\nC. 1400 минут\nD. 28 часов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00657639978453517, + "B": 0.04288351535797119, + "C": 0.1320905089378357, + "D": 0.7601284384727478 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример того, что севооборот обновляет почву", + "option_a": "посадка рядов моркови и гороха рядом друг с другом", + "option_b": "обработка почвы между посевами", + "option_c": "посадка поля моркови с разными сортами моркови на нем", + "option_d": "посадка гороха в один сезон, затем моркови в следующий" + }, + "outputs": "D", + "meta": { + "id": 18 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример того, что севооборот обновляет почву\nA. посадка рядов моркови и гороха рядом друг с другом\nB. обработка почвы между посевами\nC. посадка поля моркови с разными сортами моркови на нем\nD. посадка гороха в один сезон, затем моркови в следующий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011393427848815918, + "B": 0.004506188444793224, + "C": 0.9730657339096069, + "D": 0.0011393427848815918 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобили являются большими загрязнителями, потому что они выделяют токсины в воздух, позволяя", + "option_a": "здоровее дышать", + "option_b": "производить конфеты", + "option_c": "дышать менее здоровым воздухом", + "option_d": "облагораживать пространство" + }, + "outputs": "C", + "meta": { + "id": 1188 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобили являются большими загрязнителями, потому что они выделяют токсины в воздух, позволяя\nA) здоровее дышать\nB) производить конфеты\nC) дышать менее здоровым воздухом\nD) облагораживать пространство\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.42978575825691223, + "B": 0.260678231716156, + "C": 0.039976298809051514, + "D": 0.15810935199260712 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего при включении в розетку может замкнуть цепь?", + "option_a": "резина", + "option_b": "стекло", + "option_c": "пластик", + "option_d": "золото" + }, + "outputs": "D", + "meta": { + "id": 171 + } + }, + "prompt": "<|im_start|>user\nЧто из следующего при включении в розетку может замкнуть цепь?\nA) резина\nB) стекло\nC) пластик\nD) золото\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8750675320625305, + "B": 0.012482167221605778, + "C": 0.008578860200941563, + "D": 0.0052033415995538235 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если животное в своей метаморфозе пропускает стадию куколки, то это…", + "option_a": "процесс неполного перехода", + "option_b": "очень пассивная метаморфоза", + "option_c": "истинная и полная метаморфоза", + "option_d": "очень агрессивная метаморфоза" + }, + "outputs": "A", + "meta": { + "id": 1451 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если животное в своей метаморфозе пропускает стадию куколки, то это…\nA) процесс неполного перехода\nB) очень пассивная метаморфоза\nC) истинная и полная метаморфоза\nD) очень агрессивная метаморфоза\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.013379842974245548, + "B": 0.0008553448133170605, + "C": 0.00040403628372587264, + "D": 0.9379994869232178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сейсмометр может определить, насколько землетрясения", + "option_a": "небольшие", + "option_b": "быстрые", + "option_c": "длинные", + "option_d": "сильные" + }, + "outputs": "D", + "meta": { + "id": 1506 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сейсмометр может определить, насколько землетрясения\nA. небольшие\nB. быстрые\nC. длинные\nD. сильные\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.018084656447172165, + "B": 0.010968899354338646, + "C": 0.06312166154384613, + "D": 0.8713676333427429 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для измерения чего используют домашние весы?", + "option_a": "упитанность", + "option_b": "электропроводность", + "option_c": "длина", + "option_d": "рост" + }, + "outputs": "A", + "meta": { + "id": 327 + } + }, + "prompt": "<|im_start|>user\nДля измерения чего используют домашние весы?\nA) упитанность\nB) электропроводность\nC) длина\nD) рост\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0014294032007455826, + "B": 0.9507555961608887, + "C": 0.0009824135340750217, + "D": 0.003428960219025612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример образования радуги при преломлении лучей света", + "option_a": "солнечный свет отражается от зеркала", + "option_b": "фонарик светит на грани драгоценного камня", + "option_c": "фонарик светит в зеркало", + "option_d": "ученый смотрит на только что сформированный алмаз" + }, + "outputs": "B", + "meta": { + "id": 155 + } + }, + "prompt": "<|im_start|>user\nВыберите пример образования радуги при преломлении лучей света\nA. солнечный свет отражается от зеркала\nB. фонарик светит на грани драгоценного камня\nC. фонарик светит в зеркало\nD. ученый смотрит на только что сформированный алмаз\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003959431312978268, + "B": 0.0018703029491007328, + "C": 0.9688408970832825, + "D": 0.0018703029491007328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько часов потребуется планете, чтобы совершить вращательное движение?", + "option_a": "22", + "option_b": "двадцать часов", + "option_c": "24", + "option_d": "двадцать один час" + }, + "outputs": "C", + "meta": { + "id": 1560 + } + }, + "prompt": "<|im_start|>user\nСколько часов потребуется планете, чтобы совершить вращательное движение?\nA) 22\nB) двадцать часов\nC) 24\nD) двадцать один час\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.038898345082998276, + "B": 0.8853222727775574, + "C": 0.0031929705291986465, + "D": 0.018374277278780937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, вероятно, больше всего полагается на внешний вид при воспроизводстве?", + "option_a": "акула", + "option_b": "павлин", + "option_c": "паук", + "option_d": "лошадь" + }, + "outputs": "B", + "meta": { + "id": 1353 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто, вероятно, больше всего полагается на внешний вид при воспроизводстве?\nA. акула\nB. павлин\nC. паук\nD. лошадь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.016890332102775574, + "B": 0.9221808314323425, + "C": 0.0013864428037777543, + "D": 0.006213605869561434 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример маскировки - когда на что похож организм?", + "option_a": "облака", + "option_b": "местная флора", + "option_c": "здания", + "option_d": "океаны" + }, + "outputs": "B", + "meta": { + "id": 1223 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример маскировки - когда на что похож организм?\nA) облака\nB) местная флора\nC) здания\nD) океаны\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.095988430082798, + "B": 0.016680287197232246, + "C": 0.8037012815475464, + "D": 0.008928315714001656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рельеф поверхности нашего единственного естественного спутника", + "option_a": "гладкий", + "option_b": "из сыра", + "option_c": "гористый", + "option_d": "полный золота" + }, + "outputs": "C", + "meta": { + "id": 2107 + } + }, + "prompt": "<|im_start|>user\nРельеф поверхности нашего единственного естественного спутника\nA. гладкий\nB. из сыра\nC. гористый\nD. полный золота\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009757882915437222, + "B": 0.8783766031265259, + "C": 0.016088029369711876, + "D": 0.034058354794979095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одна из унаследованных характеристик меха - это", + "option_a": "способность нравиться", + "option_b": "оттенок", + "option_c": "вес", + "option_d": "длина" + }, + "outputs": "B", + "meta": { + "id": 79 + } + }, + "prompt": "<|im_start|>user\nОдна из унаследованных характеристик меха - это\nA. способность нравиться\nB. оттенок\nC. вес\nD. длина\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0441027507185936, + "B": 0.00766390934586525, + "C": 0.8858274817466736, + "D": 0.023606501519680023 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто нуждается в питательных веществах для выживания?", + "option_a": "песок", + "option_b": "пластик", + "option_c": "детеныш анаконды", + "option_d": "чучело совы" + }, + "outputs": "C", + "meta": { + "id": 870 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто нуждается в питательных веществах для выживания?\nA. песок\nB. пластик\nC. детеныш анаконды\nD. чучело совы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7303791046142578, + "B": 0.0008551860228180885, + "C": 0.07698138803243637, + "D": 0.1120072677731514 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы найти партнера, животное может использовать", + "option_a": "красивое яркое оперение на хвосте", + "option_b": "приложения для социальных сетей и знакомств", + "option_c": "совет друзей-животных", + "option_d": "встречи и общественные собрания" + }, + "outputs": "A", + "meta": { + "id": 648 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы найти партнера, животное может использовать\nA) красивое яркое оперение на хвосте\nB) приложения для социальных сетей и знакомств\nC) совет друзей-животных\nD) встречи и общественные собрания\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10187097638845444, + "B": 0.015622420236468315, + "C": 0.048120442777872086, + "D": 0.7527303695678711 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В засушливом песчаном месте очень мало", + "option_a": "тепла", + "option_b": "песка", + "option_c": "солнца", + "option_d": "питательных веществ" + }, + "outputs": "D", + "meta": { + "id": 562 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В засушливом песчаном месте очень мало\nA) тепла\nB) песка\nC) солнца\nD) питательных веществ\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.000970793713349849, + "B": 0.9395102262496948, + "C": 0.00435079587623477, + "D": 0.0011000533122569323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего объясняет, что грязная дорога позже станет сухой?", + "option_a": "инопланетные тепловые лучи", + "option_b": "испарение", + "option_c": "осадки", + "option_d": "проливной дождь" + }, + "outputs": "B", + "meta": { + "id": 1368 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что лучше всего объясняет, что грязная дорога позже станет сухой?\nA) инопланетные тепловые лучи\nB) испарение\nC) осадки\nD) проливной дождь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.02285614237189293, + "B": 0.16888532042503357, + "C": 0.0027297770138829947, + "D": 0.7568914890289307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В отличие от птичьих яиц, яйца рептилий", + "option_a": "неоново-зеленые", + "option_b": "симметричные", + "option_c": "волшебные", + "option_d": "с косточками, как арбузы" + }, + "outputs": "B", + "meta": { + "id": 1136 + } + }, + "prompt": "<|im_start|>user\nВ отличие от птичьих яиц, яйца рептилий\nA) неоново-зеленые\nB) симметричные\nC) волшебные\nD) с косточками, как арбузы\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8418097496032715, + "B": 0.006427296437323093, + "C": 0.005005583632737398, + "D": 0.06909995526075363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если один минерал может поцарапать другим минералом, то первый минерал мягче, что можно проверить с помощью", + "option_a": "алмаза и стали", + "option_b": "камня и стекла", + "option_c": "рубина и горчицы", + "option_d": "алмаза и агата" + }, + "outputs": "D", + "meta": { + "id": 423 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если один минерал может поцарапать другим минералом, то первый минерал мягче, что можно проверить с помощью\nA) алмаза и стали\nB) камня и стекла\nC) рубина и горчицы\nD) алмаза и агата\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010700424201786518, + "B": 0.005054522305727005, + "C": 0.0014481449034065008, + "D": 0.9632214307785034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мне нужно подключить кухонный комбайн к сети, потому что он", + "option_a": "используется для измельчения металла", + "option_b": "- это масляная машина", + "option_c": "- это машина с батарейным питанием.", + "option_d": "- это электродвигатель" + }, + "outputs": "D", + "meta": { + "id": 50 + } + }, + "prompt": "<|im_start|>user\nМне нужно подключить кухонный комбайн к сети, потому что он\nA) используется для измельчения металла\nB) - это масляная машина\nC) - это машина с батарейным питанием.\nD) - это электродвигатель\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.012696987949311733, + "B": 0.009888425469398499, + "C": 0.8901275992393494, + "D": 0.05690395087003708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что имеет массу больше Луны?", + "option_a": "Атлантический океан", + "option_b": "Уральские горы", + "option_c": "ваша родная планета", + "option_d": "плутон" + }, + "outputs": "C", + "meta": { + "id": 1743 + } + }, + "prompt": "<|im_start|>user\nЧто имеет массу больше Луны?\nA) Атлантический океан\nB) Уральские горы\nC) ваша родная планета\nD) плутон\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011142173316329718, + "B": 0.0012625736417248845, + "C": 0.9516071081161499, + "D": 0.0005963975563645363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Оползень имеет", + "option_a": "самолеты", + "option_b": "единороги", + "option_c": "множественные причины", + "option_d": "пожары" + }, + "outputs": "C", + "meta": { + "id": 1023 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Оползень имеет\nA. самолеты\nB. единороги\nC. множественные причины\nD. пожары\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018064239993691444, + "B": 0.9357507824897766, + "C": 0.00024447287432849407, + "D": 0.00024447287432849407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда спрос на кукурузу возрастает", + "option_a": "фермеры выращивают разные культуры", + "option_b": "фермеры должны собирать больше кукурузы", + "option_c": "фермеры перестают сажать кукурузу", + "option_d": "фермеры просят людей перестать есть кукурузу" + }, + "outputs": "B", + "meta": { + "id": 516 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда спрос на кукурузу возрастает\nA. фермеры выращивают разные культуры\nB. фермеры должны собирать больше кукурузы\nC. фермеры перестают сажать кукурузу\nD. фермеры просят людей перестать есть кукурузу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.14907211065292358, + "B": 0.21689863502979279, + "C": 0.042709872126579285, + "D": 0.5203127861022949 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена, застрявшие в шерсти животного", + "option_a": "немедленно отпадут", + "option_b": "прицепятся к этому животному", + "option_c": "прорастут в шерсти животного", + "option_d": "не смогут снова прорасти" + }, + "outputs": "B", + "meta": { + "id": 1366 + } + }, + "prompt": "<|im_start|>user\nСемена, застрявшие в шерсти животного\nA) немедленно отпадут\nB) прицепятся к этому животному\nC) прорастут в шерсти животного\nD) не смогут снова прорасти\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.7167001366615295, + "B": 0.040433455258607864, + "C": 0.12454379349946976, + "D": 0.009021922945976257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У многих птиц острые клювы, а вот у других - загнутые: таковы, например,", + "option_a": "пеликаны", + "option_b": "соколы-сапсаны", + "option_c": "туканы", + "option_d": "змеи" + }, + "outputs": "B", + "meta": { + "id": 2213 + } + }, + "prompt": "<|im_start|>user\nУ многих птиц острые клювы, а вот у других - загнутые: таковы, например,\nA. пеликаны\nB. соколы-сапсаны\nC. туканы\nD. змеи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06275288760662079, + "B": 0.8662769198417664, + "C": 0.0007899422780610621, + "D": 0.0021472859662026167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Внутри большинства плодов встречаются", + "option_a": "маленькие ягоды", + "option_b": "маленькие твердые кусочки", + "option_c": "синие черви", + "option_d": "маленькие острые пятнышки" + }, + "outputs": "B", + "meta": { + "id": 1858 + } + }, + "prompt": "<|im_start|>user\nВнутри большинства плодов встречаются\nA. маленькие ягоды\nB. маленькие твердые кусочки\nC. синие черви\nD. маленькие острые пятнышки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.0038106332067400217, + "B": 0.9324312210083008, + "C": 0.0055444384925067425, + "D": 0.009141234681010246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать секундомер, чтобы отслеживать", + "option_a": "количество веснушек на моей спине", + "option_b": "сколько времени длится дорога", + "option_c": "сколько зефира я могу съесть за 10 минут", + "option_d": "сколько веса я потеряю за 6 месяцев" + }, + "outputs": "C", + "meta": { + "id": 442 + } + }, + "prompt": "<|im_start|>user\nЯ могу использовать секундомер, чтобы отслеживать\nA) количество веснушек на моей спине\nB) сколько времени длится дорога\nC) сколько зефира я могу съесть за 10 минут\nD) сколько веса я потеряю за 6 месяцев\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.023670420050621033, + "B": 0.8882260322570801, + "C": 0.0015131995314732194, + "D": 0.004113302566111088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как температура жидкости становится выше,", + "option_a": "камни будут таять быстрее, когда жидкость выливается на них", + "option_b": "мороженое будет расплываться быстрее, когда на него наливается жидкость", + "option_c": "жидкость легче затвердевает", + "option_d": "жидкость охладит все, к чему прикасается" + }, + "outputs": "B", + "meta": { + "id": 1468 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере того, как температура жидкости становится выше,\nA) камни будут таять быстрее, когда жидкость выливается на них\nB) мороженое будет расплываться быстрее, когда на него наливается жидкость\nC) жидкость легче затвердевает\nD) жидкость охладит все, к чему прикасается\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0008924253634177148, + "B": 0.0008924253634177148, + "C": 0.9786632061004639, + "D": 0.0004215519002173096 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наблюдение за звездами в городе может стать труднее, поскольку", + "option_a": "звезды гаснут", + "option_b": "на море используются прожекторы", + "option_c": "мешает уличное освещение", + "option_d": "космические корабли начинают зависать над землей" + }, + "outputs": "C", + "meta": { + "id": 664 + } + }, + "prompt": "<|im_start|>user\nНаблюдение за звездами в городе может стать труднее, поскольку\nA. звезды гаснут\nB. на море используются прожекторы\nC. мешает уличное освещение\nD. космические корабли начинают зависать над землей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02605949342250824, + "B": 0.042964838445186615, + "C": 0.8629719018936157, + "D": 0.02605949342250824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если животное способно к размножению, то", + "option_a": "это животное находилось в состоянии течки", + "option_b": "это животное было оплодотворено", + "option_c": "это животное повзрослело", + "option_d": "это животное заинтересовано" + }, + "outputs": "C", + "meta": { + "id": 532 + } + }, + "prompt": "<|im_start|>user\nЕсли животное способно к размножению, то\nA. это животное находилось в состоянии течки\nB. это животное было оплодотворено\nC. это животное повзрослело\nD. это животное заинтересовано\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07684345543384552, + "B": 0.03629827871918678, + "C": 0.019429069012403488, + "D": 0.8261450529098511 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда два декоративных предмета для холодильника ставятся спиной друг к другу,", + "option_a": "они будут сыпать искрами", + "option_b": "они слипаются", + "option_c": "они будут липкими", + "option_d": "они отказываются касаться" + }, + "outputs": "D", + "meta": { + "id": 1994 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда два декоративных предмета для холодильника ставятся спиной друг к другу,\nA. они будут сыпать искрами\nB. они слипаются\nC. они будут липкими\nD. они отказываются касаться\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0027080911677330732, + "B": 5.2799368859268725e-05, + "C": 0.00025189167354255915, + "D": 0.9641472101211548 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как долго формировался Сулакский каньон? A", + "option_a": "несколько дней", + "option_b": "пару минут", + "option_c": "пара миллиардов долларов", + "option_d": "очень много времени" + }, + "outputs": "D", + "meta": { + "id": 2223 + } + }, + "prompt": "<|im_start|>user\nКак долго формировался Сулакский каньон? A\nA) несколько дней\nB) пару минут\nC) пара миллиардов долларов\nD) очень много времени\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.6764654517173767, + "B": 0.2488577663898468, + "C": 0.0016767902998253703, + "D": 0.014039591886103153 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это было бы связано с недостатком солнечного света:", + "option_a": "широкая песчаная пустыня", + "option_b": "сцена на тропическом пляже", + "option_c": "углекислота в грунтовых водах", + "option_d": "рисовая плантация на севере" + }, + "outputs": "C", + "meta": { + "id": 150 + } + }, + "prompt": "<|im_start|>user\nЭто было бы связано с недостатком солнечного света:\nA) широкая песчаная пустыня\nB) сцена на тропическом пляже\nC) углекислота в грунтовых водах\nD) рисовая плантация на севере\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.021558845415711403, + "B": 0.01018367800861597, + "C": 0.013076099567115307, + "D": 0.9167054295539856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек соударяет две палочки, и", + "option_a": "они загораются", + "option_b": "они разваливаются", + "option_c": "они горят", + "option_d": "частицы внутри них сотрясаются" + }, + "outputs": "D", + "meta": { + "id": 87 + } + }, + "prompt": "<|im_start|>user\nЧеловек соударяет две палочки, и\nA) они загораются\nB) они разваливаются\nC) они горят\nD) частицы внутри них сотрясаются\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09347939491271973, + "B": 0.011164520867168903, + "C": 0.7826933860778809, + "D": 0.05003591254353523 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как спастись женщине, если она заблудилась в горах?", + "option_a": "Она сможет изменить свою внешность, чтобы с большей вероятностью получить помощь", + "option_b": "Она может использовать макияж в качестве камуфляжа", + "option_c": "она может использовать зеркало, чтобы подать кому-то сигнал", + "option_d": "Она может разбить зеркало, чтобы использовать осколки для оружия" + }, + "outputs": "C", + "meta": { + "id": 350 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как спастись женщине, если она заблудилась в горах?\nA. Она сможет изменить свою внешность, чтобы с большей вероятностью получить помощь\nB. Она может использовать макияж в качестве камуфляжа\nC. она может использовать зеркало, чтобы подать кому-то сигнал\nD. Она может разбить зеркало, чтобы использовать осколки для оружия\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.18998080492019653, + "B": 0.0897405818104744, + "C": 0.0791957825422287, + "D": 0.5851820707321167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что образует каверны?", + "option_a": "все ответы верны", + "option_b": "застывание лавы", + "option_c": "выщелачивание", + "option_d": "растворение углекислотой" + }, + "outputs": "A", + "meta": { + "id": 1883 + } + }, + "prompt": "<|im_start|>user\nЧто образует каверны?\nA. все ответы верны\nB. застывание лавы\nC. выщелачивание\nD. растворение углекислотой\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03196115419268608, + "B": 6.567881791852415e-05, + "C": 4.514035026659258e-05, + "D": 0.9340417981147766 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фикус может помочь дыханию, потому что он:", + "option_a": "поглощает кислород", + "option_b": "выделяет углекислый газ", + "option_c": "поглощает гелий", + "option_d": "выделяет кислород" + }, + "outputs": "D", + "meta": { + "id": 535 + } + }, + "prompt": "<|im_start|>user\nФикус может помочь дыханию, потому что он:\nA) поглощает кислород\nB) выделяет углекислый газ\nC) поглощает гелий\nD) выделяет кислород\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5577473044395447, + "B": 0.08553332090377808, + "C": 0.08553332090377808, + "D": 0.1597972810268402 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шторм, движущийся над землей, вызовет больше дождя над", + "option_a": "лугом", + "option_b": "песчаной пустыней", + "option_c": "арктической ледяной пустыней", + "option_d": "солончаком" + }, + "outputs": "A", + "meta": { + "id": 1695 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шторм, движущийся над землей, вызовет больше дождя над\nA) лугом\nB) песчаной пустыней\nC) арктической ледяной пустыней\nD) солончаком\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07781865447759628, + "B": 0.04165332391858101, + "C": 0.6515676379203796, + "D": 0.1647420972585678 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ящериц можно найти под", + "option_a": "деловыми костюмами", + "option_b": "космическими кораблями", + "option_c": "садовыми статуями", + "option_d": "любовью" + }, + "outputs": "C", + "meta": { + "id": 1745 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ящериц можно найти под\nA. деловыми костюмами\nB. космическими кораблями\nC. садовыми статуями\nD. любовью\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.010083066299557686, + "B": 0.9076486825942993, + "C": 0.007852699607610703, + "D": 0.018837647512555122 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что позволяет насыщать почву новым материалом?", + "option_a": "сетевое телевидение", + "option_b": "лесные пожары", + "option_c": "магнетизм", + "option_d": "свободные радикалы" + }, + "outputs": "B", + "meta": { + "id": 1535 + } + }, + "prompt": "<|im_start|>user\nЧто позволяет насыщать почву новым материалом?\nA. сетевое телевидение\nB. лесные пожары\nC. магнетизм\nD. свободные радикалы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0008807649137452245, + "B": 0.00011197669664397836, + "C": 0.00047143950359895825, + "D": 0.9658759832382202 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если водоем теряет всю воду, то какой это теперь водоем?", + "option_a": "процветающий", + "option_b": "растущий", + "option_c": "текущий", + "option_d": "несуществующий" + }, + "outputs": "D", + "meta": { + "id": 1559 + } + }, + "prompt": "<|im_start|>user\nЕсли водоем теряет всю воду, то какой это теперь водоем?\nA. процветающий\nB. растущий\nC. текущий\nD. несуществующий\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.011942414566874504, + "B": 0.022311368957161903, + "C": 0.8372279405593872, + "D": 0.08824317157268524 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, в последнее время увеличило выбросы CO2 в атмосфере?", + "option_a": "устойчивое рыболовство", + "option_b": "электромобили", + "option_c": "мотоциклы", + "option_d": "популяции муравьев" + }, + "outputs": "C", + "meta": { + "id": 452 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, в последнее время увеличило выбросы CO2 в атмосфере?\nA) устойчивое рыболовство\nB) электромобили\nC) мотоциклы\nD) популяции муравьев\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006408756598830223, + "B": 0.00499114440754056, + "C": 0.00235764984972775, + "D": 0.9511438012123108 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где растут грибы?", + "option_a": "Сахара", + "option_b": "Арктика", + "option_c": "международная космическая станция", + "option_d": "Амазонка" + }, + "outputs": "D", + "meta": { + "id": 1586 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где растут грибы?\nA) Сахара\nB) Арктика\nC) международная космическая станция\nD) Амазонка\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8528088927268982, + "B": 0.002113902010023594, + "C": 0.002714304020628333, + "D": 0.0030757093336433172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На первый взгляд машина вдали выглядела очень маленькой, но незадолго до того, как она врезалась в человека, она вдруг оказалась", + "option_a": "большой", + "option_b": "микроскопической", + "option_c": "сверху", + "option_d": "несуществующей" + }, + "outputs": "A", + "meta": { + "id": 2158 + } + }, + "prompt": "<|im_start|>user\nНа первый взгляд машина вдали выглядела очень маленькой, но незадолго до того, как она врезалась в человека, она вдруг оказалась\nA) большой\nB) микроскопической\nC) сверху\nD) несуществующей\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003148401854559779, + "B": 0.0920097827911377, + "C": 0.8729645609855652, + "D": 0.0021638628095388412 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняет добыча полезных ископаемых?", + "option_a": "температуру", + "option_b": "уровень воды", + "option_c": "биологическую среду", + "option_d": "атмосферное давление" + }, + "outputs": "C", + "meta": { + "id": 2086 + } + }, + "prompt": "<|im_start|>user\nЧто меняет добыча полезных ископаемых?\nA) температуру\nB) уровень воды\nC) биологическую среду\nD) атмосферное давление\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002379820914939046, + "B": 0.00305575062520802, + "C": 0.9600882530212402, + "D": 0.0018534064292907715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Листья - это часть растения с наибольшим количеством", + "option_a": "корней", + "option_b": "почек", + "option_c": "хлоропластов", + "option_d": "бактерий" + }, + "outputs": "C", + "meta": { + "id": 1790 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Листья - это часть растения с наибольшим количеством\nA. корней\nB. почек\nC. хлоропластов\nD. бактерий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5185001492500305, + "B": 0.21614301204681396, + "C": 0.02925177849829197, + "D": 0.13109736144542694 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выученное поведение проявляется, когда кто-то", + "option_a": "щурится при ярком свете", + "option_b": "вдыхает и выдыхает во время сна", + "option_c": "моргает и глотает воздух", + "option_d": "прибивает рамку с изображением" + }, + "outputs": "D", + "meta": { + "id": 2197 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выученное поведение проявляется, когда кто-то\nA) щурится при ярком свете\nB) вдыхает и выдыхает во время сна\nC) моргает и глотает воздух\nD) прибивает рамку с изображением\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.08701302856206894, + "B": 0.26801902055740356, + "C": 0.5007254481315613, + "D": 0.08701302856206894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример правильного применения электропроводника?", + "option_a": "отключение электроэнергии из-за грозы", + "option_b": "сбой в работе тостера из-за использования алюминия", + "option_c": "лампочка перегорела из-за неисправного соединения", + "option_d": "выключатель света включает свет из-за стали внутри проводки" + }, + "outputs": "D", + "meta": { + "id": 1043 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков пример правильного применения электропроводника?\nA. отключение электроэнергии из-за грозы\nB. сбой в работе тостера из-за использования алюминия\nC. лампочка перегорела из-за неисправного соединения\nD. выключатель света включает свет из-за стали внутри проводки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12267475575208664, + "B": 0.004756616428494453, + "C": 0.021317675709724426, + "D": 0.7999398708343506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Перепончатые лапы помогают в том, что", + "option_a": "пингвины откладывают икру на льду", + "option_b": "рыба прячется в коралловых рифах", + "option_c": "чайки приманивают рыбу с берега", + "option_d": "утки преследуют добычу под водой" + }, + "outputs": "D", + "meta": { + "id": 426 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Перепончатые лапы помогают в том, что\nA) пингвины откладывают икру на льду\nB) рыба прячется в коралловых рифах\nC) чайки приманивают рыбу с берега\nD) утки преследуют добычу под водой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14151611924171448, + "B": 0.04054505005478859, + "C": 0.7186781764030457, + "D": 0.02459181472659111 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет с годичными кольцами в результате уменьшения количества воды? Они будут", + "option_a": "Терять форму", + "option_b": "Становиться шире", + "option_c": "Сужаться", + "option_d": "Полностью исчезать" + }, + "outputs": "C", + "meta": { + "id": 1375 + } + }, + "prompt": "<|im_start|>user\nЧто будет с годичными кольцами в результате уменьшения количества воды? Они будут\nA. Терять форму\nB. Становиться шире\nC. Сужаться\nD. Полностью исчезать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8991355895996094, + "B": 0.0028617517091333866, + "C": 0.0009290747111663222, + "D": 0.0032427895348519087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В лесу, где никого нет, пожар может быть вызван", + "option_a": "электричеством", + "option_b": "птицей", + "option_c": "оползнем", + "option_d": "внезапным наводнением" + }, + "outputs": "A", + "meta": { + "id": 1286 + } + }, + "prompt": "<|im_start|>user\nВ лесу, где никого нет, пожар может быть вызван\nA. электричеством\nB. птицей\nC. оползнем\nD. внезапным наводнением\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002698339754715562, + "B": 0.0005313345463946462, + "C": 0.0002214931882917881, + "D": 0.9606754183769226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Катастрофа BP стала причиной чего?", + "option_a": "лава в парке", + "option_b": "спутники в космосе", + "option_c": "молния в лесу", + "option_d": "топливо в Персидском заливе" + }, + "outputs": "D", + "meta": { + "id": 846 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Катастрофа BP стала причиной чего?\nA) лава в парке\nB) спутники в космосе\nC) молния в лесу\nD) топливо в Персидском заливе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.036293841898441315, + "B": 0.0002771069121081382, + "C": 0.00013933809532318264, + "D": 0.9360305070877075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Млекопитающие могут дышать благодаря", + "option_a": "кислородным баллонам", + "option_b": "вулканам", + "option_c": "радугам", + "option_d": "органам с ветвящейся структурой" + }, + "outputs": "D", + "meta": { + "id": 796 + } + }, + "prompt": "<|im_start|>user\nМлекопитающие могут дышать благодаря\nA) кислородным баллонам\nB) вулканам\nC) радугам\nD) органам с ветвящейся структурой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.023275751620531082, + "B": 0.7707870602607727, + "C": 0.055835627019405365, + "D": 0.06327005475759506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Резина может защитить от", + "option_a": "холода", + "option_b": "ожогов", + "option_c": "электричества", + "option_d": "огня" + }, + "outputs": "C", + "meta": { + "id": 131 + } + }, + "prompt": "<|im_start|>user\nРезина может защитить от\nA. холода\nB. ожогов\nC. электричества\nD. огня\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0005364746903069317, + "B": 0.0008844972471706569, + "C": 0.9699689745903015, + "D": 0.0030871988274157047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для того, чтобы животное впадало в спячку, оно должно принадлежать к тому виду, который", + "option_a": "находится в космосе", + "option_b": "делает пирожные", + "option_c": "имеет соответствующий инстинкт", + "option_d": "ест исключительно бамбук" + }, + "outputs": "C", + "meta": { + "id": 506 + } + }, + "prompt": "<|im_start|>user\nДля того, чтобы животное впадало в спячку, оно должно принадлежать к тому виду, который\nA) находится в космосе\nB) делает пирожные\nC) имеет соответствующий инстинкт\nD) ест исключительно бамбук\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09923335164785385, + "B": 0.8308706283569336, + "C": 0.004940537270158529, + "D": 0.009230139665305614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет более доступно в районе, где часто идет дождь?", + "option_a": "грязь", + "option_b": "вода", + "option_c": "воздух", + "option_d": "огонь" + }, + "outputs": "B", + "meta": { + "id": 942 + } + }, + "prompt": "<|im_start|>user\nЧто будет более доступно в районе, где часто идет дождь?\nA. грязь\nB. вода\nC. воздух\nD. огонь\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003949959762394428, + "B": 0.004475891124457121, + "C": 0.9665232300758362, + "D": 0.005747157149016857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не создает загрязнения?", + "option_a": "природное топливо, такое как уголь или газ", + "option_b": "здания, которые производят большое количество предметов", + "option_c": "мельницы, которые вырабатывают энергию от ветра", + "option_d": "транспортные приспособления с четырьмя колесами" + }, + "outputs": "C", + "meta": { + "id": 2099 + } + }, + "prompt": "<|im_start|>user\nЧто не создает загрязнения?\nA. природное топливо, такое как уголь или газ\nB. здания, которые производят большое количество предметов\nC. мельницы, которые вырабатывают энергию от ветра\nD. транспортные приспособления с четырьмя колесами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20423132181167603, + "B": 0.014794467017054558, + "C": 0.011521942913532257, + "D": 0.7128373384475708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером смеси является", + "option_a": "свет", + "option_b": "молекула", + "option_c": "золото.", + "option_d": "терракота" + }, + "outputs": "D", + "meta": { + "id": 258 + } + }, + "prompt": "<|im_start|>user\nПримером смеси является\nA. свет\nB. молекула\nC. золото.\nD. терракота\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.0038267283234745264, + "B": 0.9363695383071899, + "C": 0.0012423567241057754, + "D": 0.0023210281506180763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда продуценты (организмы-производители) создают пищу в экосистеме, часть питательных веществ - это", + "option_a": "цветы", + "option_b": "энергия", + "option_c": "трава", + "option_d": "углеводы" + }, + "outputs": "D", + "meta": { + "id": 2041 + } + }, + "prompt": "<|im_start|>user\nКогда продуценты (организмы-производители) создают пищу в экосистеме, часть питательных веществ - это\nA. цветы\nB. энергия\nC. трава\nD. углеводы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0016326572513207793, + "B": 5.5866454204078764e-05, + "C": 9.210821008309722e-05, + "D": 0.9583459496498108 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из предложенных пунктов представляет собой пример измерения?", + "option_a": "рыбак, использующий удочку", + "option_b": "собака, использующая палку", + "option_c": "кошка, играющая с мышью", + "option_d": "бегун, использующий шагомер" + }, + "outputs": "D", + "meta": { + "id": 1738 + } + }, + "prompt": "<|im_start|>user\nКакой из предложенных пунктов представляет собой пример измерения?\nA) рыбак, использующий удочку\nB) собака, использующая палку\nC) кошка, играющая с мышью\nD) бегун, использующий шагомер\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0023232761304825544, + "B": 0.9372764229774475, + "C": 0.0004574802005663514, + "D": 0.0007542572566308081 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У Никиты была новая игрушка. На ней было много кнопок. На одной из кнопок было изображение коровы, и каждый раз, когда Бобби нажимал эту кнопку, игрушка издавала мычание. Это потому, что", + "option_a": "цепь размыкалась, когда он нажимал кнопку", + "option_b": "цепь замыкалась, когда была нажата кнопка", + "option_c": "корова находилась внутри игрушки", + "option_d": "его новая игрушка была одержима" + }, + "outputs": "B", + "meta": { + "id": 2235 + } + }, + "prompt": "<|im_start|>user\nУ Никиты была новая игрушка. На ней было много кнопок. На одной из кнопок было изображение коровы, и каждый раз, когда Бобби нажимал эту кнопку, игрушка издавала мычание. Это потому, что\nA) цепь размыкалась, когда он нажимал кнопку\nB) цепь замыкалась, когда была нажата кнопка\nC) корова находилась внутри игрушки\nD) его новая игрушка была одержима\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.0038423931691795588, + "B": 0.9402025938034058, + "C": 0.0002456359507050365, + "D": 0.005590648856014013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если объект находится рядом с планетой, а планета вращается вокруг чего-то другого, то объект, вращающийся вокруг планеты, скорее всего,", + "option_a": "уголь", + "option_b": "Солнце", + "option_c": "пчелы", + "option_d": "Луна" + }, + "outputs": "D", + "meta": { + "id": 1980 + } + }, + "prompt": "<|im_start|>user\nЕсли объект находится рядом с планетой, а планета вращается вокруг чего-то другого, то объект, вращающийся вокруг планеты, скорее всего,\nA) уголь\nB) Солнце\nC) пчелы\nD) Луна\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.007289999630302191, + "B": 0.0012668120907619596, + "C": 0.954801619052887, + "D": 0.005677457433193922 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земная кора состоит из разных видов", + "option_a": "муки", + "option_b": "выпечки", + "option_c": "камня", + "option_d": "звездочек" + }, + "outputs": "C", + "meta": { + "id": 806 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земная кора состоит из разных видов\nA. муки\nB. выпечки\nC. камня\nD. звездочек\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003054301254451275, + "B": 0.005035691428929567, + "C": 0.959632933139801, + "D": 0.0008750719716772437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вы выходите из темного кинотеатра, мир", + "option_a": "выглядит темнее", + "option_b": "выглядит так же", + "option_c": "выглядит ярче", + "option_d": "выглядит более французским" + }, + "outputs": "C", + "meta": { + "id": 530 + } + }, + "prompt": "<|im_start|>user\nКогда вы выходите из темного кинотеатра, мир\nA. выглядит темнее\nB. выглядит так же\nC. выглядит ярче\nD. выглядит более французским\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.018992595374584198, + "B": 0.00480208033695817, + "C": 0.0008344764355570078, + "D": 0.9151145219802856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У лигров меньше шансов на процветание, когда", + "option_a": "есть большие стада антилоп", + "option_b": "есть легкодоступная добыча", + "option_c": "в регионе изобилие пищи", + "option_d": "наступает голод" + }, + "outputs": "D", + "meta": { + "id": 1897 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У лигров меньше шансов на процветание, когда\nA. есть большие стада антилоп\nB. есть легкодоступная добыча\nC. в регионе изобилие пищи\nD. наступает голод\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005605007987469435, + "B": 0.9426174163818359, + "C": 0.0006694227340631187, + "D": 0.006351306103169918 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы рожают детенышей еще в яйце. Млекопитающие, однако, рожают своих детенышей", + "option_a": "в рубашке", + "option_b": "уже живыми", + "option_c": "мертвыми", + "option_d": "старыми" + }, + "outputs": "B", + "meta": { + "id": 708 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Птицы рожают детенышей еще в яйце. Млекопитающие, однако, рожают своих детенышей\nA. в рубашке\nB. уже живыми\nC. мертвыми\nD. старыми\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8717253804206848, + "B": 0.0024484973400831223, + "C": 0.00048213766422122717, + "D": 0.07155557721853256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для измерения длины чего используется линейка?", + "option_a": "расстояние между городами", + "option_b": "воздух", + "option_c": "мотивация", + "option_d": "личные вещи" + }, + "outputs": "D", + "meta": { + "id": 1483 + } + }, + "prompt": "<|im_start|>user\nДля измерения длины чего используется линейка?\nA. расстояние между городами\nB. воздух\nC. мотивация\nD. личные вещи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7638869881629944, + "B": 0.08051308989524841, + "C": 0.012347082607448101, + "D": 0.01796489953994751 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно увидеть на одиночном шесте, на котором используется шкив?", + "option_a": "национальную символику", + "option_b": "красные карточки", + "option_c": "рубашки", + "option_d": "нижнее белье" + }, + "outputs": "A", + "meta": { + "id": 2290 + } + }, + "prompt": "<|im_start|>user\nЧто можно увидеть на одиночном шесте, на котором используется шкив?\nA. национальную символику\nB. красные карточки\nC. рубашки\nD. нижнее белье\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1773342490196228, + "B": 0.02719508856534958, + "C": 0.7013705372810364, + "D": 0.012846050783991814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как поднять массивные вещи очень высоко?", + "option_a": "с помощью воздушного змея с прикрепленной тетивой", + "option_b": "с помощью ткани, натянутой на вершины шестов", + "option_c": "с помощью верёвки, закреплённой наверху и спущенной вниз через блок", + "option_d": "с помощью флагштока, наклоненного вниз" + }, + "outputs": "C", + "meta": { + "id": 2251 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как поднять массивные вещи очень высоко?\nA) с помощью воздушного змея с прикрепленной тетивой\nB) с помощью ткани, натянутой на вершины шестов\nC) с помощью верёвки, закреплённой наверху и спущенной вниз через блок\nD) с помощью флагштока, наклоненного вниз\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5997183918952942, + "B": 0.009693545289337635, + "C": 0.004578906111419201, + "D": 0.2832869291305542 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Блестящие предметы могут отражать свет, поэтому все они будут блестеть в темноте, кроме", + "option_a": "гвоздя", + "option_b": "кольца", + "option_c": "конфетти", + "option_d": "розетки" + }, + "outputs": "D", + "meta": { + "id": 2181 + } + }, + "prompt": "<|im_start|>user\nБлестящие предметы могут отражать свет, поэтому все они будут блестеть в темноте, кроме\nA) гвоздя\nB) кольца\nC) конфетти\nD) розетки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003690111916512251, + "B": 0.902940571308136, + "C": 0.01003076508641243, + "D": 0.0010572347091510892 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Летучие мыши охотятся с помощью эхолокации, потому что", + "option_a": "летучие мыши могут слышать только эхо", + "option_b": "их щебетание отражается обратно от встречных объектов", + "option_c": "эхо - это форма звука", + "option_d": "им нравится слушать эхо" + }, + "outputs": "B", + "meta": { + "id": 561 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Летучие мыши охотятся с помощью эхолокации, потому что\nA) летучие мыши могут слышать только эхо\nB) их щебетание отражается обратно от встречных объектов\nC) эхо - это форма звука\nD) им нравится слушать эхо\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.14501997828483582, + "B": 0.06045331805944443, + "C": 0.14501997828483582, + "D": 0.5735651254653931 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где зимой бывает август?", + "option_a": "Зимбабве", + "option_b": "Китай", + "option_c": "Сибирь", + "option_d": "Исландия" + }, + "outputs": "A", + "meta": { + "id": 2052 + } + }, + "prompt": "<|im_start|>user\nГде зимой бывает август?\nA. Зимбабве\nB. Китай\nC. Сибирь\nD. Исландия\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002118553500622511, + "B": 0.0008831445011310279, + "C": 0.9684855341911316, + "D": 0.002400635741651058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Химическая реакция может быть вызвана", + "option_a": "насыпанием соды в молоко", + "option_b": "наливанием уксуса в миску", + "option_c": "комбинированием раствора соды и уксуса", + "option_d": "при рассыпании пищевой соды из коробки" + }, + "outputs": "C", + "meta": { + "id": 1629 + } + }, + "prompt": "<|im_start|>user\nХимическая реакция может быть вызвана\nA. насыпанием соды в молоко\nB. наливанием уксуса в миску\nC. комбинированием раствора соды и уксуса\nD. при рассыпании пищевой соды из коробки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006082051550038159, + "B": 0.00041801290353760123, + "C": 0.9704472422599792, + "D": 0.0008849333389662206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Радиатор - это то, что может", + "option_a": "очищать воду из туалета", + "option_b": "запускать ракету на Луну", + "option_c": "поддерживать комфорт в комнате", + "option_d": "фильтровать воду из-под крана" + }, + "outputs": "C", + "meta": { + "id": 1305 + } + }, + "prompt": "<|im_start|>user\nРадиатор - это то, что может\nA) очищать воду из туалета\nB) запускать ракету на Луну\nC) поддерживать комфорт в комнате\nD) фильтровать воду из-под крана\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003098244545981288, + "B": 0.0003700325614772737, + "C": 0.9734395146369934, + "D": 0.00032655257382430136 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звезды появляются в разных частях неба в разное время года, из-за чего?", + "option_a": "Вращение Солнца", + "option_b": "Изменение погоды", + "option_c": "Вращение Земли", + "option_d": "Изменение времени" + }, + "outputs": "C", + "meta": { + "id": 1148 + } + }, + "prompt": "<|im_start|>user\nЗвезды появляются в разных частях неба в разное время года, из-за чего?\nA. Вращение Солнца\nB. Изменение погоды\nC. Вращение Земли\nD. Изменение времени\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06291629374027252, + "B": 0.014038522727787495, + "C": 0.01093321293592453, + "D": 0.868532657623291 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что представляет собой оригинальная форма того, что движет большинством автомобилей?", + "option_a": "банка с водой", + "option_b": "большой дуб", + "option_c": "большая речная плотина", + "option_d": "месторождение нефти" + }, + "outputs": "D", + "meta": { + "id": 2211 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что представляет собой оригинальная форма того, что движет большинством автомобилей?\nA. банка с водой\nB. большой дуб\nC. большая речная плотина\nD. месторождение нефти\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4091798663139343, + "B": 0.17057155072689056, + "C": 0.13284125924110413, + "D": 0.19328288733959198 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, будет собирать водяной пар из воздуха на сторонах своей емкости?", + "option_a": "теплый песок", + "option_b": "солнечный свет", + "option_c": "горячий напиток", + "option_d": "холодный напиток" + }, + "outputs": "D", + "meta": { + "id": 2035 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, будет собирать водяной пар из воздуха на сторонах своей емкости?\nA. теплый песок\nB. солнечный свет\nC. горячий напиток\nD. холодный напиток\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0023957770317792892, + "B": 0.0008813570602796972, + "C": 0.0011316848685964942, + "D": 0.9665253758430481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что в первую очередь движет гидрологическим циклом от осадков через испарение к ​​образованию облаков?", + "option_a": "преследующий дворецкий, который упирается в кнопку звонка", + "option_b": "то, насколько загрязнена одежда", + "option_c": "энергия пистолета", + "option_d": "энергия центральной звезды Солнечной системы" + }, + "outputs": "D", + "meta": { + "id": 1581 + } + }, + "prompt": "<|im_start|>user\nЧто в первую очередь движет гидрологическим циклом от осадков через испарение к ​​образованию облаков?\nA) преследующий дворецкий, который упирается в кнопку звонка\nB) то, насколько загрязнена одежда\nC) энергия пистолета\nD) энергия центральной звезды Солнечной системы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.08328593522310257, + "B": 0.012772311456501484, + "C": 0.6154044270515442, + "D": 0.2263946682214737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Опунция поглощает питательные вещества из участка", + "option_a": "над ней", + "option_b": "далеко от себя", + "option_c": "рядом с собой", + "option_d": "прямо под собой" + }, + "outputs": "D", + "meta": { + "id": 1177 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Опунция поглощает питательные вещества из участка\nA. над ней\nB. далеко от себя\nC. рядом с собой\nD. прямо под собой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008007858879864216, + "B": 0.010282294824719429, + "C": 0.01695263758301735, + "D": 0.9255825877189636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С помощью металлического кухонного инструмента можно создать из сыра", + "option_a": "молоко", + "option_b": "сыр с плесенью", + "option_c": "плавленый сыр", + "option_d": "маленькие кусочки" + }, + "outputs": "D", + "meta": { + "id": 840 + } + }, + "prompt": "<|im_start|>user\nС помощью металлического кухонного инструмента можно создать из сыра\nA) молоко\nB) сыр с плесенью\nC) плавленый сыр\nD) маленькие кусочки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6137107610702515, + "B": 0.014433094300329685, + "C": 0.006016608793288469, + "D": 0.2898964583873749 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль проезжает, не останавливаясь на заправочной станции, потому что его двигатель", + "option_a": "бензиновый", + "option_b": "дизельный", + "option_c": "угольный", + "option_d": "электрический" + }, + "outputs": "D", + "meta": { + "id": 1096 + } + }, + "prompt": "<|im_start|>user\nАвтомобиль проезжает, не останавливаясь на заправочной станции, потому что его двигатель\nA. бензиновый\nB. дизельный\nC. угольный\nD. электрический\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.028962280601263046, + "B": 0.05410866066813469, + "C": 0.8464019298553467, + "D": 0.028962280601263046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы кто-то выпустил в мир загрязняющее вещество, то это было бы все, кроме", + "option_a": "пластика", + "option_b": "яда", + "option_c": "деревьев", + "option_d": "дыма" + }, + "outputs": "C", + "meta": { + "id": 945 + } + }, + "prompt": "<|im_start|>user\nЕсли бы кто-то выпустил в мир загрязняющее вещество, то это было бы все, кроме\nA) пластика\nB) яда\nC) деревьев\nD) дыма\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8101402521133423, + "B": 0.03141254559159279, + "C": 0.01681392453610897, + "D": 0.007009086664766073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для роста бамбука потребуется следующее:", + "option_a": "свет и грязь", + "option_b": "свет и деньги", + "option_c": "свет и электричество", + "option_d": "масло и вода" + }, + "outputs": "A", + "meta": { + "id": 339 + } + }, + "prompt": "<|im_start|>user\nДля роста бамбука потребуется следующее:\nA) свет и грязь\nB) свет и деньги\nC) свет и электричество\nD) масло и вода\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1207747608423233, + "B": 0.541274905204773, + "C": 0.06464607268571854, + "D": 0.17572623491287231 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Москва серьезно пострадала от урагана в", + "option_a": "2015 г.", + "option_b": "2017 г.", + "option_c": "2012 г.", + "option_d": "2009 г." + }, + "outputs": "B", + "meta": { + "id": 1890 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Москва серьезно пострадала от урагана в\nA. 2015 г.\nB. 2017 г.\nC. 2012 г.\nD. 2009 г.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.000780469854362309, + "B": 0.0010021431371569633, + "C": 0.9698494672775269, + "D": 0.0021215369924902916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Торф образуется из разлагающейся растительности, уплотненной почвой в", + "option_a": "море, географически разделенном с океаном", + "option_b": "чистой пресноводной реке", + "option_c": "естественном болоте или заболоченной реке", + "option_d": "озере, окруженном пустыней" + }, + "outputs": "C", + "meta": { + "id": 448 + } + }, + "prompt": "<|im_start|>user\nТорф образуется из разлагающейся растительности, уплотненной почвой в\nA. море, географически разделенном с океаном\nB. чистой пресноводной реке\nC. естественном болоте или заболоченной реке\nD. озере, окруженном пустыней\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4462897777557373, + "B": 0.02221945859491825, + "C": 0.008174082264304161, + "D": 0.4462897777557373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приложение дополнительной силы к движущемуся составу:", + "option_a": "заставит его продвинуться дальше за то же время", + "option_b": "заставит конструкцию занимать меньше места", + "option_c": "заставит состав пройти меньшее расстояние за то же время", + "option_d": "увеличит массу структуры" + }, + "outputs": "A", + "meta": { + "id": 523 + } + }, + "prompt": "<|im_start|>user\nПриложение дополнительной силы к движущемуся составу:\nA) заставит его продвинуться дальше за то же время\nB) заставит конструкцию занимать меньше места\nC) заставит состав пройти меньшее расстояние за то же время\nD) увеличит массу структуры\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.024387309327721596, + "B": 0.0003941841423511505, + "C": 0.0013758378336206079, + "D": 0.9151270389556885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда микроскоп действует, это", + "option_a": "наблюдение", + "option_b": "включение", + "option_c": "просмотр", + "option_d": "увеличение" + }, + "outputs": "D", + "meta": { + "id": 1167 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда микроскоп действует, это\nA. наблюдение\nB. включение\nC. просмотр\nD. увеличение\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.002637669909745455, + "B": 0.001812842208892107, + "C": 0.5695780515670776, + "D": 0.3914649188518524 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником кинетической энергии?", + "option_a": "Выносливость", + "option_b": "Быстрота", + "option_c": "Скорость", + "option_d": "Движение" + }, + "outputs": "D", + "meta": { + "id": 405 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является источником кинетической энергии?\nA) Выносливость\nB) Быстрота\nC) Скорость\nD) Движение\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0039025875739753246, + "B": 0.0004113297036383301, + "C": 0.00024948405916802585, + "D": 0.9549316763877869 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветок может усматривать весь смысл своей жизни в том, чтобы", + "option_a": "размножать животный мир", + "option_b": "заставлять цвести новые цветы", + "option_c": "кормить пчел и производить мед", + "option_d": "распространяя вокруг свои генетические компоненты" + }, + "outputs": "D", + "meta": { + "id": 1205 + } + }, + "prompt": "<|im_start|>user\nЦветок может усматривать весь смысл своей жизни в том, чтобы\nA. размножать животный мир\nB. заставлять цвести новые цветы\nC. кормить пчел и производить мед\nD. распространяя вокруг свои генетические компоненты\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.019554855301976204, + "B": 0.004363278392702341, + "C": 0.004363278392702341, + "D": 0.9422056674957275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ветер может", + "option_a": "испытывать такие эмоции, как любовь", + "option_b": "иметь ребенка", + "option_c": "воспитывать семью из четырех человек", + "option_d": "превращать статуи в пыль" + }, + "outputs": "D", + "meta": { + "id": 1141 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ветер может\nA. испытывать такие эмоции, как любовь\nB. иметь ребенка\nC. воспитывать семью из четырех человек\nD. превращать статуи в пыль\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.0064275083132088184, + "B": 0.0009856902761384845, + "C": 0.9539268016815186, + "D": 0.00036261521745473146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит с водой в организме, когда активность животных возрастает", + "option_a": "количество воды уменьшается", + "option_b": "количество воды остается прежним", + "option_c": "количество воды увеличивается", + "option_d": "вода затвердевает" + }, + "outputs": "A", + "meta": { + "id": 2117 + } + }, + "prompt": "<|im_start|>user\nЧто происходит с водой в организме, когда активность животных возрастает\nA) количество воды уменьшается\nB) количество воды остается прежним\nC) количество воды увеличивается\nD) вода затвердевает\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008178053423762321, + "B": 0.0014211325906217098, + "C": 0.00016973009041976184, + "D": 0.9452545046806335 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Койоты замечают, что их территория становится все более и более сухой. Это означает, что для того, чтобы должным образом восстанавливать баланс жидкости в организме, койотам необходимо", + "option_a": "смягчать воду", + "option_b": "увлажнять свой мех", + "option_c": "мигрировать для высыхания", + "option_d": "мигрировать на поиски воды" + }, + "outputs": "D", + "meta": { + "id": 1162 + } + }, + "prompt": "<|im_start|>user\nКойоты замечают, что их территория становится все более и более сухой. Это означает, что для того, чтобы должным образом восстанавливать баланс жидкости в организме, койотам необходимо\nA) смягчать воду\nB) увлажнять свой мех\nC) мигрировать для высыхания\nD) мигрировать на поиски воды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9045685529708862, + "B": 0.008868078701198101, + "C": 0.0010591408936306834, + "D": 0.005378761328756809 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример окаменелости - кости какого животного?", + "option_a": "вымершего", + "option_b": "живого", + "option_c": "запрограммированного", + "option_d": "игрушечного" + }, + "outputs": "A", + "meta": { + "id": 862 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример окаменелости - кости какого животного?\nA. вымершего\nB. живого\nC. запрограммированного\nD. игрушечного\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.003444674890488386, + "B": 0.010610345751047134, + "C": 0.9551128149032593, + "D": 0.008263344876468182 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скрепку часто делают из", + "option_a": "бумаги", + "option_b": "дерева", + "option_c": "пенополистирола", + "option_d": "кобальта" + }, + "outputs": "D", + "meta": { + "id": 583 + } + }, + "prompt": "<|im_start|>user\nСкрепку часто делают из\nA. бумаги\nB. дерева\nC. пенополистирола\nD. кобальта\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.002340013859793544, + "B": 0.009254934266209602, + "C": 0.944028913974762, + "D": 0.003004637314006686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Производители в пищевой цепи", + "option_a": "разлагают организмы", + "option_b": "полагаются на хищников", + "option_c": "борются за выживание", + "option_d": "самодостаточны" + }, + "outputs": "D", + "meta": { + "id": 916 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Производители в пищевой цепи\nA) разлагают организмы\nB) полагаются на хищников\nC) борются за выживание\nD) самодостаточны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5502415895462036, + "B": 0.00044279758003540337, + "C": 0.00028589158318936825, + "D": 0.37817516922950745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дождь льет на дорогу ночью, а утром замерзает, так что же происходит с дорогой?", + "option_a": "начинает крошиться", + "option_b": "начинает раздуваться", + "option_c": "начинает порастать травой", + "option_d": "начинает трескаться" + }, + "outputs": "D", + "meta": { + "id": 1706 + } + }, + "prompt": "<|im_start|>user\nДождь льет на дорогу ночью, а утром замерзает, так что же происходит с дорогой?\nA. начинает крошиться\nB. начинает раздуваться\nC. начинает порастать травой\nD. начинает трескаться\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.28880077600479126, + "B": 0.4761519432067871, + "C": 0.026862656697630882, + "D": 0.12039006501436234 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда сахар добавляется в воду, он смешивается, например, с каким напитком?", + "option_a": "молоко", + "option_b": "сок", + "option_c": "лимонад", + "option_d": "кисель" + }, + "outputs": "C", + "meta": { + "id": 1914 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда сахар добавляется в воду, он смешивается, например, с каким напитком?\nA. молоко\nB. сок\nC. лимонад\nD. кисель\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.034612324088811874, + "B": 0.8926635980606079, + "C": 0.0013420653995126486, + "D": 0.0019526936812326312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На мышь охотится большая рогатая сова. Сова внимательно наблюдает за мышью, и мышь не подозревает, что на нее охотятся. Мышь не может определить, где находится сова, потому что", + "option_a": "сова невидима", + "option_b": "сова сливается с фоном", + "option_c": "мышь слепа", + "option_d": "мышь не обращает внимания" + }, + "outputs": "B", + "meta": { + "id": 2102 + } + }, + "prompt": "<|im_start|>user\nНа мышь охотится большая рогатая сова. Сова внимательно наблюдает за мышью, и мышь не подозревает, что на нее охотятся. Мышь не может определить, где находится сова, потому что\nA) сова невидима\nB) сова сливается с фоном\nC) мышь слепа\nD) мышь не обращает внимания\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014499544631689787, + "B": 0.00030392699409276247, + "C": 0.00023669858637731522, + "D": 0.9644250869750977 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если улитку нагревают до точки ожога, улитка", + "option_a": "грустит", + "option_b": "получает энергию", + "option_c": "голодна", + "option_d": "испытывает боль и дискомфорт" + }, + "outputs": "D", + "meta": { + "id": 233 + } + }, + "prompt": "<|im_start|>user\nЕсли улитку нагревают до точки ожога, улитка\nA. грустит\nB. получает энергию\nC. голодна\nD. испытывает боль и дискомфорт\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002361082471907139, + "B": 0.0018388128373771906, + "C": 0.9525285959243774, + "D": 0.0009842455619946122 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчела может укусить вас только раз своим", + "option_a": "ядовитым мешком", + "option_b": "ножом", + "option_c": "жалом", + "option_d": "копьем" + }, + "outputs": "C", + "meta": { + "id": 961 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пчела может укусить вас только раз своим\nA. ядовитым мешком\nB. ножом\nC. жалом\nD. копьем\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0006657021003775299, + "B": 0.9373783469200134, + "C": 0.00031445539207197726, + "D": 0.0020505068823695183 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Овощи содержат много питательных веществ для", + "option_a": "кошек", + "option_b": "людей", + "option_c": "собак", + "option_d": "змей" + }, + "outputs": "B", + "meta": { + "id": 374 + } + }, + "prompt": "<|im_start|>user\nОвощи содержат много питательных веществ для\nA) кошек\nB) людей\nC) собак\nD) змей\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 55, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0013023982755839825, + "B": 0.0003292978508397937, + "C": 0.9816230535507202, + "D": 0.0004791255632881075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Обезьяна хватает банан, чтобы", + "option_a": "построить убежище", + "option_b": "найти помощника", + "option_c": "получить питательные вещества", + "option_d": "поразить врагов" + }, + "outputs": "C", + "meta": { + "id": 580 + } + }, + "prompt": "<|im_start|>user\nОбезьяна хватает банан, чтобы\nA. построить убежище\nB. найти помощника\nC. получить питательные вещества\nD. поразить врагов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0002834447077475488, + "B": 0.9574387073516846, + "C": 0.00036395021015778184, + "D": 0.001121045439504087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сосны будут продолжать расти, что делает их соответствующим типом ресурса -", + "option_a": "токсичным", + "option_b": "возобновляемым", + "option_c": "находящимся под угрозой исчезновения", + "option_d": "невозобновляемым" + }, + "outputs": "B", + "meta": { + "id": 1475 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сосны будут продолжать расти, что делает их соответствующим типом ресурса -\nA. токсичным\nB. возобновляемым\nC. находящимся под угрозой исчезновения\nD. невозобновляемым\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.011860569939017296, + "B": 0.733787477016449, + "C": 0.060232944786548615, + "D": 0.11252996325492859 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разрыв живого объекта изменяет его", + "option_a": "питание", + "option_b": "биологию", + "option_c": "химический состав", + "option_d": "формирование" + }, + "outputs": "D", + "meta": { + "id": 1696 + } + }, + "prompt": "<|im_start|>user\nРазрыв живого объекта изменяет его\nA) питание\nB) биологию\nC) химический состав\nD) формирование\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9286231994628906, + "B": 0.001582021010108292, + "C": 0.0013961284421384335, + "D": 0.004300378728657961 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы найдете железо в", + "option_a": "в коре нашей планеты", + "option_b": "гелии", + "option_c": "чистой воде", + "option_d": "в облаке" + }, + "outputs": "A", + "meta": { + "id": 95 + } + }, + "prompt": "<|im_start|>user\nВы найдете железо в\nA. в коре нашей планеты\nB. гелии\nC. чистой воде\nD. в облаке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.7791094183921814, + "B": 0.09305135160684586, + "C": 0.016169900074601173, + "D": 0.008655124343931675 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Назначение паутины?", + "option_a": "камуфляж", + "option_b": "получение пропитания", + "option_c": "дом", + "option_d": "украшение" + }, + "outputs": "B", + "meta": { + "id": 1724 + } + }, + "prompt": "<|im_start|>user\nНазначение паутины?\nA) камуфляж\nB) получение пропитания\nC) дом\nD) украшение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.23715655505657196, + "B": 0.013379455544054508, + "C": 0.03636913374066353, + "D": 0.6446582674980164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если волк не может успешно охотиться, волк", + "option_a": "заставит охотиться волчат", + "option_b": "будет охотится больше", + "option_c": "покажет ребра", + "option_d": "вздремнет" + }, + "outputs": "C", + "meta": { + "id": 219 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если волк не может успешно охотиться, волк\nA) заставит охотиться волчат\nB) будет охотится больше\nC) покажет ребра\nD) вздремнет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008314182050526142, + "B": 0.001444788184016943, + "C": 0.0012750211171805859, + "D": 0.9609888195991516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит, если вы экономно расходуете бензин?", + "option_a": "бензин доставит вас на меньшее расстояние, чем обычно", + "option_b": "продажи бензина вырастут", + "option_c": "дорожные расходы вырастут из-за затрат на бензин", + "option_d": "для преодоления расстояния потребуется меньше бензина" + }, + "outputs": "D", + "meta": { + "id": 736 + } + }, + "prompt": "<|im_start|>user\nЧто происходит, если вы экономно расходуете бензин?\nA) бензин доставит вас на меньшее расстояние, чем обычно\nB) продажи бензина вырастут\nC) дорожные расходы вырастут из-за затрат на бензин\nD) для преодоления расстояния потребуется меньше бензина\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009686256758868694, + "B": 0.0016832188703119755, + "C": 0.04919086769223213, + "D": 0.8719289898872375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в солнечный день река течет на юго-запад, то можно с уверенностью предположить, что", + "option_a": "юго-запад - хорошее место", + "option_b": "земля мягкая", + "option_c": "мир в основном состоит из суши", + "option_d": "земля полого наклоняется в этом направлении" + }, + "outputs": "D", + "meta": { + "id": 1867 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если в солнечный день река течет на юго-запад, то можно с уверенностью предположить, что\nA) юго-запад - хорошее место\nB) земля мягкая\nC) мир в основном состоит из суши\nD) земля полого наклоняется в этом направлении\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0007486538379453123, + "B": 0.9303132891654968, + "C": 0.0003536390431690961, + "D": 0.0002754143497440964 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электроэнергия от электростанции зажигает лампочку в доме, потому что", + "option_a": "проводник не нужен", + "option_b": "проводник внутри дома соединен с проводником вне дома", + "option_c": "есть только один провод", + "option_d": "в доме нет проводов" + }, + "outputs": "B", + "meta": { + "id": 1996 + } + }, + "prompt": "<|im_start|>user\nЭлектроэнергия от электростанции зажигает лампочку в доме, потому что\nA) проводник не нужен\nB) проводник внутри дома соединен с проводником вне дома\nC) есть только один провод\nD) в доме нет проводов\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014731330797076225, + "B": 0.00788511335849762, + "C": 0.01300035323947668, + "D": 0.9113951921463013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рядом с каким местом, скорее всего, будет жить муравьед?", + "option_a": "болото", + "option_b": "пчелиный улей", + "option_c": "река", + "option_d": "муравейник" + }, + "outputs": "D", + "meta": { + "id": 305 + } + }, + "prompt": "<|im_start|>user\nРядом с каким местом, скорее всего, будет жить муравьед?\nA) болото\nB) пчелиный улей\nC) река\nD) муравейник\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011746777221560478, + "B": 0.9331620335578918, + "C": 0.001402952359057963, + "D": 0.0020412837620824575 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вынесение на солнце калькулятора с солнечными батареями может", + "option_a": "истощить энергию калькулятора", + "option_b": "позволить калькулятору включиться", + "option_c": "обеспечить короткое замыкание калькулятора", + "option_d": "выключить калькулятор" + }, + "outputs": "B", + "meta": { + "id": 2067 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вынесение на солнце калькулятора с солнечными батареями может\nA. истощить энергию калькулятора\nB. позволить калькулятору включиться\nC. обеспечить короткое замыкание калькулятора\nD. выключить калькулятор\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.021323474124073982, + "B": 0.906697154045105, + "C": 0.0114136328920722, + "D": 0.012933339923620224 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вся вода в Атлантическом океане испарится, Атлантический океан", + "option_a": "станет больше", + "option_b": "перестанет существовать", + "option_c": "станет озером", + "option_d": "станет меньше" + }, + "outputs": "B", + "meta": { + "id": 1658 + } + }, + "prompt": "<|im_start|>user\nЕсли вся вода в Атлантическом океане испарится, Атлантический океан\nA) станет больше\nB) перестанет существовать\nC) станет озером\nD) станет меньше\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.001003990531899035, + "B": 0.0006089509697631001, + "C": 0.9716372489929199, + "D": 0.0004185255093034357 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Времена года меняются из-за земных", + "option_a": "приливов", + "option_b": "размеров", + "option_c": "параметров угла наклона планеты к Солнцу", + "option_d": "погодных катаклизмов" + }, + "outputs": "C", + "meta": { + "id": 1234 + } + }, + "prompt": "<|im_start|>user\nВремена года меняются из-за земных\nA) приливов\nB) размеров\nC) параметров угла наклона планеты к Солнцу\nD) погодных катаклизмов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.13690368831157684, + "B": 0.42169302701950073, + "C": 0.02379029430449009, + "D": 0.3284148573875427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличение позволяет лучше рассмотреть", + "option_a": "кита", + "option_b": "дерево", + "option_c": "медведя", + "option_d": "креветок" + }, + "outputs": "D", + "meta": { + "id": 2265 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Увеличение позволяет лучше рассмотреть\nA) кита\nB) дерево\nC) медведя\nD) креветок\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0030128424987196922, + "B": 0.9466069340705872, + "C": 0.00024730912991799414, + "D": 0.001827381202019751 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хорек, который в панике мечется в траве, скорее всего", + "option_a": "ухаживает за собой", + "option_b": "ускользает от врага", + "option_c": "выигрывает марафон", + "option_d": "откладывает яйца" + }, + "outputs": "B", + "meta": { + "id": 1306 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Хорек, который в панике мечется в траве, скорее всего\nA. ухаживает за собой\nB. ускользает от врага\nC. выигрывает марафон\nD. откладывает яйца\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8120585680007935, + "B": 0.019097788259387016, + "C": 0.011583392508327961, + "D": 0.04581321030855179 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что бы из этого списка ел хищник?", + "option_a": "рыба-капля", + "option_b": "пандусы", + "option_c": "тупица", + "option_d": "секвойи" + }, + "outputs": "A", + "meta": { + "id": 355 + } + }, + "prompt": "<|im_start|>user\nЧто бы из этого списка ел хищник?\nA) рыба-капля\nB) пандусы\nC) тупица\nD) секвойи\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05390780791640282, + "B": 0.8432599902153015, + "C": 0.013630028814077377, + "D": 0.009367773309350014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Эрозия может привести к тому, что источник H2O", + "option_a": "останется в точности таким же", + "option_b": "будет откалиброван от своей предыдущей емкости", + "option_c": "останется статическим с течением времени", + "option_d": "начнет принимать подводных птиц" + }, + "outputs": "B", + "meta": { + "id": 745 + } + }, + "prompt": "<|im_start|>user\nЭрозия может привести к тому, что источник H2O\nA. останется в точности таким же\nB. будет откалиброван от своей предыдущей емкости\nC. останется статическим с течением времени\nD. начнет принимать подводных птиц\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00041612007771618664, + "B": 0.0004715258546639234, + "C": 0.9660528898239136, + "D": 0.0006054510595276952 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вентилятор выталкивает воздух с помощью", + "option_a": "вилок", + "option_b": "соломы", + "option_c": "вращающейся плоской поверхности", + "option_d": "пиломатериалов" + }, + "outputs": "C", + "meta": { + "id": 1963 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вентилятор выталкивает воздух с помощью\nA. вилок\nB. соломы\nC. вращающейся плоской поверхности\nD. пиломатериалов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0028655920177698135, + "B": 0.22764216363430023, + "C": 0.701187252998352, + "D": 0.03491005674004555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что увеличится внутри человека во время интенсивной тренировки?", + "option_a": "Баланс", + "option_b": "Потоотделение", + "option_c": "Пульс", + "option_d": "Сила" + }, + "outputs": "C", + "meta": { + "id": 1906 + } + }, + "prompt": "<|im_start|>user\nЧто увеличится внутри человека во время интенсивной тренировки?\nA) Баланс\nB) Потоотделение\nC) Пульс\nD) Сила\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0008744474034756422, + "B": 0.006461340934038162, + "C": 0.958948016166687, + "D": 0.0030521214939653873 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тостер преобразует электричество в тепло для", + "option_a": "поджаривания кукурузы", + "option_b": "жарки мяса", + "option_c": "подрумянивания хлеба", + "option_d": "поджигания сыра" + }, + "outputs": "C", + "meta": { + "id": 1614 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Тостер преобразует электричество в тепло для\nA. поджаривания кукурузы\nB. жарки мяса\nC. подрумянивания хлеба\nD. поджигания сыра\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010430512018501759, + "B": 0.0018125511705875397, + "C": 0.0018125511705875397, + "D": 0.9389247298240662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет более доступно в районе, когда количество осадков увеличится?", + "option_a": "воздух", + "option_b": "огонь", + "option_c": "грязь", + "option_d": "H2O" + }, + "outputs": "D", + "meta": { + "id": 2081 + } + }, + "prompt": "<|im_start|>user\nЧто будет более доступно в районе, когда количество осадков увеличится?\nA. воздух\nB. огонь\nC. грязь\nD. H2O\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.0026525529101490974, + "B": 0.9443742036819458, + "C": 0.0005918645183555782, + "D": 0.00817043799906969 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если над вашей головой на улице в светлое время суток серый цвет, то, скорее всего, вам понадобится", + "option_a": "бикини", + "option_b": "солнцезащитный крем", + "option_c": "пляжный мяч", + "option_d": "зонт" + }, + "outputs": "D", + "meta": { + "id": 1856 + } + }, + "prompt": "<|im_start|>user\nЕсли над вашей головой на улице в светлое время суток серый цвет, то, скорее всего, вам понадобится\nA) бикини\nB) солнцезащитный крем\nC) пляжный мяч\nD) зонт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.833513617515564, + "B": 0.011889433488249779, + "C": 0.011889433488249779, + "D": 0.047023624181747437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что верно в отношении фонариков?", + "option_a": "их свет тускнеет на расстоянии", + "option_b": "они из чистого кремния", + "option_c": "они служат буквально вечно", + "option_d": "они лучше видны на расстоянии" + }, + "outputs": "A", + "meta": { + "id": 811 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что верно в отношении фонариков?\nA) их свет тускнеет на расстоянии\nB) они из чистого кремния\nC) они служат буквально вечно\nD) они лучше видны на расстоянии\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06233559548854828, + "B": 0.005798113066703081, + "C": 0.008436205796897411, + "D": 0.8605163097381592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда лужа станет меньше и исчезнет быстрее всего?", + "option_a": "в снежный день", + "option_b": "в темный день", + "option_c": "в пасмурный день", + "option_d": "в день без облаков" + }, + "outputs": "D", + "meta": { + "id": 900 + } + }, + "prompt": "<|im_start|>user\nКогда лужа станет меньше и исчезнет быстрее всего?\nA. в снежный день\nB. в темный день\nC. в пасмурный день\nD. в день без облаков\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.20159579813480377, + "B": 0.20159579813480377, + "C": 0.138554647564888, + "D": 0.3766305148601532 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что было бы легче сжечь?", + "option_a": "Серебряная ложка", + "option_b": "Скамейка в парке", + "option_c": "Посуда", + "option_d": "Самолет" + }, + "outputs": "B", + "meta": { + "id": 1711 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что было бы легче сжечь?\nA) Серебряная ложка\nB) Скамейка в парке\nC) Посуда\nD) Самолет\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07327710837125778, + "B": 0.030546443536877632, + "C": 0.057068273425102234, + "D": 0.7878031730651855 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого бы съел аллигатор?", + "option_a": "паук", + "option_b": "краб", + "option_c": "кальмар", + "option_d": "тилапия" + }, + "outputs": "D", + "meta": { + "id": 2031 + } + }, + "prompt": "<|im_start|>user\nКого бы съел аллигатор?\nA) паук\nB) краб\nC) кальмар\nD) тилапия\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6883017420768738, + "B": 0.0046377405524253845, + "C": 0.0036118761636316776, + "D": 0.19720175862312317 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кварц легко найти в", + "option_a": "пустотах", + "option_b": "привязанности", + "option_c": "любви", + "option_d": "специях" + }, + "outputs": "A", + "meta": { + "id": 894 + } + }, + "prompt": "<|im_start|>user\nКварц легко найти в\nA. пустотах\nB. привязанности\nC. любви\nD. специях\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02731521613895893, + "B": 0.25915953516960144, + "C": 0.6216914057731628, + "D": 0.03507343307137489 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещь, которая принимает разные формы, может обретать способность делать это из-за", + "option_a": "изменений уха", + "option_b": "понимания химии", + "option_c": "изменений температуры", + "option_d": "растущих зубов" + }, + "outputs": "C", + "meta": { + "id": 1215 + } + }, + "prompt": "<|im_start|>user\nВещь, которая принимает разные формы, может обретать способность делать это из-за\nA. изменений уха\nB. понимания химии\nC. изменений температуры\nD. растущих зубов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8314849734306335, + "B": 0.0033980889711529016, + "C": 0.0007582161342725158, + "D": 0.011860495433211327 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Молекулы известны наличием", + "option_a": "нейтрального заряда", + "option_b": "положительного заряда", + "option_c": "заряда оптимизма", + "option_d": "отрицательного заряда" + }, + "outputs": "A", + "meta": { + "id": 1282 + } + }, + "prompt": "<|im_start|>user\nМолекулы известны наличием\nA) нейтрального заряда\nB) положительного заряда\nC) заряда оптимизма\nD) отрицательного заряда\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.1555207222700119, + "B": 0.4227491021156311, + "C": 0.12111964821815491, + "D": 0.19969254732131958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Легче заметить что-то маленькое в десяти метрах от вас в безоблачный день, если", + "option_a": "объект представляет собой полированное металлическое кольцо", + "option_b": "объект представляет собой грязный черный объект на черной земле", + "option_c": "объект похоронен на 5 см под землей", + "option_d": "объект представляет собой тусклый зеленый мрамор, лежащий в живой траве" + }, + "outputs": "A", + "meta": { + "id": 737 + } + }, + "prompt": "<|im_start|>user\nЛегче заметить что-то маленькое в десяти метрах от вас в безоблачный день, если\nA. объект представляет собой полированное металлическое кольцо\nB. объект представляет собой грязный черный объект на черной земле\nC. объект похоронен на 5 см под землей\nD. объект представляет собой тусклый зеленый мрамор, лежащий в живой траве\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.0430263988673687, + "B": 0.4625774025917053, + "C": 0.02957158349454403, + "D": 0.40822312235832214 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Продуцент производит собственное", + "option_a": "биение сердца", + "option_b": "гниение", + "option_c": "ритм", + "option_d": "питание" + }, + "outputs": "D", + "meta": { + "id": 1051 + } + }, + "prompt": "<|im_start|>user\nПродуцент производит собственное\nA. биение сердца\nB. гниение\nC. ритм\nD. питание\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03995482623577118, + "B": 0.8025141358375549, + "C": 0.01665564812719822, + "D": 0.0658743679523468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда наступишь в грязь, она становится", + "option_a": "круглой", + "option_b": "рифленой", + "option_c": "ровной", + "option_d": "складчатой" + }, + "outputs": "B", + "meta": { + "id": 854 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда наступишь в грязь, она становится\nA. круглой\nB. рифленой\nC. ровной\nD. складчатой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.013350519351661205, + "B": 0.00809749960899353, + "C": 0.9359437227249146, + "D": 0.003375540254637599 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Употребление теплой жидкости из банки", + "option_a": "Удалит многолетнюю ржавчину с ножа", + "option_b": "Очистит душу для Бога", + "option_c": "успокоит боль в горле", + "option_d": "Излечит слепоту у ребенка" + }, + "outputs": "C", + "meta": { + "id": 2155 + } + }, + "prompt": "<|im_start|>user\nУпотребление теплой жидкости из банки\nA) Удалит многолетнюю ржавчину с ножа\nB) Очистит душу для Бога\nC) успокоит боль в горле\nD) Излечит слепоту у ребенка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00387226277962327, + "B": 0.9475114941596985, + "C": 0.00028050580294802785, + "D": 0.0007624937570653856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что еще будет увеличиваться по мере увеличения площади водоема?", + "option_a": "испарение молока", + "option_b": "испарение воды", + "option_c": "угольный бассейн", + "option_d": "площадь возгорания" + }, + "outputs": "B", + "meta": { + "id": 1484 + } + }, + "prompt": "<|im_start|>user\nЧто еще будет увеличиваться по мере увеличения площади водоема?\nA) испарение молока\nB) испарение воды\nC) угольный бассейн\nD) площадь возгорания\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.055184584110975266, + "B": 0.8632321953773499, + "C": 0.0027474788948893547, + "D": 0.023004358634352684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С уменьшением размеров Антарктиды Фиджи скоро", + "option_a": "станет лучше для рыбалки", + "option_b": "исчезнет", + "option_c": "станет богаче", + "option_d": "станет холоднее" + }, + "outputs": "B", + "meta": { + "id": 247 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: С уменьшением размеров Антарктиды Фиджи скоро\nA. станет лучше для рыбалки\nB. исчезнет\nC. станет богаче\nD. станет холоднее\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.938027024269104, + "B": 0.003833502298220992, + "C": 0.00031467300141230226, + "D": 0.0023251366801559925 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда Земля затеняет часть Луны ночью, это называется", + "option_a": "фазы Луны", + "option_b": "лунная орбита", + "option_c": "погода на Луне", + "option_d": "невезение" + }, + "outputs": "A", + "meta": { + "id": 739 + } + }, + "prompt": "<|im_start|>user\nКогда Земля затеняет часть Луны ночью, это называется\nA. фазы Луны\nB. лунная орбита\nC. погода на Луне\nD. невезение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7814251184463501, + "B": 0.04408499225974083, + "C": 0.04995483532547951, + "D": 0.00596625404432416 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему зебры предпочитают жить там, где они живут?", + "option_a": "много еды", + "option_b": "прекрасный вид", + "option_c": "удобное расположение", + "option_d": "хорошая парковка" + }, + "outputs": "A", + "meta": { + "id": 627 + } + }, + "prompt": "<|im_start|>user\nПочему зебры предпочитают жить там, где они живут?\nA) много еды\nB) прекрасный вид\nC) удобное расположение\nD) хорошая парковка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.050750259310007095, + "B": 0.00999331846833229, + "C": 0.003676336258649826, + "D": 0.8995698094367981 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что покрывает более шестидесяти девяти процентов поверхности третьего «камня» от солнца?", + "option_a": "Пустыня", + "option_b": "Города", + "option_c": "Лес", + "option_d": "Океан" + }, + "outputs": "D", + "meta": { + "id": 180 + } + }, + "prompt": "<|im_start|>user\nЧто покрывает более шестидесяти девяти процентов поверхности третьего «камня» от солнца?\nA. Пустыня\nB. Города\nC. Лес\nD. Океан\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.12470342218875885, + "B": 0.01314364280551672, + "C": 0.0015697843628004193, + "D": 0.8131684064865112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для приготовления пищи требуется", + "option_a": "более высокая температура", + "option_b": "печь, которую нужно использовать", + "option_c": "печь, которую нужно чинить", + "option_d": "разводить огонь" + }, + "outputs": "A", + "meta": { + "id": 1275 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для приготовления пищи требуется\nA. более высокая температура\nB. печь, которую нужно использовать\nC. печь, которую нужно чинить\nD. разводить огонь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.0733465924859047, + "B": 0.19937670230865479, + "C": 0.06472813338041306, + "D": 0.6141234636306763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вести велосипед могут", + "option_a": "обладатели больших пальцев", + "option_b": "собаки", + "option_c": "дельфины", + "option_d": "эму" + }, + "outputs": "A", + "meta": { + "id": 1531 + } + }, + "prompt": "<|im_start|>user\nВести велосипед могут\nA. обладатели больших пальцев\nB. собаки\nC. дельфины\nD. эму\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03143659979104996, + "B": 0.0033133933320641518, + "C": 0.0005757813923992217, + "D": 0.9187121391296387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что показывает, что из-за наклона Земли вокруг своей оси одна сторона Земли получает меньше энергии от Солнца, чем другая?", + "option_a": "в некоторых странах теплее, чем в других", + "option_b": "снег на Северном полюсе вместо Южного", + "option_c": "одинаковые по всему миру сезонные изменения температур", + "option_d": "когда в России лето, в Австралии зима, и наоборот" + }, + "outputs": "D", + "meta": { + "id": 418 + } + }, + "prompt": "<|im_start|>user\nЧто показывает, что из-за наклона Земли вокруг своей оси одна сторона Земли получает меньше энергии от Солнца, чем другая?\nA. в некоторых странах теплее, чем в других\nB. снег на Северном полюсе вместо Южного\nC. одинаковые по всему миру сезонные изменения температур\nD. когда в России лето, в Австралии зима, и наоборот\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.026143060997128487, + "B": 0.002145953243598342, + "C": 0.3184877038002014, + "D": 0.5950133204460144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В зоопарке вольер белого медведя будет содержать", + "option_a": "соль", + "option_b": "кактусы", + "option_c": "бассейн", + "option_d": "песок" + }, + "outputs": "C", + "meta": { + "id": 1718 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В зоопарке вольер белого медведя будет содержать\nA) соль\nB) кактусы\nC) бассейн\nD) песок\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009056450799107552, + "B": 0.007992289960384369, + "C": 0.9237830638885498, + "D": 0.019172504544258118 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правильной едой для енота может быть", + "option_a": "французский грузовик", + "option_b": "деревянный указател", + "option_c": "старое мясо по-французски", + "option_d": "мягкая галька" + }, + "outputs": "C", + "meta": { + "id": 1227 + } + }, + "prompt": "<|im_start|>user\nПравильной едой для енота может быть\nA) французский грузовик\nB) деревянный указател\nC) старое мясо по-французски\nD) мягкая галька\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.25041070580482483, + "B": 0.22098666429519653, + "C": 0.2837525010108948, + "D": 0.15188176929950714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что или кого вам трудно будет разглядеть в пасмурный день?", + "option_a": "ближайую к нашей планете звезду", + "option_b": "экран смартфона", + "option_c": "учителя в классе", + "option_d": "бирку с именем официантки" + }, + "outputs": "A", + "meta": { + "id": 1436 + } + }, + "prompt": "<|im_start|>user\nЧто или кого вам трудно будет разглядеть в пасмурный день?\nA. ближайую к нашей планете звезду\nB. экран смартфона\nC. учителя в классе\nD. бирку с именем официантки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014530896442010999, + "B": 0.00013515840691979975, + "C": 0.00017354681040160358, + "D": 0.9665104150772095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие питательные вещества необходимы для роста и восстановления после болезней и травм?", + "option_a": "металлический сор", + "option_b": "старые компьютеры", + "option_c": "ведро грязи", + "option_d": "бульон из птицы" + }, + "outputs": "D", + "meta": { + "id": 1145 + } + }, + "prompt": "<|im_start|>user\nКакие питательные вещества необходимы для роста и восстановления после болезней и травм?\nA) металлический сор\nB) старые компьютеры\nC) ведро грязи\nD) бульон из птицы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.21867194771766663, + "B": 0.46292850375175476, + "C": 0.029594028368592262, + "D": 0.19297730922698975 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кусок пиццы помещается в коробку и приобретает это качество, когда энергия проводится по коробке в еду:", + "option_a": "поджаренный", + "option_b": "мясной", + "option_c": "замороженный", + "option_d": "холодный" + }, + "outputs": "A", + "meta": { + "id": 273 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кусок пиццы помещается в коробку и приобретает это качество, когда энергия проводится по коробке в еду:\nA. поджаренный\nB. мясной\nC. замороженный\nD. холодный\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.019021721556782722, + "B": 0.021554436534643173, + "C": 0.9165179133415222, + "D": 0.011537257581949234 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что использует невозобновляемый ресурс?", + "option_a": "колокольчики", + "option_b": "автомобиль на солнечной энергии", + "option_c": "бомбардировщик B52", + "option_d": "велосипед" + }, + "outputs": "C", + "meta": { + "id": 486 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что использует невозобновляемый ресурс?\nA. колокольчики\nB. автомобиль на солнечной энергии\nC. бомбардировщик B52\nD. велосипед\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9265857934951782, + "B": 0.00021363348059821874, + "C": 0.00021363348059821874, + "D": 0.0017887313151732087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Иногда этанол может использоваться как", + "option_a": "топливо", + "option_b": "любовь", + "option_c": "магия", + "option_d": "привязанность" + }, + "outputs": "A", + "meta": { + "id": 320 + } + }, + "prompt": "<|im_start|>user\nИногда этанол может использоваться как\nA. топливо\nB. любовь\nC. магия\nD. привязанность\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04839120805263519, + "B": 0.01571032404899597, + "C": 0.029350750148296356, + "D": 0.857754647731781 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Страдающие от бессонницы менее здоровы, чем другие люди, потому что", + "option_a": "находятся в космосе", + "option_b": "улетают", + "option_c": "слишком много спят", + "option_d": "редко спят" + }, + "outputs": "D", + "meta": { + "id": 1915 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Страдающие от бессонницы менее здоровы, чем другие люди, потому что\nA. находятся в космосе\nB. улетают\nC. слишком много спят\nD. редко спят\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8626351952552795, + "B": 0.0014696025755256414, + "C": 0.03790154680609703, + "D": 0.0018870069179683924 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Камень, который подвергся метаморфозам, потенциально мог испытать это, чтобы добраться до этой стадии", + "option_a": "большие нагрузки", + "option_b": "маленькие мыши", + "option_c": "старые деревья", + "option_d": "насморк" + }, + "outputs": "A", + "meta": { + "id": 761 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Камень, который подвергся метаморфозам, потенциально мог испытать это, чтобы добраться до этой стадии\nA. большие нагрузки\nB. маленькие мыши\nC. старые деревья\nD. насморк\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002537799533456564, + "B": 0.05776004493236542, + "C": 0.9035191535949707, + "D": 0.005372521001845598 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Оленям менее безопасно в лесу, потому что волки", + "option_a": "имеют мех", + "option_b": "воют", + "option_c": "имеют когти", + "option_d": "имеют хвосты" + }, + "outputs": "C", + "meta": { + "id": 500 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Оленям менее безопасно в лесу, потому что волки\nA. имеют мех\nB. воют\nC. имеют когти\nD. имеют хвосты\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.20967526733875275, + "B": 0.3456960618495941, + "C": 0.3456960618495941, + "D": 0.003389085177332163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек разобьет предмет, и тот треснет, это хорошо или плохо?", + "option_a": "для объекта плохо", + "option_b": "можно сказать, объект не подвергался значительному воздействию", + "option_c": "все это верно одновременно", + "option_d": "это всегда положительно для объекта" + }, + "outputs": "A", + "meta": { + "id": 617 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если человек разобьет предмет, и тот треснет, это хорошо или плохо?\nA. для объекта плохо\nB. можно сказать, объект не подвергался значительному воздействию\nC. все это верно одновременно\nD. это всегда положительно для объекта\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0016668676398694515, + "B": 6.463146564783528e-05, + "C": 0.00010655928053893149, + "D": 0.9784269332885742 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда птица подолгу живет в определенном уголке мира, она может стать частью его среды вместе с хищниками и источниками пищи. Как называется этот процесс?", + "option_a": "воспроизводство", + "option_b": "добыча", + "option_c": "хищничество", + "option_d": "адаптация" + }, + "outputs": "D", + "meta": { + "id": 1456 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда птица подолгу живет в определенном уголке мира, она может стать частью его среды вместе с хищниками и источниками пищи. Как называется этот процесс?\nA. воспроизводство\nB. добыча\nC. хищничество\nD. адаптация\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.43543413281440735, + "B": 0.05200519040226936, + "C": 0.003767243353649974, + "D": 0.43543413281440735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Распространенная проблема, связанная с отходами в выделительной системе:", + "option_a": "приближение к отходам", + "option_b": "стремление удержать отходы", + "option_c": "лихорадка", + "option_d": "удаление отходов" + }, + "outputs": "D", + "meta": { + "id": 538 + } + }, + "prompt": "<|im_start|>user\nРаспространенная проблема, связанная с отходами в выделительной системе:\nA) приближение к отходам\nB) стремление удержать отходы\nC) лихорадка\nD) удаление отходов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.014248711988329887, + "B": 0.7779532670974731, + "C": 0.10528452694416046, + "D": 0.0438891239464283 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект был бы идеальным предметом для забивания молотком?", + "option_a": "все это", + "option_b": "металлический гвоздь", + "option_c": "стальной гвоздь", + "option_d": "железный гвоздь" + }, + "outputs": "A", + "meta": { + "id": 1337 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой объект был бы идеальным предметом для забивания молотком?\nA) все это\nB) металлический гвоздь\nC) стальной гвоздь\nD) железный гвоздь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41955870389938354, + "B": 0.030392732471227646, + "C": 0.22457359731197357, + "D": 0.2544752061367035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего легче сделать пирамидку?", + "option_a": "лед", + "option_b": "пар", + "option_c": "вода", + "option_d": "соленая вода" + }, + "outputs": "A", + "meta": { + "id": 1257 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из чего легче сделать пирамидку?\nA. лед\nB. пар\nC. вода\nD. соленая вода\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8869121074676514, + "B": 0.018407272174954414, + "C": 0.006771657150238752, + "D": 0.009852703660726547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет делать температура воздуха с увеличением высоты?", + "option_a": "падать", + "option_b": "расти", + "option_c": "подниматься", + "option_d": "увеличиваться" + }, + "outputs": "A", + "meta": { + "id": 1380 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет делать температура воздуха с увеличением высоты?\nA) падать\nB) расти\nC) подниматься\nD) увеличиваться\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00507625425234437, + "B": 0.002717123366892338, + "C": 0.9673628807067871, + "D": 0.0014543712604790926 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вещь брошена и не поймана, то она", + "option_a": "зависнет", + "option_b": "растворится", + "option_c": "упадет", + "option_d": "сожжет все вокруг" + }, + "outputs": "C", + "meta": { + "id": 812 + } + }, + "prompt": "<|im_start|>user\nЕсли вещь брошена и не поймана, то она\nA) зависнет\nB) растворится\nC) упадет\nD) сожжет все вокруг\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.017696848139166832, + "B": 0.8526819348335266, + "C": 0.042452532798051834, + "D": 0.020053157582879066 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода быстрее превращается в пар на", + "option_a": "Юпитере", + "option_b": "Меркурии", + "option_c": "Земле", + "option_d": "Нептуне" + }, + "outputs": "B", + "meta": { + "id": 1568 + } + }, + "prompt": "<|im_start|>user\nВода быстрее превращается в пар на\nA) Юпитере\nB) Меркурии\nC) Земле\nD) Нептуне\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12597687542438507, + "B": 0.028109241276979446, + "C": 0.14275050163269043, + "D": 0.639763355255127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что тверже?", + "option_a": "Шипучка", + "option_b": "моча", + "option_c": "гелий", + "option_d": "ледяная скульптура" + }, + "outputs": "D", + "meta": { + "id": 1435 + } + }, + "prompt": "<|im_start|>user\nЧто тверже?\nA) Шипучка\nB) моча\nC) гелий\nD) ледяная скульптура\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06186637282371521, + "B": 0.02922360599040985, + "C": 0.09001504629850388, + "D": 0.7536867260932922 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зима в северном полушарии наступает", + "option_a": "на следующий день после 1 мая", + "option_b": "за два дня до 12 апреля", + "option_c": "за день до Рождества", + "option_d": "на следующий день после 30 ноября" + }, + "outputs": "D", + "meta": { + "id": 166 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зима в северном полушарии наступает\nA) на следующий день после 1 мая\nB) за два дня до 12 апреля\nC) за день до Рождества\nD) на следующий день после 30 ноября\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0038462053053081036, + "B": 0.9411354064941406, + "C": 0.0005898346425965428, + "D": 0.0033942642621695995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Термометры", + "option_a": "могут сказать вам, нужен ли вам зонт в этот день", + "option_b": "могут помочь вам решить, сколько слоев одежды надеть перед выходом на улицу", + "option_c": "могут сказать вам, в каком направлении дует ветер", + "option_d": "могут сказать вам, сколько дождя выпало" + }, + "outputs": "B", + "meta": { + "id": 1310 + } + }, + "prompt": "<|im_start|>user\nТермометры\nA. могут сказать вам, нужен ли вам зонт в этот день\nB. могут помочь вам решить, сколько слоев одежды надеть перед выходом на улицу\nC. могут сказать вам, в каком направлении дует ветер\nD. могут сказать вам, сколько дождя выпало\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.006793619599193335, + "B": 0.056882284581661224, + "C": 0.8897886276245117, + "D": 0.004120539408177137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жара плюс влага в океане - хороший рецепт для", + "option_a": "жестоких морских животных", + "option_b": "сильного шторма", + "option_c": "конденсации жидкости", + "option_d": "штиля" + }, + "outputs": "B", + "meta": { + "id": 1253 + } + }, + "prompt": "<|im_start|>user\nЖара плюс влага в океане - хороший рецепт для\nA) жестоких морских животных\nB) сильного шторма\nC) конденсации жидкости\nD) штиля\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01627679541707039, + "B": 0.009872375056147575, + "C": 0.8886828422546387, + "D": 0.0344579741358757 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником тепла может быть", + "option_a": "кубик льда", + "option_b": "вентилятор", + "option_c": "рука приятеля", + "option_d": "снежинка." + }, + "outputs": "C", + "meta": { + "id": 1731 + } + }, + "prompt": "<|im_start|>user\nИсточником тепла может быть\nA. кубик льда\nB. вентилятор\nC. рука приятеля\nD. снежинка.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7318114638328552, + "B": 0.013403595425188541, + "C": 0.0038401943165808916, + "D": 0.18503092229366302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из этих объектов притянет магнит?", + "option_a": "бейсбольный мяч", + "option_b": "губка для мытья посуды", + "option_c": "подушка", + "option_d": "дверная ручка" + }, + "outputs": "D", + "meta": { + "id": 313 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из этих объектов притянет магнит?\nA. бейсбольный мяч\nB. губка для мытья посуды\nC. подушка\nD. дверная ручка\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.06552767008543015, + "B": 0.12242179363965988, + "C": 0.6217092275619507, + "D": 0.13872207701206207 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Эгоцентричные люди больше всего любят", + "option_a": "сопереживание", + "option_b": "отражение в озере", + "option_c": "ставить других на первое место", + "option_d": "думать о других" + }, + "outputs": "B", + "meta": { + "id": 249 + } + }, + "prompt": "<|im_start|>user\nЭгоцентричные люди больше всего любят\nA) сопереживание\nB) отражение в озере\nC) ставить других на первое место\nD) думать о других\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0029718424193561077, + "B": 0.933725118637085, + "C": 0.001093279686756432, + "D": 0.004899739753454924 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если среда обитания, которая поддерживает сама себя, процветает, улучшения все же можно произвести,", + "option_a": "довольно регулярно используя пестициды", + "option_b": "закапывая в землю семена дуба", + "option_c": "разжигая неконтролируемые лесные пожары", + "option_d": "устанавливая мышеловки" + }, + "outputs": "B", + "meta": { + "id": 2115 + } + }, + "prompt": "<|im_start|>user\nЕсли среда обитания, которая поддерживает сама себя, процветает, улучшения все же можно произвести,\nA) довольно регулярно используя пестициды\nB) закапывая в землю семена дуба\nC) разжигая неконтролируемые лесные пожары\nD) устанавливая мышеловки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.16322185099124908, + "B": 0.02503088116645813, + "C": 0.01720345765352249, + "D": 0.7315095663070679 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Двуногое существо, которое регулярно пользуется инструментами, будет иногда с удовольствием жевать", + "option_a": "осколки чайника", + "option_b": "семена подсолнечника", + "option_c": "старые фекалии", + "option_d": "твердые породы дерева" + }, + "outputs": "B", + "meta": { + "id": 1303 + } + }, + "prompt": "<|im_start|>user\nДвуногое существо, которое регулярно пользуется инструментами, будет иногда с удовольствием жевать\nA) осколки чайника\nB) семена подсолнечника\nC) старые фекалии\nD) твердые породы дерева\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.027368998154997826, + "B": 0.0019826036877930164, + "C": 0.011409096419811249, + "D": 0.906336784362793 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жидкости", + "option_a": "легко спутать с газами", + "option_b": "всегда полностью непрозрачны", + "option_c": "не обладают какой-либо пластичностью", + "option_d": "могут образовывать многочисленные смеси" + }, + "outputs": "D", + "meta": { + "id": 1609 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Жидкости\nA) легко спутать с газами\nB) всегда полностью непрозрачны\nC) не обладают какой-либо пластичностью\nD) могут образовывать многочисленные смеси\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9322261214256287, + "B": 0.0009632670553401113, + "C": 0.0005155996768735349, + "D": 0.0029670714866369963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Газ поднимется, когда что с ним произойдет?", + "option_a": "повышение температуры", + "option_b": "охлаждение", + "option_c": "таяние", + "option_d": "замораживание" + }, + "outputs": "A", + "meta": { + "id": 508 + } + }, + "prompt": "<|im_start|>user\nГаз поднимется, когда что с ним произойдет?\nA. повышение температуры\nB. охлаждение\nC. таяние\nD. замораживание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.40144360065460205, + "B": 0.5154637694358826, + "C": 0.001277707051485777, + "D": 0.019986698403954506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда этанол горит, он выбрасывает то, что попадает в озон", + "option_a": "излучение", + "option_b": "CO2", + "option_c": "молния", + "option_d": "азот" + }, + "outputs": "B", + "meta": { + "id": 165 + } + }, + "prompt": "<|im_start|>user\nКогда этанол горит, он выбрасывает то, что попадает в озон\nA. излучение\nB. CO2\nC. молния\nD. азот\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.03477053344249725, + "B": 0.10710079222917557, + "C": 0.09451611340045929, + "D": 0.6983848810195923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетки растений не могут участвовать в фотосинтезе", + "option_a": "в туалете", + "option_b": "в пустыне", + "option_c": "на заднем дворе", + "option_d": "в воде" + }, + "outputs": "A", + "meta": { + "id": 1701 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Клетки растений не могут участвовать в фотосинтезе\nA. в туалете\nB. в пустыне\nC. на заднем дворе\nD. в воде\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21113881468772888, + "B": 0.013497652485966682, + "C": 0.23925162851810455, + "D": 0.44698086380958557 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Моркови очень трудно расти в", + "option_a": "верхнем слое почвы", + "option_b": "подмосковном грунте", + "option_c": "торфе", + "option_d": "бетоне" + }, + "outputs": "D", + "meta": { + "id": 2332 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Моркови очень трудно расти в\nA. верхнем слое почвы\nB. подмосковном грунте\nC. торфе\nD. бетоне\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.924784243106842, + "B": 0.0008432940812781453, + "C": 0.000398343923734501, + "D": 0.0025975287426263094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что присутствует днем, но не ночью?", + "option_a": "солнечный свет", + "option_b": "луна", + "option_c": "облака", + "option_d": "планеты" + }, + "outputs": "A", + "meta": { + "id": 1429 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что присутствует днем, но не ночью?\nA. солнечный свет\nB. луна\nC. облака\nD. планеты\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011904418468475342, + "B": 0.945685088634491, + "C": 0.000671601330395788, + "D": 0.008181779645383358 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы находитесь на Северном полюсе, когда Полярная звезда может быть видна?", + "option_a": "никогда", + "option_b": "круглый год", + "option_c": "3 раза в день", + "option_d": "два месяца в году" + }, + "outputs": "B", + "meta": { + "id": 1339 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы находитесь на Северном полюсе, когда Полярная звезда может быть видна?\nA. никогда\nB. круглый год\nC. 3 раза в день\nD. два месяца в году\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0009802967542782426, + "B": 0.013532578945159912, + "C": 0.9487070441246033, + "D": 0.0009802967542782426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает барометр с атмосферным давлением", + "option_a": "рассеивает его", + "option_b": "сохраняет его", + "option_c": "измеряет его", + "option_d": "уплотняет его" + }, + "outputs": "C", + "meta": { + "id": 1995 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает барометр с атмосферным давлением\nA) рассеивает его\nB) сохраняет его\nC) измеряет его\nD) уплотняет его\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.2736150026321411, + "B": 0.05387798696756363, + "C": 0.21309159696102142, + "D": 0.39810749888420105 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В мае у меня будет черная кошка, что мне не стоит надевать?", + "option_a": "темно-фиолетовое", + "option_b": "темно-серое", + "option_c": "желтое", + "option_d": "черное" + }, + "outputs": "C", + "meta": { + "id": 9 + } + }, + "prompt": "<|im_start|>user\nВ мае у меня будет черная кошка, что мне не стоит надевать?\nA. темно-фиолетовое\nB. темно-серое\nC. желтое\nD. черное\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8221154808998108, + "B": 0.08665032684803009, + "C": 0.002965011401101947, + "D": 0.00203782063908875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мужчина ищет свою собаку в лесу и берет с собой фонарик. В фонарике есть две большие батареи, которые", + "option_a": "обеспечивают свет с помощью проводки", + "option_b": "обеспечивают свет через пластик", + "option_c": "используют свет для нагрева фонарика", + "option_d": ", обеспечивают свет из-за влаги" + }, + "outputs": "A", + "meta": { + "id": 316 + } + }, + "prompt": "<|im_start|>user\nМужчина ищет свою собаку в лесу и берет с собой фонарик. В фонарике есть две большие батареи, которые\nA. обеспечивают свет с помощью проводки\nB. обеспечивают свет через пластик\nC. используют свет для нагрева фонарика\nD. , обеспечивают свет из-за влаги\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00036802238901145756, + "B": 0.0010003885254263878, + "C": 0.9681513905525208, + "D": 0.00041702401358634233 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Система кровообращения переносит кислород из пищеварительной и дыхательной систем к остальной части чего?", + "option_a": "звезды", + "option_b": "пути", + "option_c": "организма", + "option_d": "человечества" + }, + "outputs": "C", + "meta": { + "id": 1498 + } + }, + "prompt": "<|im_start|>user\nСистема кровообращения переносит кислород из пищеварительной и дыхательной систем к остальной части чего?\nA) звезды\nB) пути\nC) организма\nD) человечества\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.15980221331119537, + "B": 0.7161838412284851, + "C": 0.01311736460775137, + "D": 0.019085651263594627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вещь была сорвана с большого объекта и разрушена или сделана намного меньше, даже крохотной, и это делалось в течение многих лет, вероятным виновником был", + "option_a": "инопланетяне", + "option_b": "мысль", + "option_c": "шторм", + "option_d": "пыль" + }, + "outputs": "C", + "meta": { + "id": 2241 + } + }, + "prompt": "<|im_start|>user\nЕсли вещь была сорвана с большого объекта и разрушена или сделана намного меньше, даже крохотной, и это делалось в течение многих лет, вероятным виновником был\nA) инопланетяне\nB) мысль\nC) шторм\nD) пыль\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7474908232688904, + "B": 0.1011618822813034, + "C": 0.010662383399903774, + "D": 0.022572267800569534 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лиса с белым мехом", + "option_a": "полученна с помощью генетики и селекции", + "option_b": "генетически изменена и подверглась жестокому обращению", + "option_c": "- очень чистое животное", + "option_d": "была обесцвечена или промыта" + }, + "outputs": "A", + "meta": { + "id": 2054 + } + }, + "prompt": "<|im_start|>user\nЛиса с белым мехом\nA. полученна с помощью генетики и селекции\nB. генетически изменена и подверглась жестокому обращению\nC. - очень чистое животное\nD. была обесцвечена или промыта\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.37398064136505127, + "B": 0.22683073580265045, + "C": 0.17665594816207886, + "D": 0.09455711394548416 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда палка разбивается о кору дуба, его внутренности на микроскопическом уровне", + "option_a": "кричат", + "option_b": "сотрясаются", + "option_c": "объединяются", + "option_d": "поют" + }, + "outputs": "B", + "meta": { + "id": 239 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда палка разбивается о кору дуба, его внутренности на микроскопическом уровне\nA. кричат\nB. сотрясаются\nC. объединяются\nD. поют\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9050929546356201, + "B": 0.016577355563640594, + "C": 0.0009352304041385651, + "D": 0.005381879396736622 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда деревья вырубают, деревья", + "option_a": "должны быть заменены молодняком, или лесов станет меньше", + "option_b": "без листьев", + "option_c": "крошечные и неактуальные", + "option_d": "становятся все меньше и меньше размером" + }, + "outputs": "A", + "meta": { + "id": 513 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда деревья вырубают, деревья\nA. должны быть заменены молодняком, или лесов станет меньше\nB. без листьев\nC. крошечные и неактуальные\nD. становятся все меньше и меньше размером\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.024248871952295303, + "B": 0.010108434595167637, + "C": 0.9099322557449341, + "D": 0.0166659913957119 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда любые два объекта сталкиваются друг с другом, молекулы на поверхности двух соприкасающихся объектов могут", + "option_a": "гнить", + "option_b": "дымить", + "option_c": "сотрясаться", + "option_d": "замерзнуть" + }, + "outputs": "C", + "meta": { + "id": 1006 + } + }, + "prompt": "<|im_start|>user\nКогда любые два объекта сталкиваются друг с другом, молекулы на поверхности двух соприкасающихся объектов могут\nA. гнить\nB. дымить\nC. сотрясаться\nD. замерзнуть\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003936468157917261, + "B": 0.0003231249866075814, + "C": 8.696791337570176e-05, + "D": 0.9632220268249512 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой ресурс можно назвать возобновляемым?", + "option_a": "Пластик", + "option_b": "Металл", + "option_c": "Бетон", + "option_d": "Дождь" + }, + "outputs": "D", + "meta": { + "id": 2028 + } + }, + "prompt": "<|im_start|>user\nКакой ресурс можно назвать возобновляемым?\nA) Пластик\nB) Металл\nC) Бетон\nD) Дождь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10151439160108566, + "B": 0.8499695658683777, + "C": 0.005054103676229715, + "D": 0.0030654689762741327 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что сохраняет пищу впрок и является зеленым?", + "option_a": "бактерии", + "option_b": "дерево", + "option_c": "вирус", + "option_d": "форель" + }, + "outputs": "B", + "meta": { + "id": 250 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что сохраняет пищу впрок и является зеленым?\nA. бактерии\nB. дерево\nC. вирус\nD. форель\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9063560366630554, + "B": 0.006106979213654995, + "C": 0.001982645830139518, + "D": 0.0037040701135993004 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняет экосистему?", + "option_a": "добыча угля", + "option_b": "скалолазание", + "option_c": "солнечные ванны", + "option_d": "плавание" + }, + "outputs": "A", + "meta": { + "id": 115 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что меняет экосистему?\nA) добыча угля\nB) скалолазание\nC) солнечные ванны\nD) плавание\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06537698209285736, + "B": 0.00023578619584441185, + "C": 8.674090349813923e-05, + "D": 0.9025014042854309 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна вращается вокруг объекта, который вращается вокруг", + "option_a": "Земли", + "option_b": "Луны", + "option_c": "Марса", + "option_d": "Солнца" + }, + "outputs": "D", + "meta": { + "id": 2170 + } + }, + "prompt": "<|im_start|>user\nЛуна вращается вокруг объекта, который вращается вокруг\nA. Земли\nB. Луны\nC. Марса\nD. Солнца\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004062207881361246, + "B": 0.4143564701080322, + "C": 0.002463853918015957, + "D": 0.5320442318916321 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, который долгое время остается без пищи, испытает", + "option_a": "счастье", + "option_b": "потливость", + "option_c": "сытость", + "option_d": "голод" + }, + "outputs": "D", + "meta": { + "id": 2309 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек, который долгое время остается без пищи, испытает\nA. счастье\nB. потливость\nC. сытость\nD. голод\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.0587943010032177, + "B": 0.05188578739762306, + "C": 0.024509111419320107, + "D": 0.8116303086280823 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я оставил статую без воды на 100 лет, а когда вернулся, она стала намного меньше, кто в этом виноват?", + "option_a": "Птицы", + "option_b": "Ветер", + "option_c": "Маленькие тролли", + "option_d": "Муравьи" + }, + "outputs": "B", + "meta": { + "id": 1098 + } + }, + "prompt": "<|im_start|>user\nЯ оставил статую без воды на 100 лет, а когда вернулся, она стала намного меньше, кто в этом виноват?\nA) Птицы\nB) Ветер\nC) Маленькие тролли\nD) Муравьи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7814781665802002, + "B": 0.007661343086510897, + "C": 0.07268878817558289, + "D": 0.03433575481176376 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что испаряется из контейнера при использовании?", + "option_a": "дезодорант-спрей", + "option_b": "крендели", + "option_c": "вода", + "option_d": "корм для собак" + }, + "outputs": "A", + "meta": { + "id": 502 + } + }, + "prompt": "<|im_start|>user\nЧто испаряется из контейнера при использовании?\nA. дезодорант-спрей\nB. крендели\nC. вода\nD. корм для собак\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.035319529473781586, + "B": 0.00421831663697958, + "C": 0.910902738571167, + "D": 0.005416425410658121 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Таяние полярных ледяных шапок", + "option_a": "приведет к увеличению площади поверхности в некоторых областях России", + "option_b": "приведет к появлению большего количества видов животных, бродящих по Земле", + "option_c": "повлечет потерю мест обитания для многих животных", + "option_d": "вызовет рост популяции белых медведей" + }, + "outputs": "C", + "meta": { + "id": 1943 + } + }, + "prompt": "<|im_start|>user\nТаяние полярных ледяных шапок\nA) приведет к увеличению площади поверхности в некоторых областях России\nB) приведет к появлению большего количества видов животных, бродящих по Земле\nC) повлечет потерю мест обитания для многих животных\nD) вызовет рост популяции белых медведей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009162196889519691, + "B": 0.05272480472922325, + "C": 0.23629620671272278, + "D": 0.6423196196556091 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример навыка или усвоенной характеристики:", + "option_a": "плач", + "option_b": "засыпание", + "option_c": "завтрак", + "option_d": "мытье лица" + }, + "outputs": "D", + "meta": { + "id": 877 + } + }, + "prompt": "<|im_start|>user\nПример навыка или усвоенной характеристики:\nA. плач\nB. засыпание\nC. завтрак\nD. мытье лица\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1462327092885971, + "B": 0.2731986939907074, + "C": 0.5104023218154907, + "D": 0.002363631734624505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Львы и зебры живут", + "option_a": "в разных средах", + "option_b": "рядом друг с другом", + "option_c": "в различных средах обитания", + "option_d": "вдали от Земли" + }, + "outputs": "B", + "meta": { + "id": 1671 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Львы и зебры живут\nA) в разных средах\nB) рядом друг с другом\nC) в различных средах обитания\nD) вдали от Земли\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014462717808783054, + "B": 8.159306889865547e-05, + "C": 5.96947647863999e-05, + "D": 0.9619755744934082 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тактильное ощущение - это когда живое существо воспринимает что?", + "option_a": "вид", + "option_b": "запах", + "option_c": "вкус", + "option_d": "контакт" + }, + "outputs": "D", + "meta": { + "id": 1014 + } + }, + "prompt": "<|im_start|>user\nТактильное ощущение - это когда живое существо воспринимает что?\nA) вид\nB) запах\nC) вкус\nD) контакт\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011071617715060711, + "B": 0.04961954802274704, + "C": 0.004073020536452532, + "D": 0.8795275092124939 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животное обычно весит больше всего, если оно съело", + "option_a": "салатную тарелку с едой", + "option_b": "бочку с едой", + "option_c": "обеденную тарелку с едой", + "option_d": "грузовик, полный еды" + }, + "outputs": "D", + "meta": { + "id": 2091 + } + }, + "prompt": "<|im_start|>user\nЖивотное обычно весит больше всего, если оно съело\nA) салатную тарелку с едой\nB) бочку с едой\nC) обеденную тарелку с едой\nD) грузовик, полный еды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005650237202644348, + "B": 0.0012607383541762829, + "C": 0.0009818639373406768, + "D": 0.9502238035202026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что оставит хорек в кресле?", + "option_a": "письмо", + "option_b": "поэзию", + "option_c": "сумерки", + "option_d": "шерсть" + }, + "outputs": "D", + "meta": { + "id": 970 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что оставит хорек в кресле?\nA. письмо\nB. поэзию\nC. сумерки\nD. шерсть\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.890030026435852, + "B": 0.004121656995266676, + "C": 0.0022061639465391636, + "D": 0.034510210156440735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Два животных со схожей диетой, живущие в одинаковых условиях окружающей среды,", + "option_a": "соперничают за одну и ту же добычу", + "option_b": "водят крепкую дружбу", + "option_c": "перемещаются в разные среды", + "option_d": "организуют себе разные типы диет" + }, + "outputs": "A", + "meta": { + "id": 571 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Два животных со схожей диетой, живущие в одинаковых условиях окружающей среды,\nA. соперничают за одну и ту же добычу\nB. водят крепкую дружбу\nC. перемещаются в разные среды\nD. организуют себе разные типы диет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007223316002637148, + "B": 0.9460678100585938, + "C": 0.00028007838409394026, + "D": 0.0005929258768446743 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если олень не может есть регулярно или ест только то, что не содержит необходимых минералов, олень может", + "option_a": "найти здоровую пищу", + "option_b": "потерять здоровье", + "option_c": "стать неспособным к беременности", + "option_d": "подготовиться к спариванию" + }, + "outputs": "B", + "meta": { + "id": 1509 + } + }, + "prompt": "<|im_start|>user\nЕсли олень не может есть регулярно или ест только то, что не содержит необходимых минералов, олень может\nA. найти здоровую пищу\nB. потерять здоровье\nC. стать неспособным к беременности\nD. подготовиться к спариванию\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.90520179271698, + "B": 0.007831529714167118, + "C": 0.000728445767890662, + "D": 0.008874285966157913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "След ноги на скале мог появиться", + "option_a": "очень давно", + "option_b": "от случайного разлома", + "option_c": "в результате оптической иллюзии", + "option_d": "от новой горной породы" + }, + "outputs": "A", + "meta": { + "id": 855 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: След ноги на скале мог появиться\nA. очень давно\nB. от случайного разлома\nC. в результате оптической иллюзии\nD. от новой горной породы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0020829476416110992, + "B": 0.00024877258692868054, + "C": 0.0004101567028556019, + "D": 0.9522084593772888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если держать хот-дог над костром, он", + "option_a": "растает", + "option_b": "станет веганским", + "option_c": "превратится в зефир", + "option_d": "поджарится" + }, + "outputs": "D", + "meta": { + "id": 1144 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если держать хот-дог над костром, он\nA) растает\nB) станет веганским\nC) превратится в зефир\nD) поджарится\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00145676638931036, + "B": 0.0001971519086509943, + "C": 0.00012729084119200706, + "D": 0.9689560532569885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Распространение семян - это когда семена растения перемещаются с растения на новое…", + "option_a": "небесное тело", + "option_b": "торжество", + "option_c": "стихотворение", + "option_d": "место произрастания" + }, + "outputs": "D", + "meta": { + "id": 1528 + } + }, + "prompt": "<|im_start|>user\nРаспространение семян - это когда семена растения перемещаются с растения на новое…\nA. небесное тело\nB. торжество\nC. стихотворение\nD. место произрастания\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.042551666498184204, + "B": 0.8546730875968933, + "C": 0.0030824325513094664, + "D": 0.03313927352428436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В болоте, когда уровень воды становится низким,", + "option_a": "болотные животные могут дольше искать питательные вещества", + "option_b": "болотные животные могут испытывать жажду", + "option_c": "болото производит больше воды", + "option_d": "болотным хищникам нужно больше добычи" + }, + "outputs": "A", + "meta": { + "id": 1333 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В болоте, когда уровень воды становится низким,\nA) болотные животные могут дольше искать питательные вещества\nB) болотные животные могут испытывать жажду\nC) болото производит больше воды\nD) болотным хищникам нужно больше добычи\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02114236354827881, + "B": 0.08361966907978058, + "C": 0.0307619571685791, + "D": 0.7933613657951355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "____ горит от энергии ____", + "option_a": "ветер; смерти", + "option_b": "вода; огня", + "option_c": "пища; воды", + "option_d": "чайная свеча; воска" + }, + "outputs": "D", + "meta": { + "id": 1984 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: ____ горит от энергии ____\nA) ветер; смерти\nB) вода; огня\nC) пища; воды\nD) чайная свеча; воска\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030200122855603695, + "B": 0.00142655277159065, + "C": 0.0005247993976809084, + "D": 0.9488596320152283 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы толкнете что-то посильнее, оно", + "option_a": "увеличится в длине", + "option_b": "пройдёт меньшее расстояние", + "option_c": "останется на месте", + "option_d": "переместится дальше" + }, + "outputs": "D", + "meta": { + "id": 1507 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы толкнете что-то посильнее, оно\nA) увеличится в длине\nB) пройдёт меньшее расстояние\nC) останется на месте\nD) переместится дальше\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.14673936367034912, + "B": 0.5803654193878174, + "C": 0.08900192379951477, + "D": 0.11428072303533554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто быстрее и лучше восстановится после травм?", + "option_a": "ребенок, который ест трижды в день", + "option_b": "маленький ребенок, страдающий от недоедания", + "option_c": "ребенок, получающий недостаточное питание", + "option_d": "ребенок, который ест шесть раз в неделю" + }, + "outputs": "A", + "meta": { + "id": 1972 + } + }, + "prompt": "<|im_start|>user\nКто быстрее и лучше восстановится после травм?\nA. ребенок, который ест трижды в день\nB. маленький ребенок, страдающий от недоедания\nC. ребенок, получающий недостаточное питание\nD. ребенок, который ест шесть раз в неделю\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08933284133672714, + "B": 0.0012742645340040326, + "C": 0.8475664258003235, + "D": 0.007332886103540659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать электрическую энергию, чтобы", + "option_a": "пробежать милю", + "option_b": "плавать", + "option_c": "испечь рогалик", + "option_d": "заниматься скалолазанием" + }, + "outputs": "C", + "meta": { + "id": 1562 + } + }, + "prompt": "<|im_start|>user\nЯ могу использовать электрическую энергию, чтобы\nA. пробежать милю\nB. плавать\nC. испечь рогалик\nD. заниматься скалолазанием\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21449287235736847, + "B": 0.5145416855812073, + "C": 0.002102814381942153, + "D": 0.18928933143615723 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Специальные ткани растений переносят по всему растению питательные вещества, такие как", + "option_a": "вода", + "option_b": "сахар", + "option_c": "специи", + "option_d": "крахмал" + }, + "outputs": "B", + "meta": { + "id": 340 + } + }, + "prompt": "<|im_start|>user\nСпециальные ткани растений переносят по всему растению питательные вещества, такие как\nA) вода\nB) сахар\nC) специи\nD) крахмал\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0011205999180674553, + "B": 0.9570582509040833, + "C": 0.0005293339490890503, + "D": 0.004432059358805418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может случиться, если деревья растут на почве, богатой определенным витамином?", + "option_a": "витамин испаряется", + "option_b": "витамин скорее всего будет способствовать росту растения", + "option_c": "деревья видоизменяются и умирают", + "option_d": "витамин просачивается обратно в землю" + }, + "outputs": "B", + "meta": { + "id": 1754 + } + }, + "prompt": "<|im_start|>user\nЧто может случиться, если деревья растут на почве, богатой определенным витамином?\nA. витамин испаряется\nB. витамин скорее всего будет способствовать росту растения\nC. деревья видоизменяются и умирают\nD. витамин просачивается обратно в землю\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.026419643312692642, + "B": 0.03844035416841507, + "C": 0.7720952033996582, + "D": 0.09221362322568893 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лев с торчащими из-под шерсти костями был", + "option_a": "в шкафу", + "option_b": "недокормлен", + "option_c": "анимирован", + "option_d": "перекормлен" + }, + "outputs": "B", + "meta": { + "id": 2337 + } + }, + "prompt": "<|im_start|>user\nЛев с торчащими из-под шерсти костями был\nA) в шкафу\nB) недокормлен\nC) анимирован\nD) перекормлен\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.016916757449507713, + "B": 0.9236236810684204, + "C": 0.0003978440072387457, + "D": 0.0012254457687959075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пасмурный день", + "option_a": "облака тонкие", + "option_b": "солнце закрыто", + "option_c": "сильный ветер", + "option_d": "небо ясное" + }, + "outputs": "B", + "meta": { + "id": 795 + } + }, + "prompt": "<|im_start|>user\nВ пасмурный день\nA. облака тонкие\nB. солнце закрыто\nC. сильный ветер\nD. небо ясное\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04622669145464897, + "B": 0.43858662247657776, + "C": 0.23475852608680725, + "D": 0.2071736603975296 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего будет частью круговорота воды?", + "option_a": "Разрушение льда на куски", + "option_b": "Озеро, образующее облако", + "option_c": "Наполнение бассейна", + "option_d": "Орошение урожая кукурузы" + }, + "outputs": "B", + "meta": { + "id": 1106 + } + }, + "prompt": "<|im_start|>user\nЧто из следующего будет частью круговорота воды?\nA) Разрушение льда на куски\nB) Озеро, образующее облако\nC) Наполнение бассейна\nD) Орошение урожая кукурузы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12879447638988495, + "B": 0.3089618682861328, + "C": 0.1873948574066162, + "D": 0.2726579010486603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы станете активнее и сможете работать дольше, если", + "option_a": "осень сменится зимой", + "option_b": "весна сменится летом", + "option_c": "листья деревьев начнут опадать", + "option_d": "начнется выпадение первого снега" + }, + "outputs": "B", + "meta": { + "id": 1304 + } + }, + "prompt": "<|im_start|>user\nВы станете активнее и сможете работать дольше, если\nA) осень сменится зимой\nB) весна сменится летом\nC) листья деревьев начнут опадать\nD) начнется выпадение первого снега\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03612302988767624, + "B": 0.0010908209951594472, + "C": 0.0005152673693373799, + "D": 0.931625247001648 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, считается мягким?", + "option_a": "твердые крендели", + "option_b": "сталь", + "option_c": "алмаз", + "option_d": "ириски" + }, + "outputs": "D", + "meta": { + "id": 1570 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, считается мягким?\nA. твердые крендели\nB. сталь\nC. алмаз\nD. ириски\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11037176847457886, + "B": 0.05907775089144707, + "C": 0.719714343547821, + "D": 0.05907775089144707 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земля вращается вокруг собственной оси, и для того, чтобы завершить один цикл этого вращения", + "option_a": "должны пройти два дня", + "option_b": "должна пройти неделя", + "option_c": "должна пройти седьмая часть недели", + "option_d": "Земля должна замедлиться" + }, + "outputs": "C", + "meta": { + "id": 1772 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земля вращается вокруг собственной оси, и для того, чтобы завершить один цикл этого вращения\nA) должны пройти два дня\nB) должна пройти неделя\nC) должна пройти седьмая часть недели\nD) Земля должна замедлиться\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01093087624758482, + "B": 0.01093087624758482, + "C": 0.7663136124610901, + "D": 0.17098768055438995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пеликаны любят", + "option_a": "суши", + "option_b": "кошек", + "option_c": "скумбрию", + "option_d": "мусор" + }, + "outputs": "C", + "meta": { + "id": 914 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пеликаны любят\nA. суши\nB. кошек\nC. скумбрию\nD. мусор\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.001283349934965372, + "B": 0.0011325522791594267, + "C": 0.9672662615776062, + "D": 0.0018672632286325097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может сгнить?", + "option_a": "летающие птицы", + "option_b": "сжатый кислород", + "option_c": "ранее живые организмы", + "option_d": "блестящий камень" + }, + "outputs": "C", + "meta": { + "id": 2200 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может сгнить?\nA) летающие птицы\nB) сжатый кислород\nC) ранее живые организмы\nD) блестящий камень\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0009702940587885678, + "B": 0.9390266537666321, + "C": 0.0005885130376555026, + "D": 0.001599744544364512 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то движется быстрее, чем раньше, что могло повлиять на это?", + "option_a": "применение воды", + "option_b": "приложение силы", + "option_c": "применение света", + "option_d": "ни один из этих вариантов не верен" + }, + "outputs": "B", + "meta": { + "id": 588 + } + }, + "prompt": "<|im_start|>user\nЕсли что-то движется быстрее, чем раньше, что могло повлиять на это?\nA) применение воды\nB) приложение силы\nC) применение света\nD) ни один из этих вариантов не верен\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004852541256695986, + "B": 0.924730658531189, + "C": 0.0010827481746673584, + "D": 0.019192172214388847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чем живут некоторые люди?", + "option_a": "озера", + "option_b": "дома", + "option_c": "океаны", + "option_d": "деревья" + }, + "outputs": "B", + "meta": { + "id": 1472 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В чем живут некоторые люди?\nA) озера\nB) дома\nC) океаны\nD) деревья\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8827754259109497, + "B": 0.01426873542368412, + "C": 0.0009121697512455285, + "D": 0.004088061396032572 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером какой энергии могут служить скачки?", + "option_a": "потенциальной", + "option_b": "кинетической", + "option_c": "ядерной", + "option_d": "солнечной" + }, + "outputs": "B", + "meta": { + "id": 1552 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером какой энергии могут служить скачки?\nA. потенциальной\nB. кинетической\nC. ядерной\nD. солнечной\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.000988784828223288, + "B": 0.0018472932279109955, + "C": 0.9569215774536133, + "D": 0.000988784828223288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лев охотится на антилопу. Антилопы быстры, быстрее, чем ожидал лев. Чтобы поесть сегодня, льву нужно", + "option_a": "найти больше воды", + "option_b": "насладиться своим днем ​​", + "option_c": "догнать антилопу", + "option_d": "носить лучшую обувь" + }, + "outputs": "C", + "meta": { + "id": 787 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лев охотится на антилопу. Антилопы быстры, быстрее, чем ожидал лев. Чтобы поесть сегодня, льву нужно\nA) найти больше воды\nB) насладиться своим днем ​​\nC) догнать антилопу\nD) носить лучшую обувь\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8845592737197876, + "B": 0.0010357123101130128, + "C": 0.0004892359138466418, + "D": 0.0010357123101130128 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Камуфляж используется сущностями для охоты на", + "option_a": "живых существ", + "option_b": "деревья", + "option_c": "воздух", + "option_d": "воду" + }, + "outputs": "A", + "meta": { + "id": 950 + } + }, + "prompt": "<|im_start|>user\nКамуфляж используется сущностями для охоты на\nA) живых существ\nB) деревья\nC) воздух\nD) воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8669930100440979, + "B": 0.005841752979904413, + "C": 0.009631422348320484, + "D": 0.03809301555156708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой самый большой орган человеческого тела?", + "option_a": "сердце", + "option_b": "внешние покровы тела", + "option_c": "легкие", + "option_d": "мозг" + }, + "outputs": "B", + "meta": { + "id": 1038 + } + }, + "prompt": "<|im_start|>user\nКакой самый большой орган человеческого тела?\nA) сердце\nB) внешние покровы тела\nC) легкие\nD) мозг\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1228257566690445, + "B": 0.80092453956604, + "C": 0.0010626509319990873, + "D": 0.0032731955870985985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, произойдет в результате пересечения ареалов?", + "option_a": "орел и мышь соревнуются за ресурсы", + "option_b": "орел и ястреб соревнуются за ресурсы", + "option_c": "орел и лошадь соревнуются за ресурсы", + "option_d": "орел и дерево соревнуются за ресурсы" + }, + "outputs": "B", + "meta": { + "id": 1520 + } + }, + "prompt": "<|im_start|>user\nЧто, скорее всего, произойдет в результате пересечения ареалов?\nA) орел и мышь соревнуются за ресурсы\nB) орел и ястреб соревнуются за ресурсы\nC) орел и лошадь соревнуются за ресурсы\nD) орел и дерево соревнуются за ресурсы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.016081109642982483, + "B": 0.8779988288879395, + "C": 0.0046073151752352715, + "D": 0.049533307552337646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рычаг используется для перемещения объектов, которые", + "option_a": "круглыеимеют круглую форму", + "option_b": "легки", + "option_c": "коротки", + "option_d": "велики" + }, + "outputs": "D", + "meta": { + "id": 956 + } + }, + "prompt": "<|im_start|>user\nРычаг используется для перемещения объектов, которые\nA. круглыеимеют круглую форму\nB. легки\nC. коротки\nD. велики\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0009747984004206955, + "B": 0.003002590499818325, + "C": 0.943385899066925, + "D": 0.001104591297917068 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уголь - ресурс, который", + "option_a": "блестит на свету", + "option_b": "делает все санитарно-гигиеническим", + "option_c": "очень трудно будет возобновить", + "option_d": "охлаждает воздух" + }, + "outputs": "C", + "meta": { + "id": 1912 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Уголь - ресурс, который\nA. блестит на свету\nB. делает все санитарно-гигиеническим\nC. очень трудно будет возобновить\nD. охлаждает воздух\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00727348355576396, + "B": 0.9526383876800537, + "C": 0.0007666195742785931, + "D": 0.00236135465092957 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Самые большие объекты на Луне - это", + "option_a": "космические станции", + "option_b": "кратеры", + "option_c": "инопланетные формы жизни", + "option_d": "лунные камни." + }, + "outputs": "B", + "meta": { + "id": 2220 + } + }, + "prompt": "<|im_start|>user\nСамые большие объекты на Луне - это\nA) космические станции\nB) кратеры\nC) инопланетные формы жизни\nD) лунные камни.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5541700720787048, + "B": 0.29662588238716125, + "C": 0.0029080177191644907, + "D": 0.0029080177191644907 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда у самки утконоса появляется новая жизнь в сумке, это значит, какой-то утконос", + "option_a": "родился", + "option_b": "умер", + "option_c": "полетел", + "option_d": "побежал" + }, + "outputs": "A", + "meta": { + "id": 1217 + } + }, + "prompt": "<|im_start|>user\nКогда у самки утконоса появляется новая жизнь в сумке, это значит, какой-то утконос\nA) родился\nB) умер\nC) полетел\nD) побежал\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0010995955672115088, + "B": 0.0092068025842309, + "C": 0.939119279384613, + "D": 0.0023278440348803997 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько экосистем на Земле?", + "option_a": "ничтожно мало", + "option_b": "три", + "option_c": "очень много", + "option_d": "не очень много" + }, + "outputs": "C", + "meta": { + "id": 719 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько экосистем на Земле?\nA. ничтожно мало\nB. три\nC. очень много\nD. не очень много\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9155388474464417, + "B": 0.0017674057744443417, + "C": 0.00107198569457978, + "D": 0.00121471902821213 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лето - сезон, когда", + "option_a": "часть планеты находится ближе к солнцу", + "option_b": "полушария вращаются", + "option_c": "солнечные вспышки нагревают землю", + "option_d": "солнце вспыхивает интенсивнее" + }, + "outputs": "A", + "meta": { + "id": 2039 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лето - сезон, когда\nA. часть планеты находится ближе к солнцу\nB. полушария вращаются\nC. солнечные вспышки нагревают землю\nD. солнце вспыхивает интенсивнее\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.051717571914196014, + "B": 0.6300489902496338, + "C": 0.09662114828824997, + "D": 0.14058293402194977 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каким сделают воздух вращающиеся лопасти электрического вентилятора?", + "option_a": "влажный", + "option_b": "циркулирующий", + "option_c": "холодный", + "option_d": "теплый" + }, + "outputs": "B", + "meta": { + "id": 624 + } + }, + "prompt": "<|im_start|>user\nКаким сделают воздух вращающиеся лопасти электрического вентилятора?\nA) влажный\nB) циркулирующий\nC) холодный\nD) теплый\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0038599856197834015, + "B": 0.0014200092991814017, + "C": 0.944507360458374, + "D": 0.0049563199281692505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек предпочитает находиться рядом с металлическим источником тепла, обычно расположенным на внутренней стене здания, то этот человек", + "option_a": "горит", + "option_b": "задыхается от жары", + "option_c": "хочет тепла", + "option_d": "пылает" + }, + "outputs": "C", + "meta": { + "id": 982 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если человек предпочитает находиться рядом с металлическим источником тепла, обычно расположенным на внутренней стене здания, то этот человек\nA. горит\nB. задыхается от жары\nC. хочет тепла\nD. пылает\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9387354850769043, + "B": 0.0026367150712758303, + "C": 0.0005191999371163547, + "D": 0.001411331701092422 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы я хотел развить выносливость, я мог бы", + "option_a": "ехать на велосипеде в гору", + "option_b": "есть больше еды", + "option_c": "спать весь день", + "option_d": "есть только пиццу" + }, + "outputs": "A", + "meta": { + "id": 142 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если бы я хотел развить выносливость, я мог бы\nA) ехать на велосипеде в гору\nB) есть больше еды\nC) спать весь день\nD) есть только пиццу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4563358426094055, + "B": 0.19022907316684723, + "C": 0.07929927110671997, + "D": 0.19022907316684723 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За время, когда Луна вращается вокруг Земли 13 раз, Земля обращается вокруг Солнца", + "option_a": "дважды", + "option_b": "один раз", + "option_c": "три раза", + "option_d": "четыре раза" + }, + "outputs": "B", + "meta": { + "id": 1590 + } + }, + "prompt": "<|im_start|>user\nЗа время, когда Луна вращается вокруг Земли 13 раз, Земля обращается вокруг Солнца\nA) дважды\nB) один раз\nC) три раза\nD) четыре раза\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9170606732368469, + "B": 0.0004476129834074527, + "C": 0.0005747463437728584, + "D": 0.003307437291368842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего используется радио?", + "option_a": "для информирования людей", + "option_b": "для нагрева посуды", + "option_c": "для пересылки почты", + "option_d": "для еды" + }, + "outputs": "A", + "meta": { + "id": 2065 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего используется радио?\nA) для информирования людей\nB) для нагрева посуды\nC) для пересылки почты\nD) для еды\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.003350784070789814, + "B": 0.001793545437976718, + "C": 0.929079532623291, + "D": 0.03179135173559189 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличительное стекло используется, чтобы", + "option_a": "заставить объекты появиться", + "option_b": "найти лучшее место", + "option_c": "увеличить размер объекта", + "option_d": "увеличить потенциал зрения" + }, + "outputs": "D", + "meta": { + "id": 1270 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Увеличительное стекло используется, чтобы\nA. заставить объекты появиться\nB. найти лучшее место\nC. увеличить размер объекта\nD. увеличить потенциал зрения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.10264062136411667, + "B": 0.7584173083305359, + "C": 0.05493956804275513, + "D": 0.009547065012156963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Снижение атмосферного давления приводит к", + "option_a": "возрастающей вероятности ливней", + "option_b": "более низкой вероятности дождя", + "option_c": "уменьшенной вероятности ливней", + "option_d": "не оказывает никакого влияния на прогноз погоды" + }, + "outputs": "A", + "meta": { + "id": 169 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Снижение атмосферного давления приводит к\nA. возрастающей вероятности ливней\nB. более низкой вероятности дождя\nC. уменьшенной вероятности ливней\nD. не оказывает никакого влияния на прогноз погоды\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014305558055639267, + "B": 0.0641130581498146, + "C": 0.056579578667879105, + "D": 0.7810569405555725 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это, скорее всего, легко сдать в переработку:", + "option_a": "CO2", + "option_b": "туалетная бумага", + "option_c": "пенополистирол", + "option_d": "банка из-под газировки" + }, + "outputs": "D", + "meta": { + "id": 366 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это, скорее всего, легко сдать в переработку:\nA) CO2\nB) туалетная бумага\nC) пенополистирол\nD) банка из-под газировки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.41428014636039734, + "B": 0.41428014636039734, + "C": 0.026484042406082153, + "D": 0.03853405639529228 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Капустница в воздухе выше претерпела превращение и уже перешла бы в стадию имаго, но пока находится в предыдущей стадии. В какой?", + "option_a": "стадия яйца", + "option_b": "стадия после личинки", + "option_c": "старая стадия", + "option_d": "стадия моли" + }, + "outputs": "B", + "meta": { + "id": 287 + } + }, + "prompt": "<|im_start|>user\nКапустница в воздухе выше претерпела превращение и уже перешла бы в стадию имаго, но пока находится в предыдущей стадии. В какой?\nA. стадия яйца\nB. стадия после личинки\nC. старая стадия\nD. стадия моли\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.034563302993774414, + "B": 0.10646246373653412, + "C": 0.7866571545600891, + "D": 0.012715128250420094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разбив вазу, вы измените ее", + "option_a": "массу", + "option_b": "химический состав", + "option_c": "форму", + "option_d": "скорость" + }, + "outputs": "C", + "meta": { + "id": 1908 + } + }, + "prompt": "<|im_start|>user\nРазбив вазу, вы измените ее\nA. массу\nB. химический состав\nC. форму\nD. скорость\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.9078399538993835, + "B": 0.0009380688425153494, + "C": 0.00044311239616945386, + "D": 0.0009380688425153494 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Под сенью чего люди могут спрятаться от погоды?", + "option_a": "тенистое дерево", + "option_b": "местный музей", + "option_c": "банка из-под газировки", + "option_d": "детская площадка" + }, + "outputs": "B", + "meta": { + "id": 1722 + } + }, + "prompt": "<|im_start|>user\nПод сенью чего люди могут спрятаться от погоды?\nA. тенистое дерево\nB. местный музей\nC. банка из-под газировки\nD. детская площадка\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001844640588387847, + "B": 0.0004115949559491128, + "C": 0.0012678017374128103, + "D": 0.9555474519729614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек берет из дома ведра с водой и начинает выливать в пруд во дворе. В определенный момент пруд", + "option_a": "замерзает", + "option_b": "ломается", + "option_c": "тонет", + "option_d": "переполняется" + }, + "outputs": "D", + "meta": { + "id": 1035 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек берет из дома ведра с водой и начинает выливать в пруд во дворе. В определенный момент пруд\nA) замерзает\nB) ломается\nC) тонет\nD) переполняется\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0049581206403672695, + "B": 0.9448505640029907, + "C": 0.0012536091962829232, + "D": 0.002342050429433584 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ветер - это ресурс, который мы можем возобновить, потому что есть", + "option_a": "желание", + "option_b": "бесконечный запас", + "option_c": "страх остаться без ветра", + "option_d": "ограниченный запас" + }, + "outputs": "B", + "meta": { + "id": 367 + } + }, + "prompt": "<|im_start|>user\nВетер - это ресурс, который мы можем возобновить, потому что есть\nA. желание\nB. бесконечный запас\nC. страх остаться без ветра\nD. ограниченный запас\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00046989365364424884, + "B": 0.9627088904380798, + "C": 0.00036595354322344065, + "D": 0.001277303323149681 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда охотятся ночные хищники?", + "option_a": "в полдень", + "option_b": "в типичное для нас время сна", + "option_c": "утром", + "option_d": "в типичное для нас обеденное время" + }, + "outputs": "B", + "meta": { + "id": 227 + } + }, + "prompt": "<|im_start|>user\nКогда охотятся ночные хищники?\nA. в полдень\nB. в типичное для нас время сна\nC. утром\nD. в типичное для нас обеденное время\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.008801467716693878, + "B": 0.8977741003036499, + "C": 0.0015294658951461315, + "D": 0.002225359668955207 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплоизолятор между плитой и сковородой заставит сковороду нагреться", + "option_a": "сразу", + "option_b": "медленнее", + "option_c": "с той же скоростью", + "option_d": "быстрее" + }, + "outputs": "B", + "meta": { + "id": 226 + } + }, + "prompt": "<|im_start|>user\nТеплоизолятор между плитой и сковородой заставит сковороду нагреться\nA. сразу\nB. медленнее\nC. с той же скоростью\nD. быстрее\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0017802742077037692, + "B": 0.922204852104187, + "C": 0.0008409420261159539, + "D": 0.005483630578964949 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если стадо оленей перемещается в небольшой парк, где все многократно опрыскивают пестицидами,", + "option_a": "олени процветают в этой среде", + "option_b": "парк будет в конечном итоге быть без оленей", + "option_c": "олени обретают счастливую жизнь", + "option_d": "олени здоровы и счастливы" + }, + "outputs": "B", + "meta": { + "id": 2029 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если стадо оленей перемещается в небольшой парк, где все многократно опрыскивают пестицидами,\nA) олени процветают в этой среде\nB) парк будет в конечном итоге быть без оленей\nC) олени обретают счастливую жизнь\nD) олени здоровы и счастливы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01495412364602089, + "B": 0.9251788854598999, + "C": 0.004854893311858177, + "D": 0.0017860154621303082 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В то время как многие среды обитания поддерживают большое разнообразие жизни, включая пустыни, многие животные", + "option_a": "замерзают в пустынях", + "option_b": "голодают в пустынях", + "option_c": "брошены в пустынях", + "option_d": "тонут в пустынях" + }, + "outputs": "B", + "meta": { + "id": 1822 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В то время как многие среды обитания поддерживают большое разнообразие жизни, включая пустыни, многие животные\nA) замерзают в пустынях\nB) голодают в пустынях\nC) брошены в пустынях\nD) тонут в пустынях\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0014441052917391062, + "B": 0.002697944175451994, + "C": 0.9605345726013184, + "D": 0.003464228706434369 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если наша Земля и есть что-то, это", + "option_a": "инопланетянин", + "option_b": "ближайший к Плутону объект", + "option_c": "каменная глыба", + "option_d": "замороженное твердое тело" + }, + "outputs": "C", + "meta": { + "id": 447 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если наша Земля и есть что-то, это\nA) инопланетянин\nB) ближайший к Плутону объект\nC) каменная глыба\nD) замороженное твердое тело\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00577135942876339, + "B": 0.0003255978226661682, + "C": 0.00036895068478770554, + "D": 0.9705934524536133 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы создать бумагу, вам сначала нужно получить запас", + "option_a": "звездной пыли", + "option_b": "песка", + "option_c": "ручек", + "option_d": "целлюлозы" + }, + "outputs": "D", + "meta": { + "id": 431 + } + }, + "prompt": "<|im_start|>user\nЧтобы создать бумагу, вам сначала нужно получить запас\nA. звездной пыли\nB. песка\nC. ручек\nD. целлюлозы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8621357083320618, + "B": 0.004524073097854853, + "C": 0.00399248069152236, + "D": 0.005809024907648563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Торф - важный фактор при", + "option_a": "посеве свежих семян малины в почву", + "option_b": "вождении новой машины", + "option_c": "резком измерении дневной температуры", + "option_d": "обильном завтраке" + }, + "outputs": "A", + "meta": { + "id": 1524 + } + }, + "prompt": "<|im_start|>user\nТорф - важный фактор при\nA. посеве свежих семян малины в почву\nB. вождении новой машины\nC. резком измерении дневной температуры\nD. обильном завтраке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20937888324260712, + "B": 0.00557975796982646, + "C": 0.002986629493534565, + "D": 0.7308040857315063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой вариант может послужить примером вымирания?", + "option_a": "на оленей охотятся, чтобы контролировать уровень популяции", + "option_b": "птицы летят на юг на зиму", + "option_c": "олени перемещаются, чтобы найти лучшую пищу", + "option_d": "ястребы охотятся на представителей редкого подвида мышей с единственного поля, где эти мыши обитали" + }, + "outputs": "D", + "meta": { + "id": 1091 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой вариант может послужить примером вымирания?\nA. на оленей охотятся, чтобы контролировать уровень популяции\nB. птицы летят на юг на зиму\nC. олени перемещаются, чтобы найти лучшую пищу\nD. ястребы охотятся на представителей редкого подвида мышей с единственного поля, где эти мыши обитали\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0012467942433431745, + "B": 0.9397141337394714, + "C": 0.0012467942433431745, + "D": 0.0004586700233630836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стадо диких коз стремительно уменьшается. Что из этого могло быть причиной?", + "option_a": "Было много солнечных дней", + "option_b": "Растительности в регионе стало меньше", + "option_c": "Хищники покинули этот район", + "option_d": "Наступил июль" + }, + "outputs": "B", + "meta": { + "id": 1221 + } + }, + "prompt": "<|im_start|>user\nСтадо диких коз стремительно уменьшается. Что из этого могло быть причиной?\nA. Было много солнечных дней\nB. Растительности в регионе стало меньше\nC. Хищники покинули этот район\nD. Наступил июль\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9413751363754272, + "B": 0.0026441290974617004, + "C": 0.0006685405387543142, + "D": 0.0029961909167468548 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком районе зимой часто бывает снегопад?", + "option_a": "Арктика", + "option_b": "Средиземноморье", + "option_c": "Тропический лес", + "option_d": "Тропики" + }, + "outputs": "A", + "meta": { + "id": 197 + } + }, + "prompt": "<|im_start|>user\nВ каком районе зимой часто бывает снегопад?\nA) Арктика\nB) Средиземноморье\nC) Тропический лес\nD) Тропики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5289652347564697, + "B": 0.03831811621785164, + "C": 0.28313469886779785, + "D": 0.06317588686943054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетке растения при фотосинтезе может потребоваться", + "option_a": "доступ в пространство без крыши", + "option_b": "полный вакуум в пространстве", + "option_c": "комната с затемненными окнами", + "option_d": "темные жилые помещения в подвале" + }, + "outputs": "A", + "meta": { + "id": 1681 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Клетке растения при фотосинтезе может потребоваться\nA) доступ в пространство без крыши\nB) полный вакуум в пространстве\nC) комната с затемненными окнами\nD) темные жилые помещения в подвале\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.023792140185832977, + "B": 0.008752639405429363, + "C": 0.8927934765815735, + "D": 0.034617360681295395 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой материал можно использовать для передачи энергии лампочке?", + "option_a": "пластик", + "option_b": "дерево", + "option_c": "металл", + "option_d": "ткань" + }, + "outputs": "C", + "meta": { + "id": 1431 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой материал можно использовать для передачи энергии лампочке?\nA. пластик\nB. дерево\nC. металл\nD. ткань\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7429453730583191, + "B": 0.060984667390584946, + "C": 0.007283580489456654, + "D": 0.10054671764373779 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно было есть, чтобы не умереть от голода?", + "option_a": "Аквавит", + "option_b": "Ксерокс", + "option_c": "Клинекс", + "option_d": "Мулине" + }, + "outputs": "A", + "meta": { + "id": 2003 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно было есть, чтобы не умереть от голода?\nA. Аквавит\nB. Ксерокс\nC. Клинекс\nD. Мулине\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09058215469121933, + "B": 0.009547289460897446, + "C": 0.0027353442274034023, + "D": 0.859419584274292 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы согреться в холодный день", + "option_a": "стойте на одном месте", + "option_b": "наденьте рубашки с короткими рукавами", + "option_c": "не используйте носки", + "option_d": "потрите ладони друг о друга" + }, + "outputs": "D", + "meta": { + "id": 760 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы согреться в холодный день\nA. стойте на одном месте\nB. наденьте рубашки с короткими рукавами\nC. не используйте носки\nD. потрите ладони друг о друга\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9166657328605652, + "B": 0.0033060128334909678, + "C": 0.0006509925005957484, + "D": 0.007930712774395943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего бы вы использовали градуированный цилиндр?", + "option_a": "для измерения объема виноградного сока", + "option_b": "для измерения объема твердого тела", + "option_c": "для измерения упитанности собаки", + "option_d": "для измерения количества костных осколков" + }, + "outputs": "A", + "meta": { + "id": 2313 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего бы вы использовали градуированный цилиндр?\nA. для измерения объема виноградного сока\nB. для измерения объема твердого тела\nC. для измерения упитанности собаки\nD. для измерения количества костных осколков\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0020672702230513096, + "B": 0.001106529962271452, + "C": 0.00011662740143947303, + "D": 0.9450415968894958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что нужно животному, чтобы выжить?", + "option_a": "интересные места", + "option_b": "солнечный свет", + "option_c": "кабельное телевидение", + "option_d": "питание" + }, + "outputs": "D", + "meta": { + "id": 794 + } + }, + "prompt": "<|im_start|>user\nЧто нужно животному, чтобы выжить?\nA) интересные места\nB) солнечный свет\nC) кабельное телевидение\nD) питание\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003932238090783358, + "B": 0.0030624300707131624, + "C": 0.003932238090783358, + "D": 0.962186872959137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы человек смотрел свою голову в зеркало и двинулся навстречу отражению, что бы произошло?", + "option_a": "голова бы исчезла", + "option_b": "голова бы взорвалась", + "option_c": "голова начала бы сокращаться", + "option_d": "голова начала бы расти" + }, + "outputs": "D", + "meta": { + "id": 932 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если бы человек смотрел свою голову в зеркало и двинулся навстречу отражению, что бы произошло?\nA) голова бы исчезла\nB) голова бы взорвалась\nC) голова начала бы сокращаться\nD) голова начала бы расти\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009748058393597603, + "B": 0.07202894985675812, + "C": 0.0013192561455070972, + "D": 0.8774922490119934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При протекании электрического тока", + "option_a": "провод автоматически является водонепроницаемым", + "option_b": "провод может быть холодным на ощупь", + "option_c": "провод автоматически заземляется", + "option_d": "провод может быть горячим на ощупь" + }, + "outputs": "D", + "meta": { + "id": 1324 + } + }, + "prompt": "<|im_start|>user\nПри протекании электрического тока\nA. провод автоматически является водонепроницаемым\nB. провод может быть холодным на ощупь\nC. провод автоматически заземляется\nD. провод может быть горячим на ощупь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.1507662981748581, + "B": 0.7656545042991638, + "C": 0.0018978678854182363, + "D": 0.00130438432097435 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Водяной пар - признак чего?", + "option_a": "жар", + "option_b": "тепло", + "option_c": "влажность", + "option_d": "холод" + }, + "outputs": "C", + "meta": { + "id": 1536 + } + }, + "prompt": "<|im_start|>user\nВодяной пар - признак чего?\nA) жар\nB) тепло\nC) влажность\nD) холод\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 54, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.1261550933122635, + "B": 0.26707035303115845, + "C": 0.11133148521184921, + "D": 0.38858506083488464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать Квадрат Пеннета, чтобы определить, смогу ли я", + "option_a": "ходить по стенам", + "option_b": "скручивать свой язык в трубочку", + "option_c": "обладать сверхспособностями", + "option_d": "стать невидимым" + }, + "outputs": "B", + "meta": { + "id": 1515 + } + }, + "prompt": "<|im_start|>user\nЯ могу использовать Квадрат Пеннета, чтобы определить, смогу ли я\nA) ходить по стенам\nB) скручивать свой язык в трубочку\nC) обладать сверхспособностями\nD) стать невидимым\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.07822220027446747, + "B": 0.041869327425956726, + "C": 0.4501377046108246, + "D": 0.35056760907173157 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Легче всего сломать", + "option_a": "очки", + "option_b": "блокнот", + "option_c": "стену", + "option_d": "книгу в твердом переплете." + }, + "outputs": "A", + "meta": { + "id": 1280 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Легче всего сломать\nA) очки\nB) блокнот\nC) стену\nD) книгу в твердом переплете.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8510549664497375, + "B": 0.054406121373176575, + "C": 0.002109554363414645, + "D": 0.00144987425301224 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мир начинает использовать нефть все реже и реже, потому что ее нельзя", + "option_a": "использовать дважды", + "option_b": "использовать один раз", + "option_c": "использовать в автомобилях", + "option_d": "использовать в домах" + }, + "outputs": "A", + "meta": { + "id": 408 + } + }, + "prompt": "<|im_start|>user\nМир начинает использовать нефть все реже и реже, потому что ее нельзя\nA. использовать дважды\nB. использовать один раз\nC. использовать в автомобилях\nD. использовать в домах\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.033643051981925964, + "B": 0.8676657676696777, + "C": 0.023122508078813553, + "D": 0.023122508078813553 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если у человека удалены все кости", + "option_a": "он танцует", + "option_b": "он может стоять", + "option_c": "органы тела выйдут из строя", + "option_d": "органы тела будут в безопасности" + }, + "outputs": "C", + "meta": { + "id": 1279 + } + }, + "prompt": "<|im_start|>user\nЕсли у человека удалены все кости\nA) он танцует\nB) он может стоять\nC) органы тела выйдут из строя\nD) органы тела будут в безопасности\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2326931655406952, + "B": 0.005472417920827866, + "C": 0.0856030210852623, + "D": 0.6325255036354065 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Два корабля, встретившись в море, будут", + "option_a": "двигаться медленнее", + "option_b": "тонуть", + "option_c": "двигаться быстрее", + "option_d": "двигаться хаотически" + }, + "outputs": "A", + "meta": { + "id": 2172 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Два корабля, встретившись в море, будут\nA) двигаться медленнее\nB) тонуть\nC) двигаться быстрее\nD) двигаться хаотически\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.022648151963949203, + "B": 0.8498656153678894, + "C": 0.05433008819818497, + "D": 0.022648151963949203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поддерживает жизнь, но перестает расти?", + "option_a": "воздух", + "option_b": "срубленное дерево", + "option_c": "камень", + "option_d": "куст" + }, + "outputs": "B", + "meta": { + "id": 2325 + } + }, + "prompt": "<|im_start|>user\nЧто поддерживает жизнь, но перестает расти?\nA) воздух\nB) срубленное дерево\nC) камень\nD) куст\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 56, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02331271581351757, + "B": 0.8748032450675964, + "C": 0.011012147180736065, + "D": 0.0384361706674099 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с наименьшей вероятностью будет экосистемой?", + "option_a": "равнины", + "option_b": "лунная база", + "option_c": "пустыня", + "option_d": "поля" + }, + "outputs": "B", + "meta": { + "id": 1340 + } + }, + "prompt": "<|im_start|>user\nЧто с наименьшей вероятностью будет экосистемой?\nA. равнины\nB. лунная база\nC. пустыня\nD. поля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003462680382654071, + "B": 0.960105299949646, + "C": 0.0004135581839364022, + "D": 0.0026967383455485106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пурпурные листья сливового дерева используют световую энергию, чтобы", + "option_a": "создать философию", + "option_b": "создать питание", + "option_c": "распространить правительственную пропаганду", + "option_d": "создать ядовитые пары" + }, + "outputs": "B", + "meta": { + "id": 1381 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пурпурные листья сливового дерева используют световую энергию, чтобы\nA. создать философию\nB. создать питание\nC. распространить правительственную пропаганду\nD. создать ядовитые пары\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0012885783798992634, + "B": 0.0012885783798992634, + "C": 0.9712069630622864, + "D": 0.003091139020398259 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Соколы лучше всего обитают в", + "option_a": "вулканах", + "option_b": "в смоляных карьерах", + "option_c": "в степях и полупустынях", + "option_d": "в океанических впадинах" + }, + "outputs": "C", + "meta": { + "id": 1022 + } + }, + "prompt": "<|im_start|>user\nСоколы лучше всего обитают в\nA. вулканах\nB. в смоляных карьерах\nC. в степях и полупустынях\nD. в океанических впадинах\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.07818546891212463, + "B": 0.11375917494297028, + "C": 0.5777168273925781, + "D": 0.1655186414718628 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Неправильно", + "option_a": "топать на щенка", + "option_b": "обнимать собаку", + "option_c": "любить собаку", + "option_d": "гладить собаку" + }, + "outputs": "A", + "meta": { + "id": 610 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Неправильно\nA. топать на щенка\nB. обнимать собаку\nC. любить собаку\nD. гладить собаку\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0006613914738409221, + "B": 0.004312814678996801, + "C": 0.01705751195549965, + "D": 0.9313085675239563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что произошло, если в солнечный день студент кладет стальную ручку на край стола в теневом углу комнаты?", + "option_a": "у студента обнаружились экстрасенсорные способности", + "option_b": "ручка не отражала никакого света", + "option_c": "ни один из предложенных ответов не верен", + "option_d": "свет отражался от блестящей ручки и раздражал глаза" + }, + "outputs": "D", + "meta": { + "id": 78 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что произошло, если в солнечный день студент кладет стальную ручку на край стола в теневом углу комнаты?\nA) у студента обнаружились экстрасенсорные способности\nB) ручка не отражала никакого света\nC) ни один из предложенных ответов не верен\nD) свет отражался от блестящей ручки и раздражал глаза\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.023524809628725052, + "B": 0.8827619552612305, + "C": 0.0008049746975302696, + "D": 0.002809637924656272 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Щенок сидит снаружи у двери, прося войти. Человек смотрит в дверь и видит, что щенок дрожит, поэтому человек может сказать, что", + "option_a": "щенок одинок", + "option_b": "температура упала", + "option_c": "щенок счастлив", + "option_d": "щенок сильный" + }, + "outputs": "B", + "meta": { + "id": 2240 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Щенок сидит снаружи у двери, прося войти. Человек смотрит в дверь и видит, что щенок дрожит, поэтому человек может сказать, что\nA) щенок одинок\nB) температура упала\nC) щенок счастлив\nD) щенок сильный\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0004139479133300483, + "B": 0.9610100984573364, + "C": 0.00015228292613755912, + "D": 0.0001955351617652923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Маленькие рептилии в вашем террариуме могут становиться коричневыми или зелеными в зависимости от фона, мы называем это", + "option_a": "солнцезащитный крем", + "option_b": "маскировка", + "option_c": "социальные сети", + "option_d": "охлаждающий агент" + }, + "outputs": "B", + "meta": { + "id": 1735 + } + }, + "prompt": "<|im_start|>user\nМаленькие рептилии в вашем террариуме могут становиться коричневыми или зелеными в зависимости от фона, мы называем это\nA. солнцезащитный крем\nB. маскировка\nC. социальные сети\nD. охлаждающий агент\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01827477291226387, + "B": 0.043838903307914734, + "C": 0.880527913570404, + "D": 0.016127431765198708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди дрожат, когда им холодно, и животные:", + "option_a": "спят", + "option_b": "трусят", + "option_c": "делают то же самое", + "option_d": "в темпе" + }, + "outputs": "C", + "meta": { + "id": 1301 + } + }, + "prompt": "<|im_start|>user\nЛюди дрожат, когда им холодно, и животные:\nA) спят\nB) трусят\nC) делают то же самое\nD) в темпе\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0003187672991771251, + "B": 0.9502319693565369, + "C": 8.059699757723138e-05, + "D": 0.00012483108730521053 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди используют сушилки для рук после мытья рук, чтобы", + "option_a": "летать", + "option_b": "убрать влагу", + "option_c": "убрать огонь", + "option_d": "отправиться в космос" + }, + "outputs": "B", + "meta": { + "id": 1256 + } + }, + "prompt": "<|im_start|>user\nЛюди используют сушилки для рук после мытья рук, чтобы\nA) летать\nB) убрать влагу\nC) убрать огонь\nD) отправиться в космос\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0056484900414943695, + "B": 0.0056484900414943695, + "C": 0.9499300122261047, + "D": 0.00439904909580946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как кислотный дождь с наибольшей вероятностью повлияет на водную среду? Произойдет", + "option_a": "ускорение роста растений", + "option_b": "увеличение популяции рыб", + "option_c": "сокращение числа живых растений", + "option_d": "очищение воды" + }, + "outputs": "C", + "meta": { + "id": 1066 + } + }, + "prompt": "<|im_start|>user\nКак кислотный дождь с наибольшей вероятностью повлияет на водную среду? Произойдет\nA. ускорение роста растений\nB. увеличение популяции рыб\nC. сокращение числа живых растений\nD. очищение воды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3588851988315582, + "B": 0.1165129691362381, + "C": 0.24665796756744385, + "D": 0.19209742546081543 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы земля была достаточно маленькой, чтобы положить ее на тарелку и подать на обед, то существо, которое ее ест, получило бы", + "option_a": "камень", + "option_b": "полотенца", + "option_c": "тушеное мясо", + "option_d": "кукурузу" + }, + "outputs": "A", + "meta": { + "id": 179 + } + }, + "prompt": "<|im_start|>user\nЕсли бы земля была достаточно маленькой, чтобы положить ее на тарелку и подать на обед, то существо, которое ее ест, получило бы\nA) камень\nB) полотенца\nC) тушеное мясо\nD) кукурузу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006981341168284416, + "B": 0.006981341168284416, + "C": 0.01304286252707243, + "D": 0.9143753051757812 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди, которые будут жить после вас, оценят это, если вы возьмете свои стеклянные бутылки и", + "option_a": "бросите их", + "option_b": "расколотите их", + "option_c": "разобьете их", + "option_d": "повторно используете их" + }, + "outputs": "D", + "meta": { + "id": 353 + } + }, + "prompt": "<|im_start|>user\nЛюди, которые будут жить после вас, оценят это, если вы возьмете свои стеклянные бутылки и\nA) бросите их\nB) расколотите их\nC) разобьете их\nD) повторно используете их\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.33111274242401123, + "B": 0.02717939019203186, + "C": 0.3751998841762543, + "D": 0.20083004236221313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого претерпит моль?", + "option_a": "миграция", + "option_b": "улучшение", + "option_c": "стадия куколки", + "option_d": "хирургическое вмешательство" + }, + "outputs": "C", + "meta": { + "id": 385 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого претерпит моль?\nA. миграция\nB. улучшение\nC. стадия куколки\nD. хирургическое вмешательство\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5136967897415161, + "B": 0.3115728497505188, + "C": 0.061352331191301346, + "D": 0.01757773570716381 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, пострадает в Арктике?", + "option_a": "белый медведь", + "option_b": "пингвин", + "option_c": "лев", + "option_d": "попугай" + }, + "outputs": "C", + "meta": { + "id": 872 + } + }, + "prompt": "<|im_start|>user\nКто, скорее всего, пострадает в Арктике?\nA) белый медведь\nB) пингвин\nC) лев\nD) попугай\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.000691679073497653, + "B": 0.9739567041397095, + "C": 8.79371291375719e-05, + "D": 0.00017488385492470115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит с телом после того, как что-то умирает?", + "option_a": "получает новый шанс", + "option_b": "истлевает", + "option_c": "испытывает свою удачу", + "option_d": "учится магии" + }, + "outputs": "B", + "meta": { + "id": 1417 + } + }, + "prompt": "<|im_start|>user\nЧто происходит с телом после того, как что-то умирает?\nA. получает новый шанс\nB. истлевает\nC. испытывает свою удачу\nD. учится магии\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010083929635584354, + "B": 0.004203607328236103, + "C": 0.9077263474464417, + "D": 0.051210422068834305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отдаленные участки тела существа могут получать питание за счет", + "option_a": "апельсинов", + "option_b": "джинсов", + "option_c": "артерий", + "option_d": "рук" + }, + "outputs": "C", + "meta": { + "id": 1604 + } + }, + "prompt": "<|im_start|>user\nОтдаленные участки тела существа могут получать питание за счет\nA. апельсинов\nB. джинсов\nC. артерий\nD. рук\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.19841919839382172, + "B": 0.03448008373379707, + "C": 0.5393592715263367, + "D": 0.1751043051481247 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Определенное растение встречается", + "option_a": "в некоторых областях", + "option_b": "в космическом пространстве", + "option_c": "нигде", + "option_d": "во всех областях" + }, + "outputs": "A", + "meta": { + "id": 91 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Определенное растение встречается\nA. в некоторых областях\nB. в космическом пространстве\nC. нигде\nD. во всех областях\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8982846736907959, + "B": 0.0013505163369700313, + "C": 0.0003414640377741307, + "D": 0.0007228793110698462 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы выжить, некоторые бабочки развили", + "option_a": "узоры крыльев, которые позволяют им сливаться с листьями", + "option_b": "цепкие пальцы, чтобы хватать ими вещи", + "option_c": "большие крылья, которые делают их более заметными", + "option_d": "громкие голоса, чтобы отпугивать хищников" + }, + "outputs": "A", + "meta": { + "id": 1252 + } + }, + "prompt": "<|im_start|>user\nЧтобы выжить, некоторые бабочки развили\nA. узоры крыльев, которые позволяют им сливаться с листьями\nB. цепкие пальцы, чтобы хватать ими вещи\nC. большие крылья, которые делают их более заметными\nD. громкие голоса, чтобы отпугивать хищников\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8952892422676086, + "B": 0.0008163981256075203, + "C": 0.002514683408662677, + "D": 0.023858651518821716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отражатель используется для отражения", + "option_a": "солнечных лучей", + "option_b": "грязи", + "option_c": "космической пыли", + "option_d": "солнечного тепла" + }, + "outputs": "A", + "meta": { + "id": 701 + } + }, + "prompt": "<|im_start|>user\nОтражатель используется для отражения\nA. солнечных лучей\nB. грязи\nC. космической пыли\nD. солнечного тепла\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7741497159004211, + "B": 0.005216179881244898, + "C": 0.009745107032358646, + "D": 0.11871970444917679 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Умерший теленок со временем", + "option_a": "сморщится", + "option_b": "упадет", + "option_c": "начнет голодать", + "option_d": "распадется" + }, + "outputs": "D", + "meta": { + "id": 955 + } + }, + "prompt": "<|im_start|>user\nУмерший теленок со временем\nA. сморщится\nB. упадет\nC. начнет голодать\nD. распадется\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0005998339038342237, + "B": 0.0026882693637162447, + "C": 0.9570901393890381, + "D": 0.0023723894264549017 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в каком-то районе засуха, что поможет преодолеть нехватку воды?", + "option_a": "еще больше засухи", + "option_b": "ничего", + "option_c": "ливень", + "option_d": "эвакуация в космос" + }, + "outputs": "C", + "meta": { + "id": 1725 + } + }, + "prompt": "<|im_start|>user\nЕсли в каком-то районе засуха, что поможет преодолеть нехватку воды?\nA) еще больше засухи\nB) ничего\nC) ливень\nD) эвакуация в космос\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0020869255531579256, + "B": 3.168828698107973e-05, + "C": 3.373200888745487e-05, + "D": 0.9540269374847412 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Углекислый газ существует там, где он есть, потому что", + "option_a": "его поглощают деревья", + "option_b": "его едят олени", + "option_c": "его используют птицы", + "option_d": "люди его выделяют" + }, + "outputs": "D", + "meta": { + "id": 1585 + } + }, + "prompt": "<|im_start|>user\nУглекислый газ существует там, где он есть, потому что\nA. его поглощают деревья\nB. его едят олени\nC. его используют птицы\nD. люди его выделяют\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6816235780715942, + "B": 0.018164653331041336, + "C": 0.06340087205171585, + "D": 0.13421963155269623 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из какого примера видно, что смять - это измененить что-то из гладкого в многократно и беспорядочно согнутое с помощью физической силы?", + "option_a": "складывание листа бумаги в форму звезды", + "option_b": "разрывание листа бумаги", + "option_c": "раздавливание гладкого жука", + "option_d": "раздавливание пустой жестяной банки в руке" + }, + "outputs": "D", + "meta": { + "id": 1010 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из какого примера видно, что смять - это измененить что-то из гладкого в многократно и беспорядочно согнутое с помощью физической силы?\nA. складывание листа бумаги в форму звезды\nB. разрывание листа бумаги\nC. раздавливание гладкого жука\nD. раздавливание пустой жестяной банки в руке\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006139065604656935, + "B": 0.045361898839473724, + "C": 0.004219314083456993, + "D": 0.9111180901527405 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы хотите увидеть источник солнечного света, посмотрите на", + "option_a": "телевизор", + "option_b": "луну", + "option_c": "вулкан", + "option_d": "желтый карлик" + }, + "outputs": "D", + "meta": { + "id": 800 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы хотите увидеть источник солнечного света, посмотрите на\nA. телевизор\nB. луну\nC. вулкан\nD. желтый карлик\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7378127574920654, + "B": 0.07776489108800888, + "C": 0.04162454977631569, + "D": 0.04162454977631569 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы естественным образом увеличить количество органических веществ в почве, добавьте", + "option_a": "грибы", + "option_b": "подсолнухи", + "option_c": "деревья", + "option_d": "полевых мышей" + }, + "outputs": "A", + "meta": { + "id": 1919 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы естественным образом увеличить количество органических веществ в почве, добавьте\nA) грибы\nB) подсолнухи\nC) деревья\nD) полевых мышей\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10650378465652466, + "B": 0.07319890707731247, + "C": 0.6944919228553772, + "D": 0.05030882731080055 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное не может видеть, ощущая свет?", + "option_a": "треска", + "option_b": "омары", + "option_c": "Южные пещерные раки", + "option_d": "лосось" + }, + "outputs": "C", + "meta": { + "id": 653 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое животное не может видеть, ощущая свет?\nA) треска\nB) омары\nC) Южные пещерные раки\nD) лосось\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004093467723578215, + "B": 0.8839428424835205, + "C": 0.05650857463479042, + "D": 0.004093467723578215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит, когда полушарие отклоняется от солнца?", + "option_a": "Ничего", + "option_b": "Оно охлаждается", + "option_c": "Оно нагревается", + "option_d": "Оно раскаляется" + }, + "outputs": "B", + "meta": { + "id": 1556 + } + }, + "prompt": "<|im_start|>user\nЧто происходит, когда полушарие отклоняется от солнца?\nA) Ничего\nB) Оно охлаждается\nC) Оно нагревается\nD) Оно раскаляется\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5331365466117859, + "B": 0.03862028568983078, + "C": 0.020671946927905083, + "D": 0.32336369156837463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где вы, вероятно, найдете невозобновляемый ресурс?", + "option_a": "лес", + "option_b": "плотина", + "option_c": "солнечная панель", + "option_d": "шахта" + }, + "outputs": "D", + "meta": { + "id": 482 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где вы, вероятно, найдете невозобновляемый ресурс?\nA) лес\nB) плотина\nC) солнечная панель\nD) шахта\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.009161977097392082, + "B": 0.9345470070838928, + "C": 0.0010942419758066535, + "D": 0.0020443133544176817 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы играть с пляжным мячом, вам нужно заполнить его", + "option_a": "льдом", + "option_b": "водой", + "option_c": "газообразным веществом", + "option_d": "маслом" + }, + "outputs": "C", + "meta": { + "id": 183 + } + }, + "prompt": "<|im_start|>user\nЧтобы играть с пляжным мячом, вам нужно заполнить его\nA. льдом\nB. водой\nC. газообразным веществом\nD. маслом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8843910098075867, + "B": 0.0019345975015312433, + "C": 0.00020390507415868342, + "D": 0.003189612179994583 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером потомства, получившего генетический набор от родителей, является", + "option_a": "маленький кротенок", + "option_b": "маленький мешок сахара", + "option_c": "маленькая тележка", + "option_d": "маленький пирожок" + }, + "outputs": "A", + "meta": { + "id": 0 + } + }, + "prompt": "<|im_start|>user\nПримером потомства, получившего генетический набор от родителей, является\nA. маленький кротенок\nB. маленький мешок сахара\nC. маленькая тележка\nD. маленький пирожок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001452772761695087, + "B": 0.00036731851287186146, + "C": 0.0005344452220015228, + "D": 0.9662997126579285 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Компас", + "option_a": "изобретен в 1905 году.", + "option_b": "следит за людьми", + "option_c": "очищает", + "option_d": "ориентирует" + }, + "outputs": "D", + "meta": { + "id": 225 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Компас\nA. изобретен в 1905 году.\nB. следит за людьми\nC. очищает\nD. ориентирует\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01768217235803604, + "B": 0.04806513339281082, + "C": 0.029152974486351013, + "D": 0.8519748449325562 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Плотоядные животные пожирают всеядных, которые поедают", + "option_a": "песок", + "option_b": "камни", + "option_c": "ракообразных", + "option_d": "флору" + }, + "outputs": "D", + "meta": { + "id": 330 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Плотоядные животные пожирают всеядных, которые поедают\nA. песок\nB. камни\nC. ракообразных\nD. флору\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011343491496518254, + "B": 0.00010551090963417664, + "C": 0.9688008427619934, + "D": 0.0008834319887682796 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где обитают арктические животные?", + "option_a": "антарктический вулкан", + "option_b": "тропические джунгли", + "option_c": "холодные места обитания в северном полушарии", + "option_d": "жаркие места сахары" + }, + "outputs": "C", + "meta": { + "id": 84 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где обитают арктические животные?\nA) антарктический вулкан\nB) тропические джунгли\nC) холодные места обитания в северном полушарии\nD) жаркие места сахары\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007224991451948881, + "B": 0.0018267640843987465, + "C": 0.0012555153807625175, + "D": 0.946287214756012 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Унаследованная от моего отца генетическая характеристика:", + "option_a": "кошка", + "option_b": "здание", + "option_c": "велосипед", + "option_d": "форма носа" + }, + "outputs": "D", + "meta": { + "id": 825 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Унаследованная от моего отца генетическая характеристика:\nA. кошка\nB. здание\nC. велосипед\nD. форма носа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.22086647152900696, + "B": 0.2835981547832489, + "C": 0.0434911884367466, + "D": 0.36414724588394165 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Высокие температуры чего могут быть вызваны воздействием тепла?", + "option_a": "Проводник", + "option_b": "Дерево", + "option_c": "Ячейка", + "option_d": "Картон" + }, + "outputs": "A", + "meta": { + "id": 1320 + } + }, + "prompt": "<|im_start|>user\nВысокие температуры чего могут быть вызваны воздействием тепла?\nA) Проводник\nB) Дерево\nC) Ячейка\nD) Картон\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0018314110348001122, + "B": 0.0005945720477029681, + "C": 0.0012587091187015176, + "D": 0.9486943483352661 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что станет средством перемещения электричества?", + "option_a": "сухое полотенце", + "option_b": "деревянный стул", + "option_c": "пластиковое кольцо", + "option_d": "металлический меч" + }, + "outputs": "D", + "meta": { + "id": 2149 + } + }, + "prompt": "<|im_start|>user\nЧто станет средством перемещения электричества?\nA) сухое полотенце\nB) деревянный стул\nC) пластиковое кольцо\nD) металлический меч\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9381312131881714, + "B": 0.0012446941109374166, + "C": 0.0007549451547674835, + "D": 0.0033834294881671667 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше всего поддержит экологически мыслящий человек?", + "option_a": "ветряные мельницы", + "option_b": "нефтедобыча", + "option_c": "гидроразрыв", + "option_d": "добыча газа" + }, + "outputs": "A", + "meta": { + "id": 616 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что больше всего поддержит экологически мыслящий человек?\nA. ветряные мельницы\nB. нефтедобыча\nC. гидроразрыв\nD. добыча газа\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0020627607591450214, + "B": 0.942980170249939, + "C": 0.0023374140728265047, + "D": 0.010475563816726208 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди заблудились в густом лесу, и им нужно найти свой дом. Они знают, что их дом находится на юге, и они направляются на север. Они могут найти дом, используя", + "option_a": "лупу", + "option_b": "компас", + "option_c": "измеритель силы северного ветра", + "option_d": "открытку с Северного полюса" + }, + "outputs": "B", + "meta": { + "id": 1786 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди заблудились в густом лесу, и им нужно найти свой дом. Они знают, что их дом находится на юге, и они направляются на север. Они могут найти дом, используя\nA. лупу\nB. компас\nC. измеритель силы северного ветра\nD. открытку с Северного полюса\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1512266993522644, + "B": 0.043327171355485916, + "C": 0.6777510643005371, + "D": 0.0382361002266407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Школьники часто играют на музыкальном инструменте,", + "option_a": "надевая резиновые ленты с подтяжками", + "option_b": "делая браслеты-цепочки из резинок", + "option_c": "проводя большим пальцем по резинке над картонной коробкой для напитков", + "option_d": "стреляя из рогатки одной рукой" + }, + "outputs": "C", + "meta": { + "id": 1761 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Школьники часто играют на музыкальном инструменте,\nA) надевая резиновые ленты с подтяжками\nB) делая браслеты-цепочки из резинок\nC) проводя большим пальцем по резинке над картонной коробкой для напитков\nD) стреляя из рогатки одной рукой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0004207490128464997, + "B": 0.0008907256997190416, + "C": 0.9767993092536926, + "D": 0.00025519717019051313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы положительно повлиять на окружающую среду", + "option_a": "срубите деревья и кустарники", + "option_b": "управляйте автомобилем, потребляющим газ", + "option_c": "сажайте деревья и кустарники", + "option_d": "используйте плиты и чашки из пенополистирола" + }, + "outputs": "C", + "meta": { + "id": 136 + } + }, + "prompt": "<|im_start|>user\nЧтобы положительно повлиять на окружающую среду\nA) срубите деревья и кустарники\nB) управляйте автомобилем, потребляющим газ\nC) сажайте деревья и кустарники\nD) используйте плиты и чашки из пенополистирола\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8346788883209229, + "B": 0.0020689622033387423, + "C": 0.003010322107002139, + "D": 0.008182904683053493 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Добавление открытого пламени в контейнер с кислотой вызывает", + "option_a": "выброс пара", + "option_b": "пустоту", + "option_c": "понижение температуры", + "option_d": "цикл бездействия" + }, + "outputs": "A", + "meta": { + "id": 1307 + } + }, + "prompt": "<|im_start|>user\nДобавление открытого пламени в контейнер с кислотой вызывает\nA) выброс пара\nB) пустоту\nC) понижение температуры\nD) цикл бездействия\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05727420374751091, + "B": 0.790645956993103, + "C": 0.00995276402682066, + "D": 0.023875439539551735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака Григория, казалось, раздобрела. Он пришел к выводу, что", + "option_a": "собака ходит во сне", + "option_b": "собака слишком увлекалась едой и закусками", + "option_c": "собака слишком много двигалась", + "option_d": "собака отказывалась есть" + }, + "outputs": "B", + "meta": { + "id": 1414 + } + }, + "prompt": "<|im_start|>user\nСобака Григория, казалось, раздобрела. Он пришел к выводу, что\nA) собака ходит во сне\nB) собака слишком увлекалась едой и закусками\nC) собака слишком много двигалась\nD) собака отказывалась есть\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5176494121551514, + "B": 0.03749839961528778, + "C": 0.04814889654517174, + "D": 0.2770777940750122 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Метаморфоз завершается в", + "option_a": "эмбрионе", + "option_b": "зрелом возрасте", + "option_c": "инкубационном яйце", + "option_d": "личинке" + }, + "outputs": "B", + "meta": { + "id": 481 + } + }, + "prompt": "<|im_start|>user\nМетаморфоз завершается в\nA) эмбрионе\nB) зрелом возрасте\nC) инкубационном яйце\nD) личинке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09748759120702744, + "B": 0.03164958581328392, + "C": 0.019196445122361183, + "D": 0.8162536025047302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На некоторых полях обитают невероятные существа, такие как", + "option_a": "скумбрия", + "option_b": "львы", + "option_c": "волки", + "option_d": "большие кролики" + }, + "outputs": "D", + "meta": { + "id": 45 + } + }, + "prompt": "<|im_start|>user\nНа некоторых полях обитают невероятные существа, такие как\nA. скумбрия\nB. львы\nC. волки\nD. большие кролики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04272414743900299, + "B": 0.009533046744763851, + "C": 0.8581374883651733, + "D": 0.03770393133163452 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вам лучше взять с собой воду, если вы собираетесь", + "option_a": "к озеру", + "option_b": "к водохранилищу", + "option_c": "на Луну", + "option_d": "к пруду" + }, + "outputs": "C", + "meta": { + "id": 42 + } + }, + "prompt": "<|im_start|>user\nВам лучше взять с собой воду, если вы собираетесь\nA) к озеру\nB) к водохранилищу\nC) на Луну\nD) к пруду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009278633631765842, + "B": 0.9464462995529175, + "C": 0.00035977165680378675, + "D": 0.010514069348573685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Без фотосинтеза животным, которые полагаются на растения, не повезло бы с этим делом. Про что речь?", + "option_a": "продажа еды", + "option_b": "пропитание", + "option_c": "поцелуи", + "option_d": "ничего" + }, + "outputs": "B", + "meta": { + "id": 1024 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Без фотосинтеза животным, которые полагаются на растения, не повезло бы с этим делом. Про что речь?\nA. продажа еды\nB. пропитание\nC. поцелуи\nD. ничего\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00024825657601468265, + "B": 0.9502333998680115, + "C": 0.0005255592404864728, + "D": 0.0002190856757806614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Таяние ледников", + "option_a": "- это эффект от слишком большого количества белых медведей", + "option_b": "- это эффект от обилия CO2 в окружающей среде", + "option_c": "- это следствие вырубки лесов", + "option_d": "- это эффект насыщения воздуха кислородом" + }, + "outputs": "B", + "meta": { + "id": 390 + } + }, + "prompt": "<|im_start|>user\nТаяние ледников\nA) - это эффект от слишком большого количества белых медведей\nB) - это эффект от обилия CO2 в окружающей среде\nC) - это следствие вырубки лесов\nD) - это эффект насыщения воздуха кислородом\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.47409936785697937, + "B": 0.0098396185785532, + "C": 0.25376710295677185, + "D": 0.1198710948228836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Заболевания предотвращаются за счет уменьшения содержания в пище", + "option_a": "клетчатки", + "option_b": "белков", + "option_c": "опасных организмов", + "option_d": "жиров" + }, + "outputs": "C", + "meta": { + "id": 1653 + } + }, + "prompt": "<|im_start|>user\nЗаболевания предотвращаются за счет уменьшения содержания в пище\nA. клетчатки\nB. белков\nC. опасных организмов\nD. жиров\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9080519080162048, + "B": 0.00693306140601635, + "C": 0.002550531178712845, + "D": 0.010087545961141586 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Серфингисты любят именно такие волны", + "option_a": "высокие", + "option_b": "грязевые", + "option_c": "низкие", + "option_d": "землистые" + }, + "outputs": "A", + "meta": { + "id": 2057 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Серфингисты любят именно такие волны\nA. высокие\nB. грязевые\nC. низкие\nD. землистые\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009138320572674274, + "B": 0.9321339726448059, + "C": 0.0026181726716458797, + "D": 0.0010914165759459138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чертополох на участке становится больше, когда увеличивается:", + "option_a": "количество дрожжей", + "option_b": "влажность", + "option_c": "количество муки", + "option_d": "производство молока" + }, + "outputs": "B", + "meta": { + "id": 1838 + } + }, + "prompt": "<|im_start|>user\nЧертополох на участке становится больше, когда увеличивается:\nA. количество дрожжей\nB. влажность\nC. количество муки\nD. производство молока\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.0639374777674675, + "B": 0.6873927116394043, + "C": 0.15337805449962616, + "D": 0.030201928690075874 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сжигание природного газа может", + "option_a": "создать уют холодной ночью", + "option_b": "сохранить ценные ресурсы планеты", + "option_c": "помочь охладить планету", + "option_d": "сохранить машину, работающую на морозе" + }, + "outputs": "A", + "meta": { + "id": 1296 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сжигание природного газа может\nA. создать уют холодной ночью\nB. сохранить ценные ресурсы планеты\nC. помочь охладить планету\nD. сохранить машину, работающую на морозе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03706861287355423, + "B": 0.012034415267407894, + "C": 0.04759703949093819, + "D": 0.8436776995658875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Малиновки часто пожирают", + "option_a": "камни", + "option_b": "дерево", + "option_c": "клей", + "option_d": "кузнечиков" + }, + "outputs": "D", + "meta": { + "id": 1949 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Малиновки часто пожирают\nA) камни\nB) дерево\nC) клей\nD) кузнечиков\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.004870633129030466, + "B": 0.1108551025390625, + "C": 0.8191145658493042, + "D": 0.01168404147028923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Переключатели могут использоваться для прекращения подачи электрической энергии, например, когда", + "option_a": "холодильник работает громко", + "option_b": "нажата кнопка и вентилятор перестает вращаться", + "option_c": "морозильная камера выключается при отключении электроэнергии", + "option_d": "свет оставили включенным" + }, + "outputs": "B", + "meta": { + "id": 343 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Переключатели могут использоваться для прекращения подачи электрической энергии, например, когда\nA. холодильник работает громко\nB. нажата кнопка и вентилятор перестает вращаться\nC. морозильная камера выключается при отключении электроэнергии\nD. свет оставили включенным\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0007843892090022564, + "B": 3.9052432839525864e-05, + "C": 0.00010615553765092045, + "D": 0.974719762802124 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Телескоп использует то, что пропускает свет. Что именно?", + "option_a": "деньги", + "option_b": "людей", + "option_c": "лазеры", + "option_d": "прозрачное стекло" + }, + "outputs": "D", + "meta": { + "id": 2303 + } + }, + "prompt": "<|im_start|>user\nТелескоп использует то, что пропускает свет. Что именно?\nA. деньги\nB. людей\nC. лазеры\nD. прозрачное стекло\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.05047733709216118, + "B": 0.008771645836532116, + "C": 0.0019572186283767223, + "D": 0.8947321772575378 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В нескольких милях выше экватора люди разных вероисповеданий отмечают праздники в", + "option_a": "больше месяцев", + "option_b": "восточные месяцы", + "option_c": "холодные месяцы", + "option_d": "теплые месяцы" + }, + "outputs": "C", + "meta": { + "id": 2230 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В нескольких милях выше экватора люди разных вероисповеданий отмечают праздники в\nA. больше месяцев\nB. восточные месяцы\nC. холодные месяцы\nD. теплые месяцы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1479005515575409, + "B": 0.012140417471528053, + "C": 0.751101016998291, + "D": 0.025701263919472694 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из объектов притянет магнит в карман студента?", + "option_a": "кусок бумаги с надписью «магнит»", + "option_b": "кусок резинки", + "option_c": "старый штифт степлера", + "option_d": "кусок курицы" + }, + "outputs": "C", + "meta": { + "id": 927 + } + }, + "prompt": "<|im_start|>user\nКакой из объектов притянет магнит в карман студента?\nA) кусок бумаги с надписью «магнит»\nB) кусок резинки\nC) старый штифт степлера\nD) кусок курицы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.7401003241539001, + "B": 0.10016168653964996, + "C": 0.0020787897519767284, + "D": 0.036847423762083054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто будет иметь возможность для переноса воды, впитанной из грязи, к остальным частям своего тела?", + "option_a": "коровы, которых едят люди", + "option_b": "розы, которые ест панда", + "option_c": "сверчки, которые едят совы", + "option_d": "курица, которую едят кошки" + }, + "outputs": "B", + "meta": { + "id": 1903 + } + }, + "prompt": "<|im_start|>user\nКто будет иметь возможность для переноса воды, впитанной из грязи, к остальным частям своего тела?\nA) коровы, которых едят люди\nB) розы, которые ест панда\nC) сверчки, которые едят совы\nD) курица, которую едят кошки\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1384229063987732, + "B": 0.7965688705444336, + "C": 0.0011975928209722042, + "D": 0.010027322918176651 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди переходят на электромобили, потому что автомобили, работающие на бензине,", + "option_a": "шумят", + "option_b": "загрязняют воздух", + "option_c": "ничто", + "option_d": "не очищают воздух" + }, + "outputs": "B", + "meta": { + "id": 830 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди переходят на электромобили, потому что автомобили, работающие на бензине,\nA. шумят\nB. загрязняют воздух\nC. ничто\nD. не очищают воздух\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7564373016357422, + "B": 0.09034354984760284, + "C": 0.03766079246997833, + "D": 0.029330255463719368 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше всего повлияет на барометр?", + "option_a": "ураганный ветер", + "option_b": "гром", + "option_c": "легкий ветерок", + "option_d": "молния" + }, + "outputs": "A", + "meta": { + "id": 803 + } + }, + "prompt": "<|im_start|>user\nЧто больше всего повлияет на барометр?\nA. ураганный ветер\nB. гром\nC. легкий ветерок\nD. молния\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32846972346305847, + "B": 0.32846972346305847, + "C": 0.0163535438477993, + "D": 0.25581246614456177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы, вероятно, найдете наименьшее количество животных", + "option_a": "в Арктике", + "option_b": "в тропических лесах Амазонки", + "option_c": "в африканской саванне", + "option_d": "в Тихом океане" + }, + "outputs": "A", + "meta": { + "id": 1174 + } + }, + "prompt": "<|im_start|>user\nВы, вероятно, найдете наименьшее количество животных\nA. в Арктике\nB. в тропических лесах Амазонки\nC. в африканской саванне\nD. в Тихом океане\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8139256834983826, + "B": 0.00904189795255661, + "C": 0.05203252658247948, + "D": 0.019141698256134987 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Болезнь может", + "option_a": "укрепить организм", + "option_b": "устранить организм", + "option_c": "испытать организм", + "option_d": "съесть организм" + }, + "outputs": "B", + "meta": { + "id": 485 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Болезнь может\nA) укрепить организм\nB) устранить организм\nC) испытать организм\nD) съесть организм\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4139605760574341, + "B": 0.011031675152480602, + "C": 0.3223928213119507, + "D": 0.15228760242462158 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После выхода из спортзала, какова была частота пульса у мужчины?", + "option_a": "в пределах нормы", + "option_b": "ниже нормы", + "option_c": "выше нормы", + "option_d": "колебалась" + }, + "outputs": "C", + "meta": { + "id": 884 + } + }, + "prompt": "<|im_start|>user\nПосле выхода из спортзала, какова была частота пульса у мужчины?\nA) в пределах нормы\nB) ниже нормы\nC) выше нормы\nD) колебалась\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14086608588695526, + "B": 0.5571361780166626, + "C": 0.006189224310219288, + "D": 0.232248917222023 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гвоздь может прилипнуть к металлу после того, как он получит", + "option_a": "воду", + "option_b": "электричество", + "option_c": "свет", + "option_d": "незначительное тепло" + }, + "outputs": "B", + "meta": { + "id": 622 + } + }, + "prompt": "<|im_start|>user\nГвоздь может прилипнуть к металлу после того, как он получит\nA. воду\nB. электричество\nC. свет\nD. незначительное тепло\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.015962103381752968, + "B": 0.4664810299873352, + "C": 0.005872129462659359, + "D": 0.4664810299873352 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков был бы пример силы, действующей на объект в направлении, противоположном движению объекта, что привело бы к уменьшению скорости этого объекта?", + "option_a": "семь пчел летят на север, а машина едет на запад", + "option_b": "машина едет на север при сильном южном ветре", + "option_c": "машина едет на восток, но солнце встает на востоке", + "option_d": "машина едет на запад, а человек толкает ее на юг" + }, + "outputs": "B", + "meta": { + "id": 1345 + } + }, + "prompt": "<|im_start|>user\nКаков был бы пример силы, действующей на объект в направлении, противоположном движению объекта, что привело бы к уменьшению скорости этого объекта?\nA. семь пчел летят на север, а машина едет на запад\nB. машина едет на север при сильном южном ветре\nC. машина едет на восток, но солнце встает на востоке\nD. машина едет на запад, а человек толкает ее на юг\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030553010292351246, + "B": 0.0002841872628778219, + "C": 0.0004134899936616421, + "D": 0.9599469900131226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником невозобновляемого ресурса?", + "option_a": "дождь", + "option_b": "ветер", + "option_c": "солнце", + "option_d": "залежи нефти" + }, + "outputs": "D", + "meta": { + "id": 2071 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является источником невозобновляемого ресурса?\nA. дождь\nB. ветер\nC. солнце\nD. залежи нефти\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.000475337787065655, + "B": 0.0004194841021671891, + "C": 0.9738627076148987, + "D": 0.0006103457417339087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Точка плавления означает температуру, при которой что твердое вещество делает?", + "option_a": "летает", + "option_b": "плавает", + "option_c": "тает", + "option_d": "тонет" + }, + "outputs": "C", + "meta": { + "id": 1259 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Точка плавления означает температуру, при которой что твердое вещество делает?\nA) летает\nB) плавает\nC) тает\nD) тонет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.365772008895874, + "B": 0.322792649269104, + "C": 0.009747494012117386, + "D": 0.22185194492340088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто может жить в зоопарке?", + "option_a": "палочник", + "option_b": "белые мухи", + "option_c": "сузафон", + "option_d": "Пикассо" + }, + "outputs": "A", + "meta": { + "id": 2141 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто может жить в зоопарке?\nA. палочник\nB. белые мухи\nC. сузафон\nD. Пикассо\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.040643155574798584, + "B": 0.08604156225919724, + "C": 0.014951782301068306, + "D": 0.8163396120071411 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вращается вокруг своей оси?", + "option_a": "океаны", + "option_b": "шар голубой", + "option_c": "ветры", + "option_d": "люди" + }, + "outputs": "B", + "meta": { + "id": 644 + } + }, + "prompt": "<|im_start|>user\nЧто вращается вокруг своей оси?\nA. океаны\nB. шар голубой\nC. ветры\nD. люди\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.12208468466997147, + "B": 0.7960920929908752, + "C": 0.006078237667679787, + "D": 0.0053640264086425304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как соотносятся частота вибрации материи и высота испускаемого звука?", + "option_a": "оба значения имеют прямую пропорциональность", + "option_b": "оба значения обратно пропорциональны", + "option_c": "оба значения не связаны", + "option_d": "ни одно из этих значений не существует" + }, + "outputs": "A", + "meta": { + "id": 1669 + } + }, + "prompt": "<|im_start|>user\nКак соотносятся частота вибрации материи и высота испускаемого звука?\nA. оба значения имеют прямую пропорциональность\nB. оба значения обратно пропорциональны\nC. оба значения не связаны\nD. ни одно из этих значений не существует\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004917677026242018, + "B": 0.9371433258056641, + "C": 0.0007541501545347273, + "D": 0.0055724577978253365 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Местные сорта растений лучше всего подходят для улучшения местного", + "option_a": "социального статуса", + "option_b": "состояния окружающей среды", + "option_c": "спутникового приема", + "option_d": "будущего" + }, + "outputs": "B", + "meta": { + "id": 656 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Местные сорта растений лучше всего подходят для улучшения местного\nA) социального статуса\nB) состояния окружающей среды\nC) спутникового приема\nD) будущего\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004379321821033955, + "B": 0.00927102379500866, + "C": 0.9456700682640076, + "D": 0.0016110624419525266 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплопроводник состоит из", + "option_a": "пяти типов резины", + "option_b": "трех типов проволоки", + "option_c": "веществ, которые проводят тепло", + "option_d": "электродов" + }, + "outputs": "C", + "meta": { + "id": 1765 + } + }, + "prompt": "<|im_start|>user\nТеплопроводник состоит из\nA) пяти типов резины\nB) трех типов проволоки\nC) веществ, которые проводят тепло\nD) электродов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2605087161064148, + "B": 0.6249279379844666, + "C": 0.024231085553765297, + "D": 0.004210731480270624 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая единица измерения в России будет наиболее сопоставима с метрической системой мер?", + "option_a": "Аршин", + "option_b": "Литр", + "option_c": "Ведро", + "option_d": "Рубль" + }, + "outputs": "B", + "meta": { + "id": 1881 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая единица измерения в России будет наиболее сопоставима с метрической системой мер?\nA) Аршин\nB) Литр\nC) Ведро\nD) Рубль\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008131617680191994, + "B": 0.0043525416404008865, + "C": 0.9398872256278992, + "D": 0.006332910154014826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Последней стадией круговорота воды является сток воды в реки, моря, океаны, за которым следует испарение, когда вода превращается в пар. Что произойдет дальше?", + "option_a": "круговорот воды нарушается", + "option_b": "круговорот воды останавливается", + "option_c": "круговорот воды повторяется", + "option_d": "круговорот воды становится круговоротом огня" + }, + "outputs": "C", + "meta": { + "id": 1202 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Последней стадией круговорота воды является сток воды в реки, моря, океаны, за которым следует испарение, когда вода превращается в пар. Что произойдет дальше?\nA) круговорот воды нарушается\nB) круговорот воды останавливается\nC) круговорот воды повторяется\nD) круговорот воды становится круговоротом огня\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5533618330955505, + "B": 0.016710080206394196, + "C": 0.013013823889195919, + "D": 0.3356309235095978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человека охлаждает жидкость, идущая из", + "option_a": "кожи", + "option_b": "глаз", + "option_c": "волос", + "option_d": "одежды" + }, + "outputs": "A", + "meta": { + "id": 1491 + } + }, + "prompt": "<|im_start|>user\nЧеловека охлаждает жидкость, идущая из\nA. кожи\nB. глаз\nC. волос\nD. одежды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.18332356214523315, + "B": 0.26673421263694763, + "C": 0.18332356214523315, + "D": 0.26673421263694763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного может быть причиной того, что животные массово покидают среду обитания?", + "option_a": "Хищники", + "option_b": "Температура", + "option_c": "Ураган", + "option_d": "Болезнь" + }, + "outputs": "C", + "meta": { + "id": 728 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из перечисленного может быть причиной того, что животные массово покидают среду обитания?\nA) Хищники\nB) Температура\nC) Ураган\nD) Болезнь\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05015227571129799, + "B": 0.005286010447889566, + "C": 0.0024969347286969423, + "D": 0.8889702558517456 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могло бы вызвать травму у ребенка?", + "option_a": "ванна", + "option_b": "соска", + "option_c": "бутылка", + "option_d": "оса" + }, + "outputs": "D", + "meta": { + "id": 2272 + } + }, + "prompt": "<|im_start|>user\nЧто могло бы вызвать травму у ребенка?\nA. ванна\nB. соска\nC. бутылка\nD. оса\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.0008851892198435962, + "B": 0.0024061938747763634, + "C": 0.9707278609275818, + "D": 0.0011366053950041533 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мокрый снег состоит из воды, которая", + "option_a": "стала паром", + "option_b": "охлаждена", + "option_c": "находится в жидком состоянии", + "option_d": "горяча" + }, + "outputs": "B", + "meta": { + "id": 1655 + } + }, + "prompt": "<|im_start|>user\nМокрый снег состоит из воды, которая\nA. стала паром\nB. охлаждена\nC. находится в жидком состоянии\nD. горяча\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007311967201530933, + "B": 0.0006801189156249166, + "C": 0.000989567139185965, + "D": 0.9576787352561951 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Через что летит самолет?", + "option_a": "время", + "option_b": "равнины", + "option_c": "океаны", + "option_d": "слои газа" + }, + "outputs": "D", + "meta": { + "id": 607 + } + }, + "prompt": "<|im_start|>user\nЧерез что летит самолет?\nA. время\nB. равнины\nC. океаны\nD. слои газа\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.37322670221328735, + "B": 0.37322670221328735, + "C": 0.023859582841396332, + "D": 0.1373024433851242 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Самый длинный световой день - через два месяца после", + "option_a": "октября", + "option_b": "апреля", + "option_c": "января", + "option_d": "июля" + }, + "outputs": "B", + "meta": { + "id": 193 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Самый длинный световой день - через два месяца после\nA. октября\nB. апреля\nC. января\nD. июля\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011593776755034924, + "B": 0.009029243141412735, + "C": 0.0054765124805271626, + "D": 0.9210078120231628 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если двуногий, использующий инструменты, находится в идеальной среде обитания, внутри среды будут", + "option_a": "акулы", + "option_b": "ледники", + "option_c": "выбоины", + "option_d": "комнаты" + }, + "outputs": "D", + "meta": { + "id": 1326 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если двуногий, использующий инструменты, находится в идеальной среде обитания, внутри среды будут\nA) акулы\nB) ледники\nC) выбоины\nD) комнаты\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.03575793653726578, + "B": 0.00797867402434349, + "C": 0.9222093224525452, + "D": 0.0006549294339492917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Точка замерзания относится к:", + "option_a": "температуре, ниже которой газ превращается в жидкость", + "option_b": "температуре, ниже которой жидкость перестает быть жидкостью", + "option_c": "температуре, ниже которой твердое вещество превращается в жидкость", + "option_d": "температуре, выше которой жидкость перестает быть жидкостью" + }, + "outputs": "B", + "meta": { + "id": 1097 + } + }, + "prompt": "<|im_start|>user\nТочка замерзания относится к:\nA) температуре, ниже которой газ превращается в жидкость\nB) температуре, ниже которой жидкость перестает быть жидкостью\nC) температуре, ниже которой твердое вещество превращается в жидкость\nD) температуре, выше которой жидкость перестает быть жидкостью\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.019885921850800514, + "B": 0.7462137341499329, + "C": 0.1144355908036232, + "D": 0.04770384728908539 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько рецепторов запаха у медоносных пчел?", + "option_a": "4", + "option_b": "270", + "option_c": "170", + "option_d": "70" + }, + "outputs": "C", + "meta": { + "id": 630 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько рецепторов запаха у медоносных пчел?\nA) 4\nB) 270\nC) 170\nD) 70\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004411215428262949, + "B": 0.0012638343032449484, + "C": 0.00030018697725608945, + "D": 0.9525572657585144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет добавить укроп в свой бургер на ужин, причем только что", + "option_a": "с лесопилки", + "option_b": "от коровы", + "option_c": "из школы", + "option_d": "с грядки" + }, + "outputs": "D", + "meta": { + "id": 2027 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек хочет добавить укроп в свой бургер на ужин, причем только что\nA. с лесопилки\nB. от коровы\nC. из школы\nD. с грядки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.35959962010383606, + "B": 0.35959962010383606, + "C": 0.132289320230484, + "D": 0.055146388709545135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какое время года у вас больше всего времени, чтобы нарисовать природу на улице?", + "option_a": "Весна", + "option_b": "Осень", + "option_c": "Лето", + "option_d": "Зима" + }, + "outputs": "C", + "meta": { + "id": 477 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какое время года у вас больше всего времени, чтобы нарисовать природу на улице?\nA. Весна\nB. Осень\nC. Лето\nD. Зима\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8594218492507935, + "B": 0.020211664959788322, + "C": 0.0006916051497682929, + "D": 0.015740860253572464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После долгой зимней спячки медведица и два ее детеныша выходят из пещеры и начинают искать пищу. Первое место, которое они проверяют, это", + "option_a": "ягодные кусты", + "option_b": "куча грязи", + "option_c": "сухие палки", + "option_d": "мертвые листья" + }, + "outputs": "A", + "meta": { + "id": 1011 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: После долгой зимней спячки медведица и два ее детеныша выходят из пещеры и начинают искать пищу. Первое место, которое они проверяют, это\nA) ягодные кусты\nB) куча грязи\nC) сухие палки\nD) мертвые листья\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0013040713965892792, + "B": 0.0007909592823125422, + "C": 0.9828841090202332, + "D": 0.000373622722690925 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечный свет выделяет тепло, которое заставляет", + "option_a": "собак лаять", + "option_b": "камни формироваться", + "option_c": "тела нагреваться", + "option_d": "пластик формироваться" + }, + "outputs": "C", + "meta": { + "id": 1624 + } + }, + "prompt": "<|im_start|>user\nСолнечный свет выделяет тепло, которое заставляет\nA) собак лаять\nB) камни формироваться\nC) тела нагреваться\nD) пластик формироваться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.042407482862472534, + "B": 0.00835052877664566, + "C": 0.042407482862472534, + "D": 0.8517770767211914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы уничтожить неудобное доказательство, вы можете", + "option_a": "разместить его на чучеле кита", + "option_b": "опубликовать его в социальной сети", + "option_c": "выбросить его в мусорное ведро", + "option_d": "бросить его в лаву" + }, + "outputs": "D", + "meta": { + "id": 289 + } + }, + "prompt": "<|im_start|>user\nЧтобы уничтожить неудобное доказательство, вы можете\nA) разместить его на чучеле кита\nB) опубликовать его в социальной сети\nC) выбросить его в мусорное ведро\nD) бросить его в лаву\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.05567080155014992, + "B": 0.029798433184623718, + "C": 0.005867659579962492, + "D": 0.8708378672599792 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Через много-много лет накопление тепла и давления может превратить останки динозавра во что-то, что может", + "option_a": "привести в движение мотоциклы", + "option_b": "растопить луну", + "option_c": "вырастить кукурузу", + "option_d": "быть полезной приправой к маслу" + }, + "outputs": "A", + "meta": { + "id": 23 + } + }, + "prompt": "<|im_start|>user\nЧерез много-много лет накопление тепла и давления может превратить останки динозавра во что-то, что может\nA) привести в движение мотоциклы\nB) растопить луну\nC) вырастить кукурузу\nD) быть полезной приправой к маслу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002622779691591859, + "B": 0.9337741732597351, + "C": 0.00035495462361723185, + "D": 0.0002764389500953257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если взять куриную ножку из морозильной камеры и положить ее на кухонный стол, она", + "option_a": "умрет", + "option_b": "разморозится", + "option_c": "замерзнет", + "option_d": "вызовет коррозию" + }, + "outputs": "B", + "meta": { + "id": 1422 + } + }, + "prompt": "<|im_start|>user\nЕсли взять куриную ножку из морозильной камеры и положить ее на кухонный стол, она\nA) умрет\nB) разморозится\nC) замерзнет\nD) вызовет коррозию\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.015374157577753067, + "B": 0.041791290044784546, + "C": 0.8394005298614502, + "D": 0.041791290044784546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я использую резец, отсекая лишнее, чтобы сделать скульптуру из", + "option_a": "стакана воды", + "option_b": "ведра с песком", + "option_c": "каменной глыбы", + "option_d": "мешка с воздухом" + }, + "outputs": "C", + "meta": { + "id": 422 + } + }, + "prompt": "<|im_start|>user\nЯ использую резец, отсекая лишнее, чтобы сделать скульптуру из\nA. стакана воды\nB. ведра с песком\nC. каменной глыбы\nD. мешка с воздухом\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007787083741277456, + "B": 0.7943040728569031, + "C": 0.0005640944000333548, + "D": 0.15640772879123688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где также существуют питательные вещества в почве?", + "option_a": "в воздухе", + "option_b": "в пищевых отходах организмов", + "option_c": "в сарае", + "option_d": "в воде" + }, + "outputs": "B", + "meta": { + "id": 1953 + } + }, + "prompt": "<|im_start|>user\nГде также существуют питательные вещества в почве?\nA. в воздухе\nB. в пищевых отходах организмов\nC. в сарае\nD. в воде\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5125513672828674, + "B": 0.025518428534269333, + "C": 0.03276630863547325, + "D": 0.35227105021476746 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого из них было бы труднее всего заметить в лесу?", + "option_a": "взрослый бронтозавр", + "option_b": "белый медведь", + "option_c": "воробьиный сыч", + "option_d": "большой самолет" + }, + "outputs": "C", + "meta": { + "id": 874 + } + }, + "prompt": "<|im_start|>user\nКого из них было бы труднее всего заметить в лесу?\nA. взрослый бронтозавр\nB. белый медведь\nC. воробьиный сыч\nD. большой самолет\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8896291851997375, + "B": 0.009882887825369835, + "C": 0.0005575543036684394, + "D": 0.011198778636753559 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы видите, что вокруг ходит мохнатое существо. Какой набор черт вероятнее всего описал бы это животное?", + "option_a": "рогатый, теплокровный, голодный, живой", + "option_b": "холодный, хладнокровный, голодный, живой", + "option_c": "мертвый, хладнокровный и чешуйчатый", + "option_d": "теплый, теплокровный, а также мертвый" + }, + "outputs": "A", + "meta": { + "id": 700 + } + }, + "prompt": "<|im_start|>user\nВы видите, что вокруг ходит мохнатое существо. Какой набор черт вероятнее всего описал бы это животное?\nA) рогатый, теплокровный, голодный, живой\nB) холодный, хладнокровный, голодный, живой\nC) мертвый, хладнокровный и чешуйчатый\nD) теплый, теплокровный, а также мертвый\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0004620021500159055, + "B": 0.0002802184608299285, + "C": 0.946540892124176, + "D": 0.0007617127266712487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые фермеры зарабатывают очень хорошо, потому что выращиваемые ими культуры продаются большому количеству людей для", + "option_a": "скармливания Марсу", + "option_b": "гравитации", + "option_c": "пропитания", + "option_d": "металла" + }, + "outputs": "C", + "meta": { + "id": 1582 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые фермеры зарабатывают очень хорошо, потому что выращиваемые ими культуры продаются большому количеству людей для\nA) скармливания Марсу\nB) гравитации\nC) пропитания\nD) металла\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.09410461038351059, + "B": 0.7879282236099243, + "C": 0.0017235861159861088, + "D": 0.06467708945274353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как мы можем увидеть, что преломление солнечного света заставляет свет расщепляться на разные цвета?", + "option_a": "установить алмаз на пути луча света в ясный день", + "option_b": "позволить солнечному свету попасть в разбитое зеркало", + "option_c": "направить свет в зеркало", + "option_d": "направить фонарик на разбитое стекло на полу" + }, + "outputs": "A", + "meta": { + "id": 578 + } + }, + "prompt": "<|im_start|>user\nКак мы можем увидеть, что преломление солнечного света заставляет свет расщепляться на разные цвета?\nA. установить алмаз на пути луча света в ясный день\nB. позволить солнечному свету попасть в разбитое зеркало\nC. направить свет в зеркало\nD. направить фонарик на разбитое стекло на полу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5494025349617004, + "B": 0.003266866784542799, + "C": 0.010062658227980137, + "D": 0.37759846448898315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Видом, которая является производителем в пищевой цепи, скорее всего, будет", + "option_a": "кальмар", + "option_b": "ястреб", + "option_c": "мышь", + "option_d": "клевер" + }, + "outputs": "D", + "meta": { + "id": 416 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Видом, которая является производителем в пищевой цепи, скорее всего, будет\nA. кальмар\nB. ястреб\nC. мышь\nD. клевер\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.022272681817412376, + "B": 0.03672144562005997, + "C": 0.8357762098312378, + "D": 0.02523825503885746 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые куколки могут", + "option_a": "использовать влажные полотенца", + "option_b": "наслаждаться живописью", + "option_c": "уйти в песок", + "option_d": "есть конфеты" + }, + "outputs": "C", + "meta": { + "id": 2219 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые куколки могут\nA) использовать влажные полотенца\nB) наслаждаться живописью\nC) уйти в песок\nD) есть конфеты\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004294573795050383, + "B": 0.021809643134474754, + "C": 0.0005812072777189314, + "D": 0.9273695945739746 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда капли замерзают, падая с высоты, они становятся", + "option_a": "ураганом", + "option_b": "моросью", + "option_c": "торнадо", + "option_d": "мокрым снегом" + }, + "outputs": "D", + "meta": { + "id": 939 + } + }, + "prompt": "<|im_start|>user\nКогда капли замерзают, падая с высоты, они становятся\nA) ураганом\nB) моросью\nC) торнадо\nD) мокрым снегом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005682927090674639, + "B": 0.9557214379310608, + "C": 0.000598976097535342, + "D": 0.0008715051808394492 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с большей вероятностью вызвало загрязнение воздуха?", + "option_a": "оно возникло само по себе", + "option_b": "действие бизнеса", + "option_c": "ураган", + "option_d": "стая птиц" + }, + "outputs": "B", + "meta": { + "id": 2250 + } + }, + "prompt": "<|im_start|>user\nЧто с большей вероятностью вызвало загрязнение воздуха?\nA. оно возникло само по себе\nB. действие бизнеса\nC. ураган\nD. стая птиц\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.06401418149471283, + "B": 0.030238157138228416, + "C": 0.47300440073013306, + "D": 0.3683761954307556 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это существо ест сыр и не может откладывать яйца", + "option_a": "мышь", + "option_b": "кролик", + "option_c": "краб", + "option_d": "рыба" + }, + "outputs": "A", + "meta": { + "id": 1487 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это существо ест сыр и не может откладывать яйца\nA) мышь\nB) кролик\nC) краб\nD) рыба\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.017217449843883514, + "B": 0.008132947608828545, + "C": 0.9400408864021301, + "D": 0.007177300285547972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, избегающий ультрафиолетовых лучей, будет", + "option_a": "собирать ракушки на пляже", + "option_b": "загорать во дворе", + "option_c": "закрывать жалюзи в спальне", + "option_d": "копать траншею на открытом воздухе" + }, + "outputs": "C", + "meta": { + "id": 749 + } + }, + "prompt": "<|im_start|>user\nЧеловек, избегающий ультрафиолетовых лучей, будет\nA) собирать ракушки на пляже\nB) загорать во дворе\nC) закрывать жалюзи в спальне\nD) копать траншею на открытом воздухе\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.1625179797410965, + "B": 0.05276186764240265, + "C": 0.0117727629840374, + "D": 0.7283550500869751 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Продукт чего может перемещаться в вакууме?", + "option_a": "Сириус", + "option_b": "нефтяная скважина", + "option_c": "вулкан", + "option_d": "айсберг" + }, + "outputs": "A", + "meta": { + "id": 1117 + } + }, + "prompt": "<|im_start|>user\nПродукт чего может перемещаться в вакууме?\nA) Сириус\nB) нефтяная скважина\nC) вулкан\nD) айсберг\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.28170889616012573, + "B": 0.5263014435768127, + "C": 0.01589292660355568, + "D": 0.07122715562582016 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растение производит меньше фотосинтеза в", + "option_a": "сентябре", + "option_b": "декабре", + "option_c": "марте", + "option_d": "июне" + }, + "outputs": "B", + "meta": { + "id": 2166 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растение производит меньше фотосинтеза в\nA) сентябре\nB) декабре\nC) марте\nD) июне\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.019265661016106606, + "B": 0.07619716227054596, + "C": 0.021830853074789047, + "D": 0.8191967010498047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Притяжение может быть магнитным, если", + "option_a": "два металла помещены вместе", + "option_b": "два металла обладают магнитными свойствами", + "option_c": "никель находится в металлическом стержне", + "option_d": "железо и никель находятся в чаше" + }, + "outputs": "B", + "meta": { + "id": 1778 + } + }, + "prompt": "<|im_start|>user\nПритяжение может быть магнитным, если\nA) два металла помещены вместе\nB) два металла обладают магнитными свойствами\nC) никель находится в металлическом стержне\nD) железо и никель находятся в чаше\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.89640212059021, + "B": 0.0009262501844204962, + "C": 0.00038611851050518453, + "D": 0.0013476860476657748 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Палеонтологи изучают", + "option_a": "фекалии древних животных", + "option_b": "современную траву", + "option_c": "звезды", + "option_d": "кошек" + }, + "outputs": "A", + "meta": { + "id": 2121 + } + }, + "prompt": "<|im_start|>user\nПалеонтологи изучают\nA. фекалии древних животных\nB. современную траву\nC. звезды\nD. кошек\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011539377272129059, + "B": 0.14057840406894684, + "C": 0.23177459836006165, + "D": 0.5559983849525452 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сильное атмосферное движение желательно, если у вас", + "option_a": "бумажные тарелки", + "option_b": "идеальные волосы", + "option_c": "матч по бадминтону", + "option_d": "ветряк" + }, + "outputs": "D", + "meta": { + "id": 996 + } + }, + "prompt": "<|im_start|>user\nСильное атмосферное движение желательно, если у вас\nA) бумажные тарелки\nB) идеальные волосы\nC) матч по бадминтону\nD) ветряк\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.18073056638240814, + "B": 0.5566893219947815, + "C": 0.1407531052827835, + "D": 0.027715928852558136 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы вы пропустили зиму, сколько сезонов вам пришлось бы ждать, чтобы увидеть ее снова", + "option_a": "4", + "option_b": "36", + "option_c": "12", + "option_d": "1" + }, + "outputs": "A", + "meta": { + "id": 1412 + } + }, + "prompt": "<|im_start|>user\nЕсли бы вы пропустили зиму, сколько сезонов вам пришлось бы ждать, чтобы увидеть ее снова\nA) 4\nB) 36\nC) 12\nD) 1\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5394840836524963, + "B": 0.3272136449813843, + "C": 0.00871994812041521, + "D": 0.04428355023264885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих животных являются живородящими?", + "option_a": "птицееды", + "option_b": "дикие кошки", + "option_c": "грифы", + "option_d": "анаконды" + }, + "outputs": "B", + "meta": { + "id": 1703 + } + }, + "prompt": "<|im_start|>user\nКакие из этих животных являются живородящими?\nA) птицееды\nB) дикие кошки\nC) грифы\nD) анаконды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.16615410149097443, + "B": 0.11419592797756195, + "C": 0.6571522355079651, + "D": 0.0011195376282557845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если новый автомобиль человека можно зарядить на зарядной станции, как это называется?", + "option_a": "все эти варианты верны", + "option_b": "аккумуляторные батареи", + "option_c": "электромобиль", + "option_d": "альтернативное топливо" + }, + "outputs": "A", + "meta": { + "id": 268 + } + }, + "prompt": "<|im_start|>user\nЕсли новый автомобиль человека можно зарядить на зарядной станции, как это называется?\nA) все эти варианты верны\nB) аккумуляторные батареи\nC) электромобиль\nD) альтернативное топливо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0023149633780121803, + "B": 0.0001152552358689718, + "C": 0.00016769536887295544, + "D": 0.9339228272438049 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобильный двигатель обычно преобразует бензин в движение и тепло через что?", + "option_a": "воздух", + "option_b": "острый перец", + "option_c": "воду", + "option_d": "сгорание" + }, + "outputs": "D", + "meta": { + "id": 1680 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобильный двигатель обычно преобразует бензин в движение и тепло через что?\nA) воздух\nB) острый перец\nC) воду\nD) сгорание\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.1385837346315384, + "B": 0.5481092929840088, + "C": 0.12229972332715988, + "D": 0.08405528962612152 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо определенного возраста устраивает кладку, значит, это, вероятно,", + "option_a": "олень", + "option_b": "заяц", + "option_c": "медведь", + "option_d": "сокол" + }, + "outputs": "D", + "meta": { + "id": 1878 + } + }, + "prompt": "<|im_start|>user\nСущество определенного возраста устраивает кладку, значит, это, вероятно,\nA) олень\nB) заяц\nC) медведь\nD) сокол\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16894441843032837, + "B": 0.007422900293022394, + "C": 0.3576553463935852, + "D": 0.4052765965461731 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животное, живущее в среде, в которой отсутствуют пищевые ресурсы", + "option_a": "будет впадать в спячку до тех пор, пока не появится больше еды", + "option_b": "будет процветать", + "option_c": "перейдет на новую диету", + "option_d": "будет в плохой форме" + }, + "outputs": "D", + "meta": { + "id": 1089 + } + }, + "prompt": "<|im_start|>user\nЖивотное, живущее в среде, в которой отсутствуют пищевые ресурсы\nA) будет впадать в спячку до тех пор, пока не появится больше еды\nB) будет процветать\nC) перейдет на новую диету\nD) будет в плохой форме\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.015675649046897888, + "B": 0.0796075165271759, + "C": 0.005766749382019043, + "D": 0.855861485004425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У нас на планете есть алмазы только из-за существования", + "option_a": "машин", + "option_b": "карбонита", + "option_c": "рабочей силы", + "option_d": "большого давления" + }, + "outputs": "D", + "meta": { + "id": 2330 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У нас на планете есть алмазы только из-за существования\nA. машин\nB. карбонита\nC. рабочей силы\nD. большого давления\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.05013237148523331, + "B": 0.6920560002326965, + "C": 0.09365959465503693, + "D": 0.07294216006994247 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если большой неодушевленный предмет пересекает арктические моря, это, вероятно,", + "option_a": "пресноводная рыба", + "option_b": "маслянистые камни", + "option_c": "затвердевшая сырость", + "option_d": "старая овца" + }, + "outputs": "C", + "meta": { + "id": 820 + } + }, + "prompt": "<|im_start|>user\nЕсли большой неодушевленный предмет пересекает арктические моря, это, вероятно,\nA) пресноводная рыба\nB) маслянистые камни\nC) затвердевшая сырость\nD) старая овца\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8072412610054016, + "B": 0.013047839514911175, + "C": 0.04019017517566681, + "D": 0.03546770662069321 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль может двигаться медленнее из-за", + "option_a": "ветра", + "option_b": "объема двигателя", + "option_c": "плохих тормозов", + "option_d": "рулевого колеса" + }, + "outputs": "A", + "meta": { + "id": 321 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобиль может двигаться медленнее из-за\nA) ветра\nB) объема двигателя\nC) плохих тормозов\nD) рулевого колеса\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0004174468631390482, + "B": 0.001134738209657371, + "C": 0.9691331386566162, + "D": 0.0010014029685407877 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Колибри собирают нектар своими", + "option_a": "руками", + "option_b": "крыльями", + "option_c": "клювами", + "option_d": "ногами" + }, + "outputs": "C", + "meta": { + "id": 2267 + } + }, + "prompt": "<|im_start|>user\nКолибри собирают нектар своими\nA) руками\nB) крыльями\nC) клювами\nD) ногами\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 53, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.016637135297060013, + "B": 0.021362505853176117, + "C": 0.9083568453788757, + "D": 0.01295701414346695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не работает при отключении электроэнергии?", + "option_a": "костер", + "option_b": "ручной насос", + "option_c": "электрический вентилятор", + "option_d": "бейсбольная бита" + }, + "outputs": "C", + "meta": { + "id": 596 + } + }, + "prompt": "<|im_start|>user\nЧто не работает при отключении электроэнергии?\nA) костер\nB) ручной насос\nC) электрический вентилятор\nD) бейсбольная бита\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005601842887699604, + "B": 0.9420851469039917, + "C": 0.0029984507709741592, + "D": 0.0007581270183436573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы оказать положительное влияние на окружающую среду", + "option_a": "оставьте свет включенным", + "option_b": "примите более короткий душ", + "option_c": "используйте плиты из пенополистирола", + "option_d": "принимайте более длительный душ" + }, + "outputs": "B", + "meta": { + "id": 2276 + } + }, + "prompt": "<|im_start|>user\nЧтобы оказать положительное влияние на окружающую среду\nA. оставьте свет включенным\nB. примите более короткий душ\nC. используйте плиты из пенополистирола\nD. принимайте более длительный душ\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.06729728728532791, + "B": 0.04081786796450615, + "C": 0.013251622207462788, + "D": 0.8198488354682922 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один из них пропустит серфинг утром, есть ли у них еще один шанс покататься сегодня?", + "option_a": "им все еще везет", + "option_b": "у них нет шансов", + "option_c": "уже слишком поздно", + "option_d": "все варианты верны" + }, + "outputs": "A", + "meta": { + "id": 1490 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Один из них пропустит серфинг утром, есть ли у них еще один шанс покататься сегодня?\nA. им все еще везет\nB. у них нет шансов\nC. уже слишком поздно\nD. все варианты верны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.28977930545806885, + "B": 0.6134628057479858, + "C": 0.0068149566650390625, + "D": 0.002507082186639309 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые птицы используют клюв для ловли добычи, например, как их используют", + "option_a": "синицы", + "option_b": "стеклянные фламинго", + "option_c": "цыплята", + "option_d": "пластиковые попугаи" + }, + "outputs": "A", + "meta": { + "id": 358 + } + }, + "prompt": "<|im_start|>user\nНекоторые птицы используют клюв для ловли добычи, например, как их используют\nA) синицы\nB) стеклянные фламинго\nC) цыплята\nD) пластиковые попугаи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002649728674441576, + "B": 0.0006699562654830515, + "C": 0.00031646492425352335, + "D": 0.943368673324585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все ли организмы размножаются равномерно?", + "option_a": "да, темпы воспроизведения фиксированы", + "option_b": "да, они одинаковые", + "option_c": "да, они воспроизводят одинаково", + "option_d": "нет, они разные" + }, + "outputs": "D", + "meta": { + "id": 341 + } + }, + "prompt": "<|im_start|>user\nВсе ли организмы размножаются равномерно?\nA. да, темпы воспроизведения фиксированы\nB. да, они одинаковые\nC. да, они воспроизводят одинаково\nD. нет, они разные\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030678343027830124, + "B": 0.00022223315318115056, + "C": 0.0001961200759978965, + "D": 0.9638848304748535 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Утром Анна увидела жидкость в сточной канаве. Позже жидкости не стало. Что с ней случилось?", + "option_a": "конденсация", + "option_b": "осаждение", + "option_c": "магическое превращение", + "option_d": "испарение" + }, + "outputs": "D", + "meta": { + "id": 1841 + } + }, + "prompt": "<|im_start|>user\nУтром Анна увидела жидкость в сточной канаве. Позже жидкости не стало. Что с ней случилось?\nA. конденсация\nB. осаждение\nC. магическое превращение\nD. испарение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002652303781360388, + "B": 0.9442854523658752, + "C": 0.00035895025939680636, + "D": 0.01049006450921297 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где пример того, как люди вызывают изменения в окружающей среде, занимаясь строительством домов?", + "option_a": "собачья будка размещена в загоне на заднем дворе", + "option_b": "город все сильнее продвигается на территорию парка, и олени теряют свой дом", + "option_c": "ванночка для птиц размещена в парке с низкой популяцией белок", + "option_d": "небольшой дом построен в лесу, и там подкармливают животных" + }, + "outputs": "B", + "meta": { + "id": 599 + } + }, + "prompt": "<|im_start|>user\nГде пример того, как люди вызывают изменения в окружающей среде, занимаясь строительством домов?\nA) собачья будка размещена в загоне на заднем дворе\nB) город все сильнее продвигается на территорию парка, и олени теряют свой дом\nC) ванночка для птиц размещена в парке с низкой популяцией белок\nD) небольшой дом построен в лесу, и там подкармливают животных\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.004669376648962498, + "B": 0.005995598156005144, + "C": 0.06445875763893127, + "D": 0.8898256421089172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения выделяют газ, который", + "option_a": "ядовит для людей", + "option_b": "наша система кровообращения распространяет по нашему телу из наших легких", + "option_c": "люди также выдыхают", + "option_d": "используется для того, чтобы воздушные шары поднимались в воздух" + }, + "outputs": "B", + "meta": { + "id": 1618 + } + }, + "prompt": "<|im_start|>user\nРастения выделяют газ, который\nA. ядовит для людей\nB. наша система кровообращения распространяет по нашему телу из наших легких\nC. люди также выдыхают\nD. используется для того, чтобы воздушные шары поднимались в воздух\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001647683558985591, + "B": 0.002716570859774947, + "C": 0.0004165995924267918, + "D": 0.9671661257743835 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди переключаются с угля на ветер, чтобы", + "option_a": "вообще ничего не делать", + "option_b": "нагревать и охлаждать Марс", + "option_c": "петь песни птицам", + "option_d": "производить тепло и свет для жилищ" + }, + "outputs": "D", + "meta": { + "id": 384 + } + }, + "prompt": "<|im_start|>user\nЛюди переключаются с угля на ветер, чтобы\nA) вообще ничего не делать\nB) нагревать и охлаждать Марс\nC) петь песни птицам\nD) производить тепло и свет для жилищ\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.3164335787296295, + "B": 0.0122694605961442, + "C": 0.19192667305469513, + "D": 0.40630874037742615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Корова предпочла бы", + "option_a": "птицу", + "option_b": "металл", + "option_c": "суши", + "option_d": "огурцы" + }, + "outputs": "D", + "meta": { + "id": 2173 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Корова предпочла бы\nA. птицу\nB. металл\nC. суши\nD. огурцы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.016830777749419212, + "B": 0.9189293384552002, + "C": 0.0025810834486037493, + "D": 0.003755454206839204 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример использования тепловой энергии:", + "option_a": "плач в школьной ванной", + "option_b": "сушка нашей одежды на солнце", + "option_c": "ввод текста на компьютере", + "option_d": "попытка поцеловать кого-то" + }, + "outputs": "B", + "meta": { + "id": 740 + } + }, + "prompt": "<|im_start|>user\nПример использования тепловой энергии:\nA. плач в школьной ванной\nB. сушка нашей одежды на солнце\nC. ввод текста на компьютере\nD. попытка поцеловать кого-то\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8200302720069885, + "B": 0.005525320768356323, + "C": 0.010322658345103264, + "D": 0.11097902804613113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто получит больше животного жира?", + "option_a": "кошка, поедающая слишком большого окуня", + "option_b": "канарейка пьет воду", + "option_c": "рисовый росток, получающий слишком много солнечного света", + "option_d": "свободно бегающая собака" + }, + "outputs": "A", + "meta": { + "id": 860 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто получит больше животного жира?\nA. кошка, поедающая слишком большого окуня\nB. канарейка пьет воду\nC. рисовый росток, получающий слишком много солнечного света\nD. свободно бегающая собака\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6741517782211304, + "B": 0.0074891503900289536, + "C": 0.0018935536500066519, + "D": 0.24800659716129303 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные, которые обнаруживают объекты с помощью звука, живут в", + "option_a": "реках", + "option_b": "почвах", + "option_c": "вулканах", + "option_d": "арктических льдах" + }, + "outputs": "A", + "meta": { + "id": 913 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые животные, которые обнаруживают объекты с помощью звука, живут в\nA. реках\nB. почвах\nC. вулканах\nD. арктических льдах\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1917956918478012, + "B": 0.06226694583892822, + "C": 0.46009397506713867, + "D": 0.21733300387859344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с наибольшей вероятностью подвержено разложению?", + "option_a": "рок", + "option_b": "радиоволны", + "option_c": "сталь", + "option_d": "носорог" + }, + "outputs": "D", + "meta": { + "id": 650 + } + }, + "prompt": "<|im_start|>user\nЧто с наибольшей вероятностью подвержено разложению?\nA. рок\nB. радиоволны\nC. сталь\nD. носорог\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.16826501488685608, + "B": 0.7541114687919617, + "C": 0.0016496122116222978, + "D": 0.006524342577904463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наследственная характеристика, обнаруженная у всех млекопитающих:", + "option_a": "шерсть", + "option_b": "зубы", + "option_c": "копыта", + "option_d": "ногти" + }, + "outputs": "A", + "meta": { + "id": 1198 + } + }, + "prompt": "<|im_start|>user\nНаследственная характеристика, обнаруженная у всех млекопитающих:\nA) шерсть\nB) зубы\nC) копыта\nD) ногти\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7056400179862976, + "B": 0.0025449353270232677, + "C": 0.1784137338399887, + "D": 0.0047545647248625755 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек хочет наблюдать за затмением", + "option_a": "лучше всего использовать защиту для глаз", + "option_b": "лучше всего использовать руку в качестве тени", + "option_c": ", лучше не пользоваться солнцезащитными очками", + "option_d": "лучше всего использовать телескоп" + }, + "outputs": "A", + "meta": { + "id": 338 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если человек хочет наблюдать за затмением\nA) лучше всего использовать защиту для глаз\nB) лучше всего использовать руку в качестве тени\nC) , лучше не пользоваться солнцезащитными очками\nD) лучше всего использовать телескоп\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.44859129190444946, + "B": 0.18700067698955536, + "C": 0.060710228979587555, + "D": 0.211899533867836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода в миске исчезла раньше, чем вода", + "option_a": "на подносе", + "option_b": "на столе.", + "option_c": "на тарелке", + "option_d": "в кружке" + }, + "outputs": "D", + "meta": { + "id": 1342 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вода в миске исчезла раньше, чем вода\nA) на подносе\nB) на столе.\nC) на тарелке\nD) в кружке\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.038114313036203384, + "B": 0.8674777746200562, + "C": 0.0035451834555715322, + "D": 0.018003925681114197 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Книги могут быть сделаны из", + "option_a": "цемента", + "option_b": "картона", + "option_c": "стекла", + "option_d": "меди." + }, + "outputs": "B", + "meta": { + "id": 1831 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Книги могут быть сделаны из\nA) цемента\nB) картона\nC) стекла\nD) меди.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00036345041007734835, + "B": 0.956123948097229, + "C": 0.0001945409894688055, + "D": 0.0012685665860772133 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В любой момент времени на Земле некоторые страны могут быть еще в постели, а другие - в середине дня, наслаждаясь природой. Кто или что тому причиной?", + "option_a": "океанские приливы", + "option_b": "вращение планеты", + "option_c": "животные", + "option_d": "вращение солнца" + }, + "outputs": "B", + "meta": { + "id": 1693 + } + }, + "prompt": "<|im_start|>user\nВ любой момент времени на Земле некоторые страны могут быть еще в постели, а другие - в середине дня, наслаждаясь природой. Кто или что тому причиной?\nA) океанские приливы\nB) вращение планеты\nC) животные\nD) вращение солнца\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.03988051787018776, + "B": 0.7068990468978882, + "C": 0.024188755080103874, + "D": 0.17873208224773407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что получит больше солнечного света?", + "option_a": "Червь", + "option_b": "Травинка", + "option_c": "Летучая мышь", + "option_d": "Поверхность уха слона" + }, + "outputs": "D", + "meta": { + "id": 455 + } + }, + "prompt": "<|im_start|>user\nЧто получит больше солнечного света?\nA) Червь\nB) Травинка\nC) Летучая мышь\nD) Поверхность уха слона\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003347189864143729, + "B": 0.003347189864143729, + "C": 0.028025677427649498, + "D": 0.9280830025672913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере уменьшения силы тяжести молекулы воздуха", + "option_a": "взрываются", + "option_b": "слетаются вправо", + "option_c": "собираются вместе", + "option_d": "рассеиваются" + }, + "outputs": "D", + "meta": { + "id": 2292 + } + }, + "prompt": "<|im_start|>user\nПо мере уменьшения силы тяжести молекулы воздуха\nA. взрываются\nB. слетаются вправо\nC. собираются вместе\nD. рассеиваются\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004885081201791763, + "B": 0.002614795695990324, + "C": 0.002614795695990324, + "D": 0.9309316873550415 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Глубоководные животные, такие как гигантские кальмары, живут", + "option_a": "на дне рек", + "option_b": "в источниках воды", + "option_c": "в жидких местах", + "option_d": "в черных глубинах океана" + }, + "outputs": "D", + "meta": { + "id": 1228 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Глубоководные животные, такие как гигантские кальмары, живут\nA) на дне рек\nB) в источниках воды\nC) в жидких местах\nD) в черных глубинах океана\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8727899193763733, + "B": 0.023259062319993973, + "C": 0.004041819367557764, + "D": 0.023259062319993973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример чего - создание гипса из ангидрита?", + "option_a": "химическое изменение", + "option_b": "вулканическая активность", + "option_c": "биологическое изменение", + "option_d": "механическое изменение" + }, + "outputs": "A", + "meta": { + "id": 1068 + } + }, + "prompt": "<|im_start|>user\nПример чего - создание гипса из ангидрита?\nA. химическое изменение\nB. вулканическая активность\nC. биологическое изменение\nD. механическое изменение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0026531009934842587, + "B": 0.01347355730831623, + "C": 0.9445693492889404, + "D": 0.0023413533344864845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек обнаруживает скелет динозавра на заднем дворе под большим количеством грязи. Скелету не хватает яркой белизны костей, потому что он", + "option_a": "наполнен пивом", + "option_b": "покрыт солью", + "option_c": "заскаменел в грязи", + "option_d": "обмотан проволокой" + }, + "outputs": "C", + "meta": { + "id": 1565 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек обнаруживает скелет динозавра на заднем дворе под большим количеством грязи. Скелету не хватает яркой белизны костей, потому что он\nA. наполнен пивом\nB. покрыт солью\nC. заскаменел в грязи\nD. обмотан проволокой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.010059349238872528, + "B": 0.03978549689054489, + "C": 0.08422589302062988, + "D": 0.7991130948066711 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ваша одежда, скорее всего, промокнет, если небо", + "option_a": "черное", + "option_b": "голубое", + "option_c": "солнечное без облаков", + "option_d": "ясное" + }, + "outputs": "A", + "meta": { + "id": 2005 + } + }, + "prompt": "<|im_start|>user\nВаша одежда, скорее всего, промокнет, если небо\nA) черное\nB) голубое\nC) солнечное без облаков\nD) ясное\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.0327121876180172, + "B": 0.047595955431461334, + "C": 0.843658447265625, + "D": 0.0327121876180172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое поведение имеет фиксированный шаблон действий?", + "option_a": "политическое", + "option_b": "миграция", + "option_c": "приготовление пищи", + "option_d": "покупки" + }, + "outputs": "B", + "meta": { + "id": 584 + } + }, + "prompt": "<|im_start|>user\nКакое поведение имеет фиксированный шаблон действий?\nA) политическое\nB) миграция\nC) приготовление пищи\nD) покупки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004788857419043779, + "B": 0.024319825693964958, + "C": 0.912594735622406, + "D": 0.004226152319461107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Деструктивное изменение физической структуры объекта может включать", + "option_a": "строительство поверх объекта", + "option_b": "ни одно из предложенных действий", + "option_c": "его разрушение на части", + "option_d": "создание версии более высокого качества" + }, + "outputs": "C", + "meta": { + "id": 618 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Деструктивное изменение физической структуры объекта может включать\nA) строительство поверх объекта\nB) ни одно из предложенных действий\nC) его разрушение на части\nD) создание версии более высокого качества\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08588473498821259, + "B": 0.014924529939889908, + "C": 0.20602677762508392, + "D": 0.6346071362495422 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "К чему из этого, скорее всего, приведет дневной поход?", + "option_a": "побледнение кожи", + "option_b": "позеленение кожи", + "option_c": "ни один из вариантов не верен", + "option_d": "еще более темный тон кожи" + }, + "outputs": "D", + "meta": { + "id": 2210 + } + }, + "prompt": "<|im_start|>user\nК чему из этого, скорее всего, приведет дневной поход?\nA. побледнение кожи\nB. позеленение кожи\nC. ни один из вариантов не верен\nD. еще более темный тон кожи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.0981248989701271, + "B": 0.03185649216175079, + "C": 0.0981248989701271, + "D": 0.7250503897666931 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могло бы быть следствием пожара?", + "option_a": "шрам на спине тигра", + "option_b": "уникальный узор кошачьей шерсти", + "option_c": "человек ест миску с хлопьями", + "option_d": "образование льда в океане" + }, + "outputs": "A", + "meta": { + "id": 302 + } + }, + "prompt": "<|im_start|>user\nЧто могло бы быть следствием пожара?\nA) шрам на спине тигра\nB) уникальный узор кошачьей шерсти\nC) человек ест миску с хлопьями\nD) образование льда в океане\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.691536545753479, + "B": 0.008705160580575466, + "C": 0.018428824841976166, + "D": 0.19812853634357452 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько сезонов приходится на три года", + "option_a": "двенадцать", + "option_b": "десять", + "option_c": "восемь", + "option_d": "четыре" + }, + "outputs": "A", + "meta": { + "id": 1461 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько сезонов приходится на три года\nA. двенадцать\nB. десять\nC. восемь\nD. четыре\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7560893297195435, + "B": 0.05477093160152435, + "C": 0.006541454698890448, + "D": 0.05477093160152435 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стихии могут превратить самые высокие пики России в", + "option_a": "рыхлые скалы", + "option_b": "замки из слоновой кости", + "option_c": "башни из золота", + "option_d": "мраморные блоки" + }, + "outputs": "A", + "meta": { + "id": 1420 + } + }, + "prompt": "<|im_start|>user\nСтихии могут превратить самые высокие пики России в\nA) рыхлые скалы\nB) замки из слоновой кости\nC) башни из золота\nD) мраморные блоки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003908529412001371, + "B": 0.00013374252011999488, + "C": 0.0001717287814244628, + "D": 0.9563855528831482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наша единственная звезда обеспечивает нас энергией, которая", + "option_a": "временна", + "option_b": "неполноценна", + "option_c": "дорога", + "option_d": "многоразова" + }, + "outputs": "D", + "meta": { + "id": 2271 + } + }, + "prompt": "<|im_start|>user\nНаша единственная звезда обеспечивает нас энергией, которая\nA. временна\nB. неполноценна\nC. дорога\nD. многоразова\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0009786291047930717, + "B": 0.9470931887626648, + "C": 0.002071758033707738, + "D": 0.004385911859571934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что негативно влияет на окружающую среду?", + "option_a": "экологичные производства", + "option_b": "свалки", + "option_c": "заводы по переработке", + "option_d": "океаны" + }, + "outputs": "B", + "meta": { + "id": 1602 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что негативно влияет на окружающую среду?\nA) экологичные производства\nB) свалки\nC) заводы по переработке\nD) океаны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6691426038742065, + "B": 0.13176198303699493, + "C": 0.02940007485449314, + "D": 0.05492657050490379 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Запрещено убивать животных в", + "option_a": "Кроноцком заповеднике", + "option_b": "клетке", + "option_c": "Санкт-Петербурге", + "option_d": "одиннадцать утра" + }, + "outputs": "A", + "meta": { + "id": 937 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Запрещено убивать животных в\nA) Кроноцком заповеднике\nB) клетке\nC) Санкт-Петербурге\nD) одиннадцать утра\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006233815103769302, + "B": 0.925180196762085, + "C": 0.0033367208670824766, + "D": 0.001576155424118042 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то хочет, чтобы вы остановились, они хотят, чтобы вы", + "option_a": "шли побыстрее", + "option_b": "не двигались", + "option_c": "не торопились", + "option_d": "съели сыр" + }, + "outputs": "B", + "meta": { + "id": 638 + } + }, + "prompt": "<|im_start|>user\nЕсли кто-то хочет, чтобы вы остановились, они хотят, чтобы вы\nA) шли побыстрее\nB) не двигались\nC) не торопились\nD) съели сыр\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0018564524361863732, + "B": 5.6060005590552464e-05, + "C": 7.198247476480901e-05, + "D": 0.9616661667823792 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечный свет распространяет", + "option_a": "тьму", + "option_b": "ветер", + "option_c": "снег", + "option_d": "солнечную радиацию" + }, + "outputs": "D", + "meta": { + "id": 1195 + } + }, + "prompt": "<|im_start|>user\nСолнечный свет распространяет\nA. тьму\nB. ветер\nC. снег\nD. солнечную радиацию\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0565345361828804, + "B": 0.88434898853302, + "C": 0.006752087268978357, + "D": 0.005958696361631155 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где бы вы могли услышать звук, отражающийся от поверхностей?", + "option_a": "космическое пространство", + "option_b": "ущелье", + "option_c": "океан", + "option_d": "вакуум" + }, + "outputs": "B", + "meta": { + "id": 177 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где бы вы могли услышать звук, отражающийся от поверхностей?\nA. космическое пространство\nB. ущелье\nC. океан\nD. вакуум\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.01341569609940052, + "B": 0.18519796431064606, + "C": 0.02506381832063198, + "D": 0.7324721217155457 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть виды топлива, которые скоро закончатся, и есть альтернативные варианты, которые похожи на солнце, в том, что", + "option_a": "их недорого хранить дома", + "option_b": "они доступны бесконечно", + "option_c": "они бесплатны для всех", + "option_d": "они доступны публике" + }, + "outputs": "B", + "meta": { + "id": 581 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Есть виды топлива, которые скоро закончатся, и есть альтернативные варианты, которые похожи на солнце, в том, что\nA) их недорого хранить дома\nB) они доступны бесконечно\nC) они бесплатны для всех\nD) они доступны публике\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.016827937215566635, + "B": 0.019068550318479538, + "C": 0.016827937215566635, + "D": 0.9187742471694946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магнит притягивает", + "option_a": "Молнии", + "option_b": "Апельсины", + "option_c": "Стеклянную посуду", + "option_d": "Деревянную расческу" + }, + "outputs": "A", + "meta": { + "id": 1931 + } + }, + "prompt": "<|im_start|>user\nМагнит притягивает\nA. Молнии\nB. Апельсины\nC. Стеклянную посуду\nD. Деревянную расческу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0009898670250549912, + "B": 0.9579688906669617, + "C": 4.928257840219885e-05, + "D": 0.00036415172507986426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вы сталкиваетесь с умершим животным, оно иногда ужасно пахнет, потому что оно недавно умерло и начало делать что?", + "option_a": "хныкать", + "option_b": "гнить", + "option_c": "замораживаться", + "option_d": "приготавливаться в пищу" + }, + "outputs": "B", + "meta": { + "id": 1356 + } + }, + "prompt": "<|im_start|>user\nКогда вы сталкиваетесь с умершим животным, оно иногда ужасно пахнет, потому что оно недавно умерло и начало делать что?\nA) хныкать\nB) гнить\nC) замораживаться\nD) приготавливаться в пищу\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.18298953771591187, + "B": 0.4974170923233032, + "C": 0.18298953771591187, + "D": 0.059408001601696014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда растение поливают, распыление воды на листья менее полезно, чем", + "option_a": "опрыскивание стебля растения", + "option_b": "опрыскивание листьев растения дождем", + "option_c": "полив почвы водой", + "option_d": "использование спринклерной системы" + }, + "outputs": "C", + "meta": { + "id": 1544 + } + }, + "prompt": "<|im_start|>user\nКогда растение поливают, распыление воды на листья менее полезно, чем\nA. опрыскивание стебля растения\nB. опрыскивание листьев растения дождем\nC. полив почвы водой\nD. использование спринклерной системы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0074608102440834045, + "B": 0.005810484755784273, + "C": 0.08021126687526703, + "D": 0.8623523712158203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кажется, что две вещи сближаются без вмешательства человека, что из этого наиболее вероятно?", + "option_a": "объекты одержимы демонами", + "option_b": "все эти варианты сразу", + "option_c": "солнце восходит и сближает их", + "option_d": "объекты могут иметь магнитные свойства" + }, + "outputs": "D", + "meta": { + "id": 1842 + } + }, + "prompt": "<|im_start|>user\nЕсли кажется, что две вещи сближаются без вмешательства человека, что из этого наиболее вероятно?\nA. объекты одержимы демонами\nB. все эти варианты сразу\nC. солнце восходит и сближает их\nD. объекты могут иметь магнитные свойства\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6103899478912354, + "B": 0.0729006826877594, + "C": 0.009866034612059593, + "D": 0.22454993426799774 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В ясный день я должен", + "option_a": "покататься на велосипеде", + "option_b": "взять с собой зонт", + "option_c": "надеть пальто", + "option_d": "оставаться внутри" + }, + "outputs": "A", + "meta": { + "id": 1150 + } + }, + "prompt": "<|im_start|>user\nВ ясный день я должен\nA) покататься на велосипеде\nB) взять с собой зонт\nC) надеть пальто\nD) оставаться внутри\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7796275019645691, + "B": 0.011120788753032684, + "C": 0.002481383504346013, + "D": 0.10551110655069351 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Предметы, сделанные из чего, вызывают преломление света?", + "option_a": "растопленный песок", + "option_b": "дерево", + "option_c": "ветер", + "option_d": "почва" + }, + "outputs": "A", + "meta": { + "id": 1251 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Предметы, сделанные из чего, вызывают преломление света?\nA) растопленный песок\nB) дерево\nC) ветер\nD) почва\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7501046061515808, + "B": 0.007353767286986113, + "C": 0.1477043479681015, + "D": 0.013738645240664482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У сикомор самые большие в мире", + "option_a": "стволы", + "option_b": "друзья", + "option_c": "листья", + "option_d": "местоположение" + }, + "outputs": "A", + "meta": { + "id": 568 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У сикомор самые большие в мире\nA. стволы\nB. друзья\nC. листья\nD. местоположение\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8461840152740479, + "B": 0.01549840159714222, + "C": 0.002376756863668561, + "D": 0.010651884600520134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорость - это мера того, насколько быстро все они движутся, и она есть у всех, кроме", + "option_a": "человека, который ждет", + "option_b": "рыбы, которая плывет", + "option_c": "собаки, которая бежит", + "option_d": "птицы, которая летит" + }, + "outputs": "A", + "meta": { + "id": 978 + } + }, + "prompt": "<|im_start|>user\nСкорость - это мера того, насколько быстро все они движутся, и она есть у всех, кроме\nA) человека, который ждет\nB) рыбы, которая плывет\nC) собаки, которая бежит\nD) птицы, которая летит\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.01320313848555088, + "B": 0.9256114959716797, + "C": 0.004286432173103094, + "D": 0.003338276408612728 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект может быть проводником тепла?", + "option_a": "занавеска", + "option_b": "стена", + "option_c": "стол", + "option_d": "зеркало" + }, + "outputs": "D", + "meta": { + "id": 1092 + } + }, + "prompt": "<|im_start|>user\nКакой объект может быть проводником тепла?\nA) занавеска\nB) стена\nC) стол\nD) зеркало\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8920214176177979, + "B": 0.000717839109711349, + "C": 0.00015046725457068533, + "D": 0.00468089897185564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если будет достигнута точка кипения воды, что последует за этой точкой?", + "option_a": "вода быстро испаряется", + "option_b": "вода затвердевает", + "option_c": "вода становится черной", + "option_d": "все сразу" + }, + "outputs": "A", + "meta": { + "id": 1637 + } + }, + "prompt": "<|im_start|>user\nЕсли будет достигнута точка кипения воды, что последует за этой точкой?\nA) вода быстро испаряется\nB) вода затвердевает\nC) вода становится черной\nD) все сразу\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02666691318154335, + "B": 0.0028106719255447388, + "C": 0.0028106719255447388, + "D": 0.8830868601799011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люся оставила на солнце полкастрюли воды, и за один день вода исчезла. Сделайте подходящий вывод.", + "option_a": "кастрюля стояла в прохладной тени", + "option_b": "белка выпила воду из кастрюли", + "option_c": "бабочки выпили все это", + "option_d": "это было летом" + }, + "outputs": "D", + "meta": { + "id": 2087 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люся оставила на солнце полкастрюли воды, и за один день вода исчезла. Сделайте подходящий вывод.\nA. кастрюля стояла в прохладной тени\nB. белка выпила воду из кастрюли\nC. бабочки выпили все это\nD. это было летом\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.0622611865401268, + "B": 0.8594891428947449, + "C": 0.007436037994921207, + "D": 0.009548062458634377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих характеристик животных обычно определяются факторами окружающей среды, а не наследственностью?", + "option_a": "длина волос", + "option_b": "рост", + "option_c": "цвет глаз", + "option_d": "количество хромосом" + }, + "outputs": "A", + "meta": { + "id": 1833 + } + }, + "prompt": "<|im_start|>user\nКакие из этих характеристик животных обычно определяются факторами окружающей среды, а не наследственностью?\nA) длина волос\nB) рост\nC) цвет глаз\nD) количество хромосом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.010009792633354664, + "B": 0.901052713394165, + "C": 0.0028678535018116236, + "D": 0.004172702319920063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняет форму и цельность объекта?", + "option_a": "подбросить", + "option_b": "разбить его", + "option_c": "перекатить", + "option_d": "прикоснуться к нему" + }, + "outputs": "B", + "meta": { + "id": 1729 + } + }, + "prompt": "<|im_start|>user\nЧто меняет форму и цельность объекта?\nA) подбросить\nB) разбить его\nC) перекатить\nD) прикоснуться к нему\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9089816212654114, + "B": 0.001366598648019135, + "C": 0.0003455302503425628, + "D": 0.0005027435254305601 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто-то едет ночью. День был теплый, но сейчас прохладная ночь, и много тумана, сквозь который трудно разглядеть что-либо. Туман преобладает, потому что", + "option_a": "дневная влажность конденсируется по мере развития ночи", + "option_b": "теплый воздух обычно присутствует в дневное время", + "option_c": "всегда туманно ночью", + "option_d": "холодный воздух заставляет всех чувствовать тепло" + }, + "outputs": "A", + "meta": { + "id": 1294 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто-то едет ночью. День был теплый, но сейчас прохладная ночь, и много тумана, сквозь который трудно разглядеть что-либо. Туман преобладает, потому что\nA) дневная влажность конденсируется по мере развития ночи\nB) теплый воздух обычно присутствует в дневное время\nC) всегда туманно ночью\nD) холодный воздух заставляет всех чувствовать тепло\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.15502040088176727, + "B": 0.3718746304512024, + "C": 0.10654386878013611, + "D": 0.28961625695228577 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мантия - это неповерхностный слой Земли; можно ли встретить ее содержимое где-то кроме этого слоя?", + "option_a": "лава вулкана", + "option_b": "внутреннее ядро ​​", + "option_c": "внешнее ядро ​​", + "option_d": "кора" + }, + "outputs": "A", + "meta": { + "id": 1551 + } + }, + "prompt": "<|im_start|>user\nМантия - это неповерхностный слой Земли; можно ли встретить ее содержимое где-то кроме этого слоя?\nA) лава вулкана\nB) внутреннее ядро ​​\nC) внешнее ядро ​​\nD) кора\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004359426908195019, + "B": 0.0004054898163303733, + "C": 0.002333432901650667, + "D": 0.9413740038871765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Распространение семян", + "option_a": "способствует воспроизводству человека", + "option_b": "снижает производство новых растений", + "option_c": "не влияет на воспроизводство растений", + "option_d": "способствует распространению растений" + }, + "outputs": "D", + "meta": { + "id": 37 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Распространение семян\nA. способствует воспроизводству человека\nB. снижает производство новых растений\nC. не влияет на воспроизводство растений\nD. способствует распространению растений\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.15736427903175354, + "B": 0.02734581008553505, + "C": 0.03978792205452919, + "D": 0.705257773399353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек кладет скрепку рядом с предметом на столе. Скрепка движется к объекту сама по себе. Что, вероятно, будет этим объектом?", + "option_a": "кусок углеродистой стали", + "option_b": "банка кокса", + "option_c": "буханка хлеба", + "option_d": "лист бумаги" + }, + "outputs": "A", + "meta": { + "id": 36 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек кладет скрепку рядом с предметом на столе. Скрепка движется к объекту сама по себе. Что, вероятно, будет этим объектом?\nA. кусок углеродистой стали\nB. банка кокса\nC. буханка хлеба\nD. лист бумаги\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0021194464061409235, + "B": 0.005761252250522375, + "C": 0.9688937067985535, + "D": 0.0014566726749762893 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно происходит с растением по мере увеличения количества воды, которую оно получает?", + "option_a": "уменьшается", + "option_b": "дает усадку", + "option_c": "усиленно растет", + "option_d": "блестит" + }, + "outputs": "C", + "meta": { + "id": 1598 + } + }, + "prompt": "<|im_start|>user\nЧто обычно происходит с растением по мере увеличения количества воды, которую оно получает?\nA. уменьшается\nB. дает усадку\nC. усиленно растет\nD. блестит\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9162269234657288, + "B": 0.0061734882183372974, + "C": 0.0005067507736384869, + "D": 0.002004238311201334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У человека кофе в керамической чашке. Кофе внутри чашки остыл, поэтому, чтобы повысить температуру, человек", + "option_a": "ставит чашку на электрическую подставку", + "option_b": "использует бумажные полотенца, чтобы обернуть чашку в", + "option_c": "кладет чашку в холодильник", + "option_d": "добавляет в чашку лед" + }, + "outputs": "A", + "meta": { + "id": 369 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У человека кофе в керамической чашке. Кофе внутри чашки остыл, поэтому, чтобы повысить температуру, человек\nA) ставит чашку на электрическую подставку\nB) использует бумажные полотенца, чтобы обернуть чашку в\nC) кладет чашку в холодильник\nD) добавляет в чашку лед\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.021734803915023804, + "B": 0.9241873025894165, + "C": 0.0013894593575969338, + "D": 0.014938096515834332 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мимикрия используется для того, чтобы животные избегали хищников путем маскировки под какое животное?", + "option_a": "уязвимое", + "option_b": "слабое и безжизненное", + "option_c": "прирученное", + "option_d": "грозное и опасное" + }, + "outputs": "D", + "meta": { + "id": 1607 + } + }, + "prompt": "<|im_start|>user\nМимикрия используется для того, чтобы животные избегали хищников путем маскировки под какое животное?\nA. уязвимое\nB. слабое и безжизненное\nC. прирученное\nD. грозное и опасное\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.0500020831823349, + "B": 0.009845993481576443, + "C": 0.8863080739974976, + "D": 0.011156972497701645 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если отодвинуть лицо подальше от зеркала", + "option_a": ", ваше лицо будет казаться больше", + "option_b": ", ваши морщины станут менее заметными", + "option_c": ", ваше лицо будет отображаться увеличенным", + "option_d": "вам будет легче увидеть поры вашей кожи" + }, + "outputs": "B", + "meta": { + "id": 1839 + } + }, + "prompt": "<|im_start|>user\nЕсли отодвинуть лицо подальше от зеркала\nA. , ваше лицо будет казаться больше\nB. , ваши морщины станут менее заметными\nC. , ваше лицо будет отображаться увеличенным\nD. вам будет легче увидеть поры вашей кожи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4381771981716156, + "B": 0.14225530624389648, + "C": 0.021815557032823563, + "D": 0.34125274419784546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из примеров описывает возобновляемую энергию?", + "option_a": "электричество от угольных электростанций", + "option_b": "масла, полученные из китового жира", + "option_c": "бензин, полученный из окаменелостей", + "option_d": "энергия ближайшего к нам желтого карлика" + }, + "outputs": "D", + "meta": { + "id": 1318 + } + }, + "prompt": "<|im_start|>user\nКакой из примеров описывает возобновляемую энергию?\nA) электричество от угольных электростанций\nB) масла, полученные из китового жира\nC) бензин, полученный из окаменелостей\nD) энергия ближайшего к нам желтого карлика\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.09845651686191559, + "B": 0.2676326036453247, + "C": 0.03622013330459595, + "D": 0.5000035166740417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вирусы уничтожаются устройствами, которые есть у вас", + "option_a": "на заднем дворе", + "option_b": "на кухне", + "option_c": "в ванной", + "option_d": "в гостиной." + }, + "outputs": "B", + "meta": { + "id": 1438 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вирусы уничтожаются устройствами, которые есть у вас\nA. на заднем дворе\nB. на кухне\nC. в ванной\nD. в гостиной.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0006002956070005894, + "B": 0.9578267931938171, + "C": 0.00041257674456574023, + "D": 0.0003213151067029685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, защитит кролика?", + "option_a": "серфинг", + "option_b": "убежище под землей", + "option_c": "плавание", + "option_d": "надземное гнездование" + }, + "outputs": "B", + "meta": { + "id": 762 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, защитит кролика?\nA. серфинг\nB. убежище под землей\nC. плавание\nD. надземное гнездование\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.03529129549860954, + "B": 0.002556493040174246, + "C": 0.002896886086091399, + "D": 0.910174548625946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как прячутся некоторые осьминоги?", + "option_a": "используют прозрачные чернила для распространения запаха", + "option_b": "прячутся в темных чернильных пещерах", + "option_c": "выделяют темную жидкость, чтобы скрыться как за дымовой завесой", + "option_d": "испускают струйки чернил для маскировки под водоросли" + }, + "outputs": "C", + "meta": { + "id": 1853 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как прячутся некоторые осьминоги?\nA) используют прозрачные чернила для распространения запаха\nB) прячутся в темных чернильных пещерах\nC) выделяют темную жидкость, чтобы скрыться как за дымовой завесой\nD) испускают струйки чернил для маскировки под водоросли\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4684778153896332, + "B": 0.018164856359362602, + "C": 0.41343021392822266, + "D": 0.0021694828756153584 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Черви - отличные разлагатели, потому что", + "option_a": "они едят много гнили", + "option_b": "им нравится есть трупы и извергать отходы обратно на землю", + "option_c": "черви поедают трупы", + "option_d": "черви любят поедать грязь и от этого разлагаться" + }, + "outputs": "B", + "meta": { + "id": 573 + } + }, + "prompt": "<|im_start|>user\nЧерви - отличные разлагатели, потому что\nA) они едят много гнили\nB) им нравится есть трупы и извергать отходы обратно на землю\nC) черви поедают трупы\nD) черви любят поедать грязь и от этого разлагаться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018638591282069683, + "B": 0.0018638591282069683, + "C": 0.965502917766571, + "D": 0.002112029120326042 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы видите маленькие мокрые пятна на лобовом стекле, что могло случиться?", + "option_a": "солнце садится", + "option_b": "луна поднимается", + "option_c": "пар превращается в капли", + "option_d": "ветровое стекло растворяется" + }, + "outputs": "C", + "meta": { + "id": 1082 + } + }, + "prompt": "<|im_start|>user\nЕсли вы видите маленькие мокрые пятна на лобовом стекле, что могло случиться?\nA) солнце садится\nB) луна поднимается\nC) пар превращается в капли\nD) ветровое стекло растворяется\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002374949399381876, + "B": 0.008289387449622154, + "C": 0.958122968673706, + "D": 0.0014404795365408063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Конденсация водяного пара в облаках может привести к тому, что", + "option_a": "ракеты полетят на Луну", + "option_b": "собаки вздремнут", + "option_c": "люди будут использовать зонтики", + "option_d": "Земля будет вращаться" + }, + "outputs": "C", + "meta": { + "id": 2311 + } + }, + "prompt": "<|im_start|>user\nКонденсация водяного пара в облаках может привести к тому, что\nA) ракеты полетят на Луну\nB) собаки вздремнут\nC) люди будут использовать зонтики\nD) Земля будет вращаться\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.004279019311070442, + "B": 0.0022903939243406057, + "C": 0.004848763812333345, + "D": 0.9240108132362366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы узнать, насколько твердым может быть определенный минерал, нужно", + "option_a": "измерить его вес", + "option_b": "разбить его, чтобы увидеть внутреннюю часть", + "option_c": "попытаться оставить на нем отметку", + "option_d": "посмотреть, можно ли его раздавить" + }, + "outputs": "C", + "meta": { + "id": 917 + } + }, + "prompt": "<|im_start|>user\nЧтобы узнать, насколько твердым может быть определенный минерал, нужно\nA) измерить его вес\nB) разбить его, чтобы увидеть внутреннюю часть\nC) попытаться оставить на нем отметку\nD) посмотреть, можно ли его раздавить\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.22623483836650848, + "B": 0.08322713524103165, + "C": 0.012763294391334057, + "D": 0.6149699687957764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Моль может пройти метаморфоз, когда", + "option_a": "она становится бескрылым существом", + "option_b": "она полностью возрождается", + "option_c": "полностью воссоздана", + "option_d": "она высвобождается из самодельной камеры" + }, + "outputs": "D", + "meta": { + "id": 213 + } + }, + "prompt": "<|im_start|>user\nМоль может пройти метаморфоз, когда\nA) она становится бескрылым существом\nB) она полностью возрождается\nC) полностью воссоздана\nD) она высвобождается из самодельной камеры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8151763677597046, + "B": 0.052112478762865067, + "C": 0.0006983076455071568, + "D": 0.016918445006012917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Трение действует, чтобы противодействовать движению двух объектов, когда их поверхности какие?", + "option_a": "разведенные отдельно", + "option_b": "отдельные", + "option_c": "находящиеся в поле зрения", + "option_d": "сходящиеся" + }, + "outputs": "D", + "meta": { + "id": 1313 + } + }, + "prompt": "<|im_start|>user\nТрение действует, чтобы противодействовать движению двух объектов, когда их поверхности какие?\nA) разведенные отдельно\nB) отдельные\nC) находящиеся в поле зрения\nD) сходящиеся\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.18095365166664124, + "B": 0.557376503944397, + "C": 0.040376219898462296, + "D": 0.09685750305652618 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Обратный испарению процесс с точки зрения погодных явлений:", + "option_a": "осадки.", + "option_b": "конденсация", + "option_c": "транспирация", + "option_d": "образование облаков" + }, + "outputs": "A", + "meta": { + "id": 1086 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Обратный испарению процесс с точки зрения погодных явлений:\nA) осадки.\nB) конденсация\nC) транспирация\nD) образование облаков\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05990348011255264, + "B": 0.024971485137939453, + "C": 0.8269420266151428, + "D": 0.028296397998929024 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Изоляторы тепловой энергии часто являются хорошими электрическими изоляторами, такими как:", + "option_a": "металлические камни на земле", + "option_b": "вентилятор на потолке", + "option_c": "резина, зажатая между двумя железными плитами", + "option_d": "металлические ножи для продажи" + }, + "outputs": "C", + "meta": { + "id": 2195 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Изоляторы тепловой энергии часто являются хорошими электрическими изоляторами, такими как:\nA. металлические камни на земле\nB. вентилятор на потолке\nC. резина, зажатая между двумя железными плитами\nD. металлические ножи для продажи\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00208680029027164, + "B": 0.00015116730355657637, + "C": 0.9539697766304016, + "D": 0.0018415948143228889 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Природные сообщества содержат", + "option_a": "редкую флору и фауну", + "option_b": "два или три вида похожих животных", + "option_c": "разнообразный набор живых существ", + "option_d": "один вид, доминирующий на территории" + }, + "outputs": "C", + "meta": { + "id": 2318 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Природные сообщества содержат\nA. редкую флору и фауну\nB. два или три вида похожих животных\nC. разнообразный набор живых существ\nD. один вид, доминирующий на территории\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8770953416824341, + "B": 0.0019186382414773107, + "C": 0.0010269730119034648, + "D": 0.009743649512529373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шахтер ищет камни и минералы, которые можно использовать не для строительства. Он хочет найти и обработать что-то стоящее, поэтому он ищет камни с", + "option_a": "жемчугом", + "option_b": "песком", + "option_c": "пластиком", + "option_d": "алюминием" + }, + "outputs": "D", + "meta": { + "id": 769 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шахтер ищет камни и минералы, которые можно использовать не для строительства. Он хочет найти и обработать что-то стоящее, поэтому он ищет камни с\nA) жемчугом\nB) песком\nC) пластиком\nD) алюминием\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01863096095621586, + "B": 0.02111164480447769, + "C": 0.6991216540336609, + "D": 0.20030170679092407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Замещение природного ресурса может быть", + "option_a": "выращиванием куста во дворе", + "option_b": "посадкой цветка в саду", + "option_c": "наполнением озера, которое испарилось", + "option_d": "посадкой ягодного участка" + }, + "outputs": "C", + "meta": { + "id": 934 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Замещение природного ресурса может быть\nA) выращиванием куста во дворе\nB) посадкой цветка в саду\nC) наполнением озера, которое испарилось\nD) посадкой ягодного участка\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.017262347042560577, + "B": 0.00031617088825441897, + "C": 0.9424921274185181, + "D": 0.0005212776595726609 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеку нужно найти путь к берегу, находясь на плоту. Другой человек подсказывает первому, в каком направлении плыть, чтобы безопасно добраться до земли, таким образом, человек, который направляет,", + "option_a": "исполняет роль капитана", + "option_b": "исполняет роль ремонтника", + "option_c": "исполняет роль навигатора", + "option_d": "исполняет роль сапера" + }, + "outputs": "C", + "meta": { + "id": 99 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человеку нужно найти путь к берегу, находясь на плоту. Другой человек подсказывает первому, в каком направлении плыть, чтобы безопасно добраться до земли, таким образом, человек, который направляет,\nA) исполняет роль капитана\nB) исполняет роль ремонтника\nC) исполняет роль навигатора\nD) исполняет роль сапера\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03185015916824341, + "B": 0.0026144206058233976, + "C": 0.0013993984321132302, + "D": 0.9307981729507446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Голодный ястреб преследует мышь, но промахивается, схватив когтями воздух перед самым носом мыши. Чтобы поймать добычу, ястреб должен", + "option_a": "сделать перерыв", + "option_b": "лететь прочь", + "option_c": "найти другую добычу", + "option_d": "отрегулировать скорость" + }, + "outputs": "D", + "meta": { + "id": 1332 + } + }, + "prompt": "<|im_start|>user\nГолодный ястреб преследует мышь, но промахивается, схватив когтями воздух перед самым носом мыши. Чтобы поймать добычу, ястреб должен\nA) сделать перерыв\nB) лететь прочь\nC) найти другую добычу\nD) отрегулировать скорость\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.926982045173645, + "B": 0.0010853842832148075, + "C": 0.00031096782186068594, + "D": 0.0015792250633239746 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Прикосновение к объекту может позволить человеку", + "option_a": "ощутить различия в структуре и составе материалов", + "option_b": "ощутить различия в цвете", + "option_c": "почувствовать различия в цене", + "option_d": "почувствовать различия в атомной структуре" + }, + "outputs": "A", + "meta": { + "id": 222 + } + }, + "prompt": "<|im_start|>user\nПрикосновение к объекту может позволить человеку\nA. ощутить различия в структуре и составе материалов\nB. ощутить различия в цвете\nC. почувствовать различия в цене\nD. почувствовать различия в атомной структуре\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007225668989121914, + "B": 0.8351737856864929, + "C": 0.06855523586273193, + "D": 0.0366949737071991 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тектонические плиты движутся вдоль", + "option_a": "линий дорожной разметки", + "option_b": "плоских трещин", + "option_c": "треугольных трещин", + "option_d": "линий электропередач" + }, + "outputs": "B", + "meta": { + "id": 906 + } + }, + "prompt": "<|im_start|>user\nТектонические плиты движутся вдоль\nA. линий дорожной разметки\nB. плоских трещин\nC. треугольных трещин\nD. линий электропередач\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.35973823070526123, + "B": 0.03791613131761551, + "C": 0.3174678683280945, + "D": 0.19255401194095612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Учитывая, что животные обычно недружелюбны по отношению к людям и предпочитают свое собственное пространство, какое из этих существ является аномалией?", + "option_a": "буйвол", + "option_b": "олень", + "option_c": "скоттиш-фолд", + "option_d": "кабан" + }, + "outputs": "C", + "meta": { + "id": 41 + } + }, + "prompt": "<|im_start|>user\nУчитывая, что животные обычно недружелюбны по отношению к людям и предпочитают свое собственное пространство, какое из этих существ является аномалией?\nA. буйвол\nB. олень\nC. скоттиш-фолд\nD. кабан\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.3678504526615143, + "B": 0.5352192521095276, + "C": 0.004086449276655912, + "D": 0.007634492125362158 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них будет издавать звуки изо рта?", + "option_a": "рыба", + "option_b": "курица", + "option_c": "грузовик", + "option_d": "муравей" + }, + "outputs": "B", + "meta": { + "id": 1916 + } + }, + "prompt": "<|im_start|>user\nКто из них будет издавать звуки изо рта?\nA) рыба\nB) курица\nC) грузовик\nD) муравей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003332944354042411, + "B": 0.003332944354042411, + "C": 0.385235995054245, + "D": 0.5605150461196899 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При порывах ветра и хмуром небе вы должны прихватить с собой", + "option_a": "клюшки для гольфа", + "option_b": "корзину для пикника", + "option_c": "громоотвод", + "option_d": "зонтик" + }, + "outputs": "D", + "meta": { + "id": 1967 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При порывах ветра и хмуром небе вы должны прихватить с собой\nA) клюшки для гольфа\nB) корзину для пикника\nC) громоотвод\nD) зонтик\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.008170905523002148, + "B": 0.7355214357376099, + "C": 0.0063635073602199554, + "D": 0.2107304185628891 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если рыба живет в очень темной и мутной воде, рыба может со временем откалибровать свое тело, чтобы", + "option_a": "поглощать гелий", + "option_b": "стать невидимой", + "option_c": "съесть больше", + "option_d": "быть слепой" + }, + "outputs": "D", + "meta": { + "id": 983 + } + }, + "prompt": "<|im_start|>user\nЕсли рыба живет в очень темной и мутной воде, рыба может со временем откалибровать свое тело, чтобы\nA. поглощать гелий\nB. стать невидимой\nC. съесть больше\nD. быть слепой\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.047484561800956726, + "B": 0.12907642126083374, + "C": 0.5105071663856506, + "D": 0.21281105279922485 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения количества осадков в районе будет все меньше и меньше электроэнергии от", + "option_a": "атомных электростанций", + "option_b": "солнечных панелей", + "option_c": "угольных электростанций", + "option_d": "ветряных турбин" + }, + "outputs": "B", + "meta": { + "id": 817 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере увеличения количества осадков в районе будет все меньше и меньше электроэнергии от\nA. атомных электростанций\nB. солнечных панелей\nC. угольных электростанций\nD. ветряных турбин\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.015070026740431786, + "B": 0.0012370231561362743, + "C": 0.017076577991247177, + "D": 0.9323495626449585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Популяция кроликов в ареале увеличивается. Это могло быть вызвано тем, что", + "option_a": "больше хищников переместилось в этот район", + "option_b": "кролики становятся бесплодными", + "option_c": "в последние годы выпадает больше осадков", + "option_d": "охотники ловят кроликов" + }, + "outputs": "C", + "meta": { + "id": 531 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Популяция кроликов в ареале увеличивается. Это могло быть вызвано тем, что\nA. больше хищников переместилось в этот район\nB. кролики становятся бесплодными\nC. в последние годы выпадает больше осадков\nD. охотники ловят кроликов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.08467847108840942, + "B": 0.6256939768791199, + "C": 0.17926433682441711, + "D": 0.03115146793425083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда в России лето, то зима", + "option_a": "в западном полушарии", + "option_b": "в северном полушарии", + "option_c": "в южном полушарии", + "option_d": "в восточном полушарии." + }, + "outputs": "C", + "meta": { + "id": 1450 + } + }, + "prompt": "<|im_start|>user\nКогда в России лето, то зима\nA) в западном полушарии\nB) в северном полушарии\nC) в южном полушарии\nD) в восточном полушарии.\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.034057557582855225, + "B": 0.8783559799194336, + "C": 0.00975765474140644, + "D": 0.02340739406645298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая форма жизни, скорее всего, изменит свое положение?", + "option_a": "сосна", + "option_b": "черепаха", + "option_c": "алоэ", + "option_d": "морковь" + }, + "outputs": "B", + "meta": { + "id": 1387 + } + }, + "prompt": "<|im_start|>user\nКакая форма жизни, скорее всего, изменит свое положение?\nA. сосна\nB. черепаха\nC. алоэ\nD. морковь\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.005281264893710613, + "B": 0.8881722092628479, + "C": 0.002826857613399625, + "D": 0.06433898210525513 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает образование осадочных пород?", + "option_a": "электропроводность", + "option_b": "конденсация", + "option_c": "атомные взрывы", + "option_d": "разрушение наземных форм рельефа" + }, + "outputs": "D", + "meta": { + "id": 839 + } + }, + "prompt": "<|im_start|>user\nЧто вызывает образование осадочных пород?\nA) электропроводность\nB) конденсация\nC) атомные взрывы\nD) разрушение наземных форм рельефа\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0621592216193676, + "B": 0.858081579208374, + "C": 0.010801653377711773, + "D": 0.004502798896282911 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свойство меха, являющееся результатом того, как он отражает или излучает свет, является", + "option_a": "сфабрикованной характеристикой", + "option_b": "унаследованной характеристикой", + "option_c": "производственной характеристикой", + "option_d": "возрастной характеристикой" + }, + "outputs": "B", + "meta": { + "id": 1567 + } + }, + "prompt": "<|im_start|>user\nСвойство меха, являющееся результатом того, как он отражает или излучает свет, является\nA. сфабрикованной характеристикой\nB. унаследованной характеристикой\nC. производственной характеристикой\nD. возрастной характеристикой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.016051502898335457, + "B": 0.8763822913169861, + "C": 0.00405845558270812, + "D": 0.018188733607530594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Давным-давно Сулакский каньон был", + "option_a": "менее глубоким", + "option_b": "глубже", + "option_c": "крупнее", + "option_d": "шире" + }, + "outputs": "A", + "meta": { + "id": 883 + } + }, + "prompt": "<|im_start|>user\nДавным-давно Сулакский каньон был\nA) менее глубоким\nB) глубже\nC) крупнее\nD) шире\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06757425516843796, + "B": 0.03616989403963089, + "C": 0.4993099570274353, + "D": 0.3431704044342041 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мой папа подарил мне", + "option_a": "воздух", + "option_b": "здание", + "option_c": "окна на моей голове", + "option_d": "солнце" + }, + "outputs": "C", + "meta": { + "id": 2143 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мой папа подарил мне\nA. воздух\nB. здание\nC. окна на моей голове\nD. солнце\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.004520981106907129, + "B": 0.861546516418457, + "C": 0.029480500146746635, + "D": 0.055076826363801956 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У Маришки один кусок дерева гладкий и полированный, а другой - грубый и необработанный. Какое из следующих утверждений верно?", + "option_a": "оба куска дерева будут создавать одинаковое трение", + "option_b": "грубое дерево будет легче двигаться при трении о плитку, чем гладкая древесина", + "option_c": "необработанное дерево будет выделять больше тепла, чем другое при трении об пол", + "option_d": "гладкая древесина будет выделять больше тепла, если возить ее взад и вперед по кафельному полу" + }, + "outputs": "C", + "meta": { + "id": 542 + } + }, + "prompt": "<|im_start|>user\nУ Маришки один кусок дерева гладкий и полированный, а другой - грубый и необработанный. Какое из следующих утверждений верно?\nA. оба куска дерева будут создавать одинаковое трение\nB. грубое дерево будет легче двигаться при трении о плитку, чем гладкая древесина\nC. необработанное дерево будет выделять больше тепла, чем другое при трении об пол\nD. гладкая древесина будет выделять больше тепла, если возить ее взад и вперед по кафельному полу\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06526605784893036, + "B": 0.15656514465808868, + "C": 0.012851649895310402, + "D": 0.7016763091087341 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Загар, скорее всего, случится после похода в", + "option_a": "джунгли", + "option_b": "лес", + "option_c": "водно-болотные угодья", + "option_d": "пустыню" + }, + "outputs": "D", + "meta": { + "id": 1159 + } + }, + "prompt": "<|im_start|>user\nЗагар, скорее всего, случится после похода в\nA. джунгли\nB. лес\nC. водно-болотные угодья\nD. пустыню\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.24545086920261383, + "B": 0.1488734930753708, + "C": 0.3151651620864868, + "D": 0.19115734100341797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура плавления утки будет", + "option_a": ", выше, чем у солнца", + "option_b": ", ниже, чем у холодильника", + "option_c": "выше, чем температура тела", + "option_d": ", ниже, чем у морозильника" + }, + "outputs": "C", + "meta": { + "id": 2108 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура плавления утки будет\nA. , выше, чем у солнца\nB. , ниже, чем у холодильника\nC. выше, чем температура тела\nD. , ниже, чем у морозильника\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003450612770393491, + "B": 0.0012694094330072403, + "C": 0.9567592740058899, + "D": 0.003450612770393491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда метеоролог говорит ожидать шторма, он, скорее всего, обещает вам", + "option_a": "летающих кошек", + "option_b": "ясную погоду", + "option_c": "ливень", + "option_d": "аквапарк" + }, + "outputs": "C", + "meta": { + "id": 182 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда метеоролог говорит ожидать шторма, он, скорее всего, обещает вам\nA) летающих кошек\nB) ясную погоду\nC) ливень\nD) аквапарк\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12376055121421814, + "B": 0.0020004031248390675, + "C": 0.03129156678915024, + "D": 0.8070201277732849 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Морские анемоны", + "option_a": "выглядят как собаки", + "option_b": "выглядят как автомобили", + "option_c": "выглядят как летучие мыши", + "option_d": "выглядят как флора" + }, + "outputs": "D", + "meta": { + "id": 1154 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Морские анемоны\nA. выглядят как собаки\nB. выглядят как автомобили\nC. выглядят как летучие мыши\nD. выглядят как флора\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0009826984023675323, + "B": 0.9510313272476196, + "C": 0.0004096496559213847, + "D": 0.0012618097243830562 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому из этих персонажей, вероятно, понадобится компас?", + "option_a": "рыба", + "option_b": "моряк", + "option_c": "рысь", + "option_d": "таксист" + }, + "outputs": "B", + "meta": { + "id": 1464 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кому из этих персонажей, вероятно, понадобится компас?\nA. рыба\nB. моряк\nC. рысь\nD. таксист\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4622498154640198, + "B": 0.048720769584178925, + "C": 0.005818866193294525, + "D": 0.4079340100288391 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если котенка не кормить молоком с самого рождения", + "option_a": "он будет плакать", + "option_b": "его будет рвать", + "option_c": "он будет спать", + "option_d": "он умрет" + }, + "outputs": "D", + "meta": { + "id": 281 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если котенка не кормить молоком с самого рождения\nA. он будет плакать\nB. его будет рвать\nC. он будет спать\nD. он умрет\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.013216753490269184, + "B": 0.021790744736790657, + "C": 0.9265660047531128, + "D": 0.008016366511583328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то является сырьем в процессе, то это что-то", + "option_a": "разлагается и деградирует во время процесса", + "option_b": "является результатом процесса", + "option_c": "требуется во время производства, как, что например, труд или капитал", + "option_d": "используется только на последней стадии процесса" + }, + "outputs": "C", + "meta": { + "id": 2133 + } + }, + "prompt": "<|im_start|>user\nЕсли что-то является сырьем в процессе, то это что-то\nA) разлагается и деградирует во время процесса\nB) является результатом процесса\nC) требуется во время производства, как, что например, труд или капитал\nD) используется только на последней стадии процесса\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0023619337007403374, + "B": 0.008243958465754986, + "C": 0.9528720378875732, + "D": 0.011994889006018639 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой организм будет есть рыбу и жить в болотистой местности?", + "option_a": "дерево", + "option_b": "кит", + "option_c": "аллигатор", + "option_d": "бородавочник" + }, + "outputs": "C", + "meta": { + "id": 1114 + } + }, + "prompt": "<|im_start|>user\nКакой организм будет есть рыбу и жить в болотистой местности?\nA) дерево\nB) кит\nC) аллигатор\nD) бородавочник\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.1888008713722229, + "B": 0.16661618649959564, + "C": 0.010651416145265102, + "D": 0.5815476179122925 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто использует глаза, чтобы видеть, ощущая свет?", + "option_a": "деревья", + "option_b": "слоны", + "option_c": "черви", + "option_d": "водоросли" + }, + "outputs": "B", + "meta": { + "id": 1095 + } + }, + "prompt": "<|im_start|>user\nКто использует глаза, чтобы видеть, ощущая свет?\nA. деревья\nB. слоны\nC. черви\nD. водоросли\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004485407844185829, + "B": 0.9685783386230469, + "C": 0.0001970750599866733, + "D": 0.0002530493657104671 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растениям это необходимо для роста", + "option_a": "искусственные удобрения", + "option_b": "H2O", + "option_c": "любые неорганические вещества", + "option_d": "низкие температуры" + }, + "outputs": "B", + "meta": { + "id": 767 + } + }, + "prompt": "<|im_start|>user\nРастениям это необходимо для роста\nA. искусственные удобрения\nB. H2O\nC. любые неорганические вещества\nD. низкие температуры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03534623235464096, + "B": 0.0660354495048523, + "C": 0.626526951789856, + "D": 0.17950297892093658 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звук можно услышать следующим образом:", + "option_a": "поесть из миски", + "option_b": "переместить картонную коробку", + "option_c": "уронить кастрюли и сковороды", + "option_d": "переставить небольшую пластиковую чашку" + }, + "outputs": "C", + "meta": { + "id": 1752 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Звук можно услышать следующим образом:\nA) поесть из миски\nB) переместить картонную коробку\nC) уронить кастрюли и сковороды\nD) переставить небольшую пластиковую чашку\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0034133309964090586, + "B": 0.0016123434761539102, + "C": 0.015297487378120422, + "D": 0.9464220404624939 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "когда организмы умирают, они", + "option_a": "производят потомство", + "option_b": "регенерируют", + "option_c": "окаменевают", + "option_d": "погибают" + }, + "outputs": "D", + "meta": { + "id": 930 + } + }, + "prompt": "<|im_start|>user\nкогда организмы умирают, они\nA. производят потомство\nB. регенерируют\nC. окаменевают\nD. погибают\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.13384532928466797, + "B": 0.5998531579971313, + "C": 0.08118129521608353, + "D": 0.11811808496713638 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая система считается замкнутой электрической цепью?", + "option_a": "работающий холодильник", + "option_b": "аккумулятор, извлеченный из игрушки", + "option_c": "заведенные часы", + "option_d": "перегоревший предохранитель" + }, + "outputs": "A", + "meta": { + "id": 1985 + } + }, + "prompt": "<|im_start|>user\nКакая система считается замкнутой электрической цепью?\nA. работающий холодильник\nB. аккумулятор, извлеченный из игрушки\nC. заведенные часы\nD. перегоревший предохранитель\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.1320713758468628, + "B": 0.7600184082984924, + "C": 0.0031060215551406145, + "D": 0.05505555123090744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если студенту нужно согреться, что из этого поможет?", + "option_a": "все предложенные способы", + "option_b": "посидеть у камина", + "option_c": "посидеть рядом с работающим двигателем", + "option_d": "включить обогреватель в помещении" + }, + "outputs": "A", + "meta": { + "id": 903 + } + }, + "prompt": "<|im_start|>user\nЕсли студенту нужно согреться, что из этого поможет?\nA) все предложенные способы\nB) посидеть у камина\nC) посидеть рядом с работающим двигателем\nD) включить обогреватель в помещении\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8835283517837524, + "B": 0.014280905947089195, + "C": 0.0015051965601742268, + "D": 0.008661807514727116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда сопротивление возрастает, что легче сделать?", + "option_a": "сбавить скорость", + "option_b": "ускориться", + "option_c": "разогнаться", + "option_d": "взлететь" + }, + "outputs": "A", + "meta": { + "id": 105 + } + }, + "prompt": "<|im_start|>user\nКогда сопротивление возрастает, что легче сделать?\nA) сбавить скорость\nB) ускориться\nC) разогнаться\nD) взлететь\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02509421668946743, + "B": 0.8310062885284424, + "C": 0.028435470536351204, + "D": 0.019543394446372986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Худшее место, где можно оставить шоколадный батончик, - это", + "option_a": "холодильник", + "option_b": "солнечный пляж", + "option_c": "морозильная камера", + "option_d": "шкаф" + }, + "outputs": "B", + "meta": { + "id": 1940 + } + }, + "prompt": "<|im_start|>user\nХудшее место, где можно оставить шоколадный батончик, - это\nA) холодильник\nB) солнечный пляж\nC) морозильная камера\nD) шкаф\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.060422383248806, + "B": 0.8341052532196045, + "C": 0.025187795981764793, + "D": 0.03234177082777023 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком состоянии рептилии долго и неподвижно лежат в одном месте?", + "option_a": "овальные белые", + "option_b": "на камнях", + "option_c": "в грязи", + "option_d": "живые молодые" + }, + "outputs": "A", + "meta": { + "id": 2199 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком состоянии рептилии долго и неподвижно лежат в одном месте?\nA. овальные белые\nB. на камнях\nC. в грязи\nD. живые молодые\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0007742206216789782, + "B": 8.160225115716457e-05, + "C": 0.0002218179142801091, + "D": 0.9620838165283203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего нужны гайки и болты велосипеду?", + "option_a": "в качестве еды", + "option_b": "для скрипа", + "option_c": "низачем", + "option_d": "для скрепления конструкции" + }, + "outputs": "D", + "meta": { + "id": 987 + } + }, + "prompt": "<|im_start|>user\nДля чего нужны гайки и болты велосипеду?\nA) в качестве еды\nB) для скрипа\nC) низачем\nD) для скрепления конструкции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.002026184694841504, + "B": 0.03169485926628113, + "C": 0.3007124662399292, + "D": 0.6366082429885864 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Летучие мыши используют органы сбоку от головы, чтобы", + "option_a": "поднимать свои солнцезащитные очки", + "option_b": "получать короткие радиоимпульсы", + "option_c": "создавать подъемную силу для полета", + "option_d": "привлекать потенциального партнера" + }, + "outputs": "B", + "meta": { + "id": 7 + } + }, + "prompt": "<|im_start|>user\nЛетучие мыши используют органы сбоку от головы, чтобы\nA. поднимать свои солнцезащитные очки\nB. получать короткие радиоимпульсы\nC. создавать подъемную силу для полета\nD. привлекать потенциального партнера\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.000255901541095227, + "B": 0.00010667563765309751, + "C": 0.9794953465461731, + "D": 0.0005417435895651579 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дыхание - это когда легкие преобразуют кислород из вдыхаемого воздуха в", + "option_a": "гемоглобин и оксид азота в крови", + "option_b": "частицы глюкозы в крови", + "option_c": "кислород, попадающий из респираторных бронхиол через альвеолы в кровь для транспортировки белком гемоглобин", + "option_d": "оксид углерода в крови" + }, + "outputs": "C", + "meta": { + "id": 21 + } + }, + "prompt": "<|im_start|>user\nДыхание - это когда легкие преобразуют кислород из вдыхаемого воздуха в\nA) гемоглобин и оксид азота в крови\nB) частицы глюкозы в крови\nC) кислород, попадающий из респираторных бронхиол через альвеолы в кровь для транспортировки белком гемоглобин\nD) оксид углерода в крови\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.06307094544172287, + "B": 0.8706675171852112, + "C": 0.009672243148088455, + "D": 0.015946831554174423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Расплавленная порода под поверхностью называется магмой, и когда она появляется, в какой области она называется лавой?", + "option_a": "в гейзере", + "option_b": "на склонах вулкана", + "option_c": "в любой области над землей", + "option_d": "в любой области под землей" + }, + "outputs": "C", + "meta": { + "id": 1676 + } + }, + "prompt": "<|im_start|>user\nРасплавленная порода под поверхностью называется магмой, и когда она появляется, в какой области она называется лавой?\nA) в гейзере\nB) на склонах вулкана\nC) в любой области над землей\nD) в любой области под землей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.07806724309921265, + "B": 0.7406814098358154, + "C": 0.022366641089320183, + "D": 0.08846177905797958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, вызовет дрожь у животного?", + "option_a": "8 градусов по Цельсию", + "option_b": "42 градуса по Фаренгейту", + "option_c": "6 градусов по Цельсию", + "option_d": "5 градусов по Цельсию" + }, + "outputs": "D", + "meta": { + "id": 265 + } + }, + "prompt": "<|im_start|>user\nЧто, скорее всего, вызовет дрожь у животного?\nA. 8 градусов по Цельсию\nB. 42 градуса по Фаренгейту\nC. 6 градусов по Цельсию\nD. 5 градусов по Цельсию\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16840390861034393, + "B": 0.0027219955809414387, + "C": 0.7547339200973511, + "D": 0.005762464366853237 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сдайте картонную коробку в переработку вместо того, чтобы выбрасывать", + "option_a": "сэкономьте энергию на будущее", + "option_b": "сохраните редкие виды диких животных", + "option_c": "уменьшите высоту свалок", + "option_d": "сохраните чистым мусорное ведро" + }, + "outputs": "C", + "meta": { + "id": 2322 + } + }, + "prompt": "<|im_start|>user\nСдайте картонную коробку в переработку вместо того, чтобы выбрасывать\nA. сэкономьте энергию на будущее\nB. сохраните редкие виды диких животных\nC. уменьшите высоту свалок\nD. сохраните чистым мусорное ведро\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08426210284233093, + "B": 0.5494579076766968, + "C": 0.03980259969830513, + "D": 0.22904813289642334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку июнь в Австралии холодный и влажный, имеет смысл утверждать, что в то же время", + "option_a": "в Москве будет дождь", + "option_b": "в Астрахани не будет снега", + "option_c": "в Санкт-Петербурге будет бушевать зима", + "option_d": "повсюду в мире будет холодно" + }, + "outputs": "B", + "meta": { + "id": 1685 + } + }, + "prompt": "<|im_start|>user\nПоскольку июнь в Австралии холодный и влажный, имеет смысл утверждать, что в то же время\nA. в Москве будет дождь\nB. в Астрахани не будет снега\nC. в Санкт-Петербурге будет бушевать зима\nD. повсюду в мире будет холодно\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6097747683525085, + "B": 0.00869796983897686, + "C": 0.1979648768901825, + "D": 0.09351199120283127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо, обладающее большими физическими возможностями, скорее всего", + "option_a": "обладает фантастическим здоровьем", + "option_b": "обладает плохим здоровьем", + "option_c": "вряд ли будет здоровым", + "option_d": "редко будет здоровым" + }, + "outputs": "A", + "meta": { + "id": 1122 + } + }, + "prompt": "<|im_start|>user\nСущество, обладающее большими физическими возможностями, скорее всего\nA. обладает фантастическим здоровьем\nB. обладает плохим здоровьем\nC. вряд ли будет здоровым\nD. редко будет здоровым\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005665083881467581, + "B": 0.0006765977595932782, + "C": 0.0003621567157097161, + "D": 0.9527206420898438 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Водоочистные сооружения кипятили всю воду, которая к ним поступала, для чего?", + "option_a": "добавить кислород", + "option_b": "добавить пользы для здоровья", + "option_c": "перемешать воду", + "option_d": "удалить вредные микробы" + }, + "outputs": "D", + "meta": { + "id": 1647 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Водоочистные сооружения кипятили всю воду, которая к ним поступала, для чего?\nA) добавить кислород\nB) добавить пользы для здоровья\nC) перемешать воду\nD) удалить вредные микробы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0016307291807606816, + "B": 0.9572142362594604, + "C": 9.199944179272279e-05, + "D": 0.00013385839702095836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "экосистемы остаются прежними?", + "option_a": "экосистемы всегда одни и те же", + "option_b": "они меняются со временем", + "option_c": "со временем они только растут", + "option_d": "экосистемы претерпевают очень незначительные изменения" + }, + "outputs": "B", + "meta": { + "id": 10 + } + }, + "prompt": "<|im_start|>user\nэкосистемы остаются прежними?\nA. экосистемы всегда одни и те же\nB. они меняются со временем\nC. со временем они только растут\nD. экосистемы претерпевают очень незначительные изменения\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.1449294239282608, + "B": 0.011896531097590923, + "C": 0.2707638144493103, + "D": 0.5058533549308777 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником тепла может быть", + "option_a": "холодная газировка", + "option_b": "кубик льда", + "option_c": "мини-фонарик", + "option_d": "снег" + }, + "outputs": "C", + "meta": { + "id": 2059 + } + }, + "prompt": "<|im_start|>user\nИсточником тепла может быть\nA) холодная газировка\nB) кубик льда\nC) мини-фонарик\nD) снег\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003093855921179056, + "B": 0.00036950840149074793, + "C": 0.9720606207847595, + "D": 0.0016560218064114451 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы строят гнезда из таких вещей, как", + "option_a": "целые стволы деревьев", + "option_b": "маленькие осколки стекла", + "option_c": "фрагменты растений", + "option_d": "несколько цветочных бутонов" + }, + "outputs": "C", + "meta": { + "id": 2209 + } + }, + "prompt": "<|im_start|>user\nПтицы строят гнезда из таких вещей, как\nA. целые стволы деревьев\nB. маленькие осколки стекла\nC. фрагменты растений\nD. несколько цветочных бутонов\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10076310485601425, + "B": 0.0009878466371446848, + "C": 0.0026852458249777555, + "D": 0.8436791300773621 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчела оказала ценную услугу", + "option_a": "дому", + "option_b": "камню", + "option_c": "воде", + "option_d": "розе" + }, + "outputs": "D", + "meta": { + "id": 2183 + } + }, + "prompt": "<|im_start|>user\nПчела оказала ценную услугу\nA) дому\nB) камню\nC) воде\nD) розе\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.020625155419111252, + "B": 0.8770039081573486, + "C": 0.016062887385487556, + "D": 0.038532860577106476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лучшее время для барбекю в течение всего дня в северном полушарии -", + "option_a": "21 декабря", + "option_b": "конец июня", + "option_c": "зимнее солнцестояние", + "option_d": "где-то в январе" + }, + "outputs": "B", + "meta": { + "id": 1955 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лучшее время для барбекю в течение всего дня в северном полушарии -\nA) 21 декабря\nB) конец июня\nC) зимнее солнцестояние\nD) где-то в январе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5337293148040771, + "B": 0.018263213336467743, + "C": 0.19634807109832764, + "D": 0.10509753227233887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что-то может быть классифицировано как удар, если", + "option_a": "была причинена боль", + "option_b": "кто-то впоследствии получит травму", + "option_c": "была поднята рука", + "option_d": "объекта коснулись" + }, + "outputs": "D", + "meta": { + "id": 17 + } + }, + "prompt": "<|im_start|>user\nЧто-то может быть классифицировано как удар, если\nA. была причинена боль\nB. кто-то впоследствии получит травму\nC. была поднята рука\nD. объекта коснулись\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002638474339619279, + "B": 0.9393619298934937, + "C": 0.00027809315361082554, + "D": 0.0004046231333632022 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустынях, джунглях и океанах есть много разных", + "option_a": "рыб", + "option_b": "организмов", + "option_c": "деревьев", + "option_d": "травы" + }, + "outputs": "B", + "meta": { + "id": 612 + } + }, + "prompt": "<|im_start|>user\nВ пустынях, джунглях и океанах есть много разных\nA) рыб\nB) организмов\nC) деревьев\nD) травы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002218707464635372, + "B": 0.0003002693993039429, + "C": 0.05049755051732063, + "D": 0.8950904607772827 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вращение Земли вызывает", + "option_a": "создание силы тяжести", + "option_b": "извержения вулканов", + "option_c": "чередование приливов", + "option_d": "чередование дня и ночи" + }, + "outputs": "D", + "meta": { + "id": 1818 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вращение Земли вызывает\nA. создание силы тяжести\nB. извержения вулканов\nC. чередование приливов\nD. чередование дня и ночи\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.6379543542861938, + "B": 0.11085983365774155, + "C": 0.09783347696065903, + "D": 0.03599092364311218 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звук будет легче распространяться через", + "option_a": "планету", + "option_b": "небо", + "option_c": "тело", + "option_d": "солнце" + }, + "outputs": "B", + "meta": { + "id": 465 + } + }, + "prompt": "<|im_start|>user\nЗвук будет легче распространяться через\nA) планету\nB) небо\nC) тело\nD) солнце\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.04072648286819458, + "B": 0.076087087392807, + "C": 0.8180133104324341, + "D": 0.010297268629074097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером какого типа поведения является крапивник, строящий дом?", + "option_a": "унаследованное", + "option_b": "хорошее", + "option_c": "усвоенное", + "option_d": "плохое" + }, + "outputs": "A", + "meta": { + "id": 49 + } + }, + "prompt": "<|im_start|>user\nПримером какого типа поведения является крапивник, строящий дом?\nA. унаследованное\nB. хорошее\nC. усвоенное\nD. плохое\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00917796790599823, + "B": 0.013353862799704075, + "C": 0.9361780881881714, + "D": 0.008099528029561043 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Необходимость использовать зонтик может быть результатом", + "option_a": "испарения", + "option_b": "конденсации", + "option_c": "осадков", + "option_d": "столкновения" + }, + "outputs": "C", + "meta": { + "id": 1034 + } + }, + "prompt": "<|im_start|>user\nНеобходимость использовать зонтик может быть результатом\nA. испарения\nB. конденсации\nC. осадков\nD. столкновения\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.016626136377453804, + "B": 0.035197529941797256, + "C": 0.0019857087172567844, + "D": 0.9077562093734741 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, будет передавать особое тепло с помощью волн?", + "option_a": "кот", + "option_b": "ракета", + "option_c": "машина", + "option_d": "атомная бомба" + }, + "outputs": "D", + "meta": { + "id": 2130 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, будет передавать особое тепло с помощью волн?\nA) кот\nB) ракета\nC) машина\nD) атомная бомба\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.15275178849697113, + "B": 0.3664324879646301, + "C": 0.049591246992349625, + "D": 0.3664324879646301 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вторичное использование - это", + "option_a": "повторное использование подарочных пакетов снова и снова", + "option_b": "использование пластин из пенополистирола для каждого приема пищи", + "option_c": "выбрасывание пластиковых бутылок на свалку", + "option_d": "за рулем грузовика, потребляющего газ." + }, + "outputs": "A", + "meta": { + "id": 925 + } + }, + "prompt": "<|im_start|>user\nВторичное использование - это\nA) повторное использование подарочных пакетов снова и снова\nB) использование пластин из пенополистирола для каждого приема пищи\nC) выбрасывание пластиковых бутылок на свалку\nD) за рулем грузовика, потребляющего газ.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10819141566753387, + "B": 0.027355074882507324, + "C": 0.7994324564933777, + "D": 0.01140329148620367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому нужна энергия для выживания?", + "option_a": "воздух", + "option_b": "камни", + "option_c": "жирафы", + "option_d": "песок" + }, + "outputs": "C", + "meta": { + "id": 388 + } + }, + "prompt": "<|im_start|>user\nКому нужна энергия для выживания?\nA. воздух\nB. камни\nC. жирафы\nD. песок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.020401092246174812, + "B": 0.020401092246174812, + "C": 0.7655453681945801, + "D": 0.15074481070041656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком климате обитают теплолюбивые организмы?", + "option_a": "ледяной", + "option_b": "морозный", + "option_c": "летний", + "option_d": "холодный" + }, + "outputs": "C", + "meta": { + "id": 420 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком климате обитают теплолюбивые организмы?\nA) ледяной\nB) морозный\nC) летний\nD) холодный\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.010891315527260303, + "B": 0.865204393863678, + "C": 0.017956743016839027, + "D": 0.04881149157881737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если объект подвергается химическому изменению, то этот объект будет иметь новые химические свойства, такие как", + "option_a": "напиток с водой в нем", + "option_b": "газировка с известью в нем", + "option_c": "туалет с отбеливателем в нем", + "option_d": "раковина с волосы в нем" + }, + "outputs": "B", + "meta": { + "id": 732 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если объект подвергается химическому изменению, то этот объект будет иметь новые химические свойства, такие как\nA. напиток с водой в нем\nB. газировка с известью в нем\nC. туалет с отбеливателем в нем\nD. раковина с волосы в нем\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.007762278895825148, + "B": 0.02709301747381687, + "C": 0.8971974849700928, + "D": 0.021100062876939774 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо, которое неспособно к рождению уже живого потомства, - это", + "option_a": "медведь", + "option_b": "человек", + "option_c": "саламандра.", + "option_d": "бобр" + }, + "outputs": "C", + "meta": { + "id": 1053 + } + }, + "prompt": "<|im_start|>user\nСущество, которое неспособно к рождению уже живого потомства, - это\nA. медведь\nB. человек\nC. саламандра.\nD. бобр\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8650895357131958, + "B": 0.001892375759780407, + "C": 0.0004784674965776503, + "D": 0.009610277600586414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Перекрывшая течение реки плотина создает дома для", + "option_a": "рыб", + "option_b": "спутников", + "option_c": "камней", + "option_d": "русалок" + }, + "outputs": "A", + "meta": { + "id": 1758 + } + }, + "prompt": "<|im_start|>user\nПерекрывшая течение реки плотина создает дома для\nA) рыб\nB) спутников\nC) камней\nD) русалок\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.059746336191892624, + "B": 0.20853520929813385, + "C": 0.0249059796333313, + "D": 0.6423336863517761 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мяч, катящийся по ковру, будет двигаться ______, чем мяч, катящийся по бетону.", + "option_a": "скорее", + "option_b": "быстрее", + "option_c": "шумнее", + "option_d": "медленнее" + }, + "outputs": "D", + "meta": { + "id": 815 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мяч, катящийся по ковру, будет двигаться ______, чем мяч, катящийся по бетону.\nA) скорее\nB) быстрее\nC) шумнее\nD) медленнее\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0008567901095375419, + "B": 0.9395844340324402, + "C": 0.001100140274502337, + "D": 0.001100140274502337 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина хочет убедиться, что она сможет вспоминать события этого дня, когда она захочет, поэтому она", + "option_a": "приносит утюг", + "option_b": "приносит фотоаппарат", + "option_c": "приносит книгу", + "option_d": "приносит обед" + }, + "outputs": "B", + "meta": { + "id": 579 + } + }, + "prompt": "<|im_start|>user\nЖенщина хочет убедиться, что она сможет вспоминать события этого дня, когда она захочет, поэтому она\nA) приносит утюг\nB) приносит фотоаппарат\nC) приносит книгу\nD) приносит обед\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0012937957653775811, + "B": 0.0011417707428336143, + "C": 0.9751393795013428, + "D": 0.002133108675479889 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В переваривании чего бактерии чаще всего могут помочь человеку?", + "option_a": "пластик", + "option_b": "медь", + "option_c": "питательные вещества", + "option_d": "камни" + }, + "outputs": "C", + "meta": { + "id": 1553 + } + }, + "prompt": "<|im_start|>user\nВ переваривании чего бактерии чаще всего могут помочь человеку?\nA. пластик\nB. медь\nC. питательные вещества\nD. камни\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9132072925567627, + "B": 0.004792071878910065, + "C": 0.0006485364283435047, + "D": 0.00256501161493361 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, застрявший в тундре, может", + "option_a": "погибнуть", + "option_b": "почувствовать тепло", + "option_c": "летать", + "option_d": "перегреться" + }, + "outputs": "A", + "meta": { + "id": 603 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек, застрявший в тундре, может\nA) погибнуть\nB) почувствовать тепло\nC) летать\nD) перегреться\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.046937134116888046, + "B": 0.06829312443733215, + "C": 0.7342203259468079, + "D": 0.07738624513149261 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда старик был намного моложе, у него уже были", + "option_a": "карие глаза", + "option_b": "облысение", + "option_c": "седые волосы", + "option_d": "морщинистая кожа" + }, + "outputs": "A", + "meta": { + "id": 2156 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда старик был намного моложе, у него уже были\nA. карие глаза\nB. облысение\nC. седые волосы\nD. морщинистая кожа\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09665706753730774, + "B": 0.23186826705932617, + "C": 0.003747801063582301, + "D": 0.6302832365036011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих характеристик животных обычно определяются факторами окружающей среды, а не наследственностью?", + "option_a": "цвет глаз", + "option_b": "цвет шерсти", + "option_c": "количество хромосом", + "option_d": "длина шерсти" + }, + "outputs": "D", + "meta": { + "id": 534 + } + }, + "prompt": "<|im_start|>user\nКакие из этих характеристик животных обычно определяются факторами окружающей среды, а не наследственностью?\nA. цвет глаз\nB. цвет шерсти\nC. количество хромосом\nD. длина шерсти\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06805318593978882, + "B": 0.829057514667511, + "C": 0.009209997951984406, + "D": 0.013400467112660408 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое логичное предположение можно сделать, увидев лужу белого вещества на полу магазина и пустой коробки на прилавке?", + "option_a": "пролился белый сок", + "option_b": "пролилось молоко", + "option_c": "пролилась кола", + "option_d": "это иллюзия" + }, + "outputs": "B", + "meta": { + "id": 487 + } + }, + "prompt": "<|im_start|>user\nКакое логичное предположение можно сделать, увидев лужу белого вещества на полу магазина и пустой коробки на прилавке?\nA) пролился белый сок\nB) пролилось молоко\nC) пролилась кола\nD) это иллюзия\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8518410921096802, + "B": 0.04241066798567772, + "C": 0.007369869388639927, + "D": 0.025723371654748917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, может содержаться в осадочной породе?", + "option_a": "трилобит", + "option_b": "печенье", + "option_c": "коктейль из пырея", + "option_d": "закусочная" + }, + "outputs": "A", + "meta": { + "id": 98 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, может содержаться в осадочной породе?\nA. трилобит\nB. печенье\nC. коктейль из пырея\nD. закусочная\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.10844115167856216, + "B": 0.006117831915616989, + "C": 0.20259475708007812, + "D": 0.6240357756614685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отходы человеческого дыхания", + "option_a": "- жизненно важный ресурс для свиней", + "option_b": "- жизненно важный ресурс для нарциссов", + "option_c": "- жизненно важный ресурс для океанов", + "option_d": "- жизненно важный ресурс для пчел" + }, + "outputs": "B", + "meta": { + "id": 1708 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Отходы человеческого дыхания\nA. - жизненно важный ресурс для свиней\nB. - жизненно важный ресурс для нарциссов\nC. - жизненно важный ресурс для океанов\nD. - жизненно важный ресурс для пчел\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8521146178245544, + "B": 0.0027120939921587706, + "C": 0.017685074359178543, + "D": 0.02915775775909424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свет преломляется, когда", + "option_a": "он отражается от ложки", + "option_b": "он светит в зеркало", + "option_c": "он светит на драгоценный камень", + "option_d": "он отражается от машины" + }, + "outputs": "C", + "meta": { + "id": 984 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Свет преломляется, когда\nA. он отражается от ложки\nB. он светит в зеркало\nC. он светит на драгоценный камень\nD. он отражается от машины\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.016318826004862785, + "B": 0.2252744734287262, + "C": 0.6123594641685486, + "D": 0.08287383615970612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете сообщить кому-нибудь, что находитесь у двери, благодаря", + "option_a": "лимонаду", + "option_b": "машинам", + "option_c": "звонку", + "option_d": "траве" + }, + "outputs": "C", + "meta": { + "id": 1384 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы можете сообщить кому-нибудь, что находитесь у двери, благодаря\nA. лимонаду\nB. машинам\nC. звонку\nD. траве\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.14471818506717682, + "B": 0.18582183122634888, + "C": 0.028496699407696724, + "D": 0.5723715424537659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По орбите чего вращается Земля, вызывая смену времен года?", + "option_a": "Венера", + "option_b": "плазменная звезда", + "option_c": "Нептун", + "option_d": "Плутон" + }, + "outputs": "B", + "meta": { + "id": 722 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По орбите чего вращается Земля, вызывая смену времен года?\nA) Венера\nB) плазменная звезда\nC) Нептун\nD) Плутон\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01873786561191082, + "B": 0.9028409719467163, + "C": 0.0022379192523658276, + "D": 0.007811104878783226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером химического изменения являются вещества, расщепляющие кислоту, другой пример химического изменения -", + "option_a": "мука, добавленная к соли", + "option_b": "лимонный сок, добавленный в молоко", + "option_c": "кукуруза, добавленная в суп", + "option_d": "молоко, добавленное к воде" + }, + "outputs": "B", + "meta": { + "id": 311 + } + }, + "prompt": "<|im_start|>user\nПримером химического изменения являются вещества, расщепляющие кислоту, другой пример химического изменения -\nA) мука, добавленная к соли\nB) лимонный сок, добавленный в молоко\nC) кукуруза, добавленная в суп\nD) молоко, добавленное к воде\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007122901268303394, + "B": 0.932915985584259, + "C": 0.0009639798663556576, + "D": 0.0010923322988674045 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С добавлением двигателей ваш поступательный импульс", + "option_a": "останется прежним", + "option_b": "увеличится", + "option_c": "уменьшится", + "option_d": "застопорит вас" + }, + "outputs": "B", + "meta": { + "id": 1443 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: С добавлением двигателей ваш поступательный импульс\nA. останется прежним\nB. увеличится\nC. уменьшится\nD. застопорит вас\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0014351182617247105, + "B": 0.954556941986084, + "C": 0.0003628547419793904, + "D": 0.0012664874084293842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цунами", + "option_a": "оказывают незначительное воздействие на окружающую среду", + "option_b": "могут изменять береговые линии", + "option_c": "могут быть легко остановлены", + "option_d": "могут способствовать экономическому росту" + }, + "outputs": "B", + "meta": { + "id": 2008 + } + }, + "prompt": "<|im_start|>user\nЦунами\nA. оказывают незначительное воздействие на окружающую среду\nB. могут изменять береговые линии\nC. могут быть легко остановлены\nD. могут способствовать экономическому росту\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10836990177631378, + "B": 0.6236257553100586, + "C": 0.12279918789863586, + "D": 0.039867062121629715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алеша оглядывается на степь, там безоблачно, но солнца нигде не видно. Сейчас", + "option_a": "полдень", + "option_b": "ночь", + "option_c": "позднее утро", + "option_d": "обед" + }, + "outputs": "B", + "meta": { + "id": 1165 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Алеша оглядывается на степь, там безоблачно, но солнца нигде не видно. Сейчас\nA. полдень\nB. ночь\nC. позднее утро\nD. обед\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9265905022621155, + "B": 0.004290965385735035, + "C": 0.0006580408080480993, + "D": 0.004290965385735035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что наносит вред биологическому виду?", + "option_a": "уменьшение популяции", + "option_b": "ничего", + "option_c": "рост популяции", + "option_d": "изменение внешнего вида" + }, + "outputs": "A", + "meta": { + "id": 1406 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что наносит вред биологическому виду?\nA. уменьшение популяции\nB. ничего\nC. рост популяции\nD. изменение внешнего вида\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.05123986303806305, + "B": 0.00020940558169968426, + "C": 0.0001270109205506742, + "D": 0.908248245716095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с ним нужно делать, чтобы безопасно есть мясо?", + "option_a": "сильно повысить его температуру", + "option_b": "повыше его положить", + "option_c": "положить на него лед", + "option_d": "снизить его температуру" + }, + "outputs": "A", + "meta": { + "id": 329 + } + }, + "prompt": "<|im_start|>user\nЧто с ним нужно делать, чтобы безопасно есть мясо?\nA) сильно повысить его температуру\nB) повыше его положить\nC) положить на него лед\nD) снизить его температуру\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9337249398231506, + "B": 0.000964815728366375, + "C": 0.0026226413901895285, + "D": 0.006291388999670744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вырубка дерева", + "option_a": "прекращает его способность расти", + "option_b": "заставляет его расти в 10 раз больше", + "option_c": "уменьшать вероятность вырубки леса", + "option_d": "заставляет дерево процветать" + }, + "outputs": "A", + "meta": { + "id": 1639 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вырубка дерева\nA. прекращает его способность расти\nB. заставляет его расти в 10 раз больше\nC. уменьшать вероятность вырубки леса\nD. заставляет дерево процветать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8633258938789368, + "B": 0.009590685367584229, + "C": 0.005133523140102625, + "D": 0.03347477689385414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лиза хочет узнать площадь прямоугольного листа бумаги. Размер бумаги ей неизвестен. Какой инструментом ей понадобится?", + "option_a": "транспортир", + "option_b": "циркуль", + "option_c": "калькулятор", + "option_d": "линейка" + }, + "outputs": "D", + "meta": { + "id": 1783 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лиза хочет узнать площадь прямоугольного листа бумаги. Размер бумаги ей неизвестен. Какой инструментом ей понадобится?\nA) транспортир\nB) циркуль\nC) калькулятор\nD) линейка\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03135636821389198, + "B": 0.0015611418057233095, + "C": 0.002004545647650957, + "D": 0.9163674116134644 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, как достигается таяние, лучше всего можно увидеть на примере", + "option_a": "приготовления тушеного мяса в мультиварке", + "option_b": "использования духовки для нагрева пиццы", + "option_c": "использования плиты для подогрева замороженных овощей", + "option_d": "использования фена для превращения льда в воду" + }, + "outputs": "D", + "meta": { + "id": 1682 + } + }, + "prompt": "<|im_start|>user\nТо, как достигается таяние, лучше всего можно увидеть на примере\nA. приготовления тушеного мяса в мультиварке\nB. использования духовки для нагрева пиццы\nC. использования плиты для подогрева замороженных овощей\nD. использования фена для превращения льда в воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0544576458632946, + "B": 0.0227013248950243, + "C": 0.0121511435136199, + "D": 0.8518609404563904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Конденсация в течение ночи", + "option_a": "приводит к чрезвычайно засушливым условиям", + "option_b": "вызывает появление гололеда на мостах", + "option_c": "вызывает увядание и гибель растений", + "option_d": "может сделать траву скользкой" + }, + "outputs": "D", + "meta": { + "id": 399 + } + }, + "prompt": "<|im_start|>user\nКонденсация в течение ночи\nA. приводит к чрезвычайно засушливым условиям\nB. вызывает появление гололеда на мостах\nC. вызывает увядание и гибель растений\nD. может сделать траву скользкой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.7456726431846619, + "B": 0.006451332475990057, + "C": 0.08905790001153946, + "D": 0.002094441093504429 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ребенок будет расти, только если он будет обеспечен", + "option_a": "образованием", + "option_b": "энергией", + "option_c": "вдохновением", + "option_d": "кроватью" + }, + "outputs": "B", + "meta": { + "id": 276 + } + }, + "prompt": "<|im_start|>user\nРебенок будет расти, только если он будет обеспечен\nA) образованием\nB) энергией\nC) вдохновением\nD) кроватью\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0009784329449757934, + "B": 0.0001324165059486404, + "C": 0.0011087097227573395, + "D": 0.9469033479690552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему у белого медведя шерсть без пигментного окрашивания?", + "option_a": "чтобы выглядеть модно", + "option_b": "чтобы выделяться", + "option_c": "случайно", + "option_d": "чтобы быть незаметным на фоне снега и льда" + }, + "outputs": "D", + "meta": { + "id": 1600 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Почему у белого медведя шерсть без пигментного окрашивания?\nA. чтобы выглядеть модно\nB. чтобы выделяться\nC. случайно\nD. чтобы быть незаметным на фоне снега и льда\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0014462468679994345, + "B": 0.9619590640068054, + "C": 0.00022178914514370263, + "D": 0.0002847829309757799 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если нечто причиняет вред какому-либо виду животных, то что оно делает с их численностью?", + "option_a": "приводит к взрывному росту", + "option_b": "снижает", + "option_c": "поднимает", + "option_d": "незначительно увеличивает" + }, + "outputs": "B", + "meta": { + "id": 1225 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если нечто причиняет вред какому-либо виду животных, то что оно делает с их численностью?\nA. приводит к взрывному росту\nB. снижает\nC. поднимает\nD. незначительно увеличивает\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8896837830543518, + "B": 0.0013375855050981045, + "C": 0.0004342504544183612, + "D": 0.0076972730457782745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплое стекло в холодильнике", + "option_a": "покрывается конденсатом", + "option_b": "тлеет", + "option_c": "усаживается", + "option_d": "трескается" + }, + "outputs": "A", + "meta": { + "id": 878 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Теплое стекло в холодильнике\nA) покрывается конденсатом\nB) тлеет\nC) усаживается\nD) трескается\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.008063441142439842, + "B": 0.002310214564204216, + "C": 0.019343189895153046, + "D": 0.9320070743560791 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего питательные вещества служат источником энергии?", + "option_a": "киты", + "option_b": "вода", + "option_c": "звезды", + "option_d": "пластиды" + }, + "outputs": "A", + "meta": { + "id": 986 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего питательные вещества служат источником энергии?\nA. киты\nB. вода\nC. звезды\nD. пластиды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8881678581237793, + "B": 0.0001594796049175784, + "C": 0.0002320414496352896, + "D": 0.0003825716848950833 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем лучше разрыхлена почва, тем больше в ней…", + "option_a": "воздуха", + "option_b": "грязи", + "option_c": "воды", + "option_d": "жуков" + }, + "outputs": "A", + "meta": { + "id": 999 + } + }, + "prompt": "<|im_start|>user\nЧем лучше разрыхлена почва, тем больше в ней…\nA. воздуха\nB. грязи\nC. воды\nD. жуков\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.05649907886981964, + "B": 0.8837943077087402, + "C": 0.0011726010125130415, + "D": 0.002482396550476551 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В почве, где роются эти безногие существа, находится серия небольших отверстий, ведущих в разные места:", + "option_a": "дождевые черви", + "option_b": "кроты", + "option_c": "лягушки", + "option_d": "саламандры" + }, + "outputs": "A", + "meta": { + "id": 2307 + } + }, + "prompt": "<|im_start|>user\nВ почве, где роются эти безногие существа, находится серия небольших отверстий, ведущих в разные места:\nA) дождевые черви\nB) кроты\nC) лягушки\nD) саламандры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.22131597995758057, + "B": 0.36488834023475647, + "C": 0.09225822240114212, + "D": 0.25078386068344116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где на нашей планете у человека будет самая маленькая тень в полдень?", + "option_a": "полярный круг", + "option_b": "около экватора", + "option_c": "северный полюс", + "option_d": "южный полюс" + }, + "outputs": "B", + "meta": { + "id": 2018 + } + }, + "prompt": "<|im_start|>user\nГде на нашей планете у человека будет самая маленькая тень в полдень?\nA. полярный круг\nB. около экватора\nC. северный полюс\nD. южный полюс\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2960578203201294, + "B": 0.045401934534311295, + "C": 0.024301905184984207, + "D": 0.553108811378479 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мне было бы труднее скользить в носках по", + "option_a": "мохнатому ковру", + "option_b": "мраморному полу", + "option_c": "деревянному полу", + "option_d": "льду" + }, + "outputs": "A", + "meta": { + "id": 1611 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мне было бы труднее скользить в носках по\nA) мохнатому ковру\nB) мраморному полу\nC) деревянному полу\nD) льду\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001588109997101128, + "B": 0.9321973323822021, + "C": 0.0004550011071842164, + "D": 0.0033620286267250776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что громче?", + "option_a": "нежный поцелуй", + "option_b": "рев мотора", + "option_c": "шепот", + "option_d": "чихание блохи" + }, + "outputs": "B", + "meta": { + "id": 1028 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что громче?\nA. нежный поцелуй\nB. рев мотора\nC. шепот\nD. чихание блохи\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.039229054003953934, + "B": 0.6953515410423279, + "C": 0.007724658586084843, + "D": 0.19922156631946564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является частью экологической системы?", + "option_a": "пульсары", + "option_b": "водопады", + "option_c": "черные дыры", + "option_d": "астероиды" + }, + "outputs": "B", + "meta": { + "id": 336 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является частью экологической системы?\nA) пульсары\nB) водопады\nC) черные дыры\nD) астероиды\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005006310995668173, + "B": 0.0034407838247716427, + "C": 0.9540339708328247, + "D": 0.00935302022844553 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ледники могут скрывать внутри", + "option_a": "магию", + "option_b": "чувства", + "option_c": "подледные реки", + "option_d": "эмоции" + }, + "outputs": "C", + "meta": { + "id": 1213 + } + }, + "prompt": "<|im_start|>user\nЛедники могут скрывать внутри\nA. магию\nB. чувства\nC. подледные реки\nD. эмоции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.21269574761390686, + "B": 0.27310675382614136, + "C": 0.21269574761390686, + "D": 0.21269574761390686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда наиболее вероятен туман", + "option_a": "15:00", + "option_b": "полдень", + "option_c": "18:00", + "option_d": "полночь" + }, + "outputs": "D", + "meta": { + "id": 636 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда наиболее вероятен туман\nA) 15:00\nB) полдень\nC) 18:00\nD) полночь\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1348363161087036, + "B": 0.7759295105934143, + "C": 0.020677819848060608, + "D": 0.0009085200144909322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Младенец хочет переместить мяч, поэтому он смотрит на мяч, а тот отказывается двигаться. Младенец берет свою руку и касается мяча, и", + "option_a": "младенец плачет", + "option_b": "происходит движение", + "option_c": "движение прекращается", + "option_d": "люди плачут" + }, + "outputs": "B", + "meta": { + "id": 2323 + } + }, + "prompt": "<|im_start|>user\nМладенец хочет переместить мяч, поэтому он смотрит на мяч, а тот отказывается двигаться. Младенец берет свою руку и касается мяча, и\nA) младенец плачет\nB) происходит движение\nC) движение прекращается\nD) люди плачут\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.025365523993968964, + "B": 0.0004099955258425325, + "C": 0.0003618197806645185, + "D": 0.9518343210220337 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У нового щенка Тишки были висячие уши. Это могло быть из-за того, что", + "option_a": "у матери щенка были уши, которые выглядели так же", + "option_b": "Щенок был глухим", + "option_c": "Щенок устал", + "option_d": "У щенка отсутствовали кости в ушах" + }, + "outputs": "A", + "meta": { + "id": 421 + } + }, + "prompt": "<|im_start|>user\nУ нового щенка Тишки были висячие уши. Это могло быть из-за того, что\nA. у матери щенка были уши, которые выглядели так же\nB. Щенок был глухим\nC. Щенок устал\nD. У щенка отсутствовали кости в ушах\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0005381798255257308, + "B": 0.00028806691989302635, + "C": 0.9730519652366638, + "D": 0.0014629244105890393 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется обычная погода в каком-либо месте?", + "option_a": "тепло", + "option_b": "туман", + "option_c": "погодная норма", + "option_d": "видимость" + }, + "outputs": "C", + "meta": { + "id": 1138 + } + }, + "prompt": "<|im_start|>user\nКак называется обычная погода в каком-либо месте?\nA. тепло\nB. туман\nC. погодная норма\nD. видимость\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.013327915221452713, + "B": 0.002316044643521309, + "C": 0.002624422311782837, + "D": 0.9343590140342712 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что горячее?", + "option_a": "снег на машине", + "option_b": "чашка чая со льдом", + "option_c": "бок кошки", + "option_d": "недавно использованный утюг" + }, + "outputs": "D", + "meta": { + "id": 1865 + } + }, + "prompt": "<|im_start|>user\nЧто горячее?\nA) снег на машине\nB) чашка чая со льдом\nC) бок кошки\nD) недавно использованный утюг\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9212306141853333, + "B": 0.0010786501225084066, + "C": 0.000654234376270324, + "D": 0.004834174644201994 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы растения могли безопасно расти, на них используются пестициды. Когда на поля приходит паводок, что становится ядовитым?", + "option_a": "стоки", + "option_b": "фермеры", + "option_c": "кукуруза", + "option_d": "воздух" + }, + "outputs": "A", + "meta": { + "id": 1142 + } + }, + "prompt": "<|im_start|>user\nЧтобы растения могли безопасно расти, на них используются пестициды. Когда на поля приходит паводок, что становится ядовитым?\nA. стоки\nB. фермеры\nC. кукуруза\nD. воздух\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00234498200006783, + "B": 0.000317358790198341, + "C": 0.0004617543308995664, + "D": 0.946033239364624 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для фонарей требуются батарейки,", + "option_a": "чтобы сделать светлые светлые комнаты темнее", + "option_b": "чтобы соответствовать требованиям по весу", + "option_c": "чтобы использовать их в качестве оружия", + "option_d": "для правильного освещения объектов." + }, + "outputs": "D", + "meta": { + "id": 1817 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для фонарей требуются батарейки,\nA) чтобы сделать светлые светлые комнаты темнее\nB) чтобы соответствовать требованиям по весу\nC) чтобы использовать их в качестве оружия\nD) для правильного освещения объектов.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.290481835603714, + "B": 0.05047817528247833, + "C": 0.1996450573205948, + "D": 0.3729860782623291 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Супермодель с большим носом, вероятно,", + "option_a": "является дочерью мамы или папы с большим носом", + "option_b": "съела животное с большим носом", + "option_c": "платила фотографу недостаточно", + "option_d": "ела много корма для собак" + }, + "outputs": "A", + "meta": { + "id": 2048 + } + }, + "prompt": "<|im_start|>user\nСупермодель с большим носом, вероятно,\nA. является дочерью мамы или папы с большим носом\nB. съела животное с большим носом\nC. платила фотографу недостаточно\nD. ела много корма для собак\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.004704381804913282, + "B": 0.06494198739528656, + "C": 0.8964964747428894, + "D": 0.006844834424555302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Такие материалы, как этанол, используются для производства электроэнергии. Какой именно?", + "option_a": "гидроэлектроэнергия", + "option_b": "энергия от сжигания топлива", + "option_c": "возобновляемая энергия", + "option_d": "энергия от фиксации углерода" + }, + "outputs": "B", + "meta": { + "id": 117 + } + }, + "prompt": "<|im_start|>user\nТакие материалы, как этанол, используются для производства электроэнергии. Какой именно?\nA. гидроэлектроэнергия\nB. энергия от сжигания топлива\nC. возобновляемая энергия\nD. энергия от фиксации углерода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002649232978001237, + "B": 0.013453913852572441, + "C": 0.943192183971405, + "D": 0.0030019741971045732 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков вкус воды после растворения в ней какого-либо вещества?", + "option_a": "водянистый", + "option_b": "такой же", + "option_c": "похожий на вкус растворенного объекта", + "option_d": "полный жизни" + }, + "outputs": "C", + "meta": { + "id": 1948 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков вкус воды после растворения в ней какого-либо вещества?\nA) водянистый\nB) такой же\nC) похожий на вкус растворенного объекта\nD) полный жизни\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1727275252342224, + "B": 0.0007998871151357889, + "C": 0.009744619950652122, + "D": 0.7741110324859619 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения размера цветка", + "option_a": "все больше пчел посещают окружающие его цветы", + "option_b": "птицы съедят цветок", + "option_c": "цветок расцветает заново", + "option_d": "больше производителей меда будет привлечено к цветку" + }, + "outputs": "D", + "meta": { + "id": 1050 + } + }, + "prompt": "<|im_start|>user\nПо мере увеличения размера цветка\nA) все больше пчел посещают окружающие его цветы\nB) птицы съедят цветок\nC) цветок расцветает заново\nD) больше производителей меда будет привлечено к цветку\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07260572910308838, + "B": 0.09322760999202728, + "C": 0.01261698454618454, + "D": 0.7805851697921753 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могут отложить тающие ледники?", + "option_a": "груды кубиков льда", + "option_b": "груды сбитых с толку пингвинов", + "option_c": "груды коралловых рифов", + "option_d": "груды кристаллических твердых частиц" + }, + "outputs": "D", + "meta": { + "id": 453 + } + }, + "prompt": "<|im_start|>user\nЧто могут отложить тающие ледники?\nA. груды кубиков льда\nB. груды сбитых с толку пингвинов\nC. груды коралловых рифов\nD. груды кристаллических твердых частиц\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.917815625667572, + "B": 0.0020077135413885117, + "C": 0.000575219513848424, + "D": 0.007940661162137985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Надвигается шторм, и небо заполнено темными облаками, которые", + "option_a": "несут осадки", + "option_b": "готовят наводнение", + "option_c": "тают", + "option_d": "снуют туда-сюда" + }, + "outputs": "A", + "meta": { + "id": 164 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Надвигается шторм, и небо заполнено темными облаками, которые\nA. несут осадки\nB. готовят наводнение\nC. тают\nD. снуют туда-сюда\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5683847665786743, + "B": 0.005572248250246048, + "C": 0.0014088850002735853, + "D": 0.3447427749633789 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что произойдет, если человек разорвет свой блокнот?", + "option_a": "все упомянутые варианты", + "option_b": "форма блокнота станет другой", + "option_c": "блокнот изменит свою структуру", + "option_d": "блокнот потеряет свою первоначальную форму" + }, + "outputs": "A", + "meta": { + "id": 963 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что произойдет, если человек разорвет свой блокнот?\nA) все упомянутые варианты\nB) форма блокнота станет другой\nC) блокнот изменит свою структуру\nD) блокнот потеряет свою первоначальную форму\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0005375940818339586, + "B": 0.00041867871186695993, + "C": 0.9719929099082947, + "D": 0.003972312901169062 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фабрики часто добавляют к окружающей среде что-то, что", + "option_a": "полезно", + "option_b": "продуктивно", + "option_c": "загрязняет", + "option_d": "дезинфицирует" + }, + "outputs": "C", + "meta": { + "id": 1982 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Фабрики часто добавляют к окружающей среде что-то, что\nA) полезно\nB) продуктивно\nC) загрязняет\nD) дезинфицирует\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08103512972593307, + "B": 0.018081381916999817, + "C": 0.768839955329895, + "D": 0.06311022490262985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем цветы привлекают колибри", + "option_a": "возможность ночного доступа", + "option_b": "колючие шипы", + "option_c": "расположение под оптимальным углом", + "option_d": "тусклые, приглушенные цвета" + }, + "outputs": "C", + "meta": { + "id": 555 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем цветы привлекают колибри\nA) возможность ночного доступа\nB) колючие шипы\nC) расположение под оптимальным углом\nD) тусклые, приглушенные цвета\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011850888840854168, + "B": 0.008144988678395748, + "C": 0.007187927141785622, + "D": 0.9414327144622803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое число, вероятно, является наследственной характеристикой человека?", + "option_a": "5 любимых рубашек", + "option_b": "15 друзей", + "option_c": "10 собак", + "option_d": "1 м 80 см" + }, + "outputs": "D", + "meta": { + "id": 2193 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое число, вероятно, является наследственной характеристикой человека?\nA. 5 любимых рубашек\nB. 15 друзей\nC. 10 собак\nD. 1 м 80 см\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.020600857213139534, + "B": 0.15222088992595673, + "C": 0.009731156751513481, + "D": 0.7730414867401123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих предметов необходимо объединить с рекой для получения энергии?", + "option_a": "шоколад", + "option_b": "бетонные глыбы", + "option_c": "снег", + "option_d": "лед" + }, + "outputs": "B", + "meta": { + "id": 310 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие из этих предметов необходимо объединить с рекой для получения энергии?\nA) шоколад\nB) бетонные глыбы\nC) снег\nD) лед\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004147970583289862, + "B": 0.057260964065790176, + "C": 0.0005613667308352888, + "D": 0.8957121968269348 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если Игорь играет в баскетбол и обнаруживает, что его кожа становится влажной и неприятно пахнущей, это может быть потому, что", + "option_a": ") девочки, наблюдающие за его игрой, думают, что он выглядит круто", + "option_b": "его сердце бьется слишком быстро", + "option_c": "его тело слишком холодное", + "option_d": "его тело пытается снизить температуру" + }, + "outputs": "D", + "meta": { + "id": 1766 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если Игорь играет в баскетбол и обнаруживает, что его кожа становится влажной и неприятно пахнущей, это может быть потому, что\nA) ) девочки, наблюдающие за его игрой, думают, что он выглядит круто\nB) его сердце бьется слишком быстро\nC) его тело слишком холодное\nD) его тело пытается снизить температуру\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4156343340873718, + "B": 0.07222641259431839, + "C": 0.15290333330631256, + "D": 0.25209495425224304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Энергия может передаваться объекту без подключения к сети, например, с", + "option_a": "электрическим грилем", + "option_b": "электрической плитой", + "option_c": "микроволновой печью.", + "option_d": "газовой горелкой" + }, + "outputs": "D", + "meta": { + "id": 2256 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Энергия может передаваться объекту без подключения к сети, например, с\nA) электрическим грилем\nB) электрической плитой\nC) микроволновой печью.\nD) газовой горелкой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0025840948801487684, + "B": 0.0029281629249453545, + "C": 0.016850413754582405, + "D": 0.9200014472007751 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где летнее солнцестояние приходится на 21 июня?", + "option_a": "на юге Тихого океана", + "option_b": "на Экваторе около тропиков", + "option_c": "в Южном полушарии Земли", + "option_d": "в Северном полушарии Земли" + }, + "outputs": "D", + "meta": { + "id": 594 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где летнее солнцестояние приходится на 21 июня?\nA. на юге Тихого океана\nB. на Экваторе около тропиков\nC. в Южном полушарии Земли\nD. в Северном полушарии Земли\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.14746780693531036, + "B": 0.2431333065032959, + "C": 0.2755061388015747, + "D": 0.21456439793109894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Триста шестьдесят пять оборотов Земли - это", + "option_a": "более двух лет", + "option_b": "очень долгий период", + "option_c": "почти половина жизни", + "option_d": "удвоенная половина календарного года" + }, + "outputs": "D", + "meta": { + "id": 744 + } + }, + "prompt": "<|im_start|>user\nТриста шестьдесят пять оборотов Земли - это\nA. более двух лет\nB. очень долгий период\nC. почти половина жизни\nD. удвоенная половина календарного года\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04312709718942642, + "B": 0.048869408667087555, + "C": 0.6746213436126709, + "D": 0.1705709844827652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда земля трясется, это вызовет", + "option_a": "тряску солнца", + "option_b": "тряску самолета", + "option_c": "тряску крыши", + "option_d": "тряску рыбы" + }, + "outputs": "C", + "meta": { + "id": 1656 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда земля трясется, это вызовет\nA) тряску солнца\nB) тряску самолета\nC) тряску крыши\nD) тряску рыбы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4868467450141907, + "B": 0.33460456132888794, + "C": 0.024238672107458115, + "D": 0.04528379812836647 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животное, которому может понравиться банановая кожура, - это", + "option_a": "медведь", + "option_b": "енот", + "option_c": "кошка", + "option_d": "собака." + }, + "outputs": "B", + "meta": { + "id": 712 + } + }, + "prompt": "<|im_start|>user\nЖивотное, которому может понравиться банановая кожура, - это\nA) медведь\nB) енот\nC) кошка\nD) собака.\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0023512940388172865, + "B": 0.0011106726014986634, + "C": 0.0012585569638758898, + "D": 0.9485796689987183 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В конце сезона лесорубы сеют новый", + "option_a": "вагон цыплят", + "option_b": "домашний сад", + "option_c": "топор", + "option_d": "молодой лес" + }, + "outputs": "D", + "meta": { + "id": 827 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В конце сезона лесорубы сеют новый\nA) вагон цыплят\nB) домашний сад\nC) топор\nD) молодой лес\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003071478335186839, + "B": 0.00010510021093068644, + "C": 0.00022249712492339313, + "D": 0.965029776096344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фотосинтез производит пищу для растений, превращая во что-то полезное углекислый газ, воду и солнечный свет. Во что?", + "option_a": "в грязь", + "option_b": "в солнечный свет", + "option_c": "в умственную энергию", + "option_d": "в сахара" + }, + "outputs": "D", + "meta": { + "id": 793 + } + }, + "prompt": "<|im_start|>user\nФотосинтез производит пищу для растений, превращая во что-то полезное углекислый газ, воду и солнечный свет. Во что?\nA) в грязь\nB) в солнечный свет\nC) в умственную энергию\nD) в сахара\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01184116117656231, + "B": 0.9406599402427673, + "C": 0.0020576852839440107, + "D": 0.008138303644955158 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За год происходит полный оборот Земли вокруг", + "option_a": "ядра", + "option_b": "звезды", + "option_c": "планеты", + "option_d": "луны" + }, + "outputs": "B", + "meta": { + "id": 349 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: За год происходит полный оборот Земли вокруг\nA. ядра\nB. звезды\nC. планеты\nD. луны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008841563016176224, + "B": 0.0396251380443573, + "C": 0.00025081582134589553, + "D": 0.9018639326095581 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может принести больше вреда, чем пользы при использовании?", + "option_a": "походные ботинки", + "option_b": "гибридные автомобили", + "option_c": "велосипед", + "option_d": "антибактериальное мыло" + }, + "outputs": "D", + "meta": { + "id": 1288 + } + }, + "prompt": "<|im_start|>user\nЧто может принести больше вреда, чем пользы при использовании?\nA. походные ботинки\nB. гибридные автомобили\nC. велосипед\nD. антибактериальное мыло\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001281808246858418, + "B": 8.194325346266851e-05, + "C": 0.0002524029987398535, + "D": 0.96610426902771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую форму имеет вещество в жидком состоянии?", + "option_a": "круглую", + "option_b": "квадратную", + "option_c": "треугольную", + "option_d": "адаптируемую" + }, + "outputs": "D", + "meta": { + "id": 2144 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какую форму имеет вещество в жидком состоянии?\nA) круглую\nB) квадратную\nC) треугольную\nD) адаптируемую\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003432042431086302, + "B": 3.36465600412339e-05, + "C": 2.0407669580890797e-05, + "D": 0.951610267162323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Живое существо требует этого, чтобы расти.", + "option_a": "подставка", + "option_b": "пластик", + "option_c": "игрушки", + "option_d": "питание" + }, + "outputs": "D", + "meta": { + "id": 1497 + } + }, + "prompt": "<|im_start|>user\nЖивое существо требует этого, чтобы расти.\nA. подставка\nB. пластик\nC. игрушки\nD. питание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.052792370319366455, + "B": 0.0038242668379098177, + "C": 0.06778674572706223, + "D": 0.8258116841316223 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака Ани только что какала на лужайке. Собака", + "option_a": "выпила много", + "option_b": "попала в беду", + "option_c": "ела питательную еду в течение последних суток", + "option_d": "была хорошей девочкой" + }, + "outputs": "C", + "meta": { + "id": 1741 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Собака Ани только что какала на лужайке. Собака\nA. выпила много\nB. попала в беду\nC. ела питательную еду в течение последних суток\nD. была хорошей девочкой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006835049483925104, + "B": 0.005323141347616911, + "C": 0.3293311297893524, + "D": 0.6152715086936951 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку источник света движется прямо над объектом, что происходит с его тенью", + "option_a": "объект станет ярче", + "option_b": "тень начнет вращаться", + "option_c": "размер тени станет максимальным", + "option_d": "размер тени уменьшится" + }, + "outputs": "D", + "meta": { + "id": 32 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поскольку источник света движется прямо над объектом, что происходит с его тенью\nA) объект станет ярче\nB) тень начнет вращаться\nC) размер тени станет максимальным\nD) размер тени уменьшится\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7105697989463806, + "B": 0.0017613264499232173, + "C": 0.15854954719543457, + "D": 0.058327119797468185 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На пляже вы, вероятно, найдете этот тип камня:", + "option_a": "камень, спрессованный из слоев разных пород", + "option_b": "скала, образованная из пластика", + "option_c": "камень, образовавшийся из воды", + "option_d": "камень, который представляет собой уплотненный мусор" + }, + "outputs": "A", + "meta": { + "id": 1344 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На пляже вы, вероятно, найдете этот тип камня:\nA. камень, спрессованный из слоев разных пород\nB. скала, образованная из пластика\nC. камень, образовавшийся из воды\nD. камень, который представляет собой уплотненный мусор\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.044764257967472076, + "B": 0.899114191532135, + "C": 0.001966804498806596, + "D": 0.0068648215383291245 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Транспирация происходит в листьях чего?", + "option_a": "камни", + "option_b": "кусты", + "option_c": "автомобили", + "option_d": "животные" + }, + "outputs": "B", + "meta": { + "id": 1083 + } + }, + "prompt": "<|im_start|>user\nТранспирация происходит в листьях чего?\nA. камни\nB. кусты\nC. автомобили\nD. животные\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4342731237411499, + "B": 0.15976016223430634, + "C": 0.10980144143104553, + "D": 0.1810319721698761 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что горело бы быстрее?", + "option_a": "высушенные на солнце ветки", + "option_b": "зеленые листья", + "option_c": "мокрый ствол дерева", + "option_d": "мокрое бревно" + }, + "outputs": "A", + "meta": { + "id": 1654 + } + }, + "prompt": "<|im_start|>user\nЧто горело бы быстрее?\nA. высушенные на солнце ветки\nB. зеленые листья\nC. мокрый ствол дерева\nD. мокрое бревно\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.024270934984087944, + "B": 0.00044453772716224194, + "C": 0.001369272475130856, + "D": 0.9107601046562195 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Активная печь заставит верхнюю отметку ртути в термометре перемещаться", + "option_a": "ниже", + "option_b": "медленнее", + "option_c": "дерганнее", + "option_d": "вверх" + }, + "outputs": "D", + "meta": { + "id": 585 + } + }, + "prompt": "<|im_start|>user\nАктивная печь заставит верхнюю отметку ртути в термометре перемещаться\nA. ниже\nB. медленнее\nC. дерганнее\nD. вверх\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005663126707077026, + "B": 0.0012636143947020173, + "C": 0.952391505241394, + "D": 0.013585134409368038 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вы кричите в пустой комнате, вы слышите эхо, которое", + "option_a": "есть там всегда", + "option_b": "отскакивает от мяча", + "option_c": "отскакивает от предметов", + "option_d": "вам только кажется" + }, + "outputs": "C", + "meta": { + "id": 346 + } + }, + "prompt": "<|im_start|>user\nКогда вы кричите в пустой комнате, вы слышите эхо, которое\nA) есть там всегда\nB) отскакивает от мяча\nC) отскакивает от предметов\nD) вам только кажется\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4694911241531372, + "B": 0.00669693062081933, + "C": 0.004061894025653601, + "D": 0.41432443261146545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жизнь перепела начинается после того, как он покидает", + "option_a": "жилище из кальция", + "option_b": "сельскую местность", + "option_c": "ферму", + "option_d": "землю" + }, + "outputs": "A", + "meta": { + "id": 380 + } + }, + "prompt": "<|im_start|>user\nЖизнь перепела начинается после того, как он покидает\nA) жилище из кальция\nB) сельскую местность\nC) ферму\nD) землю\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.07877010852098465, + "B": 0.01991620473563671, + "C": 0.013688193634152412, + "D": 0.846858561038971 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где можно найти яйца?", + "option_a": "лес", + "option_b": "космос", + "option_c": "лава", + "option_d": "океан" + }, + "outputs": "A", + "meta": { + "id": 269 + } + }, + "prompt": "<|im_start|>user\nГде можно найти яйца?\nA. лес\nB. космос\nC. лава\nD. океан\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006621310953050852, + "B": 0.19350306689739227, + "C": 0.0013038135366514325, + "D": 0.7653194665908813 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На поверхности чего всегда можно найти семена?", + "option_a": "камень", + "option_b": "вода", + "option_c": "гром", + "option_d": "клубника" + }, + "outputs": "D", + "meta": { + "id": 449 + } + }, + "prompt": "<|im_start|>user\nНа поверхности чего всегда можно найти семена?\nA. камень\nB. вода\nC. гром\nD. клубника\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.028410861268639565, + "B": 0.0014144934248179197, + "C": 0.9408384561538696, + "D": 0.0029944826383143663 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто в пищевой цепи играет роль производителя (продуцента)?", + "option_a": "травоядные", + "option_b": "плотоядные животные", + "option_c": "флора", + "option_d": "консументы" + }, + "outputs": "C", + "meta": { + "id": 1634 + } + }, + "prompt": "<|im_start|>user\nКто в пищевой цепи играет роль производителя (продуцента)?\nA. травоядные\nB. плотоядные животные\nC. флора\nD. консументы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0049570766277611256, + "B": 0.0081728370860219, + "C": 0.000760192284360528, + "D": 0.9446516036987305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой инструмент будет наиболее полезным для помощи комнатным растениям в фотосинтезе", + "option_a": "музыка", + "option_b": "тент", + "option_c": "удобрение", + "option_d": "большое окно" + }, + "outputs": "D", + "meta": { + "id": 2160 + } + }, + "prompt": "<|im_start|>user\nКакой инструмент будет наиболее полезным для помощи комнатным растениям в фотосинтезе\nA) музыка\nB) тент\nC) удобрение\nD) большое окно\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003876327769830823, + "B": 0.0004085619293618947, + "C": 0.0005944540607742965, + "D": 0.9485061168670654 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает прямое повреждение легких?", + "option_a": "употребление алкоголя", + "option_b": "плавание", + "option_c": "употребление фекалий", + "option_d": "вдыхание дымов горящего табака" + }, + "outputs": "D", + "meta": { + "id": 1795 + } + }, + "prompt": "<|im_start|>user\nЧто вызывает прямое повреждение легких?\nA) употребление алкоголя\nB) плавание\nC) употребление фекалий\nD) вдыхание дымов горящего табака\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.23430362343788147, + "B": 4.7673376684542745e-05, + "C": 5.074804721516557e-05, + "D": 0.721705973148346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина должна быть в состоянии подтвердить то, что написано очень маленьким шрифтом на ее флаконе с таблетками, поэтому ей требуется ______.", + "option_a": "микроскоп", + "option_b": "телескоп", + "option_c": "бинокль", + "option_d": "лупа" + }, + "outputs": "D", + "meta": { + "id": 1744 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Женщина должна быть в состоянии подтвердить то, что написано очень маленьким шрифтом на ее флаконе с таблетками, поэтому ей требуется ______.\nA) микроскоп\nB) телескоп\nC) бинокль\nD) лупа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0016652391059324145, + "B": 0.0014695681165903807, + "C": 0.9774709939956665, + "D": 0.003525310894474387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Находиться рядом со зданиями - худшее место, которое вы можете выбрать во время землетрясения, так как вы, вероятно, будете", + "option_a": "укрыты", + "option_b": "накормлены", + "option_c": "раздавлены", + "option_d": "расцелованы" + }, + "outputs": "C", + "meta": { + "id": 1566 + } + }, + "prompt": "<|im_start|>user\nНаходиться рядом со зданиями - худшее место, которое вы можете выбрать во время землетрясения, так как вы, вероятно, будете\nA) укрыты\nB) накормлены\nC) раздавлены\nD) расцелованы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.93296217918396, + "B": 0.0014026518911123276, + "C": 0.0006625658133998513, + "D": 0.0020408465061336756 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более тяжелый объект", + "option_a": "требует большей силы мышц для перемещения", + "option_b": "требует минимальных усилий для движения", + "option_c": "требует меньшего усилия для движения", + "option_d": "требует легкого прикосновения для перемещения" + }, + "outputs": "A", + "meta": { + "id": 1508 + } + }, + "prompt": "<|im_start|>user\nБолее тяжелый объект\nA) требует большей силы мышц для перемещения\nB) требует минимальных усилий для движения\nC) требует меньшего усилия для движения\nD) требует легкого прикосновения для перемещения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01947707310318947, + "B": 0.0029869060963392258, + "C": 0.9384579062461853, + "D": 0.004345922730863094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером отличного землеройного устройства является", + "option_a": "кошка", + "option_b": "собака", + "option_c": "кольчатый червь", + "option_d": "рыба" + }, + "outputs": "C", + "meta": { + "id": 666 + } + }, + "prompt": "<|im_start|>user\nПримером отличного землеройного устройства является\nA. кошка\nB. собака\nC. кольчатый червь\nD. рыба\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.24389499425888062, + "B": 0.012142816558480263, + "C": 0.14792978763580322, + "D": 0.5163256525993347 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Весы могут измерять массу", + "option_a": "сахара", + "option_b": "чая", + "option_c": "соленой воды", + "option_d": "шоколадного молока." + }, + "outputs": "A", + "meta": { + "id": 948 + } + }, + "prompt": "<|im_start|>user\nВесы могут измерять массу\nA) сахара\nB) чая\nC) соленой воды\nD) шоколадного молока.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.013507716357707977, + "B": 0.002071475377306342, + "C": 0.9469640254974365, + "D": 0.005630853585898876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения вероятнее всего верны?", + "option_a": "акулы едят водоросли", + "option_b": "кошки едят траву", + "option_c": "скопы едят окуня", + "option_d": "собаки едят свет" + }, + "outputs": "C", + "meta": { + "id": 1460 + } + }, + "prompt": "<|im_start|>user\nКакие отношения вероятнее всего верны?\nA. акулы едят водоросли\nB. кошки едят траву\nC. скопы едят окуня\nD. собаки едят свет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003036015434190631, + "B": 0.9538876414299011, + "C": 0.003036015434190631, + "D": 0.005005543120205402 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пляжное снаряжение, которое защищает ваши глаза и выглядит круто:", + "option_a": "песок", + "option_b": "тонированные очки", + "option_c": "бикини для пляжного волейбола", + "option_d": "плавки" + }, + "outputs": "B", + "meta": { + "id": 628 + } + }, + "prompt": "<|im_start|>user\nПляжное снаряжение, которое защищает ваши глаза и выглядит круто:\nA. песок\nB. тонированные очки\nC. бикини для пляжного волейбола\nD. плавки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.027407201007008553, + "B": 0.00288869789801538, + "C": 0.9076018333435059, + "D": 0.007852294482290745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растет движение к использованию силы ветра, чтобы", + "option_a": "радовались могучие рейнджеры", + "option_b": "ничего не менялось", + "option_c": "обогревать наши дома", + "option_d": "есть печенье" + }, + "outputs": "C", + "meta": { + "id": 280 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растет движение к использованию силы ветра, чтобы\nA) радовались могучие рейнджеры\nB) ничего не менялось\nC) обогревать наши дома\nD) есть печенье\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.645688533782959, + "B": 0.04127748683094978, + "C": 0.20962437987327576, + "D": 0.0033882625866681337 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда человек получает физическую травму, он чувствует боль, потому что в организме есть", + "option_a": "магические рецепторы", + "option_b": "железы внутренней секреции", + "option_c": "электрические реакции", + "option_d": "громкие жалобы" + }, + "outputs": "C", + "meta": { + "id": 1473 + } + }, + "prompt": "<|im_start|>user\nКогда человек получает физическую травму, он чувствует боль, потому что в организме есть\nA) магические рецепторы\nB) железы внутренней секреции\nC) электрические реакции\nD) громкие жалобы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.03415584936738014, + "B": 0.007621200755238533, + "C": 0.03870365023612976, + "D": 0.8808910250663757 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что должен показывать мой термометр, если я хочу убедиться, что мое домашнее фруктовое мороженое готово?", + "option_a": "212 градусов по Фаренгейту", + "option_b": "0 градусов по Цельсию", + "option_c": "39 градусов по Фаренгейту", + "option_d": "32 градусов по Цельсию." + }, + "outputs": "B", + "meta": { + "id": 1871 + } + }, + "prompt": "<|im_start|>user\nЧто должен показывать мой термометр, если я хочу убедиться, что мое домашнее фруктовое мороженое готово?\nA. 212 градусов по Фаренгейту\nB. 0 градусов по Цельсию\nC. 39 градусов по Фаренгейту\nD. 32 градусов по Цельсию.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8628710508346558, + "B": 0.001144840382039547, + "C": 0.01086194347590208, + "D": 0.003995886072516441 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что растения получают из почвы?", + "option_a": "поддерживающие жизнь вещества", + "option_b": "опыление и прорастание", + "option_c": "корни и кислород", + "option_d": "кислород и аргон" + }, + "outputs": "A", + "meta": { + "id": 1135 + } + }, + "prompt": "<|im_start|>user\nЧто растения получают из почвы?\nA. поддерживающие жизнь вещества\nB. опыление и прорастание\nC. корни и кислород\nD. кислород и аргон\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018666506512090564, + "B": 0.00395169947296381, + "C": 0.966948926448822, + "D": 0.005074082408100367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где можно найти органические вещества?", + "option_a": "пластиковые предметы", + "option_b": "углекислый газ", + "option_c": "тело кролика", + "option_d": "поваренная соль" + }, + "outputs": "C", + "meta": { + "id": 134 + } + }, + "prompt": "<|im_start|>user\nГде можно найти органические вещества?\nA) пластиковые предметы\nB) углекислый газ\nC) тело кролика\nD) поваренная соль\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.38072168827056885, + "B": 0.002565282629802823, + "C": 0.0008328252588398755, + "D": 0.5539467334747314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, как белки откладывают пищу в прохладное время года, гарантирует, что они", + "option_a": "вырастут", + "option_b": "съедят ее", + "option_c": "еле живы", + "option_d": "выживут" + }, + "outputs": "D", + "meta": { + "id": 663 + } + }, + "prompt": "<|im_start|>user\nТо, как белки откладывают пищу в прохладное время года, гарантирует, что они\nA) вырастут\nB) съедят ее\nC) еле живы\nD) выживут\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03133814409375191, + "B": 0.6294435262680054, + "C": 0.00544575322419405, + "D": 0.29732805490493774 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рифовые акулы - хищники, их ещё называют мальгашскими ночными акулами. Их легко узнать, поскольку ________ у этой акулы с черным концом.", + "option_a": "сердца", + "option_b": "плавники", + "option_c": "желудки", + "option_d": "жабры" + }, + "outputs": "B", + "meta": { + "id": 893 + } + }, + "prompt": "<|im_start|>user\nРифовые акулы - хищники, их ещё называют мальгашскими ночными акулами. Их легко узнать, поскольку ________ у этой акулы с черным концом.\nA. сердца\nB. плавники\nC. желудки\nD. жабры\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.22900567948818207, + "B": 0.15739314258098602, + "C": 0.051098067313432693, + "D": 0.48480498790740967 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое действие иллюстрирует принцип работы электрических проводников:", + "option_a": "вставлять вилку в розетку для питания микроволновой печи", + "option_b": "включать кофейник утром", + "option_c": ", проследить, чтобы выключенный фен был отключен от розетки после использования", + "option_d": "включение света в комнате" + }, + "outputs": "A", + "meta": { + "id": 776 + } + }, + "prompt": "<|im_start|>user\nКакое действие иллюстрирует принцип работы электрических проводников:\nA. вставлять вилку в розетку для питания микроволновой печи\nB. включать кофейник утром\nC. , проследить, чтобы выключенный фен был отключен от розетки после использования\nD. включение света в комнате\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.02192431315779686, + "B": 0.0010915471939370036, + "C": 0.001799657242372632, + "D": 0.9322454929351807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Синицы", + "option_a": "высиживают своих детенышей", + "option_b": "едят только мясо", + "option_c": "высиживают свою пищу", + "option_d": "живорожденные" + }, + "outputs": "A", + "meta": { + "id": 2282 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Синицы\nA. высиживают своих детенышей\nB. едят только мясо\nC. высиживают свою пищу\nD. живорожденные\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.07213613390922546, + "B": 0.014204447157680988, + "C": 0.6844086050987244, + "D": 0.1730455905199051 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кирпичная стена останавливает", + "option_a": "фуры", + "option_b": "люмены", + "option_c": "поезда", + "option_d": "бульдозеры" + }, + "outputs": "B", + "meta": { + "id": 2037 + } + }, + "prompt": "<|im_start|>user\nКирпичная стена останавливает\nA) фуры\nB) люмены\nC) поезда\nD) бульдозеры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.7593335509300232, + "B": 0.09068945795297623, + "C": 0.013907679356634617, + "D": 0.013907679356634617 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сила урагана будет увеличиваться", + "option_a": "в ветреной среде", + "option_b": "в холодной среде", + "option_c": "в знойной среде", + "option_d": "в сухой среде" + }, + "outputs": "C", + "meta": { + "id": 382 + } + }, + "prompt": "<|im_start|>user\nСила урагана будет увеличиваться\nA. в ветреной среде\nB. в холодной среде\nC. в знойной среде\nD. в сухой среде\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0064086816273629665, + "B": 0.0004096933116670698, + "C": 6.282850517891347e-05, + "D": 0.9511327147483826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что характеризует цикл?", + "option_a": "форма круга", + "option_b": "ни один из предложенных вариантов ответа не подходит", + "option_c": "скучный узор", + "option_d": "устойчивое повторение" + }, + "outputs": "D", + "meta": { + "id": 394 + } + }, + "prompt": "<|im_start|>user\nЧто характеризует цикл?\nA. форма круга\nB. ни один из предложенных вариантов ответа не подходит\nC. скучный узор\nD. устойчивое повторение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8850592970848083, + "B": 0.0015078047290444374, + "C": 0.0008070696494542062, + "D": 0.04406450688838959 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хищник, такой как волк, скорее всего", + "option_a": "будет преследовать маленьких движущихся млекопитающих", + "option_b": "не откажется от овощей в качестве пищи", + "option_c": "предпочтет кролику салат", + "option_d": ", будет есть мясо, только когда ему дадут это мясо" + }, + "outputs": "A", + "meta": { + "id": 211 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Хищник, такой как волк, скорее всего\nA) будет преследовать маленьких движущихся млекопитающих\nB) не откажется от овощей в качестве пищи\nC) предпочтет кролику салат\nD) , будет есть мясо, только когда ему дадут это мясо\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7580502033233643, + "B": 0.007431663107126951, + "C": 0.0016582281095907092, + "D": 0.1317293643951416 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером выветривания является", + "option_a": "гладкий песчаный пляж", + "option_b": "большой острый валун", + "option_c": "высокая сосна", + "option_d": "гладкий речной камень" + }, + "outputs": "D", + "meta": { + "id": 397 + } + }, + "prompt": "<|im_start|>user\nПримером выветривания является\nA) гладкий песчаный пляж\nB) большой острый валун\nC) высокая сосна\nD) гладкий речной камень\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011215175036340952, + "B": 0.003454517340287566, + "C": 0.9578419327735901, + "D": 0.0002835640625562519 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вождение автомобиля во время снежной бури или сильной грозы - плохая идея, потому что из-за плохой погоды", + "option_a": "можно летать", + "option_b": "легче увидеть препятствия", + "option_c": "сложнее увидеть препятствия", + "option_d": "веселее кататься в очках" + }, + "outputs": "C", + "meta": { + "id": 1039 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вождение автомобиля во время снежной бури или сильной грозы - плохая идея, потому что из-за плохой погоды\nA. можно летать\nB. легче увидеть препятствия\nC. сложнее увидеть препятствия\nD. веселее кататься в очках\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018153482815250754, + "B": 0.0018153482815250754, + "C": 0.9403736591339111, + "D": 0.0033915170934051275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения количества плохой воды в окружающей среде количество водных животных, таких как зоопланктон,", + "option_a": "значительно растет", + "option_b": "незначительно колеблется", + "option_c": "снижается и стремится к нулю", + "option_d": "остается на прежнем уровне" + }, + "outputs": "C", + "meta": { + "id": 1899 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере увеличения количества плохой воды в окружающей среде количество водных животных, таких как зоопланктон,\nA. значительно растет\nB. незначительно колеблется\nC. снижается и стремится к нулю\nD. остается на прежнем уровне\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0014006815617904067, + "B": 0.9316516518592834, + "C": 0.00021480147552210838, + "D": 0.0005152819212526083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученые проводят эксперименты по созданию микробов, которые могут жить за счет излишков электроэнергии и CO2 для производства", + "option_a": "электроэнергии и как можно больше CO2", + "option_b": "органических продуктов, таких как метан, ацетат и бутанол, в качестве экономичного биотоплива", + "option_c": "солнечной энергии и биотоплива в лаборатории", + "option_d": "противоядий от биотоплива, такого как бутанол" + }, + "outputs": "B", + "meta": { + "id": 2033 + } + }, + "prompt": "<|im_start|>user\nУченые проводят эксперименты по созданию микробов, которые могут жить за счет излишков электроэнергии и CO2 для производства\nA) электроэнергии и как можно больше CO2\nB) органических продуктов, таких как метан, ацетат и бутанол, в качестве экономичного биотоплива\nC) солнечной энергии и биотоплива в лаборатории\nD) противоядий от биотоплива, такого как бутанол\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009292113594710827, + "B": 0.947821319103241, + "C": 0.0003179586201440543, + "D": 0.00036029433249495924 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В декабре в северном полушарии становится достаточно холодно, приходит время для тяжелой одежды, потому что", + "option_a": "ось Меркурия наклонена", + "option_b": "ось нашей планеты наклонена", + "option_c": "гравитационное притяжение Плутона сильнее в южном полушарии", + "option_d": "тексты песен популярных музыкантов о зиме всегда напоминают об этом" + }, + "outputs": "B", + "meta": { + "id": 2094 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В декабре в северном полушарии становится достаточно холодно, приходит время для тяжелой одежды, потому что\nA. ось Меркурия наклонена\nB. ось нашей планеты наклонена\nC. гравитационное притяжение Плутона сильнее в южном полушарии\nD. тексты песен популярных музыкантов о зиме всегда напоминают об этом\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.007655788213014603, + "B": 0.009830227121710777, + "C": 0.04405602067708969, + "D": 0.8848888278007507 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могут гены?", + "option_a": "заставить лошадь сломать ногу", + "option_b": "сделать малыша пухленьким", + "option_c": "дать молодому козленку шерсть, похожую на шерсть его матери", + "option_d": "атаковать вирусы и бактерии" + }, + "outputs": "C", + "meta": { + "id": 566 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что могут гены?\nA) заставить лошадь сломать ногу\nB) сделать малыша пухленьким\nC) дать молодому козленку шерсть, похожую на шерсть его матери\nD) атаковать вирусы и бактерии\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.01041154470294714, + "B": 0.0005183602916076779, + "C": 0.0009684244869276881, + "D": 0.9372173547744751 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда на улице идет мокрый снег, это потому, что осадки", + "option_a": "растаяли", + "option_b": "испарились", + "option_c": "затвердели", + "option_d": "выпали" + }, + "outputs": "C", + "meta": { + "id": 1666 + } + }, + "prompt": "<|im_start|>user\nКогда на улице идет мокрый снег, это потому, что осадки\nA. растаяли\nB. испарились\nC. затвердели\nD. выпали\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.015506656840443611, + "B": 0.0020985978189855814, + "C": 0.0020985978189855814, + "D": 0.9593629240989685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы едят орехи, но иногда они едят", + "option_a": "волков", + "option_b": "кошек", + "option_c": "собак", + "option_d": "жуков" + }, + "outputs": "D", + "meta": { + "id": 19 + } + }, + "prompt": "<|im_start|>user\nПтицы едят орехи, но иногда они едят\nA. волков\nB. кошек\nC. собак\nD. жуков\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7404775619506836, + "B": 0.1652228832244873, + "C": 0.002356777898967266, + "D": 0.011968704871833324 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, вероятно, использует свою кровеносную систему?", + "option_a": "лошадь после гонки", + "option_b": "дерево, стоящее в лесу", + "option_c": "машина во время автосоревнования", + "option_d": "скала на молекулярном уровне" + }, + "outputs": "A", + "meta": { + "id": 124 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто, вероятно, использует свою кровеносную систему?\nA) лошадь после гонки\nB) дерево, стоящее в лесу\nC) машина во время автосоревнования\nD) скала на молекулярном уровне\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0030406874138861895, + "B": 0.002089831745252013, + "C": 0.9553555250167847, + "D": 0.00046630451106466353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером чего является отказ от использования ископаемого топлива?", + "option_a": "устранение ресурсов", + "option_b": "разрушение ресурсов", + "option_c": "сохранение ресурсов", + "option_d": "горение ресурсов" + }, + "outputs": "C", + "meta": { + "id": 1728 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером чего является отказ от использования ископаемого топлива?\nA) устранение ресурсов\nB) разрушение ресурсов\nC) сохранение ресурсов\nD) горение ресурсов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006148864631541073, + "B": 0.00017616793047636747, + "C": 0.9811078906059265, + "D": 0.0004788741352967918 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что требует солнечного света для роста?", + "option_a": "озера", + "option_b": "глубоководная рыба", + "option_c": "кусты роз", + "option_d": "горы" + }, + "outputs": "C", + "meta": { + "id": 1776 + } + }, + "prompt": "<|im_start|>user\nЧто требует солнечного света для роста?\nA) озера\nB) глубоководная рыба\nC) кусты роз\nD) горы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.026012297719717026, + "B": 0.06240025907754898, + "C": 0.006576938088983297, + "D": 0.8614089488983154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поможет безопасно смотреть на солнечное затмение?", + "option_a": "зеркало", + "option_b": "отверстие в тёмном экране", + "option_c": "взгляд прямо на него", + "option_d": "вы не можете безопасно смотреть на солнечное затмение" + }, + "outputs": "B", + "meta": { + "id": 1717 + } + }, + "prompt": "<|im_start|>user\nЧто поможет безопасно смотреть на солнечное затмение?\nA) зеркало\nB) отверстие в тёмном экране\nC) взгляд прямо на него\nD) вы не можете безопасно смотреть на солнечное затмение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.10148148238658905, + "B": 0.004458785057067871, + "C": 0.8496940732002258, + "D": 0.003064475255087018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На земле найдено инопланетное существо. Исследователи обнаружили, что оно ест червей, насекомых и мелких грызунов, но избегает бананов, листьев и огурцов. Что из этого могло быть правдой?", + "option_a": "существо - плотоядное животное", + "option_b": "существо - веган", + "option_c": "существо - не всеядное существо", + "option_d": "существо любит есть огурцы" + }, + "outputs": "A", + "meta": { + "id": 1603 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На земле найдено инопланетное существо. Исследователи обнаружили, что оно ест червей, насекомых и мелких грызунов, но избегает бананов, листьев и огурцов. Что из этого могло быть правдой?\nA. существо - плотоядное животное\nB. существо - веган\nC. существо - не всеядное существо\nD. существо любит есть огурцы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004312051925808191, + "B": 0.9311438798904419, + "C": 0.0055367834866046906, + "D": 0.002615391742438078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нечто, что является возобновляемым, а также является ресурсом, определенно", + "option_a": "вероятно, скоро исчезнет", + "option_b": "получено без опасения израсходовать последние запасы", + "option_c": "будет израсходовано без возможности возобновления в кратчайшие сроки", + "option_d": "вот-вот иссякнет" + }, + "outputs": "B", + "meta": { + "id": 734 + } + }, + "prompt": "<|im_start|>user\nНечто, что является возобновляемым, а также является ресурсом, определенно\nA) вероятно, скоро исчезнет\nB) получено без опасения израсходовать последние запасы\nC) будет израсходовано без возможности возобновления в кратчайшие сроки\nD) вот-вот иссякнет\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00306794885545969, + "B": 0.0004704852181021124, + "C": 0.0004704852181021124, + "D": 0.9639208316802979 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать линейку, чтобы измерить", + "option_a": "запах попкорна", + "option_b": "насколько я зол", + "option_c": "длину воздуха", + "option_d": "расстояние между моими пальцами ног" + }, + "outputs": "D", + "meta": { + "id": 1532 + } + }, + "prompt": "<|im_start|>user\nЯ могу использовать линейку, чтобы измерить\nA. запах попкорна\nB. насколько я зол\nC. длину воздуха\nD. расстояние между моими пальцами ног\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4146488904953003, + "B": 0.04370366781949997, + "C": 0.030037065967917442, + "D": 0.4146488904953003 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Образование отложений происходит в результате", + "option_a": "разложения других материалов", + "option_b": "химического соединения материалов вместе в одно целое", + "option_c": "взаимодействия Солнца с Землей", + "option_d": "химических веществ, соединяющихся вместе" + }, + "outputs": "A", + "meta": { + "id": 446 + } + }, + "prompt": "<|im_start|>user\nОбразование отложений происходит в результате\nA) разложения других материалов\nB) химического соединения материалов вместе в одно целое\nC) взаимодействия Солнца с Землей\nD) химических веществ, соединяющихся вместе\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.01628691703081131, + "B": 0.7847476005554199, + "C": 0.10620403289794922, + "D": 0.01119382306933403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда пирог вышел из духовки, он набрал больше", + "option_a": "питательных веществ", + "option_b": "калорий", + "option_c": "тепловой энергии", + "option_d": "яблок" + }, + "outputs": "C", + "meta": { + "id": 1555 + } + }, + "prompt": "<|im_start|>user\nКогда пирог вышел из духовки, он набрал больше\nA) питательных веществ\nB) калорий\nC) тепловой энергии\nD) яблок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0018229566048830748, + "B": 0.0004609156458172947, + "C": 0.00019213822088204324, + "D": 0.9443148970603943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда поросенок ест грушу и выбрасывает семена, из них образуется", + "option_a": "муравейник", + "option_b": "цветок", + "option_c": "долг", + "option_d": "дерево" + }, + "outputs": "D", + "meta": { + "id": 176 + } + }, + "prompt": "<|im_start|>user\nКогда поросенок ест грушу и выбрасывает семена, из них образуется\nA. муравейник\nB. цветок\nC. долг\nD. дерево\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9540995359420776, + "B": 0.00024926665355451405, + "C": 0.00011061141412938014, + "D": 0.00017131830099970102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это важно сделать, если вы хотите, чтобы ваш лабораторный эксперимент был проведен правильно.", + "option_a": "понять все шаги, которые будут задействованы, заранее", + "option_b": "провести эксперимент с завязанными глазами", + "option_c": "забыть о правилах и перейти к эксперименту", + "option_d": "выполнить все шаги в случайном порядке" + }, + "outputs": "A", + "meta": { + "id": 167 + } + }, + "prompt": "<|im_start|>user\nЭто важно сделать, если вы хотите, чтобы ваш лабораторный эксперимент был проведен правильно.\nA. понять все шаги, которые будут задействованы, заранее\nB. провести эксперимент с завязанными глазами\nC. забыть о правилах и перейти к эксперименту\nD. выполнить все шаги в случайном порядке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001788050401955843, + "B": 0.9262329936027527, + "C": 0.0002742064243648201, + "D": 0.0002742064243648201 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Измельчитель может", + "option_a": "оставлять вещи", + "option_b": "перемалывать вещи", + "option_c": "ломать вещи", + "option_d": "сокращать вещи" + }, + "outputs": "B", + "meta": { + "id": 391 + } + }, + "prompt": "<|im_start|>user\nИзмельчитель может\nA) оставлять вещи\nB) перемалывать вещи\nC) ломать вещи\nD) сокращать вещи\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2641814053058624, + "B": 0.01688855141401291, + "C": 0.6337382197380066, + "D": 0.02168533019721508 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустыне ночью большинство животных, которые там живут, обнаруживают, что им требуется меньше", + "option_a": "тепла для сна", + "option_b": "пищи для еды", + "option_c": "жидкости для потребления", + "option_d": "товарищей по стае для охоты" + }, + "outputs": "C", + "meta": { + "id": 1810 + } + }, + "prompt": "<|im_start|>user\nВ пустыне ночью большинство животных, которые там живут, обнаруживают, что им требуется меньше\nA) тепла для сна\nB) пищи для еды\nC) жидкости для потребления\nD) товарищей по стае для охоты\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.003488532267510891, + "B": 0.000606215966399759, + "C": 0.9672732949256897, + "D": 0.0009994811844080687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше люди на планете ездят на машинах с бензиновыми двигателями, тем больше", + "option_a": "будет повышаться дневная температура", + "option_b": "птицы заболеют", + "option_c": "вода будет нуждаться в очистке", + "option_d": "еда будет странной на вкус" + }, + "outputs": "A", + "meta": { + "id": 1663 + } + }, + "prompt": "<|im_start|>user\nЧем больше люди на планете ездят на машинах с бензиновыми двигателями, тем больше\nA. будет повышаться дневная температура\nB. птицы заболеют\nC. вода будет нуждаться в очистке\nD. еда будет странной на вкус\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.216232568025589, + "B": 0.017749451100826263, + "C": 0.666043221950531, + "D": 0.005085302516818047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда рыба движется против течения бурной реки, она собирается", + "option_a": "посмотреть новые места", + "option_b": "остаться в стороне", + "option_c": "нереститься", + "option_d": "начать жизнь сначала" + }, + "outputs": "C", + "meta": { + "id": 1898 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда рыба движется против течения бурной реки, она собирается\nA) посмотреть новые места\nB) остаться в стороне\nC) нереститься\nD) начать жизнь сначала\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.042060792446136475, + "B": 0.310789555311203, + "C": 0.5806313157081604, + "D": 0.005023445002734661 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Неживой объект, который ковыряют чем-то твердым, может", + "option_a": "потерять терпение", + "option_b": "быть перестроен", + "option_c": "потерять часть массы", + "option_d": "стать больше" + }, + "outputs": "C", + "meta": { + "id": 560 + } + }, + "prompt": "<|im_start|>user\nНеживой объект, который ковыряют чем-то твердым, может\nA) потерять терпение\nB) быть перестроен\nC) потерять часть массы\nD) стать больше\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.010933141224086285, + "B": 0.018025701865553856, + "C": 0.2488371729850769, + "D": 0.6764094829559326 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплицы работают, потому что", + "option_a": "окна пропускают дополнительный солнечный свет", + "option_b": "углерод нагревается внутри", + "option_c": "воздух сохраняет влажность и тепло", + "option_d": "газы задерживаются в зданиях" + }, + "outputs": "C", + "meta": { + "id": 1888 + } + }, + "prompt": "<|im_start|>user\nТеплицы работают, потому что\nA. окна пропускают дополнительный солнечный свет\nB. углерод нагревается внутри\nC. воздух сохраняет влажность и тепло\nD. газы задерживаются в зданиях\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8673335313796997, + "B": 0.010918118059635162, + "C": 0.0058440472930669785, + "D": 0.02619120292365551 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Медведи питаются тем же, что и", + "option_a": "растения", + "option_b": "эукариоты", + "option_c": "обезьяны", + "option_d": "амебы" + }, + "outputs": "C", + "meta": { + "id": 705 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Медведи питаются тем же, что и\nA. растения\nB. эукариоты\nC. обезьяны\nD. амебы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08312153071165085, + "B": 0.2901226580142975, + "C": 0.02698560804128647, + "D": 0.5420204401016235 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнце вращается вокруг этой планеты", + "option_a": "может быть", + "option_b": "это правда", + "option_c": "все это верно", + "option_d": "это неправильно" + }, + "outputs": "D", + "meta": { + "id": 928 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Солнце вращается вокруг этой планеты\nA. может быть\nB. это правда\nC. все это верно\nD. это неправильно\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02153177186846733, + "B": 0.0029140084516257048, + "C": 0.9155542254447937, + "D": 0.011525127105414867 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Куда лампочка посылает электричество для выработки тепла?", + "option_a": "стеклянный шар", + "option_b": "пластиковый круг", + "option_c": "металлическая нить", + "option_d": "металлический блок" + }, + "outputs": "C", + "meta": { + "id": 458 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Куда лампочка посылает электричество для выработки тепла?\nA) стеклянный шар\nB) пластиковый круг\nC) металлическая нить\nD) металлический блок\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.007284916006028652, + "B": 0.008254892192780972, + "C": 0.9541357755661011, + "D": 0.0023650662042200565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бульдозер меняет очертания", + "option_a": "воздуха", + "option_b": "новостей фондовой биржи", + "option_c": "небоскребов", + "option_d": "воды" + }, + "outputs": "C", + "meta": { + "id": 1542 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Бульдозер меняет очертания\nA. воздуха\nB. новостей фондовой биржи\nC. небоскребов\nD. воды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.020116202533245087, + "B": 0.8553627133369446, + "C": 0.054681506007909775, + "D": 0.003495672019198537 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как темнота влияет на фотосинтез?", + "option_a": "положительно", + "option_b": "очень плохо", + "option_c": "увеличивает абсорбцию", + "option_d": "увеличивает выносливость" + }, + "outputs": "B", + "meta": { + "id": 379 + } + }, + "prompt": "<|im_start|>user\nКак темнота влияет на фотосинтез?\nA) положительно\nB) очень плохо\nC) увеличивает абсорбцию\nD) увеличивает выносливость\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8953598141670227, + "B": 0.003229171736165881, + "C": 0.001525352825410664, + "D": 0.0087777990847826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При длительной нехватке воды способность дерева наращивать новые ткани и расти толстыми кольцами замедляется, и дерево производит", + "option_a": "более тонкие годичные кольца", + "option_b": "более широкие годичные кольца", + "option_c": "больше листовых наростов", + "option_d": "больше годовой рубцовой ткани" + }, + "outputs": "A", + "meta": { + "id": 499 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При длительной нехватке воды способность дерева наращивать новые ткани и расти толстыми кольцами замедляется, и дерево производит\nA. более тонкие годичные кольца\nB. более широкие годичные кольца\nC. больше листовых наростов\nD. больше годовой рубцовой ткани\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.3187964856624603, + "B": 0.004547387361526489, + "C": 0.01090861577540636, + "D": 0.5955902338027954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой был бы пример миграции?", + "option_a": "пчелы, летящие к лугу с цветами клевера", + "option_b": "крупный рогатый скот, идущий в сарай, чтобы спать ночью", + "option_c": "летучие мыши, летающие ночью, чтобы ловить комаров", + "option_d": "гуси, улетающие из-под Пскова в Африку при понижении температуры" + }, + "outputs": "D", + "meta": { + "id": 1168 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой был бы пример миграции?\nA) пчелы, летящие к лугу с цветами клевера\nB) крупный рогатый скот, идущий в сарай, чтобы спать ночью\nC) летучие мыши, летающие ночью, чтобы ловить комаров\nD) гуси, улетающие из-под Пскова в Африку при понижении температуры\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.018043242394924164, + "B": 0.009657851420342922, + "C": 0.46534135937690735, + "D": 0.46534135937690735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, желающий защитить людей от поражения электрическим током через контакт с оголенным проводом, обернет провод", + "option_a": "оплеткой из жестяной банки", + "option_b": "металлической балкой со сталью", + "option_c": "резиновым ковриком", + "option_d": "медной веревкой с зазубринами" + }, + "outputs": "C", + "meta": { + "id": 911 + } + }, + "prompt": "<|im_start|>user\nЧеловек, желающий защитить людей от поражения электрическим током через контакт с оголенным проводом, обернет провод\nA) оплеткой из жестяной банки\nB) металлической балкой со сталью\nC) резиновым ковриком\nD) медной веревкой с зазубринами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009185144677758217, + "B": 0.004916453268378973, + "C": 0.004916453268378973, + "D": 0.9369101524353027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Потенциальная энергия превращается в кинетическую при использовании", + "option_a": "компьютера", + "option_b": "лампочки", + "option_c": "телевизора", + "option_d": "велосипеда" + }, + "outputs": "D", + "meta": { + "id": 2305 + } + }, + "prompt": "<|im_start|>user\nПотенциальная энергия превращается в кинетическую при использовании\nA) компьютера\nB) лампочки\nC) телевизора\nD) велосипеда\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01690264791250229, + "B": 0.004842689726501703, + "C": 0.9228532910346985, + "D": 0.01690264791250229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мертвая гигантская секвойя", + "option_a": "превращается в омелу", + "option_b": "улетает", + "option_c": "падает наземь", + "option_d": "роняет сосновые иголки" + }, + "outputs": "C", + "meta": { + "id": 1058 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мертвая гигантская секвойя\nA. превращается в омелу\nB. улетает\nC. падает наземь\nD. роняет сосновые иголки\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005617029964923859, + "B": 0.0007601823890581727, + "C": 0.0003168911498505622, + "D": 0.9446392059326172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто был бы здоровее?", + "option_a": "трудоголик", + "option_b": "сова", + "option_c": "тусовщик", + "option_d": "тот, кто хорошо высыпается" + }, + "outputs": "D", + "meta": { + "id": 2284 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто был бы здоровее?\nA. трудоголик\nB. сова\nC. тусовщик\nD. тот, кто хорошо высыпается\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7761623859405518, + "B": 0.0009087927173823118, + "C": 0.0004864416550844908, + "D": 0.1528354287147522 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой смысл связан с приемом пищи животным?", + "option_a": "вкус", + "option_b": "слух", + "option_c": "зрение", + "option_d": "осязание" + }, + "outputs": "A", + "meta": { + "id": 882 + } + }, + "prompt": "<|im_start|>user\nКакой смысл связан с приемом пищи животным?\nA) вкус\nB) слух\nC) зрение\nD) осязание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00351885543204844, + "B": 0.0008897059597074986, + "C": 0.9756810665130615, + "D": 0.0007851627306081355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку уголь является невозобновляемым ресурсом, это означает, что уголь", + "option_a": "очень востребован как альтернативный источник энергии", + "option_b": "неисчерпаем и его запасы можно восполнить со временем", + "option_c": "исчерпаем и угольная промышленность однажды прекратит свое существование", + "option_d": "является нашим бесконечным запасом" + }, + "outputs": "C", + "meta": { + "id": 242 + } + }, + "prompt": "<|im_start|>user\nПоскольку уголь является невозобновляемым ресурсом, это означает, что уголь\nA. очень востребован как альтернативный источник энергии\nB. неисчерпаем и его запасы можно восполнить со временем\nC. исчерпаем и угольная промышленность однажды прекратит свое существование\nD. является нашим бесконечным запасом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.10548524558544159, + "B": 0.002480775350704789, + "C": 0.22331230342388153, + "D": 0.6070257425308228 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нефть является источником материала, применяемого для объекта с", + "option_a": "деревянными досками", + "option_b": "картоном", + "option_c": "колесами", + "option_d": "большим камнем" + }, + "outputs": "C", + "meta": { + "id": 279 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нефть является источником материала, применяемого для объекта с\nA. деревянными досками\nB. картоном\nC. колесами\nD. большим камнем\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.6018711924552917, + "B": 0.0124914376065135, + "C": 0.10458952188491821, + "D": 0.1521768718957901 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что продают в металлической упаковке?", + "option_a": "сливочное масло", + "option_b": "салфетки", + "option_c": "кола", + "option_d": "сироп" + }, + "outputs": "C", + "meta": { + "id": 1408 + } + }, + "prompt": "<|im_start|>user\nЧто продают в металлической упаковке?\nA) сливочное масло\nB) салфетки\nC) кола\nD) сироп\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7326916456222534, + "B": 0.16348561644554138, + "C": 0.0012482281308621168, + "D": 0.019525570794939995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно делать с предметами с помощью шкива?", + "option_a": "поднять на новую высоту", + "option_b": "крутить", + "option_c": "раздавить", + "option_d": "повысить значимость" + }, + "outputs": "A", + "meta": { + "id": 254 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно делать с предметами с помощью шкива?\nA) поднять на новую высоту\nB) крутить\nC) раздавить\nD) повысить значимость\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011892360635101795, + "B": 0.0026535445358604193, + "C": 0.0018237525364384055, + "D": 0.9447272419929504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Море - это", + "option_a": "источник конфет", + "option_b": "твердая структура", + "option_c": "Желе", + "option_d": "мега-музей" + }, + "outputs": "D", + "meta": { + "id": 70 + } + }, + "prompt": "<|im_start|>user\nМоре - это\nA. источник конфет\nB. твердая структура\nC. Желе\nD. мега-музей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.011211900040507317, + "B": 0.05024825036525726, + "C": 0.8906714916229248, + "D": 0.009894467890262604 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что влияет на приобретенные организмом характеристики?", + "option_a": "луна", + "option_b": "гравитация", + "option_c": "ближайшее окружение", + "option_d": "день рождения" + }, + "outputs": "C", + "meta": { + "id": 998 + } + }, + "prompt": "<|im_start|>user\nЧто влияет на приобретенные организмом характеристики?\nA) луна\nB) гравитация\nC) ближайшее окружение\nD) день рождения\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00030747882556170225, + "B": 0.0014668992953374982, + "C": 0.975695788860321, + "D": 0.0018835359951481223 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые птицы адаптировались к холодной окружающей среде, со временем эволюционируя и приобретая более толстые перья, чтобы", + "option_a": "отправиться в космос", + "option_b": "есть динозавров", + "option_c": "избежать замерзания", + "option_d": "гордиться ими" + }, + "outputs": "C", + "meta": { + "id": 460 + } + }, + "prompt": "<|im_start|>user\nНекоторые птицы адаптировались к холодной окружающей среде, со временем эволюционируя и приобретая более толстые перья, чтобы\nA. отправиться в космос\nB. есть динозавров\nC. избежать замерзания\nD. гордиться ими\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1614503115415573, + "B": 0.7235701084136963, + "C": 0.007093632128089666, + "D": 0.03179145231842995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вам нужно что-то смешать с шипучкой, чего бы вы стали избегать?", + "option_a": "вода из крана", + "option_b": "морская вода", + "option_c": "вода из колодца", + "option_d": "вода в бутылках" + }, + "outputs": "B", + "meta": { + "id": 703 + } + }, + "prompt": "<|im_start|>user\nЕсли вам нужно что-то смешать с шипучкой, чего бы вы стали избегать?\nA. вода из крана\nB. морская вода\nC. вода из колодца\nD. вода в бутылках\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004056279547512531, + "B": 0.08147254586219788, + "C": 0.8759124279022217, + "D": 0.003159033600240946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как часто случается смена дня и ночи в небе?", + "option_a": "каждый раз во время зимнего солнцестояния", + "option_b": "один раз в один цикл солнца", + "option_c": "один раз во время полного оборота Земли", + "option_d": "только в весеннее время, когда луна находится на пике" + }, + "outputs": "C", + "meta": { + "id": 864 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как часто случается смена дня и ночи в небе?\nA. каждый раз во время зимнего солнцестояния\nB. один раз в один цикл солнца\nC. один раз во время полного оборота Земли\nD. только в весеннее время, когда луна находится на пике\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004633399657905102, + "B": 0.06396210938692093, + "C": 0.0031844857148826122, + "D": 0.8829696178436279 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где обычно жарче по температуре?", + "option_a": "Эльбрус", + "option_b": "Камчатка", + "option_c": "Сочи", + "option_d": "Сахара" + }, + "outputs": "D", + "meta": { + "id": 742 + } + }, + "prompt": "<|im_start|>user\nГде обычно жарче по температуре?\nA) Эльбрус\nB) Камчатка\nC) Сочи\nD) Сахара\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2588484585285187, + "B": 0.05775689333677292, + "C": 0.33236798644065857, + "D": 0.2588484585285187 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то ударяет по черному дереву и слоновой кости и издает звук", + "option_a": "это кухонная утварь", + "option_b": "это орудие пыток", + "option_c": "это рояль", + "option_d": "это исследовательская установка" + }, + "outputs": "C", + "meta": { + "id": 843 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если кто-то ударяет по черному дереву и слоновой кости и издает звук\nA. это кухонная утварь\nB. это орудие пыток\nC. это рояль\nD. это исследовательская установка\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.856869637966156, + "B": 0.0035018303897231817, + "C": 0.00032572096097283065, + "D": 0.0016541475197300315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бумага, пригодная для вторичной переработки, часто используется для производства", + "option_a": "целлюлозных нановолокон", + "option_b": "пластиковых бутылок", + "option_c": "алюминиевых банок", + "option_d": "стеклянных бутылок." + }, + "outputs": "A", + "meta": { + "id": 564 + } + }, + "prompt": "<|im_start|>user\nБумага, пригодная для вторичной переработки, часто используется для производства\nA) целлюлозных нановолокон\nB) пластиковых бутылок\nC) алюминиевых банок\nD) стеклянных бутылок.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0034288906026631594, + "B": 0.9507363438606262, + "C": 0.00498900655657053, + "D": 0.0020797273609787226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Твердое тело имеет фиксированную форму. Когда жидкость закипает и превращается в газ, ее форма", + "option_a": "зависит от темы разговора", + "option_b": "непостоянна", + "option_c": "стабильна", + "option_d": "- это форма улыбки" + }, + "outputs": "B", + "meta": { + "id": 1922 + } + }, + "prompt": "<|im_start|>user\nТвердое тело имеет фиксированную форму. Когда жидкость закипает и превращается в газ, ее форма\nA) зависит от темы разговора\nB) непостоянна\nC) стабильна\nD) - это форма улыбки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006304361391812563, + "B": 0.9356501698493958, + "C": 0.00042901717824861407, + "D": 0.0023192449007183313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздух был холодным, поэтому всю ночь овца продолжала", + "option_a": "спать", + "option_b": "трястись", + "option_c": "прыгать", + "option_d": "бегать." + }, + "outputs": "B", + "meta": { + "id": 127 + } + }, + "prompt": "<|im_start|>user\nВоздух был холодным, поэтому всю ночь овца продолжала\nA. спать\nB. трястись\nC. прыгать\nD. бегать.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7890819311141968, + "B": 0.03059602715075016, + "C": 0.021028321236371994, + "D": 0.021028321236371994 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наиболее вероятная причина химической реакции заключается в том, что", + "option_a": "медленно повышается температура", + "option_b": "пар удаляется осторожно", + "option_c": "оленей кормят нежно", + "option_d": "осторожно вводят пчел" + }, + "outputs": "A", + "meta": { + "id": 2151 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Наиболее вероятная причина химической реакции заключается в том, что\nA) медленно повышается температура\nB) пар удаляется осторожно\nC) оленей кормят нежно\nD) осторожно вводят пчел\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.860668420791626, + "B": 0.033371735364198685, + "C": 0.0014662519097328186, + "D": 0.01227677520364523 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Представьте себе пандемию бешенства, когда все кошки в мире погибли, - какие виды захватят землю?", + "option_a": "Грызуны", + "option_b": "Толстокожие", + "option_c": "Бабочки", + "option_d": "Homo sapiens" + }, + "outputs": "A", + "meta": { + "id": 55 + } + }, + "prompt": "<|im_start|>user\nПредставьте себе пандемию бешенства, когда все кошки в мире погибли, - какие виды захватят землю?\nA. Грызуны\nB. Толстокожие\nC. Бабочки\nD. Homo sapiens\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.23462308943271637, + "B": 0.5628315210342407, + "C": 0.02472909353673458, + "D": 0.0978054478764534 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ягоды", + "option_a": "чистят сосуды головного мозга", + "option_b": "нужно есть, когда они зеленые", + "option_c": "Доступны только в Сибири", + "option_d": "все они очень ядовиты" + }, + "outputs": "A", + "meta": { + "id": 1664 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ягоды\nA. чистят сосуды головного мозга\nB. нужно есть, когда они зеленые\nC. Доступны только в Сибири\nD. все они очень ядовиты\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9314268231391907, + "B": 0.0020374879240989685, + "C": 0.0007495499448850751, + "D": 0.0009624411468394101 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ежедневное употребление колы удаляет слои с поверхности", + "option_a": "эмали на коренных зубах", + "option_b": "ложек", + "option_c": "фарфора", + "option_d": "кофейника" + }, + "outputs": "A", + "meta": { + "id": 1597 + } + }, + "prompt": "<|im_start|>user\nЕжедневное употребление колы удаляет слои с поверхности\nA. эмали на коренных зубах\nB. ложек\nC. фарфора\nD. кофейника\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.048822782933712006, + "B": 0.5248943567276001, + "C": 0.3607542812824249, + "D": 0.0040076179429888725 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У аллигаторов", + "option_a": "хвост с погремушкой", + "option_b": "шесть лап", + "option_c": "широкий нос", + "option_d": "теплый шарф" + }, + "outputs": "C", + "meta": { + "id": 1192 + } + }, + "prompt": "<|im_start|>user\nУ аллигаторов\nA. хвост с погремушкой\nB. шесть лап\nC. широкий нос\nD. теплый шарф\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.3120257556438446, + "B": 0.5829408764839172, + "C": 0.0009931096574291587, + "D": 0.0009931096574291587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шрам образуется от", + "option_a": "касания", + "option_b": "рассечения", + "option_c": "бега", + "option_d": "ходьбы" + }, + "outputs": "B", + "meta": { + "id": 413 + } + }, + "prompt": "<|im_start|>user\nШрам образуется от\nA) касания\nB) рассечения\nC) бега\nD) ходьбы\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 55, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.13816769421100616, + "B": 0.29250097274780273, + "C": 0.10760509967803955, + "D": 0.37557870149612427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Объем чего бы вы измерили в градуированном цилиндре?", + "option_a": "азот", + "option_b": "гелий", + "option_c": "кислород", + "option_d": "духи" + }, + "outputs": "D", + "meta": { + "id": 896 + } + }, + "prompt": "<|im_start|>user\nОбъем чего бы вы измерили в градуированном цилиндре?\nA. азот\nB. гелий\nC. кислород\nD. духи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5871272087097168, + "B": 0.27733927965164185, + "C": 0.01564641110599041, + "D": 0.0057559930719435215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет, чтобы его дом проводил тепловую энергию, поэтому, выбирая строительные материалы, он выбирает", + "option_a": "деревянную балку", + "option_b": "кусочки никеля", + "option_c": "пластиковую полку", + "option_d": "резиновый коврик" + }, + "outputs": "B", + "meta": { + "id": 721 + } + }, + "prompt": "<|im_start|>user\nЧеловек хочет, чтобы его дом проводил тепловую энергию, поэтому, выбирая строительные материалы, он выбирает\nA) деревянную балку\nB) кусочки никеля\nC) пластиковую полку\nD) резиновый коврик\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0008787336410023272, + "B": 0.0003232680319342762, + "C": 0.00011892366455867887, + "D": 0.9636484384536743 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда свет попадает на отражающий объект, этот свет", + "option_a": "никогда не достигает его", + "option_b": "освещает заднюю сторону", + "option_c": "поднимается над ним", + "option_d": "перенаправляется от него" + }, + "outputs": "D", + "meta": { + "id": 1116 + } + }, + "prompt": "<|im_start|>user\nКогда свет попадает на отражающий объект, этот свет\nA. никогда не достигает его\nB. освещает заднюю сторону\nC. поднимается над ним\nD. перенаправляется от него\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8198272585868835, + "B": 0.03178815171122551, + "C": 0.04081679508090019, + "D": 0.0008471256005577743 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда медведь ест ягоды, в какой биологический процесс он будет вносить свой вклад?", + "option_a": "кормление молодняка", + "option_b": "селекция нового сорта ягод", + "option_c": "размножение семенами", + "option_d": "разлив рек" + }, + "outputs": "C", + "meta": { + "id": 1187 + } + }, + "prompt": "<|im_start|>user\nКогда медведь ест ягоды, в какой биологический процесс он будет вносить свой вклад?\nA. кормление молодняка\nB. селекция нового сорта ягод\nC. размножение семенами\nD. разлив рек\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6003333926200867, + "B": 0.11821264773607254, + "C": 0.009703485295176506, + "D": 0.17199839651584625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В поисках хорошего возобновляемого ресурса, чтобы не тратить впустую все, что в конечном итоге закончится, мужчина решает использовать", + "option_a": "мутную речную воду", + "option_b": "снежные шишки", + "option_c": "цветные карандаши", + "option_d": "свежую камбалу" + }, + "outputs": "A", + "meta": { + "id": 1329 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В поисках хорошего возобновляемого ресурса, чтобы не тратить впустую все, что в конечном итоге закончится, мужчина решает использовать\nA) мутную речную воду\nB) снежные шишки\nC) цветные карандаши\nD) свежую камбалу\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0007487992406822741, + "B": 0.9304940104484558, + "C": 0.0005146416951902211, + "D": 0.0012345612049102783 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По полю дует ветерок, становясь все сильнее и сильнее. Ветер превращается в шторм, двигая камни и ломая деревья. Этот ветер, вероятно, является следствием", + "option_a": "равномерно обогреваемых помещений", + "option_b": "неравномерного распределения тепла", + "option_c": "хорошо обогреваемых земных пространств", + "option_d": "наличия обогревателей" + }, + "outputs": "B", + "meta": { + "id": 586 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По полю дует ветерок, становясь все сильнее и сильнее. Ветер превращается в шторм, двигая камни и ломая деревья. Этот ветер, вероятно, является следствием\nA. равномерно обогреваемых помещений\nB. неравномерного распределения тепла\nC. хорошо обогреваемых земных пространств\nD. наличия обогревателей\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0009999633766710758, + "B": 0.00047234928933903575, + "C": 0.9677399396896362, + "D": 0.0006872641388326883 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для правильной работы крана требуется", + "option_a": "песок", + "option_b": "ветер", + "option_c": "точка опоры", + "option_d": "солнечная энергия" + }, + "outputs": "C", + "meta": { + "id": 335 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для правильной работы крана требуется\nA. песок\nB. ветер\nC. точка опоры\nD. солнечная энергия\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.0028957047034054995, + "B": 0.0013678339309990406, + "C": 0.9098033308982849, + "D": 0.04529644176363945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что легко проводят материалы, которые характеризует высокая теплопроводность?", + "option_a": "воздух", + "option_b": "свет", + "option_c": "электричество", + "option_d": "жар" + }, + "outputs": "D", + "meta": { + "id": 118 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что легко проводят материалы, которые характеризует высокая теплопроводность?\nA) воздух\nB) свет\nC) электричество\nD) жар\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.0036453567445278168, + "B": 0.8919894099235535, + "C": 0.00250541465356946, + "D": 0.05702297016978264 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Джим нашел птиц, живущих в открытом", + "option_a": "совещании", + "option_b": "космосе", + "option_c": "молоке", + "option_d": "гнезде" + }, + "outputs": "D", + "meta": { + "id": 1428 + } + }, + "prompt": "<|im_start|>user\nДжим нашел птиц, живущих в открытом\nA. совещании\nB. космосе\nC. молоке\nD. гнезде\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003380819223821163, + "B": 0.011800218373537064, + "C": 0.9374074339866638, + "D": 0.003380819223821163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент оставляет на детской площадке мешочек с желудями, - кто, скорее всего, его возьмет?", + "option_a": "рыба в пруду", + "option_b": "собака в доме", + "option_c": "заблудший местный бурундук", + "option_d": "тигр в зоопарке" + }, + "outputs": "C", + "meta": { + "id": 1374 + } + }, + "prompt": "<|im_start|>user\nСтудент оставляет на детской площадке мешочек с желудями, - кто, скорее всего, его возьмет?\nA. рыба в пруду\nB. собака в доме\nC. заблудший местный бурундук\nD. тигр в зоопарке\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0026144394651055336, + "B": 0.021890433505177498, + "C": 0.0010898604523390532, + "D": 0.9308048486709595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещь может иметь текстуру, легко наблюдаемую и безглазым существом", + "option_a": "по звуку", + "option_b": "посредством зрения", + "option_c": "по запаху", + "option_d": "на ощупь" + }, + "outputs": "D", + "meta": { + "id": 389 + } + }, + "prompt": "<|im_start|>user\nВещь может иметь текстуру, легко наблюдаемую и безглазым существом\nA. по звуку\nB. посредством зрения\nC. по запаху\nD. на ощупь\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.21283099055290222, + "B": 0.7428531050682068, + "C": 0.00021991776884533465, + "D": 0.00041086043347604573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каньоны, как правило, древние, огромные и захватывающие, они", + "option_a": "обычно состоят из камня", + "option_b": "наполнены местной дикой природой", + "option_c": "полны грязи и мути", + "option_d": "до краев заполнены песком" + }, + "outputs": "A", + "meta": { + "id": 143 + } + }, + "prompt": "<|im_start|>user\nКаньоны, как правило, древние, огромные и захватывающие, они\nA. обычно состоят из камня\nB. наполнены местной дикой природой\nC. полны грязи и мути\nD. до краев заполнены песком\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002651198534294963, + "B": 0.9438920021057129, + "C": 0.00027943425811827183, + "D": 0.0018221403006464243 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Миграция - это когда в течение годового цикла из одних мест в другие и обратно перемещаются", + "option_a": "фигурки животных", + "option_b": "перелетные птицы", + "option_c": "оседлые животные", + "option_d": "течения" + }, + "outputs": "B", + "meta": { + "id": 935 + } + }, + "prompt": "<|im_start|>user\nМиграция - это когда в течение годового цикла из одних мест в другие и обратно перемещаются\nA. фигурки животных\nB. перелетные птицы\nC. оседлые животные\nD. течения\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9250831007957458, + "B": 0.0007444449001923203, + "C": 0.0005116490065120161, + "D": 0.001575989997945726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что произойдет, если человек съест больше еды, чем нужно его организму в данный момент?", + "option_a": "он станет толще", + "option_b": "он станет умнее", + "option_c": "он станет легче", + "option_d": "он станет короче" + }, + "outputs": "A", + "meta": { + "id": 259 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что произойдет, если человек съест больше еды, чем нужно его организму в данный момент?\nA) он станет толще\nB) он станет умнее\nC) он станет легче\nD) он станет короче\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004364518448710442, + "B": 0.9424735307693481, + "C": 0.0018194018630310893, + "D": 0.0023361584171652794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплопроводность проявляется, когда", + "option_a": "я сажусь на кровать", + "option_b": "я оставляю бревенчатую кочергу в огне", + "option_c": "я машу флагом в воздухе", + "option_d": "у меня вечеринка" + }, + "outputs": "B", + "meta": { + "id": 2080 + } + }, + "prompt": "<|im_start|>user\nТеплопроводность проявляется, когда\nA) я сажусь на кровать\nB) я оставляю бревенчатую кочергу в огне\nC) я машу флагом в воздухе\nD) у меня вечеринка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05681498721241951, + "B": 0.00033783429535105824, + "C": 0.0002631056122481823, + "D": 0.8887359499931335 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причиной каких новообразований могут быть химические реакции?", + "option_a": "Температура", + "option_b": "Форма", + "option_c": "Цвет", + "option_d": "Вещества" + }, + "outputs": "D", + "meta": { + "id": 1505 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Причиной каких новообразований могут быть химические реакции?\nA) Температура\nB) Форма\nC) Цвет\nD) Вещества\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00373615394346416, + "B": 0.9142066836357117, + "C": 0.0022660919930785894, + "D": 0.006159876473248005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше всего навредит организму?", + "option_a": "печенье", + "option_b": "взрыв машины", + "option_c": "еда", + "option_d": "питье" + }, + "outputs": "B", + "meta": { + "id": 746 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что больше всего навредит организму?\nA) печенье\nB) взрыв машины\nC) еда\nD) питье\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03529437258839607, + "B": 0.9102539420127869, + "C": 0.0008300441550090909, + "D": 0.016671882942318916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В специальном месте для повторного использования материалов можно найти", + "option_a": "свежий наполнитель для кошачьего туалета", + "option_b": "старый алюминиевый поддон", + "option_c": "новый кирпичный дом", + "option_d": "старый использованный воск" + }, + "outputs": "B", + "meta": { + "id": 2045 + } + }, + "prompt": "<|im_start|>user\nВ специальном месте для повторного использования материалов можно найти\nA. свежий наполнитель для кошачьего туалета\nB. старый алюминиевый поддон\nC. новый кирпичный дом\nD. старый использованный воск\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8465973734855652, + "B": 0.0005305851227603853, + "C": 0.0004132201720494777, + "D": 0.00032181618735194206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мальчик чистит зубы в ванной, но в ванной выключен свет. Однако его комната находится рядом с ванной, а в спальне горит свет. Ванная комната по-прежнему светлая, потому что зеркало отражает", + "option_a": "свет из спальни", + "option_b": "свет от солнца", + "option_c": "свет от ванной", + "option_d": "свет от машины" + }, + "outputs": "A", + "meta": { + "id": 1355 + } + }, + "prompt": "<|im_start|>user\nМальчик чистит зубы в ванной, но в ванной выключен свет. Однако его комната находится рядом с ванной, а в спальне горит свет. Ванная комната по-прежнему светлая, потому что зеркало отражает\nA) свет из спальни\nB) свет от солнца\nC) свет от ванной\nD) свет от машины\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.752797544002533, + "B": 0.013787968084216118, + "C": 0.08990884572267532, + "D": 0.003076511435210705 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы вглядитесь в мрамор, вы увидите", + "option_a": "мелкие дефекты", + "option_b": "будущее", + "option_c": "цвета", + "option_d": "его обратную сторону" + }, + "outputs": "A", + "meta": { + "id": 1501 + } + }, + "prompt": "<|im_start|>user\nЕсли вы вглядитесь в мрамор, вы увидите\nA) мелкие дефекты\nB) будущее\nC) цвета\nD) его обратную сторону\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.006036803126335144, + "B": 0.039364900439977646, + "C": 0.8959410190582275, + "D": 0.01277991198003292 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где декабрь является летним месяцем?", + "option_a": "южная часть городов", + "option_b": "Северное полушарие Земли", + "option_c": "Южное полушарие Земли", + "option_d": "Экватор" + }, + "outputs": "C", + "meta": { + "id": 1540 + } + }, + "prompt": "<|im_start|>user\nГде декабрь является летним месяцем?\nA) южная часть городов\nB) Северное полушарие Земли\nC) Южное полушарие Земли\nD) Экватор\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004391072317957878, + "B": 0.010533634573221207, + "C": 0.0018304712139070034, + "D": 0.9482074975967407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше количество жилых зданий в пространстве,", + "option_a": "тем ярче звезды", + "option_b": "тем больше звезд на небе", + "option_c": "тем скучнее звезды", + "option_d": "тем меньше видимых звезд" + }, + "outputs": "D", + "meta": { + "id": 232 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем больше количество жилых зданий в пространстве,\nA. тем ярче звезды\nB. тем больше звезд на небе\nC. тем скучнее звезды\nD. тем меньше видимых звезд\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.10080374777317047, + "B": 0.005686958786100149, + "C": 0.3104974329471588, + "D": 0.5119236707687378 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветы в поле опылены насекомыми. А наиболее вероятным распространителем семян будут", + "option_a": "птицы", + "option_b": "дети", + "option_c": "кабаны", + "option_d": "полосатые соколы" + }, + "outputs": "A", + "meta": { + "id": 673 + } + }, + "prompt": "<|im_start|>user\nЦветы в поле опылены насекомыми. А наиболее вероятным распространителем семян будут\nA) птицы\nB) дети\nC) кабаны\nD) полосатые соколы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7881637215614319, + "B": 0.09413273632526398, + "C": 0.018535835668444633, + "D": 0.006017704028636217 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером предмета многоразового использования является", + "option_a": "пластиковый стакан", + "option_b": "жестяная банка из-под газировки", + "option_c": "мешок для мусора", + "option_d": "стальной стакан" + }, + "outputs": "D", + "meta": { + "id": 2315 + } + }, + "prompt": "<|im_start|>user\nПримером предмета многоразового использования является\nA. пластиковый стакан\nB. жестяная банка из-под газировки\nC. мешок для мусора\nD. стальной стакан\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0007677213288843632, + "B": 7.601470133522525e-05, + "C": 0.00015117328439373523, + "D": 0.9540075063705444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тропические штормы получают энергию от", + "option_a": "супермаркета", + "option_b": "Мексики", + "option_c": "заправочной станции", + "option_d": "океана" + }, + "outputs": "D", + "meta": { + "id": 1813 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Тропические штормы получают энергию от\nA) супермаркета\nB) Мексики\nC) заправочной станции\nD) океана\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41064637899398804, + "B": 0.055574946105480194, + "C": 0.015922488644719124, + "D": 0.41064637899398804 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луговые полевки потребляют", + "option_a": "продуцентов", + "option_b": "высших хищников", + "option_c": "разлагателей", + "option_d": "падальщиков" + }, + "outputs": "A", + "meta": { + "id": 1132 + } + }, + "prompt": "<|im_start|>user\nЛуговые полевки потребляют\nA) продуцентов\nB) высших хищников\nC) разлагателей\nD) падальщиков\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8849440217018127, + "B": 0.009830840863287449, + "C": 0.0013304594904184341, + "D": 0.012623047456145287 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если земная кора меняется в короткие сроки, вероятная причина -", + "option_a": "землетрясения", + "option_b": "луны", + "option_c": "холодные ночи", + "option_d": "сплавляемые бревна" + }, + "outputs": "A", + "meta": { + "id": 511 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если земная кора меняется в короткие сроки, вероятная причина -\nA) землетрясения\nB) луны\nC) холодные ночи\nD) сплавляемые бревна\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004453068133443594, + "B": 0.0030605460051447153, + "C": 0.9615949392318726, + "D": 0.007341867312788963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если какой-либо вид животных находится под угрозой исчезновения или вымирает, это потому, что слишком многие из них перестали", + "option_a": "ничего не делать", + "option_b": "обниматься", + "option_c": "спариваться", + "option_d": "умирать" + }, + "outputs": "C", + "meta": { + "id": 218 + } + }, + "prompt": "<|im_start|>user\nЕсли какой-либо вид животных находится под угрозой исчезновения или вымирает, это потому, что слишком многие из них перестали\nA. ничего не делать\nB. обниматься\nC. спариваться\nD. умирать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0034176150802522898, + "B": 0.007235090713948011, + "C": 0.9476099610328674, + "D": 0.009290041401982307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетки могут быть компонентами зоопарков, тюрем, мест содержания под стражей и", + "option_a": "синих джинсов", + "option_b": "космических камней", + "option_c": "форм жизни", + "option_d": "фильтрованной воды" + }, + "outputs": "C", + "meta": { + "id": 1564 + } + }, + "prompt": "<|im_start|>user\nКлетки могут быть компонентами зоопарков, тюрем, мест содержания под стражей и\nA) синих джинсов\nB) космических камней\nC) форм жизни\nD) фильтрованной воды\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00625340361148119, + "B": 0.05235910788178444, + "C": 0.8190342783927917, + "D": 0.0761820524930954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит с зажженной свечой?", + "option_a": "она остается такой же", + "option_b": "ни один ответ не является верным", + "option_c": "она становится короче", + "option_d": "она становится выше" + }, + "outputs": "C", + "meta": { + "id": 1292 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что происходит с зажженной свечой?\nA) она остается такой же\nB) ни один ответ не является верным\nC) она становится короче\nD) она становится выше\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7868462204933167, + "B": 0.02376069873571396, + "C": 0.0019503969233483076, + "D": 0.0829329788684845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По материалам, из которых она состоит, Земля похожа на", + "option_a": "Марс", + "option_b": "Юпитер", + "option_c": "Нептун", + "option_d": "Солнце" + }, + "outputs": "A", + "meta": { + "id": 1584 + } + }, + "prompt": "<|im_start|>user\nПо материалам, из которых она состоит, Земля похожа на\nA) Марс\nB) Юпитер\nC) Нептун\nD) Солнце\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03462394326925278, + "B": 0.8929632902145386, + "C": 0.006817858666181564, + "D": 0.008754304610192776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В дождливый день облака", + "option_a": "высокие", + "option_b": "серые", + "option_c": "белые", + "option_d": "маленькие" + }, + "outputs": "B", + "meta": { + "id": 2264 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В дождливый день облака\nA. высокие\nB. серые\nC. белые\nD. маленькие\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009227877482771873, + "B": 0.0029958533123135567, + "C": 0.0011021126993000507, + "D": 0.9412690997123718 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как правило, электричество не может протекать через", + "option_a": "электроны с низким сопротивлением", + "option_b": "полные проводящие пути", + "option_c": "замкнутые цепи", + "option_d": "незамкнутые проводящие пути" + }, + "outputs": "D", + "meta": { + "id": 406 + } + }, + "prompt": "<|im_start|>user\nКак правило, электричество не может протекать через\nA) электроны с низким сопротивлением\nB) полные проводящие пути\nC) замкнутые цепи\nD) незамкнутые проводящие пути\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.0031321540009230375, + "B": 0.09153494983911514, + "C": 0.676356852054596, + "D": 0.19377949833869934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих животных может съесть стейк?", + "option_a": "Курица", + "option_b": "Лев", + "option_c": "Корова", + "option_d": "Буйвол" + }, + "outputs": "B", + "meta": { + "id": 2060 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из этих животных может съесть стейк?\nA. Курица\nB. Лев\nC. Корова\nD. Буйвол\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9119359850883484, + "B": 0.0029024924151599407, + "C": 0.018926626071333885, + "D": 0.004223101772367954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо, обитающее в местах с виноградными лозами и навесами, по сравнению с существом, обитающим в пространстве с колючими растениями и горячей почвой, будет", + "option_a": "проводить больше времени во влажной среде", + "option_b": "постояннно мечтать о снежной пустыне", + "option_c": "проводить больше времени в сухой среде", + "option_d": "жить в засушливом климате" + }, + "outputs": "A", + "meta": { + "id": 753 + } + }, + "prompt": "<|im_start|>user\nСущество, обитающее в местах с виноградными лозами и навесами, по сравнению с существом, обитающим в пространстве с колючими растениями и горячей почвой, будет\nA. проводить больше времени во влажной среде\nB. постояннно мечтать о снежной пустыне\nC. проводить больше времени в сухой среде\nD. жить в засушливом климате\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0006017531850375235, + "B": 0.9601525664329529, + "C": 0.00025084803928621113, + "D": 0.00015214704035315663 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Помимо растений, ящерицы также едят насекомых для", + "option_a": "пения", + "option_b": "пропитания", + "option_c": "ничего", + "option_d": "плача" + }, + "outputs": "B", + "meta": { + "id": 14 + } + }, + "prompt": "<|im_start|>user\nПомимо растений, ящерицы также едят насекомых для\nA) пения\nB) пропитания\nC) ничего\nD) плача\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8872673511505127, + "B": 0.0004907337133772671, + "C": 0.00020456823403947055, + "D": 0.0009168112301267684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тихоокеанское Кольцо огня состоит из", + "option_a": "цепи подводных вулканов", + "option_b": "водорослей", + "option_c": "зефира", + "option_d": "ледяных образований" + }, + "outputs": "A", + "meta": { + "id": 886 + } + }, + "prompt": "<|im_start|>user\nТихоокеанское Кольцо огня состоит из\nA) цепи подводных вулканов\nB) водорослей\nC) зефира\nD) ледяных образований\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9169968366622925, + "B": 0.003747556358575821, + "C": 0.0009475306142121553, + "D": 0.007001356687396765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения наиболее верны?", + "option_a": "ястребы едят ящериц, которые едят жуков, которые едят траву", + "option_b": "ястребы едят медведей, которые едят жуков, которые едят собак", + "option_c": "ястребы едят кошек, которые едят жуков, которые едят воздух", + "option_d": "медведи едят ящериц, которые едят лошадей, которые едят траву" + }, + "outputs": "A", + "meta": { + "id": 1961 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие отношения наиболее верны?\nA) ястребы едят ящериц, которые едят жуков, которые едят траву\nB) ястребы едят медведей, которые едят жуков, которые едят собак\nC) ястребы едят кошек, которые едят жуков, которые едят воздух\nD) медведи едят ящериц, которые едят лошадей, которые едят траву\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9153339266777039, + "B": 0.0013761488953605294, + "C": 0.0003268639848101884, + "D": 0.0012144470820203424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником сырья?", + "option_a": "нефтяное месторождение", + "option_b": "завод", + "option_c": "торговый центр", + "option_d": "электростанция" + }, + "outputs": "A", + "meta": { + "id": 1510 + } + }, + "prompt": "<|im_start|>user\nЧто является источником сырья?\nA. нефтяное месторождение\nB. завод\nC. торговый центр\nD. электростанция\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0021298134233802557, + "B": 0.0021298134233802557, + "C": 0.9736329317092896, + "D": 0.0018795537762343884 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если живое животное будет в идеальной ситуации, как минимум, у него будет", + "option_a": "сани", + "option_b": "синяк под глазом", + "option_c": "место для обитания", + "option_d": "трансплантация печени" + }, + "outputs": "C", + "meta": { + "id": 1056 + } + }, + "prompt": "<|im_start|>user\nЕсли живое животное будет в идеальной ситуации, как минимум, у него будет\nA) сани\nB) синяк под глазом\nC) место для обитания\nD) трансплантация печени\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.3348369896411896, + "B": 0.5520528554916382, + "C": 0.006949320435523987, + "D": 0.03999057784676552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пример характеризует защиту окружающей среды?", + "option_a": "с помощью ограничителя уменьшить поток воды", + "option_b": "дважды промыть унитаз", + "option_c": "чаще ездить в короткие поездки", + "option_d": "использовать более дорогую бумагу" + }, + "outputs": "A", + "meta": { + "id": 2114 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой пример характеризует защиту окружающей среды?\nA. с помощью ограничителя уменьшить поток воды\nB. дважды промыть унитаз\nC. чаще ездить в короткие поездки\nD. использовать более дорогую бумагу\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0640861988067627, + "B": 0.6889916062355042, + "C": 0.04991038888692856, + "D": 0.11972878128290176 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более холодное время года ниже экватора происходит, когда над экватором", + "option_a": "носят толстые куртки", + "option_b": "носят купальники", + "option_c": "увлекаются подледной рыбалкой", + "option_d": "выбивают на снегу одеяла" + }, + "outputs": "B", + "meta": { + "id": 103 + } + }, + "prompt": "<|im_start|>user\nБолее холодное время года ниже экватора происходит, когда над экватором\nA) носят толстые куртки\nB) носят купальники\nC) увлекаются подледной рыбалкой\nD) выбивают на снегу одеяла\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.23519130051136017, + "B": 0.2665066719055176, + "C": 0.14265073835849762, + "D": 0.2665066719055176 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шоколадный кролик тает от", + "option_a": "дыхания ледяного пруда", + "option_b": "близости морозильника", + "option_c": "снега", + "option_d": "щипцов для завивки" + }, + "outputs": "D", + "meta": { + "id": 398 + } + }, + "prompt": "<|im_start|>user\nШоколадный кролик тает от\nA) дыхания ледяного пруда\nB) близости морозильника\nC) снега\nD) щипцов для завивки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011140195652842522, + "B": 0.8849753737449646, + "C": 0.008675993420183659, + "D": 0.03888310492038727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На Земле есть континенты, на которых в разное время происходят похожие события, в зависимости от того, на какой долготе они находятся, например", + "option_a": "мультфильмы", + "option_b": "восход солнца", + "option_c": "парад", + "option_d": "леса" + }, + "outputs": "B", + "meta": { + "id": 662 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На Земле есть континенты, на которых в разное время происходят похожие события, в зависимости от того, на какой долготе они находятся, например\nA) мультфильмы\nB) восход солнца\nC) парад\nD) леса\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.938948392868042, + "B": 0.00024530827067792416, + "C": 0.00024530827067792416, + "D": 0.004348193760961294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой вид энергии самый экологически чистый?", + "option_a": "Солнечный свет", + "option_b": "Нефть", + "option_c": "Природный газ", + "option_d": "Уголь" + }, + "outputs": "A", + "meta": { + "id": 2145 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой вид энергии самый экологически чистый?\nA. Солнечный свет\nB. Нефть\nC. Природный газ\nD. Уголь\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09742466360330582, + "B": 0.014940556138753891, + "C": 0.009061905555427074, + "D": 0.8157266974449158 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зефир и ____ относятся к разным категориям.", + "option_a": "стейк", + "option_b": "печенье", + "option_c": "шоколад", + "option_d": "огонь" + }, + "outputs": "D", + "meta": { + "id": 1880 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зефир и ____ относятся к разным категориям.\nA. стейк\nB. печенье\nC. шоколад\nD. огонь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.10041630268096924, + "B": 0.39715418219566345, + "C": 0.18760235607624054, + "D": 0.24088619649410248 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек ест фрукт, возможно фрукт когда-то был…", + "option_a": "ничем из этого", + "option_b": "камнем", + "option_c": "частью репродуктивной системы растения", + "option_d": "корнем" + }, + "outputs": "C", + "meta": { + "id": 2255 + } + }, + "prompt": "<|im_start|>user\nЕсли человек ест фрукт, возможно фрукт когда-то был…\nA. ничем из этого\nB. камнем\nC. частью репродуктивной системы растения\nD. корнем\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003850972978398204, + "B": 0.9423019886016846, + "C": 0.0020612773951143026, + "D": 0.007194564212113619 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Спиливание дерева, в котором живет сова,", + "option_a": "означает, что сова пойдет за деревом", + "option_b": "лишает сову дома", + "option_c": "заставляет сову задуматься", + "option_d": "приводит к гибели совы" + }, + "outputs": "B", + "meta": { + "id": 1514 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Спиливание дерева, в котором живет сова,\nA. означает, что сова пойдет за деревом\nB. лишает сову дома\nC. заставляет сову задуматься\nD. приводит к гибели совы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0016050966223701835, + "B": 0.0012500503798946738, + "C": 0.009236692450940609, + "D": 0.9421682357788086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Градуирование стакана метками для обозначения количества чашек в нем это", + "option_a": "способ увидеть, сколько данных осталось на телефоне", + "option_b": "способ сделать чили", + "option_c": "способ рассмотреть возможность получения чего-либо", + "option_d": "способ сбора данных" + }, + "outputs": "D", + "meta": { + "id": 1240 + } + }, + "prompt": "<|im_start|>user\nГрадуирование стакана метками для обозначения количества чашек в нем это\nA) способ увидеть, сколько данных осталось на телефоне\nB) способ сделать чили\nC) способ рассмотреть возможность получения чего-либо\nD) способ сбора данных\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.23776860535144806, + "B": 0.4442102313041687, + "C": 0.053053345531225204, + "D": 0.185174360871315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поверхность луны", + "option_a": "содержит большие полости, вызванные взрывами", + "option_b": "гладкая по всей поверхности", + "option_c": "содержит внутреннюю сердцевину из сыра", + "option_d": "заполнена озерами" + }, + "outputs": "A", + "meta": { + "id": 1716 + } + }, + "prompt": "<|im_start|>user\nПоверхность луны\nA) содержит большие полости, вызванные взрывами\nB) гладкая по всей поверхности\nC) содержит внутреннюю сердцевину из сыра\nD) заполнена озерами\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0012707497226074338, + "B": 9.205280366586521e-05, + "C": 0.0001719772699289024, + "D": 0.9577693939208984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет объекты в космосе двигаться по орбитам?", + "option_a": "красивая форма орбит", + "option_b": "солнечный свет", + "option_c": "солнечные вспышки", + "option_d": "притяжение небесных тел" + }, + "outputs": "D", + "meta": { + "id": 1427 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что заставляет объекты в космосе двигаться по орбитам?\nA) красивая форма орбит\nB) солнечный свет\nC) солнечные вспышки\nD) притяжение небесных тел\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.2027345448732376, + "B": 0.7076130509376526, + "C": 0.0022521773353219032, + "D": 0.03522998094558716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что разлагается при разложении?", + "option_a": "пластик", + "option_b": "живые существа", + "option_c": "металлы", + "option_d": "безжизненные формы жизни" + }, + "outputs": "D", + "meta": { + "id": 1190 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что разлагается при разложении?\nA. пластик\nB. живые существа\nC. металлы\nD. безжизненные формы жизни\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.4386455714702606, + "B": 0.0008467852603644133, + "C": 0.0009595333249308169, + "D": 0.49705055356025696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лучший способ разжечь огонь - использовать", + "option_a": "бревна, лишенные влаги", + "option_b": "старые гнилые ветки", + "option_c": "зеленые ветки", + "option_d": "рубленые бревна" + }, + "outputs": "A", + "meta": { + "id": 1964 + } + }, + "prompt": "<|im_start|>user\nЛучший способ разжечь огонь - использовать\nA) бревна, лишенные влаги\nB) старые гнилые ветки\nC) зеленые ветки\nD) рубленые бревна\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8751326203346252, + "B": 0.0007042480865493417, + "C": 0.00033266324317082763, + "D": 0.0010246748570352793 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Конденсация - это стадия в каком циклическом процессе?", + "option_a": "круговорот воды", + "option_b": "освоение космоса", + "option_c": "солнечный круг", + "option_d": "кольцо огня" + }, + "outputs": "A", + "meta": { + "id": 1983 + } + }, + "prompt": "<|im_start|>user\nКонденсация - это стадия в каком циклическом процессе?\nA) круговорот воды\nB) освоение космоса\nC) солнечный круг\nD) кольцо огня\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9396551847457886, + "B": 0.0014127143658697605, + "C": 0.000856854603625834, + "D": 0.004930857568979263 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Передача электричества через какой материал будет наиболее успешной?", + "option_a": "медь", + "option_b": "вода", + "option_c": "воздух", + "option_d": "земля" + }, + "outputs": "A", + "meta": { + "id": 1939 + } + }, + "prompt": "<|im_start|>user\nПередача электричества через какой материал будет наиболее успешной?\nA. медь\nB. вода\nC. воздух\nD. земля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0049085114151239395, + "B": 0.013342717662453651, + "C": 0.9353967308998108, + "D": 0.005562072154134512 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что или кого орел будет ловить когтями?", + "option_a": "орехи и ягоды", + "option_b": "лев", + "option_c": "мышь", + "option_d": "слон" + }, + "outputs": "C", + "meta": { + "id": 1446 + } + }, + "prompt": "<|im_start|>user\nЧто или кого орел будет ловить когтями?\nA) орехи и ягоды\nB) лев\nC) мышь\nD) слон\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6549353003501892, + "B": 0.0018395786173641682, + "C": 0.2409372627735138, + "D": 0.0020845155231654644 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В определенный момент холодного месяца освещение в часы бодрствования", + "option_a": "закончится раньше", + "option_b": "будет чрезмерно жарким", + "option_c": "будет длиться дольше всего", + "option_d": "запустит рост новых растений" + }, + "outputs": "A", + "meta": { + "id": 525 + } + }, + "prompt": "<|im_start|>user\nВ определенный момент холодного месяца освещение в часы бодрствования\nA. закончится раньше\nB. будет чрезмерно жарким\nC. будет длиться дольше всего\nD. запустит рост новых растений\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5263383388519287, + "B": 0.17087703943252563, + "C": 0.11744196712970734, + "D": 0.06286215037107468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда мы делали конфетти, оно отличалось от оригинальных листов бумаги", + "option_a": "цветом", + "option_b": "рисунком", + "option_c": "формой", + "option_d": "температурой" + }, + "outputs": "C", + "meta": { + "id": 135 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда мы делали конфетти, оно отличалось от оригинальных листов бумаги\nA) цветом\nB) рисунком\nC) формой\nD) температурой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11004512757062912, + "B": 0.8131296634674072, + "C": 0.010235792025923729, + "D": 0.010235792025923729 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Количество воды в океане по сравнению с тем, что было пятьдесят лет назад,", + "option_a": "колеблется", + "option_b": "увеличилось", + "option_c": "уменьшилось", + "option_d": "осталось прежним" + }, + "outputs": "B", + "meta": { + "id": 2221 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Количество воды в океане по сравнению с тем, что было пятьдесят лет назад,\nA. колеблется\nB. увеличилось\nC. уменьшилось\nD. осталось прежним\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007998792454600334, + "B": 0.9245347380638123, + "C": 0.0006565809017047286, + "D": 0.0005113457445986569 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как новые гибридные автомобили со временем повлияют на потребление газа в мире?", + "option_a": "увеличат", + "option_b": "уменьшат", + "option_c": "оставят на прежнем уровне", + "option_d": "все перейдут на более медленные автомобили" + }, + "outputs": "B", + "meta": { + "id": 537 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как новые гибридные автомобили со временем повлияют на потребление газа в мире?\nA. увеличат\nB. уменьшат\nC. оставят на прежнем уровне\nD. все перейдут на более медленные автомобили\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0023298212327063084, + "B": 0.0008570932550355792, + "C": 0.00016877167217899114, + "D": 0.9399169087409973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лесной пожар возникает, когда", + "option_a": "экологам становится жарко", + "option_b": "кто-то курит возле леса", + "option_c": "узор деревьев похож на огонь", + "option_d": "загораются сухие участки деревьев" + }, + "outputs": "D", + "meta": { + "id": 33 + } + }, + "prompt": "<|im_start|>user\nЛесной пожар возникает, когда\nA. экологам становится жарко\nB. кто-то курит возле леса\nC. узор деревьев похож на огонь\nD. загораются сухие участки деревьев\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8993908166885376, + "B": 0.00034188450081273913, + "C": 0.0005636721616610885, + "D": 0.0015322200488299131 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мужчина получил ожог в результате дорожно-транспортного происшествия, что означает, что в какой-то момент он", + "option_a": "подвергся воздействию сильного жара", + "option_b": "замерз в ледяной буре", + "option_c": "врезался в вертолет", + "option_d": "растопленный расплавленной лавой." + }, + "outputs": "A", + "meta": { + "id": 1902 + } + }, + "prompt": "<|im_start|>user\nМужчина получил ожог в результате дорожно-транспортного происшествия, что означает, что в какой-то момент он\nA. подвергся воздействию сильного жара\nB. замерз в ледяной буре\nC. врезался в вертолет\nD. растопленный расплавленной лавой.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.12145403772592545, + "B": 0.20024386048316956, + "C": 0.006046841386705637, + "D": 0.6167945265769958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Назовите одну из причин образования парниковых газов:", + "option_a": "слоны", + "option_b": "груши", + "option_c": "валуны", + "option_d": "дубы" + }, + "outputs": "A", + "meta": { + "id": 549 + } + }, + "prompt": "<|im_start|>user\nНазовите одну из причин образования парниковых газов:\nA. слоны\nB. груши\nC. валуны\nD. дубы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.030954426154494286, + "B": 0.7983251810073853, + "C": 0.04503842815756798, + "D": 0.027317184954881668 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разложение", + "option_a": "лишает почвы способности питать растения", + "option_b": "добавляет компоненты, необходимые для поддержания жизни в почве", + "option_c": "увеличивает скорость истощения питательных веществ в почве", + "option_d": "уменьшает количество питательных веществ в почве" + }, + "outputs": "B", + "meta": { + "id": 1123 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Разложение\nA. лишает почвы способности питать растения\nB. добавляет компоненты, необходимые для поддержания жизни в почве\nC. увеличивает скорость истощения питательных веществ в почве\nD. уменьшает количество питательных веществ в почве\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0027265772223472595, + "B": 0.0024061959702521563, + "C": 0.9707286357879639, + "D": 0.000689386622980237 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером воздействия солнечного света является", + "option_a": "переменная погода", + "option_b": "ветряные мельницы, производящие энергию", + "option_c": "повышение температуры", + "option_d": "кваканье лягушек" + }, + "outputs": "C", + "meta": { + "id": 2066 + } + }, + "prompt": "<|im_start|>user\nПримером воздействия солнечного света является\nA) переменная погода\nB) ветряные мельницы, производящие энергию\nC) повышение температуры\nD) кваканье лягушек\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.7990294098854065, + "B": 0.045078158378601074, + "C": 0.003265450708568096, + "D": 0.07432131469249725 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнце было прямо над нами, когда мы", + "option_a": "проснулись", + "option_b": "пошли на работу", + "option_c": "сделали перерыв", + "option_d": "пошли домой" + }, + "outputs": "C", + "meta": { + "id": 621 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Солнце было прямо над нами, когда мы\nA) проснулись\nB) пошли на работу\nC) сделали перерыв\nD) пошли домой\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00571296876296401, + "B": 0.00571296876296401, + "C": 0.9607736468315125, + "D": 0.0030579320155084133 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие три события могут происходить один раз в день?", + "option_a": "3 цикла дня, 3 цикла ночи и щебетание птиц на восходе солнца", + "option_b": "цикл дня, цикл ночи и мотоцикл", + "option_c": "цикл дня, цикл ночи и щебетание птиц на восходе солнца", + "option_d": "цикл дня, цикл ночи и летающие птицы" + }, + "outputs": "C", + "meta": { + "id": 1494 + } + }, + "prompt": "<|im_start|>user\nКакие три события могут происходить один раз в день?\nA. 3 цикла дня, 3 цикла ночи и щебетание птиц на восходе солнца\nB. цикл дня, цикл ночи и мотоцикл\nC. цикл дня, цикл ночи и щебетание птиц на восходе солнца\nD. цикл дня, цикл ночи и летающие птицы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00013516600301954895, + "B": 0.9665647745132446, + "C": 0.00017355656018480659, + "D": 0.00019666536536533386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Питательные вещества из пищи и воды необходимы организму для", + "option_a": "дружбы", + "option_b": "выживания", + "option_c": "облагораживания среды обитания", + "option_d": "создания потребности в калориях" + }, + "outputs": "B", + "meta": { + "id": 54 + } + }, + "prompt": "<|im_start|>user\nПитательные вещества из пищи и воды необходимы организму для\nA. дружбы\nB. выживания\nC. облагораживания среды обитания\nD. создания потребности в калориях\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03345811739563942, + "B": 0.21817433834075928, + "C": 0.6720242500305176, + "D": 0.013947417959570885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фотокамера может сделать снимок и", + "option_a": "зафиксировать его в небе", + "option_b": "отредактировать его", + "option_c": "сохранить его", + "option_d": "воссоздать клоны людей со снимка" + }, + "outputs": "C", + "meta": { + "id": 92 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Фотокамера может сделать снимок и\nA) зафиксировать его в небе\nB) отредактировать его\nC) сохранить его\nD) воссоздать клоны людей со снимка\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.35166919231414795, + "B": 0.5798044800758362, + "C": 0.0034476432483643293, + "D": 0.0020911013707518578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рыбы лучше всего перемещаются по воде, когда у них есть плавники?", + "option_a": "Большой [Собрать]", + "option_b": "Длинный", + "option_c": "Маленький", + "option_d": "Короткий" + }, + "outputs": "A", + "meta": { + "id": 1606 + } + }, + "prompt": "<|im_start|>user\nРыбы лучше всего перемещаются по воде, когда у них есть плавники?\nA. Большой [Собрать]\nB. Длинный\nC. Маленький\nD. Короткий\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.03258343040943146, + "B": 0.741595447063446, + "C": 0.00111494364682585, + "D": 0.16547231376171112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При варварской вырубке тропических лесов может снизиться", + "option_a": "уровень карбиндиоида", + "option_b": "уровень углекислого газа", + "option_c": "количество гелия", + "option_d": "качество воздуха" + }, + "outputs": "D", + "meta": { + "id": 185 + } + }, + "prompt": "<|im_start|>user\nПри варварской вырубке тропических лесов может снизиться\nA. уровень карбиндиоида\nB. уровень углекислого газа\nC. количество гелия\nD. качество воздуха\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008081674575805664, + "B": 0.02489331178367138, + "C": 0.9341146349906921, + "D": 0.0014043845003470778 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Встречный пал, или контролируемый встречный пожар, помогает остановить распространение огня лесных пожаров за счет очистки территории на пути основной стены огня", + "option_a": "от осиных гнезд", + "option_b": "от помета животных", + "option_c": "от мертвой листвы", + "option_d": "от загрязнения воздуха" + }, + "outputs": "C", + "meta": { + "id": 1341 + } + }, + "prompt": "<|im_start|>user\nВстречный пал, или контролируемый встречный пожар, помогает остановить распространение огня лесных пожаров за счет очистки территории на пути основной стены огня\nA. от осиных гнезд\nB. от помета животных\nC. от мертвой листвы\nD. от загрязнения воздуха\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.873401939868927, + "B": 0.010994507931172848, + "C": 0.0011588125489652157, + "D": 0.0024532063398510218 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек наполняет резервуар ископаемым топливом и знает, что через сто лет", + "option_a": "топливо может перестать существовать", + "option_b": "заправки могут быть более частыми", + "option_c": "топлива может стать больше", + "option_d": "топливо может стать бесплатным" + }, + "outputs": "A", + "meta": { + "id": 2104 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек наполняет резервуар ископаемым топливом и знает, что через сто лет\nA) топливо может перестать существовать\nB) заправки могут быть более частыми\nC) топлива может стать больше\nD) топливо может стать бесплатным\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006063712062314153, + "B": 0.0008822649251669645, + "C": 0.9675209522247314, + "D": 0.0021164435893297195 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Очки помогают вам", + "option_a": "жарить муравьев", + "option_b": "расплачиваться за преступления", + "option_c": "компенсировать проблемы со зрением", + "option_d": "наблюдать за Ураном" + }, + "outputs": "C", + "meta": { + "id": 1362 + } + }, + "prompt": "<|im_start|>user\nОчки помогают вам\nA) жарить муравьев\nB) расплачиваться за преступления\nC) компенсировать проблемы со зрением\nD) наблюдать за Ураном\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12180665880441666, + "B": 0.1564028412103653, + "C": 0.09486310929059982, + "D": 0.5458995699882507 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете сделать телескоп из", + "option_a": "соломинки", + "option_b": "оконного стекла", + "option_c": "свечи", + "option_d": "трубки пневматической почты" + }, + "outputs": "D", + "meta": { + "id": 678 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы можете сделать телескоп из\nA) соломинки\nB) оконного стекла\nC) свечи\nD) трубки пневматической почты\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4832228720188141, + "B": 0.10782159864902496, + "C": 0.29308947920799255, + "D": 0.024058248847723007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кубик льда массой 15 грамм тает и переходит в жидкую форму, он", + "option_a": "сохранит прежнюю массу", + "option_b": "будет весить 19 грамм", + "option_c": "потеряет 5 грамм", + "option_d": "улетит" + }, + "outputs": "A", + "meta": { + "id": 1541 + } + }, + "prompt": "<|im_start|>user\nЕсли кубик льда массой 15 грамм тает и переходит в жидкую форму, он\nA) сохранит прежнюю массу\nB) будет весить 19 грамм\nC) потеряет 5 грамм\nD) улетит\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.3603491485118866, + "B": 0.020329507067799568, + "C": 0.033517688512802124, + "D": 0.5243049263954163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку ветер дует на заднюю часть автомобиля с сильным порывом, автомобиль", + "option_a": "мчится вперед быстрее, чем раньше", + "option_b": "ветер не может повлиять на скорость автомобиля", + "option_c": "двигается не вперед, а вбок", + "option_d": "поддерживает прежние скорость и направление" + }, + "outputs": "A", + "meta": { + "id": 454 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поскольку ветер дует на заднюю часть автомобиля с сильным порывом, автомобиль\nA. мчится вперед быстрее, чем раньше\nB. ветер не может повлиять на скорость автомобиля\nC. двигается не вперед, а вбок\nD. поддерживает прежние скорость и направление\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8643615245819092, + "B": 0.013971103355288506, + "C": 0.0024278138298541307, + "D": 0.009602189995348454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что использовали некоторые древние общества для отражения света?", + "option_a": "камни", + "option_b": "растения", + "option_c": "одежда", + "option_d": "дерево" + }, + "outputs": "A", + "meta": { + "id": 1463 + } + }, + "prompt": "<|im_start|>user\nЧто использовали некоторые древние общества для отражения света?\nA) камни\nB) растения\nC) одежда\nD) дерево\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009692217223346233, + "B": 0.8724655508995056, + "C": 0.004040317609906197, + "D": 0.08115193247795105 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что содержит семена", + "option_a": "человек", + "option_b": "целая тыква", + "option_c": "банка из-под газировки", + "option_d": "лист растения" + }, + "outputs": "B", + "meta": { + "id": 434 + } + }, + "prompt": "<|im_start|>user\nЧто содержит семена\nA) человек\nB) целая тыква\nC) банка из-под газировки\nD) лист растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.001099577290005982, + "B": 0.007170144468545914, + "C": 0.9391036033630371, + "D": 0.0014118851395323873 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как определить климат места?", + "option_a": "посмотрите на погоду только в полдень", + "option_b": "посмотрите на самые экстремальные погодные явления", + "option_c": "посмотрите на погоду утром, днем ​​и вечером в разное время года", + "option_d": "посмотрите на погоду в один день" + }, + "outputs": "C", + "meta": { + "id": 570 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как определить климат места?\nA) посмотрите на погоду только в полдень\nB) посмотрите на самые экстремальные погодные явления\nC) посмотрите на погоду утром, днем ​​и вечером в разное время года\nD) посмотрите на погоду в один день\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008022553287446499, + "B": 0.008022553287446499, + "C": 0.9272810220718384, + "D": 0.024711202830076218 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если у вас есть пакет оберток от сэндвичей, вы могли бы нанести ущерб среде, в которой живёте, - если бы", + "option_a": "переработали их", + "option_b": "повторно использовали их", + "option_c": "выбросили их", + "option_d": "повторно применили их" + }, + "outputs": "C", + "meta": { + "id": 821 + } + }, + "prompt": "<|im_start|>user\nЕсли у вас есть пакет оберток от сэндвичей, вы могли бы нанести ущерб среде, в которой живёте, - если бы\nA) переработали их\nB) повторно использовали их\nC) выбросили их\nD) повторно применили их\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03131002187728882, + "B": 0.9150130152702332, + "C": 0.0009454807732254267, + "D": 0.0022680906113237143 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может вызвать наводнение?", + "option_a": "перенаселенность территории", + "option_b": "озеро получает слишком много дождевой воды", + "option_c": "гора теряет почву", + "option_d": "пересыхает река" + }, + "outputs": "B", + "meta": { + "id": 2004 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может вызвать наводнение?\nA. перенаселенность территории\nB. озеро получает слишком много дождевой воды\nC. гора теряет почву\nD. пересыхает река\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.9005057215690613, + "B": 0.002529335441067815, + "C": 0.002529335441067815, + "D": 0.004170169122517109 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одна из любимых жертв тунца -", + "option_a": "акула", + "option_b": "колибри", + "option_c": "сардина", + "option_d": "кошка" + }, + "outputs": "C", + "meta": { + "id": 810 + } + }, + "prompt": "<|im_start|>user\nОдна из любимых жертв тунца -\nA. акула\nB. колибри\nC. сардина\nD. кошка\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003035107394680381, + "B": 0.005004046019166708, + "C": 0.9536023139953613, + "D": 0.0016245759325101972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как избежать хищников, какова хорошая стратегия выживания?", + "option_a": "громко шуметь и двигаться", + "option_b": "обзавестись ярко окрашенным оперением", + "option_c": "выглядеть так же, как листья", + "option_d": "жить на открытых пространствах" + }, + "outputs": "C", + "meta": { + "id": 1807 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как избежать хищников, какова хорошая стратегия выживания?\nA) громко шуметь и двигаться\nB) обзавестись ярко окрашенным оперением\nC) выглядеть так же, как листья\nD) жить на открытых пространствах\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8647043108940125, + "B": 0.0035338490270078182, + "C": 0.007481158245354891, + "D": 0.0379924550652504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то находится в экосистеме, это может быть", + "option_a": "невидимым", + "option_b": "космическим вакуумом", + "option_c": "инопланетным", + "option_d": "безжизненным" + }, + "outputs": "D", + "meta": { + "id": 1274 + } + }, + "prompt": "<|im_start|>user\nЕсли что-то находится в экосистеме, это может быть\nA) невидимым\nB) космическим вакуумом\nC) инопланетным\nD) безжизненным\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7919448018074036, + "B": 0.03479562699794769, + "C": 0.011296485550701618, + "D": 0.09458432346582413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы находитесь у пруда, бросая камушки, на какой предмет для пикника должен больше всего походить камень для скачков по воде?", + "option_a": "Фрисби", + "option_b": "Футбольный мяч", + "option_c": "Хоккейная клюшка", + "option_d": "Клюшка для гольфа" + }, + "outputs": "A", + "meta": { + "id": 828 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы находитесь у пруда, бросая камушки, на какой предмет для пикника должен больше всего походить камень для скачков по воде?\nA. Фрисби\nB. Футбольный мяч\nC. Хоккейная клюшка\nD. Клюшка для гольфа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0006009601056575775, + "B": 0.9588871002197266, + "C": 0.0001340923336101696, + "D": 0.0026933166664093733 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздействию чего подвергается планета, вращающаяся вокруг нашей звезды?", + "option_a": "горы", + "option_b": "солнечные лучи", + "option_c": "океаны", + "option_d": "луны" + }, + "outputs": "B", + "meta": { + "id": 1070 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воздействию чего подвергается планета, вращающаяся вокруг нашей звезды?\nA. горы\nB. солнечные лучи\nC. океаны\nD. луны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4077768325805664, + "B": 0.4077768325805664, + "C": 0.023005196824669838, + "D": 0.07086098194122314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, будет жить под камнем?", + "option_a": "полевка", + "option_b": "кот", + "option_c": "орел", + "option_d": "собака" + }, + "outputs": "A", + "meta": { + "id": 658 + } + }, + "prompt": "<|im_start|>user\nКто, скорее всего, будет жить под камнем?\nA. полевка\nB. кот\nC. орел\nD. собака\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5281074643135071, + "B": 0.018070843070745468, + "C": 0.029793785884976387, + "D": 0.36296260356903076 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком месте зимой не бывает снега?", + "option_a": "Йоханнесбург", + "option_b": "Осло", + "option_c": "Каир", + "option_d": "вершина эвереста" + }, + "outputs": "C", + "meta": { + "id": 1974 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком месте зимой не бывает снега?\nA. Йоханнесбург\nB. Осло\nC. Каир\nD. вершина эвереста\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8967112302780151, + "B": 0.001348150777630508, + "C": 0.00043768051546067, + "D": 0.0010499408235773444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего сделать для окружающей среды?", + "option_a": "посадка деревьев взамен упавших", + "option_b": "выведение нового вида", + "option_c": "выращивание и прополка роз", + "option_d": "разбрасывание мусора" + }, + "outputs": "A", + "meta": { + "id": 1951 + } + }, + "prompt": "<|im_start|>user\nЧто лучше всего сделать для окружающей среды?\nA. посадка деревьев взамен упавших\nB. выведение нового вида\nC. выращивание и прополка роз\nD. разбрасывание мусора\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.06327652186155319, + "B": 0.10432533919811249, + "C": 0.250263512134552, + "D": 0.5298078656196594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, который проводит в свой коттедж электричество, будет избегать", + "option_a": "установки новых розеток", + "option_b": "работы с проводкой", + "option_c": "стояния в луже", + "option_d": "установки электрических проводов в стенах" + }, + "outputs": "C", + "meta": { + "id": 1360 + } + }, + "prompt": "<|im_start|>user\nЧеловек, который проводит в свой коттедж электричество, будет избегать\nA) установки новых розеток\nB) работы с проводкой\nC) стояния в луже\nD) установки электрических проводов в стенах\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08740468323230743, + "B": 0.025041859596967697, + "C": 0.09904248267412186, + "D": 0.7318304777145386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Не выводят из организма отходы жизнедеятельности:", + "option_a": "растения", + "option_b": "грибы", + "option_c": "бактерии", + "option_d": "роботы" + }, + "outputs": "D", + "meta": { + "id": 600 + } + }, + "prompt": "<|im_start|>user\nНе выводят из организма отходы жизнедеятельности:\nA. растения\nB. грибы\nC. бактерии\nD. роботы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0033278600312769413, + "B": 0.024589743465185165, + "C": 0.9227233529090881, + "D": 0.013161941431462765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пожары, хотя и опасны, могут помочь с", + "option_a": "магией", + "option_b": "чувствами", + "option_c": "культивированием растений", + "option_d": "печалью" + }, + "outputs": "C", + "meta": { + "id": 323 + } + }, + "prompt": "<|im_start|>user\nПожары, хотя и опасны, могут помочь с\nA. магией\nB. чувствами\nC. культивированием растений\nD. печалью\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0026085583958774805, + "B": 0.9287111163139343, + "C": 0.0005820479709655046, + "D": 0.00018896332767326385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мозг животного", + "option_a": "действует как проводник для легких", + "option_b": "действует как командная база для тела", + "option_c": "не может использовать пространственное мышление", + "option_d": "только способствует передвижению" + }, + "outputs": "B", + "meta": { + "id": 2299 + } + }, + "prompt": "<|im_start|>user\nМозг животного\nA) действует как проводник для легких\nB) действует как командная база для тела\nC) не может использовать пространственное мышление\nD) только способствует передвижению\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8866837620735168, + "B": 0.0021978693548589945, + "C": 0.009850166738033295, + "D": 0.002490512328222394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алфавит Брайля читается пальцами, и чтобы прочесть, нужно", + "option_a": "держать книгу прямо", + "option_b": "держать фонарик", + "option_c": "почувствовать слова на ощупь", + "option_d": "перевернуть страницу" + }, + "outputs": "C", + "meta": { + "id": 1020 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Алфавит Брайля читается пальцами, и чтобы прочесть, нужно\nA) держать книгу прямо\nB) держать фонарик\nC) почувствовать слова на ощупь\nD) перевернуть страницу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7109346389770508, + "B": 0.007897770963609219, + "C": 0.004227371886372566, + "D": 0.2036861926317215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример смеси:", + "option_a": "джин-тоник с мартини", + "option_b": "растение в горшке", + "option_c": "галька на песчаном пляже", + "option_d": "лист, упавший в воду" + }, + "outputs": "A", + "meta": { + "id": 1547 + } + }, + "prompt": "<|im_start|>user\nПример смеси:\nA. джин-тоник с мартини\nB. растение в горшке\nC. галька на песчаном пляже\nD. лист, упавший в воду\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05783172696828842, + "B": 0.0017463669646531343, + "C": 0.9046404361724854, + "D": 0.0019788930658251047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником энергии для животных?", + "option_a": "таблицы питания", + "option_b": "огонь", + "option_c": "растения", + "option_d": "штормы" + }, + "outputs": "C", + "meta": { + "id": 1133 + } + }, + "prompt": "<|im_start|>user\nЧто является источником энергии для животных?\nA) таблицы питания\nB) огонь\nC) растения\nD) штормы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.025382323190569878, + "B": 0.21252359449863434, + "C": 0.6546187400817871, + "D": 0.06899630278348923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие неживые элементы в конечном итоге электрически нейтральны?", + "option_a": "Клетки", + "option_b": "Ионы", + "option_c": "Молекулы", + "option_d": "Нервы" + }, + "outputs": "C", + "meta": { + "id": 52 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие неживые элементы в конечном итоге электрически нейтральны?\nA. Клетки\nB. Ионы\nC. Молекулы\nD. Нервы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8907739520072937, + "B": 0.023738320916891098, + "C": 0.0019485601224005222, + "D": 0.0032126326113939285 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что позволяет классифицировать учащихся в классе?", + "option_a": "вид", + "option_b": "текущая школа", + "option_c": "родная планета", + "option_d": "любимое животное" + }, + "outputs": "D", + "meta": { + "id": 1923 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что позволяет классифицировать учащихся в классе?\nA) вид\nB) текущая школа\nC) родная планета\nD) любимое животное\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002076093340292573, + "B": 0.0026657567359507084, + "C": 0.9490751028060913, + "D": 0.0018321459647268057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может произойти, если объекту будет передано слишком много тепла?", + "option_a": "замораживание", + "option_b": "затвердевание", + "option_c": "горение", + "option_d": "перемещение" + }, + "outputs": "C", + "meta": { + "id": 333 + } + }, + "prompt": "<|im_start|>user\nЧто может произойти, если объекту будет передано слишком много тепла?\nA. замораживание\nB. затвердевание\nC. горение\nD. перемещение\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01848648674786091, + "B": 0.011212621815502644, + "C": 0.03047906421124935, + "D": 0.8907288312911987 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект нужно толкать?", + "option_a": "ветер", + "option_b": "вода", + "option_c": "цветы", + "option_d": "тяжелый груз" + }, + "outputs": "D", + "meta": { + "id": 2225 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой объект нужно толкать?\nA. ветер\nB. вода\nC. цветы\nD. тяжелый груз\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.34709835052490234, + "B": 0.12769034504890442, + "C": 0.01187705248594284, + "D": 0.445683091878891 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лето. Происходит наводнение. Скорее всего, его причина -", + "option_a": "слабый град", + "option_b": "повторяющиеся большие капли", + "option_c": "несколько листьев", + "option_d": "ясное небо" + }, + "outputs": "B", + "meta": { + "id": 1209 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лето. Происходит наводнение. Скорее всего, его причина -\nA) слабый град\nB) повторяющиеся большие капли\nC) несколько листьев\nD) ясное небо\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003482087980955839, + "B": 0.0018638273468241096, + "C": 0.965486466884613, + "D": 0.0009976348374038935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проворство этого животного - ключевая адаптация, которая позволяет ему избегать атак хищников:", + "option_a": "богомол", + "option_b": "бабочка", + "option_c": "антилопа", + "option_d": "ленивец" + }, + "outputs": "C", + "meta": { + "id": 2331 + } + }, + "prompt": "<|im_start|>user\nПроворство этого животного - ключевая адаптация, которая позволяет ему избегать атак хищников:\nA) богомол\nB) бабочка\nC) антилопа\nD) ленивец\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7137210369110107, + "B": 0.0017691375687718391, + "C": 0.18045693635940552, + "D": 0.01153622567653656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример какого ресурса для выращивания растений - почва?", + "option_a": "Возобновляемый ресурс", + "option_b": "Денежный ресурс", + "option_c": "Вторичный ресурс", + "option_d": "Водный ресурс" + }, + "outputs": "A", + "meta": { + "id": 1620 + } + }, + "prompt": "<|im_start|>user\nПример какого ресурса для выращивания растений - почва?\nA) Возобновляемый ресурс\nB) Денежный ресурс\nC) Вторичный ресурс\nD) Водный ресурс\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8647036552429199, + "B": 0.0008934962679632008, + "C": 0.005826327484101057, + "D": 0.017946351319551468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы щелкнете пальцем по пустому стакану с водой, он", + "option_a": "издаст звук", + "option_b": "загорится пламенем", + "option_c": "заполнится", + "option_d": "испарится" + }, + "outputs": "A", + "meta": { + "id": 959 + } + }, + "prompt": "<|im_start|>user\nЕсли вы щелкнете пальцем по пустому стакану с водой, он\nA. издаст звук\nB. загорится пламенем\nC. заполнится\nD. испарится\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002115754410624504, + "B": 0.00019679580873344094, + "C": 0.0001270609354833141, + "D": 0.9672059416770935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая сила заставляет компас в Новокузнецке указывать в сторону Норильска?", + "option_a": "сила тяжести", + "option_b": "направление ветра", + "option_c": "вес", + "option_d": "естественный магнетизм" + }, + "outputs": "D", + "meta": { + "id": 371 + } + }, + "prompt": "<|im_start|>user\nКакая сила заставляет компас в Новокузнецке указывать в сторону Норильска?\nA. сила тяжести\nB. направление ветра\nC. вес\nD. естественный магнетизм\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.03384039178490639, + "B": 0.018113456666469574, + "C": 0.11811457574367523, + "D": 0.7702037692070007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает большую вибрацию материи?", + "option_a": "разговор", + "option_b": "крадущийся шаг", + "option_c": "мегафон", + "option_d": "крик" + }, + "outputs": "C", + "meta": { + "id": 88 + } + }, + "prompt": "<|im_start|>user\nЧто вызывает большую вибрацию материи?\nA. разговор\nB. крадущийся шаг\nC. мегафон\nD. крик\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00041720515582710505, + "B": 0.9685719609260559, + "C": 0.0008832233143039048, + "D": 0.0010008231038227677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из предложенных вариантов является организмом-производителем?", + "option_a": "пасмурное утро", + "option_b": "клубника", + "option_c": "сборная по футболу", + "option_d": "винил" + }, + "outputs": "B", + "meta": { + "id": 1965 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из предложенных вариантов является организмом-производителем?\nA) пасмурное утро\nB) клубника\nC) сборная по футболу\nD) винил\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0006749271997250617, + "B": 0.9503682851791382, + "C": 7.113681203918532e-05, + "D": 0.00036126250051893294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В естественном мире животные используют камуфляж, чтобы", + "option_a": "выделиться среди своих близких", + "option_b": "не быть съеденными", + "option_c": "выглядеть стильно для других", + "option_d": "согреться зимой" + }, + "outputs": "B", + "meta": { + "id": 89 + } + }, + "prompt": "<|im_start|>user\nВ естественном мире животные используют камуфляж, чтобы\nA. выделиться среди своих близких\nB. не быть съеденными\nC. выглядеть стильно для других\nD. согреться зимой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2411707490682602, + "B": 0.6555699706077576, + "C": 0.015417528338730335, + "D": 0.013605920597910881 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поднятие тяжестей повреждает ваши клетки, поэтому для того, чтобы они восстановились и вы стали сильнее, вам нужно", + "option_a": "ничего не делать", + "option_b": "потреблять мясные продукты", + "option_c": "умереть", + "option_d": "улететь" + }, + "outputs": "B", + "meta": { + "id": 1686 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поднятие тяжестей повреждает ваши клетки, поэтому для того, чтобы они восстановились и вы стали сильнее, вам нужно\nA. ничего не делать\nB. потреблять мясные продукты\nC. умереть\nD. улететь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007170803379267454, + "B": 0.0001910954451886937, + "C": 0.0007557971403002739, + "D": 0.9391899704933167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Телевизор может включиться одним нажатием кнопки, потому что", + "option_a": "произошло короткое замыкание в цепи", + "option_b": "телевизор довольно маленький", + "option_c": "кнопка была пластиковая", + "option_d": "электрическая цепь замкнулась" + }, + "outputs": "D", + "meta": { + "id": 1576 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Телевизор может включиться одним нажатием кнопки, потому что\nA. произошло короткое замыкание в цепи\nB. телевизор довольно маленький\nC. кнопка была пластиковая\nD. электрическая цепь замкнулась\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.07678313553333282, + "B": 0.5673549175262451, + "C": 0.05277222767472267, + "D": 0.23650871217250824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена часто встречаются внутри", + "option_a": "банана", + "option_b": "клубники", + "option_c": "картофеля", + "option_d": "вишни" + }, + "outputs": "D", + "meta": { + "id": 711 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Семена часто встречаются внутри\nA. банана\nB. клубники\nC. картофеля\nD. вишни\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006432829424738884, + "B": 0.0011178581044077873, + "C": 0.004421215038746595, + "D": 0.9547165036201477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно получить, если подать электрическую энергию на выдувное стекло с проволокой внутри?", + "option_a": "вода", + "option_b": "жизненная сила", + "option_c": "звук", + "option_d": "свечение" + }, + "outputs": "D", + "meta": { + "id": 785 + } + }, + "prompt": "<|im_start|>user\nЧто можно получить, если подать электрическую энергию на выдувное стекло с проволокой внутри?\nA) вода\nB) жизненная сила\nC) звук\nD) свечение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.020391426980495453, + "B": 0.8670654892921448, + "C": 0.004015310201793909, + "D": 0.043168649077415466 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Новолуние можно наблюдать с периодичностью в", + "option_a": "1 неделю", + "option_b": "1 месяц", + "option_c": "1 день", + "option_d": "1 год." + }, + "outputs": "B", + "meta": { + "id": 2278 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Новолуние можно наблюдать с периодичностью в\nA. 1 неделю\nB. 1 месяц\nC. 1 день\nD. 1 год.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00912835355848074, + "B": 0.9311172962188721, + "C": 0.0007493008160963655, + "D": 0.011721037328243256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что положительно влияет на распростанение растений?", + "option_a": "листья", + "option_b": "семена", + "option_c": "ветви", + "option_d": "кора" + }, + "outputs": "B", + "meta": { + "id": 378 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что положительно влияет на распростанение растений?\nA) листья\nB) семена\nC) ветви\nD) кора\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007067591417580843, + "B": 0.000351874710759148, + "C": 0.0033384941052645445, + "D": 0.9256718754768372 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уголь и нефть, непосредственно извлеченные из земли,", + "option_a": "непосредственно потребляются", + "option_b": "выбрасываются", + "option_c": "хранятся под землей", + "option_d": "перерабатываются" + }, + "outputs": "D", + "meta": { + "id": 1316 + } + }, + "prompt": "<|im_start|>user\nУголь и нефть, непосредственно извлеченные из земли,\nA) непосредственно потребляются\nB) выбрасываются\nC) хранятся под землей\nD) перерабатываются\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0026268819347023964, + "B": 0.000664179737213999, + "C": 0.0005861364770680666, + "D": 0.9352346658706665 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из-за чего становится труднее увидеть звезды?", + "option_a": "днем выпадает много снега", + "option_b": "днем часто льют дожди", + "option_c": "искусственного освещения в регионе становится меньше", + "option_d": "искусственного освещения в регионе становится больше" + }, + "outputs": "D", + "meta": { + "id": 1049 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из-за чего становится труднее увидеть звезды?\nA) днем выпадает много снега\nB) днем часто льют дожди\nC) искусственного освещения в регионе становится меньше\nD) искусственного освещения в регионе становится больше\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2027243971824646, + "B": 0.22971685230731964, + "C": 0.024211976677179337, + "D": 0.48631054162979126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные используют камни как средство для чего в плохую погоду?", + "option_a": "ничего", + "option_b": "для тишины", + "option_c": "для питания", + "option_d": "для укрытия" + }, + "outputs": "D", + "meta": { + "id": 1084 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые животные используют камни как средство для чего в плохую погоду?\nA) ничего\nB) для тишины\nC) для питания\nD) для укрытия\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.1775849312543869, + "B": 0.6198322772979736, + "C": 0.0349685475230217, + "D": 0.10771068930625916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где солнце находится в полдень?", + "option_a": "прямо над вашей головой", + "option_b": "под углом 20 градусов к юго-западу", + "option_c": "возле западного горизонта", + "option_d": "на другой стороне Земли" + }, + "outputs": "A", + "meta": { + "id": 392 + } + }, + "prompt": "<|im_start|>user\nГде солнце находится в полдень?\nA) прямо над вашей головой\nB) под углом 20 градусов к юго-западу\nC) возле западного горизонта\nD) на другой стороне Земли\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9313459396362305, + "B": 0.0010904939845204353, + "C": 0.0007494848687201738, + "D": 0.00230857590213418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Раскачать маленького ребенка на качелях легко, потому что он легок. Потребуется больше силы, чтобы раскачивать его, когда", + "option_a": "он станет старше и тяжелее", + "option_b": "он ест курицу", + "option_c": "он складывает в уме семьдесят четыре и пять", + "option_d": "он худеет" + }, + "outputs": "A", + "meta": { + "id": 2312 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Раскачать маленького ребенка на качелях легко, потому что он легок. Потребуется больше силы, чтобы раскачивать его, когда\nA) он станет старше и тяжелее\nB) он ест курицу\nC) он складывает в уме семьдесят четыре и пять\nD) он худеет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018311376916244626, + "B": 0.9485527873039246, + "C": 0.0001930004800669849, + "D": 0.00142609141767025 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, зажжет лес?", + "option_a": "вспышка фонарика", + "option_b": "буря и молнии", + "option_c": "наводнение", + "option_d": "острый красный перец" + }, + "outputs": "B", + "meta": { + "id": 967 + } + }, + "prompt": "<|im_start|>user\nЧто, скорее всего, зажжет лес?\nA. вспышка фонарика\nB. буря и молнии\nC. наводнение\nD. острый красный перец\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.017836347222328186, + "B": 0.5212544798851013, + "C": 0.316156804561615, + "D": 0.07993696630001068 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нажатие ногой на педаль - это пример", + "option_a": "мужества", + "option_b": "силы", + "option_c": "практики", + "option_d": "скорости" + }, + "outputs": "B", + "meta": { + "id": 1688 + } + }, + "prompt": "<|im_start|>user\nНажатие ногой на педаль - это пример\nA. мужества\nB. силы\nC. практики\nD. скорости\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0016607769066467881, + "B": 0.0004199101240374148, + "C": 0.9748517274856567, + "D": 0.005796680226922035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У птиц будут разные клювы в зависимости от", + "option_a": "продуктовых магазинов", + "option_b": "компьютера", + "option_c": "организмов, на которых они охотятся", + "option_d": "погоды" + }, + "outputs": "C", + "meta": { + "id": 731 + } + }, + "prompt": "<|im_start|>user\nУ птиц будут разные клювы в зависимости от\nA) продуктовых магазинов\nB) компьютера\nC) организмов, на которых они охотятся\nD) погоды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.016026431694626808, + "B": 0.006680810358375311, + "C": 0.5307224988937378, + "D": 0.41332709789276123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда волка похоронят, что будет с другими волками?", + "option_a": "станут меньше размером", + "option_b": "научится летать", + "option_c": "их станет меньше", + "option_d": "их станет больше" + }, + "outputs": "C", + "meta": { + "id": 466 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда волка похоронят, что будет с другими волками?\nA. станут меньше размером\nB. научится летать\nC. их станет меньше\nD. их станет больше\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05100211501121521, + "B": 0.9040340781211853, + "C": 0.0009341362747363746, + "D": 0.0028773422818630934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поможет животному расти и восстанавливаться?", + "option_a": "теплая вода", + "option_b": "калории от питания", + "option_c": "действия по воспроизводству", + "option_d": "охотничьи патроны" + }, + "outputs": "B", + "meta": { + "id": 351 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что поможет животному расти и восстанавливаться?\nA. теплая вода\nB. калории от питания\nC. действия по воспроизводству\nD. охотничьи патроны\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6207050681114197, + "B": 0.13849802315235138, + "C": 0.014597584493458271, + "D": 0.08400329202413559 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У ребенка есть корзина шоколадных яиц на завтрак, и в результате он", + "option_a": "бегает весь день", + "option_b": "спокойно читает книгу", + "option_c": "спит днем", + "option_d": "ест еще семь яиц" + }, + "outputs": "A", + "meta": { + "id": 1575 + } + }, + "prompt": "<|im_start|>user\nУ ребенка есть корзина шоколадных яиц на завтрак, и в результате он\nA. бегает весь день\nB. спокойно читает книгу\nC. спит днем\nD. ест еще семь яиц\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.000862378568854183, + "B": 0.9457129240036011, + "C": 0.0012547534424811602, + "D": 0.0020687386859208345 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего организмам нужна энергия?", + "option_a": "отдыхать", + "option_b": "созревать и развиваться", + "option_c": "принимать питательные вещества", + "option_d": "поглощать свет" + }, + "outputs": "B", + "meta": { + "id": 47 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего организмам нужна энергия?\nA) отдыхать\nB) созревать и развиваться\nC) принимать питательные вещества\nD) поглощать свет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002879164880141616, + "B": 0.00044153427006676793, + "C": 0.039745647460222244, + "D": 0.9046066999435425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы стоите в ущелье и выкрикиваете свое имя", + "option_a": "ущелье трясется", + "option_b": "животные подбегают к вам", + "option_c": "вы слышите в ответ полную тишину", + "option_d": "ваше имя отражается от стен ущелья" + }, + "outputs": "D", + "meta": { + "id": 147 + } + }, + "prompt": "<|im_start|>user\nЕсли вы стоите в ущелье и выкрикиваете свое имя\nA) ущелье трясется\nB) животные подбегают к вам\nC) вы слышите в ответ полную тишину\nD) ваше имя отражается от стен ущелья\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8901907205581665, + "B": 0.01120584737509489, + "C": 0.003210528986528516, + "D": 0.0019472843268886209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если я проведу пальцем по листу обычной бумаги и по листу наждачной бумаги, что обеспечит большее трение?", + "option_a": "наждачная бумага", + "option_b": "обычная бумага", + "option_c": "в обоих случаях трения не будет", + "option_d": "в обоих случаях трение будет одинаковым" + }, + "outputs": "A", + "meta": { + "id": 285 + } + }, + "prompt": "<|im_start|>user\nЕсли я проведу пальцем по листу обычной бумаги и по листу наждачной бумаги, что обеспечит большее трение?\nA. наждачная бумага\nB. обычная бумага\nC. в обоих случаях трения не будет\nD. в обоих случаях трение будет одинаковым\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.015124811790883541, + "B": 0.9357389807701111, + "C": 0.002319465158507228, + "D": 0.00433333171531558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пример подтверждает, что экосистемы - это взаимосвязанный мир?", + "option_a": "количество животных увеличивается, когда увеличивается количество хищников", + "option_b": "количество животных уменьшается, когда уменьшается количество пищи", + "option_c": "количество животных увеличивается, когда уменьшается количество растений", + "option_d": "количество животных уменьшается, когда увеличивается количество пищи" + }, + "outputs": "B", + "meta": { + "id": 1233 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой пример подтверждает, что экосистемы - это взаимосвязанный мир?\nA. количество животных увеличивается, когда увеличивается количество хищников\nB. количество животных уменьшается, когда уменьшается количество пищи\nC. количество животных увеличивается, когда уменьшается количество растений\nD. количество животных уменьшается, когда увеличивается количество пищи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9276330471038818, + "B": 0.0029524527490139008, + "C": 0.0010861465707421303, + "D": 0.00486777164041996 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы предотвратить образование мозолей во время бега, я могу", + "option_a": "поменять стельки", + "option_b": "бегать босиком", + "option_c": "вместо этого ходить", + "option_d": "носить сандалии" + }, + "outputs": "A", + "meta": { + "id": 2092 + } + }, + "prompt": "<|im_start|>user\nЧтобы предотвратить образование мозолей во время бега, я могу\nA) поменять стельки\nB) бегать босиком\nC) вместо этого ходить\nD) носить сандалии\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8635662198066711, + "B": 0.015816766768693924, + "C": 0.0012983193155378103, + "D": 0.004531579557806253 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что потребует замещения природных ресурсов?", + "option_a": "вырубка в лесу", + "option_b": "национальный парк", + "option_c": "кемпинг", + "option_d": "сад" + }, + "outputs": "A", + "meta": { + "id": 344 + } + }, + "prompt": "<|im_start|>user\nЧто потребует замещения природных ресурсов?\nA) вырубка в лесу\nB) национальный парк\nC) кемпинг\nD) сад\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011465129209682345, + "B": 0.00032848145929165184, + "C": 0.979189395904541, + "D": 0.0006953952251933515 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные помогают с распространением семян из-за того, что семена фруктов, которые они едят,", + "option_a": "отчисляются из школы", + "option_b": "привлекают хищников", + "option_c": "выходят с экскрементами", + "option_d": "прорастают сквозь тела животных" + }, + "outputs": "C", + "meta": { + "id": 782 + } + }, + "prompt": "<|im_start|>user\nЖивотные помогают с распространением семян из-за того, что семена фруктов, которые они едят,\nA. отчисляются из школы\nB. привлекают хищников\nC. выходят с экскрементами\nD. прорастают сквозь тела животных\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.572165846824646, + "B": 0.001607096171937883, + "C": 0.0006699372897855937, + "D": 0.34703612327575684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы поцарапаете какой-либо предмет, мелкие кусочки или частицы могут отломиться от предмета; какой пример этого?", + "option_a": "потереть ногтем наждачную бумагу", + "option_b": "протирать тряпкой стол", + "option_c": "вытираться полотенцем после душа", + "option_d": "вытирать подбородок после того, как выпил немного молока" + }, + "outputs": "A", + "meta": { + "id": 1739 + } + }, + "prompt": "<|im_start|>user\nЕсли вы поцарапаете какой-либо предмет, мелкие кусочки или частицы могут отломиться от предмета; какой пример этого?\nA. потереть ногтем наждачную бумагу\nB. протирать тряпкой стол\nC. вытираться полотенцем после душа\nD. вытирать подбородок после того, как выпил немного молока\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003388272598385811, + "B": 0.9394740462303162, + "C": 0.0009707562858238816, + "D": 0.0020550910849124193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У белого медведя густой мех, поэтому он может", + "option_a": "стать шваброй", + "option_b": "процветать в холодных широтах", + "option_c": "чистить лед", + "option_d": "выпендриться" + }, + "outputs": "B", + "meta": { + "id": 1998 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У белого медведя густой мех, поэтому он может\nA. стать шваброй\nB. процветать в холодных широтах\nC. чистить лед\nD. выпендриться\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4831578731536865, + "B": 0.13842704892158508, + "C": 0.13842704892158508, + "D": 0.13842704892158508 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Через что свет не может светить?", + "option_a": "атмосфера", + "option_b": "стекло", + "option_c": "твердая древесина", + "option_d": "вода" + }, + "outputs": "C", + "meta": { + "id": 365 + } + }, + "prompt": "<|im_start|>user\nЧерез что свет не может светить?\nA) атмосфера\nB) стекло\nC) твердая древесина\nD) вода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.012019903399050236, + "B": 0.95485919713974, + "C": 0.00041129847522825, + "D": 0.0005281177000142634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше человеческой планеты и вызывает циклы дня и ночи?", + "option_a": "луна", + "option_b": "солнце", + "option_c": "океан и", + "option_d": "марс" + }, + "outputs": "B", + "meta": { + "id": 1781 + } + }, + "prompt": "<|im_start|>user\nЧто больше человеческой планеты и вызывает циклы дня и ночи?\nA. луна\nB. солнце\nC. океан и\nD. марс\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02188105322420597, + "B": 0.9304060339927673, + "C": 0.002961278660222888, + "D": 0.0023062461987137794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что положительно влияет на окружающую среду?", + "option_a": "водители пожирателей газа", + "option_b": "холщовые мешки с продуктами", + "option_c": "мусор", + "option_d": "неконтролируемое потребление" + }, + "outputs": "B", + "meta": { + "id": 240 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что положительно влияет на окружающую среду?\nA. водители пожирателей газа\nB. холщовые мешки с продуктами\nC. мусор\nD. неконтролируемое потребление\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.033207911998033524, + "B": 0.11590699851512909, + "C": 0.7558085322380066, + "D": 0.042639803141355515 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Куча железа будет", + "option_a": "сильно отвлекать птиц", + "option_b": "сбивать с курса самолеты", + "option_c": "притягивать стрелку компаса", + "option_d": "вызывать крушение кораблей" + }, + "outputs": "C", + "meta": { + "id": 1330 + } + }, + "prompt": "<|im_start|>user\nКуча железа будет\nA. сильно отвлекать птиц\nB. сбивать с курса самолеты\nC. притягивать стрелку компаса\nD. вызывать крушение кораблей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.871103048324585, + "B": 0.0006186350365169346, + "C": 0.0004251812642905861, + "D": 0.0009001086582429707 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Волк выращивает свою семью возле", + "option_a": "логова", + "option_b": "поля", + "option_c": "дерева", + "option_d": "матери" + }, + "outputs": "A", + "meta": { + "id": 892 + } + }, + "prompt": "<|im_start|>user\nВолк выращивает свою семью возле\nA. логова\nB. поля\nC. дерева\nD. матери\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.004282980225980282, + "B": 0.0006568162352778018, + "C": 0.9248661398887634, + "D": 0.04604637250304222 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из примеров описывает явление стока?", + "option_a": "Ферма орошается", + "option_b": "Вода конденсируется с образованием росы", + "option_c": "Дождевая вода просачивается в землю", + "option_d": "Вода течет из Онежского озера по реке Свирь" + }, + "outputs": "D", + "meta": { + "id": 1175 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из примеров описывает явление стока?\nA. Ферма орошается\nB. Вода конденсируется с образованием росы\nC. Дождевая вода просачивается в землю\nD. Вода течет из Онежского озера по реке Свирь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03542223945260048, + "B": 0.004793878644704819, + "C": 0.0012120823375880718, + "D": 0.9135515689849854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером разрушения является", + "option_a": "нанесение слоев краски на стену", + "option_b": "создание мозаики", + "option_c": "смешивание ингредиентов для торта", + "option_d": "разрезание яблока на дольки" + }, + "outputs": "D", + "meta": { + "id": 1705 + } + }, + "prompt": "<|im_start|>user\nПримером разрушения является\nA) нанесение слоев краски на стену\nB) создание мозаики\nC) смешивание ингредиентов для торта\nD) разрезание яблока на дольки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1028260737657547, + "B": 0.7597876191139221, + "C": 0.01576888933777809, + "D": 0.048571597784757614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Перчатки поверх рук защищают от", + "option_a": "ступней", + "option_b": "холода", + "option_c": "души", + "option_d": "разума" + }, + "outputs": "B", + "meta": { + "id": 224 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Перчатки поверх рук защищают от\nA. ступней\nB. холода\nC. души\nD. разума\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8085068464279175, + "B": 0.0852159932255745, + "C": 0.005447676405310631, + "D": 0.019014259800314903 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чрезвычайно быстрая волна поднимающейся паводковой воды, которая перемещается по суше обычно со скоростью около 10 метров или более каждую секунду, достаточно сильна, чтобы", + "option_a": "оторвать от земли и поднять 250-тонный объект", + "option_b": "унести в море высокую гору", + "option_c": "поддерживать сушу в сухом состоянии", + "option_d": "достичь самого неба" + }, + "outputs": "A", + "meta": { + "id": 410 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чрезвычайно быстрая волна поднимающейся паводковой воды, которая перемещается по суше обычно со скоростью около 10 метров или более каждую секунду, достаточно сильна, чтобы\nA. оторвать от земли и поднять 250-тонный объект\nB. унести в море высокую гору\nC. поддерживать сушу в сухом состоянии\nD. достичь самого неба\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.08356256037950516, + "B": 0.6996607184410095, + "C": 0.023941071704030037, + "D": 0.094688780605793 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с наибольшей вероятностью будет разорвано руками человека?", + "option_a": "ириска", + "option_b": "сталь", + "option_c": "дерево", + "option_d": "алмаз" + }, + "outputs": "A", + "meta": { + "id": 979 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что с наибольшей вероятностью будет разорвано руками человека?\nA) ириска\nB) сталь\nC) дерево\nD) алмаз\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.0378132238984108, + "B": 0.8606249690055847, + "C": 0.04284799471497536, + "D": 0.0016613970510661602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если масса объекта увеличивается, что должен делать объем, чтобы плотность оставалась прежней?", + "option_a": "оставаться неизменным", + "option_b": "уменьшаться", + "option_c": "увеличиваться", + "option_d": "становиться равным нулю" + }, + "outputs": "C", + "meta": { + "id": 1525 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если масса объекта увеличивается, что должен делать объем, чтобы плотность оставалась прежней?\nA. оставаться неизменным\nB. уменьшаться\nC. увеличиваться\nD. становиться равным нулю\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6300065517425537, + "B": 0.0033059711568057537, + "C": 0.004244951065629721, + "D": 0.2975940406322479 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как можно родиться помимо живорождения?", + "option_a": "проходя сквозь прочную скорлупу", + "option_b": "выкапывая себя из песка", + "option_c": "жаря яйцо", + "option_d": "живя в гнезде" + }, + "outputs": "A", + "meta": { + "id": 1112 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как можно родиться помимо живорождения?\nA) проходя сквозь прочную скорлупу\nB) выкапывая себя из песка\nC) жаря яйцо\nD) живя в гнезде\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.06751418113708496, + "B": 0.6405567526817322, + "C": 0.18352258205413818, + "D": 0.013294330798089504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет купить многоразовую посуду для кухни, поэтому заказывает", + "option_a": "бумажные тарелки", + "option_b": "пластмассовые чашки", + "option_c": "керамические тарелки", + "option_d": "пластиковые вилки." + }, + "outputs": "C", + "meta": { + "id": 2201 + } + }, + "prompt": "<|im_start|>user\nЧеловек хочет купить многоразовую посуду для кухни, поэтому заказывает\nA) бумажные тарелки\nB) пластмассовые чашки\nC) керамические тарелки\nD) пластиковые вилки.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.15480460226535797, + "B": 0.06453216075897217, + "C": 0.034541573375463486, + "D": 0.693786084651947 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растению, нуждающемуся в фотосинтезе, лучше всего", + "option_a": "в комнате без крыши", + "option_b": "в картонной коробке", + "option_c": "в комнате без окон", + "option_d": "в машине с затемненными окнами" + }, + "outputs": "A", + "meta": { + "id": 1782 + } + }, + "prompt": "<|im_start|>user\nРастению, нуждающемуся в фотосинтезе, лучше всего\nA) в комнате без крыши\nB) в картонной коробке\nC) в комнате без окон\nD) в машине с затемненными окнами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0148326326161623, + "B": 0.0054566203616559505, + "C": 0.917662501335144, + "D": 0.002577525330707431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого необходимо оленю для жизни", + "option_a": "песок", + "option_b": "железо", + "option_c": "солнце", + "option_d": "кафетерий" + }, + "outputs": "C", + "meta": { + "id": 1789 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого необходимо оленю для жизни\nA) песок\nB) железо\nC) солнце\nD) кафетерий\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9204254150390625, + "B": 0.0001652717764955014, + "C": 0.00010670748451957479, + "D": 0.010225003585219383 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков результат отражения света объектом в сторону глаза?", + "option_a": "видимость", + "option_b": "нечеткость", + "option_c": "слепота", + "option_d": "множество бликов" + }, + "outputs": "A", + "meta": { + "id": 383 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков результат отражения света объектом в сторону глаза?\nA) видимость\nB) нечеткость\nC) слепота\nD) множество бликов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.704814076423645, + "B": 0.2019326090812683, + "C": 0.0015417744871228933, + "D": 0.012909119948744774 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дни более холодные, чем раньше, но все еще не морозные, вероятное предположение состоит в том, что", + "option_a": "световой день уменьшается", + "option_b": "световой день удлинняется", + "option_c": "дневной свет становится ярче", + "option_d": "ночи становятся короче" + }, + "outputs": "A", + "meta": { + "id": 1237 + } + }, + "prompt": "<|im_start|>user\nЕсли дни более холодные, чем раньше, но все еще не морозные, вероятное предположение состоит в том, что\nA. световой день уменьшается\nB. световой день удлинняется\nC. дневной свет становится ярче\nD. ночи становятся короче\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.07291268557310104, + "B": 0.0015132547123357654, + "C": 0.001040043542161584, + "D": 0.8882583379745483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные создают строения, называемые домами, чтобы жить в них. Эти животные относятся к", + "option_a": "приматам", + "option_b": "рептилиям", + "option_c": "хищникам", + "option_d": "грызунам" + }, + "outputs": "A", + "meta": { + "id": 2314 + } + }, + "prompt": "<|im_start|>user\nНекоторые животные создают строения, называемые домами, чтобы жить в них. Эти животные относятся к\nA) приматам\nB) рептилиям\nC) хищникам\nD) грызунам\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0070965164341032505, + "B": 0.9294602870941162, + "C": 0.0017942804843187332, + "D": 0.011700178496539593 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сейсмометр будет неэффективен", + "option_a": "на суше", + "option_b": "на звезде", + "option_c": "на побережье", + "option_d": "на континенте" + }, + "outputs": "B", + "meta": { + "id": 2124 + } + }, + "prompt": "<|im_start|>user\nСейсмометр будет неэффективен\nA. на суше\nB. на звезде\nC. на побережье\nD. на континенте\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00938329566270113, + "B": 0.00028335099341347814, + "C": 0.00018294512119609863, + "D": 0.9571221470832825 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобильный двигатель является источником тепла и поэтому ему требуется", + "option_a": "бензин", + "option_b": "добавка воды", + "option_c": "жидкость для стеклоочистителя", + "option_d": "жидкость для радиатора" + }, + "outputs": "D", + "meta": { + "id": 1975 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобильный двигатель является источником тепла и поэтому ему требуется\nA) бензин\nB) добавка воды\nC) жидкость для стеклоочистителя\nD) жидкость для радиатора\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.26280951499938965, + "B": 0.05175026133656502, + "C": 0.04030314460396767, + "D": 0.5563677549362183 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стебли относятся к цветам так же, как", + "option_a": "собаки для кошек", + "option_b": "коровы для жвачки", + "option_c": "силосы для зерен", + "option_d": "пчелы для пыльцы" + }, + "outputs": "C", + "meta": { + "id": 1942 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Стебли относятся к цветам так же, как\nA) собаки для кошек\nB) коровы для жвачки\nC) силосы для зерен\nD) пчелы для пыльцы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03938877582550049, + "B": 0.896484375, + "C": 0.0010496752802282572, + "D": 0.0047043184749782085 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек принес с пляжа песок в обуви, и высыпает его прямо у порога за много миль от пляжа. Песок может снова оказаться на этом пляже, если", + "option_a": "волшебные существа переместят его", + "option_b": "сильный ураган унесет его к пляжу", + "option_c": "кто-то пойдет в зоопарк", + "option_d": "люди захотят ему помочь" + }, + "outputs": "B", + "meta": { + "id": 1143 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек принес с пляжа песок в обуви, и высыпает его прямо у порога за много миль от пляжа. Песок может снова оказаться на этом пляже, если\nA. волшебные существа переместят его\nB. сильный ураган унесет его к пляжу\nC. кто-то пойдет в зоопарк\nD. люди захотят ему помочь\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0047926632687449455, + "B": 0.9133199453353882, + "C": 0.0012117750011384487, + "D": 0.0008328399853780866 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причина того, что утки такие прекрасные пловцы, заключается в том, что", + "option_a": "у уток есть пространство между пальцами ног", + "option_b": "у уток есть кожаная перепонка между пальцев ног", + "option_c": "у уток широкие лапы", + "option_d": "утки мягкие и упругие" + }, + "outputs": "B", + "meta": { + "id": 1630 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Причина того, что утки такие прекрасные пловцы, заключается в том, что\nA. у уток есть пространство между пальцами ног\nB. у уток есть кожаная перепонка между пальцев ног\nC. у уток широкие лапы\nD. утки мягкие и упругие\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.021402977406978607, + "B": 0.058179326355457306, + "C": 0.8031408190727234, + "D": 0.07470373064279556 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в Новой Зеландии морозы, то в каком месяце", + "option_a": "август", + "option_b": "декабрь", + "option_c": "январь", + "option_d": "февраль" + }, + "outputs": "A", + "meta": { + "id": 459 + } + }, + "prompt": "<|im_start|>user\nЕсли в Новой Зеландии морозы, то в каком месяце\nA) август\nB) декабрь\nC) январь\nD) февраль\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04294554144144058, + "B": 0.020286038517951965, + "C": 0.8625842928886414, + "D": 0.029516009613871574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У некоторых людей есть", + "option_a": "ванна для кожи", + "option_b": "змеи для волос", + "option_c": "дополнительное ребро", + "option_d": "магия" + }, + "outputs": "C", + "meta": { + "id": 68 + } + }, + "prompt": "<|im_start|>user\nУ некоторых людей есть\nA) ванна для кожи\nB) змеи для волос\nC) дополнительное ребро\nD) магия\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03412604704499245, + "B": 0.8801223635673523, + "C": 0.0035968588199466467, + "D": 0.004075775388628244 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если лиса заразилась бешенством, то эта лиса вскоре", + "option_a": "сильно устает", + "option_b": "перестает существовать", + "option_c": "уходит в другие места", + "option_d": "беременеет" + }, + "outputs": "B", + "meta": { + "id": 997 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если лиса заразилась бешенством, то эта лиса вскоре\nA. сильно устает\nB. перестает существовать\nC. уходит в другие места\nD. беременеет\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8741318583488464, + "B": 0.00042665962246246636, + "C": 0.0001569592859596014, + "D": 0.004048033617436886 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разрыв объекта меняет его что?", + "option_a": "конфигурация", + "option_b": "температура", + "option_c": "влажность", + "option_d": "элементы" + }, + "outputs": "A", + "meta": { + "id": 2070 + } + }, + "prompt": "<|im_start|>user\nРазрыв объекта меняет его что?\nA) конфигурация\nB) температура\nC) влажность\nD) элементы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.018823403865098953, + "B": 0.7063429951667786, + "C": 0.07444800436496735, + "D": 0.13908717036247253 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что используют мигрирующие животные для поиска локаций?", + "option_a": "спутники системы глобального позиционирования", + "option_b": "обоняние", + "option_c": "магнитные узоры нашей планеты", + "option_d": "звезды в ночном небе" + }, + "outputs": "C", + "meta": { + "id": 2088 + } + }, + "prompt": "<|im_start|>user\nЧто используют мигрирующие животные для поиска локаций?\nA) спутники системы глобального позиционирования\nB) обоняние\nC) магнитные узоры нашей планеты\nD) звезды в ночном небе\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.3232405483722687, + "B": 0.004610778298228979, + "C": 0.0002601223241072148, + "D": 0.6038928031921387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если животное живое, то", + "option_a": "оно пытается дышать", + "option_b": "оно вдыхает воздух", + "option_c": "оно использует воду", + "option_d": "оно стремится к воспроизводству" + }, + "outputs": "B", + "meta": { + "id": 2177 + } + }, + "prompt": "<|im_start|>user\nЕсли животное живое, то\nA. оно пытается дышать\nB. оно вдыхает воздух\nC. оно использует воду\nD. оно стремится к воспроизводству\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.28362467885017395, + "B": 0.6004334092140198, + "C": 0.0085647227242589, + "D": 0.029893819242715836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Через долгое время отпечаток лапы может оказаться", + "option_a": "в воде", + "option_b": "на дереве", + "option_c": "под землей", + "option_d": "в здании" + }, + "outputs": "C", + "meta": { + "id": 1819 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Через долгое время отпечаток лапы может оказаться\nA. в воде\nB. на дереве\nC. под землей\nD. в здании\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02138107270002365, + "B": 0.02138107270002365, + "C": 0.0032788938842713833, + "D": 0.9091463685035706 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сейчас людей стало намного больше из-за", + "option_a": "глобального потепления", + "option_b": "большего количества городов", + "option_c": "компьютеров", + "option_d": "эффективного сельского хозяйства" + }, + "outputs": "D", + "meta": { + "id": 668 + } + }, + "prompt": "<|im_start|>user\nСейчас людей стало намного больше из-за\nA. глобального потепления\nB. большего количества городов\nC. компьютеров\nD. эффективного сельского хозяйства\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2448795884847641, + "B": 0.5874356031417847, + "C": 0.029246695339679718, + "D": 0.0258101187646389 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Быстрое формирование участков земной коры - это", + "option_a": "пот земли", + "option_b": "дрожь земли", + "option_c": "огонь земли", + "option_d": "ветер воды" + }, + "outputs": "B", + "meta": { + "id": 2078 + } + }, + "prompt": "<|im_start|>user\nБыстрое формирование участков земной коры - это\nA) пот земли\nB) дрожь земли\nC) огонь земли\nD) ветер воды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.09717776626348495, + "B": 0.024570388719439507, + "C": 0.2641565799713135, + "D": 0.559219479560852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие виды животных бывают живородящими?", + "option_a": "Птицы", + "option_b": "Змеи", + "option_c": "Ящерицы", + "option_d": "Рыбы" + }, + "outputs": "C", + "meta": { + "id": 337 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие виды животных бывают живородящими?\nA) Птицы\nB) Змеи\nC) Ящерицы\nD) Рыбы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.015992844477295876, + "B": 0.002164396457374096, + "C": 0.15173588693141937, + "D": 0.7705784440040588 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Две самки обычно могут произвести", + "option_a": "детей", + "option_b": "ничего", + "option_c": "потомков", + "option_d": "потомство" + }, + "outputs": "B", + "meta": { + "id": 1605 + } + }, + "prompt": "<|im_start|>user\nДве самки обычно могут произвести\nA. детей\nB. ничего\nC. потомков\nD. потомство\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010385495610535145, + "B": 0.20859825611114502, + "C": 0.6425278782844543, + "D": 0.086956687271595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Однажды ночью в кемпинге мы все собираемся у костра, чтобы жарить сосиски; это пример", + "option_a": "политической реакции", + "option_b": "реакции нейтрализации", + "option_c": "реакции Майяра", + "option_d": "конкуренции" + }, + "outputs": "C", + "meta": { + "id": 1007 + } + }, + "prompt": "<|im_start|>user\nОднажды ночью в кемпинге мы все собираемся у костра, чтобы жарить сосиски; это пример\nA. политической реакции\nB. реакции нейтрализации\nC. реакции Майяра\nD. конкуренции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.11557892709970474, + "B": 0.5179888010025024, + "C": 0.07943616062402725, + "D": 0.19055745005607605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Всплеск в бассейне заставил воду двигаться", + "option_a": "в соседней реке", + "option_b": "за пределами бассейна", + "option_c": "на другой стороне бассейна.", + "option_d": "в другом соседнем бассейне" + }, + "outputs": "C", + "meta": { + "id": 1021 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Всплеск в бассейне заставил воду двигаться\nA. в соседней реке\nB. за пределами бассейна\nC. на другой стороне бассейна.\nD. в другом соседнем бассейне\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4589536488056183, + "B": 0.3574334681034088, + "C": 0.022849956527352333, + "D": 0.05481419712305069 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мечи тянутся к", + "option_a": "дьяволу", + "option_b": "людям", + "option_c": "магнитам", + "option_d": "деревьям" + }, + "outputs": "C", + "meta": { + "id": 1033 + } + }, + "prompt": "<|im_start|>user\nМечи тянутся к\nA. дьяволу\nB. людям\nC. магнитам\nD. деревьям\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008127853274345398, + "B": 0.025035548955202103, + "C": 0.939452052116394, + "D": 0.002990070031955838 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть некоторые декоративные фрукты, используемые для праздников, снаружи украшенные резьбой, например, большие оранжевые тыквы. Внутренности этих фруктов чаще всего", + "option_a": "смешаны с песком", + "option_b": "сожжены и выброшены", + "option_c": "удалены и частично съедены", + "option_d": "использованы при замесе бетона" + }, + "outputs": "C", + "meta": { + "id": 2159 + } + }, + "prompt": "<|im_start|>user\nЕсть некоторые декоративные фрукты, используемые для праздников, снаружи украшенные резьбой, например, большие оранжевые тыквы. Внутренности этих фруктов чаще всего\nA. смешаны с песком\nB. сожжены и выброшены\nC. удалены и частично съедены\nD. использованы при замесе бетона\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.24529072642326355, + "B": 0.13129465281963348, + "C": 0.3149595260620117, + "D": 0.24529072642326355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы подключите его к розетке, через него будет течь ток.", + "option_a": "пластик", + "option_b": "резина", + "option_c": "наконечник меча", + "option_d": "воздух." + }, + "outputs": "C", + "meta": { + "id": 695 + } + }, + "prompt": "<|im_start|>user\nЕсли вы подключите его к розетке, через него будет течь ток.\nA. пластик\nB. резина\nC. наконечник меча\nD. воздух.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.006446436513215303, + "B": 0.0030450811609625816, + "C": 0.9567360281944275, + "D": 0.00390996178612113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Перемещение тяжелых предметов", + "option_a": "должно быть легким", + "option_b": "требует небольшой силы", + "option_c": "требует большей мощности", + "option_d": "напрягает, и его следует избегать" + }, + "outputs": "C", + "meta": { + "id": 777 + } + }, + "prompt": "<|im_start|>user\nПеремещение тяжелых предметов\nA. должно быть легким\nB. требует небольшой силы\nC. требует большей мощности\nD. напрягает, и его следует избегать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0013848572270944715, + "B": 0.9211261868476868, + "C": 0.00030900342972017825, + "D": 0.00030900342972017825 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После обширных лесозаготовок в лесу стало меньше", + "option_a": "воды", + "option_b": "биоразнообразия", + "option_c": "двуокиси углерода", + "option_d": "почвы" + }, + "outputs": "B", + "meta": { + "id": 1102 + } + }, + "prompt": "<|im_start|>user\nПосле обширных лесозаготовок в лесу стало меньше\nA. воды\nB. биоразнообразия\nC. двуокиси углерода\nD. почвы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010217899456620216, + "B": 0.0007401821203529835, + "C": 0.001775604672729969, + "D": 0.9197859764099121 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мать ругает мальчика за то, что тот спит с тяжелыми одеялами на голове. Его мать обеспокоена тем, что, если мальчик продолжит так спать, он задохнется. Это потому, что", + "option_a": "кровати могут вызывать проблемы с дыханием", + "option_b": "дыхание ночью смертельно", + "option_c": "CO2 может быть амбивалентным", + "option_d": "CO2 в больших количествах смертелен" + }, + "outputs": "D", + "meta": { + "id": 540 + } + }, + "prompt": "<|im_start|>user\nМать ругает мальчика за то, что тот спит с тяжелыми одеялами на голове. Его мать обеспокоена тем, что, если мальчик продолжит так спать, он задохнется. Это потому, что\nA. кровати могут вызывать проблемы с дыханием\nB. дыхание ночью смертельно\nC. CO2 может быть амбивалентным\nD. CO2 в больших количествах смертелен\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002965396735817194, + "B": 0.9316999316215515, + "C": 0.00045475835213437676, + "D": 0.0014007542049512267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого может быть измерены в мл?", + "option_a": "окружность головы", + "option_b": "содержимое винной бутылки", + "option_c": "длина ручки", + "option_d": "ширина окна" + }, + "outputs": "B", + "meta": { + "id": 2013 + } + }, + "prompt": "<|im_start|>user\nЧто из этого может быть измерены в мл?\nA) окружность головы\nB) содержимое винной бутылки\nC) длина ручки\nD) ширина окна\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.23920617997646332, + "B": 0.16440384089946747, + "C": 0.34804293513298035, + "D": 0.16440384089946747 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Высокое может быть визуально представлено", + "option_a": "бассейном", + "option_b": "глубоким морем", + "option_c": "горой", + "option_d": "долиной" + }, + "outputs": "C", + "meta": { + "id": 1907 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Высокое может быть визуально представлено\nA. бассейном\nB. глубоким морем\nC. горой\nD. долиной\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.33427026867866516, + "B": 0.014686809852719307, + "C": 0.031091978773474693, + "D": 0.5511184930801392 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные, которые никогда не мигрируют, - не мигрируют потому, что они родились", + "option_a": "без инстинкта", + "option_b": "слишком ленивыми", + "option_c": "в понедельник", + "option_d": "с инстинктом" + }, + "outputs": "A", + "meta": { + "id": 490 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животные, которые никогда не мигрируют, - не мигрируют потому, что они родились\nA) без инстинкта\nB) слишком ленивыми\nC) в понедельник\nD) с инстинктом\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08221575617790222, + "B": 0.04400692507624626, + "C": 0.04986637458205223, + "D": 0.7800413966178894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что издает звук, когда вы с ним взаимодействуете?", + "option_a": "что-то изобретенное Пастером", + "option_b": "что-то изобретенное Ломоносовым", + "option_c": "что-то изобретенное Галилеем", + "option_d": "что-то изобретенное Саксом" + }, + "outputs": "D", + "meta": { + "id": 1802 + } + }, + "prompt": "<|im_start|>user\nЧто издает звук, когда вы с ним взаимодействуете?\nA. что-то изобретенное Пастером\nB. что-то изобретенное Ломоносовым\nC. что-то изобретенное Галилеем\nD. что-то изобретенное Саксом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0026546234730631113, + "B": 0.9451113343238831, + "C": 0.0005227263318374753, + "D": 0.0012539551826193929 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Явление теплопроводности иллюстрирует такая ситуация", + "option_a": "вода комнатной температуры, стоящая на прилавке", + "option_b": "лапы собаки, касающиеся нагретого солнцем летнего тротуара", + "option_c": "формы для выпечки, сложенные в духовку", + "option_d": "кубик льда, касающийся другого кубика льда в морозильной камере" + }, + "outputs": "B", + "meta": { + "id": 436 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Явление теплопроводности иллюстрирует такая ситуация\nA. вода комнатной температуры, стоящая на прилавке\nB. лапы собаки, касающиеся нагретого солнцем летнего тротуара\nC. формы для выпечки, сложенные в духовку\nD. кубик льда, касающийся другого кубика льда в морозильной камере\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8253717422485352, + "B": 0.05978973209857941, + "C": 0.008091660216450691, + "D": 0.008091660216450691 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люда стояла лицом к своему дому с компасом. Стрелка компаса была обращена к ее дому. Оставаясь на одном месте, она оборачивалась, несколько раз останавливаясь. Она заметила, что куда бы она ни смотрела", + "option_a": "стрелка компаса была обращена к дому", + "option_b": "стрелка компаса была обращена прямо вперед", + "option_c": "стрелка компаса была обращена вверх", + "option_d": "стрелка компаса была обращена на запад" + }, + "outputs": "A", + "meta": { + "id": 637 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люда стояла лицом к своему дому с компасом. Стрелка компаса была обращена к ее дому. Оставаясь на одном месте, она оборачивалась, несколько раз останавливаясь. Она заметила, что куда бы она ни смотрела\nA. стрелка компаса была обращена к дому\nB. стрелка компаса была обращена прямо вперед\nC. стрелка компаса была обращена вверх\nD. стрелка компаса была обращена на запад\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8894721269607544, + "B": 0.00988114345818758, + "C": 0.0017170851351693273, + "D": 0.02685973048210144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, дает больше всего отходов?", + "option_a": "фабрика по производству кексиков", + "option_b": "устойчивое рыболовство", + "option_c": "солнечные батареи", + "option_d": "ветряная электростанция" + }, + "outputs": "A", + "meta": { + "id": 1371 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, дает больше всего отходов?\nA. фабрика по производству кексиков\nB. устойчивое рыболовство\nC. солнечные батареи\nD. ветряная электростанция\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.08896058797836304, + "B": 0.7448578476905823, + "C": 0.032726772129535675, + "D": 0.06114165857434273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Новые растения выросли везде, куда семена были перенесены", + "option_a": "прохладным бризом", + "option_b": "магией", + "option_c": "удачей", + "option_d": "демонами" + }, + "outputs": "A", + "meta": { + "id": 1557 + } + }, + "prompt": "<|im_start|>user\nНовые растения выросли везде, куда семена были перенесены\nA. прохладным бризом\nB. магией\nC. удачей\nD. демонами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0039009449537843466, + "B": 0.9545297622680664, + "C": 0.0006778825772926211, + "D": 0.0034425719641149044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что требует почвы для роста?", + "option_a": "озера", + "option_b": "нарциссы", + "option_c": "автомобильный двигатель", + "option_d": "коровы" + }, + "outputs": "B", + "meta": { + "id": 2246 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что требует почвы для роста?\nA. озера\nB. нарциссы\nC. автомобильный двигатель\nD. коровы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.041471417993307114, + "B": 0.0774788111448288, + "C": 0.30643463134765625, + "D": 0.5052253007888794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы определить процентную вероятность передачи признака по наследству, нам понадобится как минимум", + "option_a": "одно поколение", + "option_b": "четыре поколения", + "option_c": "три поколения", + "option_d": "два поколения" + }, + "outputs": "B", + "meta": { + "id": 1784 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы определить процентную вероятность передачи признака по наследству, нам понадобится как минимум\nA. одно поколение\nB. четыре поколения\nC. три поколения\nD. два поколения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0024051296059042215, + "B": 0.0018731168238446116, + "C": 0.9702985286712646, + "D": 0.0006081119645386934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сезонные изменения происходят", + "option_a": ", когда солнце встает по утрам", + "option_b": ", когда утки больше плавают в озерах", + "option_c": "когда деревья сбрасывают листья", + "option_d": ", когда все цветы цветут круглый год" + }, + "outputs": "C", + "meta": { + "id": 1207 + } + }, + "prompt": "<|im_start|>user\nСезонные изменения происходят\nA. , когда солнце встает по утрам\nB. , когда утки больше плавают в озерах\nC. когда деревья сбрасывают листья\nD. , когда все цветы цветут круглый год\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9000840783119202, + "B": 0.008824113756418228, + "C": 0.0007243273430503905, + "D": 0.0010538900969550014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лягушка Кирилла заболела, потому что ей не хватало тепла. Возможно", + "option_a": "лягушка не могла регулировать температуру своего тела без внешнего источника тепла", + "option_b": "лягушка обжигалась лампой", + "option_c": "лягушка использовала слишком много льда в своих напитках", + "option_d": "бак лягушки высох" + }, + "outputs": "A", + "meta": { + "id": 735 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лягушка Кирилла заболела, потому что ей не хватало тепла. Возможно\nA) лягушка не могла регулировать температуру своего тела без внешнего источника тепла\nB) лягушка обжигалась лампой\nC) лягушка использовала слишком много льда в своих напитках\nD) бак лягушки высох\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003435209859162569, + "B": 0.0006764329154975712, + "C": 0.0005268065142445266, + "D": 0.9524884819984436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более толстые предметы обладают более сильным сопротивлением, о чем свидетельствует", + "option_a": "худые люди легко получают синяки", + "option_b": "собаки с избыточным весом заболевают", + "option_c": "тонкие куски дерева полезны", + "option_d": "тонкие шины лопаются раньше, чем толстые" + }, + "outputs": "D", + "meta": { + "id": 813 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые предметы обладают более сильным сопротивлением, о чем свидетельствует\nA) худые люди легко получают синяки\nB) собаки с избыточным весом заболевают\nC) тонкие куски дерева полезны\nD) тонкие шины лопаются раньше, чем толстые\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0018830281915143132, + "B": 0.0018830281915143132, + "C": 0.05503014475107193, + "D": 0.8608163595199585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стая дельфинов плавает в поисках пищи. Самый молодой дельфин уплывает и теряется. Остальная часть стаи ищет молодого дельфина, хлопая по воде. Молодой дельфин обнаружен из-за", + "option_a": "движения в воздухе", + "option_b": "вибрации водорослей", + "option_c": "звука воды", + "option_d": "эха от шума" + }, + "outputs": "D", + "meta": { + "id": 97 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Стая дельфинов плавает в поисках пищи. Самый молодой дельфин уплывает и теряется. Остальная часть стаи ищет молодого дельфина, хлопая по воде. Молодой дельфин обнаружен из-за\nA) движения в воздухе\nB) вибрации водорослей\nC) звука воды\nD) эха от шума\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0007354851113632321, + "B": 0.0008334137964993715, + "C": 0.027598874643445015, + "D": 0.9139492511749268 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если ваша собака становится заметно похудевшей, вам нужно", + "option_a": "заставить ее улететь", + "option_b": "поиграть в видеоигры", + "option_c": "кормить ее меньше", + "option_d": "кормить ее лучше" + }, + "outputs": "D", + "meta": { + "id": 252 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если ваша собака становится заметно похудевшей, вам нужно\nA) заставить ее улететь\nB) поиграть в видеоигры\nC) кормить ее меньше\nD) кормить ее лучше\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0034964720252901316, + "B": 0.00047319603618234396, + "C": 0.0008840465452522039, + "D": 0.969474732875824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что находится над мышцами и нуждается в прямом солнечном свете", + "option_a": "печень", + "option_b": "сердце", + "option_c": "поджелудочная железа", + "option_d": "ваша кожа" + }, + "outputs": "D", + "meta": { + "id": 2308 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что находится над мышцами и нуждается в прямом солнечном свете\nA) печень\nB) сердце\nC) поджелудочная железа\nD) ваша кожа\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.014174683950841427, + "B": 0.36556991934776306, + "C": 0.1726830154657364, + "D": 0.36556991934776306 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сотрудники краудсорсинга хотят отслеживать, когда выпадает определенная задача. Для этого они бы скорее всего", + "option_a": "покупали дорогие кроссовки", + "option_b": "случайным образом проигрывали треки", + "option_c": "использовали ноутбук", + "option_d": "бегали на несколько миль" + }, + "outputs": "C", + "meta": { + "id": 492 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сотрудники краудсорсинга хотят отслеживать, когда выпадает определенная задача. Для этого они бы скорее всего\nA) покупали дорогие кроссовки\nB) случайным образом проигрывали треки\nC) использовали ноутбук\nD) бегали на несколько миль\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.1570233255624771, + "B": 0.2933582067489624, + "C": 0.08404853940010071, + "D": 0.376679390668869 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из этих мест отмечается зимнее солнцестояние 21 декабря?", + "option_a": "Европа", + "option_b": "Новая Зеландия", + "option_c": "Южная Африка", + "option_d": "Аргентина" + }, + "outputs": "A", + "meta": { + "id": 270 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком из этих мест отмечается зимнее солнцестояние 21 декабря?\nA. Европа\nB. Новая Зеландия\nC. Южная Африка\nD. Аргентина\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05163560062646866, + "B": 0.006166992709040642, + "C": 0.8077167272567749, + "D": 0.0964680016040802 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного перемещает дыхание?", + "option_a": "энергию", + "option_b": "металлы", + "option_c": "газы", + "option_d": "жидкости" + }, + "outputs": "C", + "meta": { + "id": 611 + } + }, + "prompt": "<|im_start|>user\nЧто из перечисленного перемещает дыхание?\nA. энергию\nB. металлы\nC. газы\nD. жидкости\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8344379663467407, + "B": 0.03235467150807381, + "C": 0.02223701775074005, + "D": 0.019624099135398865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кактус - это в основном огромный стебель, а это означает, что", + "option_a": "он держит ярко-зеленые листья", + "option_b": "он очень тонкий", + "option_c": "из него можно пить,", + "option_d": "он может спрятаться в траве" + }, + "outputs": "C", + "meta": { + "id": 1272 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кактус - это в основном огромный стебель, а это означает, что\nA) он держит ярко-зеленые листья\nB) он очень тонкий\nC) из него можно пить,\nD) он может спрятаться в траве\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005515820812433958, + "B": 0.9276185035705566, + "C": 0.0015803093556314707, + "D": 0.004295726306736469 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что влияет на способность объектов отражать свет?", + "option_a": "вес", + "option_b": "цветовая палитра", + "option_c": "высота", + "option_d": "запах" + }, + "outputs": "B", + "meta": { + "id": 1121 + } + }, + "prompt": "<|im_start|>user\nЧто влияет на способность объектов отражать свет?\nA. вес\nB. цветовая палитра\nC. высота\nD. запах\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0038224735762923956, + "B": 0.9353284239768982, + "C": 0.0008529091137461364, + "D": 0.0038224735762923956 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Размножение происходит, когда приходит", + "option_a": "младенчество", + "option_b": "физическая готовность", + "option_c": "старость", + "option_d": "детство" + }, + "outputs": "B", + "meta": { + "id": 2142 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Размножение происходит, когда приходит\nA) младенчество\nB) физическая готовность\nC) старость\nD) детство\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.001185829285532236, + "B": 0.050422750413417816, + "C": 0.8937645554542542, + "D": 0.014446359127759933 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Два срубленных дерева, с одинаковым количеством колец на срезе, позволяют утверждать, что они одного", + "option_a": "цвета", + "option_b": "роста", + "option_c": "возраста", + "option_d": "типа дерева" + }, + "outputs": "C", + "meta": { + "id": 1105 + } + }, + "prompt": "<|im_start|>user\nДва срубленных дерева, с одинаковым количеством колец на срезе, позволяют утверждать, что они одного\nA) цвета\nB) роста\nC) возраста\nD) типа дерева\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0049494788981974125, + "B": 0.9432037472724915, + "C": 0.0004603732959367335, + "D": 0.000759027199819684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая часть карандаша могла быть ископаемым материалом?", + "option_a": "дерево", + "option_b": "графит", + "option_c": "резина", + "option_d": "чернила" + }, + "outputs": "B", + "meta": { + "id": 689 + } + }, + "prompt": "<|im_start|>user\nКакая часть карандаша могла быть ископаемым материалом?\nA. дерево\nB. графит\nC. резина\nD. чернила\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12386767566204071, + "B": 0.4323406517505646, + "C": 0.07512953132390976, + "D": 0.262227863073349 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорее всего, это магнитится:", + "option_a": "внутренности коровы", + "option_b": "внутренности iPhone", + "option_c": "внутренности головы", + "option_d": "внутренности дерева" + }, + "outputs": "B", + "meta": { + "id": 1927 + } + }, + "prompt": "<|im_start|>user\nСкорее всего, это магнитится:\nA) внутренности коровы\nB) внутренности iPhone\nC) внутренности головы\nD) внутренности дерева\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13373549282550812, + "B": 0.3208147883415222, + "C": 0.2831180691719055, + "D": 0.19458401203155518 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой камень подвержен механическому выветриванию?", + "option_a": "камень, путешествующий в космосе", + "option_b": "камень, используемый для разжигания огня", + "option_c": "камень, находящийся далеко под землей", + "option_d": "камень, пораженный солнечными лучами" + }, + "outputs": "B", + "meta": { + "id": 1824 + } + }, + "prompt": "<|im_start|>user\nКакой камень подвержен механическому выветриванию?\nA) камень, путешествующий в космосе\nB) камень, используемый для разжигания огня\nC) камень, находящийся далеко под землей\nD) камень, пораженный солнечными лучами\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.10526160895824432, + "B": 0.0563424751162529, + "C": 0.6863918900489807, + "D": 0.09289304167032242 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно использовать для обогрева?", + "option_a": "кубик льда", + "option_b": "мини-фонарик", + "option_c": "снег", + "option_d": "ледники" + }, + "outputs": "B", + "meta": { + "id": 1395 + } + }, + "prompt": "<|im_start|>user\nЧто можно использовать для обогрева?\nA) кубик льда\nB) мини-фонарик\nC) снег\nD) ледники\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.08116130530834198, + "B": 0.003565979190170765, + "C": 0.1042131781578064, + "D": 0.770037055015564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего можно найти на Луне?", + "option_a": "Невулканические горы", + "option_b": "Океаны, наполненные жизнью", + "option_c": "Вулканические горы", + "option_d": "Множественные массивы суши" + }, + "outputs": "A", + "meta": { + "id": 823 + } + }, + "prompt": "<|im_start|>user\nЧто из следующего можно найти на Луне?\nA. Невулканические горы\nB. Океаны, наполненные жизнью\nC. Вулканические горы\nD. Множественные массивы суши\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005471245385706425, + "B": 0.001383347436785698, + "C": 0.9201220273971558, + "D": 0.006199733354151249 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Снежный означает большое количество чего?", + "option_a": "дороги", + "option_b": "реки", + "option_c": "частиц льда", + "option_d": "ветров" + }, + "outputs": "C", + "meta": { + "id": 1367 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Снежный означает большое количество чего?\nA. дороги\nB. реки\nC. частиц льда\nD. ветров\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0012569945538416505, + "B": 0.00031781799043528736, + "C": 0.0004624224966391921, + "D": 0.9474021196365356 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причина, по которой енотов часто можно найти в мусорных баках, заключается в том, что они, как известно, потребляют", + "option_a": "розы", + "option_b": "икру", + "option_c": "кошек", + "option_d": "отходы" + }, + "outputs": "D", + "meta": { + "id": 2069 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Причина, по которой енотов часто можно найти в мусорных баках, заключается в том, что они, как известно, потребляют\nA) розы\nB) икру\nC) кошек\nD) отходы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.05313790962100029, + "B": 0.8312167525291443, + "C": 0.022151175886392593, + "D": 0.025100572034716606 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с большей вероятностью сможет развиваться?", + "option_a": "яйцо рядом с лампочкой", + "option_b": "яйцо под водой", + "option_c": "яйцо в Арктике", + "option_d": "яйцо в морозильной камере" + }, + "outputs": "A", + "meta": { + "id": 1099 + } + }, + "prompt": "<|im_start|>user\nЧто с большей вероятностью сможет развиваться?\nA. яйцо рядом с лампочкой\nB. яйцо под водой\nC. яйцо в Арктике\nD. яйцо в морозильной камере\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.008262320421636105, + "B": 0.9549944400787354, + "C": 0.00032036492484621704, + "D": 0.0005281924968585372 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие две силы, вероятно, являются причиной образования каньонов?", + "option_a": "вода плюс огонь", + "option_b": "вода плюс сила тяжести", + "option_c": "огонь и сера", + "option_d": "H2O и лемминги" + }, + "outputs": "B", + "meta": { + "id": 1263 + } + }, + "prompt": "<|im_start|>user\nКакие две силы, вероятно, являются причиной образования каньонов?\nA) вода плюс огонь\nB) вода плюс сила тяжести\nC) огонь и сера\nD) H2O и лемминги\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.36429333686828613, + "B": 0.016005931422114372, + "C": 0.055866193026304245, + "D": 0.46776190400123596 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечный свет может", + "option_a": "отразиться от стального стержня", + "option_b": "сделать глаза более заметными", + "option_c": "создать настоящую проблему", + "option_d": "ослепить садового гнома" + }, + "outputs": "A", + "meta": { + "id": 1816 + } + }, + "prompt": "<|im_start|>user\nСолнечный свет может\nA) отразиться от стального стержня\nB) сделать глаза более заметными\nC) создать настоящую проблему\nD) ослепить садового гнома\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.01904916577041149, + "B": 0.630821704864502, + "C": 0.20479783415794373, + "D": 0.07534091174602509 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При какой температуре окружающей среды чаще всего возникает потоотделение?", + "option_a": "0 градусов по Цельсию", + "option_b": "34 градусов по Цельсию", + "option_c": "35 градусов по Цельсию", + "option_d": "33 градуса по Цельсию" + }, + "outputs": "C", + "meta": { + "id": 1054 + } + }, + "prompt": "<|im_start|>user\nПри какой температуре окружающей среды чаще всего возникает потоотделение?\nA. 0 градусов по Цельсию\nB. 34 градусов по Цельсию\nC. 35 градусов по Цельсию\nD. 33 градуса по Цельсию\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.1275508850812912, + "B": 0.6477568745613098, + "C": 0.04692335054278374, + "D": 0.08766435831785202 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна выглядит по-разному в разных частях", + "option_a": "апреля", + "option_b": "сегодня", + "option_c": "неба", + "option_d": "корабля" + }, + "outputs": "A", + "meta": { + "id": 491 + } + }, + "prompt": "<|im_start|>user\nЛуна выглядит по-разному в разных частях\nA. апреля\nB. сегодня\nC. неба\nD. корабля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0010029599070549011, + "B": 0.00013573587057180703, + "C": 0.00011978648399235681, + "D": 0.9706399440765381 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда животное заболевает какой-либо болезнью, его физическое здоровье", + "option_a": "остается прежним", + "option_b": "улучшается", + "option_c": "становится крепче", + "option_d": "неизбежно ухудшается" + }, + "outputs": "D", + "meta": { + "id": 39 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда животное заболевает какой-либо болезнью, его физическое здоровье\nA) остается прежним\nB) улучшается\nC) становится крепче\nD) неизбежно ухудшается\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.015280731953680515, + "B": 0.0034095922019332647, + "C": 0.0014213294489309192, + "D": 0.9453853964805603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример твердого вещества", + "option_a": "вода в стакане", + "option_b": "расплавленная медь в чане", + "option_c": "яйцо в картонной коробке", + "option_d": "ртуть в термометре" + }, + "outputs": "C", + "meta": { + "id": 1485 + } + }, + "prompt": "<|im_start|>user\nВыберите пример твердого вещества\nA) вода в стакане\nB) расплавленная медь в чане\nC) яйцо в картонной коробке\nD) ртуть в термометре\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.03955617919564247, + "B": 0.618762731552124, + "C": 0.06521711498498917, + "D": 0.20088285207748413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Грозовые облака", + "option_a": "наполнены красивой музыкой", + "option_b": "формируются не менее 10 лет", + "option_c": "светло-розового цвета", + "option_d": "значительного веса" + }, + "outputs": "D", + "meta": { + "id": 312 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Грозовые облака\nA. наполнены красивой музыкой\nB. формируются не менее 10 лет\nC. светло-розового цвета\nD. значительного веса\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0002454996865708381, + "B": 0.9396809339523315, + "C": 0.0003152278368361294, + "D": 0.00045865384163334966 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В почве есть все, что нужно дереву для", + "option_a": "сжигания", + "option_b": "развития", + "option_c": "отпуска", + "option_d": "перемещения" + }, + "outputs": "B", + "meta": { + "id": 140 + } + }, + "prompt": "<|im_start|>user\nВ почве есть все, что нужно дереву для\nA. сжигания\nB. развития\nC. отпуска\nD. перемещения\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8671851754188538, + "B": 0.02618672326207161, + "C": 0.0006978525198064744, + "D": 0.001015369431115687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчел привлекает", + "option_a": "жидкий нектар растения, богатый сахаром", + "option_b": "аромат цветочных тычинок", + "option_c": "жидкий сок растения, богатый кислородом", + "option_d": ", испускаемое цветами магнитное поле" + }, + "outputs": "A", + "meta": { + "id": 1 + } + }, + "prompt": "<|im_start|>user\nПчел привлекает\nA. жидкий нектар растения, богатый сахаром\nB. аромат цветочных тычинок\nC. жидкий сок растения, богатый кислородом\nD. , испускаемое цветами магнитное поле\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.001119457301683724, + "B": 0.010621115565299988, + "C": 0.9560823440551758, + "D": 0.0016288008773699403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как место, расположенное ниже над уровнем моря, подвержено наводнению по сравнению с местом, расположенным выше?", + "option_a": "так же", + "option_b": "менее", + "option_c": "более", + "option_d": "нижнее место уже затоплено" + }, + "outputs": "C", + "meta": { + "id": 1921 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как место, расположенное ниже над уровнем моря, подвержено наводнению по сравнению с местом, расположенным выше?\nA. так же\nB. менее\nC. более\nD. нижнее место уже затоплено\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0021202987991273403, + "B": 0.0007800143794156611, + "C": 0.0010015582665801048, + "D": 0.969283401966095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поможет экономить природные ресурсы?", + "option_a": "покупка нового грузовика", + "option_b": "покупка нового внедорожника", + "option_c": "потребление только стейков и икры", + "option_d": "отказ от езды на мотоцикле" + }, + "outputs": "D", + "meta": { + "id": 2034 + } + }, + "prompt": "<|im_start|>user\nЧто поможет экономить природные ресурсы?\nA) покупка нового грузовика\nB) покупка нового внедорожника\nC) потребление только стейков и икры\nD) отказ от езды на мотоцикле\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9310232400894165, + "B": 0.0007492251461371779, + "C": 0.0004544280527625233, + "D": 0.004885561764240265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы привлечь птиц в свой двор", + "option_a": "положите семена в легкодоступную посуду", + "option_b": "уничтожьте все свои цветы", + "option_c": "срубите все деревья, большие и маленькие", + "option_d": "установите большое грозное чучело" + }, + "outputs": "A", + "meta": { + "id": 606 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы привлечь птиц в свой двор\nA) положите семена в легкодоступную посуду\nB) уничтожьте все свои цветы\nC) срубите все деревья, большие и маленькие\nD) установите большое грозное чучело\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01730404421687126, + "B": 0.0023418478667736053, + "C": 0.9447688460350037, + "D": 0.004957691766321659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Откуда можно черпать возобновляемые ресурсы", + "option_a": "пласты природного газа", + "option_b": "нефтяная скважина", + "option_c": "Тихий океан", + "option_d": "полиэтиленовый пакет" + }, + "outputs": "C", + "meta": { + "id": 286 + } + }, + "prompt": "<|im_start|>user\nОткуда можно черпать возобновляемые ресурсы\nA) пласты природного газа\nB) нефтяная скважина\nC) Тихий океан\nD) полиэтиленовый пакет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.022758271545171738, + "B": 0.2772524952888489, + "C": 0.5179758667945862, + "D": 0.10199548304080963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы у вас был молоток, вы бы могли бы вбить в ____ несколько крепких гвоздей из ____", + "option_a": "дерево; дерева", + "option_b": "дерево; железа", + "option_c": "железо; железа", + "option_d": "железо; дерева" + }, + "outputs": "B", + "meta": { + "id": 1170 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если бы у вас был молоток, вы бы могли бы вбить в ____ несколько крепких гвоздей из ____\nA) дерево; дерева\nB) дерево; железа\nC) железо; железа\nD) железо; дерева\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.014072757214307785, + "B": 0.8706507086753845, + "C": 0.010959874838590622, + "D": 0.004568755626678467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения количества воды в окружающей среде количество водных животных, таких как зоопланктон, нектон и бентос, будет возрастать", + "option_a": "чем больше застаивается воздух над водой", + "option_b": "чем на большую глубину вы опуститесь", + "option_c": "при подъеме на меньшую глубину", + "option_d": "до полного исчезновения" + }, + "outputs": "C", + "meta": { + "id": 28 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере увеличения количества воды в окружающей среде количество водных животных, таких как зоопланктон, нектон и бентос, будет возрастать\nA. чем больше застаивается воздух над водой\nB. чем на большую глубину вы опуститесь\nC. при подъеме на меньшую глубину\nD. до полного исчезновения\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8941859602928162, + "B": 0.008766290731728077, + "C": 0.004140902776271105, + "D": 0.02700207754969597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электричество наносит меньший ущерб атмосфере Земли, чем", + "option_a": "Бензин", + "option_b": "Картофель", + "option_c": "Солнце", + "option_d": "Вода" + }, + "outputs": "A", + "meta": { + "id": 2163 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Электричество наносит меньший ущерб атмосфере Земли, чем\nA. Бензин\nB. Картофель\nC. Солнце\nD. Вода\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.03351772576570511, + "B": 0.09111061692237854, + "C": 0.2185630351305008, + "D": 0.5941158533096313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Таяние льда разрушает", + "option_a": "облака", + "option_b": "гранит", + "option_c": "растения", + "option_d": "реки" + }, + "outputs": "B", + "meta": { + "id": 467 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Таяние льда разрушает\nA) облака\nB) гранит\nC) растения\nD) реки\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002297078724950552, + "B": 0.9267076849937439, + "C": 0.0006581240450032055, + "D": 0.005510405171662569 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Назначение птичьих перьев, особенно пуха, состоит в том, чтобы", + "option_a": "содержать влагу", + "option_b": "сохранять температуру тела", + "option_c": "перемещать воздух", + "option_d": "помогать в полете" + }, + "outputs": "B", + "meta": { + "id": 137 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Назначение птичьих перьев, особенно пуха, состоит в том, чтобы\nA) содержать влагу\nB) сохранять температуру тела\nC) перемещать воздух\nD) помогать в полете\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.011954381130635738, + "B": 0.00207735993899405, + "C": 0.9496541023254395, + "D": 0.003424987429752946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое свойство волн имеет значение, когда земля трясется?", + "option_a": "графичность", + "option_b": "блеск", + "option_c": "амплитуда", + "option_d": "влажность" + }, + "outputs": "C", + "meta": { + "id": 1631 + } + }, + "prompt": "<|im_start|>user\nКакое свойство волн имеет значение, когда земля трясется?\nA. графичность\nB. блеск\nC. амплитуда\nD. влажность\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030764532275497913, + "B": 0.0008814185857772827, + "C": 0.0007778491708450019, + "D": 0.9665928483009338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одна крошечная искра, и огонь прорывается и распространяется по лесам, поглощая", + "option_a": "исключительно птиц", + "option_b": "кристально чистое озеро", + "option_c": "снежную вершину горы", + "option_d": "травы, сухостой, кору и кроны" + }, + "outputs": "D", + "meta": { + "id": 1048 + } + }, + "prompt": "<|im_start|>user\nОдна крошечная искра, и огонь прорывается и распространяется по лесам, поглощая\nA. исключительно птиц\nB. кристально чистое озеро\nC. снежную вершину горы\nD. травы, сухостой, кору и кроны\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.08284500241279602, + "B": 0.6936526894569397, + "C": 0.12053875625133514, + "D": 0.0143963024020195 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что дольше дрейфует над землей?", + "option_a": "железный трон", + "option_b": "скала", + "option_c": "надувная игрушка", + "option_d": "шумная толпа" + }, + "outputs": "C", + "meta": { + "id": 1382 + } + }, + "prompt": "<|im_start|>user\nЧто дольше дрейфует над землей?\nA) железный трон\nB) скала\nC) надувная игрушка\nD) шумная толпа\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8366113305091858, + "B": 0.00110999948810786, + "C": 0.006387605797499418, + "D": 0.032438941299915314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Погода меняется от зимы к весне из-за", + "option_a": "луны", + "option_b": "звезды", + "option_c": "облака", + "option_d": "неба" + }, + "outputs": "B", + "meta": { + "id": 1322 + } + }, + "prompt": "<|im_start|>user\nПогода меняется от зимы к весне из-за\nA. луны\nB. звезды\nC. облака\nD. неба\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018088343786075711, + "B": 0.01179508212953806, + "C": 0.9369993805885315, + "D": 0.003379347501322627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смена агрегатного состояния происходит, когда", + "option_a": "вода наливается в стакан", + "option_b": "торт остывает на прилавке", + "option_c": "расплавленный шоколад охлаждается", + "option_d": "индейка нарезается на кусочки" + }, + "outputs": "C", + "meta": { + "id": 414 + } + }, + "prompt": "<|im_start|>user\nСмена агрегатного состояния происходит, когда\nA. вода наливается в стакан\nB. торт остывает на прилавке\nC. расплавленный шоколад охлаждается\nD. индейка нарезается на кусочки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.061176847666502, + "B": 0.002372083952650428, + "C": 0.21352818608283997, + "D": 0.6577131152153015 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего используется свет, производимый глубоководными животными?", + "option_a": "Навигация", + "option_b": "Камуфляж", + "option_c": "Ловля жертв", + "option_d": "Сексуальная демонстрация" + }, + "outputs": "C", + "meta": { + "id": 1519 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего используется свет, производимый глубоководными животными?\nA) Навигация\nB) Камуфляж\nC) Ловля жертв\nD) Сексуальная демонстрация\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.07990634441375732, + "B": 0.007432448212057352, + "C": 0.8590742349624634, + "D": 0.009543453343212605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Флоэма", + "option_a": "действует как тренер для растения", + "option_b": "действует как доставщик растения", + "option_c": "действует как врач для растения", + "option_d": "действует как фермер для растения" + }, + "outputs": "B", + "meta": { + "id": 1812 + } + }, + "prompt": "<|im_start|>user\nФлоэма\nA. действует как тренер для растения\nB. действует как доставщик растения\nC. действует как врач для растения\nD. действует как фермер для растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.007320294622331858, + "B": 0.188792884349823, + "C": 0.7466903328895569, + "D": 0.015497062355279922 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, может обеспечить вас влагой, не двигаясь?", + "option_a": "панда", + "option_b": "юный енот", + "option_c": "молодой стебель бамбука", + "option_d": "собака" + }, + "outputs": "C", + "meta": { + "id": 107 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, может обеспечить вас влагой, не двигаясь?\nA) панда\nB) юный енот\nC) молодой стебель бамбука\nD) собака\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004312543198466301, + "B": 0.0008491899934597313, + "C": 0.0010903815273195505, + "D": 0.9312499165534973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные убегают от хищников, двигаясь", + "option_a": "медленно", + "option_b": "счастливо", + "option_c": "стабильно", + "option_d": "быстро" + }, + "outputs": "D", + "meta": { + "id": 1390 + } + }, + "prompt": "<|im_start|>user\nНекоторые животные убегают от хищников, двигаясь\nA) медленно\nB) счастливо\nC) стабильно\nD) быстро\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0030020165722817183, + "B": 0.9432055354118347, + "C": 0.00019191249157302082, + "D": 0.002649270463734865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Газовые гиганты, как известно,", + "option_a": "путешествуют через глубокий космос", + "option_b": "в основном состоят из водорода и гелия", + "option_c": "врезаются друг в друга", + "option_d": "мечутся вокруг галактики" + }, + "outputs": "B", + "meta": { + "id": 1085 + } + }, + "prompt": "<|im_start|>user\nГазовые гиганты, как известно,\nA. путешествуют через глубокий космос\nB. в основном состоят из водорода и гелия\nC. врезаются друг в друга\nD. мечутся вокруг галактики\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.006167141254991293, + "B": 0.021525438874959946, + "C": 0.9152848720550537, + "D": 0.004238610155880451 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В жаркий летний день лошадь выгнали из конюшни, потому что стойла полны навоза, а рабочим трудно убирать при лошадях. Итак, лошадь стоит в поле, под прямыми солнечными лучами, и начинает перегреваться. Чтобы лучше переносить жару, лошадь", + "option_a": "ест", + "option_b": "топчется", + "option_c": "потеет", + "option_d": "ржет" + }, + "outputs": "C", + "meta": { + "id": 1396 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В жаркий летний день лошадь выгнали из конюшни, потому что стойла полны навоза, а рабочим трудно убирать при лошадях. Итак, лошадь стоит в поле, под прямыми солнечными лучами, и начинает перегреваться. Чтобы лучше переносить жару, лошадь\nA. ест\nB. топчется\nC. потеет\nD. ржет\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.27553531527519226, + "B": 0.08945322036743164, + "C": 0.27553531527519226, + "D": 0.27553531527519226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустыне ястреб не может увидеть", + "option_a": "койота", + "option_b": "летучую мышь", + "option_c": "белого медведя", + "option_d": "скорпиона." + }, + "outputs": "C", + "meta": { + "id": 771 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В пустыне ястреб не может увидеть\nA) койота\nB) летучую мышь\nC) белого медведя\nD) скорпиона.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007200912106782198, + "B": 0.008159703575074673, + "C": 0.0038543709088116884, + "D": 0.9431334733963013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фонари", + "option_a": "освещают идеи и мысли", + "option_b": "освещают ответы на вопросы", + "option_c": "освещают яркие солнечные дни", + "option_d": "освещают тропинки в заросшем лесу" + }, + "outputs": "D", + "meta": { + "id": 670 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Фонари\nA. освещают идеи и мысли\nB. освещают ответы на вопросы\nC. освещают яркие солнечные дни\nD. освещают тропинки в заросшем лесу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.14245262742042542, + "B": 0.3417260944843292, + "C": 0.010319233871996403, + "D": 0.43878498673439026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В декабре жарче, чем в другие месяцы. Где вы, вероятно, находитесь?", + "option_a": "выше гор", + "option_b": "ниже экватора", + "option_c": "ниже пояса", + "option_d": "выше экватора" + }, + "outputs": "B", + "meta": { + "id": 1060 + } + }, + "prompt": "<|im_start|>user\nВ декабре жарче, чем в другие месяцы. Где вы, вероятно, находитесь?\nA. выше гор\nB. ниже экватора\nC. ниже пояса\nD. выше экватора\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.1727377325296402, + "B": 0.41437628865242004, + "C": 0.2513319253921509, + "D": 0.05607973411679268 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За десятилетие весна приходит", + "option_a": "три раза", + "option_b": "двенадцать раз", + "option_c": "десять раз", + "option_d": "дважды" + }, + "outputs": "C", + "meta": { + "id": 435 + } + }, + "prompt": "<|im_start|>user\nЗа десятилетие весна приходит\nA. три раза\nB. двенадцать раз\nC. десять раз\nD. дважды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008226300589740276, + "B": 0.0005959111731499434, + "C": 0.00011023249680874869, + "D": 0.9508310556411743 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У такого растения, как кактус, вода удерживается внутри", + "option_a": "шипов на стебле", + "option_b": "линий стебля", + "option_c": "внутри листьев", + "option_d": "ряда трубок в теле" + }, + "outputs": "D", + "meta": { + "id": 489 + } + }, + "prompt": "<|im_start|>user\nУ такого растения, как кактус, вода удерживается внутри\nA. шипов на стебле\nB. линий стебля\nC. внутри листьев\nD. ряда трубок в теле\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0009905294282361865, + "B": 0.00013405358185991645, + "C": 0.00015190259728115052, + "D": 0.9586099982261658 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример, соответствующий понятию загрязнения:", + "option_a": "Рыба плавает в море", + "option_b": "Ветер разносит семена", + "option_c": "Деревья растут в лесу", + "option_d": "Турист бросает обертку от жевательной резинки в океан" + }, + "outputs": "D", + "meta": { + "id": 1836 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример, соответствующий понятию загрязнения:\nA) Рыба плавает в море\nB) Ветер разносит семена\nC) Деревья растут в лесу\nD) Турист бросает обертку от жевательной резинки в океан\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002383971819654107, + "B": 0.0009937873110175133, + "C": 0.001276048133149743, + "D": 0.9617628455162048 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Природный газ", + "option_a": "является возобновляемым, поскольку темпы добычи растут", + "option_b": "следует использовать как можно больше", + "option_c": "- это подукт синтетического производства", + "option_d": "- это ресурс, который истощается без возможности пополнения при каждом использовании" + }, + "outputs": "D", + "meta": { + "id": 348 + } + }, + "prompt": "<|im_start|>user\nПриродный газ\nA) является возобновляемым, поскольку темпы добычи растут\nB) следует использовать как можно больше\nC) - это подукт синтетического производства\nD) - это ресурс, который истощается без возможности пополнения при каждом использовании\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.656329870223999, + "B": 0.01981944590806961, + "C": 0.0039026800077408552, + "D": 0.24145029485225677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая сущность производит видимое вращение вокруг Земли, вызывая смену времен года?", + "option_a": "звезда", + "option_b": "венера", + "option_c": "плутон", + "option_d": "ртуть" + }, + "outputs": "A", + "meta": { + "id": 172 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая сущность производит видимое вращение вокруг Земли, вызывая смену времен года?\nA. звезда\nB. венера\nC. плутон\nD. ртуть\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02089628018438816, + "B": 0.01118497271090746, + "C": 0.01844090223312378, + "D": 0.8885324001312256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может вызвать искру?", + "option_a": "морской песок", + "option_b": "мокрая грязь", + "option_c": "болотная грязь", + "option_d": "волосяная кисть" + }, + "outputs": "D", + "meta": { + "id": 661 + } + }, + "prompt": "<|im_start|>user\nЧто может вызвать искру?\nA) морской песок\nB) мокрая грязь\nC) болотная грязь\nD) волосяная кисть\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0027183250058442354, + "B": 0.003490398172289133, + "C": 0.0006065401830710471, + "D": 0.9677906632423401 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бег превращает углеводы в", + "option_a": "жир", + "option_b": "пот", + "option_c": "белок", + "option_d": "движение и тепло" + }, + "outputs": "D", + "meta": { + "id": 859 + } + }, + "prompt": "<|im_start|>user\nБег превращает углеводы в\nA. жир\nB. пот\nC. белок\nD. движение и тепло\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.35875096917152405, + "B": 0.1319771260023117, + "C": 0.16946196556091309, + "D": 0.24656569957733154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У медведей всегда будет более продолжительный жизненный цикл, чем у", + "option_a": "черепах", + "option_b": "китов", + "option_c": "лисиц", + "option_d": "слонов" + }, + "outputs": "C", + "meta": { + "id": 1710 + } + }, + "prompt": "<|im_start|>user\nУ медведей всегда будет более продолжительный жизненный цикл, чем у\nA. черепах\nB. китов\nC. лисиц\nD. слонов\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9125219583511353, + "B": 0.006148524582386017, + "C": 0.003291068132966757, + "D": 0.005426053423434496 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать микроскоп, чтобы", + "option_a": "увидеть поры в растении", + "option_b": "посмотреть на солнечный свет", + "option_c": "посмотреть, как мышь ест еду", + "option_d": "посмотреть на слона" + }, + "outputs": "A", + "meta": { + "id": 1580 + } + }, + "prompt": "<|im_start|>user\nЯ могу использовать микроскоп, чтобы\nA. увидеть поры в растении\nB. посмотреть на солнечный свет\nC. посмотреть, как мышь ест еду\nD. посмотреть на слона\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.012398351915180683, + "B": 0.06296402961015701, + "C": 0.0031347943004220724, + "D": 0.869191586971283 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие деревья на лесной подстилке", + "option_a": "не могут гнить", + "option_b": "могут вырасти заново", + "option_c": "ненадолго сломаны", + "option_d": "сломаны, скоро перегниют, распадутся" + }, + "outputs": "D", + "meta": { + "id": 931 + } + }, + "prompt": "<|im_start|>user\nМногие деревья на лесной подстилке\nA) не могут гнить\nB) могут вырасти заново\nC) ненадолго сломаны\nD) сломаны, скоро перегниют, распадутся\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009214612655341625, + "B": 0.010441523976624012, + "C": 0.009214612655341625, + "D": 0.9399159550666809 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поглощает питательные вещества из почвы через свои корни?", + "option_a": "мука", + "option_b": "искусственные растения", + "option_c": "животные", + "option_d": "флора" + }, + "outputs": "D", + "meta": { + "id": 1910 + } + }, + "prompt": "<|im_start|>user\nЧто поглощает питательные вещества из почвы через свои корни?\nA) мука\nB) искусственные растения\nC) животные\nD) флора\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.285971075296402, + "B": 0.285971075296402, + "C": 0.15306928753852844, + "D": 0.1965448558330536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вреднее для полезных бактерий, которые помогают вашему организму?", + "option_a": "поддержание баланса воды в организме", + "option_b": "хорошее питание", + "option_c": "горячий душ", + "option_d": "прием пробиотиков" + }, + "outputs": "C", + "meta": { + "id": 1357 + } + }, + "prompt": "<|im_start|>user\nЧто, вреднее для полезных бактерий, которые помогают вашему организму?\nA) поддержание баланса воды в организме\nB) хорошее питание\nC) горячий душ\nD) прием пробиотиков\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.025062967091798782, + "B": 0.001602221978828311, + "C": 0.00045904426951892674, + "D": 0.9404808878898621 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем лучше наполнить пляжный мяч?", + "option_a": "Кислород", + "option_b": "Железо", + "option_c": "Алюминий", + "option_d": "Вода" + }, + "outputs": "A", + "meta": { + "id": 764 + } + }, + "prompt": "<|im_start|>user\nЧем лучше наполнить пляжный мяч?\nA) Кислород\nB) Железо\nC) Алюминий\nD) Вода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02833622880280018, + "B": 0.02833622880280018, + "C": 0.8281060457229614, + "D": 0.052939046174287796 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих предметов могли сохранять прохладу благодаря преобразованию электрической энергии в какую-либо другую?", + "option_a": "ковер-самолет", + "option_b": "снежная дорога", + "option_c": "настольный вентилятор", + "option_d": "лампочка" + }, + "outputs": "C", + "meta": { + "id": 798 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие из этих предметов могли сохранять прохладу благодаря преобразованию электрической энергии в какую-либо другую?\nA) ковер-самолет\nB) снежная дорога\nC) настольный вентилятор\nD) лампочка\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.04771193861961365, + "B": 0.845714271068573, + "C": 0.0106459716334939, + "D": 0.017552239820361137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Землетрясения могут сотрясать", + "option_a": "рыбу", + "option_b": "летающих птиц", + "option_c": "облака", + "option_d": "дым" + }, + "outputs": "A", + "meta": { + "id": 1633 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Землетрясения могут сотрясать\nA) рыбу\nB) летающих птиц\nC) облака\nD) дым\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.914733350276947, + "B": 0.0013752459781244397, + "C": 0.000736116140615195, + "D": 0.0037383062299340963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для каких устройств необходима электрическая энергия?", + "option_a": "электроприводных", + "option_b": "мокрых", + "option_c": "гидравлических", + "option_d": "масляных" + }, + "outputs": "A", + "meta": { + "id": 1013 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для каких устройств необходима электрическая энергия?\nA) электроприводных\nB) мокрых\nC) гидравлических\nD) масляных\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9181775450706482, + "B": 0.007010371889919043, + "C": 0.0003954981511924416, + "D": 0.0013804241316393018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если один электрический проводник соприкасается с другим электрическим проводником, то что будет проходить через оба проводника?", + "option_a": "разряд", + "option_b": "воздух", + "option_c": "ветер", + "option_d": "растения" + }, + "outputs": "A", + "meta": { + "id": 779 + } + }, + "prompt": "<|im_start|>user\nЕсли один электрический проводник соприкасается с другим электрическим проводником, то что будет проходить через оба проводника?\nA. разряд\nB. воздух\nC. ветер\nD. растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00388469104655087, + "B": 0.00021915926481597126, + "C": 0.00019340738072060049, + "D": 0.9505525231361389 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что измеряет сейсмограф?", + "option_a": "силу бьющих о берег волн", + "option_b": "сотрясение человека в страхе", + "option_c": "сотрясение земли топотом наступающего стада", + "option_d": "силу подземных толчков" + }, + "outputs": "D", + "meta": { + "id": 65 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что измеряет сейсмограф?\nA. силу бьющих о берег волн\nB. сотрясение человека в страхе\nC. сотрясение земли топотом наступающего стада\nD. силу подземных толчков\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9350085854530334, + "B": 0.000852617435157299, + "C": 0.00040274797356687486, + "D": 0.001094782492145896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В организме это разбивается на более мелкие части для эффективного использования:", + "option_a": "питательные вещества", + "option_b": "воск", + "option_c": "камни", + "option_d": "стекло" + }, + "outputs": "A", + "meta": { + "id": 1775 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В организме это разбивается на более мелкие части для эффективного использования:\nA. питательные вещества\nB. воск\nC. камни\nD. стекло\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.03134247288107872, + "B": 0.7133514285087585, + "C": 0.008979769423604012, + "D": 0.1803634762763977 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наши глаза могут помочь нам", + "option_a": "прослушать аудиозапись", + "option_b": "наблюдать за объектами сзади", + "option_c": "услышать громкий шум", + "option_d": "прочесть этикетку" + }, + "outputs": "D", + "meta": { + "id": 109 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Наши глаза могут помочь нам\nA) прослушать аудиозапись\nB) наблюдать за объектами сзади\nC) услышать громкий шум\nD) прочесть этикетку\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03080787882208824, + "B": 0.9003382325172424, + "C": 0.0068741668947041035, + "D": 0.0068741668947041035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку облака являются причиной дождя, штормы вряд ли произойдут, когда небо", + "option_a": "не видно из-за туч", + "option_b": "ясно и безоблачно", + "option_c": "заволокло тучами", + "option_d": "ясно и облачно" + }, + "outputs": "B", + "meta": { + "id": 692 + } + }, + "prompt": "<|im_start|>user\nПоскольку облака являются причиной дождя, штормы вряд ли произойдут, когда небо\nA. не видно из-за туч\nB. ясно и безоблачно\nC. заволокло тучами\nD. ясно и облачно\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005069250240921974, + "B": 0.0018648728728294373, + "C": 0.9660280346870422, + "D": 0.001452364376746118 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплица используется для защиты растений от чего?", + "option_a": "питательные вещества", + "option_b": "общение", + "option_c": "ледяной ветер", + "option_d": "свежий воздух" + }, + "outputs": "C", + "meta": { + "id": 620 + } + }, + "prompt": "<|im_start|>user\nТеплица используется для защиты растений от чего?\nA. питательные вещества\nB. общение\nC. ледяной ветер\nD. свежий воздух\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007789238006807864, + "B": 0.0001969427685253322, + "C": 0.8541936874389648, + "D": 0.1156025379896164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет имеющие массу объекты опускаться вниз?", + "option_a": "сила воды", + "option_b": "ветер", + "option_c": "планетарное притяжение", + "option_d": "вес" + }, + "outputs": "C", + "meta": { + "id": 807 + } + }, + "prompt": "<|im_start|>user\nЧто заставляет имеющие массу объекты опускаться вниз?\nA) сила воды\nB) ветер\nC) планетарное притяжение\nD) вес\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9257420897483826, + "B": 0.0009565670625306666, + "C": 0.00024185801157727838, + "D": 0.010284066200256348 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые бактерии полезны, а некоторые бактерии", + "option_a": "вызывают расстройство желудка", + "option_b": "вызывают духов", + "option_c": "вызывают дождь", + "option_d": "вызывают засуху" + }, + "outputs": "A", + "meta": { + "id": 529 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые бактерии полезны, а некоторые бактерии\nA) вызывают расстройство желудка\nB) вызывают духов\nC) вызывают дождь\nD) вызывают засуху\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00817294605076313, + "B": 0.0006708762375637889, + "C": 0.9446641206741333, + "D": 0.0023415882606059313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ящерицу, которая вымерла много веков назад, сегодня легче всего увидеть, исследуя", + "option_a": "глобусы", + "option_b": "зеркала", + "option_c": "отложения", + "option_d": "телескопы" + }, + "outputs": "C", + "meta": { + "id": 1770 + } + }, + "prompt": "<|im_start|>user\nЯщерицу, которая вымерла много веков назад, сегодня легче всего увидеть, исследуя\nA. глобусы\nB. зеркала\nC. отложения\nD. телескопы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.02429289184510708, + "B": 0.7099423408508301, + "C": 0.17950153350830078, + "D": 0.00422147149220109 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все растения в районе погибли от пожара. Почему в результате хищников, таких как лисы, стало меньше?", + "option_a": "волки покинули территорию", + "option_b": "лисам было скучно без живых деревьев, не по чему лазить", + "option_c": "кроликам и мышам в этом районе нужны растения", + "option_d": "лисы обычно едят только растения" + }, + "outputs": "C", + "meta": { + "id": 1245 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Все растения в районе погибли от пожара. Почему в результате хищников, таких как лисы, стало меньше?\nA) волки покинули территорию\nB) лисам было скучно без живых деревьев, не по чему лазить\nC) кроликам и мышам в этом районе нужны растения\nD) лисы обычно едят только растения\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5741952061653137, + "B": 0.005629212129861116, + "C": 0.0007618309464305639, + "D": 0.3482670187950134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет делать давление воздуха по мере увеличения высоты?", + "option_a": "снижаться", + "option_b": "подниматься", + "option_c": "оставаться прежним", + "option_d": "возрастать" + }, + "outputs": "A", + "meta": { + "id": 2122 + } + }, + "prompt": "<|im_start|>user\nЧто будет делать давление воздуха по мере увеличения высоты?\nA. снижаться\nB. подниматься\nC. оставаться прежним\nD. возрастать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.2949645519256592, + "B": 0.4863143265247345, + "C": 0.05125715211033821, + "D": 0.058081965893507004 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что незаметно для непривычного взгляда, но имеет видимую форму, вероятно,", + "option_a": "сова, замаскировавшаяся на фоне древесной коры", + "option_b": "белый голубь на зелёном лугу", + "option_c": "корова на фоне фиолетовой стены", + "option_d": "бегемот, отдыхающий посередине пруда" + }, + "outputs": "A", + "meta": { + "id": 1391 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: То, что незаметно для непривычного взгляда, но имеет видимую форму, вероятно,\nA. сова, замаскировавшаяся на фоне древесной коры\nB. белый голубь на зелёном лугу\nC. корова на фоне фиолетовой стены\nD. бегемот, отдыхающий посередине пруда\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8862160444259644, + "B": 0.001509775291197002, + "C": 0.0004901522188447416, + "D": 0.0009157249005511403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хорошая причина, по которой люди не боятся диких волков, заключается в том, что", + "option_a": "волки не стремятся к встрече с человеком", + "option_b": "волки - люди", + "option_c": "волки едят кукурузу", + "option_d": "волки приручены" + }, + "outputs": "A", + "meta": { + "id": 1976 + } + }, + "prompt": "<|im_start|>user\nХорошая причина, по которой люди не боятся диких волков, заключается в том, что\nA) волки не стремятся к встрече с человеком\nB) волки - люди\nC) волки едят кукурузу\nD) волки приручены\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.14075446128845215, + "B": 0.49128133058547974, + "C": 0.2320648729801178, + "D": 0.04032682627439499 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где быстрее всего уменьшается количество воды?", + "option_a": "во время шторма", + "option_b": "в облаках", + "option_c": "на открытом пространстве при ясном небе", + "option_d": "во влажном помещении" + }, + "outputs": "C", + "meta": { + "id": 526 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где быстрее всего уменьшается количество воды?\nA. во время шторма\nB. в облаках\nC. на открытом пространстве при ясном небе\nD. во влажном помещении\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.016949256882071495, + "B": 0.0015765265561640263, + "C": 0.0010835296707227826, + "D": 0.9253979921340942 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения использования альтернативного биотоплива использование чего будет уменьшаться?", + "option_a": "энергия ветра", + "option_b": "солнечное тепло", + "option_c": "гидроэлектроэнергия", + "option_d": "нерегенерируемые виды топлива" + }, + "outputs": "D", + "meta": { + "id": 2023 + } + }, + "prompt": "<|im_start|>user\nПо мере увеличения использования альтернативного биотоплива использование чего будет уменьшаться?\nA) энергия ветра\nB) солнечное тепло\nC) гидроэлектроэнергия\nD) нерегенерируемые виды топлива\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8718792796134949, + "B": 0.026328474283218384, + "C": 0.0007016300805844367, + "D": 0.014092616736888885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорее всего, один из предложенных вариантов как-то связан с замыканием цепи", + "option_a": "зарядное устройство вашего iPhone", + "option_b": "щетка для волос", + "option_c": "шляпа", + "option_d": "ваша обувь" + }, + "outputs": "A", + "meta": { + "id": 691 + } + }, + "prompt": "<|im_start|>user\nСкорее всего, один из предложенных вариантов как-то связан с замыканием цепи\nA) зарядное устройство вашего iPhone\nB) щетка для волос\nC) шляпа\nD) ваша обувь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.028871577233076096, + "B": 0.01751149632036686, + "C": 0.3985598087310791, + "D": 0.511760950088501 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Популяция носорогов меньше, чем раньше, потому что", + "option_a": "машины часто врезались в носорогов", + "option_b": "львы стали эффективнее охотиться на носорогов", + "option_c": "глобальное потепление привело к повышению температуры", + "option_d": "люди используют части тел носорогов для создания лечебных средств" + }, + "outputs": "D", + "meta": { + "id": 2253 + } + }, + "prompt": "<|im_start|>user\nПопуляция носорогов меньше, чем раньше, потому что\nA) машины часто врезались в носорогов\nB) львы стали эффективнее охотиться на носорогов\nC) глобальное потепление привело к повышению температуры\nD) люди используют части тел носорогов для создания лечебных средств\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1130606159567833, + "B": 0.0009781658882275224, + "C": 0.8354111909866333, + "D": 0.000407760264351964 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Спинной мозг содержит", + "option_a": "биологические импульсы", + "option_b": "нервно-паралитический газ", + "option_c": "электрически возбудимые клетки", + "option_d": "волосяные фолликулы" + }, + "outputs": "C", + "meta": { + "id": 236 + } + }, + "prompt": "<|im_start|>user\nСпинной мозг содержит\nA) биологические импульсы\nB) нервно-паралитический газ\nC) электрически возбудимые клетки\nD) волосяные фолликулы\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.014833041466772556, + "B": 0.0015633912989869714, + "C": 0.02445555105805397, + "D": 0.9176877737045288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо живет в части лесной области и может жить только в этой области. Группа двуногих начинает строить свои собственные дома в этом пространстве. Существо, которое изначально там жило, скорее всего,", + "option_a": "поделится своим пространством", + "option_b": "продаст это пространство", + "option_c": "потеряет свое место обитания", + "option_d": "сражается за пространство" + }, + "outputs": "C", + "meta": { + "id": 1892 + } + }, + "prompt": "<|im_start|>user\nСущество живет в части лесной области и может жить только в этой области. Группа двуногих начинает строить свои собственные дома в этом пространстве. Существо, которое изначально там жило, скорее всего,\nA. поделится своим пространством\nB. продаст это пространство\nC. потеряет свое место обитания\nD. сражается за пространство\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0008664182387292385, + "B": 0.9501429796218872, + "C": 0.0005954799125902355, + "D": 0.006402012892067432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зеркала отражают свет, потому что прохождение света через материал, из которого сделано зеркало, заставляет свет", + "option_a": "кричать", + "option_b": "возвращаться", + "option_c": "облегчаться", + "option_d": "удлиняться" + }, + "outputs": "B", + "meta": { + "id": 1230 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зеркала отражают свет, потому что прохождение света через материал, из которого сделано зеркало, заставляет свет\nA. кричать\nB. возвращаться\nC. облегчаться\nD. удлиняться\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.09567202627658844, + "B": 0.09567202627658844, + "C": 0.6238599419593811, + "D": 0.0844302624464035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дождя больше, когда небо", + "option_a": "красное", + "option_b": "серое", + "option_c": "синее", + "option_d": "белое" + }, + "outputs": "B", + "meta": { + "id": 832 + } + }, + "prompt": "<|im_start|>user\nДождя больше, когда небо\nA) красное\nB) серое\nC) синее\nD) белое\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.16993959248065948, + "B": 0.004528736229985952, + "C": 0.01580684259533882, + "D": 0.7616163492202759 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Следствие создания тысяч записных книжек - это", + "option_a": "более длительные дни", + "option_b": "пышные ландшафты", + "option_c": "изменение среды обитания", + "option_d": "более короткие дни" + }, + "outputs": "C", + "meta": { + "id": 951 + } + }, + "prompt": "<|im_start|>user\nСледствие создания тысяч записных книжек - это\nA. более длительные дни\nB. пышные ландшафты\nC. изменение среды обитания\nD. более короткие дни\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8816115260124207, + "B": 0.002805976429954171, + "C": 0.0011697049485519528, + "D": 0.012575512751936913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Небольшой вулкан под водой извергается каждые четыре года. Через несколько столетий появится", + "option_a": "новая земля для обитания", + "option_b": "большая рыба, поедающая дерево", + "option_c": "вспышка огня из будущего", + "option_d": "небольшая трещина в высокой горе" + }, + "outputs": "A", + "meta": { + "id": 1378 + } + }, + "prompt": "<|im_start|>user\nНебольшой вулкан под водой извергается каждые четыре года. Через несколько столетий появится\nA. новая земля для обитания\nB. большая рыба, поедающая дерево\nC. вспышка огня из будущего\nD. небольшая трещина в высокой горе\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8772273659706116, + "B": 0.026489973068237305, + "C": 0.001027127611450851, + "D": 0.00758950412273407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем вызывает образование отложений на дне рек?", + "option_a": "деградация, связанная с погодой", + "option_b": "плавание рыб", + "option_c": "глобальное потепление", + "option_d": "перемещение животных" + }, + "outputs": "A", + "meta": { + "id": 2214 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем вызывает образование отложений на дне рек?\nA) деградация, связанная с погодой\nB) плавание рыб\nC) глобальное потепление\nD) перемещение животных\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8872727751731873, + "B": 0.0005560775171034038, + "C": 0.00026267245993949473, + "D": 0.0011772161815315485 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смена сезонов обусловлена", + "option_a": "характером движения Земли", + "option_b": "погодными условиями", + "option_c": "погодными изменениями", + "option_d": "погодными циклами" + }, + "outputs": "A", + "meta": { + "id": 2232 + } + }, + "prompt": "<|im_start|>user\nСмена сезонов обусловлена\nA. характером движения Земли\nB. погодными условиями\nC. погодными изменениями\nD. погодными циклами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02760031819343567, + "B": 0.9139969944953918, + "C": 0.006158463656902313, + "D": 0.010153590701520443 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электромобили могут иметь _______ и все еще работать", + "option_a": "чувства", + "option_b": "пустой бак", + "option_c": "пищеварительный тракт", + "option_d": "волосатые тела" + }, + "outputs": "B", + "meta": { + "id": 686 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Электромобили могут иметь _______ и все еще работать\nA) чувства\nB) пустой бак\nC) пищеварительный тракт\nD) волосатые тела\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8301442861557007, + "B": 0.036473993211984634, + "C": 0.007182155270129442, + "D": 0.04683353751897812 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В круговороте воды есть несколько стадий, и все перечисленные пункты являются одной из стадий, кроме", + "option_a": "процедуры", + "option_b": "конденсации", + "option_c": "выпадения осадков", + "option_d": "испарения" + }, + "outputs": "A", + "meta": { + "id": 629 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В круговороте воды есть несколько стадий, и все перечисленные пункты являются одной из стадий, кроме\nA) процедуры\nB) конденсации\nC) выпадения осадков\nD) испарения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007220838684588671, + "B": 0.9457433223724365, + "C": 0.0030100937001407146, + "D": 0.002068805042654276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещь, которая очень мало движется в течение довольно долгого времени, - это", + "option_a": "стая волков", + "option_b": "гигантский ледяной массив", + "option_c": "падающие камни", + "option_d": "скаковые лошади" + }, + "outputs": "B", + "meta": { + "id": 614 + } + }, + "prompt": "<|im_start|>user\nВещь, которая очень мало движется в течение довольно долгого времени, - это\nA. стая волков\nB. гигантский ледяной массив\nC. падающие камни\nD. скаковые лошади\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8850419521331787, + "B": 0.004098557401448488, + "C": 0.0011742563219740987, + "D": 0.014305369928479195 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если с веществом контактирует _____ вода, это скорее может вызвать химическую реакцию", + "option_a": "горячая", + "option_b": "замороженная", + "option_c": "испарившаяся", + "option_d": "напуганная" + }, + "outputs": "A", + "meta": { + "id": 921 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если с веществом контактирует _____ вода, это скорее может вызвать химическую реакцию\nA. горячая\nB. замороженная\nC. испарившаяся\nD. напуганная\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0007624989957548678, + "B": 0.00019278994295746088, + "C": 0.0011094295186921954, + "D": 0.947517991065979 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Преломление", + "option_a": "заставляет объекты казаться вдвое больше своего размера", + "option_b": "перемещает тепловую энергию через звуковые волны", + "option_c": "связано с зеркалами", + "option_d": ", заставляет соломинку казаться сломанной, когда она находится в чашке с водой." + }, + "outputs": "D", + "meta": { + "id": 234 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Преломление\nA) заставляет объекты казаться вдвое больше своего размера\nB) перемещает тепловую энергию через звуковые волны\nC) связано с зеркалами\nD) , заставляет соломинку казаться сломанной, когда она находится в чашке с водой.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.06737519055604935, + "B": 0.26647406816482544, + "C": 0.046306245028972626, + "D": 0.5641255378723145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что в большей степени, хотя и меньше, чем думают некоторые, способствуют повреждению легких, вызванному курением?", + "option_a": "меньше курить", + "option_b": "курить без фильтров", + "option_c": "переход с курения на жевание", + "option_d": "переход на электронные сигареты" + }, + "outputs": "B", + "meta": { + "id": 1003 + } + }, + "prompt": "<|im_start|>user\nЧто в большей степени, хотя и меньше, чем думают некоторые, способствуют повреждению легких, вызванному курением?\nA) меньше курить\nB) курить без фильтров\nC) переход с курения на жевание\nD) переход на электронные сигареты\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.006308301351964474, + "B": 0.9362349510192871, + "C": 0.000664890103507787, + "D": 0.0026296915020793676 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земля вращается вокруг", + "option_a": "источника тепла", + "option_b": "Млечного Пути", + "option_c": "соседней планеты", + "option_d": "Луны" + }, + "outputs": "A", + "meta": { + "id": 1260 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земля вращается вокруг\nA. источника тепла\nB. Млечного Пути\nC. соседней планеты\nD. Луны\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.20687071979045868, + "B": 0.341072142124176, + "C": 0.05926944687962532, + "D": 0.3009951114654541 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько оборотов Луна делает вокруг Земли за весну?", + "option_a": "три", + "option_b": "шесть", + "option_c": "один", + "option_d": "двенадцать" + }, + "outputs": "A", + "meta": { + "id": 272 + } + }, + "prompt": "<|im_start|>user\nСколько оборотов Луна делает вокруг Земли за весну?\nA) три\nB) шесть\nC) один\nD) двенадцать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014544280711561441, + "B": 0.0003677370259538293, + "C": 0.0014544280711561441, + "D": 0.9674006700515747 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С помощью чего можно определить точный размер объекта?", + "option_a": "обычная палочка неправильной формы", + "option_b": "металлическая ложка для приготовления пищи", + "option_c": "термометр со ртутью в нем", + "option_d": "пластиковая лента с градуированными отметками" + }, + "outputs": "D", + "meta": { + "id": 1763 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: С помощью чего можно определить точный размер объекта?\nA) обычная палочка неправильной формы\nB) металлическая ложка для приготовления пищи\nC) термометр со ртутью в нем\nD) пластиковая лента с градуированными отметками\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.14073923230171204, + "B": 0.5566344857215881, + "C": 0.0061836508102715015, + "D": 0.23203976452350616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Закончите предложение. Когда его преследует лев", + "option_a": "баран прыгнет со скалы", + "option_b": "осьминог спрячется под камнем", + "option_c": "гепард будет драться", + "option_d": "жираф бросится прочь" + }, + "outputs": "D", + "meta": { + "id": 106 + } + }, + "prompt": "<|im_start|>user\nЗакончите предложение. Когда его преследует лев\nA) баран прыгнет со скалы\nB) осьминог спрячется под камнем\nC) гепард будет драться\nD) жираф бросится прочь\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8505048155784607, + "B": 0.054370950907468796, + "C": 0.00186047179158777, + "D": 0.005730656441301107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек с дефицитом витамина D и аллергией на солнечный свет может", + "option_a": "смотреть на фотографии", + "option_b": "пить больше воды", + "option_c": "чаще мыться", + "option_d": "есть больше сыра" + }, + "outputs": "D", + "meta": { + "id": 1665 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек с дефицитом витамина D и аллергией на солнечный свет может\nA. смотреть на фотографии\nB. пить больше воды\nC. чаще мыться\nD. есть больше сыра\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.0783509612083435, + "B": 0.06914447993040085, + "C": 0.04752226173877716, + "D": 0.7433732151985168 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где объект испытывает наименьшее давление?", + "option_a": "русло реки", + "option_b": "дно озера", + "option_c": "лужа", + "option_d": "дно океана" + }, + "outputs": "C", + "meta": { + "id": 1018 + } + }, + "prompt": "<|im_start|>user\nГде объект испытывает наименьшее давление?\nA. русло реки\nB. дно озера\nC. лужа\nD. дно океана\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.28896304965019226, + "B": 0.19860121607780457, + "C": 0.22504465281963348, + "D": 0.19860121607780457 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В комнате выключился свет, кто из животных мог найти выключатель?", + "option_a": "Мыши", + "option_b": "Еноты", + "option_c": "Слоны", + "option_d": "Хомяки" + }, + "outputs": "B", + "meta": { + "id": 868 + } + }, + "prompt": "<|im_start|>user\nВ комнате выключился свет, кто из животных мог найти выключатель?\nA) Мыши\nB) Еноты\nC) Слоны\nD) Хомяки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01660652831196785, + "B": 0.9066857099533081, + "C": 0.0015446478500962257, + "D": 0.031025078147649765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые из этих существ с пушистыми бедрами обитают на травянистых участках", + "option_a": "змеи", + "option_b": "олени", + "option_c": "скорпионы", + "option_d": "черепахи" + }, + "outputs": "B", + "meta": { + "id": 602 + } + }, + "prompt": "<|im_start|>user\nНекоторые из этих существ с пушистыми бедрами обитают на травянистых участках\nA. змеи\nB. олени\nC. скорпионы\nD. черепахи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04766298457980156, + "B": 0.8448465466499329, + "C": 0.019868886098265648, + "D": 0.01365567184984684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример теплопроводности:", + "option_a": "Сесть на кровать", + "option_b": "Оставить кочергу одним концом в камине", + "option_c": "Бросить другу большой мяч", + "option_d": "Кричать в мегафон на толпу" + }, + "outputs": "B", + "meta": { + "id": 2074 + } + }, + "prompt": "<|im_start|>user\nПример теплопроводности:\nA) Сесть на кровать\nB) Оставить кочергу одним концом в камине\nC) Бросить другу большой мяч\nD) Кричать в мегафон на толпу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9079416990280151, + "B": 0.0022505626548081636, + "C": 0.0005690312827937305, + "D": 0.0006447969353757799 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что помогает кальмару плавать быстрее, используя толчки своего тела?", + "option_a": "реактивная сила", + "option_b": "тяга", + "option_c": "рост", + "option_d": "наука" + }, + "outputs": "A", + "meta": { + "id": 880 + } + }, + "prompt": "<|im_start|>user\nЧто помогает кальмару плавать быстрее, используя толчки своего тела?\nA. реактивная сила\nB. тяга\nC. рост\nD. наука\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03160889074206352, + "B": 0.00024133686383720487, + "C": 0.0005789370625279844, + "D": 0.9237472414970398 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие люди думают, что вулканы могут существовать только в высоких горах, которые возвышаются над нами, но многие вулканы", + "option_a": "падают в океаны", + "option_b": ", встречаются в ручьях", + "option_c": "плавают на поверхности моря", + "option_d": "находятся и извергаются под водой" + }, + "outputs": "D", + "meta": { + "id": 2100 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Многие люди думают, что вулканы могут существовать только в высоких горах, которые возвышаются над нами, но многие вулканы\nA) падают в океаны\nB) , встречаются в ручьях\nC) плавают на поверхности моря\nD) находятся и извергаются под водой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8852416276931763, + "B": 0.0024864617735147476, + "C": 0.0006286759162321687, + "D": 0.0015081153251230717 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Линька - это когда животное", + "option_a": "избавляется от зимней шерсти", + "option_b": "становится выше", + "option_c": "говорит на большей громкости", + "option_d": "ест свою еду" + }, + "outputs": "A", + "meta": { + "id": 1646 + } + }, + "prompt": "<|im_start|>user\nЛинька - это когда животное\nA) избавляется от зимней шерсти\nB) становится выше\nC) говорит на большей громкости\nD) ест свою еду\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01063357014209032, + "B": 0.0007702931761741638, + "C": 0.0007702931761741638, + "D": 0.9572033882141113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Высокоуглеродистая сталь содержит", + "option_a": "никель", + "option_b": "аммиак", + "option_c": "Na", + "option_d": "Fe" + }, + "outputs": "D", + "meta": { + "id": 2229 + } + }, + "prompt": "<|im_start|>user\nВысокоуглеродистая сталь содержит\nA) никель\nB) аммиак\nC) Na\nD) Fe\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0030726196710020304, + "B": 0.0005339412018656731, + "C": 0.9653883576393127, + "D": 0.001280858414247632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в окружающей среде наступит продолжительная засуха", + "option_a": "животные испытают бум размножения", + "option_b": "растения будут продолжать процветать", + "option_c": "пруды могут высохнуть и убить популяцию рыб", + "option_d": "головастики быстрее превратятся в лягушек" + }, + "outputs": "C", + "meta": { + "id": 1155 + } + }, + "prompt": "<|im_start|>user\nЕсли в окружающей среде наступит продолжительная засуха\nA) животные испытают бум размножения\nB) растения будут продолжать процветать\nC) пруды могут высохнуть и убить популяцию рыб\nD) головастики быстрее превратятся в лягушек\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009295486845076084, + "B": 0.9481654167175293, + "C": 0.00046279505477286875, + "D": 0.00723933195695281 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "95% H2O в мире содержится в", + "option_a": "антарктических льдах", + "option_b": "морях", + "option_c": "арктических льдах", + "option_d": "озерах." + }, + "outputs": "B", + "meta": { + "id": 1959 + } + }, + "prompt": "<|im_start|>user\n95% H2O в мире содержится в\nA. антарктических льдах\nB. морях\nC. арктических льдах\nD. озерах.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003460225649178028, + "B": 0.001272945897653699, + "C": 0.7472006678581238, + "D": 0.21407657861709595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто заинтересован в увеличении количества опылителей, привлеченных к цветам?", + "option_a": "киты", + "option_b": "океаны", + "option_c": "флора", + "option_d": "животные" + }, + "outputs": "C", + "meta": { + "id": 370 + } + }, + "prompt": "<|im_start|>user\nКто заинтересован в увеличении количества опылителей, привлеченных к цветам?\nA) киты\nB) океаны\nC) флора\nD) животные\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002684103325009346, + "B": 0.00017158896662294865, + "C": 0.00036325387191027403, + "D": 0.9556069374084473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина ведет раскопки под деревом высоко в горах. Она ищет интересные камни и, пройдя на полметра в землю, обнаруживает окаменелый скелет рыбы. На основе этого открытия женщина может определить, что", + "option_a": "иногда дождь может перемещать рыбу на возвышенности", + "option_b": "некоторые медведи в горах едят рыбу", + "option_c": "некоторые рыбы могут взбираться на горы", + "option_d": "гора раньше была под водой" + }, + "outputs": "D", + "meta": { + "id": 1044 + } + }, + "prompt": "<|im_start|>user\nЖенщина ведет раскопки под деревом высоко в горах. Она ищет интересные камни и, пройдя на полметра в землю, обнаруживает окаменелый скелет рыбы. На основе этого открытия женщина может определить, что\nA) иногда дождь может перемещать рыбу на возвышенности\nB) некоторые медведи в горах едят рыбу\nC) некоторые рыбы могут взбираться на горы\nD) гора раньше была под водой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.01169397123157978, + "B": 0.9289671778678894, + "C": 0.00295669911429286, + "D": 0.005523840431123972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие два объекта могут быть магнитными?", + "option_a": "сотовый телефон и кофейная кружка", + "option_b": "дерево и линия электропередачи", + "option_c": "кошка и собака", + "option_d": "кредитная карта и ножницы" + }, + "outputs": "D", + "meta": { + "id": 1196 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие два объекта могут быть магнитными?\nA) сотовый телефон и кофейная кружка\nB) дерево и линия электропередачи\nC) кошка и собака\nD) кредитная карта и ножницы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9150996804237366, + "B": 0.0009455702966079116, + "C": 0.00044665581663139164, + "D": 0.0022683055140078068 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода, хотя и ограниченный ресурс, является возобновляемым, потому что", + "option_a": "вода имеет цикл круговорота", + "option_b": "вода трудно высыхает", + "option_c": "вода пригодна для питья", + "option_d": "вода содержится в деревьях" + }, + "outputs": "A", + "meta": { + "id": 685 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вода, хотя и ограниченный ресурс, является возобновляемым, потому что\nA. вода имеет цикл круговорота\nB. вода трудно высыхает\nC. вода пригодна для питья\nD. вода содержится в деревьях\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8651772141456604, + "B": 0.0016701850108802319, + "C": 0.006605709437280893, + "D": 0.06267323344945908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наибольшую плотность имеет вещество у", + "option_a": "золота", + "option_b": "дерева", + "option_c": "воздуха", + "option_d": "воды" + }, + "outputs": "A", + "meta": { + "id": 890 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Наибольшую плотность имеет вещество у\nA. золота\nB. дерева\nC. воздуха\nD. воды\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5268757939338684, + "B": 0.15095244348049164, + "C": 0.11756188422441483, + "D": 0.09155727177858353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В южной части Африки мы с большей вероятностью увидим снег в", + "option_a": "январе", + "option_b": "ноябре", + "option_c": "июле", + "option_d": "марте" + }, + "outputs": "C", + "meta": { + "id": 1756 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В южной части Африки мы с большей вероятностью увидим снег в\nA) январе\nB) ноябре\nC) июле\nD) марте\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0027060590218752623, + "B": 0.0016413078410550952, + "C": 0.9634236693382263, + "D": 0.0008785286918282509 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Львы едят животных", + "option_a": "в среде, отличной от той, в которой они живут", + "option_b": "в воде", + "option_c": "в той же среде, где они живут.", + "option_d": "под землей" + }, + "outputs": "C", + "meta": { + "id": 1868 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Львы едят животных\nA) в среде, отличной от той, в которой они живут\nB) в воде\nC) в той же среде, где они живут.\nD) под землей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0009827163303270936, + "B": 0.01197193656116724, + "C": 0.00028155295876786113, + "D": 0.9510486721992493 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, происходит в пищеварительной системе?", + "option_a": "здесь находится пластик", + "option_b": "воздух входит и выходит", + "option_c": "частицы пищи запекаются", + "option_d": "частицы пищи превращаются в пригодный для использования материал" + }, + "outputs": "D", + "meta": { + "id": 710 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, происходит в пищеварительной системе?\nA) здесь находится пластик\nB) воздух входит и выходит\nC) частицы пищи запекаются\nD) частицы пищи превращаются в пригодный для использования материал\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0048662531189620495, + "B": 0.006248392630368471, + "C": 0.9273436665534973, + "D": 0.028003351762890816 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой небесный объект находится на кратчайшем расстоянии от Земли?", + "option_a": "Марс", + "option_b": "Млечный Путь", + "option_c": "Луна", + "option_d": "Венера" + }, + "outputs": "C", + "meta": { + "id": 1801 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой небесный объект находится на кратчайшем расстоянии от Земли?\nA) Марс\nB) Млечный Путь\nC) Луна\nD) Венера\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5515724420547485, + "B": 0.014698906801640987, + "C": 0.04527582228183746, + "D": 0.29523545503616333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пляжные мячи содержат", + "option_a": "воду", + "option_b": "солнечный свет", + "option_c": "углекислый газ", + "option_d": "пляжный песок" + }, + "outputs": "C", + "meta": { + "id": 1779 + } + }, + "prompt": "<|im_start|>user\nПляжные мячи содержат\nA. воду\nB. солнечный свет\nC. углекислый газ\nD. пляжный песок\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.26597675681114197, + "B": 0.5630727410316467, + "C": 0.017003323882818222, + "D": 0.0762036144733429 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На Луне нет", + "option_a": "кратеров", + "option_b": "H2O", + "option_c": "гравитации", + "option_d": "CO2" + }, + "outputs": "B", + "meta": { + "id": 2010 + } + }, + "prompt": "<|im_start|>user\nНа Луне нет\nA) кратеров\nB) H2O\nC) гравитации\nD) CO2\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 53, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5040269494056702, + "B": 0.02509402483701706, + "C": 0.013431863859295845, + "D": 0.39253661036491394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может дать организму нежелательные приобретенные характеристики?", + "option_a": "погружение ноги в магму", + "option_b": "стремление покинуть гнездо", + "option_c": "обнаружение потенциального партнера", + "option_d": "легкая царапина на его ноге" + }, + "outputs": "A", + "meta": { + "id": 396 + } + }, + "prompt": "<|im_start|>user\nЧто может дать организму нежелательные приобретенные характеристики?\nA) погружение ноги в магму\nB) стремление покинуть гнездо\nC) обнаружение потенциального партнера\nD) легкая царапина на его ноге\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0014404634712263942, + "B": 0.9581122398376465, + "C": 0.00025031500263139606, + "D": 0.0002836440980900079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Акулы живут в жидкости, насыщенной хлоридом натрия, потому что это позволяет им", + "option_a": "самообразовываться", + "option_b": "иметь повышенную плавучесть", + "option_c": "есть людей", + "option_d": "сниматься в фильмах" + }, + "outputs": "B", + "meta": { + "id": 1726 + } + }, + "prompt": "<|im_start|>user\nАкулы живут в жидкости, насыщенной хлоридом натрия, потому что это позволяет им\nA. самообразовываться\nB. иметь повышенную плавучесть\nC. есть людей\nD. сниматься в фильмах\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.006082522217184305, + "B": 0.002237634966149926, + "C": 0.9027263522148132, + "D": 0.05092833936214447 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы великий путешественник по воде провел инвентаризацию своих инструментов, что было бы среди них обязательно?", + "option_a": "большая кухонная ложка", + "option_b": "большая разделочная доска", + "option_c": "предмет, указывающий на север", + "option_d": "большой трубогиб" + }, + "outputs": "C", + "meta": { + "id": 1242 + } + }, + "prompt": "<|im_start|>user\nЕсли бы великий путешественник по воде провел инвентаризацию своих инструментов, что было бы среди них обязательно?\nA) большая кухонная ложка\nB) большая разделочная доска\nC) предмет, указывающий на север\nD) большой трубогиб\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.06318587064743042, + "B": 0.8722540140151978, + "C": 0.001157289487309754, + "D": 0.0021621016785502434 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может в конечном итоге способствовать получению опьяняющего напитка?", + "option_a": "початок кукурузы", + "option_b": "все это", + "option_c": "порция пирога", + "option_d": "палочка мороженого" + }, + "outputs": "A", + "meta": { + "id": 299 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может в конечном итоге способствовать получению опьяняющего напитка?\nA. початок кукурузы\nB. все это\nC. порция пирога\nD. палочка мороженого\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16441798210144043, + "B": 0.08800659328699112, + "C": 0.21111686527729034, + "D": 0.44693437218666077 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетке в организмах с одной клеткой", + "option_a": "стоит научиться специализироваться", + "option_b": "можно свободно специализироваться", + "option_c": "не во всех случаях известно, что такое специализация", + "option_d": "запрещено специализироваться" + }, + "outputs": "D", + "meta": { + "id": 765 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Клетке в организмах с одной клеткой\nA) стоит научиться специализироваться\nB) можно свободно специализироваться\nC) не во всех случаях известно, что такое специализация\nD) запрещено специализироваться\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.30953508615493774, + "B": 0.14621403813362122, + "C": 0.04746874421834946, + "D": 0.39745092391967773 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые ящерицы могут жить в", + "option_a": "средах с недостатком кислорода", + "option_b": "условиях отсутствия пищи", + "option_c": "условиях невесомости", + "option_d": "в условиях дефицита влаги" + }, + "outputs": "D", + "meta": { + "id": 1226 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые ящерицы могут жить в\nA) средах с недостатком кислорода\nB) условиях отсутствия пищи\nC) условиях невесомости\nD) в условиях дефицита влаги\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.19229866564273834, + "B": 0.5923215746879578, + "C": 0.026024794206023216, + "D": 0.08016200363636017 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорость движения воды через растения ниже", + "option_a": "летом", + "option_b": "зимой", + "option_c": "осенью", + "option_d": "весной" + }, + "outputs": "B", + "meta": { + "id": 593 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Скорость движения воды через растения ниже\nA) летом\nB) зимой\nC) осенью\nD) весной\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8500528335571289, + "B": 0.006490233354270458, + "C": 0.010700586251914501, + "D": 0.03734871745109558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие животные проникли в город из-за", + "option_a": "глобального потепления", + "option_b": "привлекательности зданий", + "option_c": "вырубки леса", + "option_d": "теплых улиц" + }, + "outputs": "C", + "meta": { + "id": 1847 + } + }, + "prompt": "<|im_start|>user\nМногие животные проникли в город из-за\nA. глобального потепления\nB. привлекательности зданий\nC. вырубки леса\nD. теплых улиц\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002660755068063736, + "B": 0.001256851595826447, + "C": 0.0003177818434778601, + "D": 0.9472943544387817 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто лучше видит сквозь подземный туннель?", + "option_a": "мальчик с ручкой", + "option_b": "мужчина с палкой", + "option_c": "мужчина с ложкой", + "option_d": "мужчина со свечой и спичкой" + }, + "outputs": "D", + "meta": { + "id": 2212 + } + }, + "prompt": "<|im_start|>user\nКто лучше видит сквозь подземный туннель?\nA) мальчик с ручкой\nB) мужчина с палкой\nC) мужчина с ложкой\nD) мужчина со свечой и спичкой\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010186568833887577, + "B": 0.0037474290002137423, + "C": 0.024436306208372116, + "D": 0.916965663433075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветы начинают умирать, когда", + "option_a": "их ставят на свет", + "option_b": "их поют", + "option_c": "им дают воду", + "option_d": "их вытаскивают из земли" + }, + "outputs": "D", + "meta": { + "id": 157 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Цветы начинают умирать, когда\nA) их ставят на свет\nB) их поют\nC) им дают воду\nD) их вытаскивают из земли\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.06455017626285553, + "B": 0.056965332478284836, + "C": 0.03915166109800339, + "D": 0.7863821387290955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Меньше времени в душе", + "option_a": "истощает огромные запасы воды", + "option_b": "вредно для окружающей среды", + "option_c": "оставляет больше запасов воды в водонагревателе", + "option_d": "расходует больше воды" + }, + "outputs": "C", + "meta": { + "id": 2198 + } + }, + "prompt": "<|im_start|>user\nМеньше времени в душе\nA) истощает огромные запасы воды\nB) вредно для окружающей среды\nC) оставляет больше запасов воды в водонагревателе\nD) расходует больше воды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.051589176058769226, + "B": 0.48946449160575867, + "C": 0.01674855314195156, + "D": 0.3811953365802765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жар от солнца, высокие волны и страшные штормы воздействуют на большой валун на берегу. Через несколько сотен лет там, где стоял валун, теперь просто", + "option_a": "кошки", + "option_b": "деревья", + "option_c": "кукуруза", + "option_d": "земля" + }, + "outputs": "D", + "meta": { + "id": 215 + } + }, + "prompt": "<|im_start|>user\nЖар от солнца, высокие волны и страшные штормы воздействуют на большой валун на берегу. Через несколько сотен лет там, где стоял валун, теперь просто\nA) кошки\nB) деревья\nC) кукуруза\nD) земля\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.08374259620904922, + "B": 0.13806819915771484, + "C": 0.17728306353092194, + "D": 0.5460702776908875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где белый медведь был бы счастливее всего?", + "option_a": "везде, где можно было построить иглу", + "option_b": "в куче искусственного снега в пустыне", + "option_c": "в той же стране, где кенгуру живут в дикой природе", + "option_d": "в отапливаемом доме" + }, + "outputs": "A", + "meta": { + "id": 625 + } + }, + "prompt": "<|im_start|>user\nГде белый медведь был бы счастливее всего?\nA) везде, где можно было построить иглу\nB) в куче искусственного снега в пустыне\nC) в той же стране, где кенгуру живут в дикой природе\nD) в отапливаемом доме\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007870022673159838, + "B": 0.00022547991829924285, + "C": 0.9779669046401978, + "D": 0.00047734103281982243 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вырабатывает кислород при помощи фотосинтеза?", + "option_a": "озера", + "option_b": "автомобильные двигатели", + "option_c": "подсолнухи", + "option_d": "люди" + }, + "outputs": "C", + "meta": { + "id": 291 + } + }, + "prompt": "<|im_start|>user\nЧто вырабатывает кислород при помощи фотосинтеза?\nA) озера\nB) автомобильные двигатели\nC) подсолнухи\nD) люди\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1636984497308731, + "B": 0.23817983269691467, + "C": 0.4449784755706787, + "D": 0.07732565701007843 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фонарик можно использовать, чтобы", + "option_a": "путешествовать в космос", + "option_b": "стать светлячком", + "option_c": "создать тепло", + "option_d": "собирать магию" + }, + "outputs": "C", + "meta": { + "id": 1936 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Фонарик можно использовать, чтобы\nA) путешествовать в космос\nB) стать светлячком\nC) создать тепло\nD) собирать магию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09691005200147629, + "B": 0.8114179372787476, + "C": 0.004257930442690849, + "D": 0.01021424401551485 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Катящиеся камни, скорее всего, убьют вас во время", + "option_a": "в бассейне", + "option_b": "похода на гору", + "option_c": "на концерте", + "option_d": "на кукурузном поле" + }, + "outputs": "B", + "meta": { + "id": 133 + } + }, + "prompt": "<|im_start|>user\nКатящиеся камни, скорее всего, убьют вас во время\nA. в бассейне\nB. похода на гору\nC. на концерте\nD. на кукурузном поле\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.13991598784923553, + "B": 0.7105520963668823, + "C": 0.014747037552297115, + "D": 0.0660916343331337 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда ртуть в градуснике поднимается, на что это указывает?", + "option_a": "все эти варианты верны", + "option_b": "рост температуры", + "option_c": "поднимается температура", + "option_d": "повышение температуры" + }, + "outputs": "A", + "meta": { + "id": 781 + } + }, + "prompt": "<|im_start|>user\nКогда ртуть в градуснике поднимается, на что это указывает?\nA. все эти варианты верны\nB. рост температуры\nC. поднимается температура\nD. повышение температуры\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.91257643699646, + "B": 0.0005719359614886343, + "C": 0.005426377523690462, + "D": 0.0032912646420300007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что штормы могут сделать с семенами на больших высотах?", + "option_a": "рассеять их", + "option_b": "посадить их", + "option_c": "уничтожить их", + "option_d": "утопить их" + }, + "outputs": "A", + "meta": { + "id": 437 + } + }, + "prompt": "<|im_start|>user\nЧто штормы могут сделать с семенами на больших высотах?\nA. рассеять их\nB. посадить их\nC. уничтожить их\nD. утопить их\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1927129030227661, + "B": 0.46229422092437744, + "C": 0.06256472319364548, + "D": 0.21837234497070312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пауки могут ловить добычу, выполняя все, кроме", + "option_a": "построения паутины", + "option_b": "воя", + "option_c": "охоты", + "option_d": "построения ловушек" + }, + "outputs": "B", + "meta": { + "id": 672 + } + }, + "prompt": "<|im_start|>user\nПауки могут ловить добычу, выполняя все, кроме\nA. построения паутины\nB. воя\nC. охоты\nD. построения ловушек\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.000996760674752295, + "B": 0.0018621941562741995, + "C": 0.9646404385566711, + "D": 0.0014502782141789794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет показать кому-то, что он потерял деньги, занимаясь своим бизнесом. Они решают использовать график, который показывает", + "option_a": "больше денег", + "option_b": "обведенные предметы", + "option_c": "взлеты и падения прибыли", + "option_d": "изображения кошек" + }, + "outputs": "C", + "meta": { + "id": 589 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек хочет показать кому-то, что он потерял деньги, занимаясь своим бизнесом. Они решают использовать график, который показывает\nA) больше денег\nB) обведенные предметы\nC) взлеты и падения прибыли\nD) изображения кошек\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.19835443794727325, + "B": 0.6923249959945679, + "C": 0.009875485673546791, + "D": 0.01844983734190464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если ящерица не может получить достаточное количество питательных веществ в течение долгого периода времени, результатом может быть", + "option_a": "прекращение существования", + "option_b": "замедленное движение", + "option_c": "ощущение холода", + "option_d": "поиск пищи" + }, + "outputs": "A", + "meta": { + "id": 1359 + } + }, + "prompt": "<|im_start|>user\nЕсли ящерица не может получить достаточное количество питательных веществ в течение долгого периода времени, результатом может быть\nA) прекращение существования\nB) замедленное движение\nC) ощущение холода\nD) поиск пищи\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04918024316430092, + "B": 0.8717405796051025, + "C": 0.010973595082759857, + "D": 0.010973595082759857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что может выветриться, когда корни растений высохнут и ослабнут?", + "option_a": "птичьи перья", + "option_b": "грунтовая дорога", + "option_c": "человеческие ноги", + "option_d": "океанские волны" + }, + "outputs": "B", + "meta": { + "id": 1937 + } + }, + "prompt": "<|im_start|>user\nТо, что может выветриться, когда корни растений высохнут и ослабнут?\nA. птичьи перья\nB. грунтовая дорога\nC. человеческие ноги\nD. океанские волны\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.6902176141738892, + "B": 0.13591189682483673, + "C": 0.018393676728010178, + "D": 0.06420023739337921 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не ест белка?", + "option_a": "растения", + "option_b": "животные", + "option_c": "фрукты", + "option_d": "семена" + }, + "outputs": "B", + "meta": { + "id": 718 + } + }, + "prompt": "<|im_start|>user\nЧто не ест белка?\nA) растения\nB) животные\nC) фрукты\nD) семена\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 56, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008251354098320007, + "B": 0.007281794212758541, + "C": 0.9537268877029419, + "D": 0.005671067163348198 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что такое конкуренция в мире животных?", + "option_a": "газели и зебры, живущие на равнинах", + "option_b": "акула и марлин, быстро плывущие", + "option_c": "волки и медведи, борющиеся за доступ к одному типу пищи", + "option_d": "волчонок, помогающий носорогу" + }, + "outputs": "C", + "meta": { + "id": 1127 + } + }, + "prompt": "<|im_start|>user\nЧто такое конкуренция в мире животных?\nA. газели и зебры, живущие на равнинах\nB. акула и марлин, быстро плывущие\nC. волки и медведи, борющиеся за доступ к одному типу пищи\nD. волчонок, помогающий носорогу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003055621637031436, + "B": 0.00019533935119397938, + "C": 8.142954902723432e-05, + "D": 0.960047721862793 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если тепло перемещается от одного предмета к другому, и один из них является источником тепла, этим источником, скорее всего, будет", + "option_a": "камень", + "option_b": "вентиляция", + "option_c": "луна", + "option_d": "солнце" + }, + "outputs": "D", + "meta": { + "id": 702 + } + }, + "prompt": "<|im_start|>user\nЕсли тепло перемещается от одного предмета к другому, и один из них является источником тепла, этим источником, скорее всего, будет\nA. камень\nB. вентиляция\nC. луна\nD. солнце\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.047831758856773376, + "B": 0.01370402704924345, + "C": 0.8478381633758545, + "D": 0.008311913348734379 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Домашнее животное с ластами иногда содержится в", + "option_a": "складном металлическом ящике с дверцей", + "option_b": "в мягкой подушке и круглым отверстием", + "option_c": "в прозрачном контейнере с лампой, водоемом и с имитацией дерева", + "option_d": "в клетке с колесом и трубами." + }, + "outputs": "C", + "meta": { + "id": 1057 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Домашнее животное с ластами иногда содержится в\nA) складном металлическом ящике с дверцей\nB) в мягкой подушке и круглым отверстием\nC) в прозрачном контейнере с лампой, водоемом и с имитацией дерева\nD) в клетке с колесом и трубами.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.7934939861297607, + "B": 0.00030163006158545613, + "C": 0.004163874313235283, + "D": 0.07380643486976624 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "35 процентов судьбы чего зависит от опыления?", + "option_a": "цветы", + "option_b": "люди", + "option_c": "посевы", + "option_d": "пчелы" + }, + "outputs": "C", + "meta": { + "id": 352 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: 35 процентов судьбы чего зависит от опыления?\nA) цветы\nB) люди\nC) посевы\nD) пчелы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9369679093360901, + "B": 0.0005872227484360337, + "C": 0.0001086253032553941, + "D": 0.00014847317652311176 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лазерные анемометры помогают производителям автомобилей, самолетов и космических аппаратов создавать эффективные конструкции транспортных средств, которые", + "option_a": "проходят сквозь воздух легче, с меньшим сопротивлением среды", + "option_b": "увеличивают сопротивление воздуха, проходящего мимо них", + "option_c": "уменьшают выхлопные газы от транспортных средств", + "option_d": "увеличивают расход топлива транспортных средств" + }, + "outputs": "A", + "meta": { + "id": 154 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лазерные анемометры помогают производителям автомобилей, самолетов и космических аппаратов создавать эффективные конструкции транспортных средств, которые\nA. проходят сквозь воздух легче, с меньшим сопротивлением среды\nB. увеличивают сопротивление воздуха, проходящего мимо них\nC. уменьшают выхлопные газы от транспортных средств\nD. увеличивают расход топлива транспортных средств\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0020241052843630314, + "B": 0.0010834253625944257, + "C": 0.007064820732921362, + "D": 0.9253090023994446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может помочь тому, кто пытается сэкономить?", + "option_a": "пластиковая вилка", + "option_b": "бумажное полотенце", + "option_c": "транспортировочная коробка", + "option_d": "менструальная чаша" + }, + "outputs": "D", + "meta": { + "id": 904 + } + }, + "prompt": "<|im_start|>user\nЧто может помочь тому, кто пытается сэкономить?\nA. пластиковая вилка\nB. бумажное полотенце\nC. транспортировочная коробка\nD. менструальная чаша\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.4295196831226349, + "B": 0.4867095649242401, + "C": 0.0028940807096660137, + "D": 0.011446312069892883 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример воспроизводства во взрослом возрасте?", + "option_a": "люди не могут воспроизводить потомство, пока они не станут законными взрослыми", + "option_b": "кошки не могут производить потомство пока они не станут половозрелыми", + "option_c": "собаки не могут иметь щенков, пока им не исполнится два года", + "option_d": "яйца не могут быть оплодотворены до того, как они будут отложены" + }, + "outputs": "B", + "meta": { + "id": 1636 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков пример воспроизводства во взрослом возрасте?\nA. люди не могут воспроизводить потомство, пока они не станут законными взрослыми\nB. кошки не могут производить потомство пока они не станут половозрелыми\nC. собаки не могут иметь щенков, пока им не исполнится два года\nD. яйца не могут быть оплодотворены до того, как они будут отложены\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6480854153633118, + "B": 0.12761558592319489, + "C": 0.022176263853907585, + "D": 0.08770882338285446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дистанционное устройство может питаться от", + "option_a": "горящего пламени", + "option_b": "небольшого взрыва", + "option_c": "бегущей овцы", + "option_d": "порыва ветра" + }, + "outputs": "D", + "meta": { + "id": 1753 + } + }, + "prompt": "<|im_start|>user\nДистанционное устройство может питаться от\nA) горящего пламени\nB) небольшого взрыва\nC) бегущей овцы\nD) порыва ветра\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8998157382011414, + "B": 0.0004976740456186235, + "C": 0.0003018545685335994, + "D": 0.0009297775104641914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Компас использует железо для определения направления северного", + "option_a": "магнитного полюса", + "option_b": "сияния", + "option_c": "берега моря", + "option_d": "Кавказа" + }, + "outputs": "A", + "meta": { + "id": 1529 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Компас использует железо для определения направления северного\nA. магнитного полюса\nB. сияния\nC. берега моря\nD. Кавказа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0016497820615768433, + "B": 0.0002866891445592046, + "C": 0.00047267047921195626, + "D": 0.9683979749679565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные едят других животных?", + "option_a": "травоядные животные", + "option_b": "бактерии", + "option_c": "жирафы", + "option_d": "мясоеды" + }, + "outputs": "D", + "meta": { + "id": 1046 + } + }, + "prompt": "<|im_start|>user\nКакие животные едят других животных?\nA. травоядные животные\nB. бактерии\nC. жирафы\nD. мясоеды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.0365351140499115, + "B": 0.006348850671201944, + "C": 0.8315353989601135, + "D": 0.07734483480453491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример инстинктивного поведения - птенец клюет свою скорлупу зачем?", + "option_a": "выйти", + "option_b": "спрятаться", + "option_c": "съесть", + "option_d": "остаться внутри" + }, + "outputs": "A", + "meta": { + "id": 237 + } + }, + "prompt": "<|im_start|>user\nПример инстинктивного поведения - птенец клюет свою скорлупу зачем?\nA) выйти\nB) спрятаться\nC) съесть\nD) остаться внутри\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003042165655642748, + "B": 0.00024971613311208785, + "C": 0.00019447914382908493, + "D": 0.9558200240135193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой климат характерен для пустынь?", + "option_a": "умеренный", + "option_b": "комфортный", + "option_c": "замерзший", + "option_d": "знойный" + }, + "outputs": "D", + "meta": { + "id": 44 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой климат характерен для пустынь?\nA. умеренный\nB. комфортный\nC. замерзший\nD. знойный\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0034051041584461927, + "B": 0.0005917183589190245, + "C": 0.0006705047562718391, + "D": 0.9441410303115845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Угольная шахта - это", + "option_a": "человек, который добывает уголь", + "option_b": "камень редкого типа", + "option_c": "место, где перерабатывается уголь", + "option_d": "место под землей, где добывается уголь" + }, + "outputs": "D", + "meta": { + "id": 514 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Угольная шахта - это\nA) человек, который добывает уголь\nB) камень редкого типа\nC) место, где перерабатывается уголь\nD) место под землей, где добывается уголь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9035574197769165, + "B": 0.0010579569498077035, + "C": 0.0006416833493858576, + "D": 0.005372748710215092 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые птицы находят дорогу по", + "option_a": "геомагнитным линиям", + "option_b": "дорожным знакам", + "option_c": "яйцам", + "option_d": "ориентирам" + }, + "outputs": "A", + "meta": { + "id": 278 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые птицы находят дорогу по\nA) геомагнитным линиям\nB) дорожным знакам\nC) яйцам\nD) ориентирам\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011433785548433661, + "B": 0.0001753427932271734, + "C": 0.9765125513076782, + "D": 0.00015473946405109018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В грязи есть питательные вещества, такие как магний, и эти питательные вещества могут быть", + "option_a": "отравлены", + "option_b": "подожжены", + "option_c": "полезны растениям", + "option_d": "полезны для обучения чтению" + }, + "outputs": "C", + "meta": { + "id": 149 + } + }, + "prompt": "<|im_start|>user\nВ грязи есть питательные вещества, такие как магний, и эти питательные вещества могут быть\nA) отравлены\nB) подожжены\nC) полезны растениям\nD) полезны для обучения чтению\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0018490152433514595, + "B": 9.205704554915428e-05, + "C": 2.3275666535482742e-05, + "D": 0.957813560962677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нечто, состоящее из клеток, будет расти и расширяться, но сначала потребует", + "option_a": "вращения", + "option_b": "скумбрии", + "option_c": "сладостей", + "option_d": "питания" + }, + "outputs": "D", + "meta": { + "id": 375 + } + }, + "prompt": "<|im_start|>user\nНечто, состоящее из клеток, будет расти и расширяться, но сначала потребует\nA) вращения\nB) скумбрии\nC) сладостей\nD) питания\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8644943833351135, + "B": 0.007479341700673103, + "C": 0.0016688667237758636, + "D": 0.026105467230081558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время песчаной бури птица ищет", + "option_a": "червя", + "option_b": "куст", + "option_c": "ручей", + "option_d": "помощника" + }, + "outputs": "B", + "meta": { + "id": 1714 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Во время песчаной бури птица ищет\nA) червя\nB) куст\nC) ручей\nD) помощника\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011165942996740341, + "B": 0.002363830106332898, + "C": 0.9536371231079102, + "D": 0.0014337353641167283 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди могут есть", + "option_a": "только мясные продукты и побочные продукты", + "option_b": "исключительно зерно и фрукты", + "option_c": "полный ассортимент пищевых групп, включая мясо, зерно и овощи", + "option_d": "морских обитателей и только зеленые овощи" + }, + "outputs": "C", + "meta": { + "id": 1268 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди могут есть\nA) только мясные продукты и побочные продукты\nB) исключительно зерно и фрукты\nC) полный ассортимент пищевых групп, включая мясо, зерно и овощи\nD) морских обитателей и только зеленые овощи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02648797258734703, + "B": 0.8771611452102661, + "C": 0.0031635372433811426, + "D": 0.030014803633093834 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что нежелательно в огороде?", + "option_a": "помидоры", + "option_b": "одуванчики", + "option_c": "кукуруза", + "option_d": "зеленый перец" + }, + "outputs": "B", + "meta": { + "id": 2273 + } + }, + "prompt": "<|im_start|>user\nЧто нежелательно в огороде?\nA. помидоры\nB. одуванчики\nC. кукуруза\nD. зеленый перец\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002632795600220561, + "B": 0.9373400807380676, + "C": 0.00014853215543553233, + "D": 0.0008547435281798244 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магнетизм", + "option_a": "требует полного контакта между объектами", + "option_b": "может действовать без контакта между объектами", + "option_c": "может действовать только при контакте", + "option_d": "требует, чтобы объекты касались" + }, + "outputs": "B", + "meta": { + "id": 2015 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Магнетизм\nA. требует полного контакта между объектами\nB. может действовать без контакта между объектами\nC. может действовать только при контакте\nD. требует, чтобы объекты касались\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0027252554427832365, + "B": 0.000884760869666934, + "C": 0.0006890524527989328, + "D": 0.9702581167221069 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером камуфляжа может быть", + "option_a": "смывание макияжа с лица", + "option_b": "выход голым на улицу в дождливый день", + "option_c": "выпечка торта на день рождения", + "option_d": "поведение ската, покрывающего себя песком" + }, + "outputs": "D", + "meta": { + "id": 1992 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером камуфляжа может быть\nA. смывание макияжа с лица\nB. выход голым на улицу в дождливый день\nC. выпечка торта на день рождения\nD. поведение ската, покрывающего себя песком\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0027096427511423826, + "B": 0.0007763256435282528, + "C": 0.9646995663642883, + "D": 0.00506227882578969 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Грубо просить слепого посмотреть на что-то, потому что он", + "option_a": "не может говорить", + "option_b": "не может есть", + "option_c": "не может видеть", + "option_d": "не может жить" + }, + "outputs": "C", + "meta": { + "id": 1777 + } + }, + "prompt": "<|im_start|>user\nГрубо просить слепого посмотреть на что-то, потому что он\nA. не может говорить\nB. не может есть\nC. не может видеть\nD. не может жить\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03076118230819702, + "B": 0.8989735245704651, + "C": 0.008813226595520973, + "D": 0.0025250317994505167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если отмечается возраст зрелого человека, то это происходит каждые", + "option_a": "24 дня", + "option_b": "12 месяцев", + "option_c": "шесть недель", + "option_d": "двенадцать часов" + }, + "outputs": "B", + "meta": { + "id": 1379 + } + }, + "prompt": "<|im_start|>user\nЕсли отмечается возраст зрелого человека, то это происходит каждые\nA. 24 дня\nB. 12 месяцев\nC. шесть недель\nD. двенадцать часов\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1758539229631424, + "B": 0.03923831507563591, + "C": 0.04446283355355263, + "D": 0.6955157518386841 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Потливость - это нормальное явление у океана, потому что", + "option_a": "пустыня более сухая", + "option_b": "океан мокрый", + "option_c": "влажность ниже", + "option_d": "в воздухе больше влаги" + }, + "outputs": "D", + "meta": { + "id": 1255 + } + }, + "prompt": "<|im_start|>user\nПотливость - это нормальное явление у океана, потому что\nA. пустыня более сухая\nB. океан мокрый\nC. влажность ниже\nD. в воздухе больше влаги\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02069193311035633, + "B": 0.01255029160529375, + "C": 0.8798433542251587, + "D": 0.043804820626974106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источник чего-то обеспечивает это что-то, например, как", + "option_a": "облачность являются источником облаков", + "option_b": "воздушность является источником воздуха", + "option_c": "пруды являются источником влаги", + "option_d": "рыбалка является источником рыбы" + }, + "outputs": "C", + "meta": { + "id": 1250 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Источник чего-то обеспечивает это что-то, например, как\nA. облачность являются источником облаков\nB. воздушность является источником воздуха\nC. пруды являются источником влаги\nD. рыбалка является источником рыбы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.017514865845441818, + "B": 0.0006791250198148191, + "C": 0.001119687920436263, + "D": 0.9562792778015137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Травоядным животным нужно запастись едой до зимы, потому что", + "option_a": "растения будут гореть", + "option_b": "растения будут летать", + "option_c": "растения будут плакать", + "option_d": "растения погибнут" + }, + "outputs": "D", + "meta": { + "id": 2296 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Травоядным животным нужно запастись едой до зимы, потому что\nA. растения будут гореть\nB. растения будут летать\nC. растения будут плакать\nD. растения погибнут\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00045754839084111154, + "B": 0.937416136264801, + "C": 0.0004037850012537092, + "D": 0.0010976013727486134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если тереть камни друг об друга, через некоторое время они", + "option_a": "превратятся в бабочек", + "option_b": "станут гладкими", + "option_c": "превратятся в объекты искусства", + "option_d": "образуют стул" + }, + "outputs": "B", + "meta": { + "id": 1200 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если тереть камни друг об друга, через некоторое время они\nA) превратятся в бабочек\nB) станут гладкими\nC) превратятся в объекты искусства\nD) образуют стул\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007651292253285646, + "B": 0.0008670050301589072, + "C": 0.9507864117622375, + "D": 0.005653582513332367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где безопаснее всего дышать?", + "option_a": "угольный завод", + "option_b": "нефтеперерабатывающий завод", + "option_c": "ветряная мельница", + "option_d": "автомобиль" + }, + "outputs": "C", + "meta": { + "id": 1248 + } + }, + "prompt": "<|im_start|>user\nГде безопаснее всего дышать?\nA. угольный завод\nB. нефтеперерабатывающий завод\nC. ветряная мельница\nD. автомобиль\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8614339232444763, + "B": 0.029476646333932877, + "C": 0.003106815740466118, + "D": 0.00512227276340127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Аскольд заметил, что его собака оставляет на диване намного больше шерсти, чем месяц назад. Это может быть потому, что", + "option_a": "время года меняется с осени на зиму", + "option_b": "время года меняется с зимы на весну", + "option_c": "собака - голая порода", + "option_d": "светит полная луна" + }, + "outputs": "B", + "meta": { + "id": 2157 + } + }, + "prompt": "<|im_start|>user\nАскольд заметил, что его собака оставляет на диване намного больше шерсти, чем месяц назад. Это может быть потому, что\nA. время года меняется с осени на зиму\nB. время года меняется с зимы на весну\nC. собака - голая порода\nD. светит полная луна\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.06951632350683212, + "B": 0.5820530652999878, + "C": 0.06951632350683212, + "D": 0.2141253799200058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Антон пропустил прилив, поэтому ему пришлось ждать, когда он увидит прилив снова. Когда это произойдет?", + "option_a": "завтра", + "option_b": "в следующем месяце", + "option_c": "в следующем году", + "option_d": "никогда" + }, + "outputs": "A", + "meta": { + "id": 1180 + } + }, + "prompt": "<|im_start|>user\nАнтон пропустил прилив, поэтому ему пришлось ждать, когда он увидит прилив снова. Когда это произойдет?\nA. завтра\nB. в следующем месяце\nC. в следующем году\nD. никогда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0008740370976738632, + "B": 0.0004128658911213279, + "C": 0.0004128658911213279, + "D": 0.9584980607032776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лампы, преобразующие электричество в свет и тепло, известны как", + "option_a": "свечи.", + "option_b": "люминесцентные", + "option_c": "светодиодные", + "option_d": "лампы накаливания" + }, + "outputs": "D", + "meta": { + "id": 1158 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лампы, преобразующие электричество в свет и тепло, известны как\nA. свечи.\nB. люминесцентные\nC. светодиодные\nD. лампы накаливания\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0006094479467719793, + "B": 0.0002540556888561696, + "C": 0.003095032414421439, + "D": 0.9724302291870117 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При работе с химическими веществами в лаборатории, чтобы избежать травм, поступайте так:", + "option_a": "пытайтесь поджечь все химические вещества", + "option_b": "смешивайте вещества вместе, не зная, что они собой представляют", + "option_c": "выпейте по образцу каждого из химикатов", + "option_d": "прикрывайте глаза защитными очками" + }, + "outputs": "D", + "meta": { + "id": 756 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При работе с химическими веществами в лаборатории, чтобы избежать травм, поступайте так:\nA) пытайтесь поджечь все химические вещества\nB) смешивайте вещества вместе, не зная, что они собой представляют\nC) выпейте по образцу каждого из химикатов\nD) прикрывайте глаза защитными очками\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1402442306280136, + "B": 0.00256866286508739, + "C": 0.0005057996604591608, + "D": 0.8070498704910278 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организм-производитель самостоятельно изготавливает", + "option_a": "свое тело", + "option_b": "траву", + "option_c": "воздух", + "option_d": "себе пропитание" + }, + "outputs": "D", + "meta": { + "id": 1276 + } + }, + "prompt": "<|im_start|>user\nОрганизм-производитель самостоятельно изготавливает\nA) свое тело\nB) траву\nC) воздух\nD) себе пропитание\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9299908876419067, + "B": 0.0029599573463201523, + "C": 0.0008480419055558741, + "D": 0.0026121530681848526 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, превратило останки доисторических живых существ в природный газ?", + "option_a": "вулканические реакции", + "option_b": "огонь", + "option_c": "гром", + "option_d": "воздушные потоки" + }, + "outputs": "A", + "meta": { + "id": 1768 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, превратило останки доисторических живых существ в природный газ?\nA. вулканические реакции\nB. огонь\nC. гром\nD. воздушные потоки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03995576128363609, + "B": 0.9093888998031616, + "C": 0.0005699382745660841, + "D": 0.004211306571960449 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в воздух попадает больше загрязняющих веществ, что происходит с температурой планеты?", + "option_a": "падает", + "option_b": "поднимается", + "option_c": "становится устойчивой", + "option_d": "становится нестабильной" + }, + "outputs": "B", + "meta": { + "id": 633 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если в воздух попадает больше загрязняющих веществ, что происходит с температурой планеты?\nA. падает\nB. поднимается\nC. становится устойчивой\nD. становится нестабильной\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.21660585701465607, + "B": 0.45855459570884705, + "C": 0.19115398824214935, + "D": 0.07032162696123123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обитает в своей среде обитания?", + "option_a": "георгины", + "option_b": "камни", + "option_c": "озера", + "option_d": "обувь" + }, + "outputs": "A", + "meta": { + "id": 715 + } + }, + "prompt": "<|im_start|>user\nЧто обитает в своей среде обитания?\nA) георгины\nB) камни\nC) озера\nD) обувь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.920647919178009, + "B": 0.0009513033437542617, + "C": 0.0006538205780088902, + "D": 0.007965165190398693 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На определенной стадии жизненного цикла насекомое создаёт кокон и переходит в стадию куколки, в конечном итоге это пример", + "option_a": "приспособления", + "option_b": "развлечения", + "option_c": "сгорания", + "option_d": "сбора питательных веществ" + }, + "outputs": "A", + "meta": { + "id": 545 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На определенной стадии жизненного цикла насекомое создаёт кокон и переходит в стадию куколки, в конечном итоге это пример\nA) приспособления\nB) развлечения\nC) сгорания\nD) сбора питательных веществ\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.017941854894161224, + "B": 0.8644870519638062, + "C": 0.004536411724984646, + "D": 0.055264804512262344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Раньше многие земноводные ели", + "option_a": "мясо", + "option_b": "водоросли", + "option_c": "жуков", + "option_d": "мух" + }, + "outputs": "B", + "meta": { + "id": 1592 + } + }, + "prompt": "<|im_start|>user\nРаньше многие земноводные ели\nA) мясо\nB) водоросли\nC) жуков\nD) мух\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06114904582500458, + "B": 0.8441364765167236, + "C": 0.0023710057139396667, + "D": 0.028884761035442352 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как продажи iPod резко падают, Apple сообщает о значительном", + "option_a": "росте цен", + "option_b": "снижении цен", + "option_c": "росте увольнений", + "option_d": "приросте" + }, + "outputs": "B", + "meta": { + "id": 1289 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере того, как продажи iPod резко падают, Apple сообщает о значительном\nA. росте цен\nB. снижении цен\nC. росте увольнений\nD. приросте\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11537688970565796, + "B": 0.3136269152164459, + "C": 0.4563244581222534, + "D": 0.03745739161968231 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько раз в 365,3 дня бывает равноденствие?", + "option_a": "3", + "option_b": "1", + "option_c": "2", + "option_d": "4" + }, + "outputs": "C", + "meta": { + "id": 730 + } + }, + "prompt": "<|im_start|>user\nСколько раз в 365,3 дня бывает равноденствие?\nA. 3\nB. 1\nC. 2\nD. 4\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.023120032623410225, + "B": 0.003545571817085147, + "C": 0.5262095332145691, + "D": 0.40981239080429077 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если держать большой валун под прямыми солнечными лучами, он может", + "option_a": "стать мощным", + "option_b": "стать больше", + "option_c": "потерять часть массы", + "option_d": "стать холоднее" + }, + "outputs": "C", + "meta": { + "id": 1702 + } + }, + "prompt": "<|im_start|>user\nЕсли держать большой валун под прямыми солнечными лучами, он может\nA. стать мощным\nB. стать больше\nC. потерять часть массы\nD. стать холоднее\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02169128507375717, + "B": 0.9223368763923645, + "C": 0.00228624464944005, + "D": 0.0020176037214696407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что создают организмы-продуценты?", + "option_a": "воздух", + "option_b": "пропитание", + "option_c": "тело", + "option_d": "трава" + }, + "outputs": "B", + "meta": { + "id": 1278 + } + }, + "prompt": "<|im_start|>user\nЧто создают организмы-продуценты?\nA) воздух\nB) пропитание\nC) тело\nD) трава\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008203425444662571, + "B": 0.004975629039108753, + "C": 0.9481870532035828, + "D": 0.004390977323055267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что помогает проглоченным семенам не раствориться в желудках животных и птиц и распространяться дальше по округе?", + "option_a": "грязь", + "option_b": "трава", + "option_c": "твердые оболочки", + "option_d": "бережное отношение животных к семенам" + }, + "outputs": "C", + "meta": { + "id": 1130 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что помогает проглоченным семенам не раствориться в желудках животных и птиц и распространяться дальше по округе?\nA. грязь\nB. трава\nC. твердые оболочки\nD. бережное отношение животных к семенам\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9079431891441345, + "B": 0.001365037402138114, + "C": 0.0002372079179622233, + "D": 0.0012046413030475378 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что может помочь живому существу продлить жизнь, - это", + "option_a": "адаптация к изменениям", + "option_b": "отрицание собственной усталости", + "option_c": "принятие неправильных решений", + "option_d": "жизнь в опасности" + }, + "outputs": "A", + "meta": { + "id": 1032 + } + }, + "prompt": "<|im_start|>user\nТо, что может помочь живому существу продлить жизнь, - это\nA) адаптация к изменениям\nB) отрицание собственной усталости\nC) принятие неправильных решений\nD) жизнь в опасности\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8669906854629517, + "B": 0.00849967822432518, + "C": 0.0035431927535682917, + "D": 0.02310451865196228 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является проводником электрической энергии?", + "option_a": "кобальт", + "option_b": "пластик", + "option_c": "бетон", + "option_d": "красное дерево" + }, + "outputs": "A", + "meta": { + "id": 1219 + } + }, + "prompt": "<|im_start|>user\nЧто является проводником электрической энергии?\nA) кобальт\nB) пластик\nC) бетон\nD) красное дерево\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010458036325871944, + "B": 0.0012490343069657683, + "C": 0.00040550206904299557, + "D": 0.9414023756980896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уменьшение количества деревьев может быть связано с", + "option_a": "дендрофилией", + "option_b": "любителями пеших прогулок", + "option_c": "фотографами-натуралистами", + "option_d": "увеличением продаж бензопил" + }, + "outputs": "D", + "meta": { + "id": 212 + } + }, + "prompt": "<|im_start|>user\nУменьшение количества деревьев может быть связано с\nA. дендрофилией\nB. любителями пеших прогулок\nC. фотографами-натуралистами\nD. увеличением продаж бензопил\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0008598043350502849, + "B": 9.646736725699157e-05, + "C": 0.00024633805151097476, + "D": 0.942889928817749 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Арктические животные часто живут на", + "option_a": "растениях", + "option_b": "почве", + "option_c": "жидкой воде", + "option_d": "льду" + }, + "outputs": "D", + "meta": { + "id": 1232 + } + }, + "prompt": "<|im_start|>user\nАрктические животные часто живут на\nA) растениях\nB) почве\nC) жидкой воде\nD) льду\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.39550092816352844, + "B": 0.053525231778621674, + "C": 0.015335234813392162, + "D": 0.448161244392395 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что станет магнитным в электромагните, если батарея станет активной?", + "option_a": "Строительный гвоздь", + "option_b": "Пластиковый гвоздь", + "option_c": "Короб для гвоздей", + "option_d": "Деревянный гвоздь" + }, + "outputs": "A", + "meta": { + "id": 1713 + } + }, + "prompt": "<|im_start|>user\nЧто станет магнитным в электромагните, если батарея станет активной?\nA) Строительный гвоздь\nB) Пластиковый гвоздь\nC) Короб для гвоздей\nD) Деревянный гвоздь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6402135491371155, + "B": 0.008059099316596985, + "C": 0.0008494228241033852, + "D": 0.26688072085380554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличить количество тепла можно,", + "option_a": "переместившись в теплый климат", + "option_b": "поставив кастрюлю на плиту", + "option_c": "накрыв одеялом", + "option_d": "усилив поток сгорающего газа" + }, + "outputs": "D", + "meta": { + "id": 1314 + } + }, + "prompt": "<|im_start|>user\nУвеличить количество тепла можно,\nA. переместившись в теплый климат\nB. поставив кастрюлю на плиту\nC. накрыв одеялом\nD. усилив поток сгорающего газа\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00643117306753993, + "B": 0.003442358924075961, + "C": 0.954470694065094, + "D": 0.0030378710944205523 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения, привезенные на восток РФ из европейской части России, часто умирают из-за", + "option_a": "плохих методов посадки", + "option_b": "небольших пространств", + "option_c": "неправильного климата", + "option_d": "того, что люди убивают их" + }, + "outputs": "C", + "meta": { + "id": 976 + } + }, + "prompt": "<|im_start|>user\nРастения, привезенные на восток РФ из европейской части России, часто умирают из-за\nA) плохих методов посадки\nB) небольших пространств\nC) неправильного климата\nD) того, что люди убивают их\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00381664140149951, + "B": 0.933901309967041, + "C": 0.00035500293597579, + "D": 0.006292577832937241 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Термометр используется для измерения чего?", + "option_a": "рост", + "option_b": "тепло", + "option_c": "плотность кислорода", + "option_d": "вес" + }, + "outputs": "B", + "meta": { + "id": 112 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Термометр используется для измерения чего?\nA) рост\nB) тепло\nC) плотность кислорода\nD) вес\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4070780575275421, + "B": 0.05509202554821968, + "C": 0.3592451214790344, + "D": 0.09083139896392822 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Строительство чего из следующего может вызвать массовое бегство животных из региона?", + "option_a": "зимний сад", + "option_b": "парк", + "option_c": "лес", + "option_d": "автосалон" + }, + "outputs": "D", + "meta": { + "id": 642 + } + }, + "prompt": "<|im_start|>user\nСтроительство чего из следующего может вызвать массовое бегство животных из региона?\nA) зимний сад\nB) парк\nC) лес\nD) автосалон\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.10339777916669846, + "B": 0.03803791478276253, + "C": 0.7640119791030884, + "D": 0.04310261085629463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему что-то кажется синим?", + "option_a": "отражает ту же длину волны, что и огонь", + "option_b": "отражает ту же длину волны, что и море", + "option_c": "отражает ту же длину волны, что и солнце", + "option_d": "отражает ту же длину волны, что и уголь" + }, + "outputs": "B", + "meta": { + "id": 2327 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Почему что-то кажется синим?\nA) отражает ту же длину волны, что и огонь\nB) отражает ту же длину волны, что и море\nC) отражает ту же длину волны, что и солнце\nD) отражает ту же длину волны, что и уголь\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12031767517328262, + "B": 0.7845697402954102, + "C": 0.0024971135426312685, + "D": 0.02090807445347309 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магнитные модели Земли полезны", + "option_a": "птицам, строящим гнездо", + "option_b": ", птицам, ищущим более теплые места", + "option_c": ", львам, бродящим по Сахаре", + "option_d": ", китам, пытающимся найти себе пару." + }, + "outputs": "B", + "meta": { + "id": 1157 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Магнитные модели Земли полезны\nA. птицам, строящим гнездо\nB. , птицам, ищущим более теплые места\nC. , львам, бродящим по Сахаре\nD. , китам, пытающимся найти себе пару.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0016210740432143211, + "B": 0.013573084957897663, + "C": 0.9515467882156372, + "D": 0.002081500133499503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После периода дискомфорта, увеличения веса и разделения тела с растущим паразитом у самки будет", + "option_a": "пончик", + "option_b": "еда", + "option_c": "потомок", + "option_d": "клон" + }, + "outputs": "C", + "meta": { + "id": 1649 + } + }, + "prompt": "<|im_start|>user\nПосле периода дискомфорта, увеличения веса и разделения тела с растущим паразитом у самки будет\nA) пончик\nB) еда\nC) потомок\nD) клон\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011296139098703861, + "B": 0.5442785024642944, + "C": 0.030706092715263367, + "D": 0.374076783657074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чьего размножения требуется опыление?", + "option_a": "слон", + "option_b": "флора", + "option_c": "птица", + "option_d": "жук" + }, + "outputs": "B", + "meta": { + "id": 298 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чьего размножения требуется опыление?\nA. слон\nB. флора\nC. птица\nD. жук\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.22209668159484863, + "B": 0.08170479536056519, + "C": 0.15264466404914856, + "D": 0.47017866373062134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мышцы тянут за кости, чтобы двигать ими; приведите пример этого", + "option_a": "собака разочарованно покачивает головой", + "option_b": "черепаха закатывает глаза при взгляде на кого-то", + "option_c": "олень шевелит языком во рту", + "option_d": "кошка сморщивает нос от запаха" + }, + "outputs": "A", + "meta": { + "id": 1287 + } + }, + "prompt": "<|im_start|>user\nМышцы тянут за кости, чтобы двигать ими; приведите пример этого\nA) собака разочарованно покачивает головой\nB) черепаха закатывает глаза при взгляде на кого-то\nC) олень шевелит языком во рту\nD) кошка сморщивает нос от запаха\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0007565554114989936, + "B": 0.940132200717926, + "C": 0.0008572896476835012, + "D": 0.0004588740994222462 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда пищеварительная система работает,", + "option_a": "есть не следует", + "option_b": "происходит расщепление питательных веществ", + "option_c": "еда очищается", + "option_d": "приходит время обеда" + }, + "outputs": "B", + "meta": { + "id": 1849 + } + }, + "prompt": "<|im_start|>user\nКогда пищеварительная система работает,\nA) есть не следует\nB) происходит расщепление питательных веществ\nC) еда очищается\nD) приходит время обеда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0011054883943870664, + "B": 0.9441520571708679, + "C": 0.00035889956052415073, + "D": 0.00027951126685366035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При проведении экспериментов обязательно", + "option_a": "ешьте пищу, содержащую химические вещества", + "option_b": "защитите себя от разлива хлористого водорода", + "option_c": "перестаньте записывать данные, пока все не будет сделано", + "option_d": "откажитесь от использования протоколов безопасности" + }, + "outputs": "B", + "meta": { + "id": 1247 + } + }, + "prompt": "<|im_start|>user\nПри проведении экспериментов обязательно\nA) ешьте пищу, содержащую химические вещества\nB) защитите себя от разлива хлористого водорода\nC) перестаньте записывать данные, пока все не будет сделано\nD) откажитесь от использования протоколов безопасности\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.11569228768348694, + "B": 0.00036822317633777857, + "C": 0.00020980725821573287, + "D": 0.8548567891120911 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает возможным приготовление пищи?", + "option_a": "повышение температуры пищи", + "option_b": "стирка пищи", + "option_c": "вкус пищи", + "option_d": "ни один из вариантов не верен" + }, + "outputs": "A", + "meta": { + "id": 1407 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает возможным приготовление пищи?\nA. повышение температуры пищи\nB. стирка пищи\nC. вкус пищи\nD. ни один из вариантов не верен\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013382762670516968, + "B": 0.9382041692733765, + "C": 0.0003147324314340949, + "D": 0.0005879975506104529 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На угольной электростанции электричество", + "option_a": "потребляется", + "option_b": "получается", + "option_c": "укрепляется", + "option_d": "разрушается" + }, + "outputs": "B", + "meta": { + "id": 520 + } + }, + "prompt": "<|im_start|>user\nНа угольной электростанции электричество\nA. потребляется\nB. получается\nC. укрепляется\nD. разрушается\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005955577362328768, + "B": 0.8838860392570496, + "C": 0.001505805877968669, + "D": 0.05650494247674942 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разложение важно для усвоения", + "option_a": "воды", + "option_b": "пищи", + "option_c": "солнечного света", + "option_d": "лекарств" + }, + "outputs": "B", + "meta": { + "id": 1749 + } + }, + "prompt": "<|im_start|>user\nРазложение важно для усвоения\nA. воды\nB. пищи\nC. солнечного света\nD. лекарств\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8758963346481323, + "B": 0.020599108189344406, + "C": 0.0010255691595375538, + "D": 0.002460212679579854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растению, которое требует обильного полива, будет лучше в", + "option_a": "пышной, заросшей вязом местности", + "option_b": "песчаной бесплодной пустыне", + "option_c": "кратерах на Луне", + "option_d": "замерзшей тундре" + }, + "outputs": "A", + "meta": { + "id": 2329 + } + }, + "prompt": "<|im_start|>user\nРастению, которое требует обильного полива, будет лучше в\nA) пышной, заросшей вязом местности\nB) песчаной бесплодной пустыне\nC) кратерах на Луне\nD) замерзшей тундре\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8977280855178833, + "B": 0.0004381768230814487, + "C": 0.000496519380249083, + "D": 0.0025215335190296173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина посещает один и тот же пляж год за годом и начинает замечать изменение в большой каменной стене. Там, где вода касается камня, она замечает, что камень начинает растворяться. Через два года в скале образовалось углубление. Спустя пятьдесят лет женщина обнаруживает, что скала", + "option_a": "теперь имеет грот", + "option_b": "теперь сплошное золото", + "option_c": "вот-вот взорвется", + "option_d": "теперь намного больше" + }, + "outputs": "A", + "meta": { + "id": 946 + } + }, + "prompt": "<|im_start|>user\nЖенщина посещает один и тот же пляж год за годом и начинает замечать изменение в большой каменной стене. Там, где вода касается камня, она замечает, что камень начинает растворяться. Через два года в скале образовалось углубление. Спустя пятьдесят лет женщина обнаруживает, что скала\nA. теперь имеет грот\nB. теперь сплошное золото\nC. вот-вот взорвется\nD. теперь намного больше\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.3937188386917114, + "B": 0.5055449604988098, + "C": 0.0034063353668898344, + "D": 0.03662155568599701 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сулакский каньон был сформирован рекой Сулак, и что происходило в течение долгих периодов времени?", + "option_a": "горение торфа", + "option_b": "таяние снегов", + "option_c": "испарение вод", + "option_d": "стабильное движение вод" + }, + "outputs": "D", + "meta": { + "id": 1987 + } + }, + "prompt": "<|im_start|>user\nСулакский каньон был сформирован рекой Сулак, и что происходило в течение долгих периодов времени?\nA. горение торфа\nB. таяние снегов\nC. испарение вод\nD. стабильное движение вод\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0015975901624187827, + "B": 0.9377620816230774, + "C": 9.012986265588552e-05, + "D": 0.0006659745704382658 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что такое единица измерения тепловой энергии?", + "option_a": "кг", + "option_b": "Дж или калория", + "option_c": "Ньютон или Паскаль", + "option_d": "м" + }, + "outputs": "B", + "meta": { + "id": 1103 + } + }, + "prompt": "<|im_start|>user\nЧто такое единица измерения тепловой энергии?\nA) кг\nB) Дж или калория\nC) Ньютон или Паскаль\nD) м\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.006104529835283756, + "B": 0.031001361086964607, + "C": 0.9059925675392151, + "D": 0.008882039226591587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кучка лавы, которая залегает где-то, могла бы сама по себе создать", + "option_a": "ледяную, замерзшую виллу", + "option_b": "новый дуб", + "option_c": "плоскую возвышенность", + "option_d": "счастливый пейзажный портрет" + }, + "outputs": "C", + "meta": { + "id": 496 + } + }, + "prompt": "<|im_start|>user\nКучка лавы, которая залегает где-то, могла бы сама по себе создать\nA. ледяную, замерзшую виллу\nB. новый дуб\nC. плоскую возвышенность\nD. счастливый пейзажный портрет\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.000532988051418215, + "B": 0.0001049515776685439, + "C": 0.0008787487749941647, + "D": 0.9636650681495667 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Большой олень, на которого охотятся, предпочитает жить в", + "option_a": "космосе", + "option_b": "океане", + "option_c": "пустыне", + "option_d": "лесном массиве" + }, + "outputs": "D", + "meta": { + "id": 1477 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Большой олень, на которого охотятся, предпочитает жить в\nA. космосе\nB. океане\nC. пустыне\nD. лесном массиве\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.057178691029548645, + "B": 0.0013447139644995332, + "C": 0.001186705892905593, + "D": 0.8944252729415894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Арктический регион полон", + "option_a": "пушистой белой грязи", + "option_b": "ледяных напитков", + "option_c": "теплой воды", + "option_d": "белой порошкообразной субстанции" + }, + "outputs": "D", + "meta": { + "id": 1815 + } + }, + "prompt": "<|im_start|>user\nАрктический регион полон\nA) пушистой белой грязи\nB) ледяных напитков\nC) теплой воды\nD) белой порошкообразной субстанции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.18698257207870483, + "B": 0.010548834688961506, + "C": 0.01739208772778511, + "D": 0.7395303845405579 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, верно в отношении ураганов?", + "option_a": "ураган категории 50 становится ураганом категории 1 над сушей", + "option_b": "ураган категории 5 становится ураганом категории 11 над сушей", + "option_c": "ураган категории 0 становится ураганом категории 1 над землей", + "option_d": "ураган категории 5 умирает над сушей" + }, + "outputs": "D", + "meta": { + "id": 993 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, верно в отношении ураганов?\nA. ураган категории 50 становится ураганом категории 1 над сушей\nB. ураган категории 5 становится ураганом категории 11 над сушей\nC. ураган категории 0 становится ураганом категории 1 над землей\nD. ураган категории 5 умирает над сушей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006269283127039671, + "B": 0.9304441213607788, + "C": 0.0015851232456043363, + "D": 0.0017961798002943397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организмы-производители обеспечивают экосистему", + "option_a": "диоксидом углерода", + "option_b": "глюкозой", + "option_c": "водой", + "option_d": "глюкозамином" + }, + "outputs": "B", + "meta": { + "id": 1042 + } + }, + "prompt": "<|im_start|>user\nОрганизмы-производители обеспечивают экосистему\nA. диоксидом углерода\nB. глюкозой\nC. водой\nD. глюкозамином\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0017802632646635175, + "B": 0.0025902679190039635, + "C": 0.001223555882461369, + "D": 0.9221991896629333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может быть горячее?", + "option_a": "прохладная вода", + "option_b": "океан", + "option_c": "лес", + "option_d": "дымящийся кофе" + }, + "outputs": "D", + "meta": { + "id": 400 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может быть горячее?\nA) прохладная вода\nB) океан\nC) лес\nD) дымящийся кофе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3223130702972412, + "B": 0.11857236176729202, + "C": 0.25101765990257263, + "D": 0.22152231633663177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Размахивание этой штукой с большей вероятностью вызовет перелом", + "option_a": "булава", + "option_b": "медная проволока", + "option_c": "поролоновая бита", + "option_d": "металлическая ложка" + }, + "outputs": "A", + "meta": { + "id": 401 + } + }, + "prompt": "<|im_start|>user\nРазмахивание этой штукой с большей вероятностью вызовет перелом\nA) булава\nB) медная проволока\nC) поролоновая бита\nD) металлическая ложка\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007238695397973061, + "B": 0.0018302289536222816, + "C": 0.0009796508820727468, + "D": 0.9480820298194885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поверхность Луны", + "option_a": "имеет более сильное гравитационное притяжение, чем Земля", + "option_b": "полностью гладкая", + "option_c": "заполнена озерами", + "option_d": "имеет следы столкновения с астероидами" + }, + "outputs": "D", + "meta": { + "id": 2319 + } + }, + "prompt": "<|im_start|>user\nПоверхность Луны\nA) имеет более сильное гравитационное притяжение, чем Земля\nB) полностью гладкая\nC) заполнена озерами\nD) имеет следы столкновения с астероидами\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9019791483879089, + "B": 0.006886695045977831, + "C": 0.00034286841400898993, + "D": 0.0003885207697749138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является основным источником света на нашей планете?", + "option_a": "ближайшая к нам звезда", + "option_b": "Луна, которая вращается вокруг Земли", + "option_c": "скопление звезд Ориона", + "option_d": "метеориты, пролетающие мимо" + }, + "outputs": "A", + "meta": { + "id": 1444 + } + }, + "prompt": "<|im_start|>user\nЧто является основным источником света на нашей планете?\nA. ближайшая к нам звезда\nB. Луна, которая вращается вокруг Земли\nC. скопление звезд Ориона\nD. метеориты, пролетающие мимо\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.07768364250659943, + "B": 0.5065609812736511, + "C": 0.23928245902061462, + "D": 0.11302903294563293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно длится период времени между шестой частью минуты и половиной минуты?", + "option_a": "вулкан", + "option_b": "телесериал", + "option_c": "час", + "option_d": "землетрясение" + }, + "outputs": "D", + "meta": { + "id": 2129 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что обычно длится период времени между шестой частью минуты и половиной минуты?\nA. вулкан\nB. телесериал\nC. час\nD. землетрясение\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01950308494269848, + "B": 0.004351726267486811, + "C": 0.09904483705759048, + "D": 0.8292922377586365 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свалка", + "option_a": "может привести к улучшению среды обитания природного сообщества", + "option_b": "может привести к более чистому воздуху", + "option_c": "может привести к увеличению стоимости собственности", + "option_d": "может привести к увеличению количества рыхлого перегноя в области" + }, + "outputs": "D", + "meta": { + "id": 1589 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Свалка\nA) может привести к улучшению среды обитания природного сообщества\nB) может привести к более чистому воздуху\nC) может привести к увеличению стоимости собственности\nD) может привести к увеличению количества рыхлого перегноя в области\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.008742053061723709, + "B": 0.044395811855793, + "C": 0.6128652691841125, + "D": 0.2894970774650574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выращивание ряда видов культур в определенном порядке положительно влияет на", + "option_a": "атмосферные условия", + "option_b": "качество воды", + "option_c": "качество воздуха", + "option_d": "качество почвы" + }, + "outputs": "D", + "meta": { + "id": 851 + } + }, + "prompt": "<|im_start|>user\nВыращивание ряда видов культур в определенном порядке положительно влияет на\nA) атмосферные условия\nB) качество воды\nC) качество воздуха\nD) качество почвы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.015258544124662876, + "B": 0.009254775010049343, + "C": 0.0994982048869133, + "D": 0.833088219165802 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На чьи усилия больше всего полагается земляника при посадке и распространении по опушкам?", + "option_a": "рыба", + "option_b": "тигр", + "option_c": "грибы", + "option_d": "птица" + }, + "outputs": "D", + "meta": { + "id": 2175 + } + }, + "prompt": "<|im_start|>user\nНа чьи усилия больше всего полагается земляника при посадке и распространении по опушкам?\nA. рыба\nB. тигр\nC. грибы\nD. птица\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9277592301368713, + "B": 0.0004528349090833217, + "C": 0.00035266816848888993, + "D": 0.0010862943017855287 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое вещество, вероятно, присутствует при рождении горы?", + "option_a": "магма", + "option_b": "торф", + "option_c": "яд", + "option_d": "солнечный свет" + }, + "outputs": "A", + "meta": { + "id": 1433 + } + }, + "prompt": "<|im_start|>user\nКакое вещество, вероятно, присутствует при рождении горы?\nA. магма\nB. торф\nC. яд\nD. солнечный свет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.24750976264476776, + "B": 0.03349680081009865, + "C": 0.008469317108392715, + "D": 0.6728011965751648 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какого из этих мест на Луне вы можете видеть дальше?", + "option_a": "поверхность", + "option_b": "кратеры", + "option_c": "здания", + "option_d": "горы" + }, + "outputs": "D", + "meta": { + "id": 1762 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: С какого из этих мест на Луне вы можете видеть дальше?\nA. поверхность\nB. кратеры\nC. здания\nD. горы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06778360903263092, + "B": 0.8257734179496765, + "C": 0.006304857786744833, + "D": 0.004333261400461197 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплицы", + "option_a": "улавливают опасные газы, выделяемые растениями", + "option_b": "защищают растения от снега и мороза", + "option_c": "защищают растения от тепла", + "option_d": "защищают растения от мягкой погоды" + }, + "outputs": "B", + "meta": { + "id": 2024 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Теплицы\nA. улавливают опасные газы, выделяемые растениями\nB. защищают растения от снега и мороза\nC. защищают растения от тепла\nD. защищают растения от мягкой погоды\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.023806558921933174, + "B": 0.8933345675468445, + "C": 0.002509193029254675, + "D": 0.0022143551614135504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если живое существо доживет до взрослой жизни, то для него важнее всего будут", + "option_a": "когти", + "option_b": "съедобные продукты", + "option_c": "добыча полезных ископаемых", + "option_d": "отели" + }, + "outputs": "B", + "meta": { + "id": 1052 + } + }, + "prompt": "<|im_start|>user\nЕсли живое существо доживет до взрослой жизни, то для него важнее всего будут\nA) когти\nB) съедобные продукты\nC) добыча полезных ископаемых\nD) отели\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.018569324165582657, + "B": 0.0041433763690292835, + "C": 0.8947201371192932, + "D": 0.03931125998497009 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сорняк будет жить только в", + "option_a": "в раковине", + "option_b": "в воздухе", + "option_c": "грязи", + "option_d": "в доме." + }, + "outputs": "C", + "meta": { + "id": 926 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сорняк будет жить только в\nA. в раковине\nB. в воздухе\nC. грязи\nD. в доме.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0008681773324497044, + "B": 0.009333786554634571, + "C": 0.9520720839500427, + "D": 0.0008681773324497044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нежелание прислушиваться к руководящим принципам делает полученные данные полностью", + "option_a": "призовыми", + "option_b": "повторяемыми", + "option_c": "ошибочными", + "option_d": "идеальными" + }, + "outputs": "C", + "meta": { + "id": 551 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нежелание прислушиваться к руководящим принципам делает полученные данные полностью\nA. призовыми\nB. повторяемыми\nC. ошибочными\nD. идеальными\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.14157086610794067, + "B": 0.07577742636203766, + "C": 0.024601329118013382, + "D": 0.7189562320709229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше всего похоже на зеркало?", + "option_a": "луга", + "option_b": "океаны", + "option_c": "пустыни", + "option_d": "леса" + }, + "outputs": "B", + "meta": { + "id": 553 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что больше всего похоже на зеркало?\nA) луга\nB) океаны\nC) пустыни\nD) леса\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010301933623850346, + "B": 0.006248438265174627, + "C": 0.9273504614830017, + "D": 0.004866288509219885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Единственный ресурс, который пополняется каждый раз, когда случается ураган, - это", + "option_a": "нефть", + "option_b": "газ", + "option_c": "H2O", + "option_d": "уголь" + }, + "outputs": "C", + "meta": { + "id": 2017 + } + }, + "prompt": "<|im_start|>user\nЕдинственный ресурс, который пополняется каждый раз, когда случается ураган, - это\nA) нефть\nB) газ\nC) H2O\nD) уголь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.841411292552948, + "B": 0.0034386557526886463, + "C": 0.0011163679882884026, + "D": 0.0005273348651826382 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кролик получает необходимые для жизни элементы от", + "option_a": "системы кровообращения", + "option_b": "биржевых маклеров", + "option_c": "метро", + "option_d": "лодки" + }, + "outputs": "A", + "meta": { + "id": 347 + } + }, + "prompt": "<|im_start|>user\nКролик получает необходимые для жизни элементы от\nA. системы кровообращения\nB. биржевых маклеров\nC. метро\nD. лодки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8523562550544739, + "B": 0.025738928467035294, + "C": 0.017690088599920273, + "D": 0.005743131041526794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ледник состоит из", + "option_a": "поддонов для льда", + "option_b": "теплой воды", + "option_c": "твердой воды", + "option_d": "ведер с маслом" + }, + "outputs": "C", + "meta": { + "id": 1293 + } + }, + "prompt": "<|im_start|>user\nЛедник состоит из\nA. поддонов для льда\nB. теплой воды\nC. твердой воды\nD. ведер с маслом\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.183188796043396, + "B": 0.183188796043396, + "C": 0.2665381133556366, + "D": 0.30202725529670715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете пробить поверхность лобового стекла", + "option_a": "яшмой", + "option_b": "перьями", + "option_c": "мягкой тканью", + "option_d": "губкой" + }, + "outputs": "A", + "meta": { + "id": 1513 + } + }, + "prompt": "<|im_start|>user\nВы можете пробить поверхность лобового стекла\nA. яшмой\nB. перьями\nC. мягкой тканью\nD. губкой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0014463728293776512, + "B": 0.006482193246483803, + "C": 0.9620427489280701, + "D": 0.0018571794498711824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них может естественным образом изменить свой внешний вид, чтобы не попасться хищнику?", + "option_a": "лев", + "option_b": "человек", + "option_c": "маленький хамелеон", + "option_d": "коза" + }, + "outputs": "C", + "meta": { + "id": 1820 + } + }, + "prompt": "<|im_start|>user\nКто из них может естественным образом изменить свой внешний вид, чтобы не попасться хищнику?\nA. лев\nB. человек\nC. маленький хамелеон\nD. коза\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014134913217276335, + "B": 0.00013147518620826304, + "C": 0.0005892307963222265, + "D": 0.9401719570159912 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Белый медведь живет в местах, где", + "option_a": "жарко", + "option_b": "светло", + "option_c": "темно", + "option_d": "холодно" + }, + "outputs": "D", + "meta": { + "id": 256 + } + }, + "prompt": "<|im_start|>user\nБелый медведь живет в местах, где\nA) жарко\nB) светло\nC) темно\nD) холодно\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.20089994370937347, + "B": 0.42530518770217896, + "C": 0.15646104514598846, + "D": 0.13807637989521027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какое время тень человека самая маленькая?", + "option_a": "16:00", + "option_b": "8:00", + "option_c": "12:30", + "option_d": "18:30" + }, + "outputs": "C", + "meta": { + "id": 1530 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какое время тень человека самая маленькая?\nA) 16:00\nB) 8:00\nC) 12:30\nD) 18:30\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001858359551988542, + "B": 0.0004698669072240591, + "C": 0.0006836522370576859, + "D": 0.9626540541648865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы выжить живым существам", + "option_a": "нужны деньги", + "option_b": "нужно Au", + "option_c": "нужны навыки охоты", + "option_d": "нужна H2O" + }, + "outputs": "D", + "meta": { + "id": 2002 + } + }, + "prompt": "<|im_start|>user\nЧтобы выжить живым существам\nA) нужны деньги\nB) нужно Au\nC) нужны навыки охоты\nD) нужна H2O\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8768717050552368, + "B": 0.02647923119366169, + "C": 0.002462952397763729, + "D": 0.014173311181366444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "когда головастик превращается в лягушку, головастик похож на", + "option_a": "личинку", + "option_b": "ягненка", + "option_c": "воду", + "option_d": "виноград" + }, + "outputs": "A", + "meta": { + "id": 574 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: когда головастик превращается в лягушку, головастик похож на\nA) личинку\nB) ягненка\nC) воду\nD) виноград\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9475473165512085, + "B": 0.00036019019898958504, + "C": 0.0001701417932054028, + "D": 0.0018291966989636421 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что описывает климат в ​​районе?", + "option_a": "общий прогноз погод", + "option_b": "расписание приливов", + "option_c": "редкие штормы", + "option_d": "наличие землетрясений" + }, + "outputs": "A", + "meta": { + "id": 451 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что описывает климат в ​​районе?\nA. общий прогноз погод\nB. расписание приливов\nC. редкие штормы\nD. наличие землетрясений\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17424525320529938, + "B": 0.0004894189769402146, + "C": 0.7809129953384399, + "D": 0.0003811599453911185 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шимпанзе роют палками муравейники и термитники; какой из вариантов также является примером использования инструментов?", + "option_a": "птицы, использующие ветки для строительства гнезд", + "option_b": "муравьеды, использующие язык для ловли муравьев", + "option_c": "выдры, использующие камни, чтобы открывать моллюсков", + "option_d": ", коалы, использующие свою сумку для удержания младенцев" + }, + "outputs": "C", + "meta": { + "id": 707 + } + }, + "prompt": "<|im_start|>user\nШимпанзе роют палками муравейники и термитники; какой из вариантов также является примером использования инструментов?\nA. птицы, использующие ветки для строительства гнезд\nB. муравьеды, использующие язык для ловли муравьев\nC. выдры, использующие камни, чтобы открывать моллюсков\nD. , коалы, использующие свою сумку для удержания младенцев\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0038583562709391117, + "B": 0.00024665644741617143, + "C": 0.0005916980444453657, + "D": 0.9441086053848267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Анюта создает новый продукт, чтобы утолить жажду людей. Она думает, что если он будет более пузырящимся, он станет более популярным. Она решает", + "option_a": "добавить больше соли в напиток", + "option_b": "вскипятить напиток в большом чане", + "option_c": "встряхнуть бутылки с напитком перед отправкой в ​​магазины", + "option_d": "добавить растворенного углекислого газа" + }, + "outputs": "D", + "meta": { + "id": 651 + } + }, + "prompt": "<|im_start|>user\nАнюта создает новый продукт, чтобы утолить жажду людей. Она думает, что если он будет более пузырящимся, он станет более популярным. Она решает\nA. добавить больше соли в напиток\nB. вскипятить напиток в большом чане\nC. встряхнуть бутылки с напитком перед отправкой в ​​магазины\nD. добавить растворенного углекислого газа\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.23890537023544312, + "B": 0.0366373211145401, + "C": 0.6494120359420776, + "D": 0.003861545119434595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если машина застряла и людям нужно ее вытащить", + "option_a": "они используют массу своего тела, чтобы подтолкнуть авто", + "option_b": "они смиряются с тем, что действительно застряли", + "option_c": "они используют лошадей, чтобы тянуть ее", + "option_d": "они толкают машину в воздух" + }, + "outputs": "A", + "meta": { + "id": 271 + } + }, + "prompt": "<|im_start|>user\nЕсли машина застряла и людям нужно ее вытащить\nA) они используют массу своего тела, чтобы подтолкнуть авто\nB) они смиряются с тем, что действительно застряли\nC) они используют лошадей, чтобы тянуть ее\nD) они толкают машину в воздух\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6567989587783813, + "B": 0.2737945318222046, + "C": 0.0014367419062182307, + "D": 0.0016280419658869505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стая волков съедает теленка прежде, чем медведь успевает добраться до них. Что волки сделали с медведем?", + "option_a": "опередили", + "option_b": "оставили вне игры", + "option_c": "пригласили", + "option_d": "оставили на воротах" + }, + "outputs": "A", + "meta": { + "id": 73 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Стая волков съедает теленка прежде, чем медведь успевает добраться до них. Что волки сделали с медведем?\nA) опередили\nB) оставили вне игры\nC) пригласили\nD) оставили на воротах\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11703398078680038, + "B": 0.2186482697725296, + "C": 0.46287837624549866, + "D": 0.11703398078680038 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой целитель самый быстрый?", + "option_a": "кожа", + "option_b": "пальцы ног", + "option_c": "язык", + "option_d": "сердце" + }, + "outputs": "C", + "meta": { + "id": 2026 + } + }, + "prompt": "<|im_start|>user\nКакой целитель самый быстрый?\nA. кожа\nB. пальцы ног\nC. язык\nD. сердце\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8869554400444031, + "B": 0.00014054813073016703, + "C": 0.00023172468354459852, + "D": 0.0004329187504481524 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может произойти, если винт на шине велосипеда будет ослаблен?", + "option_a": "он может отвалиться по дороге", + "option_b": "он может надежно закрепиться", + "option_c": "он может потребовать ремонта", + "option_d": "он может стать плоским" + }, + "outputs": "A", + "meta": { + "id": 1246 + } + }, + "prompt": "<|im_start|>user\nЧто может произойти, если винт на шине велосипеда будет ослаблен?\nA) он может отвалиться по дороге\nB) он может надежно закрепиться\nC) он может потребовать ремонта\nD) он может стать плоским\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018459274433553219, + "B": 0.9562140703201294, + "C": 0.0016290254425257444, + "D": 0.0018459274433553219 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из какого материала сделана экологически чистая скульптура?", + "option_a": "загрязнители", + "option_b": "глина", + "option_c": "мех животных", + "option_d": "ископаемое топливо" + }, + "outputs": "B", + "meta": { + "id": 1771 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из какого материала сделана экологически чистая скульптура?\nA) загрязнители\nB) глина\nC) мех животных\nD) ископаемое топливо\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19785524904727936, + "B": 0.07278687506914139, + "C": 0.6094370484352112, + "D": 0.05002564191818237 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего проводит тепло?", + "option_a": "сладкая вата в магазине", + "option_b": "новая пара джинсов", + "option_c": "стальная ложка в кафетерии", + "option_d": "хлопковая шляпа от Calvin Klein" + }, + "outputs": "C", + "meta": { + "id": 723 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что лучше всего проводит тепло?\nA. сладкая вата в магазине\nB. новая пара джинсов\nC. стальная ложка в кафетерии\nD. хлопковая шляпа от Calvin Klein\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.796818733215332, + "B": 0.04495343938469887, + "C": 0.0010572035098448396, + "D": 0.007811736315488815 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку здесь работала лесозаготовительная компания, здесь гораздо больше", + "option_a": "углерода", + "option_b": "ржавчины", + "option_c": "кальция", + "option_d": "кремния." + }, + "outputs": "A", + "meta": { + "id": 2131 + } + }, + "prompt": "<|im_start|>user\nПоскольку здесь работала лесозаготовительная компания, здесь гораздо больше\nA. углерода\nB. ржавчины\nC. кальция\nD. кремния.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7153120636940002, + "B": 0.040355145931243896, + "C": 0.009004449471831322, + "D": 0.1596076935529709 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда яблоню срубили, не осталось места", + "option_a": "яблокам", + "option_b": "яблочным пирогам", + "option_c": "опадающим листьям", + "option_d": "птичьим гнездам" + }, + "outputs": "D", + "meta": { + "id": 2252 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда яблоню срубили, не осталось места\nA. яблокам\nB. яблочным пирогам\nC. опадающим листьям\nD. птичьим гнездам\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03796732798218727, + "B": 0.8641323447227478, + "C": 0.026094535365700722, + "D": 0.00513831852003932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример охоты - выдра, раскалывающая моллюсков камнем, другой пример -", + "option_a": "орел, чистящий перья", + "option_b": "медведь, ударивший по улью", + "option_c": "рыба, плывущая против течения", + "option_d": "олень, поедающий траву" + }, + "outputs": "B", + "meta": { + "id": 1662 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример охоты - выдра, раскалывающая моллюсков камнем, другой пример -\nA) орел, чистящий перья\nB) медведь, ударивший по улью\nC) рыба, плывущая против течения\nD) олень, поедающий траву\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009872110560536385, + "B": 0.009872110560536385, + "C": 0.8886590600013733, + "D": 0.05681006982922554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветов станет больше, если", + "option_a": "стрекозы будут размножаться чаще", + "option_b": "опылители будут посещать их редко", + "option_c": "пчелы будут чаще посещать их", + "option_d": "им будут доставлять удобрения премиум-класса" + }, + "outputs": "C", + "meta": { + "id": 2162 + } + }, + "prompt": "<|im_start|>user\nЦветов станет больше, если\nA. стрекозы будут размножаться чаще\nB. опылители будут посещать их редко\nC. пчелы будут чаще посещать их\nD. им будут доставлять удобрения премиум-класса\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7656973004341125, + "B": 0.13305822014808655, + "C": 0.007506632246077061, + "D": 0.0027615355793386698 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример воспроизводства как стадии процесса жизненного цикла?", + "option_a": "рождение может произойти только после репродуктивного акта", + "option_b": "смерть - последняя стадия жизненного цикла", + "option_c": "воспроизводство не может гарантировать здоровую жизнь", + "option_d": "жизнь может закончиться во время репродукции" + }, + "outputs": "A", + "meta": { + "id": 2204 + } + }, + "prompt": "<|im_start|>user\nКаков пример воспроизводства как стадии процесса жизненного цикла?\nA. рождение может произойти только после репродуктивного акта\nB. смерть - последняя стадия жизненного цикла\nC. воспроизводство не может гарантировать здоровую жизнь\nD. жизнь может закончиться во время репродукции\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.00807046890258789, + "B": 0.000515927851665765, + "C": 0.0012376465601846576, + "D": 0.9328194260597229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для фонарей требуются батарейки", + "option_a": "чтобы правильно освещать объекты", + "option_b": "чтобы фонари можно использовать в качестве оружия", + "option_c": "чтобы соответствовать требованиям по весу", + "option_d": "чтобы фонари работали и светили" + }, + "outputs": "A", + "meta": { + "id": 170 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для фонарей требуются батарейки\nA) чтобы правильно освещать объекты\nB) чтобы фонари можно использовать в качестве оружия\nC) чтобы соответствовать требованиям по весу\nD) чтобы фонари работали и светили\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00019505263480823487, + "B": 0.9586385488510132, + "C": 0.0004129263979848474, + "D": 0.0004129263979848474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Секунды используются для измерения", + "option_a": "роста", + "option_b": "времени", + "option_c": "времени суток", + "option_d": "вкуса еды" + }, + "outputs": "B", + "meta": { + "id": 1799 + } + }, + "prompt": "<|im_start|>user\nСекунды используются для измерения\nA. роста\nB. времени\nC. времени суток\nD. вкуса еды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0020795410964637995, + "B": 0.950651228427887, + "C": 0.000595798424910754, + "D": 0.0012613054132089019 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Внешняя оболочка нашей планеты состоит из", + "option_a": "пластика", + "option_b": "осадочных образований", + "option_c": "пены", + "option_d": "сыра" + }, + "outputs": "B", + "meta": { + "id": 111 + } + }, + "prompt": "<|im_start|>user\nВнешняя оболочка нашей планеты состоит из\nA) пластика\nB) осадочных образований\nC) пены\nD) сыра\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05838955566287041, + "B": 0.8060429096221924, + "C": 0.027581270784139633, + "D": 0.04547383263707161 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дети с большей вероятностью заболеют оспой, если", + "option_a": "они проходят вакцинацию в раннем возрасте", + "option_b": "их родители основывают свои медицинские решения на советах блогеров и артистов", + "option_c": "их вакцинируют в молодом возрасте", + "option_d": "их родители понимают основы науки" + }, + "outputs": "B", + "meta": { + "id": 966 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дети с большей вероятностью заболеют оспой, если\nA. они проходят вакцинацию в раннем возрасте\nB. их родители основывают свои медицинские решения на советах блогеров и артистов\nC. их вакцинируют в молодом возрасте\nD. их родители понимают основы науки\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0003236056654714048, + "B": 0.002110173925757408, + "C": 0.9646548628807068, + "D": 0.0004708434862550348 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это животное может сливаться с окружающей средой, изменяя свой внешний вид", + "option_a": "Слон", + "option_b": "Дельфин афалина", + "option_c": "Хамелеон", + "option_d": "Акула-молот" + }, + "outputs": "C", + "meta": { + "id": 1625 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это животное может сливаться с окружающей средой, изменяя свой внешний вид\nA) Слон\nB) Дельфин афалина\nC) Хамелеон\nD) Акула-молот\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05779682844877243, + "B": 0.0005000405944883823, + "C": 0.00038943198160268366, + "D": 0.9040945768356323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Оскорбления часто приводят к насилию в", + "option_a": "будущих хороших отношениях", + "option_b": "в благоприятных исходах", + "option_c": "в идеальных ситуациях", + "option_d": "будущих плохих отношениях" + }, + "outputs": "D", + "meta": { + "id": 1748 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Оскорбления часто приводят к насилию в\nA. будущих хороших отношениях\nB. в благоприятных исходах\nC. в идеальных ситуациях\nD. будущих плохих отношениях\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05353863909840584, + "B": 0.025289863348007202, + "C": 0.00564293097704649, + "D": 0.8374852538108826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученик замечает на детской площадке большое количество ястребов, - и что, вероятно, будет с ящерицами?", + "option_a": "они будут процветать", + "option_b": "все эти варианты верны", + "option_c": "они станут хищниками", + "option_d": "их численность будет сокращаться" + }, + "outputs": "D", + "meta": { + "id": 1623 + } + }, + "prompt": "<|im_start|>user\nУченик замечает на детской площадке большое количество ястребов, - и что, вероятно, будет с ящерицами?\nA) они будут процветать\nB) все эти варианты верны\nC) они станут хищниками\nD) их численность будет сокращаться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06898466497659683, + "B": 0.019764438271522522, + "C": 0.11373649537563324, + "D": 0.7416551113128662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Больше солнечного света будет поглощать", + "option_a": "нарцисс с закрученными листьями", + "option_b": "роза с крошечными листьями", + "option_c": "ромашка с тонкими короткими листьями", + "option_d": "пион с широкими гладкими листьями" + }, + "outputs": "D", + "meta": { + "id": 345 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Больше солнечного света будет поглощать\nA. нарцисс с закрученными листьями\nB. роза с крошечными листьями\nC. ромашка с тонкими короткими листьями\nD. пион с широкими гладкими листьями\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.16280651092529297, + "B": 0.5682505369186401, + "C": 0.019444463774561882, + "D": 0.16280651092529297 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Световой день в среднем короче всего", + "option_a": "с октября по декабрь", + "option_b": "с декабря по март", + "option_c": "с января по апрель", + "option_d": "с ноября по март" + }, + "outputs": "B", + "meta": { + "id": 1893 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Световой день в среднем короче всего\nA) с октября по декабрь\nB) с декабря по март\nC) с января по апрель\nD) с ноября по март\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06401688605546951, + "B": 0.7798853516578674, + "C": 0.03023943491280079, + "D": 0.038828201591968536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вулканы похожи на", + "option_a": "Верблюды", + "option_b": "Пищевод", + "option_c": "Эмоциональный опыт", + "option_d": "Сигареты" + }, + "outputs": "B", + "meta": { + "id": 919 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вулканы похожи на\nA) Верблюды\nB) Пищевод\nC) Эмоциональный опыт\nD) Сигареты\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.004228073172271252, + "B": 0.913009524345398, + "C": 0.004791033919900656, + "D": 0.0017625229666009545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гусь осенью, скорее всего,", + "option_a": "улетает", + "option_b": "впадает в спячку", + "option_c": "гнездится", + "option_d": "откладывает яйца" + }, + "outputs": "A", + "meta": { + "id": 1989 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Гусь осенью, скорее всего,\nA) улетает\nB) впадает в спячку\nC) гнездится\nD) откладывает яйца\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006456525065004826, + "B": 0.0009901401353999972, + "C": 0.0011219758307561278, + "D": 0.9582332968711853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Травоядное животное", + "option_a": "будет есть немного мяса каждый день", + "option_b": "никогда не будет есть никаких растений", + "option_c": "будет есть мясо время от времени", + "option_d": "станет есть только то, что растет из земли" + }, + "outputs": "D", + "meta": { + "id": 1929 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Травоядное животное\nA) будет есть немного мяса каждый день\nB) никогда не будет есть никаких растений\nC) будет есть мясо время от времени\nD) станет есть только то, что растет из земли\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.021132659167051315, + "B": 0.8985835313796997, + "C": 0.0017346743261441588, + "D": 0.001192223047837615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организм-продуцент (производитель) пересаживают из небольшого горшка в дикий лес. Продуцент может относительно легко:", + "option_a": "умереть", + "option_b": "привыкнуть", + "option_c": "испариться", + "option_d": "уплыть" + }, + "outputs": "B", + "meta": { + "id": 1026 + } + }, + "prompt": "<|im_start|>user\nОрганизм-продуцент (производитель) пересаживают из небольшого горшка в дикий лес. Продуцент может относительно легко:\nA) умереть\nB) привыкнуть\nC) испариться\nD) уплыть\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.05275549739599228, + "B": 0.03199782967567444, + "C": 0.567175030708313, + "D": 0.3035869300365448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ближайший к Земле небесный объект - это", + "option_a": "Меркурий и Венера одинаково близки", + "option_b": "большой объект, который освещает ночное небо", + "option_c": "четвертая планета от Солнца", + "option_d": "объект, движущийся по орбите Земли" + }, + "outputs": "B", + "meta": { + "id": 852 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ближайший к Земле небесный объект - это\nA. Меркурий и Венера одинаково близки\nB. большой объект, который освещает ночное небо\nC. четвертая планета от Солнца\nD. объект, движущийся по орбите Земли\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.8325163722038269, + "B": 0.041448548436164856, + "C": 0.0038553159683942795, + "D": 0.0009747763979248703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что верно о рыбках-бычках и ротанах?", + "option_a": "рбычки и ротаны выживают не в каждой среде обитания", + "option_b": "бычки и ротаны сезонно мигрируют в поисках пищи", + "option_c": "бычки и ротаны приспосабливаются к любой водной среде обитания", + "option_d": "бычки и ротаны не едят ничего, кроме угля" + }, + "outputs": "C", + "meta": { + "id": 1596 + } + }, + "prompt": "<|im_start|>user\nЧто верно о рыбках-бычках и ротанах?\nA) рбычки и ротаны выживают не в каждой среде обитания\nB) бычки и ротаны сезонно мигрируют в поисках пищи\nC) бычки и ротаны приспосабливаются к любой водной среде обитания\nD) бычки и ротаны не едят ничего, кроме угля\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018563600024208426, + "B": 0.9616183042526245, + "C": 0.0006026718183420599, + "D": 0.0016382321482524276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если где-то был туман, о чем это может свидетельствовать?", + "option_a": "животные размножаются в это время", + "option_b": "был избыток конденсированного пара", + "option_c": "местные божества сердиты", + "option_d": "воде не хватает кислорода" + }, + "outputs": "B", + "meta": { + "id": 770 + } + }, + "prompt": "<|im_start|>user\nЕсли где-то был туман, о чем это может свидетельствовать?\nA. животные размножаются в это время\nB. был избыток конденсированного пара\nC. местные божества сердиты\nD. воде не хватает кислорода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.021862490102648735, + "B": 0.004304979462176561, + "C": 0.9296166896820068, + "D": 0.004304979462176561 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздушный шар наполняется гелием, а затем открывается и прижимается ко рту, и голос становится тонким и высоким. Почему так происходит?", + "option_a": "гелий отражает звук от голосовых связок, пока тот не станет тоньше и выше", + "option_b": "гелий более плотный, и голосовые связки колеблются в нем с меньшей частотой", + "option_c": "гелий менее плотный, и голосовые связки колеблются в нем с повышенной частотой", + "option_d": "гелий легче воздуха, и поднимает все звуки выше" + }, + "outputs": "C", + "meta": { + "id": 181 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воздушный шар наполняется гелием, а затем открывается и прижимается ко рту, и голос становится тонким и высоким. Почему так происходит?\nA. гелий отражает звук от голосовых связок, пока тот не станет тоньше и выше\nB. гелий более плотный, и голосовые связки колеблются в нем с меньшей частотой\nC. гелий менее плотный, и голосовые связки колеблются в нем с повышенной частотой\nD. гелий легче воздуха, и поднимает все звуки выше\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8939483165740967, + "B": 0.0011860730592161417, + "C": 0.0005602612509392202, + "D": 0.004691010341048241 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы определить расстояние, разделенное на время, вам понадобится", + "option_a": "спидометр", + "option_b": "мультиметр", + "option_c": "счетчик Гейгера", + "option_d": "сейсмограф." + }, + "outputs": "A", + "meta": { + "id": 58 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы определить расстояние, разделенное на время, вам понадобится\nA. спидометр\nB. мультиметр\nC. счетчик Гейгера\nD. сейсмограф.\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01642015390098095, + "B": 0.8965100049972534, + "C": 0.014490733854472637, + "D": 0.0008175112889148295 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если Илья хочет откладывать понемногу каждый месяц, что он может сделать, чтобы уменьшить счет за воду?", + "option_a": "оставлять кран капать в раковину ночью", + "option_b": "отремонтировать все текущие трубы", + "option_c": "смывать больше воды из унитаза", + "option_d": "принимать ванну дважды в день" + }, + "outputs": "B", + "meta": { + "id": 1874 + } + }, + "prompt": "<|im_start|>user\nЕсли Илья хочет откладывать понемногу каждый месяц, что он может сделать, чтобы уменьшить счет за воду?\nA) оставлять кран капать в раковину ночью\nB) отремонтировать все текущие трубы\nC) смывать больше воды из унитаза\nD) принимать ванну дважды в день\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8054109811782837, + "B": 0.0961926206946373, + "C": 0.0008322292123921216, + "D": 0.007895971648395061 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ракетные двигатели могут поднимать ракеты из-за", + "option_a": "того, сколько топлива они используют", + "option_b": "их скорости", + "option_c": "их высоты", + "option_d": "силы создаваемого ими удара о землю" + }, + "outputs": "D", + "meta": { + "id": 964 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ракетные двигатели могут поднимать ракеты из-за\nA) того, сколько топлива они используют\nB) их скорости\nC) их высоты\nD) силы создаваемого ими удара о землю\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9054827094078064, + "B": 0.001980735454708338, + "C": 0.0013613380724564195, + "D": 0.002543314592912793 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Квадрат Пеннета используется для определения вероятности передачи признака от родителя к чему?", + "option_a": "молодняку", + "option_b": "зоне обитания", + "option_c": "похожим животным", + "option_d": "домашним животным" + }, + "outputs": "A", + "meta": { + "id": 1518 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Квадрат Пеннета используется для определения вероятности передачи признака от родителя к чему?\nA. молодняку\nB. зоне обитания\nC. похожим животным\nD. домашним животным\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004891824908554554, + "B": 0.9322168231010437, + "C": 0.0005842451355420053, + "D": 0.0014015312772244215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проливные ливни могут сделать склон холма", + "option_a": "пониженным", + "option_b": "нестабильным", + "option_c": "более зеленым", + "option_d": "камнем" + }, + "outputs": "B", + "meta": { + "id": 29 + } + }, + "prompt": "<|im_start|>user\nПроливные ливни могут сделать склон холма\nA) пониженным\nB) нестабильным\nC) более зеленым\nD) камнем\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0026901736855506897, + "B": 0.9577680826187134, + "C": 0.0014399460051208735, + "D": 0.0030483659356832504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может вызвать процесс, негативно влияющий на окружающую среду?", + "option_a": "облака", + "option_b": "обработка почвы", + "option_c": "акулы", + "option_d": "лед" + }, + "outputs": "B", + "meta": { + "id": 2101 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может вызвать процесс, негативно влияющий на окружающую среду?\nA. облака\nB. обработка почвы\nC. акулы\nD. лед\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.929783284664154, + "B": 0.002033892786130309, + "C": 0.0017949040047824383, + "D": 0.0029592965729534626 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может быть причиной того, что олень покидает среду обитания?", + "option_a": "скопились сухие ветки и турист оставил зажженную сигарету", + "option_b": "олень хочет видеть океан", + "option_c": "легкий дождь делает его среду обитания непригодной для жизни", + "option_d": "температура сегодня немного ниже, чем была накануне" + }, + "outputs": "A", + "meta": { + "id": 577 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может быть причиной того, что олень покидает среду обитания?\nA) скопились сухие ветки и турист оставил зажженную сигарету\nB) олень хочет видеть океан\nC) легкий дождь делает его среду обитания непригодной для жизни\nD) температура сегодня немного ниже, чем была накануне\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0020591896027326584, + "B": 0.9413475394248962, + "C": 0.0001915344619192183, + "D": 0.0003157869214192033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример, в котором хищник поедает добычу:", + "option_a": "лошадь, растоптавшая мышь", + "option_b": "удав, пожирающий обезьяну", + "option_c": "кошка, поедающая стебли травы", + "option_d": "кит, поедающий тонны водорослей" + }, + "outputs": "B", + "meta": { + "id": 2287 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример, в котором хищник поедает добычу:\nA. лошадь, растоптавшая мышь\nB. удав, пожирающий обезьяну\nC. кошка, поедающая стебли травы\nD. кит, поедающий тонны водорослей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004459522198885679, + "B": 0.0012776743387803435, + "C": 0.962988555431366, + "D": 0.0004700301797129214 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алмазы создаются и рассеиваются", + "option_a": "гигантами", + "option_b": "цыганами", + "option_c": "вулканами", + "option_d": "облаками" + }, + "outputs": "C", + "meta": { + "id": 2047 + } + }, + "prompt": "<|im_start|>user\nАлмазы создаются и рассеиваются\nA) гигантами\nB) цыганами\nC) вулканами\nD) облаками\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.035593535751104355, + "B": 0.6309105157852173, + "C": 0.2320990264415741, + "D": 0.011555529199540615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чем лучше всего растворяется сахар, когда они соединяются?", + "option_a": "грязь", + "option_b": "океанская жидкость", + "option_c": "мед", + "option_d": "воздух" + }, + "outputs": "B", + "meta": { + "id": 1386 + } + }, + "prompt": "<|im_start|>user\nВ чем лучше всего растворяется сахар, когда они соединяются?\nA) грязь\nB) океанская жидкость\nC) мед\nD) воздух\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9333255887031555, + "B": 0.0002763061202131212, + "C": 0.00014789600390940905, + "D": 0.002970570931211114 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как и в случае с людьми, если другой организм потребляет больше калорий, чем сжигает, он неизбежно", + "option_a": "толстеет", + "option_b": "убегает", + "option_c": "улетает", + "option_d": "умирает" + }, + "outputs": "A", + "meta": { + "id": 697 + } + }, + "prompt": "<|im_start|>user\nКак и в случае с людьми, если другой организм потребляет больше калорий, чем сжигает, он неизбежно\nA. толстеет\nB. убегает\nC. улетает\nD. умирает\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00239005358889699, + "B": 0.000470629456685856, + "C": 0.0001266681938432157, + "D": 0.9642163515090942 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что образует кратеры на планетах?", + "option_a": "солнечный свет", + "option_b": "гром", + "option_c": "хозяйственная деятельность людей", + "option_d": "космические камни" + }, + "outputs": "D", + "meta": { + "id": 922 + } + }, + "prompt": "<|im_start|>user\nЧто образует кратеры на планетах?\nA) солнечный свет\nB) гром\nC) хозяйственная деятельность людей\nD) космические камни\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05327187851071358, + "B": 0.16408894956111908, + "C": 0.5727266669273376, + "D": 0.16408894956111908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько времени требуется третьей планете от Солнца, чтобы сделать полный оборот?", + "option_a": "23 часа", + "option_b": "двадцать один час", + "option_c": "двадцать четыре часа", + "option_d": "22 часа" + }, + "outputs": "C", + "meta": { + "id": 46 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько времени требуется третьей планете от Солнца, чтобы сделать полный оборот?\nA. 23 часа\nB. двадцать один час\nC. двадцать четыре часа\nD. 22 часа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004770069848746061, + "B": 0.9090144634246826, + "C": 0.000569703581277281, + "D": 0.00255323457531631 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Измерение температуры происходит, в основном, когда", + "option_a": "люди наблюдают погоду визуально", + "option_b": "на термометре отмечаются градусы тепла", + "option_c": "измеряется влажность воздуха", + "option_d": "обсуждается, насколько жарко" + }, + "outputs": "B", + "meta": { + "id": 1210 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Измерение температуры происходит, в основном, когда\nA) люди наблюдают погоду визуально\nB) на термометре отмечаются градусы тепла\nC) измеряется влажность воздуха\nD) обсуждается, насколько жарко\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.06708569824695587, + "B": 0.16093023121356964, + "C": 0.00801224447786808, + "D": 0.7212392091751099 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если плохая проводка сделала опасным пол в гостиной, на что безопаснее взобраться?", + "option_a": "металлический стул", + "option_b": "стол из красного дерева", + "option_c": "стальная лампа", + "option_d": "керамический камин" + }, + "outputs": "B", + "meta": { + "id": 554 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если плохая проводка сделала опасным пол в гостиной, на что безопаснее взобраться?\nA. металлический стул\nB. стол из красного дерева\nC. стальная лампа\nD. керамический камин\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0023301965557038784, + "B": 0.9400683641433716, + "C": 0.0004884357331320643, + "D": 0.0018147588707506657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения сухости в окружающей среде биоразнообразие", + "option_a": "увеличивается", + "option_b": "уменьшается", + "option_c": "остается неизменным", + "option_d": "начинает увеличиваться" + }, + "outputs": "B", + "meta": { + "id": 1913 + } + }, + "prompt": "<|im_start|>user\nПо мере увеличения сухости в окружающей среде биоразнообразие\nA. увеличивается\nB. уменьшается\nC. остается неизменным\nD. начинает увеличиваться\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004440183751285076, + "B": 0.0002210637176176533, + "C": 0.00028385146288201213, + "D": 0.9588126540184021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один из примеров того, как избежать отходов при покупке продуктов, - это принести с собой", + "option_a": "одноразовый пластиковый пакет", + "option_b": "жадный характер", + "option_c": "одноразовые бумажные пакеты", + "option_d": "тканевый рюкзак" + }, + "outputs": "D", + "meta": { + "id": 604 + } + }, + "prompt": "<|im_start|>user\nОдин из примеров того, как избежать отходов при покупке продуктов, - это принести с собой\nA) одноразовый пластиковый пакет\nB) жадный характер\nC) одноразовые бумажные пакеты\nD) тканевый рюкзак\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04628296568989754, + "B": 0.009113656356930733, + "C": 0.08646795898675919, + "D": 0.8203851580619812 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Инвазивные растения в экосистеме часто приводят к", + "option_a": "появлению ГМО", + "option_b": "дождливой погоде", + "option_c": "наводнениям", + "option_d": "перенаселению" + }, + "outputs": "D", + "meta": { + "id": 675 + } + }, + "prompt": "<|im_start|>user\nИнвазивные растения в экосистеме часто приводят к\nA. появлению ГМО\nB. дождливой погоде\nC. наводнениям\nD. перенаселению\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08703788369894028, + "B": 0.010395193472504616, + "C": 0.017138775438070297, + "D": 0.8257924914360046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одинокая лиса ищет свою следующую трапезу на лугу, который когда-то изобиловал едой. Однако в этом сезоне все кролики съедены, а поле сухое и бесплодное. Лиса может", + "option_a": "улететь", + "option_b": "пожаловаться", + "option_c": "впасть в спячку", + "option_d": "начать голодать" + }, + "outputs": "D", + "meta": { + "id": 536 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Одинокая лиса ищет свою следующую трапезу на лугу, который когда-то изобиловал едой. Однако в этом сезоне все кролики съедены, а поле сухое и бесплодное. Лиса может\nA. улететь\nB. пожаловаться\nC. впасть в спячку\nD. начать голодать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.034747522324323654, + "B": 0.050557345151901245, + "C": 0.7908499836921692, + "D": 0.050557345151901245 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, выиграет в гонке?", + "option_a": "ерш", + "option_b": "косатка", + "option_c": "олимпийский пловец", + "option_d": "сардина" + }, + "outputs": "B", + "meta": { + "id": 478 + } + }, + "prompt": "<|im_start|>user\nКто, скорее всего, выиграет в гонке?\nA) ерш\nB) косатка\nC) олимпийский пловец\nD) сардина\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9321935176849365, + "B": 0.0009632333531044424, + "C": 0.000584230525419116, + "D": 0.0015881034778431058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, будет способно к воспроизводству потомства?", + "option_a": "водоплавающие птицы", + "option_b": "копировальные аппараты", + "option_c": "камни", + "option_d": "реки" + }, + "outputs": "A", + "meta": { + "id": 364 + } + }, + "prompt": "<|im_start|>user\nЧто, скорее всего, будет способно к воспроизводству потомства?\nA. водоплавающие птицы\nB. копировальные аппараты\nC. камни\nD. реки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011787600815296173, + "B": 0.01040252111852169, + "C": 0.004913802724331617, + "D": 0.9364050626754761 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что слепой человек может использовать для определения наждачной бумаги?", + "option_a": "взгляд", + "option_b": "звук", + "option_c": "вкус", + "option_d": "прикосновение" + }, + "outputs": "D", + "meta": { + "id": 77 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что слепой человек может использовать для определения наждачной бумаги?\nA. взгляд\nB. звук\nC. вкус\nD. прикосновение\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00033552185050211847, + "B": 0.0930308997631073, + "C": 0.8826526403427124, + "D": 0.002187877194955945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Обугливание является результатом действия", + "option_a": "луны", + "option_b": "солнца", + "option_c": "открытого огня", + "option_d": "льда" + }, + "outputs": "C", + "meta": { + "id": 1794 + } + }, + "prompt": "<|im_start|>user\nОбугливание является результатом действия\nA) луны\nB) солнца\nC) открытого огня\nD) льда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0380370058119297, + "B": 0.8657182455062866, + "C": 0.006609839852899313, + "D": 0.009617261588573456 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Без этого меч был бы сделан из дерева", + "option_a": "правила техники безопасности", + "option_b": "руда", + "option_c": "лед", + "option_d": "дешевая рабочая сила" + }, + "outputs": "B", + "meta": { + "id": 174 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Без этого меч был бы сделан из дерева\nA) правила техники безопасности\nB) руда\nC) лед\nD) дешевая рабочая сила\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9270163178443909, + "B": 0.0012299470836296678, + "C": 0.0002744383236858994, + "D": 0.0005809858557768166 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пастеризация убивает", + "option_a": "возбудителей болезней", + "option_b": "молочные железы", + "option_c": "бутылки", + "option_d": "женщин" + }, + "outputs": "A", + "meta": { + "id": 991 + } + }, + "prompt": "<|im_start|>user\nПастеризация убивает\nA. возбудителей болезней\nB. молочные железы\nC. бутылки\nD. женщин\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8079709410667419, + "B": 0.0079210689291358, + "C": 0.03549976646900177, + "D": 0.027647243812680244 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поле обрабатывается, и почва наполняется питательными веществами после многих лет", + "option_a": "выветривания деревьев", + "option_b": "борьбы с гриппом", + "option_c": "сжигания кукурузы", + "option_d": "выбирания камней" + }, + "outputs": "D", + "meta": { + "id": 576 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поле обрабатывается, и почва наполняется питательными веществами после многих лет\nA) выветривания деревьев\nB) борьбы с гриппом\nC) сжигания кукурузы\nD) выбирания камней\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10143084824085236, + "B": 0.8492700457572937, + "C": 0.0018577707232907414, + "D": 0.0018577707232907414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек не переносит холода, чего из этого следует избегать?", + "option_a": "все эти варианты подходят", + "option_b": "арктические регионы", + "option_c": "тропические леса", + "option_d": "мангровые леса" + }, + "outputs": "B", + "meta": { + "id": 1615 + } + }, + "prompt": "<|im_start|>user\nЕсли человек не переносит холода, чего из этого следует избегать?\nA) все эти варианты подходят\nB) арктические регионы\nC) тропические леса\nD) мангровые леса\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.12346132099628448, + "B": 0.5533152222633362, + "C": 0.05831899493932724, + "D": 0.20355331897735596 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что проводит электричество?", + "option_a": "кирпичик лего", + "option_b": "футболка", + "option_c": "деревянный стол", + "option_d": "доспехи" + }, + "outputs": "D", + "meta": { + "id": 2216 + } + }, + "prompt": "<|im_start|>user\nЧто проводит электричество?\nA. кирпичик лего\nB. футболка\nC. деревянный стол\nD. доспехи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06661856919527054, + "B": 0.29856371879577637, + "C": 0.005468385294079781, + "D": 0.5577903985977173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда озеро с течением времени подвергается воздействию достаточного количества тепла", + "option_a": "животные уходят", + "option_b": "рыба заболевает", + "option_c": "растения высыхают", + "option_d": "оно перестает существовать" + }, + "outputs": "D", + "meta": { + "id": 2187 + } + }, + "prompt": "<|im_start|>user\nКогда озеро с течением времени подвергается воздействию достаточного количества тепла\nA) животные уходят\nB) рыба заболевает\nC) растения высыхают\nD) оно перестает существовать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.007126784883439541, + "B": 0.000313129072310403, + "C": 0.0005850021261721849, + "D": 0.9334246516227722 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Изменения на Земле могут произойти в результате", + "option_a": "снежных облаков", + "option_b": "мягкой погоды", + "option_c": "сильных штормов", + "option_d": "повышения температур" + }, + "outputs": "D", + "meta": { + "id": 2306 + } + }, + "prompt": "<|im_start|>user\nИзменения на Земле могут произойти в результате\nA. снежных облаков\nB. мягкой погоды\nC. сильных штормов\nD. повышения температур\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7539770007133484, + "B": 0.04820013791322708, + "C": 0.0107549037784338, + "D": 0.10203969478607178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чему могут повредить взрывы?", + "option_a": "облака", + "option_b": "радиоволны", + "option_c": "воздушный поток", + "option_d": "ползунки" + }, + "outputs": "D", + "meta": { + "id": 245 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чему могут повредить взрывы?\nA) облака\nB) радиоволны\nC) воздушный поток\nD) ползунки\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004857981111854315, + "B": 0.0005120274145156145, + "C": 0.9257673025131226, + "D": 0.046091239899396896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Побочный эффект содержания хаски в качестве домашнего животного заключается в том, что, когда она линяет", + "option_a": "собаке нравится, когда ее вымывают", + "option_b": "мыть всю шерсть легко", + "option_c": "требуется несколько часов, чтобы собрать пылесосом весь мех", + "option_d": "мех все еще прикреплен к коже" + }, + "outputs": "C", + "meta": { + "id": 1178 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Побочный эффект содержания хаски в качестве домашнего животного заключается в том, что, когда она линяет\nA. собаке нравится, когда ее вымывают\nB. мыть всю шерсть легко\nC. требуется несколько часов, чтобы собрать пылесосом весь мех\nD. мех все еще прикреплен к коже\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5890519618988037, + "B": 0.0001976049243239686, + "C": 0.00032579543767496943, + "D": 0.31529682874679565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этиловый спирт можно получить путем дистилляции и ферментации простых сахаров из", + "option_a": "рисовых полей", + "option_b": "влажного песка", + "option_c": "сухих опилок", + "option_d": "крахмалистой суспензии" + }, + "outputs": "D", + "meta": { + "id": 1659 + } + }, + "prompt": "<|im_start|>user\nЭтиловый спирт можно получить путем дистилляции и ферментации простых сахаров из\nA. рисовых полей\nB. влажного песка\nC. сухих опилок\nD. крахмалистой суспензии\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0013883165083825588, + "B": 0.00039775934419594705, + "C": 0.0015731689054518938, + "D": 0.923427164554596 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что дает нам пищеварение, когда съеденное расщепляется желудочной кислотой?", + "option_a": "эссе о еде", + "option_b": "воздух", + "option_c": "воду", + "option_d": "средства к существованию" + }, + "outputs": "D", + "meta": { + "id": 1297 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что дает нам пищеварение, когда съеденное расщепляется желудочной кислотой?\nA) эссе о еде\nB) воздух\nC) воду\nD) средства к существованию\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.062104105949401855, + "B": 0.09036093950271606, + "C": 0.11602573841810226, + "D": 0.6676820516586304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дрожащие мышечные спазмы у животных могут быть вызваны", + "option_a": "нахождением правильной температуры", + "option_b": "температурой, близкой к 30 градусам по Цельсию", + "option_c": "близкой к нулю температурой", + "option_d": "без учета температуры" + }, + "outputs": "C", + "meta": { + "id": 1208 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дрожащие мышечные спазмы у животных могут быть вызваны\nA. нахождением правильной температуры\nB. температурой, близкой к 30 градусам по Цельсию\nC. близкой к нулю температурой\nD. без учета температуры\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.034948501735925674, + "B": 0.01456870324909687, + "C": 0.701959490776062, + "D": 0.20111475884914398 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них использует укрытие для защиты от непогоды?", + "option_a": "планета", + "option_b": "океан", + "option_c": "скала", + "option_d": "многоножка" + }, + "outputs": "D", + "meta": { + "id": 60 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто из них использует укрытие для защиты от непогоды?\nA) планета\nB) океан\nC) скала\nD) многоножка\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.047492045909166336, + "B": 0.8418166041374207, + "C": 0.022433651611208916, + "D": 0.03264077007770538 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Синие птицы обитают на", + "option_a": "обширных зеленых полях", + "option_b": "ледниках", + "option_c": "вулканических кратерах", + "option_d": "океанских волнах" + }, + "outputs": "A", + "meta": { + "id": 899 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Синие птицы обитают на\nA. обширных зеленых полях\nB. ледниках\nC. вулканических кратерах\nD. океанских волнах\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8156471848487854, + "B": 0.04060867801308632, + "C": 0.014939099550247192, + "D": 0.03162607178092003 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На каком продукте вы можете найти отражатель?", + "option_a": "легковой автомобиль", + "option_b": "игровая приставка", + "option_c": "смартфон", + "option_d": "стационарный телефон" + }, + "outputs": "A", + "meta": { + "id": 1151 + } + }, + "prompt": "<|im_start|>user\nНа каком продукте вы можете найти отражатель?\nA) легковой автомобиль\nB) игровая приставка\nC) смартфон\nD) стационарный телефон\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.8011894822120667, + "B": 0.014674298465251923, + "C": 0.012950021773576736, + "D": 0.021350976079702377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Железо прилипает к", + "option_a": "керамическому трону", + "option_b": "к холодильнику", + "option_c": "витамину", + "option_d": "к шапочке-бини" + }, + "outputs": "B", + "meta": { + "id": 1238 + } + }, + "prompt": "<|im_start|>user\nЖелезо прилипает к\nA. керамическому трону\nB. к холодильнику\nC. витамину\nD. к шапочке-бини\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1454918384552002, + "B": 0.06872547417879105, + "C": 0.060650017112493515, + "D": 0.65204918384552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если существо желает охотиться, что ему меньше всего пригодится?", + "option_a": "зрение", + "option_b": "обоняние", + "option_c": "слух", + "option_d": "неспешное ползание" + }, + "outputs": "D", + "meta": { + "id": 816 + } + }, + "prompt": "<|im_start|>user\nЕсли существо желает охотиться, что ему меньше всего пригодится?\nA. зрение\nB. обоняние\nC. слух\nD. неспешное ползание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8824892044067383, + "B": 0.00043073881533928216, + "C": 0.0013267688918858767, + "D": 0.004086736124008894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звезда, вокруг которой вращается Юпитер, является источником энергии, называемой", + "option_a": "солнечный свет", + "option_b": "лунный свет", + "option_c": "ультрафиолетовый свет", + "option_d": "флуоресцентный свет." + }, + "outputs": "A", + "meta": { + "id": 1146 + } + }, + "prompt": "<|im_start|>user\nЗвезда, вокруг которой вращается Юпитер, является источником энергии, называемой\nA. солнечный свет\nB. лунный свет\nC. ультрафиолетовый свет\nD. флуоресцентный свет.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18387490510940552, + "B": 0.7272393703460693, + "C": 0.00629185326397419, + "D": 0.017103031277656555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мужчина заправляет свой бак на заправке, затем заходит внутрь и платит. Когда он возвращается, его грузовик угоняют! Он преследует грузовик, в то время как вор уезжает на нем и начинает ускоряться. Хотя грузовик казался огромным, минуту назад будучи прямо перед хозяином, но теперь, когда грузовик ускоряется, а мужчина пытается не отставать, грузовик", + "option_a": "выглядит больше", + "option_b": "выглядит меньше", + "option_c": "выглядит холодно", + "option_d": "движется в сторону" + }, + "outputs": "B", + "meta": { + "id": 2304 + } + }, + "prompt": "<|im_start|>user\nМужчина заправляет свой бак на заправке, затем заходит внутрь и платит. Когда он возвращается, его грузовик угоняют! Он преследует грузовик, в то время как вор уезжает на нем и начинает ускоряться. Хотя грузовик казался огромным, минуту назад будучи прямо перед хозяином, но теперь, когда грузовик ускоряется, а мужчина пытается не отставать, грузовик\nA. выглядит больше\nB. выглядит меньше\nC. выглядит холодно\nD. движется в сторону\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0055986130610108376, + "B": 0.0004055621975567192, + "C": 0.0008585751638747752, + "D": 0.9415419697761536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина оставляет мясо на прилавке, и на поверхности начинают быстро расти бактерии. Эти бактерии могут вызывать", + "option_a": "протертые апельсины", + "option_b": "рост бобов", + "option_c": "липкую ириску", + "option_d": "порчу пищи" + }, + "outputs": "D", + "meta": { + "id": 2189 + } + }, + "prompt": "<|im_start|>user\nЖенщина оставляет мясо на прилавке, и на поверхности начинают быстро расти бактерии. Эти бактерии могут вызывать\nA. протертые апельсины\nB. рост бобов\nC. липкую ириску\nD. порчу пищи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018662079237401485, + "B": 0.0007779512088745832, + "C": 0.9667196273803711, + "D": 0.0011319122277200222 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером испарения является высыхание жидкости путем поглощения какой энергии?", + "option_a": "холодовой", + "option_b": "электрической", + "option_c": "тепловой", + "option_d": "холодной" + }, + "outputs": "C", + "meta": { + "id": 121 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером испарения является высыхание жидкости путем поглощения какой энергии?\nA. холодовой\nB. электрической\nC. тепловой\nD. холодной\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.874182403087616, + "B": 0.006674464792013168, + "C": 0.0035725836642086506, + "D": 0.0024553986731916666 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы выдыхаете в непосредственной близости от прозрачного стекла, вы можете увидеть, что", + "option_a": "стекло запотевает", + "option_b": "ваше дыхание цветное", + "option_c": "ваше дыхание - воздух", + "option_d": "ваше дыхание неприятно пахнет" + }, + "outputs": "A", + "meta": { + "id": 873 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы выдыхаете в непосредственной близости от прозрачного стекла, вы можете увидеть, что\nA) стекло запотевает\nB) ваше дыхание цветное\nC) ваше дыхание - воздух\nD) ваше дыхание неприятно пахнет\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7926560640335083, + "B": 0.08354533463716507, + "C": 0.004713305272161961, + "D": 0.01281209196895361 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример, который показывает, что земля меняется", + "option_a": "озеро, где было дерево", + "option_b": "город, где было дерево", + "option_c": "дерево, где была птица", + "option_d": "растение, где был камень" + }, + "outputs": "A", + "meta": { + "id": 1500 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример, который показывает, что земля меняется\nA) озеро, где было дерево\nB) город, где было дерево\nC) дерево, где была птица\nD) растение, где был камень\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.01310864370316267, + "B": 0.2050536870956421, + "C": 0.0020102758426219225, + "D": 0.7157077193260193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ящерице, вероятно, опасно взаимодействовать с", + "option_a": "деревьями", + "option_b": "орлами", + "option_c": "улитками", + "option_d": "акулами" + }, + "outputs": "B", + "meta": { + "id": 2262 + } + }, + "prompt": "<|im_start|>user\nЯщерице, вероятно, опасно взаимодействовать с\nA. деревьями\nB. орлами\nC. улитками\nD. акулами\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9056119918823242, + "B": 0.0005675712018273771, + "C": 0.004752215929329395, + "D": 0.0019810183439403772 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Физическое выветривание с помощью льда можно проиллюстрировать указанием на", + "option_a": "дороги в зимних районах, растрескавшиеся и нуждающиеся в постоянном ремонте после зимы", + "option_b": "падение домов в тропиках", + "option_c": "то, что некоторые деревья раскалываются после того, как достигают большой высоты", + "option_d": "то, что лед достаточно холодный, чтобы убить" + }, + "outputs": "A", + "meta": { + "id": 1946 + } + }, + "prompt": "<|im_start|>user\nФизическое выветривание с помощью льда можно проиллюстрировать указанием на\nA. дороги в зимних районах, растрескавшиеся и нуждающиеся в постоянном ремонте после зимы\nB. падение домов в тропиках\nC. то, что некоторые деревья раскалываются после того, как достигают большой высоты\nD. то, что лед достаточно холодный, чтобы убить\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9079221487045288, + "B": 0.006932070944458246, + "C": 0.0008279178873635828, + "D": 0.003274478716775775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего, вероятно, составляет путь, по которому электрическая энергия проходит к устройству?", + "option_a": "сталь или медь", + "option_b": "рис или бобы", + "option_c": "персики или сливки", + "option_d": "хлопок и солнечный свет" + }, + "outputs": "A", + "meta": { + "id": 1834 + } + }, + "prompt": "<|im_start|>user\nЧто из следующего, вероятно, составляет путь, по которому электрическая энергия проходит к устройству?\nA) сталь или медь\nB) рис или бобы\nC) персики или сливки\nD) хлопок и солнечный свет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018651705468073487, + "B": 0.966182291507721, + "C": 0.0006055322010070086, + "D": 0.0018651705468073487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда мы думаем о пчелах, мы также думаем о пыльце. Это потому, что пчелы", + "option_a": "спят в ней", + "option_b": "потребляют ее", + "option_c": "продают ее", + "option_d": "живут в ней" + }, + "outputs": "B", + "meta": { + "id": 615 + } + }, + "prompt": "<|im_start|>user\nКогда мы думаем о пчелах, мы также думаем о пыльце. Это потому, что пчелы\nA. спят в ней\nB. потребляют ее\nC. продают ее\nD. живут в ней\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7982762455940247, + "B": 0.07425125688314438, + "C": 0.011386798694729805, + "D": 0.03974383324384689 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чего не хватает Луне?", + "option_a": "h2o", + "option_b": "кратеры", + "option_c": "гравитация", + "option_d": "скалы" + }, + "outputs": "A", + "meta": { + "id": 342 + } + }, + "prompt": "<|im_start|>user\nЧего не хватает Луне?\nA. h2o\nB. кратеры\nC. гравитация\nD. скалы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8397563099861145, + "B": 0.022378748282790184, + "C": 0.007265315856784582, + "D": 0.019749175757169724 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные каждый год возвращаются на одни и те же лежбища, чтобы родить?", + "option_a": "тюлени и морские котики", + "option_b": "орлы и ястребы", + "option_c": "морские крокодилы", + "option_d": "тигровые акулы" + }, + "outputs": "A", + "meta": { + "id": 444 + } + }, + "prompt": "<|im_start|>user\nКакие животные каждый год возвращаются на одни и те же лежбища, чтобы родить?\nA) тюлени и морские котики\nB) орлы и ястребы\nC) морские крокодилы\nD) тигровые акулы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0038003127556294203, + "B": 0.0004005499940831214, + "C": 0.0012337808730080724, + "D": 0.9299058318138123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего видно, что по мере увеличения размера цветка количество опылителей, которые он привлечет, увеличивается?", + "option_a": "бабочки сливаются с цветами там, где они есть", + "option_b": "утки предпочитают спать в воде с цветущими кувшинками", + "option_c": "люди предпочитают гулять по садам, в которых много цветущих растений", + "option_d": "посадка цветущих крупными цветками растений собирает много пчел" + }, + "outputs": "D", + "meta": { + "id": 1194 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из чего видно, что по мере увеличения размера цветка количество опылителей, которые он привлечет, увеличивается?\nA) бабочки сливаются с цветами там, где они есть\nB) утки предпочитают спать в воде с цветущими кувшинками\nC) люди предпочитают гулять по садам, в которых много цветущих растений\nD) посадка цветущих крупными цветками растений собирает много пчел\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9224703907966614, + "B": 0.0005781367653980851, + "C": 0.0005102039431221783, + "D": 0.00484068039804697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди во многом похожи на обезьян, кроме того, что у них много одинаковых участков ДНК, их дети рождаются", + "option_a": "живыми", + "option_b": "старыми", + "option_c": "безумными", + "option_d": "мертвыми" + }, + "outputs": "A", + "meta": { + "id": 11 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди во многом похожи на обезьян, кроме того, что у них много одинаковых участков ДНК, их дети рождаются\nA. живыми\nB. старыми\nC. безумными\nD. мертвыми\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.046460386365652084, + "B": 0.4994962513446808, + "C": 0.34329843521118164, + "D": 0.052646517753601074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если голова исключительно круглая,", + "option_a": "у родителей, вероятно, была круглая голова", + "option_b": "большинство голов круглые", + "option_c": "это является необычным признаком", + "option_d": "в мозгу есть жидкость." + }, + "outputs": "A", + "meta": { + "id": 2277 + } + }, + "prompt": "<|im_start|>user\nЕсли голова исключительно круглая,\nA. у родителей, вероятно, была круглая голова\nB. большинство голов круглые\nC. это является необычным признаком\nD. в мозгу есть жидкость.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05581044405698776, + "B": 0.029873177409172058, + "C": 0.05581044405698776, + "D": 0.7704393863677979 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученик изучает магнитные свойства веществ. У ученика есть магнит, и он проверяет, к каким объектам магнит будет притягиваться. Студент удивлен, что магнит тянется к", + "option_a": "пластиковой чашке", + "option_b": "гипсовой стене", + "option_c": "бумажной тарелке.", + "option_d": "серому камню" + }, + "outputs": "D", + "meta": { + "id": 1285 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ученик изучает магнитные свойства веществ. У ученика есть магнит, и он проверяет, к каким объектам магнит будет притягиваться. Студент удивлен, что магнит тянется к\nA) пластиковой чашке\nB) гипсовой стене\nC) бумажной тарелке.\nD) серому камню\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014669299125671387, + "B": 0.0002249609970021993, + "C": 0.0002249609970021993, + "D": 0.975716233253479 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется добавление чего-то ядовитого в окружающую среду и причинение ей вреда?", + "option_a": "соблюдение норм", + "option_b": "любование", + "option_c": "чистка", + "option_d": "загрязнение" + }, + "outputs": "D", + "meta": { + "id": 504 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как называется добавление чего-то ядовитого в окружающую среду и причинение ей вреда?\nA. соблюдение норм\nB. любование\nC. чистка\nD. загрязнение\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.6443251371383667, + "B": 0.23703399300575256, + "C": 0.001597122405655682, + "D": 0.003381107933819294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные могут перебраться в новую среду обитания, если их старая среда", + "option_a": "перенесла серьезную грозу", + "option_b": "перенесла сильный ураган", + "option_c": "перенесла нескольких засушливых дней", + "option_d": "в течение недели получила мало осадков" + }, + "outputs": "B", + "meta": { + "id": 2085 + } + }, + "prompt": "<|im_start|>user\nЖивотные могут перебраться в новую среду обитания, если их старая среда\nA. перенесла серьезную грозу\nB. перенесла сильный ураган\nC. перенесла нескольких засушливых дней\nD. в течение недели получила мало осадков\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0039029987528920174, + "B": 0.0003630354185588658, + "C": 0.9550322890281677, + "D": 0.019821060821413994 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как воздух становится более сухим, он содержит", + "option_a": "больше кислорода", + "option_b": "больше дождя", + "option_c": "меньше влаги", + "option_d": "больше статического электричества" + }, + "outputs": "C", + "meta": { + "id": 2237 + } + }, + "prompt": "<|im_start|>user\nПо мере того, как воздух становится более сухим, он содержит\nA) больше кислорода\nB) больше дождя\nC) меньше влаги\nD) больше статического электричества\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005027202423661947, + "B": 0.0006004136521369219, + "C": 0.0006004136521369219, + "D": 0.9580152034759521 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гравитация является примером чего?", + "option_a": "Волшебная сила", + "option_b": "Скорость", + "option_c": "Контактная сила", + "option_d": "Бесконтактная сила" + }, + "outputs": "D", + "meta": { + "id": 430 + } + }, + "prompt": "<|im_start|>user\nГравитация является примером чего?\nA. Волшебная сила\nB. Скорость\nC. Контактная сила\nD. Бесконтактная сила\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.08012273162603378, + "B": 0.005804071202874184, + "C": 0.005804071202874184, + "D": 0.8614005446434021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто употебляет других животных в пищу?", + "option_a": "ежи", + "option_b": "козы", + "option_c": "кролики", + "option_d": "слоны" + }, + "outputs": "A", + "meta": { + "id": 1478 + } + }, + "prompt": "<|im_start|>user\nКто употебляет других животных в пищу?\nA) ежи\nB) козы\nC) кролики\nD) слоны\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5378645658493042, + "B": 0.044150613248348236, + "C": 0.12001381069421768, + "D": 0.17461906373500824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода меньше испаряется", + "option_a": "на жаркой улице", + "option_b": "рядом с окном", + "option_c": "в солнечный день", + "option_d": "в подвале" + }, + "outputs": "D", + "meta": { + "id": 1516 + } + }, + "prompt": "<|im_start|>user\nВода меньше испаряется\nA) на жаркой улице\nB) рядом с окном\nC) в солнечный день\nD) в подвале\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0785491019487381, + "B": 0.017526673153042793, + "C": 0.18842950463294983, + "D": 0.6576835513114929 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все ли насекомые должны пройти все стадии изменения, прежде чем стать взрослыми?", + "option_a": "все", + "option_b": "насекомые рождаются живыми", + "option_c": "стадия куколки является обязательной", + "option_d": "стадия куколки иногда пропускается" + }, + "outputs": "D", + "meta": { + "id": 1347 + } + }, + "prompt": "<|im_start|>user\nВсе ли насекомые должны пройти все стадии изменения, прежде чем стать взрослыми?\nA) все\nB) насекомые рождаются живыми\nC) стадия куколки является обязательной\nD) стадия куколки иногда пропускается\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.21859611570835114, + "B": 0.023039860650897026, + "C": 0.033522799611091614, + "D": 0.6733234524726868 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример изготовления смеси", + "option_a": "смешивание яиц с мукой для изготовления торта", + "option_b": "добавления NaCl в соль", + "option_c": "добавления углекислого газа к CO2", + "option_d": "смешивание H2O с водой" + }, + "outputs": "A", + "meta": { + "id": 643 + } + }, + "prompt": "<|im_start|>user\nКаков пример изготовления смеси\nA) смешивание яиц с мукой для изготовления торта\nB) добавления NaCl в соль\nC) добавления углекислого газа к CO2\nD) смешивание H2O с водой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3293054699897766, + "B": 0.3293054699897766, + "C": 0.09434760361909866, + "D": 0.1555529087781906 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из предложенных вариантов поглощает больше солнечного света?", + "option_a": "Пещера", + "option_b": "Ухо слона", + "option_c": "Летучая мышь", + "option_d": "Осьминог" + }, + "outputs": "B", + "meta": { + "id": 161 + } + }, + "prompt": "<|im_start|>user\nКакой из предложенных вариантов поглощает больше солнечного света?\nA) Пещера\nB) Ухо слона\nC) Летучая мышь\nD) Осьминог\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.03861009702086449, + "B": 0.7755045294761658, + "C": 0.004611318465322256, + "D": 0.10495312511920929 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Световое загрязнение в глуши", + "option_a": "повсеместнее", + "option_b": "сильнее", + "option_c": "ярче", + "option_d": "меньше" + }, + "outputs": "D", + "meta": { + "id": 897 + } + }, + "prompt": "<|im_start|>user\nСветовое загрязнение в глуши\nA. повсеместнее\nB. сильнее\nC. ярче\nD. меньше\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5018926858901978, + "B": 0.0769677385687828, + "C": 0.005575524177402258, + "D": 0.3449454605579376 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отражатели используются для отражения света на", + "option_a": "картоне", + "option_b": "краске", + "option_c": "птицах", + "option_d": "автобусах" + }, + "outputs": "D", + "meta": { + "id": 293 + } + }, + "prompt": "<|im_start|>user\nОтражатели используются для отражения света на\nA) картоне\nB) краске\nC) птицах\nD) автобусах\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003773676697164774, + "B": 0.9233882427215576, + "C": 0.013171425089240074, + "D": 0.005490666721016169 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот тип энергоресурсов часто приводит к образованию твердых частиц, которые очень токсичны для дыхания:", + "option_a": "древесина", + "option_b": "уголь", + "option_c": "нефть", + "option_d": "солнечная энергия" + }, + "outputs": "B", + "meta": { + "id": 533 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Этот тип энергоресурсов часто приводит к образованию твердых частиц, которые очень токсичны для дыхания:\nA) древесина\nB) уголь\nC) нефть\nD) солнечная энергия\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9197719693183899, + "B": 0.000508711498696357, + "C": 0.00030854911892674863, + "D": 0.00039618491427972913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вольфрам - это металл, который в больших количествах содержится в волокнах, которые используются в лампах накаливания. Эти лампочки работают, потому что", + "option_a": "нить накаливания начинает излучать энергию при нагревании", + "option_b": "нити накаливания могут замерзать", + "option_c": "лампочки становятся очень теплыми", + "option_d": "нить накаливания загорается и дымит" + }, + "outputs": "A", + "meta": { + "id": 2 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вольфрам - это металл, который в больших количествах содержится в волокнах, которые используются в лампах накаливания. Эти лампочки работают, потому что\nA. нить накаливания начинает излучать энергию при нагревании\nB. нити накаливания могут замерзать\nC. лампочки становятся очень теплыми\nD. нить накаливания загорается и дымит\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8221558332443237, + "B": 0.006277236621826887, + "C": 0.0008495316724292934, + "D": 0.07647240161895752 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как корни растения разрастаются, они встречают это препятствие и разделяются, огибая его. Что это за препятствие?", + "option_a": "черви", + "option_b": "вода", + "option_c": "атомы", + "option_d": "ранита" + }, + "outputs": "D", + "meta": { + "id": 102 + } + }, + "prompt": "<|im_start|>user\nПо мере того, как корни растения разрастаются, они встречают это препятствие и разделяются, огибая его. Что это за препятствие?\nA. черви\nB. вода\nC. атомы\nD. ранита\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.42037269473075867, + "B": 0.03910075128078461, + "C": 0.2889176607131958, + "D": 0.15464648604393005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Моряк, вероятно, будет использовать этот инструмент чаще, чем другие:", + "option_a": "пластина с заглушкой", + "option_b": "свеча с фитилем", + "option_c": "карта с дыркой", + "option_d": "диск со стрелкой" + }, + "outputs": "D", + "meta": { + "id": 1222 + } + }, + "prompt": "<|im_start|>user\nМоряк, вероятно, будет использовать этот инструмент чаще, чем другие:\nA. пластина с заглушкой\nB. свеча с фитилем\nC. карта с дыркой\nD. диск со стрелкой\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0365963838994503, + "B": 0.16401360929012299, + "C": 0.5051974654197693, + "D": 0.23863840103149414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Микроскоп можно поставить против солнца и", + "option_a": "Сделать снимок земли крупным планом", + "option_b": "Обеспечить тень в жаркий день", + "option_c": "сжечь муравья на пути света", + "option_d": "Показать, сколько морщин у меня на коже тела" + }, + "outputs": "C", + "meta": { + "id": 1850 + } + }, + "prompt": "<|im_start|>user\nМикроскоп можно поставить против солнца и\nA. Сделать снимок земли крупным планом\nB. Обеспечить тень в жаркий день\nC. сжечь муравья на пути света\nD. Показать, сколько морщин у меня на коже тела\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01919063739478588, + "B": 0.9246567487716675, + "C": 0.0008431778405793011, + "D": 0.0020226784981787205 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пруд может быть сообществом, потому что", + "option_a": "рыба и лягушки уживаются", + "option_b": "существует взаимодействие форм жизни", + "option_c": "формы жизни собираются вместе пообщаться", + "option_d": "наблюдается значительный рост популяции" + }, + "outputs": "B", + "meta": { + "id": 1854 + } + }, + "prompt": "<|im_start|>user\nПруд может быть сообществом, потому что\nA. рыба и лягушки уживаются\nB. существует взаимодействие форм жизни\nC. формы жизни собираются вместе пообщаться\nD. наблюдается значительный рост популяции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.017075512558221817, + "B": 0.9322913885116577, + "C": 0.0010916009778156877, + "D": 0.0017997458344325423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примерно тринадцать раз в год Луна", + "option_a": "врезается в Землю", + "option_b": "полностью облетает вокруг Земли", + "option_c": "поджигает Землю", + "option_d": "останавливает свое движение вокруг Земли" + }, + "outputs": "B", + "meta": { + "id": 415 + } + }, + "prompt": "<|im_start|>user\nПримерно тринадцать раз в год Луна\nA. врезается в Землю\nB. полностью облетает вокруг Земли\nC. поджигает Землю\nD. останавливает свое движение вокруг Земли\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8715416789054871, + "B": 0.00968195404857397, + "C": 0.001682471251115203, + "D": 0.029822515323758125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример инстинктивного поведения:", + "option_a": "зимний полет на юг", + "option_b": "ковка", + "option_c": "лазание", + "option_d": "перемещение" + }, + "outputs": "A", + "meta": { + "id": 748 + } + }, + "prompt": "<|im_start|>user\nПример инстинктивного поведения:\nA) зимний полет на юг\nB) ковка\nC) лазание\nD) перемещение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.57770174741745, + "B": 0.0038925239350646734, + "C": 0.0020835178438574076, + "D": 0.3503938317298889 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда Луна вращается вокруг нашей планеты", + "option_a": "уровень океана повышается и понижается", + "option_b": "реки текут в противоположном направлении", + "option_c": "все живые существа засыпают", + "option_d": "уровень моря остается прежним" + }, + "outputs": "A", + "meta": { + "id": 1411 + } + }, + "prompt": "<|im_start|>user\nКогда Луна вращается вокруг нашей планеты\nA. уровень океана повышается и понижается\nB. реки текут в противоположном направлении\nC. все живые существа засыпают\nD. уровень моря остается прежним\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9117992520332336, + "B": 0.000269933370873332, + "C": 0.0001637228560866788, + "D": 0.0005714489379897714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вещество находится в промежуточном состоянии между газом и твердым телом, оно, вероятнее всего,", + "option_a": "является жидкостью", + "option_b": "станет дверью", + "option_c": "станет менее тяжелым", + "option_d": "посетит школу" + }, + "outputs": "A", + "meta": { + "id": 1689 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вещество находится в промежуточном состоянии между газом и твердым телом, оно, вероятнее всего,\nA) является жидкостью\nB) станет дверью\nC) станет менее тяжелым\nD) посетит школу\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.056559860706329346, + "B": 0.009828630834817886, + "C": 0.004642716143280268, + "D": 0.8847451210021973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздух дует на мяч одинаково с востока и запада, что мяч будет делать?", + "option_a": "Двигаться на восток", + "option_b": "Двигаться на запад", + "option_c": "Двигаться на север", + "option_d": "Замрет на месте" + }, + "outputs": "D", + "meta": { + "id": 861 + } + }, + "prompt": "<|im_start|>user\nВоздух дует на мяч одинаково с востока и запада, что мяч будет делать?\nA) Двигаться на восток\nB) Двигаться на запад\nC) Двигаться на север\nD) Замрет на месте\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8424147963523865, + "B": 0.0012665193062275648, + "C": 0.0003628638805821538, + "D": 0.0016262431163340807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда жизненная форма вегетативного организма переходит в состояние создания жизни из себя, как это называется?", + "option_a": "размножение", + "option_b": "окраска", + "option_c": "сбор семян", + "option_d": "гибернация" + }, + "outputs": "A", + "meta": { + "id": 1828 + } + }, + "prompt": "<|im_start|>user\nКогда жизненная форма вегетативного организма переходит в состояние создания жизни из себя, как это называется?\nA) размножение\nB) окраска\nC) сбор семян\nD) гибернация\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0018462841399013996, + "B": 0.0014378875494003296, + "C": 0.9563988447189331, + "D": 0.013642297126352787 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие черты можно передать с помощью генов?", + "option_a": "деньги", + "option_b": "мысли", + "option_c": "нос", + "option_d": "привычки" + }, + "outputs": "C", + "meta": { + "id": 2279 + } + }, + "prompt": "<|im_start|>user\nКакие черты можно передать с помощью генов?\nA. деньги\nB. мысли\nC. нос\nD. привычки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0027049239724874496, + "B": 0.008331751450896263, + "C": 0.9630195498466492, + "D": 0.0011275799479335546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда автомобиль приближается к бегуну, фары освещают бегуна лучше. Что этому причиной?", + "option_a": "гравитация лун", + "option_b": "движение по кругу", + "option_c": "близость к объекту", + "option_d": "вращение солнца" + }, + "outputs": "C", + "meta": { + "id": 85 + } + }, + "prompt": "<|im_start|>user\nКогда автомобиль приближается к бегуну, фары освещают бегуна лучше. Что этому причиной?\nA. гравитация лун\nB. движение по кругу\nC. близость к объекту\nD. вращение солнца\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006888597854413092, + "B": 0.001286959508433938, + "C": 0.9699867963790894, + "D": 0.0014583161100745201 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лампа накаливания требует, чтобы нить накала", + "option_a": "преобразовывала механическую энергию в ядерную", + "option_b": "испускала рентгеновское излучение", + "option_c": "испускала свет", + "option_d": "преобразовывала химическую энергию в механическую" + }, + "outputs": "C", + "meta": { + "id": 1626 + } + }, + "prompt": "<|im_start|>user\nЛампа накаливания требует, чтобы нить накала\nA. преобразовывала механическую энергию в ядерную\nB. испускала рентгеновское излучение\nC. испускала свет\nD. преобразовывала химическую энергию в механическую\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.008124781772494316, + "B": 0.0029889403376728296, + "C": 0.0023277890868484974, + "D": 0.9390971064567566 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняется при раскрашивании объекта?", + "option_a": "химический состав", + "option_b": "цвет ржавчины", + "option_c": "плотность объекта", + "option_d": "поглощение света" + }, + "outputs": "D", + "meta": { + "id": 1882 + } + }, + "prompt": "<|im_start|>user\nЧто меняется при раскрашивании объекта?\nA) химический состав\nB) цвет ржавчины\nC) плотность объекта\nD) поглощение света\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.011966582387685776, + "B": 0.0006751084001734853, + "C": 0.003025626065209508, + "D": 0.9506233930587769 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Население Земли может столкнуться с голодом, если что из этого прекратится?", + "option_a": "танцы на льду", + "option_b": "шоу «Голос»", + "option_c": "исследования в области клонирования человеческого гена", + "option_d": "сохранение структуры пищевой пирамиды" + }, + "outputs": "D", + "meta": { + "id": 1905 + } + }, + "prompt": "<|im_start|>user\nНаселение Земли может столкнуться с голодом, если что из этого прекратится?\nA. танцы на льду\nB. шоу «Голос»\nC. исследования в области клонирования человеческого гена\nD. сохранение структуры пищевой пирамиды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.3736609220504761, + "B": 0.5436733961105347, + "C": 0.001730393385514617, + "D": 0.014488405548036098 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди худеют, когда", + "option_a": "они переедают", + "option_b": "они слишком много едят", + "option_c": "им не хватает еды", + "option_d": "они едят пищу" + }, + "outputs": "C", + "meta": { + "id": 688 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди худеют, когда\nA. они переедают\nB. они слишком много едят\nC. им не хватает еды\nD. они едят пищу\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07293929159641266, + "B": 0.09365590661764145, + "C": 0.009871259331703186, + "D": 0.7841712832450867 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вращение этой планеты вокруг своей оси вызывает на ней быструю смену циклов дня и ночи, и восход Солнца на ней можно наблюдать каждые 10 часов. Речь о", + "option_a": "Орионе", + "option_b": "Луне", + "option_c": "Плутоне", + "option_d": "Юпитере" + }, + "outputs": "D", + "meta": { + "id": 1476 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вращение этой планеты вокруг своей оси вызывает на ней быструю смену циклов дня и ночи, и восход Солнца на ней можно наблюдать каждые 10 часов. Речь о\nA) Орионе\nB) Луне\nC) Плутоне\nD) Юпитере\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.002736394526436925, + "B": 0.0007839900790713727, + "C": 0.9742238521575928, + "D": 0.000888377137016505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот орган поможет обеспечить ваше тело питательными веществами", + "option_a": "легкие", + "option_b": "пищевод", + "option_c": "почки", + "option_d": "мочевой пузырь" + }, + "outputs": "B", + "meta": { + "id": 2208 + } + }, + "prompt": "<|im_start|>user\nЭтот орган поможет обеспечить ваше тело питательными веществами\nA. легкие\nB. пищевод\nC. почки\nD. мочевой пузырь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0034601218067109585, + "B": 0.010657926090061665, + "C": 0.0003218414494767785, + "D": 0.9593958258628845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую растительность вы можете найти в жарких районах с малым количеством осадков?", + "option_a": "подсолнухи", + "option_b": "пальмы", + "option_c": "кусты роз", + "option_d": "кактусы" + }, + "outputs": "D", + "meta": { + "id": 1885 + } + }, + "prompt": "<|im_start|>user\nКакую растительность вы можете найти в жарких районах с малым количеством осадков?\nA. подсолнухи\nB. пальмы\nC. кусты роз\nD. кактусы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.0029404666274785995, + "B": 0.9238671064376831, + "C": 0.007993016391992569, + "D": 0.0004509351565502584 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Органическая жизнь требует для роста определенных вещей, таких как", + "option_a": "кислота", + "option_b": "цинк", + "option_c": "пищевая ценность", + "option_d": "темнота" + }, + "outputs": "C", + "meta": { + "id": 474 + } + }, + "prompt": "<|im_start|>user\nОрганическая жизнь требует для роста определенных вещей, таких как\nA. кислота\nB. цинк\nC. пищевая ценность\nD. темнота\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.24787817895412445, + "B": 0.13267962634563446, + "C": 0.46309739351272583, + "D": 0.08047425001859665 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Белые медведи в холодных ____", + "option_a": "тропиках", + "option_b": "планетах", + "option_c": "местах", + "option_d": "домах" + }, + "outputs": "C", + "meta": { + "id": 1638 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Белые медведи в холодных ____\nA. тропиках\nB. планетах\nC. местах\nD. домах\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.005762636195868254, + "B": 0.0018708540592342615, + "C": 0.000417443981859833, + "D": 0.9691264033317566 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пищевой цепочке существуют производители, и они в основном", + "option_a": "такие существа, как олени", + "option_b": "нуждаются в фотосинтезе для выживания", + "option_c": "производят то, что называется хлорофиллом", + "option_d": "хорошо зарабатывают на работе" + }, + "outputs": "B", + "meta": { + "id": 871 + } + }, + "prompt": "<|im_start|>user\nВ пищевой цепочке существуют производители, и они в основном\nA. такие существа, как олени\nB. нуждаются в фотосинтезе для выживания\nC. производят то, что называется хлорофиллом\nD. хорошо зарабатывают на работе\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.010293194092810154, + "B": 0.9265637397766113, + "C": 0.0013930322602391243, + "D": 0.008016346953809261 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем вызваны обильные осадки?", + "option_a": "ветер Венеры", + "option_b": "сильные штормы", + "option_c": "самолеты", + "option_d": "разрушение менталитета" + }, + "outputs": "B", + "meta": { + "id": 1588 + } + }, + "prompt": "<|im_start|>user\nЧем вызваны обильные осадки?\nA. ветер Венеры\nB. сильные штормы\nC. самолеты\nD. разрушение менталитета\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8890394568443298, + "B": 0.0002049768081633374, + "C": 0.00014996423851698637, + "D": 0.0002982394944410771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "К чему приводит поглощение солнечного света объектами?", + "option_a": "нагревание", + "option_b": "холодно", + "option_c": "заморозить", + "option_d": "прохладно" + }, + "outputs": "A", + "meta": { + "id": 1189 + } + }, + "prompt": "<|im_start|>user\nК чему приводит поглощение солнечного света объектами?\nA. нагревание\nB. холодно\nC. заморозить\nD. прохладно\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0006085006170906126, + "B": 0.00036907431785948575, + "C": 5.659937596647069e-05, + "D": 0.9709186553955078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего нужен телескоп?", + "option_a": "очищать воду", + "option_b": "составлять звездные карты", + "option_c": "кормить животных", + "option_d": "изучать небесные тела" + }, + "outputs": "D", + "meta": { + "id": 13 + } + }, + "prompt": "<|im_start|>user\nДля чего нужен телескоп?\nA. очищать воду\nB. составлять звездные карты\nC. кормить животных\nD. изучать небесные тела\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0005282943020574749, + "B": 0.9551784992218018, + "C": 0.00041143601993098855, + "D": 0.00019434861314948648 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что содержит питательные вещества для растений?", + "option_a": "выброшенный пластик", + "option_b": "измельченные минералы", + "option_c": "ветер", + "option_d": "грязная одежда" + }, + "outputs": "B", + "meta": { + "id": 733 + } + }, + "prompt": "<|im_start|>user\nЧто содержит питательные вещества для растений?\nA. выброшенный пластик\nB. измельченные минералы\nC. ветер\nD. грязная одежда\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06281285732984543, + "B": 0.07117629051208496, + "C": 0.04317060858011246, + "D": 0.7652173042297363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шмели любят делать это зимой", + "option_a": "длительный загул", + "option_b": "длительные прогулки", + "option_c": "длительный полет", + "option_d": "длительный сон" + }, + "outputs": "D", + "meta": { + "id": 2126 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шмели любят делать это зимой\nA) длительный загул\nB) длительные прогулки\nC) длительный полет\nD) длительный сон\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01894572749733925, + "B": 0.9128562808036804, + "C": 0.00329227396287024, + "D": 0.00696974340826273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда разжиженная почва течет по тушам и высыхает, спустя долгое время она превращается", + "option_a": "в озера", + "option_b": "в окаменелости", + "option_c": "в пузырьки", + "option_d": "в алмазы" + }, + "outputs": "B", + "meta": { + "id": 590 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда разжиженная почва течет по тушам и высыхает, спустя долгое время она превращается\nA. в озера\nB. в окаменелости\nC. в пузырьки\nD. в алмазы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.9118476510047913, + "B": 0.018924793228507042, + "C": 0.0022602444514632225, + "D": 0.008939440362155437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если студенту нужно путешествовать с обедом на большие расстояния, у кого из них будет самая свежая еда?", + "option_a": "учащийся со свежеприготовленной пищей", + "option_b": "учащийся с сырой говядиной", + "option_c": "учащийся с сырой рыбой", + "option_d": "учащийся с пищей, содержащей консерванты" + }, + "outputs": "D", + "meta": { + "id": 295 + } + }, + "prompt": "<|im_start|>user\nЕсли студенту нужно путешествовать с обедом на большие расстояния, у кого из них будет самая свежая еда?\nA. учащийся со свежеприготовленной пищей\nB. учащийся с сырой говядиной\nC. учащийся с сырой рыбой\nD. учащийся с пищей, содержащей консерванты\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.007093553431332111, + "B": 0.9290722012519836, + "C": 0.002957033459097147, + "D": 0.0013968035345897079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электричество может течь по цепи после того, как ...?", + "option_a": "лампа горит постоянно", + "option_b": "цепь замкнута", + "option_c": "рубильник выключен", + "option_d": "ружье заряжено" + }, + "outputs": "B", + "meta": { + "id": 1742 + } + }, + "prompt": "<|im_start|>user\nЭлектричество может течь по цепи после того, как ...?\nA) лампа горит постоянно\nB) цепь замкнута\nC) рубильник выключен\nD) ружье заряжено\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01699811778962612, + "B": 0.001086653210222721, + "C": 0.9280657172203064, + "D": 0.01699811778962612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда по бейсбольному мячу бьют битой, что начинают делать частицы мяча?", + "option_a": "Летать", + "option_b": "Говорить", + "option_c": "Вибрировать", + "option_d": "Катиться" + }, + "outputs": "C", + "meta": { + "id": 114 + } + }, + "prompt": "<|im_start|>user\nКогда по бейсбольному мячу бьют битой, что начинают делать частицы мяча?\nA) Летать\nB) Говорить\nC) Вибрировать\nD) Катиться\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.12362879514694214, + "B": 0.051536157727241516, + "C": 0.058398112654685974, + "D": 0.7114346623420715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Провод может нагреваться, когда через него протекает какой-то ток?", + "option_a": "ветер", + "option_b": "сила удара", + "option_c": "вода", + "option_d": "каменистый" + }, + "outputs": "B", + "meta": { + "id": 404 + } + }, + "prompt": "<|im_start|>user\nПровод может нагреваться, когда через него протекает какой-то ток?\nA) ветер\nB) сила удара\nC) вода\nD) каменистый\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018713349709287286, + "B": 0.969375491142273, + "C": 0.0001740612497087568, + "D": 0.0002869785239454359 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каково родительское поведение млекопитающих?", + "option_a": "им не хватает заботы о своих молодых особях", + "option_b": "они кормят своих детенышей", + "option_c": "млекопитающие едят свой молодняк", + "option_d": "у млекопитающих нет потомства" + }, + "outputs": "B", + "meta": { + "id": 891 + } + }, + "prompt": "<|im_start|>user\nКаково родительское поведение млекопитающих?\nA. им не хватает заботы о своих молодых особях\nB. они кормят своих детенышей\nC. млекопитающие едят свой молодняк\nD. у млекопитающих нет потомства\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04973691329360008, + "B": 0.006731158588081598, + "C": 0.002185287419706583, + "D": 0.8816078305244446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Галька в реке становится гладкой из-за чего?", + "option_a": "плавность течения", + "option_b": "движение рыбы", + "option_c": "грубость пород, из которых состоит галька", + "option_d": "постоянное движение воды в реке" + }, + "outputs": "D", + "meta": { + "id": 1354 + } + }, + "prompt": "<|im_start|>user\nГалька в реке становится гладкой из-за чего?\nA) плавность течения\nB) движение рыбы\nC) грубость пород, из которых состоит галька\nD) постоянное движение воды в реке\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.031407952308654785, + "B": 0.3376672863960266, + "C": 0.02771741710603237, + "D": 0.5567192435264587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как рыба-прилипала получает еду?", + "option_a": "ловит ее в сети", + "option_b": "крадет", + "option_c": "охотится из засады", + "option_d": "ест паразитов с кожи носителя" + }, + "outputs": "D", + "meta": { + "id": 1894 + } + }, + "prompt": "<|im_start|>user\nКак рыба-прилипала получает еду?\nA. ловит ее в сети\nB. крадет\nC. охотится из засады\nD. ест паразитов с кожи носителя\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0010090775322169065, + "B": 5.347915066522546e-05, + "C": 5.69282601645682e-05, + "D": 0.9765604138374329 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что никогда не иссякнет?", + "option_a": "бензин", + "option_b": "природный газ", + "option_c": "уголь", + "option_d": "солнечный свет" + }, + "outputs": "D", + "meta": { + "id": 1645 + } + }, + "prompt": "<|im_start|>user\nЧто никогда не иссякнет?\nA. бензин\nB. природный газ\nC. уголь\nD. солнечный свет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0038835855666548014, + "B": 0.0119622852653265, + "C": 0.000866545073222369, + "D": 0.9502820372581482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Венерины мухоловки не создают себе пищу путем фотосинтеза потому что", + "option_a": "они нездоровы", + "option_b": "им нужна вода", + "option_c": "они растут медленно", + "option_d": "им нужны насекомые" + }, + "outputs": "D", + "meta": { + "id": 992 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Венерины мухоловки не создают себе пищу путем фотосинтеза потому что\nA) они нездоровы\nB) им нужна вода\nC) они растут медленно\nD) им нужны насекомые\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00112721452023834, + "B": 0.00022196168720256537, + "C": 0.00028500446933321655, + "D": 0.9627074599266052 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой вид энергии можно сделать из движущихся ветров?", + "option_a": "снег", + "option_b": "дерево", + "option_c": "бананы", + "option_d": "электричество" + }, + "outputs": "D", + "meta": { + "id": 544 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой вид энергии можно сделать из движущихся ветров?\nA. снег\nB. дерево\nC. бананы\nD. электричество\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8579723834991455, + "B": 0.022864188998937607, + "C": 0.0014616588596254587, + "D": 0.02935820072889328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Натирание кальция на терке", + "option_a": "доказывает, что кальций белый", + "option_b": "доказывает, что кальций острый", + "option_c": "доказывает, что кальций горячий", + "option_d": "доказывает, что кальций хрупкий" + }, + "outputs": "D", + "meta": { + "id": 2259 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Натирание кальция на терке\nA) доказывает, что кальций белый\nB) доказывает, что кальций острый\nC) доказывает, что кальций горячий\nD) доказывает, что кальций хрупкий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0022512299474328756, + "B": 0.9082109928131104, + "C": 0.01467986311763525, + "D": 0.0013654399663209915 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В дождливую погоду", + "option_a": "больше солнечных дней", + "option_b": "больше пасмурных дней", + "option_c": "меньше пасмурных дней", + "option_d": "всегда сухая среда" + }, + "outputs": "B", + "meta": { + "id": 246 + } + }, + "prompt": "<|im_start|>user\nВ дождливую погоду\nA) больше солнечных дней\nB) больше пасмурных дней\nC) меньше пасмурных дней\nD) всегда сухая среда\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9036662578582764, + "B": 0.007818244397640228, + "C": 0.0008240369497798383, + "D": 0.012890106067061424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что сильнее возбуждает активность вкусовых рецепторов", + "option_a": "сахароза", + "option_b": "лава", + "option_c": "песок", + "option_d": "вода" + }, + "outputs": "A", + "meta": { + "id": 1538 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что сильнее возбуждает активность вкусовых рецепторов\nA) сахароза\nB) лава\nC) песок\nD) вода\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.45874226093292236, + "B": 0.45874226093292236, + "C": 0.001003494719043374, + "D": 0.001288512721657753 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если здание внезапно рухнет внутрь, люди, работающие внутри, скорее всего,", + "option_a": "уйдут на поверхность", + "option_b": "держатся подальше", + "option_c": "уйдут домой", + "option_d": "уйдут под землю" + }, + "outputs": "D", + "meta": { + "id": 1793 + } + }, + "prompt": "<|im_start|>user\nЕсли здание внезапно рухнет внутрь, люди, работающие внутри, скорее всего,\nA) уйдут на поверхность\nB) держатся подальше\nC) уйдут домой\nD) уйдут под землю\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.009951340965926647, + "B": 0.004700680263340473, + "C": 0.8957911133766174, + "D": 0.06489089131355286 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто использует жабры для дыхания?", + "option_a": "синяя птица", + "option_b": "человек", + "option_c": "синий кит", + "option_d": "рак-отшельник" + }, + "outputs": "D", + "meta": { + "id": 684 + } + }, + "prompt": "<|im_start|>user\nКто использует жабры для дыхания?\nA. синяя птица\nB. человек\nC. синий кит\nD. рак-отшельник\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0007783903856761754, + "B": 0.00019680791592691094, + "C": 0.00017368236149195582, + "D": 0.9672653675079346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что такое теплица?", + "option_a": "Особняк напротив Белого дома", + "option_b": "Дом, выкрашенный в зеленый цвет", + "option_c": "Секретная армейская база", + "option_d": "Место для иностранных растений" + }, + "outputs": "D", + "meta": { + "id": 1548 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что такое теплица?\nA. Особняк напротив Белого дома\nB. Дом, выкрашенный в зеленый цвет\nC. Секретная армейская база\nD. Место для иностранных растений\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8789644241333008, + "B": 6.180595664773136e-05, + "C": 3.3082342270063236e-05, + "D": 2.2737140170647763e-05 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Землетрясение заставляет землю", + "option_a": "подпрыгивать и дрожать", + "option_b": "читать стихи", + "option_c": "выращивать фрукты", + "option_d": "бегать марафоны" + }, + "outputs": "A", + "meta": { + "id": 1986 + } + }, + "prompt": "<|im_start|>user\nЗемлетрясение заставляет землю\nA. подпрыгивать и дрожать\nB. читать стихи\nC. выращивать фрукты\nD. бегать марафоны\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002728088991716504, + "B": 7.27011138224043e-05, + "C": 0.00047407078091055155, + "D": 0.9712669253349304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда у существа работает чувство осязания, существо, вероятно,", + "option_a": "делает действительно хороший выбор пищи", + "option_b": "садится на следующий поезд", + "option_c": "становится мертвым от полного истощения", + "option_d": "ощущает текстуру вещи" + }, + "outputs": "D", + "meta": { + "id": 875 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда у существа работает чувство осязания, существо, вероятно,\nA. делает действительно хороший выбор пищи\nB. садится на следующий поезд\nC. становится мертвым от полного истощения\nD. ощущает текстуру вещи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0010125132976099849, + "B": 0.0005419593071565032, + "C": 0.9798853993415833, + "D": 0.00037248284206725657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поначалу будет сложно, если взять бездомную кошку жить к себе домой, но поскольку животные адаптируются, она постепенно", + "option_a": "улетит", + "option_b": "отправится в космос", + "option_c": "акклиматизируется", + "option_d": "научится дышать под водой" + }, + "outputs": "C", + "meta": { + "id": 206 + } + }, + "prompt": "<|im_start|>user\nПоначалу будет сложно, если взять бездомную кошку жить к себе домой, но поскольку животные адаптируются, она постепенно\nA. улетит\nB. отправится в космос\nC. акклиматизируется\nD. научится дышать под водой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.1915949434041977, + "B": 0.009538949467241764, + "C": 0.05489286780357361, + "D": 0.6687320470809937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Объем съеденной еды в желудке уменьшается, потому что", + "option_a": "мозгу нужно время, чтобы переварить все", + "option_b": ", достаточно секунды, чтобы переварить все", + "option_c": "питательные вещества разрушаются", + "option_d": "дайджест читателя - это совокупность работ" + }, + "outputs": "C", + "meta": { + "id": 2288 + } + }, + "prompt": "<|im_start|>user\nОбъем съеденной еды в желудке уменьшается, потому что\nA) мозгу нужно время, чтобы переварить все\nB) , достаточно секунды, чтобы переварить все\nC) питательные вещества разрушаются\nD) дайджест читателя - это совокупность работ\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.024636656045913696, + "B": 0.9244837164878845, + "C": 0.0007439625915139914, + "D": 0.0042812093161046505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда растение поливают, по какой системе жидкость уходит из участка почвы туда, где она нужна?", + "option_a": "ороситель", + "option_b": "ксилема", + "option_c": "цветы", + "option_d": "листья" + }, + "outputs": "B", + "meta": { + "id": 1388 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда растение поливают, по какой системе жидкость уходит из участка почвы туда, где она нужна?\nA. ороситель\nB. ксилема\nC. цветы\nD. листья\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5384072065353394, + "B": 0.15425625443458557, + "C": 0.06430356949567795, + "D": 0.15425625443458557 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для рассматривания кого увеличительное стекло было бы бесполезно?", + "option_a": "головастик", + "option_b": "муравей", + "option_c": "слон", + "option_d": "термит" + }, + "outputs": "C", + "meta": { + "id": 759 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для рассматривания кого увеличительное стекло было бы бесполезно?\nA. головастик\nB. муравей\nC. слон\nD. термит\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.016270557418465614, + "B": 0.32680290937423706, + "C": 0.0046615926548838615, + "D": 0.610548198223114 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Серые облака являются источником", + "option_a": "жаркой погоды", + "option_b": "электрических токов", + "option_c": "витамина D", + "option_d": "падающих жидкостей" + }, + "outputs": "D", + "meta": { + "id": 1870 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Серые облака являются источником\nA. жаркой погоды\nB. электрических токов\nC. витамина D\nD. падающих жидкостей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6422189474105835, + "B": 0.07670211791992188, + "C": 0.04652218520641327, + "D": 0.12646040320396423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магнит будет прилипать к", + "option_a": "стальной пряжке ремня", + "option_b": "к деревянному столу", + "option_c": "к пластиковому стакану", + "option_d": "к бумажной тарелке." + }, + "outputs": "A", + "meta": { + "id": 497 + } + }, + "prompt": "<|im_start|>user\nМагнит будет прилипать к\nA. стальной пряжке ремня\nB. к деревянному столу\nC. к пластиковому стакану\nD. к бумажной тарелке.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0038331521209329367, + "B": 0.9379413723945618, + "C": 0.000969172571785748, + "D": 0.0038331521209329367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером изменения природной среды на Земле является", + "option_a": "движущийся песок Марса", + "option_b": "извергающийся вулкан на Гавайях, выжигающий лес", + "option_c": "Луна, увеличивающаяся в ночном небе", + "option_d": "строящийся небоскреб" + }, + "outputs": "B", + "meta": { + "id": 1009 + } + }, + "prompt": "<|im_start|>user\nПримером изменения природной среды на Земле является\nA) движущийся песок Марса\nB) извергающийся вулкан на Гавайях, выжигающий лес\nC) Луна, увеличивающаяся в ночном небе\nD) строящийся небоскреб\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.024296380579471588, + "B": 0.0029017888009548187, + "C": 0.0047842408530414104, + "D": 0.9117149114608765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто бы процветал, если бы вымерли соколы, канюки и коршуны", + "option_a": "воздух", + "option_b": "магия", + "option_c": "эмоции", + "option_d": "хомяки" + }, + "outputs": "D", + "meta": { + "id": 869 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто бы процветал, если бы вымерли соколы, канюки и коршуны\nA) воздух\nB) магия\nC) эмоции\nD) хомяки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8955826163291931, + "B": 0.0022199274972081184, + "C": 0.001188241527415812, + "D": 0.0022199274972081184 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если порода осадочная, то", + "option_a": "осадок был уплотнен давлением в характерные слои", + "option_b": "осадок был упакован в животики", + "option_c": "осадок был отполирован солью", + "option_d": "осадок был сплавлен с лавой" + }, + "outputs": "A", + "meta": { + "id": 217 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если порода осадочная, то\nA) осадок был уплотнен давлением в характерные слои\nB) осадок был упакован в животики\nC) осадок был отполирован солью\nD) осадок был сплавлен с лавой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009865588508546352, + "B": 0.8880718946456909, + "C": 0.03443428501486778, + "D": 0.005983781069517136 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отказ от использования ископаемого топлива является примером", + "option_a": "либерализма", + "option_b": "консервационизма", + "option_c": "уязвимости экосистемы", + "option_d": "протекционизма" + }, + "outputs": "B", + "meta": { + "id": 1617 + } + }, + "prompt": "<|im_start|>user\nОтказ от использования ископаемого топлива является примером\nA. либерализма\nB. консервационизма\nC. уязвимости экосистемы\nD. протекционизма\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0020966115407645702, + "B": 0.0003643364761956036, + "C": 0.9584549069404602, + "D": 0.0008739977492950857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Единственное, что получают хищники от других животных", + "option_a": "полеты", + "option_b": "деньги", + "option_c": "пропитание", + "option_d": "рестораны" + }, + "outputs": "C", + "meta": { + "id": 1668 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Единственное, что получают хищники от других животных\nA) полеты\nB) деньги\nC) пропитание\nD) рестораны\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9144766926765442, + "B": 0.0012133097043260932, + "C": 0.00155792071018368, + "D": 0.013044308871030807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие погодные явления могут повредить лобовое стекло?", + "option_a": "ледяные осадки", + "option_b": "легкий ветерок", + "option_c": "облака", + "option_d": "конденсация" + }, + "outputs": "A", + "meta": { + "id": 1787 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие погодные явления могут повредить лобовое стекло?\nA. ледяные осадки\nB. легкий ветерок\nC. облака\nD. конденсация\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8964048027992249, + "B": 0.001347690005786717, + "C": 0.000636603741440922, + "D": 0.0017304683569818735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди едят пищу или закуски, и содержащие в еде вещества обрабатываются", + "option_a": "желудочно-кишечным трактом", + "option_b": "гамбургерами и картофелем фри", + "option_c": "репродуктивной системой", + "option_d": "глазным отделом" + }, + "outputs": "A", + "meta": { + "id": 61 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди едят пищу или закуски, и содержащие в еде вещества обрабатываются\nA) желудочно-кишечным трактом\nB) гамбургерами и картофелем фри\nC) репродуктивной системой\nD) глазным отделом\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8038139343261719, + "B": 0.05822809040546417, + "C": 0.0008305790252052248, + "D": 0.0022577480413019657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Больше бабочек появится, когда лютики станут более", + "option_a": "разросшимися", + "option_b": "рекламируемыми", + "option_c": "дружественными для социальных сетей", + "option_d": "токсичными" + }, + "outputs": "A", + "meta": { + "id": 168 + } + }, + "prompt": "<|im_start|>user\nБольше бабочек появится, когда лютики станут более\nA) разросшимися\nB) рекламируемыми\nC) дружественными для социальных сетей\nD) токсичными\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004463402554392815, + "B": 0.00032332775299437344, + "C": 0.0018606228986755013, + "D": 0.9638264775276184 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Порошковые вещества, такие как орегано и перец, которые используются для придания аромата пищевым продуктам, поступают от", + "option_a": "организмов-хищников", + "option_b": "от производителей нефти", + "option_c": "сыра", + "option_d": "организмов-производителей" + }, + "outputs": "D", + "meta": { + "id": 266 + } + }, + "prompt": "<|im_start|>user\nПорошковые вещества, такие как орегано и перец, которые используются для придания аромата пищевым продуктам, поступают от\nA. организмов-хищников\nB. от производителей нефти\nC. сыра\nD. организмов-производителей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7735673189163208, + "B": 0.09238944202661514, + "C": 0.001692171674221754, + "D": 0.0014933362836018205 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проще всего получить четкое фото Луны,", + "option_a": "используя телескопический объектив", + "option_b": ", используя телеобъектив", + "option_c": "используя большое увеличительное стекло", + "option_d": "глядя в микроскоп." + }, + "outputs": "A", + "meta": { + "id": 1426 + } + }, + "prompt": "<|im_start|>user\nПроще всего получить четкое фото Луны,\nA. используя телескопический объектив\nB. , используя телеобъектив\nC. используя большое увеличительное стекло\nD. глядя в микроскоп.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03138723224401474, + "B": 0.004813388455659151, + "C": 0.004813388455659151, + "D": 0.9172694683074951 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время сезона дождей в городе количество солнечного света в этом городе будет", + "option_a": "оставаться таким же", + "option_b": "расти", + "option_c": "увеличиваться", + "option_d": "уменьшаться" + }, + "outputs": "D", + "meta": { + "id": 428 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Во время сезона дождей в городе количество солнечного света в этом городе будет\nA) оставаться таким же\nB) расти\nC) увеличиваться\nD) уменьшаться\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8882426619529724, + "B": 0.0004912731237709522, + "C": 0.00023206097830552608, + "D": 0.0236708652228117 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отложение карбоната кальция - это процесс формирования чего?", + "option_a": "Кристаллы", + "option_b": "Песчинки", + "option_c": "Драгоценные камни", + "option_d": "Сталактиты" + }, + "outputs": "D", + "meta": { + "id": 81 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Отложение карбоната кальция - это процесс формирования чего?\nA) Кристаллы\nB) Песчинки\nC) Драгоценные камни\nD) Сталактиты\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.33776283264160156, + "B": 0.5568767786026001, + "C": 0.004817928187549114, + "D": 0.013096487149596214 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Меняют ли объекты размер с расстоянием для Юрия Гагарина?", + "option_a": "Нет", + "option_b": "Да", + "option_c": "иногда", + "option_d": "возможно" + }, + "outputs": "A", + "meta": { + "id": 1864 + } + }, + "prompt": "<|im_start|>user\nМеняют ли объекты размер с расстоянием для Юрия Гагарина?\nA. Нет\nB. Да\nC. иногда\nD. возможно\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.009236449375748634, + "B": 0.9421433806419373, + "C": 0.0005904663703404367, + "D": 0.0011031364556401968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один из способов, которым люди могут загрязнять Землю:", + "option_a": "использование солнечной энергии", + "option_b": "антибактериальное мыло", + "option_c": "езда на велосипеде", + "option_d": "ходьба" + }, + "outputs": "B", + "meta": { + "id": 716 + } + }, + "prompt": "<|im_start|>user\nОдин из способов, которым люди могут загрязнять Землю:\nA. использование солнечной энергии\nB. антибактериальное мыло\nC. езда на велосипеде\nD. ходьба\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05928197130560875, + "B": 0.05928197130560875, + "C": 0.18260133266448975, + "D": 0.6373412609100342 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из них обычно зеленого цвета?", + "option_a": "Саяны", + "option_b": "Антарктида", + "option_c": "Тихий океан", + "option_d": "сосновый лес" + }, + "outputs": "D", + "meta": { + "id": 1249 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие из них обычно зеленого цвета?\nA) Саяны\nB) Антарктида\nC) Тихий океан\nD) сосновый лес\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.053909022361040115, + "B": 0.8432790040969849, + "C": 0.004425121936947107, + "D": 0.028855418786406517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда кабель питания игровой консоли был вставлен в розетку на стене, электричество стало поступать в", + "option_a": "вилку", + "option_b": "игровую консоль", + "option_c": "стену", + "option_d": "розетку" + }, + "outputs": "B", + "meta": { + "id": 194 + } + }, + "prompt": "<|im_start|>user\nКогда кабель питания игровой консоли был вставлен в розетку на стене, электричество стало поступать в\nA. вилку\nB. игровую консоль\nC. стену\nD. розетку\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.007673801854252815, + "B": 0.03439159318804741, + "C": 0.8869708776473999, + "D": 0.03897078335285187 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Группа кроликов движется в поле и начинает размножаться там, и вскоре кролики заполняют все поле, так что лисы, живущие в шести милях отсюда", + "option_a": "съедают всех кроликов", + "option_b": "тоже перебираются на поле", + "option_c": "ищут новые источники пищи", + "option_d": "начинают голодать" + }, + "outputs": "B", + "meta": { + "id": 1273 + } + }, + "prompt": "<|im_start|>user\nГруппа кроликов движется в поле и начинает размножаться там, и вскоре кролики заполняют все поле, так что лисы, живущие в шести милях отсюда\nA. съедают всех кроликов\nB. тоже перебираются на поле\nC. ищут новые источники пищи\nD. начинают голодать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002331466879695654, + "B": 0.9405808448791504, + "C": 0.004935715347528458, + "D": 0.008137619122862816 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В то время как малиновки отказываются питаться иной пищей, кроме насекомых, червей и фруктов, большинство птиц могут успешно кормиться", + "option_a": "ящиками для картофеля", + "option_b": "семенами полевых цветов", + "option_c": "небольшими грядками", + "option_d": "пятнами от травы" + }, + "outputs": "B", + "meta": { + "id": 1212 + } + }, + "prompt": "<|im_start|>user\nВ то время как малиновки отказываются питаться иной пищей, кроме насекомых, червей и фруктов, большинство птиц могут успешно кормиться\nA) ящиками для картофеля\nB) семенами полевых цветов\nC) небольшими грядками\nD) пятнами от травы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.002699844306334853, + "B": 0.5830039978027344, + "C": 0.3536098003387451, + "D": 0.004451290238648653 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере роста устойчивости бактерий к антибиотикам медработники", + "option_a": "будут больше назначать успокаивающие и снотворные средства", + "option_b": "смогут излечить меньше людей с небактериальными инфекциями", + "option_c": "смогут излечить меньше больных с бактериальными болезнями", + "option_d": "смогут лучше избавлять людей от проблем пищеварительной системы" + }, + "outputs": "C", + "meta": { + "id": 26 + } + }, + "prompt": "<|im_start|>user\nПо мере роста устойчивости бактерий к антибиотикам медработники\nA) будут больше назначать успокаивающие и снотворные средства\nB) смогут излечить меньше людей с небактериальными инфекциями\nC) смогут излечить меньше больных с бактериальными болезнями\nD) смогут лучше избавлять людей от проблем пищеварительной системы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.016904056072235107, + "B": 0.007984910160303116, + "C": 0.0025923210196197033, + "D": 0.922930121421814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещество в газовом агрегатном состоянии имеет", + "option_a": "постоянный объем", + "option_b": "повышенный объем", + "option_c": "пониженный объем", + "option_d": "колеблющийся объем" + }, + "outputs": "D", + "meta": { + "id": 1527 + } + }, + "prompt": "<|im_start|>user\nВещество в газовом агрегатном состоянии имеет\nA) постоянный объем\nB) повышенный объем\nC) пониженный объем\nD) колеблющийся объем\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.017184805124998093, + "B": 0.001098587759770453, + "C": 0.0008555810200050473, + "D": 0.9382584691047668 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево на вашем заднем дворе гниет, потому что его опрокинуло ветром, то чтобы компенсировать ущерб, вы можете просто", + "option_a": "ничего не делать", + "option_b": "нарисовать одно", + "option_c": "залезть на одно", + "option_d": "посадить другое" + }, + "outputs": "D", + "meta": { + "id": 409 + } + }, + "prompt": "<|im_start|>user\nЕсли дерево на вашем заднем дворе гниет, потому что его опрокинуло ветром, то чтобы компенсировать ущерб, вы можете просто\nA) ничего не делать\nB) нарисовать одно\nC) залезть на одно\nD) посадить другое\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010119672864675522, + "B": 0.17937549948692322, + "C": 0.7094438672065735, + "D": 0.05139194056391716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Котенок родился, и человек, который его гладит, может увидеть, что он", + "option_a": "пробил скорлупу", + "option_b": "вылупился", + "option_c": "дышит", + "option_d": "проклюнулся из яйца" + }, + "outputs": "C", + "meta": { + "id": 2249 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Котенок родился, и человек, который его гладит, может увидеть, что он\nA) пробил скорлупу\nB) вылупился\nC) дышит\nD) проклюнулся из яйца\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00039966218173503876, + "B": 0.9278447031974792, + "C": 0.00035270064836367965, + "D": 0.00014702750195283443 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда органы человека перестают работать и он перестает дышать, этот человек", + "option_a": "идет в Макдональдс", + "option_b": "погиб", + "option_c": "танцует", + "option_d": "играет" + }, + "outputs": "B", + "meta": { + "id": 1845 + } + }, + "prompt": "<|im_start|>user\nКогда органы человека перестают работать и он перестает дышать, этот человек\nA) идет в Макдональдс\nB) погиб\nC) танцует\nD) играет\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01029693242162466, + "B": 0.01029693242162466, + "C": 0.9269002676010132, + "D": 0.0037880297750234604 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Загрязнение может быть вызвано", + "option_a": "повторным использованием тканевых детских подгузников", + "option_b": "переработкой пластиковых бутылочек для воды", + "option_c": "сливом рецептурных лекарств в канализацию", + "option_d": "использованием всех натуральных бытовых чистящих средств" + }, + "outputs": "C", + "meta": { + "id": 1492 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Загрязнение может быть вызвано\nA. повторным использованием тканевых детских подгузников\nB. переработкой пластиковых бутылочек для воды\nC. сливом рецептурных лекарств в канализацию\nD. использованием всех натуральных бытовых чистящих средств\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8881990313529968, + "B": 0.003629866521805525, + "C": 0.000809932651463896, + "D": 0.006781482603400946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ископаемое топливо", + "option_a": "может скоро иссякнуть", + "option_b": "имеет возможность бесконечного использования", + "option_c": "так обильно, что его хватит на века в будущем", + "option_d": "является возобновляемым ресурсом" + }, + "outputs": "A", + "meta": { + "id": 1643 + } + }, + "prompt": "<|im_start|>user\nИскопаемое топливо\nA) может скоро иссякнуть\nB) имеет возможность бесконечного использования\nC) так обильно, что его хватит на века в будущем\nD) является возобновляемым ресурсом\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.35217994451522827, + "B": 0.18850834667682648, + "C": 0.24204951524734497, + "D": 0.10090124607086182 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Троюродный брат крота носит на спине", + "option_a": "присоски", + "option_b": "иголки", + "option_c": "глаза", + "option_d": "щупальца" + }, + "outputs": "B", + "meta": { + "id": 178 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Троюродный брат крота носит на спине\nA) присоски\nB) иголки\nC) глаза\nD) щупальца\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1988830715417862, + "B": 0.6126030087471008, + "C": 0.02691589668393135, + "D": 0.05698095262050629 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мы можем вычислить скорость движения, если знаем время и количество преодоленных", + "option_a": "галлонов", + "option_b": "миллиметров", + "option_c": "долларов", + "option_d": "фунтов" + }, + "outputs": "B", + "meta": { + "id": 2324 + } + }, + "prompt": "<|im_start|>user\nМы можем вычислить скорость движения, если знаем время и количество преодоленных\nA. галлонов\nB. миллиметров\nC. долларов\nD. фунтов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4365119934082031, + "B": 0.23364804685115814, + "C": 0.09739898890256882, + "D": 0.12506277859210968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Всё это ископаемые, кроме одного объекта. Какого?", + "option_a": "кость мамонта, превращенная в камень", + "option_b": "отпечаток морского существа в скале, найденный на горе", + "option_c": "отпечаток лапы в скале", + "option_d": "пещера, полная старых рисунков" + }, + "outputs": "D", + "meta": { + "id": 968 + } + }, + "prompt": "<|im_start|>user\nВсё это ископаемые, кроме одного объекта. Какого?\nA) кость мамонта, превращенная в камень\nB) отпечаток морского существа в скале, найденный на горе\nC) отпечаток лапы в скале\nD) пещера, полная старых рисунков\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.009419901296496391, + "B": 0.00011139471462229267, + "C": 0.00011857904610224068, + "D": 0.9608559608459473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Батарея преобразует химическую энергию в", + "option_a": "механическую энергию", + "option_b": "ядерную энергию", + "option_c": "солнечную энергию", + "option_d": "электрическую энергию" + }, + "outputs": "D", + "meta": { + "id": 1214 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Батарея преобразует химическую энергию в\nA. механическую энергию\nB. ядерную энергию\nC. солнечную энергию\nD. электрическую энергию\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0026633362285792828, + "B": 0.0006733968039043248, + "C": 0.0004628184251487255, + "D": 0.9482133388519287 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вымирание - это термин для организма, который имеет", + "option_a": "Небольшую популяцию", + "option_b": "Максимальную популяцию", + "option_c": "Ограниченную популяцию", + "option_d": "Нулевую популяцию" + }, + "outputs": "D", + "meta": { + "id": 738 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вымирание - это термин для организма, который имеет\nA. Небольшую популяцию\nB. Максимальную популяцию\nC. Ограниченную популяцию\nD. Нулевую популяцию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002315603429451585, + "B": 0.0006634314777329564, + "C": 0.9341810941696167, + "D": 0.008082250133156776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример какого типа отношений - птица, поедающая ящерицу?", + "option_a": "симбиотический", + "option_b": "продуцентный", + "option_c": "хищный", + "option_d": "паразитический" + }, + "outputs": "C", + "meta": { + "id": 1920 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример какого типа отношений - птица, поедающая ящерицу?\nA) симбиотический\nB) продуцентный\nC) хищный\nD) паразитический\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0027053121011704206, + "B": 0.0012778987875208259, + "C": 0.9631577730178833, + "D": 0.0023874295875430107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек наливает воду в баллон, чтобы", + "option_a": "прикоснуться к нему", + "option_b": "попробовать на вкус", + "option_c": "наполнить баллон", + "option_d": "заставить воду страдать" + }, + "outputs": "C", + "meta": { + "id": 2196 + } + }, + "prompt": "<|im_start|>user\nЧеловек наливает воду в баллон, чтобы\nA. прикоснуться к нему\nB. попробовать на вкус\nC. наполнить баллон\nD. заставить воду страдать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.014438290148973465, + "B": 0.893265426158905, + "C": 0.0041366396471858025, + "D": 0.026974277570843697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где будет жить заяц?", + "option_a": "В зоопарке, скрываясь от акул", + "option_b": "В поле для пропитания", + "option_c": "В околоземном пространстве из-за его низкой гравитации", + "option_d": "В пустыне из-за высоких температур" + }, + "outputs": "B", + "meta": { + "id": 2283 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где будет жить заяц?\nA) В зоопарке, скрываясь от акул\nB) В поле для пропитания\nC) В околоземном пространстве из-за его низкой гравитации\nD) В пустыне из-за высоких температур\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8977563977241516, + "B": 0.0006375635857693851, + "C": 0.00034126322134397924, + "D": 0.0009276495547965169 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура ящерицы повысится, если та", + "option_a": "оставит дождливый лес и перейдет в солнечную пустыню", + "option_b": "спрячется под деревом", + "option_c": "будет плавать в фонтане", + "option_d": "войдет в нору под землей" + }, + "outputs": "A", + "meta": { + "id": 456 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура ящерицы повысится, если та\nA. оставит дождливый лес и перейдет в солнечную пустыню\nB. спрячется под деревом\nC. будет плавать в фонтане\nD. войдет в нору под землей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.000689930107910186, + "B": 0.004498909693211317, + "C": 0.9714938998222351, + "D": 0.0011375023750588298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше поможет человеку приготовить себе еду?", + "option_a": "стопка одежды", + "option_b": "стопка банок", + "option_c": "кухонная плита", + "option_d": "пачка сигарет" + }, + "outputs": "C", + "meta": { + "id": 1830 + } + }, + "prompt": "<|im_start|>user\nЧто больше поможет человеку приготовить себе еду?\nA) стопка одежды\nB) стопка банок\nC) кухонная плита\nD) пачка сигарет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.003416737075895071, + "B": 0.94736647605896, + "C": 0.0014243078185245395, + "D": 0.0005937397945672274 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вены несут кровь назад к сердцу, а это означает, что в них", + "option_a": "не хватает жидкости для роста", + "option_b": "источник здоровья тела", + "option_c": "нет необходимости для здоровья", + "option_d": "кровь чаще содержит меньше питательных веществ" + }, + "outputs": "D", + "meta": { + "id": 156 + } + }, + "prompt": "<|im_start|>user\nВены несут кровь назад к сердцу, а это означает, что в них\nA) не хватает жидкости для роста\nB) источник здоровья тела\nC) нет необходимости для здоровья\nD) кровь чаще содержит меньше питательных веществ\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.357276976108551, + "B": 0.04835217446088791, + "C": 0.003502619918435812, + "D": 0.5198348760604858 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой целью воск покрывает листья некоторых растений?", + "option_a": "оставаться влажным в теплую погоду", + "option_b": "держать воду доступной для хищников", + "option_c": "создавать токсины в клетках", + "option_d": "поддерживать постоянную гидратацию" + }, + "outputs": "D", + "meta": { + "id": 822 + } + }, + "prompt": "<|im_start|>user\nС какой целью воск покрывает листья некоторых растений?\nA) оставаться влажным в теплую погоду\nB) держать воду доступной для хищников\nC) создавать токсины в клетках\nD) поддерживать постоянную гидратацию\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0038683959282934666, + "B": 0.9465652704238892, + "C": 0.0012558841845020652, + "D": 0.0038683959282934666 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какому животному иногда нужно быстро двигаться, чтобы добыть пищу?", + "option_a": "лошадь", + "option_b": "койот", + "option_c": "олень", + "option_d": "буйвол" + }, + "outputs": "B", + "meta": { + "id": 1932 + } + }, + "prompt": "<|im_start|>user\nКакому животному иногда нужно быстро двигаться, чтобы добыть пищу?\nA. лошадь\nB. койот\nC. олень\nD. буйвол\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9160330295562744, + "B": 0.0012153746793046594, + "C": 0.0006505431956611574, + "D": 0.0029155323281884193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы поднимаетесь на склон бездействующего вулкана, что вы, скорее всего, найдете?", + "option_a": "Туф", + "option_b": "Алмазы", + "option_c": "Ртуть", + "option_d": "Золото" + }, + "outputs": "A", + "meta": { + "id": 929 + } + }, + "prompt": "<|im_start|>user\nВы поднимаетесь на склон бездействующего вулкана, что вы, скорее всего, найдете?\nA. Туф\nB. Алмазы\nC. Ртуть\nD. Золото\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0020877723582088947, + "B": 0.00017137479153461754, + "C": 9.173031867248937e-05, + "D": 0.9544141292572021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Насколько важен воздух для животных?", + "option_a": "необязательно", + "option_b": "неизвестно", + "option_c": "бесполезен", + "option_d": "необходим" + }, + "outputs": "D", + "meta": { + "id": 567 + } + }, + "prompt": "<|im_start|>user\nНасколько важен воздух для животных?\nA) необязательно\nB) неизвестно\nC) бесполезен\nD) необходим\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.038854848593473434, + "B": 0.012614321894943714, + "C": 0.006751959677785635, + "D": 0.8843322992324829 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые виды деятельности человека могут привести к образованию солоноватых", + "option_a": "автомобилей", + "option_b": "зданий", + "option_c": "кораблей", + "option_d": "бассейнов" + }, + "outputs": "D", + "meta": { + "id": 2136 + } + }, + "prompt": "<|im_start|>user\nНекоторые виды деятельности человека могут привести к образованию солоноватых\nA) автомобилей\nB) зданий\nC) кораблей\nD) бассейнов\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4158026874065399, + "B": 0.03867567330598831, + "C": 0.05627277493476868, + "D": 0.4158026874065399 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Микроскопы", + "option_a": "увеличивают размер амеб для облегчения просмотра", + "option_b": "делают крошечные атомы меньше", + "option_c": "значительно затрудняют увеличение объектов", + "option_d": "делают огромные образцы крошечными" + }, + "outputs": "A", + "meta": { + "id": 1204 + } + }, + "prompt": "<|im_start|>user\nМикроскопы\nA. увеличивают размер амеб для облегчения просмотра\nB. делают крошечные атомы меньше\nC. значительно затрудняют увеличение объектов\nD. делают огромные образцы крошечными\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6875015497207642, + "B": 0.018321296200156212, + "C": 0.1738276183605194, + "D": 0.0028096616733819246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После лесного пожара выжившие существа должны", + "option_a": "найти новые дома", + "option_b": "копать землю в поисках еды", + "option_c": "срочно заняться воспроизводством", + "option_d": "бороться за лидерство" + }, + "outputs": "A", + "meta": { + "id": 1534 + } + }, + "prompt": "<|im_start|>user\nПосле лесного пожара выжившие существа должны\nA) найти новые дома\nB) копать землю в поисках еды\nC) срочно заняться воспроизводством\nD) бороться за лидерство\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007847088854759932, + "B": 0.0004200243856757879, + "C": 0.975117027759552, + "D": 0.0010075861355289817 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лесной пожар - это когда загорается что?", + "option_a": "города", + "option_b": "фермы", + "option_c": "лесной массив", + "option_d": "ветры" + }, + "outputs": "C", + "meta": { + "id": 527 + } + }, + "prompt": "<|im_start|>user\nЛесной пожар - это когда загорается что?\nA. города\nB. фермы\nC. лесной массив\nD. ветры\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12794023752212524, + "B": 0.09963997453451157, + "C": 0.6497341990470886, + "D": 0.053333431482315063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что едят еноты?", + "option_a": "огонь", + "option_b": "людей", + "option_c": "мусор", + "option_d": "грязь" + }, + "outputs": "C", + "meta": { + "id": 393 + } + }, + "prompt": "<|im_start|>user\nЧто едят еноты?\nA) огонь\nB) людей\nC) мусор\nD) грязь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 56, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.011918636038899422, + "B": 0.004968426655977964, + "C": 0.9468144774436951, + "D": 0.0005933938664384186 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смертность", + "option_a": "увеличивает общую численность населения", + "option_b": "приводит к возрождению, подобно возрождению феникса", + "option_c": "уменьшает общую численность населения", + "option_d": "ведет к росту населения" + }, + "outputs": "C", + "meta": { + "id": 965 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Смертность\nA. увеличивает общую численность населения\nB. приводит к возрождению, подобно возрождению феникса\nC. уменьшает общую численность населения\nD. ведет к росту населения\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.0020241769962012768, + "B": 0.925341784954071, + "C": 0.003781660459935665, + "D": 0.009071731939911842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ребенок будет расти, только если ему предоставят", + "option_a": "кровать", + "option_b": "образование", + "option_c": "энергию", + "option_d": "вдохновение" + }, + "outputs": "C", + "meta": { + "id": 412 + } + }, + "prompt": "<|im_start|>user\nРебенок будет расти, только если ему предоставят\nA. кровать\nB. образование\nC. энергию\nD. вдохновение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.24996329843997955, + "B": 0.023250209167599678, + "C": 0.5996307730674744, + "D": 0.04922069236636162 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бактерии в почве питаются", + "option_a": "ураном", + "option_b": "лунной пылью", + "option_c": "существами с истекшим сроком жизни", + "option_d": "криптонитом" + }, + "outputs": "C", + "meta": { + "id": 175 + } + }, + "prompt": "<|im_start|>user\nБактерии в почве питаются\nA. ураном\nB. лунной пылью\nC. существами с истекшим сроком жизни\nD. криптонитом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.016815034672617912, + "B": 0.009000439196825027, + "C": 0.9180697202682495, + "D": 0.011556793004274368 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Песцы белые, чтобы", + "option_a": "прятаться от хищников", + "option_b": "поддерживать чистоту шерсти", + "option_c": "сохранять тепло", + "option_d": "прятаться в окружающей среде" + }, + "outputs": "D", + "meta": { + "id": 1904 + } + }, + "prompt": "<|im_start|>user\nПесцы белые, чтобы\nA. прятаться от хищников\nB. поддерживать чистоту шерсти\nC. сохранять тепло\nD. прятаться в окружающей среде\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.32108303904533386, + "B": 0.004041838925331831, + "C": 0.003566910047084093, + "D": 0.5998620986938477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Движение ракеты больше всего похоже на", + "option_a": "камень с дыркой посередине", + "option_b": "многоэтажный дом", + "option_c": "кирпич", + "option_d": "резиновый мешочек с газом" + }, + "outputs": "D", + "meta": { + "id": 990 + } + }, + "prompt": "<|im_start|>user\nДвижение ракеты больше всего похоже на\nA. камень с дыркой посередине\nB. многоэтажный дом\nC. кирпич\nD. резиновый мешочек с газом\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02396622858941555, + "B": 0.02396622858941555, + "C": 0.004719230346381664, + "D": 0.8993260860443115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смена фазы пищеварения происходит", + "option_a": ", когда лук измельчили", + "option_b": ", когда цветы распустились полностью", + "option_c": ", когда воду добавили в стакан", + "option_d": ", когда пища переварилась в желудке" + }, + "outputs": "D", + "meta": { + "id": 208 + } + }, + "prompt": "<|im_start|>user\nСмена фазы пищеварения происходит\nA) , когда лук измельчили\nB) , когда цветы распустились полностью\nC) , когда воду добавили в стакан\nD) , когда пища переварилась в желудке\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0103790033608675, + "B": 0.004902693908661604, + "C": 0.9342880249023438, + "D": 0.002973634283989668 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздух в отличие от вакуума считается хорошей средой для передачи чего?", + "option_a": "Свет", + "option_b": "Ветер", + "option_c": "Звук", + "option_d": "Скорость" + }, + "outputs": "C", + "meta": { + "id": 726 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воздух в отличие от вакуума считается хорошей средой для передачи чего?\nA) Свет\nB) Ветер\nC) Звук\nD) Скорость\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.015169152989983559, + "B": 0.008119462989270687, + "C": 0.9384822845458984, + "D": 0.009200557135045528 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из этих учеников может точно определить цвет маркера доски?", + "option_a": "студент у себя дома", + "option_b": "студент в туалете", + "option_c": "студент у доски", + "option_d": "студент на игровой площадке" + }, + "outputs": "C", + "meta": { + "id": 2016 + } + }, + "prompt": "<|im_start|>user\nКто из этих учеников может точно определить цвет маркера доски?\nA. студент у себя дома\nB. студент в туалете\nC. студент у доски\nD. студент на игровой площадке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7008251547813416, + "B": 0.08370163291692734, + "C": 0.003677592845633626, + "D": 0.12178514152765274 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему бегун перешел с лесной тропы на обочину шоссе?", + "option_a": "уклониться от белого медведя", + "option_b": "уклониться от лавины", + "option_c": "уклониться от цунами", + "option_d": "уклониться от встречи с волком" + }, + "outputs": "D", + "meta": { + "id": 2007 + } + }, + "prompt": "<|im_start|>user\nПочему бегун перешел с лесной тропы на обочину шоссе?\nA. уклониться от белого медведя\nB. уклониться от лавины\nC. уклониться от цунами\nD. уклониться от встречи с волком\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0009904159232974052, + "B": 6.331516487989575e-05, + "C": 0.00022099165653344244, + "D": 0.9585000872612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником энергии, которую мы используем, является", + "option_a": "планета", + "option_b": "камень.", + "option_c": "метеор", + "option_d": "звезда" + }, + "outputs": "D", + "meta": { + "id": 995 + } + }, + "prompt": "<|im_start|>user\nИсточником энергии, которую мы используем, является\nA) планета\nB) камень.\nC) метеор\nD) звезда\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3925222158432007, + "B": 0.09924516081809998, + "C": 0.053122103214263916, + "D": 0.3925222158432007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меньше всего преломляет свет?", + "option_a": "бутылка", + "option_b": "картонная коробка", + "option_c": "драгоценный камень", + "option_d": "алмаз" + }, + "outputs": "B", + "meta": { + "id": 2206 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что меньше всего преломляет свет?\nA. бутылка\nB. картонная коробка\nC. драгоценный камень\nD. алмаз\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00019337279081810266, + "B": 0.9503825902938843, + "C": 0.00021912007650826126, + "D": 0.00040937020094133914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения используют воду для", + "option_a": "поощрения птиц", + "option_b": "питания", + "option_c": "приятелей", + "option_d": "эмоций" + }, + "outputs": "B", + "meta": { + "id": 83 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растения используют воду для\nA) поощрения птиц\nB) питания\nC) приятелей\nD) эмоций\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.07316205650568008, + "B": 0.4210186004638672, + "C": 0.12062385678291321, + "D": 0.327889621257782 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Размер глаз имеет значение для зрения и способности зрения, учитывая, что", + "option_a": "слоны видят лучше, чем муравьи", + "option_b": "волки видят лучше, чем жираф", + "option_c": "люди видят лучше, чем собаки", + "option_d": "собаки видят лучше кошек" + }, + "outputs": "A", + "meta": { + "id": 1698 + } + }, + "prompt": "<|im_start|>user\nРазмер глаз имеет значение для зрения и способности зрения, учитывая, что\nA) слоны видят лучше, чем муравьи\nB) волки видят лучше, чем жираф\nC) люди видят лучше, чем собаки\nD) собаки видят лучше кошек\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.001859593205153942, + "B": 0.0027056923136115074, + "C": 0.9632931351661682, + "D": 0.002107195323333144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Укрытие - одна из основных потребностей человека наряду с едой, водой и", + "option_a": "инструментами", + "option_b": "искусством", + "option_c": "товариществом", + "option_d": "музыкой" + }, + "outputs": "C", + "meta": { + "id": 1087 + } + }, + "prompt": "<|im_start|>user\nУкрытие - одна из основных потребностей человека наряду с едой, водой и\nA) инструментами\nB) искусством\nC) товариществом\nD) музыкой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8630934357643127, + "B": 0.017912931740283966, + "C": 0.012311366386711597, + "D": 0.026063164696097374 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих животных дольше могло оставаться самым теплым?", + "option_a": "кит", + "option_b": "белка", + "option_c": "чихуахуа", + "option_d": "кошка" + }, + "outputs": "A", + "meta": { + "id": 2334 + } + }, + "prompt": "<|im_start|>user\nКакое из этих животных дольше могло оставаться самым теплым?\nA. кит\nB. белка\nC. чихуахуа\nD. кошка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0024323940742760897, + "B": 0.0005427404539659619, + "C": 0.9812977313995361, + "D": 0.0005427404539659619 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пестициды используются для обработки большого количества сельскохозяйственных культур, поэтому овощи лучше мыть перед употреблением, чтобы", + "option_a": "промокнуть", + "option_b": "посмеяться", + "option_c": "не заболеть", + "option_d": "поплавать" + }, + "outputs": "C", + "meta": { + "id": 778 + } + }, + "prompt": "<|im_start|>user\nПестициды используются для обработки большого количества сельскохозяйственных культур, поэтому овощи лучше мыть перед употреблением, чтобы\nA. промокнуть\nB. посмеяться\nC. не заболеть\nD. поплавать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 84, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9250974655151367, + "B": 0.0009559009922668338, + "C": 0.0002738702460192144, + "D": 0.0013908277032896876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шторм бушует в течение двух недель, и реки и озера разливаются, поэтому", + "option_a": "окружающая территория затапливается водой", + "option_b": "земля становится влажной", + "option_c": "ветер дует над деревьями", + "option_d": "все вокруг горит, сгорая дотла" + }, + "outputs": "A", + "meta": { + "id": 1471 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шторм бушует в течение двух недель, и реки и озера разливаются, поэтому\nA. окружающая территория затапливается водой\nB. земля становится влажной\nC. ветер дует над деревьями\nD. все вокруг горит, сгорая дотла\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9459109902381897, + "B": 0.0009774075588211417, + "C": 0.0005231685354374349, + "D": 0.0020691719837486744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что некоторые лягушки могут делать для своих детенышей?", + "option_a": "заботиться о них", + "option_b": "отправлять в космические путешествия", + "option_c": "использовать магию", + "option_d": "есть воск свечи" + }, + "outputs": "A", + "meta": { + "id": 1496 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что некоторые лягушки могут делать для своих детенышей?\nA. заботиться о них\nB. отправлять в космические путешествия\nC. использовать магию\nD. есть воск свечи\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01052379235625267, + "B": 0.001613875851035118, + "C": 0.9473215341567993, + "D": 0.011925018392503262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если организм умирает, что происходит с популяцией этих организмов?", + "option_a": "расслабляется", + "option_b": "плачет", + "option_c": "сокращается", + "option_d": "увеличивается" + }, + "outputs": "C", + "meta": { + "id": 1697 + } + }, + "prompt": "<|im_start|>user\nЕсли организм умирает, что происходит с популяцией этих организмов?\nA. расслабляется\nB. плачет\nC. сокращается\nD. увеличивается\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03768497332930565, + "B": 0.8577060699462891, + "C": 0.003505248809233308, + "D": 0.029349086806178093 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, в наибольшей степени уменьшит вредоносные изменения климата?", + "option_a": "ураганы", + "option_b": "День Земли", + "option_c": "цунами", + "option_d": "лесные пожары" + }, + "outputs": "B", + "meta": { + "id": 1823 + } + }, + "prompt": "<|im_start|>user\nЧто, вероятно, в наибольшей степени уменьшит вредоносные изменения климата?\nA) ураганы\nB) День Земли\nC) цунами\nD) лесные пожары\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.013082490302622318, + "B": 0.9171534180641174, + "C": 0.0002715184527914971, + "D": 0.0003950569953303784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В таких средах, как тропический лес, такое изобилие цветов и растений из-за того, что для процветания растений требуется много…", + "option_a": "воды", + "option_b": "солнечного света", + "option_c": "животных", + "option_d": "людей" + }, + "outputs": "A", + "meta": { + "id": 1599 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В таких средах, как тропический лес, такое изобилие цветов и растений из-за того, что для процветания растений требуется много…\nA) воды\nB) солнечного света\nC) животных\nD) людей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.026745067909359932, + "B": 0.020829079672694206, + "C": 0.8856750130653381, + "D": 0.016221703961491585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После того, как волк съел всех кроликов, он выжил на:", + "option_a": "воде", + "option_b": "растениях", + "option_c": "запасах жира", + "option_d": "удаче" + }, + "outputs": "C", + "meta": { + "id": 189 + } + }, + "prompt": "<|im_start|>user\nПосле того, как волк съел всех кроликов, он выжил на:\nA. воде\nB. растениях\nC. запасах жира\nD. удаче\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005615720525383949, + "B": 0.9444189667701721, + "C": 0.0020659081637859344, + "D": 0.00817082542926073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из этих мест, скорее всего, будет расти растение?", + "option_a": "керамическая плитка на кухне", + "option_b": "площадка перед водоемом", + "option_c": "вершина горы", + "option_d": "основание глиняной ямы" + }, + "outputs": "B", + "meta": { + "id": 853 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком из этих мест, скорее всего, будет расти растение?\nA) керамическая плитка на кухне\nB) площадка перед водоемом\nC) вершина горы\nD) основание глиняной ямы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10009172558784485, + "B": 0.2118941992521286, + "C": 0.08833063393831253, + "D": 0.5083077549934387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете найти черные металлы в", + "option_a": "Траве", + "option_b": "Стекле.", + "option_c": "Древесине", + "option_d": "Обломках автомобилей" + }, + "outputs": "D", + "meta": { + "id": 1691 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы можете найти черные металлы в\nA) Траве\nB) Стекле.\nC) Древесине\nD) Обломках автомобилей\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5254342555999756, + "B": 0.40920862555503845, + "C": 0.0010143268154934049, + "D": 0.0002906094887293875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бобр строит дом в реке, и это в конечном итоге блокирует реку, обеспечивая бобрам хороший дом. Побочный эффект нового дома бобра:", + "option_a": "бассейн", + "option_b": "расширение пресноводного водоема", + "option_c": "образование горы", + "option_d": "новый океан" + }, + "outputs": "B", + "meta": { + "id": 1930 + } + }, + "prompt": "<|im_start|>user\nБобр строит дом в реке, и это в конечном итоге блокирует реку, обеспечивая бобрам хороший дом. Побочный эффект нового дома бобра:\nA. бассейн\nB. расширение пресноводного водоема\nC. образование горы\nD. новый океан\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013231683522462845, + "B": 0.9276126623153687, + "C": 0.0033454936929047108, + "D": 0.005515786353498697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зяблики любят", + "option_a": "шутки", + "option_b": "сладкие семечки", + "option_c": "Все любят Раймонда", + "option_d": "магию" + }, + "outputs": "B", + "meta": { + "id": 2075 + } + }, + "prompt": "<|im_start|>user\nЗяблики любят\nA. шутки\nB. сладкие семечки\nC. Все любят Раймонда\nD. магию\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.013337850570678711, + "B": 0.00021558628941420466, + "C": 0.0006640524952672422, + "D": 0.9350555539131165 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда гуси мигрируют в конце лета или в начале осени, они", + "option_a": "путешествуют небольшими группами.", + "option_b": "предпочитают посетить Сочи", + "option_c": "выбирают живописный маршрут", + "option_d": "направляются в менее заснеженные районы" + }, + "outputs": "D", + "meta": { + "id": 362 + } + }, + "prompt": "<|im_start|>user\nКогда гуси мигрируют в конце лета или в начале осени, они\nA) путешествуют небольшими группами.\nB) предпочитают посетить Сочи\nC) выбирают живописный маршрут\nD) направляются в менее заснеженные районы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7022595405578613, + "B": 0.03496344015002251, + "C": 0.08387294411659241, + "D": 0.02120640128850937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то дышит, это", + "option_a": "оставляет отходы в виде непригодного побочного продукта", + "option_b": "живет в мусоре", + "option_c": "использует непригодный побочный продукт", + "option_d": "часто перемещается" + }, + "outputs": "A", + "meta": { + "id": 2084 + } + }, + "prompt": "<|im_start|>user\nЕсли что-то дышит, это\nA) оставляет отходы в виде непригодного побочного продукта\nB) живет в мусоре\nC) использует непригодный побочный продукт\nD) часто перемещается\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.018500294536352158, + "B": 0.6126455664634705, + "C": 0.17552590370178223, + "D": 0.12063705921173096 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна отражает солнечный свет и влияет на", + "option_a": "Солнце", + "option_b": "орбитальные спутники", + "option_c": "океаны", + "option_d": "космические станции" + }, + "outputs": "C", + "meta": { + "id": 93 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Луна отражает солнечный свет и влияет на\nA) Солнце\nB) орбитальные спутники\nC) океаны\nD) космические станции\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.030749650672078133, + "B": 0.1378103792667389, + "C": 0.6176232695579529, + "D": 0.15615960955619812 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы сделать блокнот на спирали, обязательно использовать", + "option_a": "деревья", + "option_b": "пластик", + "option_c": "резину", + "option_d": "коров" + }, + "outputs": "A", + "meta": { + "id": 1661 + } + }, + "prompt": "<|im_start|>user\nЧтобы сделать блокнот на спирали, обязательно использовать\nA. деревья\nB. пластик\nC. резину\nD. коров\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9256654381752014, + "B": 0.0005119710694998503, + "C": 0.00024183800269383937, + "D": 0.001083842827938497 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Обрушение чего становится наиболее вероятной причиной массовых смертей?", + "option_a": "Здания", + "option_b": "Деревья", + "option_c": "Животные", + "option_d": "Электроника" + }, + "outputs": "A", + "meta": { + "id": 1621 + } + }, + "prompt": "<|im_start|>user\nОбрушение чего становится наиболее вероятной причиной массовых смертей?\nA. Здания\nB. Деревья\nC. Животные\nD. Электроника\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8936360478401184, + "B": 0.011249218136072159, + "C": 0.006021272391080856, + "D": 0.0017251233803108335 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Штормовая погода часто приводит к", + "option_a": "влажности в дождемерах", + "option_b": "пикникам в парке", + "option_c": "сухим полям и дорогам", + "option_d": "солнечным и ясным дням" + }, + "outputs": "A", + "meta": { + "id": 1800 + } + }, + "prompt": "<|im_start|>user\nШтормовая погода часто приводит к\nA) влажности в дождемерах\nB) пикникам в парке\nC) сухим полям и дорогам\nD) солнечным и ясным дням\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00233135255984962, + "B": 0.9405346512794495, + "C": 0.0006679436191916466, + "D": 0.0012478829594329 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может негативно повлиять на ребенка?", + "option_a": "единороги", + "option_b": "удары кулаком", + "option_c": "путешествие во времени", + "option_d": "магия" + }, + "outputs": "B", + "meta": { + "id": 125 + } + }, + "prompt": "<|im_start|>user\nЧто может негативно повлиять на ребенка?\nA) единороги\nB) удары кулаком\nC) путешествие во времени\nD) магия\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.005613875575363636, + "B": 0.9441087245941162, + "C": 0.00437209103256464, + "D": 0.002651807153597474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может заставить свет отражаться от объекта?", + "option_a": "что-то окрашенное в черный цвет", + "option_b": "поверхность с алюминием", + "option_c": "водяной пар", + "option_d": "пружины и спирали" + }, + "outputs": "B", + "meta": { + "id": 1224 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может заставить свет отражаться от объекта?\nA. что-то окрашенное в черный цвет\nB. поверхность с алюминием\nC. водяной пар\nD. пружины и спирали\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.20860549807548523, + "B": 0.7281047105789185, + "C": 0.0012404137523844838, + "D": 0.0020450963638722897 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая из этих отраслей с наибольшей вероятностью повлияет на экосистему?", + "option_a": "продукты питания", + "option_b": "солнечная энергия", + "option_c": "уголь", + "option_d": "розничная торговля" + }, + "outputs": "C", + "meta": { + "id": 1264 + } + }, + "prompt": "<|im_start|>user\nКакая из этих отраслей с наибольшей вероятностью повлияет на экосистему?\nA. продукты питания\nB. солнечная энергия\nC. уголь\nD. розничная торговля\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014939745888113976, + "B": 0.01026792824268341, + "C": 0.007057035807520151, + "D": 0.924289345741272 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если солнце село, то", + "option_a": "легко приготовить еду", + "option_b": "пора завтракать", + "option_c": "необходимо надеть пальто", + "option_d": "становится труднее разглядеть объекты снаружи" + }, + "outputs": "D", + "meta": { + "id": 1934 + } + }, + "prompt": "<|im_start|>user\nЕсли солнце село, то\nA. легко приготовить еду\nB. пора завтракать\nC. необходимо надеть пальто\nD. становится труднее разглядеть объекты снаружи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0016090840799733996, + "B": 0.9445088505744934, + "C": 0.00011656164861051366, + "D": 0.0023412033915519714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Форма клюва колибри - это приспособление для", + "option_a": "попадания в труднодоступную древесину", + "option_b": "получения труднодоступных питательных веществ", + "option_c": "получения труднодоступных камней", + "option_d": "получения труднодоступных самок" + }, + "outputs": "B", + "meta": { + "id": 1947 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Форма клюва колибри - это приспособление для\nA. попадания в труднодоступную древесину\nB. получения труднодоступных питательных веществ\nC. получения труднодоступных камней\nD. получения труднодоступных самок\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.040868133306503296, + "B": 0.07635172456502914, + "C": 0.00804741308093071, + "D": 0.8208584189414978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один полный оборот вокруг оси Земли занимает", + "option_a": "12 часов", + "option_b": "1 месяц", + "option_c": "2 дня", + "option_d": "1440 минут" + }, + "outputs": "D", + "meta": { + "id": 1583 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Один полный оборот вокруг оси Земли занимает\nA. 12 часов\nB. 1 месяц\nC. 2 дня\nD. 1440 минут\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.01515966560691595, + "B": 0.008114384487271309, + "C": 0.0049216230399906635, + "D": 0.9378952980041504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из следующих утверждений верно?", + "option_a": "кукуруза может питать общественный транспорт", + "option_b": "страх может заправлять мотоциклы", + "option_c": "солнечный свет лучше всего распространяется в пещерах", + "option_d": "рис нельзя использовать в качестве топлива" + }, + "outputs": "A", + "meta": { + "id": 160 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие из следующих утверждений верно?\nA. кукуруза может питать общественный транспорт\nB. страх может заправлять мотоциклы\nC. солнечный свет лучше всего распространяется в пещерах\nD. рис нельзя использовать в качестве топлива\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.00912537146359682, + "B": 0.6397379636764526, + "C": 0.2353464663028717, + "D": 0.017048439010977745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Улучшение транспортной инфраструктуры может увеличить количество доступных видов", + "option_a": "зерна", + "option_b": "образования", + "option_c": "интернета", + "option_d": "домов" + }, + "outputs": "A", + "meta": { + "id": 1365 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Улучшение транспортной инфраструктуры может увеличить количество доступных видов\nA) зерна\nB) образования\nC) интернета\nD) домов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.01124352216720581, + "B": 0.016359228640794754, + "C": 0.8931835889816284, + "D": 0.008756464347243309 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура тела рептилии", + "option_a": "быстро падает в теплом климате", + "option_b": "будет оставаться стабильной при любых обстоятельствах", + "option_c": "реагирует так, как температура других теплокровных животных", + "option_d": "будет синхронизироваться с изменениями погоды" + }, + "outputs": "D", + "meta": { + "id": 56 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура тела рептилии\nA) быстро падает в теплом климате\nB) будет оставаться стабильной при любых обстоятельствах\nC) реагирует так, как температура других теплокровных животных\nD) будет синхронизироваться с изменениями погоды\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7726630568504333, + "B": 0.02995939739048481, + "C": 0.033948443830013275, + "D": 0.018171293660998344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример преобразования потенциальной энергии в кинетическую:", + "option_a": "соскользнувший с края прилавка арбуз начинает падать вниз", + "option_b": "неподвижный камень нагревается на солнце", + "option_c": "наше солнце греет нас", + "option_d": "отдыхающая птица дремлет" + }, + "outputs": "A", + "meta": { + "id": 122 + } + }, + "prompt": "<|im_start|>user\nПример преобразования потенциальной энергии в кинетическую:\nA) соскользнувший с края прилавка арбуз начинает падать вниз\nB) неподвижный камень нагревается на солнце\nC) наше солнце греет нас\nD) отдыхающая птица дремлет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0014382892986759543, + "B": 0.956666111946106, + "C": 0.00013378175208345056, + "D": 0.0007698608096688986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фонари работают от батареек, чтобы загорелся свет. Батарейки используют химическую энергию, а получившийся свет является", + "option_a": "механической энергией", + "option_b": "световой энергией", + "option_c": "гиперэнергией", + "option_d": "солнечной энергией" + }, + "outputs": "B", + "meta": { + "id": 1343 + } + }, + "prompt": "<|im_start|>user\nФонари работают от батареек, чтобы загорелся свет. Батарейки используют химическую энергию, а получившийся свет является\nA) механической энергией\nB) световой энергией\nC) гиперэнергией\nD) солнечной энергией\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.021978160366415977, + "B": 0.8247243762016296, + "C": 0.05272286385297775, + "D": 0.03197803348302841 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем дальше корабль отходит от маяка", + "option_a": "тем больше моряки будут направляться его лучом", + "option_b": "тем меньше моряки будут направляться его лучом", + "option_c": "тем больше вероятность успешного плавания корабля", + "option_d": "тем ниже становятся бурные океанские волны" + }, + "outputs": "B", + "meta": { + "id": 1109 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем дальше корабль отходит от маяка\nA) тем больше моряки будут направляться его лучом\nB) тем меньше моряки будут направляться его лучом\nC) тем больше вероятность успешного плавания корабля\nD) тем ниже становятся бурные океанские волны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07105475664138794, + "B": 0.5250275731086731, + "C": 0.11714949458837509, + "D": 0.19314688444137573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно использовать более одного раза?", + "option_a": "уголь", + "option_b": "газовый баллон", + "option_c": "газ", + "option_d": "нефть" + }, + "outputs": "B", + "meta": { + "id": 1437 + } + }, + "prompt": "<|im_start|>user\nЧто можно использовать более одного раза?\nA. уголь\nB. газовый баллон\nC. газ\nD. нефть\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 60, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.10867364704608917, + "B": 0.42981261014938354, + "C": 0.01470737811177969, + "D": 0.37930828332901 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему хозяин здания при сдаче в аренду постелил коврики на полу на верхних этажах, но не стал стелить на нижнем этаже?", + "option_a": "Потому что под первым этажом некому жаловаться на шум и топот.", + "option_b": "Потому что хозяин не хотел, чтобы поцарапали деревянные полы.", + "option_c": "Потому что арендаторы любят коврики на верхних этажах", + "option_d": "Потому что не хотел платить за еще одно ковровое покрытие." + }, + "outputs": "A", + "meta": { + "id": 1401 + } + }, + "prompt": "<|im_start|>user\nПочему хозяин здания при сдаче в аренду постелил коврики на полу на верхних этажах, но не стал стелить на нижнем этаже?\nA) Потому что под первым этажом некому жаловаться на шум и топот.\nB) Потому что хозяин не хотел, чтобы поцарапали деревянные полы.\nC) Потому что арендаторы любят коврики на верхних этажах\nD) Потому что не хотел платить за еще одно ковровое покрытие.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00156786001753062, + "B": 0.0277909804135561, + "C": 0.0002724532096181065, + "D": 0.920310914516449 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчелы - ключ к какому процессу в жизни цветка?", + "option_a": "смена цвета", + "option_b": "водоснабжение", + "option_c": "потребление солнца", + "option_d": "размножение" + }, + "outputs": "D", + "meta": { + "id": 1579 + } + }, + "prompt": "<|im_start|>user\nПчелы - ключ к какому процессу в жизни цветка?\nA) смена цвета\nB) водоснабжение\nC) потребление солнца\nD) размножение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0014025698183104396, + "B": 0.9329075813293457, + "C": 0.0005846780259162188, + "D": 0.0005846780259162188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разрушение среды обитания может привести к", + "option_a": "миграции птиц на север", + "option_b": "потере енотами своих домов", + "option_c": "буму воспроизводства животных", + "option_d": "спячке местных медведей" + }, + "outputs": "B", + "meta": { + "id": 2105 + } + }, + "prompt": "<|im_start|>user\nРазрушение среды обитания может привести к\nA. миграции птиц на север\nB. потере енотами своих домов\nC. буму воспроизводства животных\nD. спячке местных медведей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.23525261878967285, + "B": 0.12592165172100067, + "C": 0.30207034945487976, + "D": 0.2665761411190033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие животные будут избегать", + "option_a": "цветов, которые только что распустились", + "option_b": "только что сошедших с гриля стейков", + "option_c": "груды выброшенных подгузников", + "option_d": "лужи с чистой водой" + }, + "outputs": "C", + "meta": { + "id": 264 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Многие животные будут избегать\nA. цветов, которые только что распустились\nB. только что сошедших с гриля стейков\nC. груды выброшенных подгузников\nD. лужи с чистой водой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08529896289110184, + "B": 0.8092940449714661, + "C": 0.008990445174276829, + "D": 0.021566955372691154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то имеет мембрану внутри другого предмета, это, вероятно,", + "option_a": "маркер", + "option_b": "человеческий орган, способный плакать", + "option_c": "дом", + "option_d": "темная дыра" + }, + "outputs": "B", + "meta": { + "id": 831 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если что-то имеет мембрану внутри другого предмета, это, вероятно,\nA) маркер\nB) человеческий орган, способный плакать\nC) дом\nD) темная дыра\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8416824340820312, + "B": 0.010595218278467655, + "C": 0.0023641129955649376, + "D": 0.04748447611927986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример объекта, который жил раньше и стал мертвым теперь.", + "option_a": "энергичный кот умер после того, как его сбила машина", + "option_b": "панда перестает есть и впадает в кому", + "option_c": "собака парализована и не может двигаться", + "option_d": "маленькая белка падает с дерева и ломает ногу" + }, + "outputs": "A", + "meta": { + "id": 1803 + } + }, + "prompt": "<|im_start|>user\nВыберите пример объекта, который жил раньше и стал мертвым теперь.\nA. энергичный кот умер после того, как его сбила машина\nB. панда перестает есть и впадает в кому\nC. собака парализована и не может двигаться\nD. маленькая белка падает с дерева и ломает ногу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07549131661653519, + "B": 0.8116081357002258, + "C": 0.040407586842775345, + "D": 0.0013826717622578144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для образования осадочных пород потребуется некоторый уровень дробления и давления", + "option_a": "возможно верно", + "option_b": "это верно", + "option_c": "это неверно", + "option_d": "нужно только дробление" + }, + "outputs": "B", + "meta": { + "id": 2167 + } + }, + "prompt": "<|im_start|>user\nДля образования осадочных пород потребуется некоторый уровень дробления и давления\nA. возможно верно\nB. это верно\nC. это неверно\nD. нужно только дробление\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007752312812954187, + "B": 0.00833452120423317, + "C": 0.9633396863937378, + "D": 0.0004702015721704811 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда некоторым животным становится жарко, они, как и люди, делают это, чтобы снизить температуру своего тела", + "option_a": "тратят деньги", + "option_b": "повышают температуру крови", + "option_c": "потеют", + "option_d": "улетают" + }, + "outputs": "C", + "meta": { + "id": 1331 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда некоторым животным становится жарко, они, как и люди, делают это, чтобы снизить температуру своего тела\nA. тратят деньги\nB. повышают температуру крови\nC. потеют\nD. улетают\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3684864342212677, + "B": 0.009819830767810345, + "C": 0.28697752952575684, + "D": 0.25325679779052734 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Восходы и заходы чего вызывают циклы дня и ночи?", + "option_a": "ближайшая звезда - желтый карлик", + "option_b": "другая галактика рядом с нашей", + "option_c": "ближайшая к Земле планета", + "option_d": "ближайшая планета - газовый гигант" + }, + "outputs": "A", + "meta": { + "id": 1397 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Восходы и заходы чего вызывают циклы дня и ночи?\nA. ближайшая звезда - желтый карлик\nB. другая галактика рядом с нашей\nC. ближайшая к Земле планета\nD. ближайшая планета - газовый гигант\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009437468834221363, + "B": 0.08954020589590073, + "C": 0.8495338559150696, + "D": 0.010694053024053574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Георгий смотрел прямо на мигающие в соседском окне рождественские гирлянды, но ему они показилась очень тусклыми. Это потому, что", + "option_a": "Георгий бодрствовал", + "option_b": "Георгий был в нескольких метрах от окна", + "option_c": "Георгий был в километре от окна", + "option_d": "Огни были разных цветов" + }, + "outputs": "C", + "meta": { + "id": 1074 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Георгий смотрел прямо на мигающие в соседском окне рождественские гирлянды, но ему они показилась очень тусклыми. Это потому, что\nA) Георгий бодрствовал\nB) Георгий был в нескольких метрах от окна\nC) Георгий был в километре от окна\nD) Огни были разных цветов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0033271561842411757, + "B": 0.00108016945887357, + "C": 0.011612916365265846, + "D": 0.9225282073020935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы предотвратить поражение электрическим током", + "option_a": "используйте все серебряные пломбы", + "option_b": "используйте всю медную проволоку", + "option_c": "может пригодиться алюминий", + "option_d": "пригодится изоляция" + }, + "outputs": "D", + "meta": { + "id": 1166 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы предотвратить поражение электрическим током\nA) используйте все серебряные пломбы\nB) используйте всю медную проволоку\nC) может пригодиться алюминий\nD) пригодится изоляция\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.003871574066579342, + "B": 0.0011092245113104582, + "C": 0.9473429322242737, + "D": 0.022279370576143265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зима в северном полушарии означает", + "option_a": "в Северном полушарии стоит палящая жаркая погода", + "option_b": "в северном полушарии ежедневно идут проливные дожди", + "option_c": "в южном полушарии низкие температуры", + "option_d": "в южном полушарии теплые солнечные дни" + }, + "outputs": "D", + "meta": { + "id": 1751 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зима в северном полушарии означает\nA. в Северном полушарии стоит палящая жаркая погода\nB. в северном полушарии ежедневно идут проливные дожди\nC. в южном полушарии низкие температуры\nD. в южном полушарии теплые солнечные дни\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002344873733818531, + "B": 0.9459896087646484, + "C": 0.0005928768659941852, + "D": 0.0006718175718560815 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем горячее становится жидкость, тем быстрее она", + "option_a": "превращается в животных", + "option_b": "превращается в газ", + "option_c": "превращается в семь", + "option_d": "превращается в лягушек" + }, + "outputs": "B", + "meta": { + "id": 1956 + } + }, + "prompt": "<|im_start|>user\nЧем горячее становится жидкость, тем быстрее она\nA. превращается в животных\nB. превращается в газ\nC. превращается в семь\nD. превращается в лягушек\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.19496461749076843, + "B": 0.6804934144020081, + "C": 0.029898792505264282, + "D": 0.012463671155273914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из следующих действий считается приготовлением пищи?", + "option_a": "опускаем под воду", + "option_b": "встряхиваем вверх и вниз", + "option_c": "кладем в морозильную камеру", + "option_d": "ставим на солнце" + }, + "outputs": "D", + "meta": { + "id": 1785 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из следующих действий считается приготовлением пищи?\nA) опускаем под воду\nB) встряхиваем вверх и вниз\nC) кладем в морозильную камеру\nD) ставим на солнце\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.703447163105011, + "B": 0.006896353792399168, + "C": 0.007814592681825161, + "D": 0.2015409916639328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно использовать, если в 23 часа перегорел трансформатор?", + "option_a": "Фонарик", + "option_b": "Телевизор", + "option_c": "Ноутбук", + "option_d": "Дрель" + }, + "outputs": "A", + "meta": { + "id": 1855 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно использовать, если в 23 часа перегорел трансформатор?\nA. Фонарик\nB. Телевизор\nC. Ноутбук\nD. Дрель\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9125502109527588, + "B": 0.0029044474940747023, + "C": 0.0012107538059353828, + "D": 0.01893937587738037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с наибольшей вероятностью нанесет вред популяции полярной совы в данной местности?", + "option_a": "новый торговый центр", + "option_b": "новая лужа", + "option_c": "новое дерево", + "option_d": "новый заповедник" + }, + "outputs": "A", + "meta": { + "id": 2335 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что с наибольшей вероятностью нанесет вред популяции полярной совы в данной местности?\nA. новый торговый центр\nB. новая лужа\nC. новое дерево\nD. новый заповедник\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.014783259481191635, + "B": 0.013046180829405785, + "C": 0.0008340144413523376, + "D": 0.9146078824996948 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каким может быть эффект, если камень подвергался продолжительному воздействию тепла?", + "option_a": "Усадка", + "option_b": "Разрушение", + "option_c": "Эрозия", + "option_d": "Плавление" + }, + "outputs": "C", + "meta": { + "id": 1161 + } + }, + "prompt": "<|im_start|>user\nКаким может быть эффект, если камень подвергался продолжительному воздействию тепла?\nA. Усадка\nB. Разрушение\nC. Эрозия\nD. Плавление\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0008383527165278792, + "B": 0.919365406036377, + "C": 0.00039600979653187096, + "D": 0.00034947742824442685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Афганская борзая получает качества своей шерсти", + "option_a": "от воды", + "option_b": "от родителей", + "option_c": "от солнца", + "option_d": "от братьев и сестер" + }, + "outputs": "B", + "meta": { + "id": 2030 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Афганская борзая получает качества своей шерсти\nA) от воды\nB) от родителей\nC) от солнца\nD) от братьев и сестер\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.006761347409337759, + "B": 0.1743774265050888, + "C": 0.6896761059761047, + "D": 0.08237007260322571 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мы можем больше всего помочь растению,", + "option_a": "Храня его в темноте", + "option_b": "Отрезав его от корней", + "option_c": "Рассказав ему историю", + "option_d": "Отказавшись от полива" + }, + "outputs": "C", + "meta": { + "id": 1077 + } + }, + "prompt": "<|im_start|>user\nМы можем больше всего помочь растению,\nA. Храня его в темноте\nB. Отрезав его от корней\nC. Рассказав ему историю\nD. Отказавшись от полива\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 75, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8593876361846924, + "B": 0.004509652499109507, + "C": 0.003979754634201527, + "D": 0.003512120805680752 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы не можете стать существенно выше, потому что рост определяется", + "option_a": "генами родителей", + "option_b": "печеньем", + "option_c": "пространством", + "option_d": "яичной скорлупой" + }, + "outputs": "A", + "meta": { + "id": 1737 + } + }, + "prompt": "<|im_start|>user\nВы не можете стать существенно выше, потому что рост определяется\nA) генами родителей\nB) печеньем\nC) пространством\nD) яичной скорлупой\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.003492746502161026, + "B": 0.9684417843818665, + "C": 0.0008831046288833022, + "D": 0.003492746502161026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто дышит жабрами под водой?", + "option_a": "рыбацкие лодки", + "option_b": "лосось", + "option_c": "млекопитающие", + "option_d": "пингвины" + }, + "outputs": "B", + "meta": { + "id": 1445 + } + }, + "prompt": "<|im_start|>user\nКто дышит жабрами под водой?\nA. рыбацкие лодки\nB. лосось\nC. млекопитающие\nD. пингвины\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8649440407752991, + "B": 0.06265634298324585, + "C": 0.0011475908104330301, + "D": 0.0024294499307870865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если датчик температуры на приборной панели поднимается во время движения автомобиля, в чем может быть причина?", + "option_a": "трение механических частей автомобиля", + "option_b": "снег, падающий снаружи", + "option_c": "проклятие продавца автомобилей", + "option_d": "гнев водителя" + }, + "outputs": "A", + "meta": { + "id": 1924 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если датчик температуры на приборной панели поднимается во время движения автомобиля, в чем может быть причина?\nA) трение механических частей автомобиля\nB) снег, падающий снаружи\nC) проклятие продавца автомобилей\nD) гнев водителя\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 101, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.034484971314668655, + "B": 0.8893791437149048, + "C": 0.002498083049431443, + "D": 0.00194550899323076 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Включенные лампочки лопаются от холодной воды, потому что", + "option_a": "внутри лампочки горячо", + "option_b": "внутри лампочки холодно", + "option_c": "вода начинает закипать", + "option_d": "электричество и вода отталкивают друг друга" + }, + "outputs": "A", + "meta": { + "id": 356 + } + }, + "prompt": "<|im_start|>user\nВключенные лампочки лопаются от холодной воды, потому что\nA) внутри лампочки горячо\nB) внутри лампочки холодно\nC) вода начинает закипать\nD) электричество и вода отталкивают друг друга\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018352661281824112, + "B": 0.9506914019584656, + "C": 0.00031892143306322396, + "D": 0.00018171595002058893 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего видно, что по мере уменьшения количества пищи, которую съедает животное, оно худеет?", + "option_a": "тонкие организмы обычно являются беспозвоночными", + "option_b": "очертания ребер отчетливо видны на голодающих млекопитающих", + "option_c": "все худые животные не хотят получать надлежащего питания", + "option_d": "животные, у которых мало еды, умирают" + }, + "outputs": "B", + "meta": { + "id": 74 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из чего видно, что по мере уменьшения количества пищи, которую съедает животное, оно худеет?\nA) тонкие организмы обычно являются беспозвоночными\nB) очертания ребер отчетливо видны на голодающих млекопитающих\nC) все худые животные не хотят получать надлежащего питания\nD) животные, у которых мало еды, умирают\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.1713297814130783, + "B": 0.02046242356300354, + "C": 0.005862582474946976, + "D": 0.7678468227386475 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проходя мимо Юпитера, вы могли бы заметить, что", + "option_a": "гравитация становится сильнее", + "option_b": "обзор становится лучше", + "option_c": "Луна вращается вокруг вас", + "option_d": "сила тяжести ослабевает" + }, + "outputs": "A", + "meta": { + "id": 2058 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Проходя мимо Юпитера, вы могли бы заметить, что\nA) гравитация становится сильнее\nB) обзор становится лучше\nC) Луна вращается вокруг вас\nD) сила тяжести ослабевает\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.026729343459010124, + "B": 0.018370790407061577, + "C": 0.8851543068885803, + "D": 0.026729343459010124 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вода становится теплее", + "option_a": "это может вызвать переохлаждение", + "option_b": "она прилипает к металлическим поверхностям", + "option_c": "она может быстрее превратить лед в лужу", + "option_d": "она может замораживать твердые частицы" + }, + "outputs": "C", + "meta": { + "id": 439 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда вода становится теплее\nA. это может вызвать переохлаждение\nB. она прилипает к металлическим поверхностям\nC. она может быстрее превратить лед в лужу\nD. она может замораживать твердые частицы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5782223343849182, + "B": 0.004414781928062439, + "C": 0.08867327123880386, + "D": 0.24103893339633942 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего, скорее всего, понадобится плита?", + "option_a": "урок физики", + "option_b": "урок английского языка", + "option_c": "урок химии", + "option_d": "урок математики" + }, + "outputs": "C", + "meta": { + "id": 1309 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего, скорее всего, понадобится плита?\nA. урок физики\nB. урок английского языка\nC. урок химии\nD. урок математики\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.2034405916929245, + "B": 0.04539372771978378, + "C": 0.006961354054510593, + "D": 0.7100774049758911 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего описывает отношения между Луной, Землей и Солнцем?", + "option_a": "Луна находится на одинаковом расстоянии от Солнца и Земли", + "option_b": "Земля поглощает солнечный свет", + "option_c": "Луна - звезда", + "option_d": "Солнце движется вокруг Земли" + }, + "outputs": "B", + "meta": { + "id": 2242 + } + }, + "prompt": "<|im_start|>user\nЧто лучше всего описывает отношения между Луной, Землей и Солнцем?\nA. Луна находится на одинаковом расстоянии от Солнца и Земли\nB. Земля поглощает солнечный свет\nC. Луна - звезда\nD. Солнце движется вокруг Земли\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.001279616029933095, + "B": 0.00015282834647223353, + "C": 0.00018434616504237056, + "D": 0.9644520282745361 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если объявили штормовое предупреждение, сделайте это", + "option_a": "Выйдите наружу", + "option_b": "Найдите пиццу", + "option_c": "Включите телевизор", + "option_d": "Оставайтесь дома" + }, + "outputs": "D", + "meta": { + "id": 1966 + } + }, + "prompt": "<|im_start|>user\nЕсли объявили штормовое предупреждение, сделайте это\nA. Выйдите наружу\nB. Найдите пиццу\nC. Включите телевизор\nD. Оставайтесь дома\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006446044892072678, + "B": 0.0006794081418775022, + "C": 0.00041208186303265393, + "D": 0.9566778540611267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения могут использовать листья, особенно восковые, чтобы", + "option_a": "создать условия для роста", + "option_b": "поливать себя во время засухи", + "option_c": "хранить пищу для себя", + "option_d": "собирать и удерживать влагу" + }, + "outputs": "D", + "meta": { + "id": 1370 + } + }, + "prompt": "<|im_start|>user\nРастения могут использовать листья, особенно восковые, чтобы\nA) создать условия для роста\nB) поливать себя во время засухи\nC) хранить пищу для себя\nD) собирать и удерживать влагу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5400272011756897, + "B": 0.08281586319208145, + "C": 0.012700223363935947, + "D": 0.2550908029079437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организмы существуют только благодаря энергии", + "option_a": "нашего желтого карлика", + "option_b": "кофе", + "option_c": "луны", + "option_d": "АЭС" + }, + "outputs": "A", + "meta": { + "id": 2268 + } + }, + "prompt": "<|im_start|>user\nОрганизмы существуют только благодаря энергии\nA) нашего желтого карлика\nB) кофе\nC) луны\nD) АЭС\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.24916233122348785, + "B": 0.4654964804649353, + "C": 0.07138620316982269, + "D": 0.13336698710918427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Большая кошка пойдёт искать добычу", + "option_a": "в 15:00", + "option_b": "в полдень.", + "option_c": "в 9:00", + "option_d": "в 23:00" + }, + "outputs": "D", + "meta": { + "id": 1958 + } + }, + "prompt": "<|im_start|>user\nБольшая кошка пойдёт искать добычу\nA) в 15:00\nB) в полдень.\nC) в 9:00\nD) в 23:00\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011338434182107449, + "B": 0.900723397731781, + "C": 0.00883038155734539, + "D": 0.006877107545733452 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем может распространяться масса грунта, скользящая по насыпи?", + "option_a": "лесные пожары", + "option_b": "шторм", + "option_c": "глобальное потепление", + "option_d": "рост деревьев" + }, + "outputs": "B", + "meta": { + "id": 297 + } + }, + "prompt": "<|im_start|>user\nЧем может распространяться масса грунта, скользящая по насыпи?\nA) лесные пожары\nB) шторм\nC) глобальное потепление\nD) рост деревьев\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.01207688357681036, + "B": 0.04776500537991524, + "C": 0.8466549515724182, + "D": 0.04776500537991524 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы помочь в увеличении популяции организма в окружающей среде", + "option_a": "ограничить запасы пищи", + "option_b": "ввести больше источников воды", + "option_c": "ввести больше хищников в окружающую среду", + "option_d": "создать условия искусственной засухи" + }, + "outputs": "B", + "meta": { + "id": 2194 + } + }, + "prompt": "<|im_start|>user\nЧтобы помочь в увеличении популяции организма в окружающей среде\nA) ограничить запасы пищи\nB) ввести больше источников воды\nC) ввести больше хищников в окружающую среду\nD) создать условия искусственной засухи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.00670012878254056, + "B": 0.5322571396827698, + "C": 0.41452229022979736, + "D": 0.0035863204393535852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда лягушка рождается, у нее есть крошечные жабры, чтобы она могла дышать под водой, даже если во взрослом возрасте она", + "option_a": "сварит суп из легких", + "option_b": "найдет легкие бесполезными", + "option_c": "переместится на сушу", + "option_d": "испортит воздух" + }, + "outputs": "C", + "meta": { + "id": 2174 + } + }, + "prompt": "<|im_start|>user\nКогда лягушка рождается, у нее есть крошечные жабры, чтобы она могла дышать под водой, даже если во взрослом возрасте она\nA. сварит суп из легких\nB. найдет легкие бесполезными\nC. переместится на сушу\nD. испортит воздух\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.29987621307373047, + "B": 0.009055476635694504, + "C": 0.002594437450170517, + "D": 0.6348379254341125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все перечисленное ниже содержит хлоропласты, кроме этого", + "option_a": "кусты роз", + "option_b": "водоросли", + "option_c": "морские анемоны", + "option_d": "камыши" + }, + "outputs": "C", + "meta": { + "id": 1012 + } + }, + "prompt": "<|im_start|>user\nВсе перечисленное ниже содержит хлоропласты, кроме этого\nA. кусты роз\nB. водоросли\nC. морские анемоны\nD. камыши\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004960708320140839, + "B": 0.0008620418375357985, + "C": 0.0030088217463344336, + "D": 0.9453436732292175 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплокровные или холоднокровные, чтобы выжить, все животные должны", + "option_a": "умереть", + "option_b": "мыться водой", + "option_c": "принимать ванну на солнце", + "option_d": "сохранять тепло" + }, + "outputs": "D", + "meta": { + "id": 601 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Теплокровные или холоднокровные, чтобы выжить, все животные должны\nA) умереть\nB) мыться водой\nC) принимать ванну на солнце\nD) сохранять тепло\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9074941277503967, + "B": 0.002249453216791153, + "C": 0.0004429435939528048, + "D": 0.0012040454894304276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку Земля вращается вокруг Солнца", + "option_a": "в разных местах в разное время наблюдаются разные погодные условия", + "option_b": "погода одинакова во всем мире", + "option_c": "погода всегда разная", + "option_d": "у всех есть снег" + }, + "outputs": "A", + "meta": { + "id": 1574 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поскольку Земля вращается вокруг Солнца\nA) в разных местах в разное время наблюдаются разные погодные условия\nB) погода одинакова во всем мире\nC) погода всегда разная\nD) у всех есть снег\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2271028459072113, + "B": 0.4242839515209198, + "C": 0.06506605446338654, + "D": 0.17686785757541656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы не смогли бы определить форму объекта на ощупь, если бы у вас были", + "option_a": "носовая затычка", + "option_b": "руки за спиной", + "option_c": "беруши", + "option_d": "лента, закрывающая рот" + }, + "outputs": "B", + "meta": { + "id": 2294 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы не смогли бы определить форму объекта на ощупь, если бы у вас были\nA. носовая затычка\nB. руки за спиной\nC. беруши\nD. лента, закрывающая рот\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.015369870699942112, + "B": 0.047342538833618164, + "C": 0.022363029420375824, + "D": 0.839166522026062 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ледник сделан из", + "option_a": "того же материала, что и карандаши", + "option_b": "из того же материала, что и газ, который зажигает вывески", + "option_c": "из того же материала, что и пар", + "option_d": ", из того же материала, что и газ, наполняющий воздушные шары" + }, + "outputs": "C", + "meta": { + "id": 1479 + } + }, + "prompt": "<|im_start|>user\nЛедник сделан из\nA. того же материала, что и карандаши\nB. из того же материала, что и газ, который зажигает вывески\nC. из того же материала, что и пар\nD. , из того же материала, что и газ, наполняющий воздушные шары\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05792464688420296, + "B": 0.00010504599777050316, + "C": 0.00018436145910527557, + "D": 0.906093955039978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда футбольный мяч летит по воздуху, человек, наблюдающий за ним, знает, что причина в том, что", + "option_a": "все происходит в воздухе", + "option_b": "футбол рулит", + "option_c": "мячи - птицы", + "option_d": "мячу сообщили энергию" + }, + "outputs": "D", + "meta": { + "id": 844 + } + }, + "prompt": "<|im_start|>user\nКогда футбольный мяч летит по воздуху, человек, наблюдающий за ним, знает, что причина в том, что\nA. все происходит в воздухе\nB. футбол рулит\nC. мячи - птицы\nD. мячу сообщили энергию\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 93, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24408981204032898, + "B": 0.6635048389434814, + "C": 0.003945343662053347, + "D": 0.02572687342762947 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Арктическая среда в основном отражает все цвета ближайшей звезды, потому что", + "option_a": "она покрыта призмами", + "option_b": "она покрыта белыми осадками", + "option_c": "там всегда идет дождь", + "option_d": "земля там полностью покрыта белыми животными" + }, + "outputs": "B", + "meta": { + "id": 2134 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Арктическая среда в основном отражает все цвета ближайшей звезды, потому что\nA) она покрыта призмами\nB) она покрыта белыми осадками\nC) там всегда идет дождь\nD) земля там полностью покрыта белыми животными\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01154247298836708, + "B": 0.9169321656227112, + "C": 0.0007378855952993035, + "D": 0.007933017797768116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если со временем климат станет холоднее", + "option_a": "медведи с редкой шерстью процветают", + "option_b": "медведи с более плотной шкурой выживут", + "option_c": "медведи с небольшим количеством жира будут процветать", + "option_d": "медведи с тонкой шкурой будут процветать" + }, + "outputs": "B", + "meta": { + "id": 1404 + } + }, + "prompt": "<|im_start|>user\nЕсли со временем климат станет холоднее\nA. медведи с редкой шерстью процветают\nB. медведи с более плотной шкурой выживут\nC. медведи с небольшим количеством жира будут процветать\nD. медведи с тонкой шкурой будут процветать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009130211547017097, + "B": 0.005537752993404865, + "C": 0.9313068985939026, + "D": 0.0026158494874835014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего в семени хранится еда?", + "option_a": "животные", + "option_b": "люди", + "option_c": "ростки", + "option_d": "автомобили" + }, + "outputs": "C", + "meta": { + "id": 2146 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего в семени хранится еда?\nA. животные\nB. люди\nC. ростки\nD. автомобили\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21076737344264984, + "B": 0.23883073031902313, + "C": 0.12783688306808472, + "D": 0.3474966585636139 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что бы вы, вероятно, легко отличили на вкус в составе другого блюда?", + "option_a": "лед", + "option_b": "воздух", + "option_c": "вода", + "option_d": "тропический фрукт" + }, + "outputs": "D", + "meta": { + "id": 2019 + } + }, + "prompt": "<|im_start|>user\nЧто бы вы, вероятно, легко отличили на вкус в составе другого блюда?\nA) лед\nB) воздух\nC) вода\nD) тропический фрукт\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005358966067433357, + "B": 0.002868447918444872, + "C": 0.7953410744667053, + "D": 0.1774645894765854 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему у некоторых птиц клювы могут сильно отличаться от клювов других птиц?", + "option_a": "некоторые птицы едят червей, а другие птицы имеют голубые перья", + "option_b": "некоторые птицы того же вида всю жизнь жили в зоопарке", + "option_c": "некоторые птицы питаются семенами, а другие мертвечиной", + "option_d": "некоторые птицы любят подпиливать клювы" + }, + "outputs": "C", + "meta": { + "id": 1848 + } + }, + "prompt": "<|im_start|>user\nПочему у некоторых птиц клювы могут сильно отличаться от клювов других птиц?\nA. некоторые птицы едят червей, а другие птицы имеют голубые перья\nB. некоторые птицы того же вида всю жизнь жили в зоопарке\nC. некоторые птицы питаются семенами, а другие мертвечиной\nD. некоторые птицы любят подпиливать клювы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0003631182771641761, + "B": 0.9552502036094666, + "C": 0.00032045075204223394, + "D": 0.001436160528101027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Материал, из которого состоят железные гвозди, известен как который из элементов?", + "option_a": "Ag", + "option_b": "Fe", + "option_c": "Cu", + "option_d": "Au" + }, + "outputs": "B", + "meta": { + "id": 1271 + } + }, + "prompt": "<|im_start|>user\nМатериал, из которого состоят железные гвозди, известен как который из элементов?\nA) Ag\nB) Fe\nC) Cu\nD) Au\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0016461540944874287, + "B": 3.87138279620558e-05, + "C": 0.9662684202194214, + "D": 0.0008811227162368596 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему кислотный дождь вреден для здоровья?", + "option_a": "он вызывает засуху", + "option_b": "он слишком быстро испаряется", + "option_c": "он содержит различные вредные частицы из воздуха", + "option_d": "он вызывает рост водорослей" + }, + "outputs": "C", + "meta": { + "id": 1997 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Почему кислотный дождь вреден для здоровья?\nA) он вызывает засуху\nB) он слишком быстро испаряется\nC) он содержит различные вредные частицы из воздуха\nD) он вызывает рост водорослей\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0027083230670541525, + "B": 0.00018430367344990373, + "C": 5.6209450121968985e-05, + "D": 0.9642297625541687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие изменения в окружающей среде заставят растение адаптироваться, чтобы выжить?", + "option_a": "новые законы", + "option_b": "громкая музыка", + "option_c": "новая поэзия", + "option_d": "недостаток света" + }, + "outputs": "D", + "meta": { + "id": 804 + } + }, + "prompt": "<|im_start|>user\nКакие изменения в окружающей среде заставят растение адаптироваться, чтобы выжить?\nA) новые законы\nB) громкая музыка\nC) новая поэзия\nD) недостаток света\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3814014792442322, + "B": 0.08510217070579529, + "C": 0.058489810675382614, + "D": 0.3814014792442322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шалфей в качестве топлива? Кто может использовать растение таким образом?", + "option_a": "Воздушный змей", + "option_b": "Птица", + "option_c": "Самолет", + "option_d": "Ракета" + }, + "outputs": "B", + "meta": { + "id": 476 + } + }, + "prompt": "<|im_start|>user\nШалфей в качестве топлива? Кто может использовать растение таким образом?\nA) Воздушный змей\nB) Птица\nC) Самолет\nD) Ракета\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.035549309104681015, + "B": 0.0022725912276655436, + "C": 0.0033066007308661938, + "D": 0.9168287515640259 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сила тяжести на объектах увеличивается, почему это происходит?", + "option_a": "объекты сближаются", + "option_b": "объекты летают по кругу", + "option_c": "сила тяжести на одном объекте меньше", + "option_d": "объекты удаляются друг от друга" + }, + "outputs": "A", + "meta": { + "id": 1421 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сила тяжести на объектах увеличивается, почему это происходит?\nA) объекты сближаются\nB) объекты летают по кругу\nC) сила тяжести на одном объекте меньше\nD) объекты удаляются друг от друга\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.28491973876953125, + "B": 0.365844190120697, + "C": 0.030030319467186928, + "D": 0.2218957096338272 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек может прикрывать от яркого света глаза и вечером, если он едет", + "option_a": "с севера на восток", + "option_b": "с запада на восток", + "option_c": "с запада на юг", + "option_d": "с востока на запад" + }, + "outputs": "D", + "meta": { + "id": 1677 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек может прикрывать от яркого света глаза и вечером, если он едет\nA. с севера на восток\nB. с запада на восток\nC. с запада на юг\nD. с востока на запад\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1376088261604309, + "B": 0.005335673689842224, + "C": 0.791884183883667, + "D": 0.0028559803031384945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником чего в природе является загрязнение?", + "option_a": "удобрения", + "option_b": "чистота", + "option_c": "загрязняющие вещества", + "option_d": "энергия" + }, + "outputs": "C", + "meta": { + "id": 1203 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Источником чего в природе является загрязнение?\nA) удобрения\nB) чистота\nC) загрязняющие вещества\nD) энергия\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.011640996672213078, + "B": 0.03164350986480713, + "C": 0.9247588515281677, + "D": 0.0020229017827659845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что более устойчиво в случае сильного землетрясения", + "option_a": "современный самолет", + "option_b": "большой дом", + "option_c": "горы", + "option_d": "модная машина" + }, + "outputs": "C", + "meta": { + "id": 495 + } + }, + "prompt": "<|im_start|>user\nЧто более устойчиво в случае сильного землетрясения\nA. современный самолет\nB. большой дом\nC. горы\nD. модная машина\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8849738836288452, + "B": 0.001507659093476832, + "C": 0.00014927845040801913, + "D": 0.0013305043103173375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Делать это в национальных парках и многих других лесных районах незаконно, потому что это вредит окружающей среде", + "option_a": "выбрасывать мусор", + "option_b": "разговаривать", + "option_c": "тратить время", + "option_d": "существовать" + }, + "outputs": "A", + "meta": { + "id": 1317 + } + }, + "prompt": "<|im_start|>user\nДелать это в национальных парках и многих других лесных районах незаконно, потому что это вредит окружающей среде\nA) выбрасывать мусор\nB) разговаривать\nC) тратить время\nD) существовать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8693230152130127, + "B": 0.01592220738530159, + "C": 0.000898269412573427, + "D": 0.0024417496751993895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Березы вырастают на 75-90 сантиметров в год, в основном весной из-за", + "option_a": "талой воды и дождя", + "option_b": "снега и льда", + "option_c": "темноты", + "option_d": "луны" + }, + "outputs": "A", + "meta": { + "id": 2164 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Березы вырастают на 75-90 сантиметров в год, в основном весной из-за\nA) талой воды и дождя\nB) снега и льда\nC) темноты\nD) луны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03883656486868858, + "B": 0.8839161396026611, + "C": 0.009819421917200089, + "D": 0.0024827385786920786 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время землетрясения груды земли могут", + "option_a": "пробить окна автомобилей", + "option_b": "надвинуться друг на друга", + "option_c": "скопиться на домах", + "option_d": "вырастить мелких животных и птиц" + }, + "outputs": "B", + "meta": { + "id": 2128 + } + }, + "prompt": "<|im_start|>user\nВо время землетрясения груды земли могут\nA) пробить окна автомобилей\nB) надвинуться друг на друга\nC) скопиться на домах\nD) вырастить мелких животных и птиц\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02978326752781868, + "B": 0.04910430312156677, + "C": 0.7681205868721008, + "D": 0.10395381599664688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гравитация уменьшается по мере того, как вы движетесь", + "option_a": "рядом с дружественной черной дырой", + "option_b": "все ближе к планете", + "option_c": "удаляясь от планеты", + "option_d": "все ближе к Солнцу" + }, + "outputs": "C", + "meta": { + "id": 1678 + } + }, + "prompt": "<|im_start|>user\nГравитация уменьшается по мере того, как вы движетесь\nA. рядом с дружественной черной дырой\nB. все ближе к планете\nC. удаляясь от планеты\nD. все ближе к Солнцу\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06813287734985352, + "B": 0.0321836918592453, + "C": 0.0172266885638237, + "D": 0.8300284147262573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Самолет с неподвижным крылом может летать", + "option_a": "высоко в космосе", + "option_b": "глубоко под водой", + "option_c": "внутри амебы", + "option_d": "в тропосфере" + }, + "outputs": "D", + "meta": { + "id": 130 + } + }, + "prompt": "<|im_start|>user\nСамолет с неподвижным крылом может летать\nA) высоко в космосе\nB) глубоко под водой\nC) внутри амебы\nD) в тропосфере\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15616773068904877, + "B": 0.37462693452835083, + "C": 0.29175975918769836, + "D": 0.07376841455698013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Эти две вещи можно превращать одну в другую - как туда, так и обратно.", + "option_a": "тесто и пирог", + "option_b": "пар и дождь", + "option_c": "древесина и зола", + "option_d": "еда и фекалии" + }, + "outputs": "B", + "meta": { + "id": 1040 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Эти две вещи можно превращать одну в другую - как туда, так и обратно.\nA) тесто и пирог\nB) пар и дождь\nC) древесина и зола\nD) еда и фекалии\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0023104895371943712, + "B": 0.9321179986000061, + "C": 0.0009631552966311574, + "D": 0.019345492124557495 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, вытеснит пустыню?", + "option_a": "солнечный свет", + "option_b": "увеличение количества осадков", + "option_c": "колонии муравьев", + "option_d": "кустарники" + }, + "outputs": "B", + "meta": { + "id": 1001 + } + }, + "prompt": "<|im_start|>user\nЧто, скорее всего, вытеснит пустыню?\nA. солнечный свет\nB. увеличение количества осадков\nC. колонии муравьев\nD. кустарники\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008485587313771248, + "B": 0.012346455827355385, + "C": 0.8655534386634827, + "D": 0.06270048022270203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно использовать для передачи информации от одного человека к другому?", + "option_a": "изобретение Менделеева", + "option_b": "изобретение Ньютона", + "option_c": "изобретение Попова", + "option_d": "изобретение Пастера" + }, + "outputs": "C", + "meta": { + "id": 463 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно использовать для передачи информации от одного человека к другому?\nA) изобретение Менделеева\nB) изобретение Ньютона\nC) изобретение Попова\nD) изобретение Пастера\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.01080178003758192, + "B": 0.0018770680762827396, + "C": 0.19146613776683807, + "D": 0.7572632431983948 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шлепок по деревянной доске можно услышать за километр", + "option_a": "потому что звук проходит через кислород", + "option_b": "из-за того, что звук не работает", + "option_c": "потому что звук передается вибрациями в атмосфере", + "option_d": "потому что вибрация может гулять по дереву" + }, + "outputs": "C", + "meta": { + "id": 128 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шлепок по деревянной доске можно услышать за километр\nA. потому что звук проходит через кислород\nB. из-за того, что звук не работает\nC. потому что звук передается вибрациями в атмосфере\nD. потому что вибрация может гулять по дереву\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8884164094924927, + "B": 0.002495378954336047, + "C": 0.0015135238645598292, + "D": 0.009869415313005447 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бытовой прибор готовит пищу, используя электрическую энергию и", + "option_a": "тепловую энергию", + "option_b": "больше ничего", + "option_c": "биологическую энергию", + "option_d": "химическую энергию" + }, + "outputs": "A", + "meta": { + "id": 920 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Бытовой прибор готовит пищу, используя электрическую энергию и\nA) тепловую энергию\nB) больше ничего\nC) биологическую энергию\nD) химическую энергию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.49087029695510864, + "B": 0.02769300900399685, + "C": 0.18058110773563385, + "D": 0.2046251744031906 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Используя то, из чего состоит поверхность Земли, вы можете соорудить", + "option_a": "замок", + "option_b": "компьютер", + "option_c": "шину", + "option_d": "телефон" + }, + "outputs": "A", + "meta": { + "id": 2119 + } + }, + "prompt": "<|im_start|>user\nИспользуя то, из чего состоит поверхность Земли, вы можете соорудить\nA. замок\nB. компьютер\nC. шину\nD. телефон\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0016294665401801467, + "B": 0.9564730525016785, + "C": 0.0004119936202187091, + "D": 0.0009883212624117732 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему безобидные виды маскируются под опасных животных?", + "option_a": "чтобы спариваться", + "option_b": "чтобы избежать хищников", + "option_c": "чтобы поймать добычу", + "option_d": "чтобы построить гнезда" + }, + "outputs": "B", + "meta": { + "id": 1349 + } + }, + "prompt": "<|im_start|>user\nПочему безобидные виды маскируются под опасных животных?\nA) чтобы спариваться\nB) чтобы избежать хищников\nC) чтобы поймать добычу\nD) чтобы построить гнезда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8782773613929749, + "B": 0.0035893188323825598, + "C": 0.00016787466302048415, + "D": 0.0035893188323825598 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что требует фотосинтеза для роста?", + "option_a": "флора", + "option_b": "планеты", + "option_c": "холмы", + "option_d": "люди" + }, + "outputs": "A", + "meta": { + "id": 326 + } + }, + "prompt": "<|im_start|>user\nЧто требует фотосинтеза для роста?\nA) флора\nB) планеты\nC) холмы\nD) люди\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 57, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9086994528770447, + "B": 0.001063977601006627, + "C": 0.0003454229736234993, + "D": 0.0022524408996105194 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сухожилия работают с тем, что двигает кости скелета. Это", + "option_a": "мышцы", + "option_b": "провода", + "option_c": "роботы", + "option_d": "веревки" + }, + "outputs": "A", + "meta": { + "id": 1423 + } + }, + "prompt": "<|im_start|>user\nСухожилия работают с тем, что двигает кости скелета. Это\nA) мышцы\nB) провода\nC) роботы\nD) веревки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17511388659477234, + "B": 0.17511388659477234, + "C": 0.08271793276071548, + "D": 0.4760088622570038 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая часть двора прохладнее других?", + "option_a": "часть у забора", + "option_b": "часть с травой", + "option_c": "часть у бассейна", + "option_d": "часть у дуба" + }, + "outputs": "D", + "meta": { + "id": 565 + } + }, + "prompt": "<|im_start|>user\nКакая часть двора прохладнее других?\nA) часть у забора\nB) часть с травой\nC) часть у бассейна\nD) часть у дуба\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.006507382728159428, + "B": 0.0009979394963011146, + "C": 0.00047139328671619296, + "D": 0.9657812714576721 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда приходит день, появляется солнце и дает свет. Что происходит с солнцем, когда наступает ночь?", + "option_a": "оно синее и розовое", + "option_b": "оно мертво и ушло", + "option_c": "его становится семь и восемь", + "option_d": "оно клонится вниз и его становится не видно" + }, + "outputs": "D", + "meta": { + "id": 292 + } + }, + "prompt": "<|im_start|>user\nКогда приходит день, появляется солнце и дает свет. Что происходит с солнцем, когда наступает ночь?\nA. оно синее и розовое\nB. оно мертво и ушло\nC. его становится семь и восемь\nD. оно клонится вниз и его становится не видно\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02813948504626751, + "B": 0.0020384176168590784, + "C": 0.9318518042564392, + "D": 0.003808265319094062 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное больше всего взаимодействует с пионом?", + "option_a": "человек", + "option_b": "слон", + "option_c": "пчела", + "option_d": "червь" + }, + "outputs": "C", + "meta": { + "id": 613 + } + }, + "prompt": "<|im_start|>user\nКакое животное больше всего взаимодействует с пионом?\nA. человек\nB. слон\nC. пчела\nD. червь\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 64, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.16656501591205597, + "B": 0.12972097098827362, + "C": 0.12972097098827362, + "D": 0.5130563974380493 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что люди иногда едят?", + "option_a": "воздух", + "option_b": "воду океанов", + "option_c": "ядра", + "option_d": "камни" + }, + "outputs": "C", + "meta": { + "id": 2109 + } + }, + "prompt": "<|im_start|>user\nЧто люди иногда едят?\nA. воздух\nB. воду океанов\nC. ядра\nD. камни\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 58, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002351999981328845, + "B": 0.9488644599914551, + "C": 0.0002809063298627734, + "D": 0.0008652523974888027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые люди прикрепляют металлические бирки на ошейники своей собаки, потому что в темноте эти ошейники могут", + "option_a": "плавить воск", + "option_b": "отражать свет", + "option_c": "читать книги", + "option_d": "окрашивать одежду" + }, + "outputs": "B", + "meta": { + "id": 725 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые люди прикрепляют металлические бирки на ошейники своей собаки, потому что в темноте эти ошейники могут\nA) плавить воск\nB) отражать свет\nC) читать книги\nD) окрашивать одежду\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.03536953404545784, + "B": 0.8050068616867065, + "C": 0.007892009802162647, + "D": 0.108945831656456 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из какого материала можно сделать изолятор?", + "option_a": "Металл", + "option_b": "Вода", + "option_c": "Кирпич", + "option_d": "Камень" + }, + "outputs": "C", + "meta": { + "id": 402 + } + }, + "prompt": "<|im_start|>user\nИз какого материала можно сделать изолятор?\nA. Металл\nB. Вода\nC. Кирпич\nD. Камень\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004646017216145992, + "B": 0.15385496616363525, + "C": 0.689530074596405, + "D": 0.09331774711608887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гремучих змей будет больше, если у гремучей змеи", + "option_a": "больше чешуи", + "option_b": "больше яда", + "option_c": "больше яиц", + "option_d": "больше погремушек" + }, + "outputs": "C", + "meta": { + "id": 2281 + } + }, + "prompt": "<|im_start|>user\nГремучих змей будет больше, если у гремучей змеи\nA) больше чешуи\nB) больше яда\nC) больше яиц\nD) больше погремушек\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.002614733763039112, + "B": 0.013278711587190628, + "C": 0.9309096336364746, + "D": 0.01504675205796957 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего видно, что животные учатся поведению, наблюдая за своими родителями?", + "option_a": "младенцы плачут, потому что утомленные родители плачут", + "option_b": "собаки лают, потому что их лаяли их родители", + "option_c": "котята умываются, потому что их мать умывала их", + "option_d": "котята лазают по деревьям, потому что смотрят, как это делают белки" + }, + "outputs": "C", + "meta": { + "id": 941 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из чего видно, что животные учатся поведению, наблюдая за своими родителями?\nA. младенцы плачут, потому что утомленные родители плачут\nB. собаки лают, потому что их лаяли их родители\nC. котята умываются, потому что их мать умывала их\nD. котята лазают по деревьям, потому что смотрят, как это делают белки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8999495506286621, + "B": 0.00030189944664016366, + "C": 0.00011822552914964035, + "D": 0.030794579535722733 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "К чему может привести более светлый оттенок объекта?", + "option_a": "способность быть более заметным", + "option_b": "получение положительного электрического заряда", + "option_c": "плохая проводимость", + "option_d": "ни один из следующих вариантов не верен" + }, + "outputs": "A", + "meta": { + "id": 1120 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: К чему может привести более светлый оттенок объекта?\nA. способность быть более заметным\nB. получение положительного электрического заряда\nC. плохая проводимость\nD. ни один из следующих вариантов не верен\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8051081895828247, + "B": 0.01670948602259159, + "C": 0.014746070839464664, + "D": 0.058321841061115265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Применение вещей многоразового использования вместо одноразовых - это", + "option_a": "повторное использование", + "option_b": "компостирование", + "option_c": "переработка", + "option_d": "возврат" + }, + "outputs": "A", + "meta": { + "id": 938 + } + }, + "prompt": "<|im_start|>user\nПрименение вещей многоразового использования вместо одноразовых - это\nA) повторное использование\nB) компостирование\nC) переработка\nD) возврат\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.0132104167714715, + "B": 0.08614273369312286, + "C": 0.8172995448112488, + "D": 0.0037848481442779303 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы увидеть пример ксилемы в работе", + "option_a": "организуйте цветы в букет", + "option_b": "поместите срезанную розу в воду с пищевым красителем", + "option_c": "отсоедините растение от корня", + "option_d": "уменьшите количество воды в вазе растения" + }, + "outputs": "B", + "meta": { + "id": 1554 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы увидеть пример ксилемы в работе\nA) организуйте цветы в букет\nB) поместите срезанную розу в воду с пищевым красителем\nC) отсоедините растение от корня\nD) уменьшите количество воды в вазе растения\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0014418975915759802, + "B": 0.00025056421873159707, + "C": 0.0001183581625809893, + "D": 0.9590660929679871 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Потребляя из хрустального контейнера, человек, вероятно, наслаждается", + "option_a": "расплавленным ферментом печени", + "option_b": "странным жидким металлом", + "option_c": "импровизированной пастой", + "option_d": "золотистым напитком с холодными пузырьками, струящимися по нему" + }, + "outputs": "D", + "meta": { + "id": 2150 + } + }, + "prompt": "<|im_start|>user\nПотребляя из хрустального контейнера, человек, вероятно, наслаждается\nA) расплавленным ферментом печени\nB) странным жидким металлом\nC) импровизированной пастой\nD) золотистым напитком с холодными пузырьками, струящимися по нему\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 94, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8789441585540771, + "B": 0.009764187969267368, + "C": 0.011064274236559868, + "D": 0.01824190467596054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выброс загрязняющих воздух веществ от транспортных средств на дороге может увелиситься, когда", + "option_a": "Скорая помощь транспортирует пациента в тяжелом состоянии", + "option_b": "ребенок ведет самокат", + "option_c": "трамвай получает ток от верхнего провода", + "option_d": "лошади тянут коляску по снегу" + }, + "outputs": "A", + "meta": { + "id": 2301 + } + }, + "prompt": "<|im_start|>user\nВыброс загрязняющих воздух веществ от транспортных средств на дороге может увелиситься, когда\nA. Скорая помощь транспортирует пациента в тяжелом состоянии\nB. ребенок ведет самокат\nC. трамвай получает ток от верхнего провода\nD. лошади тянут коляску по снегу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.007967440411448479, + "B": 0.027809100225567818, + "C": 0.9209108948707581, + "D": 0.004832496866583824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что плохое производит скунс?", + "option_a": "тепло", + "option_b": "холод", + "option_c": "запах", + "option_d": "цвет" + }, + "outputs": "C", + "meta": { + "id": 1837 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что плохое производит скунс?\nA. тепло\nB. холод\nC. запах\nD. цвет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 76, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.014916479587554932, + "B": 0.011616966687142849, + "C": 0.9228499531745911, + "D": 0.016902586445212364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не содержит воды?", + "option_a": "Море Спокойствия", + "option_b": "Каспийское море", + "option_c": "Мертвое море", + "option_d": "Карибское море" + }, + "outputs": "A", + "meta": { + "id": 706 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что не содержит воды?\nA) Море Спокойствия\nB) Каспийское море\nC) Мертвое море\nD) Карибское море\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9095128774642944, + "B": 0.0005700159235857427, + "C": 0.00023761799093335867, + "D": 0.0015494641847908497 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ради чего пищеварительная система производит химические превращения пищи?", + "option_a": "жизнеобеспечение", + "option_b": "металл", + "option_c": "вода", + "option_d": "горные породы" + }, + "outputs": "A", + "meta": { + "id": 15 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ради чего пищеварительная система производит химические превращения пищи?\nA) жизнеобеспечение\nB) металл\nC) вода\nD) горные породы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.26618027687072754, + "B": 0.34178224205970764, + "C": 0.16144651174545288, + "D": 0.12573467195034027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У вас больше шансов дрожать на", + "option_a": "приморском побережье", + "option_b": "на тропическом океанском острове", + "option_c": "на высокой горной вершине", + "option_d": "на солнечном берегу" + }, + "outputs": "C", + "meta": { + "id": 2073 + } + }, + "prompt": "<|im_start|>user\nУ вас больше шансов дрожать на\nA. приморском побережье\nB. на тропическом океанском острове\nC. на высокой горной вершине\nD. на солнечном берегу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1405855268239975, + "B": 0.7139523029327393, + "C": 0.013076492585241795, + "D": 0.06640790402889252 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них будет более сытым?", + "option_a": "человек, который ест один раз в день", + "option_b": "человек, который ест трижды в день", + "option_c": "человек, который пьет только воду", + "option_d": "человек, голодающий весь день" + }, + "outputs": "B", + "meta": { + "id": 2257 + } + }, + "prompt": "<|im_start|>user\nКто из них будет более сытым?\nA. человек, который ест один раз в день\nB. человек, который ест трижды в день\nC. человек, который пьет только воду\nD. человек, голодающий весь день\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.002033095108345151, + "B": 0.9294186234474182, + "C": 0.00024281853984575719, + "D": 0.0001077500928658992 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Осьминоги выделяют чернила в качестве защиты, когда", + "option_a": "они летают", + "option_b": "они в опасности", + "option_c": "они готовят", + "option_d": "они играют в шахматы" + }, + "outputs": "B", + "meta": { + "id": 1792 + } + }, + "prompt": "<|im_start|>user\nОсьминоги выделяют чернила в качестве защиты, когда\nA) они летают\nB) они в опасности\nC) они готовят\nD) они играют в шахматы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.07592139393091202, + "B": 0.816231906414032, + "C": 0.016940351575613022, + "D": 0.002943791914731264 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алтайские горы достигают невероятных высот из-за того, как камень", + "option_a": "взорвался", + "option_b": "расплавил лаву", + "option_c": "собрался в огромные груды", + "option_d": "образовал равнины" + }, + "outputs": "C", + "meta": { + "id": 1241 + } + }, + "prompt": "<|im_start|>user\nАлтайские горы достигают невероятных высот из-за того, как камень\nA. взорвался\nB. расплавил лаву\nC. собрался в огромные груды\nD. образовал равнины\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.013006121851503849, + "B": 0.0022601252421736717, + "C": 0.13982897996902466, + "D": 0.8046602606773376 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна", + "option_a": "имеет семь великих озер", + "option_b": "больше Земли", + "option_c": "лишена морей", + "option_d": "имеет мощное магнитное поле" + }, + "outputs": "C", + "meta": { + "id": 1764 + } + }, + "prompt": "<|im_start|>user\nЛуна\nA) имеет семь великих озер\nB) больше Земли\nC) лишена морей\nD) имеет мощное магнитное поле\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.942082405090332, + "B": 0.0018186469096690416, + "C": 0.0014163636369630694, + "D": 0.0029984419234097004 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Еда менее опасна для употребления, когда", + "option_a": "полностью приготовлена", + "option_b": "испорчена", + "option_c": "она уже кем-то переварена", + "option_d": "она сгнила" + }, + "outputs": "A", + "meta": { + "id": 1825 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Еда менее опасна для употребления, когда\nA. полностью приготовлена\nB. испорчена\nC. она уже кем-то переварена\nD. она сгнила\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9100227355957031, + "B": 0.0006462748278863728, + "C": 0.00011230572999920696, + "D": 0.0013681638520210981 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником энергии для животных?", + "option_a": "питательные вещества", + "option_b": "пластиковая пища", + "option_c": "металл", + "option_d": "камни" + }, + "outputs": "A", + "meta": { + "id": 918 + } + }, + "prompt": "<|im_start|>user\nЧто является источником энергии для животных?\nA. питательные вещества\nB. пластиковая пища\nC. металл\nD. камни\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 62, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2564254403114319, + "B": 0.12112681567668915, + "C": 0.13725464046001434, + "D": 0.3292567729949951 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает тело сильнее?", + "option_a": "наличие нескольких детей", + "option_b": "путешествие по воздуху", + "option_c": "чтение технических книг", + "option_d": "далекая парковка" + }, + "outputs": "D", + "meta": { + "id": 1298 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает тело сильнее?\nA) наличие нескольких детей\nB) путешествие по воздуху\nC) чтение технических книг\nD) далекая парковка\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 73, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.904789388179779, + "B": 0.006908151786774397, + "C": 0.002541367197409272, + "D": 0.02411182038486004 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто использует жабры для дыхания водой?", + "option_a": "марлины", + "option_b": "орлы", + "option_c": "зебры", + "option_d": "козы" + }, + "outputs": "A", + "meta": { + "id": 1569 + } + }, + "prompt": "<|im_start|>user\nКто использует жабры для дыхания водой?\nA) марлины\nB) орлы\nC) зебры\nD) козы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.005786882247775793, + "B": 0.7579320669174194, + "C": 0.04275960475206375, + "D": 0.14924566447734833 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У амеб нет вариантов, и они должны выполнять", + "option_a": "нулевые обязанности", + "option_b": "большинство функций", + "option_c": "все функции живого организма", + "option_d": "некоторые функции живого организма" + }, + "outputs": "C", + "meta": { + "id": 509 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У амеб нет вариантов, и они должны выполнять\nA) нулевые обязанности\nB) большинство функций\nC) все функции живого организма\nD) некоторые функции живого организма\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.08852889388799667, + "B": 0.7412433624267578, + "C": 0.0030292922165244818, + "D": 0.1003163754940033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Еда - источник энергии для них?", + "option_a": "водопады", + "option_b": "пожары", + "option_c": "горы", + "option_d": "травяные змеи" + }, + "outputs": "D", + "meta": { + "id": 196 + } + }, + "prompt": "<|im_start|>user\nЕда - источник энергии для них?\nA) водопады\nB) пожары\nC) горы\nD) травяные змеи\n Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 59, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00126553513109684, + "B": 0.0001333864202024415, + "C": 0.00031997737823985517, + "D": 0.953839123249054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Молоко, продаваемое в супермаркетах, пастеризуется, потому что", + "option_a": "все сырое молоко безопасно", + "option_b": "это делает вкус лучше", + "option_c": "коровы, выращенные на заводских фермах, производят много гноя в молоке", + "option_d": "нужно максимально снизить эффект от попадания бактерий в молоко для покупателей" + }, + "outputs": "D", + "meta": { + "id": 958 + } + }, + "prompt": "<|im_start|>user\nМолоко, продаваемое в супермаркетах, пастеризуется, потому что\nA. все сырое молоко безопасно\nB. это делает вкус лучше\nC. коровы, выращенные на заводских фермах, производят много гноя в молоке\nD. нужно максимально снизить эффект от попадания бактерий в молоко для покупателей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.012834626249969006, + "B": 0.42502444982528687, + "C": 0.48161581158638, + "D": 0.030788667500019073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нож отказывается прилипать к одеялу из-за", + "option_a": "удачи", + "option_b": "силы тяжести", + "option_c": "отсутствия магнетизма", + "option_d": "напряжения" + }, + "outputs": "C", + "meta": { + "id": 411 + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нож отказывается прилипать к одеялу из-за\nA. удачи\nB. силы тяжести\nC. отсутствия магнетизма\nD. напряжения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} diff --git a/llmtf_eval/darumeru_ruOpenBookQA_params.jsonl b/llmtf_eval/darumeru_ruOpenBookQA_params.jsonl new file mode 100644 index 0000000..4642351 --- /dev/null +++ b/llmtf_eval/darumeru_ruOpenBookQA_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_ruOpenBookQA_total.jsonl b/llmtf_eval/darumeru_ruOpenBookQA_total.jsonl new file mode 100644 index 0000000..fc48e78 --- /dev/null +++ b/llmtf_eval/darumeru_ruOpenBookQA_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "darumeru/ruOpenBookQA", + "results": { + "acc": 0.7302405498281787, + "f1_macro": 0.7304546157096631 + }, + "leaderboard_result": 0.7303475827689209 +} diff --git a/llmtf_eval/darumeru_ruWorldTree.jsonl b/llmtf_eval/darumeru_ruWorldTree.jsonl new file mode 100644 index 0000000..82d2c4d --- /dev/null +++ b/llmtf_eval/darumeru_ruWorldTree.jsonl @@ -0,0 +1,5040 @@ +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9155693054199219, + "B": 0.0003943746560253203, + "C": 0.0005063870921730995, + "D": 0.004804466851055622 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие типы объектов легче всего увидеть человеческим глазом?", + "option_a": "объекты, которые отражают большую часть падающего на них света", + "option_b": "объекты, которые преломляют большую часть падающего на них света", + "option_c": "объекты, которые рассеивают большую часть падающего на них света", + "option_d": "объекты, поглощающие большую часть света, который падает на них" + }, + "outputs": "A", + "meta": { + "id": 72, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие типы объектов легче всего увидеть человеческим глазом?\nA) объекты, которые отражают большую часть падающего на них света\nB) объекты, которые преломляют большую часть падающего на них света\nC) объекты, которые рассеивают большую часть падающего на них света\nD) объекты, поглощающие большую часть света, который падает на них\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08895378559827805, + "B": 0.04761353135108948, + "C": 0.1466600000858307, + "D": 0.6572844982147217 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Текущая вода была наиболее важным фактором в формировании чего из перечисленного?", + "option_a": "Вулкан Ключевская Сопка", + "option_b": "Гора Эльбрус", + "option_c": "Московская возвышенность", + "option_d": "Сулакский каньон" + }, + "outputs": "D", + "meta": { + "id": 107, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "PROP" + } + }, + "prompt": "<|im_start|>user\nТекущая вода была наиболее важным фактором в формировании чего из перечисленного?\nA) Вулкан Ключевская Сопка\nB) Гора Эльбрус\nC) Московская возвышенность\nD) Сулакский каньон\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030449226032942533, + "B": 0.0004120854428038001, + "C": 0.00036366411950439215, + "D": 0.9566861987113953 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С 1990 года в России сократилось число зайцев-беляков. Какое утверждение лучше всего объясняет, почему заяц-беляк стал реже встречаться в природе?", + "option_a": "Качество воды улучшилось", + "option_b": "Слишком много деревьев", + "option_c": "Температура слишком низкая", + "option_d": "Жилищное строительство вытеснило поля" + }, + "outputs": "D", + "meta": { + "id": 14, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nС 1990 года в России сократилось число зайцев-беляков. Какое утверждение лучше всего объясняет, почему заяц-беляк стал реже встречаться в природе?\nA. Качество воды улучшилось\nB. Слишком много деревьев\nC. Температура слишком низкая\nD. Жилищное строительство вытеснило поля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001618321635760367, + "B": 0.9499311447143555, + "C": 0.007252813316881657, + "D": 0.0023546440061181784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые продукты, которые едят люди, например фасоль и горох, на самом деле являются семенами растений. Что лучше всего описывает роль человека в пищевой сети, содержащей эти растения?", + "option_a": "разложитель", + "option_b": "потребитель", + "option_c": "производитель", + "option_d": "падальщик" + }, + "outputs": "B", + "meta": { + "id": 105, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nНекоторые продукты, которые едят люди, например фасоль и горох, на самом деле являются семенами растений. Что лучше всего описывает роль человека в пищевой сети, содержащей эти растения?\nA) разложитель\nB) потребитель\nC) производитель\nD) падальщик\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0011311074486002326, + "B": 0.9660322666168213, + "C": 0.00028598878998309374, + "D": 0.0003672168531920761 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего лучше всего объясняет, как стебли переносят воду к другим частям растения?", + "option_a": "через химическое вещество под названием хлорофилл", + "option_b": "через систему трубок", + "option_c": "с помощью фотосинтеза", + "option_d": "превращая воду в пищу" + }, + "outputs": "B", + "meta": { + "id": 92, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nЧто из следующего лучше всего объясняет, как стебли переносят воду к другим частям растения?\nA. через химическое вещество под названием хлорофилл\nB. через систему трубок\nC. с помощью фотосинтеза\nD. превращая воду в пищу\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9215663075447083, + "B": 0.0007416148437187076, + "C": 0.0012227161787450314, + "D": 0.006209464743733406 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птица только что вылупилась из яйца. Какой из следующих этапов, скорее всего, наступит следующим в жизненном цикле птицы?", + "option_a": "рост", + "option_b": "смерть", + "option_c": "рождение", + "option_d": "воспроизводство" + }, + "outputs": "A", + "meta": { + "id": 22, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Птица только что вылупилась из яйца. Какой из следующих этапов, скорее всего, наступит следующим в жизненном цикле птицы?\nA. рост\nB. смерть\nC. рождение\nD. воспроизводство\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.3333815932273865, + "B": 0.5496532917022705, + "C": 0.03981675207614899, + "D": 0.008884318172931671 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Болотистая местность может оставаться пригодной средой для жизни птиц и рыб, которые там живут, если люди", + "option_a": "осушают ее", + "option_b": "не меняют землю", + "option_c": "затопляют самые высокие части земли", + "option_d": "используют землю для посадки сельскохозяйственных культур" + }, + "outputs": "B", + "meta": { + "id": 10, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nБолотистая местность может оставаться пригодной средой для жизни птиц и рыб, которые там живут, если люди\nA. осушают ее\nB. не меняют землю\nC. затопляют самые высокие части земли\nD. используют землю для посадки сельскохозяйственных культур\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.004977479577064514, + "B": 0.948539674282074, + "C": 0.002074922202154994, + "D": 0.003018994117155671 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое утверждение является описанием погоды?", + "option_a": "Лето в Волгограде жаркое и сухое", + "option_b": "Сегодня в Перми температура 12 ° C", + "option_c": "Зимы в Норильске холодные и снежные", + "option_d": "Солнце зайдет сегодня в Москве в 18:45" + }, + "outputs": "B", + "meta": { + "id": 81, + "exam_name": "AIMS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nКакое утверждение является описанием погоды?\nA. Лето в Волгограде жаркое и сухое\nB. Сегодня в Перми температура 12 ° C\nC. Зимы в Норильске холодные и снежные\nD. Солнце зайдет сегодня в Москве в 18:45\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.00210346607491374, + "B": 0.00036552760866470635, + "C": 0.000284673209534958, + "D": 0.961588442325592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое действие, скорее всего, превратит большие камни в более мелкие?", + "option_a": "таяние внутри Земли", + "option_b": "сжатие между слоями почвы", + "option_c": "цементирование грязью и минералами", + "option_d": "выветривание ветром и водой" + }, + "outputs": "D", + "meta": { + "id": 90, + "exam_name": "Alaska Dept. of Education & Early Development", + "school_grade": 4, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "<|im_start|>user\nКакое действие, скорее всего, превратит большие камни в более мелкие?\nA) таяние внутри Земли\nB) сжатие между слоями почвы\nC) цементирование грязью и минералами\nD) выветривание ветром и водой\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0006565422518178821, + "B": 0.9244803190231323, + "C": 0.0002736875612754375, + "D": 0.00031012861290946603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые виды деревьев способны пережить жару лесного пожара. Какие из следующих характеристик лучше всего помогут дереву пережить пожар?", + "option_a": "большие листья", + "option_b": "толстая кора", + "option_c": "мелкие корни", + "option_d": "тонкие стволы" + }, + "outputs": "B", + "meta": { + "id": 56, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые виды деревьев способны пережить жару лесного пожара. Какие из следующих характеристик лучше всего помогут дереву пережить пожар?\nA) большие листья\nB) толстая кора\nC) мелкие корни\nD) тонкие стволы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9254868030548096, + "B": 0.00045172576210461557, + "C": 0.0005118722910992801, + "D": 0.002024494344368577 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое утверждение о клетках верно?", + "option_a": "Растительные клетки содержат хлоропласты", + "option_b": "В клетках животных отсутствует ядро", + "option_c": "Только клетки растений имеют клеточную мембрану", + "option_d": "Клетки животных включают жесткую структуру стенок" + }, + "outputs": "A", + "meta": { + "id": 78, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое утверждение о клетках верно?\nA. Растительные клетки содержат хлоропласты\nB. В клетках животных отсутствует ядро\nC. Только клетки растений имеют клеточную мембрану\nD. Клетки животных включают жесткую структуру стенок\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 90, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0007749252254143357, + "B": 0.9629594087600708, + "C": 0.0014477508375421166, + "D": 0.0018589489627629519 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является основным источником энергии для круговорота воды?", + "option_a": "электричество", + "option_b": "солнечный свет", + "option_c": "сила тяжести", + "option_d": "эрозия" + }, + "outputs": "B", + "meta": { + "id": 57, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nЧто является основным источником энергии для круговорота воды?\nA) электричество\nB) солнечный свет\nC) сила тяжести\nD) эрозия\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9338846802711487, + "B": 0.0015909846406430006, + "C": 0.0004558247164823115, + "D": 0.0015909846406430006 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего лучше всего описывает минерал?", + "option_a": "природное вещество, из которого состоят горные породы", + "option_b": "тип зерна, содержащийся в злаках", + "option_c": "основное питательное вещество во всех пищевых продуктах", + "option_d": "разложившееся растительное вещество, содержащееся в почве" + }, + "outputs": "A", + "meta": { + "id": 80, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "DEF" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего лучше всего описывает минерал?\nA) природное вещество, из которого состоят горные породы\nB) тип зерна, содержащийся в злаках\nC) основное питательное вещество во всех пищевых продуктах\nD) разложившееся растительное вещество, содержащееся в почве\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011469443561509252, + "B": 0.0011469443561509252, + "C": 0.9795579314231873, + "D": 0.0007882826030254364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого является основной функцией клеточной стенки?", + "option_a": "производство пищи", + "option_b": "хранение воды", + "option_c": "структурная функция", + "option_d": "придание зеленого цвета растению" + }, + "outputs": "C", + "meta": { + "id": 18, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROP" + } + }, + "prompt": "<|im_start|>user\nЧто из этого является основной функцией клеточной стенки?\nA) производство пищи\nB) хранение воды\nC) структурная функция\nD) придание зеленого цвета растению\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.19809500873088837, + "B": 0.07287508249282837, + "C": 0.050086263567209244, + "D": 0.610175609588623 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую из этих смесей легче всего разделить?", + "option_a": "Лимонад в порошке", + "option_b": "Фруктовый салат", + "option_c": "Горячий шоколад", + "option_d": "Пудинг быстрого приготовления" + }, + "outputs": "B", + "meta": { + "id": 0, + "exam_name": "TAKS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nКакую из этих смесей легче всего разделить?\nA) Лимонад в порошке\nB) Фруктовый салат\nC) Горячий шоколад\nD) Пудинг быстрого приготовления\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8935524821281433, + "B": 0.0036517446860671043, + "C": 0.0004942098748870194, + "D": 0.0010462423088029027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего больше всего влияет на способность почвы удерживать воду?", + "option_a": "размер частиц почвы", + "option_b": "возраст частиц почвы", + "option_c": "цвет частиц почвы", + "option_d": "блеск частиц почвы" + }, + "outputs": "A", + "meta": { + "id": 35, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL,CAUSAL" + } + }, + "prompt": "<|im_start|>user\nЧто из следующего больше всего влияет на способность почвы удерживать воду?\nA) размер частиц почвы\nB) возраст частиц почвы\nC) цвет частиц почвы\nD) блеск частиц почвы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 71, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006114834104664624, + "B": 0.0006929014925844967, + "C": 0.9756779670715332, + "D": 0.00015460721624549478 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое утверждение объясняет, почему солнечный свет может согреть воду в стакане?", + "option_a": "Свет распространяется очень быстро", + "option_b": "Свет распространяется по прямым линиям", + "option_c": "Вода поглощает световую энергию", + "option_d": "Вода отражает световую энергию" + }, + "outputs": "C", + "meta": { + "id": 89, + "exam_name": "NAEP", + "school_grade": 4, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "<|im_start|>user\nКакое утверждение объясняет, почему солнечный свет может согреть воду в стакане?\nA. Свет распространяется очень быстро\nB. Свет распространяется по прямым линиям\nC. Вода поглощает световую энергию\nD. Вода отражает световую энергию\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08891386538743973, + "B": 0.001268288237042725, + "C": 0.001268288237042725, + "D": 0.8435913324356079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая часть растительной клетки отвечает за управление деятельностью других частей клетки?", + "option_a": "Вакуоль", + "option_b": "Хлоропласт", + "option_c": "Клеточная стенка", + "option_d": "Ядро" + }, + "outputs": "D", + "meta": { + "id": 68, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROP" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая часть растительной клетки отвечает за управление деятельностью других частей клетки?\nA) Вакуоль\nB) Хлоропласт\nC) Клеточная стенка\nD) Ядро\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0037220048252493143, + "B": 0.625944972038269, + "C": 0.000732906220946461, + "D": 0.3350442349910736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из этих списков представлены продукты только растительного происхождения?", + "option_a": "Шерсть, пиломатериалы и масло", + "option_b": "Бумага, специи и волокна", + "option_c": "Лекарства, кожа и молоко", + "option_d": "Хлопок, резина и яйца" + }, + "outputs": "B", + "meta": { + "id": 9, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "PROP,LIST" + } + }, + "prompt": "<|im_start|>user\nВ каком из этих списков представлены продукты только растительного происхождения?\nA. Шерсть, пиломатериалы и масло\nB. Бумага, специи и волокна\nC. Лекарства, кожа и молоко\nD. Хлопок, резина и яйца\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001815567840822041, + "B": 0.9404874444007874, + "C": 0.0014139655977487564, + "D": 0.007180709857493639 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "От чего у человека голубые глаза?", + "option_a": "употребление в пищу продуктов с высоким содержанием белка в молодом возрасте", + "option_b": "получение гена голубых глаз от каждого из родителей", + "option_c": "чрезмерная подверженность воздействию Солнца в молодом возрасте", + "option_d": "наличие брата или сестры с голубыми глазами" + }, + "outputs": "B", + "meta": { + "id": 88, + "exam_name": "MEA", + "school_grade": 5, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: От чего у человека голубые глаза?\nA) употребление в пищу продуктов с высоким содержанием белка в молодом возрасте\nB) получение гена голубых глаз от каждого из родителей\nC) чрезмерная подверженность воздействию Солнца в молодом возрасте\nD) наличие брата или сестры с голубыми глазами\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00492347264662385, + "B": 0.938247799873352, + "C": 0.0004579543019644916, + "D": 0.0055790250189602375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Со временем у лисы отрастает густой мех. Эта адаптация помогает лисе", + "option_a": "находить пищу", + "option_b": "сохранять тепло", + "option_c": "становиться сильнее", + "option_d": "убегать от хищников" + }, + "outputs": "B", + "meta": { + "id": 113, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nСо временем у лисы отрастает густой мех. Эта адаптация помогает лисе\nA. находить пищу\nB. сохранять тепло\nC. становиться сильнее\nD. убегать от хищников\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8689425587654114, + "B": 0.00851881317794323, + "C": 0.004024002701044083, + "D": 0.03817867115139961 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каких из следующих событий участвуют потребитель и продуцент пищевой цепи?", + "option_a": "Кошка ест мышь", + "option_b": "Змея ест крысу", + "option_c": "Ястреб ест мышь", + "option_d": "Олень ест лист" + }, + "outputs": "D", + "meta": { + "id": 5, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каких из следующих событий участвуют потребитель и продуцент пищевой цепи?\nA) Кошка ест мышь\nB) Змея ест крысу\nC) Ястреб ест мышь\nD) Олень ест лист\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.800756573677063, + "B": 0.09563673287630081, + "C": 0.004201984964311123, + "D": 0.0047614723443984985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Илона включает фонарик и подносит предмет к свету. Как она сможет определить непрозрачность объекта?", + "option_a": "Свет не будет проникать сквозь него", + "option_b": "Часть света будет отражаться", + "option_c": "Свет будет преломляться", + "option_d": "Свет будет четко просвечивать" + }, + "outputs": "A", + "meta": { + "id": 65, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Илона включает фонарик и подносит предмет к свету. Как она сможет определить непрозрачность объекта?\nA. Свет не будет проникать сквозь него\nB. Часть света будет отражаться\nC. Свет будет преломляться\nD. Свет будет четко просвечивать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.33874374628067017, + "B": 0.2989403009414673, + "C": 0.07558394968509674, + "D": 0.20545846223831177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Емкость наполнена 250 миллилитрами воды. Общая масса емкости и воды - 300 грамм. Какова общая масса контейнера и воды после 2-часового нахождения в морозильной камере?", + "option_a": "50 граммов", + "option_b": "300 граммов", + "option_c": "250 граммов", + "option_d": "550 граммов" + }, + "outputs": "B", + "meta": { + "id": 17, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Емкость наполнена 250 миллилитрами воды. Общая масса емкости и воды - 300 грамм. Какова общая масса контейнера и воды после 2-часового нахождения в морозильной камере?\nA) 50 граммов\nB) 300 граммов\nC) 250 граммов\nD) 550 граммов\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9120433330535889, + "B": 0.0017606578767299652, + "C": 0.0007339513977058232, + "D": 0.0022607294376939535 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект является лучшим проводником электричества?", + "option_a": "металлическая вилка", + "option_b": "резиновый чехол", + "option_c": "пластиковая ложка", + "option_d": "деревянная бита" + }, + "outputs": "A", + "meta": { + "id": 29, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nКакой объект является лучшим проводником электричества?\nA. металлическая вилка\nB. резиновый чехол\nC. пластиковая ложка\nD. деревянная бита\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0039796363562345505, + "B": 0.0006102969637140632, + "C": 0.9737849235534668, + "D": 0.0004752998356707394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студенты изучают природные ресурсы Архангельской области в России. Одна группа студентов изучает информацию о возобновляемых природных ресурсах в регионе. Другая группа исследует информацию о невозобновляемых природных ресурсах в регионе. Ресурсы, изучаемые учащимися, включают растения, животных, почву, полезные ископаемые, воду, уголь и нефть. Алюминий - невозобновляемый природный ресурс. Какой из этих методов утилизации алюминия лучше всего для окружающей среды?", + "option_a": "сжигание", + "option_b": "захоронение на свалках", + "option_c": "переработка", + "option_d": "измельчение" + }, + "outputs": "C", + "meta": { + "id": 83, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nСтуденты изучают природные ресурсы Архангельской области в России. Одна группа студентов изучает информацию о возобновляемых природных ресурсах в регионе. Другая группа исследует информацию о невозобновляемых природных ресурсах в регионе. Ресурсы, изучаемые учащимися, включают растения, животных, почву, полезные ископаемые, воду, уголь и нефть. Алюминий - невозобновляемый природный ресурс. Какой из этих методов утилизации алюминия лучше всего для окружающей среды?\nA. сжигание\nB. захоронение на свалках\nC. переработка\nD. измельчение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 152, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9104058742523193, + "B": 0.0005705756484530866, + "C": 0.00026952088228426874, + "D": 0.001550985616631806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученые прошлого, скорее всего, впервые увидели разряд электричества, когда наблюдали", + "option_a": "грозу", + "option_b": "радугу", + "option_c": "водопад", + "option_d": "извержение вулкана" + }, + "outputs": "A", + "meta": { + "id": 12, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROP,TAX" + } + }, + "prompt": "<|im_start|>user\nУченые прошлого, скорее всего, впервые увидели разряд электричества, когда наблюдали\nA) грозу\nB) радугу\nC) водопад\nD) извержение вулкана\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005658441223204136, + "B": 0.0008677501464262605, + "C": 0.9516035318374634, + "D": 0.00021940158330835402 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тамара купила скейт и комплект для изготовления трамплина. Что из перечисленного наиболее важно для сборки трамплина?", + "option_a": "изображение, показывающее цвета различных частей трамплина", + "option_b": "диаграмма, показывающая некоторые способы использования трамплина", + "option_c": "набор инструкций к набору", + "option_d": "список цен на другие доступные комплекты" + }, + "outputs": "C", + "meta": { + "id": 85, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Тамара купила скейт и комплект для изготовления трамплина. Что из перечисленного наиболее важно для сборки трамплина?\nA) изображение, показывающее цвета различных частей трамплина\nB) диаграмма, показывающая некоторые способы использования трамплина\nC) набор инструкций к набору\nD) список цен на другие доступные комплекты\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0016372156096622348, + "B": 0.00014305829245131463, + "C": 0.0007733658421784639, + "D": 0.9610216617584229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая структура окружает и защищает животную клетку?", + "option_a": "Ядро", + "option_b": "Вакуоль", + "option_c": "Цитоплазма", + "option_d": "Клеточная мембрана" + }, + "outputs": "D", + "meta": { + "id": 52, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "DEF,PROP" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая структура окружает и защищает животную клетку?\nA) Ядро\nB) Вакуоль\nC) Цитоплазма\nD) Клеточная мембрана\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0007764330366626382, + "B": 0.0012801216216757894, + "C": 0.9648330807685852, + "D": 0.01376260444521904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пемза образуется при охлаждении лавы вулкана. Какой тип породы - пемза?", + "option_a": "Газовая порода", + "option_b": "Осадочная порода", + "option_c": "Магматическая порода", + "option_d": "Метаморфическая порода" + }, + "outputs": "C", + "meta": { + "id": 32, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROP,CAUSAL" + } + }, + "prompt": "<|im_start|>user\nПемза образуется при охлаждении лавы вулкана. Какой тип породы - пемза?\nA. Газовая порода\nB. Осадочная порода\nC. Магматическая порода\nD. Метаморфическая порода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00022716041712556034, + "B": 0.0002916797820944339, + "C": 0.9852557182312012, + "D": 0.0010180623503401875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую единицу можно использовать для описания длины объекта?", + "option_a": "граммы", + "option_b": "минуты", + "option_c": "метры", + "option_d": "литры" + }, + "outputs": "C", + "meta": { + "id": 61, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "DEF" + } + }, + "prompt": "<|im_start|>user\nКакую единицу можно использовать для описания длины объекта?\nA) граммы\nB) минуты\nC) метры\nD) литры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 70, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.015324677340686321, + "B": 0.948104202747345, + "C": 0.0008645591442473233, + "D": 0.0023501154500991106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Основывайте свои ответы на информации, представленной ниже. В один жаркий летний день пошел очень сильный дождь. После дождя в пластиковом поддоне на столе для пикника было 2 см дождевой воды. Через четыре часа вся дождевая вода в поддоне исчезла. В результате чего дождевая вода в поддоне исчезла, когда она оставалась на улице на теплом воздухе?", + "option_a": "конденсация", + "option_b": "испарение", + "option_c": "осадки", + "option_d": "эрозия" + }, + "outputs": "B", + "meta": { + "id": 46, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Основывайте свои ответы на информации, представленной ниже. В один жаркий летний день пошел очень сильный дождь. После дождя в пластиковом поддоне на столе для пикника было 2 см дождевой воды. Через четыре часа вся дождевая вода в поддоне исчезла. В результате чего дождевая вода в поддоне исчезла, когда она оставалась на улице на теплом воздухе?\nA. конденсация\nB. испарение\nC. осадки\nD. эрозия\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002348896348848939, + "B": 7.09305313648656e-05, + "C": 0.0002475718210916966, + "D": 0.9476124048233032 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какова основная функция чешуи рыб?", + "option_a": "дыхание", + "option_b": "привлечение хищников", + "option_c": "помощь в поиске корма", + "option_d": "защита рыбы" + }, + "outputs": "D", + "meta": { + "id": 69, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "DEF" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какова основная функция чешуи рыб?\nA) дыхание\nB) привлечение хищников\nC) помощь в поиске корма\nD) защита рыбы\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9009139537811279, + "B": 0.0002353714662604034, + "C": 7.641392585355788e-05, + "D": 0.0008215272100642323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая форма энергии заставляет таять кубик льда?", + "option_a": "тепловая", + "option_b": "магнитная", + "option_c": "звуковая", + "option_d": "механическая" + }, + "outputs": "A", + "meta": { + "id": 24, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "<|im_start|>user\nКакая форма энергии заставляет таять кубик льда?\nA. тепловая\nB. магнитная\nC. звуковая\nD. механическая\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.00022206181893125176, + "B": 0.9631417393684387, + "C": 0.000104894585092552, + "D": 0.0005326986429281533 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что общего между игрой на гитаре, стуком в барабан и падением камешка в воду?", + "option_a": "Все они излучают свет", + "option_b": "Все они вызывают вибрацию", + "option_c": "Все они преобразуют тепло в энергию", + "option_d": "Все они нуждаются в гравитации, чтобы двигаться" + }, + "outputs": "B", + "meta": { + "id": 77, + "exam_name": "NAEP", + "school_grade": 4, + "knowledge_type": "MODEL,CAUSAL" + } + }, + "prompt": "<|im_start|>user\nЧто общего между игрой на гитаре, стуком в барабан и падением камешка в воду?\nA) Все они излучают свет\nB) Все они вызывают вибрацию\nC) Все они преобразуют тепло в энергию\nD) Все они нуждаются в гравитации, чтобы двигаться\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 99, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0014699114253744483, + "B": 0.0006943370099179447, + "C": 0.9776992797851562, + "D": 0.0006943370099179447 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой процесс заставляет листья растения увеличиваться в размерах?", + "option_a": "восстановление", + "option_b": "разложение", + "option_c": "рост", + "option_d": "прорастание" + }, + "outputs": "C", + "meta": { + "id": 98, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE,CAUSAL" + } + }, + "prompt": "<|im_start|>user\nКакой процесс заставляет листья растения увеличиваться в размерах?\nA) восстановление\nB) разложение\nC) рост\nD) прорастание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 72, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0030320575460791588, + "B": 0.004411617759615183, + "C": 0.9526441693305969, + "D": 0.0135887386277318 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой тип ученых будет изучать взаимосвязь между простыми механизмами и энергией?", + "option_a": "химик", + "option_b": "биолог", + "option_c": "физик", + "option_d": "геолог" + }, + "outputs": "C", + "meta": { + "id": 53, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nКакой тип ученых будет изучать взаимосвязь между простыми механизмами и энергией?\nA) химик\nB) биолог\nC) физик\nD) геолог\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 66, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002097057644277811, + "B": 5.588469502981752e-05, + "C": 0.00010440636106068268, + "D": 0.9586588144302368 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цвет глаз - это физическая черта. Какое утверждение лучше всего объясняет, почему у ребенка определенный цвет глаз?", + "option_a": "Цвет глаз - это приобретенная черта", + "option_b": "Цвет глаз - это свойство, которое возникает случайно", + "option_c": "Цвет глаз - это характеристика, которая со временем меняется", + "option_d": "Цвет глаз - это унаследованная черта" + }, + "outputs": "D", + "meta": { + "id": 100, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "MODEL,PROP" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Цвет глаз - это физическая черта. Какое утверждение лучше всего объясняет, почему у ребенка определенный цвет глаз?\nA. Цвет глаз - это приобретенная черта\nB. Цвет глаз - это свойство, которое возникает случайно\nC. Цвет глаз - это характеристика, которая со временем меняется\nD. Цвет глаз - это унаследованная черта\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0009970779065042734, + "B": 0.00013493983715306967, + "C": 0.0014507398009300232, + "D": 0.964947521686554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из следующих утверждений лучше всего объясняет, почему кажется, что звезды движутся по небу Земли каждую ночь?", + "option_a": "Звезды вращаются вместе с Луной", + "option_b": "Звезды вращаются вокруг друг друга", + "option_c": "Земля вращается вокруг Солнца", + "option_d": "Земля вращается вокруг своей оси" + }, + "outputs": "D", + "meta": { + "id": 31, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nКакое из следующих утверждений лучше всего объясняет, почему кажется, что звезды движутся по небу Земли каждую ночь?\nA. Звезды вращаются вместе с Луной\nB. Звезды вращаются вокруг друг друга\nC. Земля вращается вокруг Солнца\nD. Земля вращается вокруг своей оси\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 92, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8742467164993286, + "B": 0.002455579349771142, + "C": 0.011005142703652382, + "D": 0.0011599333956837654 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Олег положил два камня в пластиковую бутылку с водой и встряхнул ее. После того, как он перестал трясти бутылку, он заметил, что маленькие кусочки камней плавают в воде. Какое самое лучшее предсказание он может сделать на основе этого наблюдения? Если встряхивание бутылки приводит к тому, что от камней отламываются куски,", + "option_a": "то встряхивание в течение более длительного времени отломит больше кусочков", + "option_b": "то использование горячей воды заставит камни изменить цвет", + "option_c": "то при использовании холодной воды можно отломать еще несколько кусочков", + "option_d": "то встряхивание в течение более короткого времени заставит камни изменить цвет" + }, + "outputs": "A", + "meta": { + "id": 67, + "exam_name": "AIMS", + "school_grade": 4, + "knowledge_type": "MODEL,CAUSAL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Олег положил два камня в пластиковую бутылку с водой и встряхнул ее. После того, как он перестал трясти бутылку, он заметил, что маленькие кусочки камней плавают в воде. Какое самое лучшее предсказание он может сделать на основе этого наблюдения? Если встряхивание бутылки приводит к тому, что от камней отламываются куски,\nA. то встряхивание в течение более длительного времени отломит больше кусочков\nB. то использование горячей воды заставит камни изменить цвет\nC. то при использовании холодной воды можно отломать еще несколько кусочков\nD. то встряхивание в течение более короткого времени заставит камни изменить цвет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003937915898859501, + "B": 0.003937915898859501, + "C": 0.9635762572288513, + "D": 0.009446569718420506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему в пасмурный день сложнее увидеть свою тень, чем в солнечный?", + "option_a": "Облака создают несколько теней", + "option_b": "Вашим глазам труднее сфокусироваться в пасмурные дни", + "option_c": "В пасмурные дни очень мало прямого солнечного света", + "option_d": "Облака заставляют тени расширяться и сливаться с землей" + }, + "outputs": "C", + "meta": { + "id": 7, + "exam_name": "MEAP", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nПочему в пасмурный день сложнее увидеть свою тень, чем в солнечный?\nA. Облака создают несколько теней\nB. Вашим глазам труднее сфокусироваться в пасмурные дни\nC. В пасмурные дни очень мало прямого солнечного света\nD. Облака заставляют тени расширяться и сливаться с землей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8695535063743591, + "B": 0.03820551559329033, + "C": 0.0011537065729498863, + "D": 0.002442396944388747 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой лучший пример испарения?", + "option_a": "высыхающая на солнце лужа", + "option_b": "тающий кубик льда", + "option_c": "замерзающие капли дождя", + "option_d": "губка, впитывающая воду" + }, + "outputs": "A", + "meta": { + "id": 58, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE,QUANT" + } + }, + "prompt": "<|im_start|>user\nКакой лучший пример испарения?\nA. высыхающая на солнце лужа\nB. тающий кубик льда\nC. замерзающие капли дождя\nD. губка, впитывающая воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.044678013771772385, + "B": 0.8973819613456726, + "C": 0.0007221528794616461, + "D": 0.00996901374310255 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные используют ресурсы окружающей среды, чтобы выжить. Какие из следующих ресурсов животные используют для получения энергии?", + "option_a": "воздух", + "option_b": "еда", + "option_c": "убежище", + "option_d": "вода" + }, + "outputs": "B", + "meta": { + "id": 102, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животные используют ресурсы окружающей среды, чтобы выжить. Какие из следующих ресурсов животные используют для получения энергии?\nA) воздух\nB) еда\nC) убежище\nD) вода\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.6130350232124329, + "B": 0.011228128336369991, + "C": 0.020976904779672623, + "D": 0.2895772457122803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За сколько времени Земля совершит семь оборотов вокруг своей оси?", + "option_a": "один день", + "option_b": "одна неделя", + "option_c": "один месяц", + "option_d": "один год" + }, + "outputs": "B", + "meta": { + "id": 99, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL,QUANT" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: За сколько времени Земля совершит семь оборотов вокруг своей оси?\nA. один день\nB. одна неделя\nC. один месяц\nD. один год\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 74, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.060600731521844864, + "B": 0.39516639709472656, + "C": 0.30775588750839233, + "D": 0.1453736126422882 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент пытается определить минерал с неметаллическим блеском черного цвета. Его также можно поцарапать ногтем. Согласно справочному листу минералов, неидентифицированный минерал, скорее всего, является", + "option_a": "слюдой", + "option_b": "магнетитом", + "option_c": "роговой обманкой", + "option_d": "кварцем" + }, + "outputs": "A", + "meta": { + "id": 13, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "DEF,PROP" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Студент пытается определить минерал с неметаллическим блеском черного цвета. Его также можно поцарапать ногтем. Согласно справочному листу минералов, неидентифицированный минерал, скорее всего, является\nA) слюдой\nB) магнетитом\nC) роговой обманкой\nD) кварцем\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0008199391886591911, + "B": 0.000723593810107559, + "C": 0.7935169339179993, + "D": 0.17705756425857544 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С Земли Солнце кажется ярче, чем любая другая звезда, потому что Солнце -", + "option_a": "новейшая звезда", + "option_b": "самая большая звезда", + "option_c": "ближайшая звезда", + "option_d": "самая горячая звезда" + }, + "outputs": "C", + "meta": { + "id": 45, + "exam_name": "Alaska Dept. of Education & Early Development", + "school_grade": 4, + "knowledge_type": "MODEL,DEF" + } + }, + "prompt": "<|im_start|>user\nС Земли Солнце кажется ярче, чем любая другая звезда, потому что Солнце -\nA) новейшая звезда\nB) самая большая звезда\nC) ближайшая звезда\nD) самая горячая звезда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011338009499013424, + "B": 0.0010005758376792073, + "C": 0.9683327078819275, + "D": 0.010757205076515675 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой тип энергии человек использует, чтобы крутить педали велосипеда?", + "option_a": "световую", + "option_b": "звуковую", + "option_c": "механическую", + "option_d": "электрическую" + }, + "outputs": "C", + "meta": { + "id": 84, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nКакой тип энергии человек использует, чтобы крутить педали велосипеда?\nA. световую\nB. звуковую\nC. механическую\nD. электрическую\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0027013863436877728, + "B": 0.0001524017716292292, + "C": 5.968139157630503e-05, + "D": 0.9617601037025452 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком процессе используется углерод из воздуха для производства пищи для растений?", + "option_a": "рост", + "option_b": "дыхание", + "option_c": "разложение", + "option_d": "фотосинтез" + }, + "outputs": "D", + "meta": { + "id": 28, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nВ каком процессе используется углерод из воздуха для производства пищи для растений?\nA. рост\nB. дыхание\nC. разложение\nD. фотосинтез\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 69, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006270126905292273, + "B": 0.9305693507194519, + "C": 0.002035612240433693, + "D": 0.004309391137212515 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отращивание густого меха зимой помогает некоторым животным", + "option_a": "спрятаться от опасности", + "option_b": "согреться", + "option_c": "найти еду", + "option_d": "привлечь помощника" + }, + "outputs": "B", + "meta": { + "id": 30, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Отращивание густого меха зимой помогает некоторым животным\nA. спрятаться от опасности\nB. согреться\nC. найти еду\nD. привлечь помощника\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.019255343824625015, + "B": 0.9277744293212891, + "C": 0.0012309529120102525, + "D": 0.0026059276424348354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные с наибольшей вероятностью перенесут семена, содержащиеся в ягодах, от родительского растения в другое место?", + "option_a": "пчелы", + "option_b": "птицы", + "option_c": "летает", + "option_d": "гусеницы" + }, + "outputs": "B", + "meta": { + "id": 20, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nКакие животные с наибольшей вероятностью перенесут семена, содержащиеся в ягодах, от родительского растения в другое место?\nA. пчелы\nB. птицы\nC. летает\nD. гусеницы\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0020959589164704084, + "B": 5.585541293839924e-05, + "C": 7.63452990213409e-05, + "D": 0.9581565856933594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая форма энергии содержится в пище?", + "option_a": "механическая", + "option_b": "электрическая", + "option_c": "звуковая", + "option_d": "химическая" + }, + "outputs": "D", + "meta": { + "id": 70, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nКакая форма энергии содержится в пище?\nA. механическая\nB. электрическая\nC. звуковая\nD. химическая\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6587414741516113, + "B": 0.0023757927119731903, + "C": 0.009396442212164402, + "D": 0.27460429072380066 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У какого минерала есть шестигранные прозрачные кристаллы, которые могут поцарапать стекло?", + "option_a": "кварц", + "option_b": "сера", + "option_c": "кальцит", + "option_d": "полевой шпат" + }, + "outputs": "A", + "meta": { + "id": 37, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У какого минерала есть шестигранные прозрачные кристаллы, которые могут поцарапать стекло?\nA. кварц\nB. сера\nC. кальцит\nD. полевой шпат\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03336726874113083, + "B": 0.6701995134353638, + "C": 0.10277842730283737, + "D": 0.11646320670843124 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кальмар - животное, обитающее в океане. Он выталкивает из своего тела поток воды, заставляя его быстро двигаться. Какая из следующих механических систем движется наиболее похоже на кальмара?", + "option_a": "автобус", + "option_b": "ракета", + "option_c": "вертолет", + "option_d": "поезд" + }, + "outputs": "B", + "meta": { + "id": 109, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кальмар - животное, обитающее в океане. Он выталкивает из своего тела поток воды, заставляя его быстро двигаться. Какая из следующих механических систем движется наиболее похоже на кальмара?\nA) автобус\nB) ракета\nC) вертолет\nD) поезд\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.033605512231588364, + "B": 0.0016731198411434889, + "C": 0.17066286504268646, + "D": 0.7648578882217407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из следующих живых существ в системе прудов использует энергию солнечного света для производства собственной пищи?", + "option_a": "Насекомое", + "option_b": "Лягушка", + "option_c": "Рыбка", + "option_d": "Водяная лилия" + }, + "outputs": "D", + "meta": { + "id": 79, + "exam_name": "NAEP", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из следующих живых существ в системе прудов использует энергию солнечного света для производства собственной пищи?\nA. Насекомое\nB. Лягушка\nC. Рыбка\nD. Водяная лилия\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0023812761064618826, + "B": 0.010672139003872871, + "C": 0.9606752991676331, + "D": 0.0023812761064618826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Утиные перья покрыты натуральным жиром, который сохраняет утку сухой. Это особенность уток, которая помогает им", + "option_a": "кормить своих детенышей", + "option_b": "привлекать пару", + "option_c": "адаптироваться к окружающей среде", + "option_d": "искать пищу" + }, + "outputs": "C", + "meta": { + "id": 1, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nУтиные перья покрыты натуральным жиром, который сохраняет утку сухой. Это особенность уток, которая помогает им\nA) кормить своих детенышей\nB) привлекать пару\nC) адаптироваться к окружающей среде\nD) искать пищу\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0011204930488020182, + "B": 0.0016303081065416336, + "C": 0.9569669961929321, + "D": 0.0016303081065416336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стальные банки отделяются от алюминиевых в центре переработки. Что из перечисленного является наилучшим способом отделения стальных банок от алюминиевых в центре переработки?", + "option_a": "отсортировать банки по размеру", + "option_b": "поместить банки в воду", + "option_c": "поместить банки под электромагнит", + "option_d": "охладить банки до низкой температуры" + }, + "outputs": "C", + "meta": { + "id": 26, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nСтальные банки отделяются от алюминиевых в центре переработки. Что из перечисленного является наилучшим способом отделения стальных банок от алюминиевых в центре переработки?\nA) отсортировать банки по размеру\nB) поместить банки в воду\nC) поместить банки под электромагнит\nD) охладить банки до низкой температуры\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 95, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.031088879331946373, + "B": 0.004207422491163015, + "C": 0.9085502624511719, + "D": 0.011436959728598595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент хочет заглянуть под тяжелый камень. Какой простой механизм лучше всего использовать для подъема камня?", + "option_a": "Рычаг", + "option_b": "Колесо и ось", + "option_c": "Наклонная плоскость", + "option_d": "Винт" + }, + "outputs": "A", + "meta": { + "id": 104, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "EXAMPLE,DEF" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Студент хочет заглянуть под тяжелый камень. Какой простой механизм лучше всего использовать для подъема камня?\nA. Рычаг\nB. Колесо и ось\nC. Наклонная плоскость\nD. Винт\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9101966619491577, + "B": 0.00020985481387469918, + "C": 0.00012728339061141014, + "D": 0.0015506291529163718 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая сила заставляет камни катиться под гору?", + "option_a": "сила тяжести", + "option_b": "трение", + "option_c": "эрозия", + "option_d": "магнетизм" + }, + "outputs": "A", + "meta": { + "id": 96, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "<|im_start|>user\nКакая сила заставляет камни катиться под гору?\nA) сила тяжести\nB) трение\nC) эрозия\nD) магнетизм\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04676194489002228, + "B": 0.004928672686219215, + "C": 0.18494708836078644, + "D": 0.7314799427986145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ледник - это медленно движущаяся ледяная река. Как ледник помогает создавать почву?", + "option_a": "Он замораживает мелкие частицы грязи, образуя большие камни", + "option_b": "Он переносит растения с гор и в океаны", + "option_c": "Он тает и становится частью ручьев и рек", + "option_d": "Он соскребает мелкие частицы с крупных камней" + }, + "outputs": "D", + "meta": { + "id": 75, + "exam_name": "AIMS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nЛедник - это медленно движущаяся ледяная река. Как ледник помогает создавать почву?\nA. Он замораживает мелкие частицы грязи, образуя большие камни\nB. Он переносит растения с гор и в океаны\nC. Он тает и становится частью ручьев и рек\nD. Он соскребает мелкие частицы с крупных камней\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0014678998850286007, + "B": 0.0014678998850286007, + "C": 0.9763613939285278, + "D": 0.0008903263369575143 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Учащиеся хотят посадить лимонное дерево в своей школе, но низкие зимние температуры в Подмосковье убьют дерево. Что из перечисленного является лучшим решением этой проблемы?", + "option_a": "посадить несколько лимонных деревьев в ряд", + "option_b": "дать лимонному дереву дополнительные удобрения зимой", + "option_c": "построить теплицу, чтобы укрыть лимонное дерево", + "option_d": "привязать кол к лимонному дереву для поддержки зимой" + }, + "outputs": "C", + "meta": { + "id": 91, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nУчащиеся хотят посадить лимонное дерево в своей школе, но низкие зимние температуры в Подмосковье убьют дерево. Что из перечисленного является лучшим решением этой проблемы?\nA) посадить несколько лимонных деревьев в ряд\nB) дать лимонному дереву дополнительные удобрения зимой\nC) построить теплицу, чтобы укрыть лимонное дерево\nD) привязать кол к лимонному дереву для поддержки зимой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9342759847640991, + "B": 0.0006634988822042942, + "C": 0.00014804660168010741, + "D": 0.0009653851739130914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда головастик растет, его жабры превращаются в легкие. Что ему теперь нужно, чтобы выжить?", + "option_a": "Воздух", + "option_b": "Вода", + "option_c": "Почва", + "option_d": "Плавники" + }, + "outputs": "A", + "meta": { + "id": 74, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "CAUSAL,PROCESS" + } + }, + "prompt": "<|im_start|>user\nКогда головастик растет, его жабры превращаются в легкие. Что ему теперь нужно, чтобы выжить?\nA. Воздух\nB. Вода\nC. Почва\nD. Плавники\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8767741918563843, + "B": 0.00020214893447700888, + "C": 7.43664350011386e-05, + "D": 0.00029412496951408684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какова роль хлорофилла в фотосинтезе?", + "option_a": "поглощение световой энергии", + "option_b": "отражение зеленого света", + "option_c": "поглощение кислорода", + "option_d": "блокирование двуокиси углерода" + }, + "outputs": "A", + "meta": { + "id": 33, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nКакова роль хлорофилла в фотосинтезе?\nA. поглощение световой энергии\nB. отражение зеленого света\nC. поглощение кислорода\nD. блокирование двуокиси углерода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 78, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8905935883522034, + "B": 0.00018120762251783162, + "C": 0.00015991515829227865, + "D": 0.00018120762251783162 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого главным образом ответственно за смену времен года на Земле?", + "option_a": "Наклон Земли относительно своей оси", + "option_b": "Положение Луны", + "option_c": "Температура Солнца", + "option_d": "Расстояние до Марса" + }, + "outputs": "A", + "meta": { + "id": 106, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nЧто из этого главным образом ответственно за смену времен года на Земле?\nA) Наклон Земли относительно своей оси\nB) Положение Луны\nC) Температура Солнца\nD) Расстояние до Марса\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00010665949957910925, + "B": 0.00017585177556611598, + "C": 0.9793471693992615, + "D": 0.0008930490585044026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая единица измерения описывает длину объекта?", + "option_a": "литр", + "option_b": "килограмм", + "option_c": "метр", + "option_d": "градус" + }, + "outputs": "C", + "meta": { + "id": 71, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "DEF" + } + }, + "prompt": "<|im_start|>user\nКакая единица измерения описывает длину объекта?\nA) литр\nB) килограмм\nC) метр\nD) градус\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 54, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.002381254220381379, + "B": 0.0006020753062330186, + "C": 0.0009926543571054935, + "D": 0.9606664776802063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Иногда на посевы распыляют химические пестициды, чтобы убить насекомых, поедающих посевы. Люди по-разному относятся к использованию пестицидов на сельскохозяйственных культурах. Что может вызывать беспокойство при использовании пестицидов на посевах?", + "option_a": "Созреет ли урожай?", + "option_b": "Будет ли урожай оставаться свежим?", + "option_c": "Вредит ли урожай клопам в доме?", + "option_d": "Вредит ли урожай людям?" + }, + "outputs": "D", + "meta": { + "id": 15, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nИногда на посевы распыляют химические пестициды, чтобы убить насекомых, поедающих посевы. Люди по-разному относятся к использованию пестицидов на сельскохозяйственных культурах. Что может вызывать беспокойство при использовании пестицидов на посевах?\nA) Созреет ли урожай?\nB) Будет ли урожай оставаться свежим?\nC) Вредит ли урожай клопам в доме?\nD) Вредит ли урожай людям?\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9111416935920715, + "B": 0.0003056539862882346, + "C": 0.00011244381312280893, + "D": 0.0007332257810048759 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Персиковые деревья имеют сладко пахнущие цветы и приносят богатые плоды. Каково основное назначение цветов персикового дерева?", + "option_a": "для привлечения пчел для опыления", + "option_b": "для создания цветочных композиций", + "option_c": "для защиты дерева от болезней", + "option_d": "питание для перелетных птиц" + }, + "outputs": "A", + "meta": { + "id": 59, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Персиковые деревья имеют сладко пахнущие цветы и приносят богатые плоды. Каково основное назначение цветов персикового дерева?\nA) для привлечения пчел для опыления\nB) для создания цветочных композиций\nC) для защиты дерева от болезней\nD) питание для перелетных птиц\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8681548833847046, + "B": 0.0013052179710939527, + "C": 0.005849581677466631, + "D": 0.003131055273115635 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кошки Оксаны едят из консервных банок. Кошки выбегают на кухню, когда слышат электрический консервный нож. Теперь, каждый раз, когда мать Оксаны открывает банку с горошком, кошки прибегают. Это пример", + "option_a": "усвоенного поведения", + "option_b": "правильного поведения", + "option_c": "инстинкта", + "option_d": "миграции" + }, + "outputs": "A", + "meta": { + "id": 51, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "EXAMPLE,MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кошки Оксаны едят из консервных банок. Кошки выбегают на кухню, когда слышат электрический консервный нож. Теперь, каждый раз, когда мать Оксаны открывает банку с горошком, кошки прибегают. Это пример\nA. усвоенного поведения\nB. правильного поведения\nC. инстинкта\nD. миграции\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0030086329206824303, + "B": 0.0004071741714142263, + "C": 0.00027984645566903055, + "D": 0.9452843070030212 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего описывает роль пищевода в пищеварении?", + "option_a": "Он выделяет кислоту и смешивает пищу", + "option_b": "Он помогает усваивать питательные вещества из пищи", + "option_c": "Он переносит пищу из желудка в кишечник", + "option_d": "Он переносит пищу изо рта в желудок" + }, + "outputs": "D", + "meta": { + "id": 23, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nЧто лучше всего описывает роль пищевода в пищеварении?\nA) Он выделяет кислоту и смешивает пищу\nB) Он помогает усваивать питательные вещества из пищи\nC) Он переносит пищу из желудка в кишечник\nD) Он переносит пищу изо рта в желудок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.899861216545105, + "B": 0.00017200021829921752, + "C": 7.632463530171663e-05, + "D": 0.0011939182877540588 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая часть растения больше всего отвечает за использование энергии Солнца для производства пищи для растения?", + "option_a": "лист", + "option_b": "цветок", + "option_c": "корень", + "option_d": "стебель" + }, + "outputs": "A", + "meta": { + "id": 34, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "PROP,PROCESS" + } + }, + "prompt": "<|im_start|>user\nКакая часть растения больше всего отвечает за использование энергии Солнца для производства пищи для растения?\nA. лист\nB. цветок\nC. корень\nD. стебель\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 67, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9090074300765991, + "B": 0.0006455538095906377, + "C": 0.0009392752544954419, + "D": 0.0015486031770706177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Функции корней растения - поддерживать структуру растения и", + "option_a": "принимать воду и питательные вещества", + "option_b": "производить фрукты", + "option_c": "производить пищу", + "option_d": "помогать прорастанию" + }, + "outputs": "A", + "meta": { + "id": 73, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "DEF" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Функции корней растения - поддерживать структуру растения и\nA. принимать воду и питательные вещества\nB. производить фрукты\nC. производить пищу\nD. помогать прорастанию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 88, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00041779980529099703, + "B": 0.0018724488327279687, + "C": 0.9699525237083435, + "D": 0.0024042718578130007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое чувство может помочь определить способность объекта отражать свет?", + "option_a": "запах", + "option_b": "слух", + "option_c": "зрение", + "option_d": "вкус" + }, + "outputs": "C", + "meta": { + "id": 43, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nКакое чувство может помочь определить способность объекта отражать свет?\nA. запах\nB. слух\nC. зрение\nD. вкус\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.04566524922847748, + "B": 0.8094358444213867, + "C": 0.05174550041556358, + "D": 0.031385235488414764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из следующих структур развиваются у лягушки, когда она превращается из головастика во взрослую лягушку?", + "option_a": "глаза", + "option_b": "сердце", + "option_c": "хвост", + "option_d": "легкие" + }, + "outputs": "D", + "meta": { + "id": 50, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nКакие из следующих структур развиваются у лягушки, когда она превращается из головастика во взрослую лягушку?\nA. глаза\nB. сердце\nC. хвост\nD. легкие\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 80, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.001120282569900155, + "B": 0.9567872285842896, + "C": 0.00024996884167194366, + "D": 0.00019467592937871814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зимой в России световой день меньше, чем летом. Какое утверждение лучше всего объясняет, почему возникает эта разница?", + "option_a": "Солнце летом греет сильнее", + "option_b": "Северное полушарие наклонено от Солнца зимой", + "option_c": "Северное полушарие ближе к Солнцу зимой", + "option_d": "Солнце летом движется за горизонт" + }, + "outputs": "B", + "meta": { + "id": 6, + "exam_name": "Alaska Dept. of Education & Early Development", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зимой в России световой день меньше, чем летом. Какое утверждение лучше всего объясняет, почему возникает эта разница?\nA. Солнце летом греет сильнее\nB. Северное полушарие наклонено от Солнца зимой\nC. Северное полушарие ближе к Солнцу зимой\nD. Солнце летом движется за горизонт\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02146565541625023, + "B": 0.001211009337566793, + "C": 0.01148973684757948, + "D": 0.9127428531646729 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученые копают в сухом месте у подножия горного хребта. В этом районе встречаются окаменевшие раковины пресноводных мидий. Какой вероятный вывод сделают ученые на основании этих данных?", + "option_a": "Наводнения были обычным явлением в этой области", + "option_b": "Когда-то в этом районе действовали вулканы", + "option_c": "Береговая линия океана когда-то доходила до этой области", + "option_d": "Когда-то здесь текли реки" + }, + "outputs": "D", + "meta": { + "id": 41, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nУченые копают в сухом месте у подножия горного хребта. В этом районе встречаются окаменевшие раковины пресноводных мидий. Какой вероятный вывод сделают ученые на основании этих данных?\nA. Наводнения были обычным явлением в этой области\nB. Когда-то в этом районе действовали вулканы\nC. Береговая линия океана когда-то доходила до этой области\nD. Когда-то здесь текли реки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9260892271995544, + "B": 0.0002741638454608619, + "C": 0.00024194871366489679, + "D": 0.0026011941954493523 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где находится большая часть воды на Земле?", + "option_a": "океаны", + "option_b": "озера", + "option_c": "ледники", + "option_d": "реки" + }, + "outputs": "A", + "meta": { + "id": 3, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "DEF,QUANT" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где находится большая часть воды на Земле?\nA. океаны\nB. озера\nC. ледники\nD. реки\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 68, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005048110615462065, + "B": 0.005720258690416813, + "C": 0.9619996547698975, + "D": 0.0027020592242479324 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое поведение является примером адаптации животного к изменению окружающей среды?", + "option_a": "белка, взбирающаяся на дерево", + "option_b": "кролик, кормящий своих детенышей", + "option_c": "птица, мигрирующая на юг", + "option_d": "лягушка, поедающая насекомое" + }, + "outputs": "C", + "meta": { + "id": 2, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE,MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое поведение является примером адаптации животного к изменению окружающей среды?\nA. белка, взбирающаяся на дерево\nB. кролик, кормящий своих детенышей\nC. птица, мигрирующая на юг\nD. лягушка, поедающая насекомое\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8631107807159424, + "B": 0.00022549505229108036, + "C": 0.00019899869221262634, + "D": 0.0008918502717278898 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На картинке поверх некоторых слов изображен прозрачный стеклянный шарик. Некоторые буквы выглядят по-другому, потому что свет", + "option_a": "преломляется, когда проходит через шарик", + "option_b": "меняет цвет, когда он входит в шарик", + "option_c": "светит менее ярко позади шарика", + "option_d": "отражается, когда достигает шарика" + }, + "outputs": "A", + "meta": { + "id": 112, + "exam_name": "TAKS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nНа картинке поверх некоторых слов изображен прозрачный стеклянный шарик. Некоторые буквы выглядят по-другому, потому что свет\nA) преломляется, когда проходит через шарик\nB) меняет цвет, когда он входит в шарик\nC) светит менее ярко позади шарика\nD) отражается, когда достигает шарика\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09448423981666565, + "B": 0.7911068201065063, + "C": 0.008788403123617172, + "D": 0.03938688710331917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком месяце в Подмосковье самый продолжительный световой день?", + "option_a": "март", + "option_b": "июнь", + "option_c": "декабрь", + "option_d": "сентябрь" + }, + "outputs": "B", + "meta": { + "id": 55, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nВ каком месяце в Подмосковье самый продолжительный световой день?\nA) март\nB) июнь\nC) декабрь\nD) сентябрь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 63, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.36303120851516724, + "B": 0.4113682508468628, + "C": 0.06308536231517792, + "D": 0.08100320398807526 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В емкости перемешивают смесь воды и соли, чтобы соль полностью растворилась. К этому раствору добавляют песок и дают ему осесть на дно емкости. Если емкость поставить на источник тепла и жидкость полностью испарится, что останется в емкости?", + "option_a": "В емкости ничего не останется", + "option_b": "В емкости останется только соль", + "option_c": "Соль и песок останутся в емкости", + "option_d": "В емкости останется только песок" + }, + "outputs": "C", + "meta": { + "id": 62, + "exam_name": "MEAP", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nВ емкости перемешивают смесь воды и соли, чтобы соль полностью растворилась. К этому раствору добавляют песок и дают ему осесть на дно емкости. Если емкость поставить на источник тепла и жидкость полностью испарится, что останется в емкости?\nA) В емкости ничего не останется\nB) В емкости останется только соль\nC) Соль и песок останутся в емкости\nD) В емкости останется только песок\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9490594267845154, + "B": 0.00021881501015741378, + "C": 0.00019310356583446264, + "D": 0.0009806607849895954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем похожи испарение и конденсация?", + "option_a": "Оба вызваны изменениями тепловой энергии", + "option_b": "Оба вызывают повышение температуры воздуха", + "option_c": "Оба вызваны потеплением атмосферы", + "option_d": "Оба вызывают снижение температуры воздуха" + }, + "outputs": "A", + "meta": { + "id": 25, + "exam_name": "North Carolina READY End-of-Grade Assessment", + "school_grade": 5, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем похожи испарение и конденсация?\nA) Оба вызваны изменениями тепловой энергии\nB) Оба вызывают повышение температуры воздуха\nC) Оба вызваны потеплением атмосферы\nD) Оба вызывают снижение температуры воздуха\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 96, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1415707916021347, + "B": 0.0022882791236042976, + "C": 0.001387911499477923, + "D": 0.814683735370636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лиля проводит исследование дорожного движения и хочет выяснить, сколько автомобилей пересекает пешеходный переход утром до того, как прозвенит школьный звонок. Как ей следует собирать эти данные?", + "option_a": "Записать номерные знаки автомобилей", + "option_b": "Нарисовать пиктограмму", + "option_c": "Сделать снимок каждой проезжающей машины", + "option_d": "Прийти утром на перекресток и пересчитать все проезжающие машины" + }, + "outputs": "D", + "meta": { + "id": 19, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nЛиля проводит исследование дорожного движения и хочет выяснить, сколько автомобилей пересекает пешеходный переход утром до того, как прозвенит школьный звонок. Как ей следует собирать эти данные?\nA. Записать номерные знаки автомобилей\nB. Нарисовать пиктограмму\nC. Сделать снимок каждой проезжающей машины\nD. Прийти утром на перекресток и пересчитать все проезжающие машины\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004459226503968239, + "B": 0.00022201178944669664, + "C": 8.16735700936988e-05, + "D": 0.9629247188568115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тунец - это океаническая рыба, которая хорошо приспособлена для ловли мелкой, быстро движущейся добычи. Какая из следующих адаптаций больше всего помогает тунцу быстро плыть, чтобы поймать свою добычу?", + "option_a": "жесткая чешуя", + "option_b": "острые зубы", + "option_c": "маленькие жабры", + "option_d": "большие плавники" + }, + "outputs": "D", + "meta": { + "id": 4, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Тунец - это океаническая рыба, которая хорошо приспособлена для ловли мелкой, быстро движущейся добычи. Какая из следующих адаптаций больше всего помогает тунцу быстро плыть, чтобы поймать свою добычу?\nA) жесткая чешуя\nB) острые зубы\nC) маленькие жабры\nD) большие плавники\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0009955486748367548, + "B": 0.0008785686222836375, + "C": 0.9634674787521362, + "D": 0.00047026394167914987 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В 2021 году ураган обрушился на берег Чёрного моря. Ураган отрицательно влияет на береговую линию,", + "option_a": ", увеличивая производство продуктов питания", + "option_b": ", вызывая землетрясения", + "option_c": "вызывая эрозию", + "option_d": ", увеличивая рост трав" + }, + "outputs": "C", + "meta": { + "id": 11, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nВ 2021 году ураган обрушился на берег Чёрного моря. Ураган отрицательно влияет на береговую линию,\nA. , увеличивая производство продуктов питания\nB. , вызывая землетрясения\nC. вызывая эрозию\nD. , увеличивая рост трав\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.9367244243621826, + "B": 0.0002159710566047579, + "C": 8.457548392470926e-05, + "D": 0.013361656107008457 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого является примером жидкой воды?", + "option_a": "Дождь", + "option_b": "Лед", + "option_c": "Мороз", + "option_d": "Пар" + }, + "outputs": "A", + "meta": { + "id": 49, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "EXAMPLE,PROP" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого является примером жидкой воды?\nA. Дождь\nB. Лед\nC. Мороз\nD. Пар\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.003929862752556801, + "B": 0.006479248404502869, + "C": 0.9616057276725769, + "D": 0.0021035040263086557 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студенты изучают природные ресурсы Подмосковья. Одна группа студентов изучает информацию о возобновляемых природных ресурсах в регионе. Другая группа исследует информацию о невозобновляемых природных ресурсах в регионе. Ресурсы, изучаемые учащимися, включают растения, животных, почву, полезные ископаемые, воду, уголь и нефть. Какие невозобновляемые природные ресурсы отапливают дома?", + "option_a": "солнечный свет", + "option_b": "алюминий", + "option_c": "природный газ", + "option_d": "океанские волны" + }, + "outputs": "C", + "meta": { + "id": 111, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "<|im_start|>user\nСтуденты изучают природные ресурсы Подмосковья. Одна группа студентов изучает информацию о возобновляемых природных ресурсах в регионе. Другая группа исследует информацию о невозобновляемых природных ресурсах в регионе. Ресурсы, изучаемые учащимися, включают растения, животных, почву, полезные ископаемые, воду, уголь и нефть. Какие невозобновляемые природные ресурсы отапливают дома?\nA) солнечный свет\nB) алюминий\nC) природный газ\nD) океанские волны\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.003425327129662037, + "B": 0.0002811680024024099, + "C": 0.0003186050453223288, + "D": 0.9497482776641846 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На Земле вода может быть твердым телом, жидкостью или газом. Какой источник энергии имеет наибольшее влияние на состояние вещества воды?", + "option_a": "металлическое ядро", + "option_b": "ветер", + "option_c": "океанские течения", + "option_d": "солнце" + }, + "outputs": "D", + "meta": { + "id": 87, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nНа Земле вода может быть твердым телом, жидкостью или газом. Какой источник энергии имеет наибольшее влияние на состояние вещества воды?\nA) металлическое ядро\nB) ветер\nC) океанские течения\nD) солнце\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00028462414047680795, + "B": 0.0006827777833677828, + "C": 0.9614226818084717, + "D": 0.0023831287398934364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих веществ лучше всего проводит электричество?", + "option_a": "Дерево", + "option_b": "Кирпич", + "option_c": "Медь", + "option_d": "Пластик" + }, + "outputs": "C", + "meta": { + "id": 63, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из этих веществ лучше всего проводит электричество?\nA) Дерево\nB) Кирпич\nC) Медь\nD) Пластик\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005728522315621376, + "B": 0.0027059626299887896, + "C": 0.9633893966674805, + "D": 0.001859779004007578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное готовится к сезонным изменениям окружающей среды?", + "option_a": "летучая мышь, летящая ночью", + "option_b": "олень, пьющий воду", + "option_c": "белка, хранящая орехи", + "option_d": "сова, поедающая мышь" + }, + "outputs": "C", + "meta": { + "id": 76, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое животное готовится к сезонным изменениям окружающей среды?\nA) летучая мышь, летящая ночью\nB) олень, пьющий воду\nC) белка, хранящая орехи\nD) сова, поедающая мышь\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0004739037831313908, + "B": 0.0012882038718089461, + "C": 0.9709247350692749, + "D": 0.000689525855705142 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему большинство окаменелостей находится в осадочных породах?", + "option_a": "Осадочные породы не очень старые", + "option_b": "Организмы обитают только в областях с осадочными породами", + "option_c": "Организмы могут сохраняться в осадочных породах", + "option_d": "Осадочные породы встречаются только на поверхности земли" + }, + "outputs": "C", + "meta": { + "id": 47, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nПочему большинство окаменелостей находится в осадочных породах?\nA. Осадочные породы не очень старые\nB. Организмы обитают только в областях с осадочными породами\nC. Организмы могут сохраняться в осадочных породах\nD. Осадочные породы встречаются только на поверхности земли\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 98, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.09147220104932785, + "B": 0.5263862013816833, + "C": 0.21943041682243347, + "D": 0.09147220104932785 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пока Анна проверяла схему, она уронила лампочку. Что может быть самым безопасным для Анны?", + "option_a": "взять новую лампочку, чтобы закончить тест", + "option_b": "спрятать разбитое стекло под стол", + "option_c": "попросить своего партнера помочь подобрать разбитое стекло", + "option_d": "сказать своему учителю, что она разбила лампочку" + }, + "outputs": "D", + "meta": { + "id": 21, + "exam_name": "AIMS", + "school_grade": 4, + "knowledge_type": "MODEL,TRIVIA" + } + }, + "prompt": "<|im_start|>user\nПока Анна проверяла схему, она уронила лампочку. Что может быть самым безопасным для Анны?\nA) взять новую лампочку, чтобы закончить тест\nB) спрятать разбитое стекло под стол\nC) попросить своего партнера помочь подобрать разбитое стекло\nD) сказать своему учителю, что она разбила лампочку\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006101121543906629, + "B": 0.00028819660656154156, + "C": 0.9734899997711182, + "D": 0.0021295007318258286 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого физическое свойство яблока?", + "option_a": "сколько оно стоит", + "option_b": "насколько оно красивое", + "option_c": "какого оно цвета", + "option_d": "когда его собрали" + }, + "outputs": "C", + "meta": { + "id": 38, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого физическое свойство яблока?\nA) сколько оно стоит\nB) насколько оно красивое\nC) какого оно цвета\nD) когда его собрали\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 86, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.025020819157361984, + "B": 0.9388992786407471, + "C": 0.0005884332349523902, + "D": 0.0005192905082367361 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько раз Земля вращается вокруг своей оси за один день?", + "option_a": "дважды", + "option_b": "один раз", + "option_c": "24 раза", + "option_d": "365 раз" + }, + "outputs": "B", + "meta": { + "id": 42, + "exam_name": "MEA", + "school_grade": 5, + "knowledge_type": "DEF,MODEL" + } + }, + "prompt": "<|im_start|>user\nСколько раз Земля вращается вокруг своей оси за один день?\nA) дважды\nB) один раз\nC) 24 раза\nD) 365 раз\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 77, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8816726207733154, + "B": 0.0013255411759018898, + "C": 0.0015020350692793727, + "D": 0.023495778441429138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого можно добыть из Земли и использовать в качестве источника энергии?", + "option_a": "Уголь", + "option_b": "Гравий", + "option_c": "Гранит", + "option_d": "Известняк" + }, + "outputs": "A", + "meta": { + "id": 93, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "EXAMPLE,PROCESS" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого можно добыть из Земли и использовать в качестве источника энергии?\nA) Уголь\nB) Гравий\nC) Гранит\nD) Известняк\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0012788439635187387, + "B": 0.010707630775868893, + "C": 0.963870108127594, + "D": 0.0008789357962086797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звезда - это небесный объект, который излучает собственное тепло и свет. Какой из этих небесных объектов является ближайшей звездой к Земле?", + "option_a": "Марс", + "option_b": "Венера", + "option_c": "солнце", + "option_d": "луна" + }, + "outputs": "C", + "meta": { + "id": 66, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nЗвезда - это небесный объект, который излучает собственное тепло и свет. Какой из этих небесных объектов является ближайшей звездой к Земле?\nA. Марс\nB. Венера\nC. солнце\nD. луна\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 85, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02131657488644123, + "B": 0.0017497710650786757, + "C": 0.00692047830671072, + "D": 0.9064038395881653 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время эксперимента студент сообщает, что жидкость стала зеленой при смешивании с другой жидкостью. Это пример", + "option_a": "измерения", + "option_b": "прогноза", + "option_c": "объяснения", + "option_d": "наблюдения" + }, + "outputs": "D", + "meta": { + "id": 64, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Во время эксперимента студент сообщает, что жидкость стала зеленой при смешивании с другой жидкостью. Это пример\nA) измерения\nB) прогноза\nC) объяснения\nD) наблюдения\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 81, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.13933482766151428, + "B": 0.01143729966133833, + "C": 0.004767775535583496, + "D": 0.8018166422843933 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Четыре твердых мяча, каждый с разной массой, движутся с одинаковой скоростью. Какому мячу потребуется наибольшая сила, чтобы остановить его движение?", + "option_a": "мячу массой 20 кг", + "option_b": "мячу массой 10 кг", + "option_c": "мячу массой 15 кг", + "option_d": "мячу массой 5 кг" + }, + "outputs": "A", + "meta": { + "id": 94, + "exam_name": "North Carolina READY End-of-Grade Assessment", + "school_grade": 5, + "knowledge_type": "MODEL,QUANT" + } + }, + "prompt": "<|im_start|>user\nЧетыре твердых мяча, каждый с разной массой, движутся с одинаковой скоростью. Какому мячу потребуется наибольшая сила, чтобы остановить его движение?\nA) мячу массой 20 кг\nB) мячу массой 10 кг\nC) мячу массой 15 кг\nD) мячу массой 5 кг\nЗапишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 100, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0021842278074473143, + "B": 0.25246238708496094, + "C": 0.2860773801803589, + "D": 0.4162401258945465 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Замораживание и оттаивание воды воздействует на камень,", + "option_a": "превращая его в вулканическую породу", + "option_b": "изменяя химический состав камня", + "option_c": "оставляя после себя осадочные частицы из испарившихся растворов", + "option_d": "постепенно раздрабливая камень на более мелкие части" + }, + "outputs": "D", + "meta": { + "id": 16, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "PROCESS,CAUSAL" + } + }, + "prompt": "<|im_start|>user\nЗамораживание и оттаивание воды воздействует на камень,\nA) превращая его в вулканическую породу\nB) изменяя химический состав камня\nC) оставляя после себя осадочные частицы из испарившихся растворов\nD) постепенно раздрабливая камень на более мелкие части\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 103, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.006735973060131073, + "B": 0.8822384476661682, + "C": 0.0017031208844855428, + "D": 0.07241854071617126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент толкает красную игрушечную машинку по деревянному полу. Затем студент толкает ту же красную игрушечную машинку по цементному полу. Какой вопрос студент, скорее всего, исследует?", + "option_a": "С какой скоростью обычно катится игрушечная машинка?", + "option_b": "Какая поверхность позволяет игрушечной машинке катиться дальше?", + "option_c": "Как лучше всего заставить игрушечный автомобиль катиться?", + "option_d": "Влияет ли цвет на расстояние, на которое катится игрушечная машинка?" + }, + "outputs": "B", + "meta": { + "id": 110, + "exam_name": "Alaska Dept. of Education & Early Development", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nСтудент толкает красную игрушечную машинку по деревянному полу. Затем студент толкает ту же красную игрушечную машинку по цементному полу. Какой вопрос студент, скорее всего, исследует?\nA. С какой скоростью обычно катится игрушечная машинка?\nB. Какая поверхность позволяет игрушечной машинке катиться дальше?\nC. Как лучше всего заставить игрушечный автомобиль катиться?\nD. Влияет ли цвет на расстояние, на которое катится игрушечная машинка?\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0018357621738687158, + "B": 0.9509482979774475, + "C": 0.00031900760950520635, + "D": 0.0012616995954886079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого ЛУЧШЕ ВСЕГО описывает ощущения от перьев?", + "option_a": "Цветной", + "option_b": "Мягкий", + "option_c": "Низкий", + "option_d": "Яркий" + }, + "outputs": "B", + "meta": { + "id": 86, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "PROP" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого ЛУЧШЕ ВСЕГО описывает ощущения от перьев?\nA. Цветной\nB. Мягкий\nC. Низкий\nD. Яркий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0006702406099066138, + "B": 0.002064486499875784, + "C": 0.9437690377235413, + "D": 0.0011050398461520672 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мяч подбрасывается в воздух и возвращается обратно. Мяч возвращается вниз из-за", + "option_a": "эрозии", + "option_b": "трения", + "option_c": "силы тяжести", + "option_d": "магнетизма" + }, + "outputs": "C", + "meta": { + "id": 114, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мяч подбрасывается в воздух и возвращается обратно. Мяч возвращается вниз из-за\nA. эрозии\nB. трения\nC. силы тяжести\nD. магнетизма\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 82, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0005250360118225217, + "B": 0.9492874145507812, + "C": 0.00031845044577494264, + "D": 0.0001931499718921259 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих действий, скорее всего, окажут положительное влияние на окружающую среду Земли?", + "option_a": "Расширение жилых районов", + "option_b": "Создание заповедников", + "option_c": "Строительство автомагистралей", + "option_d": "Строительство фабрик" + }, + "outputs": "B", + "meta": { + "id": 95, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "<|im_start|>user\nКакие из этих действий, скорее всего, окажут положительное влияние на окружающую среду Земли?\nA) Расширение жилых районов\nB) Создание заповедников\nC) Строительство автомагистралей\nD) Строительство фабрик\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 87, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0030109079089015722, + "B": 0.9459990859031677, + "C": 0.000862639513798058, + "D": 0.004964147694408894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что служит доказательством научной теории?", + "option_a": "догадки", + "option_b": "наблюдения", + "option_c": "аргументы", + "option_d": "мнения" + }, + "outputs": "B", + "meta": { + "id": 36, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что служит доказательством научной теории?\nA) догадки\nB) наблюдения\nC) аргументы\nD) мнения\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 65, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0008711755508556962, + "B": 0.9553599953651428, + "C": 0.00010404708154965192, + "D": 0.00041151419281959534 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые объекты проводят электричество. Какой объект является лучшим проводником электричества?", + "option_a": "деревянная ложка", + "option_b": "металлическая вилка", + "option_c": "пластиковая расческа", + "option_d": "резиновый ластик" + }, + "outputs": "B", + "meta": { + "id": 82, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "<|im_start|>user\nНекоторые объекты проводят электричество. Какой объект является лучшим проводником электричества?\nA. деревянная ложка\nB. металлическая вилка\nC. пластиковая расческа\nD. резиновый ластик\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 79, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.005701578222215176, + "B": 0.0007716247346252203, + "C": 0.0006809564074501395, + "D": 0.958858072757721 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может заставить объект увеличить скорость при движении вперед?", + "option_a": "сила, толкающая объект в противоположном направлении", + "option_b": "уменьшение массы объекта", + "option_c": "увеличение массы объекта", + "option_d": "сила, которая постоянно действует на объект в направлении движения объекта" + }, + "outputs": "D", + "meta": { + "id": 97, + "exam_name": "North Carolina READY End-of-Grade Assessment", + "school_grade": 5, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может заставить объект увеличить скорость при движении вперед?\nA. сила, толкающая объект в противоположном направлении\nB. уменьшение массы объекта\nC. увеличение массы объекта\nD. сила, которая постоянно действует на объект в направлении движения объекта\nВыведите ответ: A, B, C или D.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 89, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00036880801781080663, + "B": 0.0004179142415523529, + "C": 0.9702181220054626, + "D": 0.0016528830165043473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шарик падает в стакан с водой. Какая сила притягивает шарик ко дну стакана?", + "option_a": "электричество", + "option_b": "трение", + "option_c": "гравитация", + "option_d": "магнетизм" + }, + "outputs": "C", + "meta": { + "id": 48, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "<|im_start|>user\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шарик падает в стакан с водой. Какая сила притягивает шарик ко дну стакана?\nA. электричество\nB. трение\nC. гравитация\nD. магнетизм\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 91, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} diff --git a/llmtf_eval/darumeru_ruWorldTree_params.jsonl b/llmtf_eval/darumeru_ruWorldTree_params.jsonl new file mode 100644 index 0000000..4642351 --- /dev/null +++ b/llmtf_eval/darumeru_ruWorldTree_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_ruWorldTree_total.jsonl b/llmtf_eval/darumeru_ruWorldTree_total.jsonl new file mode 100644 index 0000000..8ad9af6 --- /dev/null +++ b/llmtf_eval/darumeru_ruWorldTree_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "darumeru/ruWorldTree", + "results": { + "acc": 0.9047619047619048, + "f1_macro": 0.9043404138496471 + }, + "leaderboard_result": 0.904551159305776 +} diff --git a/llmtf_eval/evaluation_log.txt b/llmtf_eval/evaluation_log.txt new file mode 100644 index 0000000..458a3ee --- /dev/null +++ b/llmtf_eval/evaluation_log.txt @@ -0,0 +1,251 @@ +INFO: 2024-10-17 21:30:14,019: llmtf.base.evaluator: Starting eval on ['darumeru/multiq'] +INFO: 2024-10-17 21:30:14,019: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:30:14,019: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:30:20,481: llmtf.base.darumeru/MultiQ: Loading Dataset: 6.46s +INFO: 2024-10-17 21:35:59,593: llmtf.base.darumeru/MultiQ: Processing Dataset: 339.11s +INFO: 2024-10-17 21:35:59,593: llmtf.base.darumeru/MultiQ: Results for darumeru/MultiQ: +INFO: 2024-10-17 21:35:59,594: llmtf.base.darumeru/MultiQ: {'f1': 0.3346248767848689, 'em': 0.22275334608030592} +INFO: 2024-10-17 21:35:59,599: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 21:35:59,599: llmtf.base.evaluator: +mean darumeru/MultiQ +0.279 0.279 +INFO: 2024-10-17 21:36:08,809: llmtf.base.evaluator: Starting eval on ['darumeru/parus'] +INFO: 2024-10-17 21:36:08,810: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:36:08,810: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:36:12,969: llmtf.base.darumeru/PARus: Loading Dataset: 4.16s +INFO: 2024-10-17 21:36:18,316: llmtf.base.darumeru/PARus: Processing Dataset: 5.35s +INFO: 2024-10-17 21:36:18,317: llmtf.base.darumeru/PARus: Results for darumeru/PARus: +INFO: 2024-10-17 21:36:18,327: llmtf.base.darumeru/PARus: {'acc': 0.7} +INFO: 2024-10-17 21:36:18,327: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 21:36:18,328: llmtf.base.evaluator: +mean darumeru/MultiQ darumeru/PARus +0.489 0.279 0.700 +INFO: 2024-10-17 21:36:27,550: llmtf.base.evaluator: Starting eval on ['darumeru/rcb'] +INFO: 2024-10-17 21:36:27,550: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:36:27,551: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:36:31,450: llmtf.base.darumeru/RCB: Loading Dataset: 3.90s +INFO: 2024-10-17 21:36:38,683: llmtf.base.darumeru/RCB: Processing Dataset: 7.23s +INFO: 2024-10-17 21:36:38,683: llmtf.base.darumeru/RCB: Results for darumeru/RCB: +INFO: 2024-10-17 21:36:38,686: llmtf.base.darumeru/RCB: {'acc': 0.5454545454545454, 'f1_macro': 0.49090309951702227} +INFO: 2024-10-17 21:36:38,687: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 21:36:38,688: llmtf.base.evaluator: +mean darumeru/MultiQ darumeru/PARus darumeru/RCB +0.499 0.279 0.700 0.518 +INFO: 2024-10-17 21:36:48,734: llmtf.base.evaluator: Starting eval on ['darumeru/ruopenbookqa'] +INFO: 2024-10-17 21:36:48,735: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:36:48,735: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:36:54,900: llmtf.base.darumeru/ruOpenBookQA: Loading Dataset: 6.17s +INFO: 2024-10-17 21:38:00,519: llmtf.base.darumeru/ruOpenBookQA: Processing Dataset: 65.62s +INFO: 2024-10-17 21:38:00,520: llmtf.base.darumeru/ruOpenBookQA: Results for darumeru/ruOpenBookQA: +INFO: 2024-10-17 21:38:00,532: llmtf.base.darumeru/ruOpenBookQA: {'acc': 0.7302405498281787, 'f1_macro': 0.7304546157096631} +INFO: 2024-10-17 21:38:00,541: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 21:38:00,542: llmtf.base.evaluator: +mean darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/ruOpenBookQA +0.557 0.279 0.700 0.518 0.730 +INFO: 2024-10-17 21:38:09,745: llmtf.base.evaluator: Starting eval on ['darumeru/ruworldtree'] +INFO: 2024-10-17 21:38:09,745: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:38:09,745: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:38:14,102: llmtf.base.darumeru/ruWorldTree: Loading Dataset: 4.36s +INFO: 2024-10-17 21:38:16,932: llmtf.base.darumeru/ruWorldTree: Processing Dataset: 2.83s +INFO: 2024-10-17 21:38:16,933: llmtf.base.darumeru/ruWorldTree: Results for darumeru/ruWorldTree: +INFO: 2024-10-17 21:38:16,936: llmtf.base.darumeru/ruWorldTree: {'acc': 0.9047619047619048, 'f1_macro': 0.9043404138496471} +INFO: 2024-10-17 21:38:16,936: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 21:38:16,937: llmtf.base.evaluator: +mean darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/ruOpenBookQA darumeru/ruWorldTree +0.626 0.279 0.700 0.518 0.730 0.905 +INFO: 2024-10-17 21:38:26,077: llmtf.base.evaluator: Starting eval on ['darumeru/rwsd'] +INFO: 2024-10-17 21:38:26,077: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:38:26,077: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:38:30,781: llmtf.base.darumeru/RWSD: Loading Dataset: 4.70s +INFO: 2024-10-17 21:38:36,497: llmtf.base.darumeru/RWSD: Processing Dataset: 5.72s +INFO: 2024-10-17 21:38:36,497: llmtf.base.darumeru/RWSD: Results for darumeru/RWSD: +INFO: 2024-10-17 21:38:36,498: llmtf.base.darumeru/RWSD: {'acc': 0.6029411764705882} +INFO: 2024-10-17 21:38:36,499: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 21:38:36,500: llmtf.base.evaluator: +mean darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/ruOpenBookQA darumeru/ruWorldTree +0.622 0.279 0.700 0.518 0.603 0.730 0.905 +INFO: 2024-10-17 21:38:45,688: llmtf.base.evaluator: Starting eval on ['daru/treewayextractive'] +INFO: 2024-10-17 21:38:45,688: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:38:45,688: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:39:02,002: llmtf.base.daru/treewayextractive: Loading Dataset: 16.31s +INFO: 2024-10-17 21:42:05,777: llmtf.base.daru/treewayextractive: Processing Dataset: 183.77s +INFO: 2024-10-17 21:42:05,777: llmtf.base.daru/treewayextractive: Results for daru/treewayextractive: +INFO: 2024-10-17 21:42:06,010: llmtf.base.daru/treewayextractive: {'r-prec': 0.3917218614718615} +INFO: 2024-10-17 21:42:06,052: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 21:42:06,054: llmtf.base.evaluator: +mean daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/ruOpenBookQA darumeru/ruWorldTree +0.589 0.392 0.279 0.700 0.518 0.603 0.730 0.905 +INFO: 2024-10-17 21:42:15,170: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/rummlu'] +INFO: 2024-10-17 21:42:15,170: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:42:15,170: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:46:47,282: llmtf.base.nlpcoreteam/ruMMLU: Loading Dataset: 272.11s +INFO: 2024-10-17 21:56:29,398: llmtf.base.nlpcoreteam/ruMMLU: Processing Dataset: 582.12s +INFO: 2024-10-17 21:56:29,399: llmtf.base.nlpcoreteam/ruMMLU: Results for nlpcoreteam/ruMMLU: +INFO: 2024-10-17 21:56:29,464: llmtf.base.nlpcoreteam/ruMMLU: metric +subject +abstract_algebra 0.340000 +anatomy 0.414815 +astronomy 0.611842 +business_ethics 0.610000 +clinical_knowledge 0.554717 +college_biology 0.548611 +college_chemistry 0.380000 +college_computer_science 0.450000 +college_mathematics 0.400000 +college_medicine 0.526012 +college_physics 0.470588 +computer_security 0.620000 +conceptual_physics 0.565957 +econometrics 0.377193 +electrical_engineering 0.537931 +elementary_mathematics 0.529101 +formal_logic 0.365079 +global_facts 0.360000 +high_school_biology 0.664516 +high_school_chemistry 0.487685 +high_school_computer_science 0.700000 +high_school_european_history 0.751515 +high_school_geography 0.722222 +high_school_government_and_politics 0.564767 +high_school_macroeconomics 0.528205 +high_school_mathematics 0.433333 +high_school_microeconomics 0.533613 +high_school_physics 0.403974 +high_school_psychology 0.713761 +high_school_statistics 0.523148 +high_school_us_history 0.661765 +high_school_world_history 0.717300 +human_aging 0.587444 +human_sexuality 0.618321 +international_law 0.735537 +jurisprudence 0.666667 +logical_fallacies 0.564417 +machine_learning 0.392857 +management 0.650485 +marketing 0.752137 +medical_genetics 0.580000 +miscellaneous 0.632184 +moral_disputes 0.583815 +moral_scenarios 0.299441 +nutrition 0.637255 +philosophy 0.617363 +prehistory 0.561728 +professional_accounting 0.386525 +professional_law 0.377445 +professional_medicine 0.481618 +professional_psychology 0.516340 +public_relations 0.500000 +security_studies 0.648980 +sociology 0.756219 +us_foreign_policy 0.720000 +virology 0.439759 +world_religions 0.719298 +INFO: 2024-10-17 21:56:29,473: llmtf.base.nlpcoreteam/ruMMLU: metric +subject +STEM 0.503308 +humanities 0.586259 +other (business, health, misc.) 0.543782 +social sciences 0.599968 +INFO: 2024-10-17 21:56:29,478: llmtf.base.nlpcoreteam/ruMMLU: {'acc': 0.5583294528508019} +INFO: 2024-10-17 21:56:29,516: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 21:56:29,518: llmtf.base.evaluator: +mean daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/ruOpenBookQA darumeru/ruWorldTree nlpcoreteam/ruMMLU +0.586 0.392 0.279 0.700 0.518 0.603 0.730 0.905 0.558 +INFO: 2024-10-17 21:56:39,535: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/enmmlu'] +INFO: 2024-10-17 21:56:39,536: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 21:56:39,536: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 21:58:54,966: llmtf.base.nlpcoreteam/enMMLU: Loading Dataset: 135.43s +INFO: 2024-10-17 22:08:04,419: llmtf.base.nlpcoreteam/enMMLU: Processing Dataset: 549.45s +INFO: 2024-10-17 22:08:04,426: llmtf.base.nlpcoreteam/enMMLU: Results for nlpcoreteam/enMMLU: +INFO: 2024-10-17 22:08:04,492: llmtf.base.nlpcoreteam/enMMLU: metric +subject +abstract_algebra 0.380000 +anatomy 0.637037 +astronomy 0.717105 +business_ethics 0.700000 +clinical_knowledge 0.705660 +college_biology 0.715278 +college_chemistry 0.470000 +college_computer_science 0.580000 +college_mathematics 0.330000 +college_medicine 0.664740 +college_physics 0.509804 +computer_security 0.740000 +conceptual_physics 0.642553 +econometrics 0.508772 +electrical_engineering 0.600000 +elementary_mathematics 0.547619 +formal_logic 0.412698 +global_facts 0.360000 +high_school_biology 0.783871 +high_school_chemistry 0.581281 +high_school_computer_science 0.710000 +high_school_european_history 0.800000 +high_school_geography 0.757576 +high_school_government_and_politics 0.854922 +high_school_macroeconomics 0.679487 +high_school_mathematics 0.455556 +high_school_microeconomics 0.773109 +high_school_physics 0.437086 +high_school_psychology 0.844037 +high_school_statistics 0.652778 +high_school_us_history 0.833333 +high_school_world_history 0.843882 +human_aging 0.677130 +human_sexuality 0.786260 +international_law 0.768595 +jurisprudence 0.814815 +logical_fallacies 0.803681 +machine_learning 0.446429 +management 0.786408 +marketing 0.858974 +medical_genetics 0.760000 +miscellaneous 0.795658 +moral_disputes 0.667630 +moral_scenarios 0.311732 +nutrition 0.732026 +philosophy 0.704180 +prehistory 0.712963 +professional_accounting 0.503546 +professional_law 0.457627 +professional_medicine 0.658088 +professional_psychology 0.668301 +public_relations 0.709091 +security_studies 0.697959 +sociology 0.800995 +us_foreign_policy 0.800000 +virology 0.506024 +world_religions 0.801170 +INFO: 2024-10-17 22:08:04,506: llmtf.base.nlpcoreteam/enMMLU: metric +subject +STEM 0.572187 +humanities 0.687100 +other (business, health, misc.) 0.667521 +social sciences 0.740042 +INFO: 2024-10-17 22:08:04,511: llmtf.base.nlpcoreteam/enMMLU: {'acc': 0.6667125709237595} +INFO: 2024-10-17 22:08:04,554: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 22:08:04,556: llmtf.base.evaluator: +mean daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/ruOpenBookQA darumeru/ruWorldTree nlpcoreteam/enMMLU nlpcoreteam/ruMMLU +0.595 0.392 0.279 0.700 0.518 0.603 0.730 0.905 0.667 0.558 +INFO: 2024-10-17 22:08:14,512: llmtf.base.evaluator: Starting eval on ['daru/treewayabstractive'] +INFO: 2024-10-17 22:08:14,513: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 22:08:14,513: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 22:08:18,791: llmtf.base.daru/treewayabstractive: Loading Dataset: 4.28s +INFO: 2024-10-17 22:11:46,260: llmtf.base.daru/treewayabstractive: Processing Dataset: 207.47s +INFO: 2024-10-17 22:11:46,260: llmtf.base.daru/treewayabstractive: Results for daru/treewayabstractive: +INFO: 2024-10-17 22:11:46,261: llmtf.base.daru/treewayabstractive: {'rouge1': 0.33109987599556284, 'rouge2': 0.11202889150257295} +INFO: 2024-10-17 22:11:46,262: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 22:11:46,263: llmtf.base.evaluator: +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/ruOpenBookQA darumeru/ruWorldTree nlpcoreteam/enMMLU nlpcoreteam/ruMMLU +0.557 0.222 0.392 0.279 0.700 0.518 0.603 0.730 0.905 0.667 0.558 +INFO: 2024-10-17 22:11:55,717: llmtf.base.evaluator: Starting eval on ['darumeru/cp_para_ru'] +INFO: 2024-10-17 22:11:55,717: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077] +INFO: 2024-10-17 22:11:55,717: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>'] +INFO: 2024-10-17 22:11:59,846: llmtf.base.darumeru/cp_para_ru: Loading Dataset: 4.13s +INFO: 2024-10-17 22:14:29,975: llmtf.base.darumeru/cp_para_ru: Processing Dataset: 150.13s +INFO: 2024-10-17 22:14:29,975: llmtf.base.darumeru/cp_para_ru: Results for darumeru/cp_para_ru: +INFO: 2024-10-17 22:14:29,976: llmtf.base.darumeru/cp_para_ru: {'symbol_per_token': 3.993754090002875, 'len': 0.9986883734384026, 'lcs': 0.98} +INFO: 2024-10-17 22:14:29,977: llmtf.base.evaluator: Ended eval +INFO: 2024-10-17 22:14:29,977: llmtf.base.evaluator: +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/cp_para_ru darumeru/ruOpenBookQA darumeru/ruWorldTree nlpcoreteam/enMMLU nlpcoreteam/ruMMLU +0.596 0.222 0.392 0.279 0.700 0.518 0.603 0.980 0.730 0.905 0.667 0.558 diff --git a/llmtf_eval/evaluation_results.txt b/llmtf_eval/evaluation_results.txt new file mode 100644 index 0000000..e5ed7c2 --- /dev/null +++ b/llmtf_eval/evaluation_results.txt @@ -0,0 +1,2 @@ +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/cp_para_ru darumeru/ruOpenBookQA darumeru/ruWorldTree nlpcoreteam/enMMLU nlpcoreteam/ruMMLU +0.596 0.222 0.392 0.279 0.700 0.518 0.603 0.980 0.730 0.905 0.667 0.558 \ No newline at end of file diff --git a/llmtf_eval/nlpcoreteam_enMMLU.jsonl b/llmtf_eval/nlpcoreteam_enMMLU.jsonl new file mode 100644 index 0000000..3352ee2 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_enMMLU.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:7333ae2dd9a5974ba2d5a03e75a6f52f4f469f8d181f2b230b4c72c30d43220e +size 37141480 diff --git a/llmtf_eval/nlpcoreteam_enMMLU_params.jsonl b/llmtf_eval/nlpcoreteam_enMMLU_params.jsonl new file mode 100644 index 0000000..4642351 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_enMMLU_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/nlpcoreteam_enMMLU_total.jsonl b/llmtf_eval/nlpcoreteam_enMMLU_total.jsonl new file mode 100644 index 0000000..dd7d970 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_enMMLU_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "nlpcoreteam/enMMLU", + "results": { + "acc": 0.6667125709237595 + }, + "leaderboard_result": 0.6667125709237595 +} diff --git a/llmtf_eval/nlpcoreteam_ruMMLU.jsonl b/llmtf_eval/nlpcoreteam_ruMMLU.jsonl new file mode 100644 index 0000000..3a90662 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_ruMMLU.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:14ad0be3cf344bf030c934b0049c4691c1ab4d94c6b54d5b28ffa9cf84b88867 +size 43064153 diff --git a/llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl b/llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl new file mode 100644 index 0000000..4642351 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl @@ -0,0 +1,54 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256_as1.75_kto_simpo/simpo0", + "generation_config": { + "bos_token_id": 147075, + "do_sample": true, + "eos_token_id": [ + 147077 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 147075, + "stop_strings": [ + "<|im_end|>" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.45.2", + "trust_remote_code": false + }, + "conversation_template": { + "system_prompt": "", + "system_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "user_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template": "<|im_start|>{role}\n{content}<|im_end|>\n", + "bot_message_template_incomplete": "<|im_start|>{role}\n{content}", + "user_role": "user", + "bot_role": "assistant", + "system_role": "system", + "global_prefix": "", + "suffix": "<|im_start|>assistant\n", + "add_special_tokens": false, + "eos_token": "<|im_end|>" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": false, + "space_token": null, + "trust_remote_code": false, + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 0, + "batch_size": 8, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl b/llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl new file mode 100644 index 0000000..347804f --- /dev/null +++ b/llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "nlpcoreteam/ruMMLU", + "results": { + "acc": 0.5583294528508019 + }, + "leaderboard_result": 0.5583294528508019 +} diff --git a/merges.txt b/merges.txt new file mode 100644 index 0000000..2e1b633 --- /dev/null +++ b/merges.txt @@ -0,0 +1,146820 @@ +#version: 0.2 +Ġ Ġ +ĠĠ ĠĠ +i n +Ġ t +ĠĠĠĠ ĠĠĠĠ +e r +ĠĠ Ġ +o n +Ġ a +r e +a t +s t +e n +o r +Ġt h +Ċ Ċ +Ġ c +l e +Ġ s +i t +a n +a r +a l +Ġth e +; Ċ +Ġ p +Ġ f +o u +Ġ = +i s +ĠĠĠĠ ĠĠĠ +in g +e s +Ġ w +i on +e d +i c +Ġ b +Ġ d +e t +Ġ m +Ġ o +ĉ ĉ +r o +a s +e l +c t +n d +Ġ in +Ġ h +en t +i d +Ġ n +a m +ĠĠĠĠĠĠĠĠ ĠĠĠ +Ġt o +Ġ re +- - +Ġ { +Ġo f +o m +) ;Ċ +i m +č Ċ +Ġ ( +i l +/ / +Ġa nd +u r +s e +Ġ l +e x +Ġ S +a d +Ġ " +c h +u t +i f +* * +Ġ } +e m +o l +ĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠ +t h +) Ċ +Ġ{ Ċ +Ġ g +i g +i v +, Ċ +c e +o d +Ġ v +at e +Ġ T +a g +a y +Ġ * +o t +u s +Ġ C +Ġ st +Ġ I +u n +u l +u e +Ġ A +o w +Ġ ' +e w +Ġ < +at ion +( ) +Ġf or +a b +or t +u m +am e +Ġ is +p e +t r +c k +â Ģ +Ġ y +i st +-- -- +. ĊĊ +h e +Ġ e +l o +Ġ M +Ġb e +er s +Ġ on +Ġc on +a p +u b +Ġ P +ĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠ +as s +in t +> Ċ +l y +ur n +Ġ $ +; ĊĊ +a v +p ort +i r +- > +n t +ct ion +en d +Ġd e +0 0 +it h +ou t +t urn +ou r +ĠĠĠĠ Ġ +l ic +re s +p t += = +Ġth is +Ġw h +Ġ if +Ġ D +v er +ag e +Ġ B +h t +ex t += " +Ġth at +** ** +Ġ R +Ġ it +es s +Ġ F +Ġ r +o s +an d +Ġa s +e ct +k e +ro m +Ġ // +c on +Ġ L +( " +q u +l ass +Ġw ith +i z +d e +Ġ N +Ġa l +o p +u p +g et +Ġ} Ċ +i le +Ġa n +at a +o re +r i +Ġp ro +; čĊ +ĉĉ ĉĉ +t er +a in +Ġ W +Ġ E +Ġc om +Ġre turn +ar t +Ġ H +a ck +im port +ub lic +Ġ or +e st +m ent +Ġ G +ab le +Ġ - +in e +il l +in d +er e +: : +it y +Ġ + +Ġt r +el f +ig ht +( ' +or m +ul t +st r +. . +" , +Ġy ou +y pe +p l +Ġn ew +Ġ j +ĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠ +Ġf rom +Ġ ex +Ġ O +2 0 +l d +Ġ [ +o c +: Ċ +Ġs e +Ġ le +---- ---- +. s +{ Ċ +' , +an t +Ġa t +as e +. c +Ġc h +< / +av e +an g +Ġa re +Ġin t +âĢ Ļ +_ t +er t +i al +a ct +} Ċ +iv e +od e +o st +Ġc lass +Ġn ot +o g +or d +al ue +al l +f f +( );Ċ +on t +im e +a re +Ġ U +Ġp r +Ġ : +i es +iz e +u re +Ġb y +i re +Ġ} ĊĊ +. p +Ġs h +ic e +a st +pt ion +tr ing +o k +_ _ +c l +# # +Ġh e +ar d +) . +Ġ @ +i ew +ĉĉ ĉ +Ġw as +i p +th is +Ġ u +ĠT he +id e +a ce +i b +a c +r ou +Ġw e +j ect +Ġp ublic +a k +v e +at h +o id +Ġ= > +u st +q ue +Ġre s +) ) +' s +Ġ k +an s +y st +un ction +**** **** +Ġ i +Ġ us +p p +1 0 +on e +a il +== == +n ame +Ġst r +Ġ / +Ġ & +a ch +d iv +yst em +el l +Ġh ave +er r +ou ld +ul l +p on +Ġ J +_ p +Ġ= = +ig n +S t +. Ċ +Ġp l +) ;ĊĊ +f orm +p ut +ou nt +} ĊĊ +d d +it e +Ġg et +r r +om e +Ġ âĢ +ar am +c c +Ġ* / +E R +I n +le s +_ s +on g +i e +Ġc an +Ġ V +er v +p r +Ġ un +ro w +b er +Ġd o +l l +Ġ el +Ġs elf +at ed +ar y +Ġ . +' ] +u d +Ġ en +ĠT h +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠ +t e +_ c +u ct +Ġa b +or k +. get +Ġ # +a w +res s +o b +N ame +20 1 +ap p +[ ' +Ġal l +or y +it ion +an ce +e ar +Ġcon t +v ent +i a +Ġw ill +I N +ĠĠĠĠĠĠĠĠ Ġ +re turn +Ġ< / +d ata +) ĊĊ +R e +p le +il d +th er +Ġy our +" Ċ +( $ +Ġ out +) , +Ġh as +S tring +s o +Ġ up +a x +Ġde f +Ġb o +g e +al se +O N +p er +1 2 +ic h +Ġb ut +Ġ Ċ +Ġ _ +_ m +ad d +que st +od el +s elf +er y +f t +en s +// // +a ke +. C +Ġg o +Ġf unction +Ġ K +iv ate +Ġ im +Ġcon st +. t +Ġ*/ Ċ +) ;čĊ +Ġv oid +Ġs et +ĠS ystem +c ri +( )Ċ +l i +ĉ if +. m +al ly +s et +e p +âĢĻ s +b o +de f +' ,Ċ +Ġm e +Ġ ! +at ch +" > +" ,Ċ +e c +ĠI n +p h +Ġ | +_ f +Ġv ar +en ce +I d +re e +in k +le ct +u g +et h +Ġel se +-------- -------- +1 9 +con t +Ġs o +at ic +Ġl o +p ro +t on +s s +ow n +ab el +o int +ou s +el d +S T +T he +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +R E +" : +ol or +t p +e g +ke y +u de +ĠS t +ou nd +Ġa r +" );Ċ +en er +s er +1 1 +b ject +ess age +f er +Ġm ore +ation s +ent s +Ġh is +Ġthe y +. S +Ġ Y +u se +n e +is h +ol d +_ d +i o +i eld +Ġp er +C ont +ing s +## ## +Ġd ata +Ġs a +e f +f o +Ġon e +en g +Ġd is +A T +Ġn ame +Ġtr ue +v al +le d +. f +Ġn e +Ġ end +3 2 +. T +1 6 +c re +ar k +lo g +E x +err or +_ id +ur re +ang e +Ġn ull +rr ay +Ġm y +p an +ic t +at or +V iew +L ist +ĉ return +âĢ Ŀ +Ġp re +Ġ x +cl ude +ar g +1 5 +o v +. h +Ġ > +Ġthe ir +' ) +ir st +ic k +g h +L E +O R +Ġpr ivate +t em +čĊ čĊ +us er +Ġ ) +c om +. A +" ;Ċ +Ġ id +re ad +Ġwh o +_ b +" >Ċ +Ġt ime +Ġm an +r y +==== ==== +rou p +ro p +p ublic +v el +um ber +b le +Ġwh ich +******** ******** +Ġan y +Ġf alse +w e +Ġv alue +Ġl i +" ) +nd er +g r +Ġn o +p aram +2 5 +f ig +.c om +Ġa pp +_ l +ion s +. D +ĠC h +Ġab out +Ġa dd +Ġs u +Ġstr ing +I D +Ġo ver +str ing +. l +our ce +00 0 +_ C +] Ċ +Ġ qu +ĠS tring +c a +S E +Ġ ro +s h +u al +T ype +s on +n ew +er n +Ġa g +A R +] ;Ċ +] . +Ġ ? +ic al +Ġd es +ut h +i x +ay s +Ġt ype +' t +a ult +Ġin ter +v ar +. b +Ġp art +. d +urre nt +I T +E N +3 0 +en c +( f +r a +v alue +ch o +1 8 +ut ton +o se +1 4 +Ġ! = +at er +à © +re ate +ol l +p os +y le +n g +A L +us ing +am es +Ġ{ čĊ +at es +el y +Ġw ork +Ġ em +in al +Ġs p +Ġwh en +.s et +ĠĠĠĠ ĠĠ +) :Ċ +t o +qu ire +ind ow +le ment +pe ct +as h +[ i +Ġu se +. F +pe c +Ġa d +o ve +ce ption +eng th +in clude +ad er +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠ +at us +T h +it le +r it +v oid +() . +( Ċ +Ġof f +Ġo ther +Ġ& & +' ;Ċ +m s +Ġbe en +Ġt e +m l +c o +n c +1 3 +erv ice +Ġ % +** Ċ +an n +ad e +ĊĊ ĊĊ +lo ck +con st +1 00 +pon se +Ġs up ++ + +d ate +Ġa cc +Ġh ad +Ġb u +2 00 +ĠR e +Ġw ere +Ġf ile +Ġw ould +ĠâĢ ľ +v en +is s +Ġ our +c lass +r aw +Ġy ear +D ata +Ġv al +Ġs ome +f ter +y s +Ġ// / +rou nd +v iew +Ġp e +Ġth ere +Ġsa id +d u +o f +l ine +/ * +d uct +Ġh er +ĠĠĠĠĠĠĠĠ ĠĠĠĠĠ +R es +Ġc o +Ġcom m +is e +m in +ĠĠĠĠ Ċ +# include +eth od +. P +ut e +Ġas s +I nt +as k +lo c +Ġli ke +od y +Ġle t +lo ad +Ġa m +ro l +Ġg r +y p +Ġal so +ĠI t +ur l +if ic +or s +_ P +_ n +ig h +Ġth an +C om +A N +U L +at ing +1 7 +ĠTh is +re f +_ S +Ġst atic +ro ll +Ġj ust +Ġres ult +i an +id th +Ġthe m +) );Ċ +d er +re ak +C on +: // +u le +.. . +ar ch +em ent +Ġ< < +5 0 +us h +en se +ar r +Ġint o +c ess +am p +i ed +um ent +Ġ \ +] , +w o +al s +Ġwh at +an c +V alue += ' +ol um +Ġp os +ag es +ay er +Ġs c +u es +" )Ċ +_ T +Ġl ist +( s +Ġc ase +C h +ĉĉĉĉ ĉ +//// //// +pon ent +Ġ z +Ġk n +le t +D E +re d +Ġf e +Ġ} ,Ċ +Ġ , +( t +Ġf irst +' );Ċ +w ord +Ġ import +Ġa ct +Ġch ar +C T +ĠT r +op le += { +ĉ f +2 4 +i ent +c ent +. j +le ction +) )Ċ +Ġon ly +Ġpr int +m er +. W +o ck +Ġ -- +T ext +Ġo p +an k +Ġit s +Ġb ack +[ " +Ġne ed +Ġc l +Ġs ub +Ġl a +( ( +. " +O bject +Ġst art +f ile +( self +n er +e y +Ġus er +Ġ ent +ĠC om +it s +ĠC on +ou ble +ow er +it em +ver y +ĠW e +6 4 +lic k +Ġ Q +ph p +t tp +' : +ic s +Ġu nder +Ġ* Ċ +. L +) ; +ic es +Ġre g +) čĊ +ĉ public +S S +Ġth en +re at +i ous +. G +e k +ire ct +he ck +cri pt +n ing +ĠU n +Ġm ay +ĠW h +B o +I tem +str uct +. st +re am +ib le +lo at +Ġor g +u nd +s um +_ in +.. / +_ M +Ġh ow +r ite +' Ċ +T o +4 0 +w w +Ġpe ople +ind ex +. n +ht tp +( m +ect or +Ġin d +Ġj av +] ,Ċ +ĠH e +_ st +f ul +o le +) {Ċ +Ġsh ould +op y +el p +i er +_ name +ers on +I ON +ot e +Ġt est +Ġb et +rr or +ul ar +ã Ģ +Ġ Ð +b s +t ing +Ġm ake +T r +Ġa fter +ar get +R O +olum n +r c +_ re +def ine +2 2 +Ġr ight +r ight +d ay +Ġl ong +[ ] +( p +t d +con d +ĠP ro +Ġre m +ption s +v id +. g +Ġ ext +Ġ __ +' )Ċ +p ace +m p +Ġm in +st ance +a ir +a ction +w h +t ype +ut il +a it +< ? +I C +t ext +Ġp h +Ġf l +. M +cc ess +b r +f ore +ers ion +) ,Ċ +. re +ate g +Ġl oc +in s +- s +tr ib +ĠI nt +Ġa rray +, " +P ro +( c +ess ion +> ĊĊ +Ġs he +" ] +ap h +Ġex p +ert y +ĠS e +Ġp ar +un c +E T +Ġre ad +pr int +Ġre l +Ġfor m +Ġd r +Ex ception +in put +Ġtr ans +#### #### +ord er +B y +Ġa w +it ies +u ff +pl ay +. add +ĠâĢ ĵ +Ġw ant +Ġcom p +ment s +Ġ| | +a z +b e +Ġn umber +Ġre quire +ĠE x +6 0 +Ġc ol +Ġ key +em ber +Ġt wo +Ġs ize +Ġwh ere +U T +res ult +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +ou gh +or ld +o od +u ch +at ive +g er +are nt +Ġ/ * +Ġar g +Ġwh ile +2 3 +( this +Ġre c +Ġd if +St ate +Ġs pec +r ide +_ F +Ġlo ok +A M +il ity +et er +âĢĻ t +ĊĊ Ċ +ay out +---------------- ---------------- +ag er +Ġc ould +Ġb r +end s +u res +Ġkn ow +et s +ĠI f +ĠS h +. w +b ack +Ġs er +Ġ+ = +Ġf r +() );Ċ +Ġh and +I nd +UL L +I m +() ;ĊĊ +Ġm ost +Ġtr y +Ġn ow +rou gh +> čĊ +ack age +Ġh im +. _ +if y +Ġb reak +Ġ );Ċ +re n +# define +it t +Ġa p +ĉ c +( n +ĠY ou +: ĊĊ +- m +Ġe very +ust om +li ent +oc ument +cri ption +E rror +- b +Ð ¾ +] [ +9 9 +tr ans +Ġp oint +Ġst d +Ġf il +T ime +8 0 +Ġm od +Ġ -> +Ġ error +a h +Ġt ext +roll er +lo se +q l +Ġp ol +> < +. B +- c +Ġop en +Ġe st +ĠĠĠĠĠĠĠĠ Ċ +Ġn ext +I M +Ñ Ĥ +O T +à ³ +Ġf ollow +cont ent +ĠĠĠĠĠĠĠĠ ĠĠĠĠ +Ġin clud +H E +ĠR es +Ġh ref +Ð ¸ +Ġc ar +yp es +im age +U n +Ġbo ol +A D +Ġg ame +.F orm +row s +* / +vel op +.D rawing +Ġp ath +is ion +Ġe ach +ĠP l +_t ype +P ath +ne ction +Ġa v +' ). +Ġsup port +EN T +re m +" ). +Ġo wn +Ġc or +c ount +m iss +u ally +Ġm em +st d +i ence +se arch +" ĊĊ +F orm +Ġs ex +en ame +Ġs ign +Ġ et +ĠĠĠĠĠĠĠĠ ĠĠ +', ' +ĠA pp +Ġth ose +o ff +Ġ err +Ġs ystem +Ġbe st +c ode +Ġs ame +Ġd i +us s +Ġc reate +ath er +A rray +. in +f e +S ervice +U N +at s +Ġ Z +al th +Ġm ade +tr ue +A B +Ġm ark +r id +if ied +, čĊ +y n +p ress +Ġg roup +Ġf in +ĠL icense +F ield +eg er +Ġw orld +in ess +t y +Ġpro cess +( b +Ġc re +ar n +iv es +Ġm ain +ide o +3 6 +_ g +A G +val id +im g +P I +Ġc olor +Ġre port +Ġt ake +ri b +O M +Ġd ay +Re quest +Ġs k +b ers +ĉ s +.A dd +o ot +Im age +Ġcom ple +ol lection +Ġto p +Ġf ree +A S +D e +ĠO n +I G +9 0 +et a +D ate +Ġa ction +3 4 +O ver +it or +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +n ot +Ġind ex +h er +ic on +O n +;čĊ čĊ +iv ity +m and +.W indows +O L +Ġre al +Ġm ax +l and +.. .. +r aph +Ġbu ild +le g +ass word +? ĊĊ +âĢ ¦ +o ok +u ck +Ġm essage +t est +iv ers +3 8 +Ġin put +Ġar t +Ġbet ween +G et +ent er +g round +en e +à ¡ +.l ength +N ode +( i +C lass +f or +ĠâĢ Ķ +t en +o in +Ġ ke +u i +ĠI N +Ġt able +s ub +ĠL e +Ġhe ad +Ġm ust +//////// //////// +. util +Cont ext +Ġor der +Ġm ov +o ver +Ġcont in +Ġs ay +st atic +.T ext +Ġclass Name +pan y +Ġt er +he ad +r g +Ġpro duct +Th is +. âĢĿ +ĠB ut +7 0 +lo y +Ġd ouble +s g +Ġpl ace +. x +m essage +Ġin formation +pr ivate +Ġo per +c ed +d b +"> +ater ial +ile d +Ġp ut +Q u +Ñ Ģ +un g +m ap +ĉĉĉĉ ĉĉĉĉ +Ġle vel +Com ponent +bo ok +cre en +_ RE +Ġcon fig +ã ģ +O r +. data +Ġd ocument +", " +trib ute +u x +L og +fer ence +p ost +_ e +Ġloc al +and om +ass ert +V al +lect ed +in a +atab ase +A dd +Ġcont ent +.p rint +s igned +r ic +." ĊĊ +Ġf a +! ĊĊ +- f +iv ed +Ġ quest +. ex +Ġf loat +Ġde velop +о Ð +M ap +ad ing +Ġpos s +U E +n amespace +_ O +ĉ b +.G et +> ( +j son +etail s +6 6 +Ġto o +Ġext ends +ĠN one +Ġf ore +( String +form at +Ġg reat +int er +ca le +Ñ ģ +r on +iv ing +E nt +enc y +x t +o y +0 5 +Ġmon th +Ġh app +Ġsup er +b ar +def ault +_ de +ord s +l n +( {Ċ +ĠI nd +as es +Ġt itle +Ġcont ext +0 8 +o h +- p +E m +Ġm et +T est +Ġl ife +_ v +ĠU S +U I +oc ation +m d +Ġ[ Ċ +Ġ ] +s w +Ġin cre +s cript +ent ial +w ays +. de +Ġs rc +Ġc atch +ĠA meric +// Ċ +ĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠ +Ġp ay +pl it +âĢ Ķ +Ġc oun +ob j +.ph p +Ġch ange +eth ing +' re +ast er +lo s +l ation +ĠĠ Ċ +L e +à ¤ +( { +read y +ĠN o +Ġpos ition +Ġo ld +Ġbo ok +able d +b ug +20 2 +H and +} ;ĊĊ +is play +av ing +0 4 +Ġgo ver +Ġv ersion +S ystem +n ect +res ponse +St yle +U p +ang u +Ġth ree +in it +er o +Ġl aw +end if +Ġb ase +em ail +( l +_ V +Ġcon f +AT E +Ġd uring +t es +Ġcon sole +ĠP r +Ġs pe +v es +6 5 +p ath +ial og +d ition +_t o +ard s +Ġagain st +et work +ĠP h +_ L +c ur +im it +W ith +Ġp ower +i um +' ;ĊĊ +Ġw om +le ft +our ces +at ri +ĠI m +ĠM an +or th +$ { +8 8 +qu als +es e +_s ize +Ġis s +ot al +- g +i que +r ame +Ġw idth +er g +) ( +itt le +T R +ĠThe y +enc es +0 2 +r l +on s +Ġl abel +. y +- t +up date +an el +s c +.t o +Ġpro ject +à ¼ +Ġe lement +Ġsu ccess +ĉĉ Ċ +.s h +r am +ch ed +() )Ċ +Ġ( Ċ +Ġd ate +Ġto t +_ ST +A ll +ific ation +ĉ var +Ġt ri +ch em +m y +Ġb ig +ĠA d +ĠA t +ot s +n um +A ct +Ġm ap +er a +co pe +. $ +, âĢĿ +Ġp op +Ġf ew +Ġl en +u id +et ers +u les +Ã Ń +s ource +http s +Ġd em +Ġe ar +######## ######## +Ġm atch +or ies +4 9 +ac es +ĠC l +Ġn ode +7 8 +ir c +loc al +un ity +} ;Ċ +Ġan other +< < +og le +Ġs it +ew ork +T E +. I +N S +olog y +ou ght +.C ont +> > +Ġc are +st ate +ĉ private +Ġe ffect +++ ) +_f ile +end ing +L ine +F or +i or +ĠS c +Ġf un +.S ize +ĉ else +] ) +st art +v ious +Ġ} , +our s +Ġle g +Ġs ervice +Ġs ince +ir on +L abel +Ġn on +Ġl os +ict ion +Ġf ull +act er +bo ard +g ress +Ġt urn +ith er +0 9 +.s ize +Ġb ody +res h +et urn +19 9 +( _ +y les +orm al +p i +Ġsom ething +! -- +u int +Ġpro du +Ġst and +Ġpro ble +Ġav ailable +m t +ĠB l +Ġ ... +Ġb lock +In put +Ġke ep +C ount +op en +Ġ[ ' +Ġth row +uild er +A ction +Ġth ings +Tr ue +Ġ url +ĠB o +print f +Ġre d +j s +.c reate +ĠO r +St atus +In stance +Ġcont rol +Ġcom e +Ġc ustom +loc ation +0 7 +m odel +Ġ čĊ +Ġs ource +Ġe as +. out +] ĊĊ +one y +Ġaw ait +Ġpart ic +A P +ub lish +od es +_p ro +p ly +rit er +Ġpro v +Ġm ill +H T +] )Ċ +Ġch ang +Ġas k +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠ +Ġout put +Ġem ail +6 8 +.p ush +Ġ} čĊčĊ +in ation +4 7 +atri x +T able +u ccess +] );Ċ +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġdis c +( [ +Ġb usiness +he ight +. html +t a +f ield +Ġrequire d +_ R +Ġgover n +} čĊčĊ +le x +5 00 +. , +ĠS et +ur ch +// / +t s +a f +Ġm ight +ist ory +S tr +Ġne ver +Res ponse +ar se +ad a +ĠH ow +Ġ* ) +Ġ ; +Ġh ard +A d +Ġinter n +us ed +( data +m od +ann el +Ġn p +ug g +Ġ/ >Ċ +Ġcal led +b ody +Ġch o +( r +_s et +ir d +Ġ> = +Ġ} ;Ċ +Ġo ptions +ĠG ener +Ġhe ight +P oint +Y ou +et y +C lick +Ġsm all +Ġ ide +Ġacc ess +angu age +Ġprot ected +Ġj ob +ĠTh ere +D ef +Ġadd ress +Ġu int +N ot +o o +ap s +< div +ain ed +at ur +Ġs um +- w +ĠD ate +Ġl ittle +Ġf ri +Y PE +Ġp ort +e h +pr ing +_p ath +Ġst atus +0 6 +a im +bo ol +Ġap pe +Ġo s +. name +ens ion +_ G +Ġup date +Con fig +a ff +ER R +Ġ< = +at ely +# if +u ction +9 5 +ĠT e +Ġl ink +ĠU ser +.f ind +. org +m e +Ġg iven +O ut +# endif +Ġbet ter +P age +Ġfe el +en n +M L +Ġal ready +Ġinclud ing +o ogle +r u +ic ally +pro p +le an +out er +Ġal ways +ord ing +I f +or age +Ġp arent +v is +ĉĉĉĉ ĉĉĉ +Ġg ot +st and +Ġle ss +/ s +ĠA ss +ap t +ire d +ĠA dd +Ġacc ount +p loy +Ġd er +res ent +Ġl ot +Ġval id +ĉ d +Ġb it +pon ents +Ġfollow ing +_ ex +S ON +Ġs ure +oc ial +Ġp rom +ert ies +he ader +.p ro +Ġbo olean +Ġse arch +k en +Ġor ig +Ġ er +E d +E M +a ut +l ing +al ity +By Id +b ed +ĉc ase +4 6 +eth er +pos it +Ġinv est +ĠO R +Ġs ays +miss ion +AM E +Ġtem p +o ad +Ġre st +in fo +Ġinter est +A rg +Ġper form +pon s +ĠV iew +Ġv er +l ib +( const +U til +List ener +ar ge +7 7 +Ġm ult +Ġd ie +Ġs ite +../ ../ +E L +Ġval ues +Ġ} )Ċ +p en +N o +ic ro +Ġbe h +Ġ' ./ +ac y +re c +() -> +ĉ ĠĠĠ +" )) +Cont ent +_ W +ple ment +Ġw on +Ġv ideo +ad i +p oint +% % +0 3 +Ġg l +erv ed +v iron +I F +ut ed +ã ĥ +' m +Ġc ert +Ġpro f +Ġc ell +ar i +Ġpl ayer +a is +Ġc ost +Ġh um +( R +Ġoff ic +k s +.t ext +at ures +Ġtot al +Ġ*/ ĊĊ +o pe +Ġst at +U M +Ġlo ad +ight s +Ġc lear +u ro +Ġte chn +up port +I R +Ġ row +Ġse em +Ġ q +Ġsh ort +ĠN ot +ip p +G roup +se ction +m ax +ir l +Ġover ride +Ġcom pany +Ġd one +" );čĊ +Ġg re +. Re +Ġbel ie +r ist +Ġhe alth +AN T +() ĊĊ +ĠB e +. value +ĠG r +ott om +Ġarg s +P T +st atus +f unc +um ents +- h +N umber +: čĊ +ĠL og +er ver +Ġ) ,Ċ +am ent +Ġob j +in c +Ġchild ren +ic y +I Z +and s +ab ly +Ġdist rib +Ġc ur +er ial +Ġd ays +re ated +re ct +- l +ir m +idd en +om b +Ġin itial +.j s +Ġ â +Qu ery +Ġon line +im al +. con +a u +U rl +cont rol +ire ction +Ġin stance +OR T +ĠF r +wh ere +Ġjav ax +Ġorg an +ap ter +Ġre ason +o ptions +5 9 +ĠM ar +( a +Ġwith in +.âĢĿ ĊĊ +O DE +_ DE +ad min +end ed +Ġdes ign +ĠD ata +un e +ĠF ile +ro ot +Ġc ent +Ġa rr +_ add +l en +p age +, ' +_ str +Ġb ro +ab ility +ou th +5 8 +/ c +p ose +irt ual +ear ch +_ url +arg in +H ttp +Ġs chool +av a +Ġcons ider +.l abel +ĠA rray +4 2 +we b +o pt +.print ln +ul ation +Ġf unc +P L +Ġ" \ +ĠT ext +act ory +(f unction +n ull +Ġen g +d own +Ġin clude +ĠE n +ĠD r +Ġd b +! ! +s ide +Ġin it +quire d +ĠS he +C olumn +re act +Ġan n +Ġst op +Ġl ater +ĠTh at +ent ion +d f +U G +I LE +Ġc lient +ra ft +ff er +PO ST +el per +Ġlo ve +qu ote +ou d +Ġj son +Ġab le +Ġm en +A X +ĠC opyright +à ¶ +av ig +re q +C lient +} );Ċ +.C om +er c +il t +pec ial +_c om +ro om +. Name +Ġg ive +am b +i ke +Ġcon dition +cl ient +ator s +: " +Ġc opy +ut ure +ivers ity +ern al +{ { +ĠC an +ou nc +d o +Ġo cc +Ġapp ro +th ers +z e +Ġe ither +ĠF l +Ġimport ant +Ġle ad +at tr +AR T +E qual +Ġd a +et ch +ent ity +Ġfam ily +add ing +Ġo ption +Ġex ist +ic a +ĠO bject +6 9 +' ve +v ers +ition al +6 7 +out put +ĠTr ue +ĠO F +_t ime +Ġof fer +Ġ} );ĊĊ +H ER +eg in +" " +Ġw ater +Ġc he +ĠM y +ore d +Ġst ep +anc es +C K +A Y +à ¸ +str uction +( C +3 00 +ou ch +St ream +act ive +am a +Ent ity +pro duct +() {Ċ +Ġgovern ment +ĠI D +aj or +A nd +Ġdis play +Ð » +Ġt imes +Ġf our +Ġf ar +Ġpres ent +ĠN S +Ġ\ Ċ +ue st +Ġb as +e cho +ch ild +if ier +Hand ler +Ġl ib +Prop erty +trans lation +Ġro om +Ġon ce +Ġ[ ] +cent er +================ ================ +Ġresult s +Ġcontin ue +Ġt alk +_ get +Ġg row +.s w +e b +ĠP ublic +O P +ec ute +ol s +Ġ ** +" );ĊĊ +Ġm ass +ure d +.c lass +om ic +Ġme an +ip s +Ġa ut +);čĊ čĊ +Ġun til +Ġmark et +Ġare a +u it +Ġl ength +ĠW ith +struct or +e vent +"> < +ĠS p +I V +Ġm us +if f +Ġk ind +a uthor +ound s +m b +_ key +4 1 +w idth +posit ory +Ġl ight +u k +R ow +oh n +al f +viron ment +app er +ollection s +Ġs ide +_in fo +Ġex ample +im ary +Ġw r +Ġc amp +cri be +25 5 +" / +Ġm iss +w ay +Ġb ased +Ġpl an +V is +om ain +un k +Ġaw ay +U P +< T +O S +i od +ĠM on +âĢĻ re +Ġli k +à § +iv ely +. v +im er +iz er +S ub +Ġbut ton +ĠU p +Ġexper ience +C L +Ġre nder +_ value +Ġn ear +UR L +al t +Ġcoun try +ib ility +5 7 +() ,Ċ +e ad +Ġa uthor +Ġspec ific +b ase +( name +on es +ĠD o +Ġal ong +y ear +Ġexp ress +. ' +en v +Ġbeg in +Ġso ftware +Ġim p +Ġw in +ó n +Ġth ing +Tr ans +ĠT HE +Ġ< ? +Ġwh y +Ġdoes n +i j +g ing +ĉ g +Ġs ingle +off set +ar ning +og raph +le y +_c ount +Ġan al +cre ate +/ m +ĠR eg +9 8 +un ch += $ +is k +Ġright s +( M +Ġ"" "Ċ +ap er +.m odel +Ġp o +em pty +art ment +Ġa nt +ĠWh en +Ġwom en +ĠE d +Ġse ason +Ġde st +à £ +( h +Ġposs ible +Ġse ver +Ġb tn +Ġdid n +Ġs ent +Ġen c +Ġcomm and +Ġ ],Ċ +_ x +Ġre cent +ol ution +v ector +ĠB y +ĠM ay +ĠA ct +» ¿ +Ġm oney +IN T +bs ite +ĉ p +. čĊ +ï »¿ +s l +atter n +ĠC lass +Ġto ld +ud io +c urrent +Ġe qu +Ġa uto +ĠSt ate +d a +ms g +)) ;ĊĊ +Ġwork ing +Ġqu ery +ĠB r +Ġw indow +a uth +on ly +ĉ t +Ġle ast +ag n +Ġex pl +it ter +ar ing +Ġc olumn +ĠGener al +": " +er al +ri or +Ġrec ord +I B +E X +Ġd at +Ġm aking +u ed +ĠC ar +em p +" . +ĠM ed +Ġc lose +Ġper cent +Ġp ast +( g +: ( +Ġw rite +Ġm ove +Ġp at +Cont rol +.T o +Ġv i +*/ Ċ +in ate +' ll +ag ed +N ull +Ġspec ial +IZ E +Ġc ity +/* Ċ +ĠE ng +ix ed +in ary +p y +Ġe ff +ar io +Ġt ell +av or +Ġse lect +le vel +im um +op er +B uilder +I P +') ,Ċ +es c +Ġf ont +" ;ĊĊ +ĠA m +ish ed +ill s +Int er +O W +Ġcour se +Ġl ate +idd le +4 3 +Ġam ount +Ġas ync +in o +c ul +Ġ ì +and le +_ user +Ġb en +ĠC al +Ġ$ _ +ĠR ep +Ġen ough +T oken +. user +( j +S c +W idth +n ow +at form +Ġlook ing +Ġh old +M odule +IT Y +v o +is on +.D ata +y c +Ġp ot +ĠTr ump +id ual +id es +r t +Ġprop erty +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠ +am ework +g o +Ġl ow +Ġpar a +Ġpr ice +ur y +Ġto day +ro y +Ġ' / +Ġpol it +Ġ' ' +ym b +P h +Ġad v +Ġatt ack +ĠS te +RO M +4 00 +an a +Ġme ans +Ġst ory +id s +ak en +Ġme et +Ġm om +ĠâĢ ĺ +Ġ? > +Ġd en +ob ile +ch ange +ĠĠĠĠĠĠĠĠ ĠĠĠĠĊ +ic i +n a +ĠF orm +Ġs ort +Se lect +p are +Ġth ought +_ con +Ġt ask +oc us +ĠD E +ĠM in +Ġo pt +ĉb reak +um er +K E +th en +Ġd et +ĠT est +port s +Ġre view +(' / +m ove +Ġsw itch +ER T +p atch +ann ot +ã Ĥ +Ġab ove +it ive +5 6 +Ġquest ion +ĠQ u +ãĢĤ ĊĊ +g le +Ġw ord +Ġprov ide +ĠR eturn +Ġre search +ã o +u str +Ġp ublish +chem a +} } +ĠC ON +- in +all back +Ġco ver +\ \ +c olor +ĠI S +Ġwh ether +im ate +is c +B ar +Ġd iv +B e +our n +Ġh aving +le m +pl ayer +ab s +am era +ne y +Ġex c +get her +pl ied +a o +[ $ +Ġ+ + +i pe +sh ow +/ d +[ : +ag ement +le v +_ ID +9 7 +r ary +ad es +_ se +a use +Ġem ploy +Ġ*/ čĊ +Ġf re +Ġ' @ +Ġcomple t +Ġl arge +r al +\ x +Ġf ac +< String +Ġcre ated +up er +.st ate +Ġh ost +ener ic +/ b +( ! +wh ile +i as +B UG +Ġ );ĊĊ +Ġro le +Re g +ĠC olor +St art +Ġp orn +t op +Ġwe b +Ġde v +Ġde al +++ )Ċ +Int eger +pos ition +. on +Ġ( " +ä ¸ +Ġproble m +s v +Ġp ress +AB LE +AT ION +ĠSe e +an ch +Ġth ough +le ep +Ġ< !-- +Ġpoint s +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠ +. J +Ġ :: +p tr +D B +++ ;Ċ +.p ng +n ode +so ft +pon d +Ġe ver +-------------------------------- -------------------------------- +M enu +(' # +Ġs ervices +p g +} )Ċ +param s +Ġact ually +Ġ" / +Em pty +M ethod +Ġid ent +un ic +Ġmill ion +Ġa ff +st yle +Ġcon c +i os +ign ment +UL T +P r +" ;čĊ +Ġunder stand +u ary +Ġhapp en +Ġser ver +ĠC o +S C +Ġle s +Ġfile s +G rid +s ql +Ġof ten +Ġin fo +_ tr +s rc +on y +Ġsp ace +um b +Ġpass word +Ġst ore +, ĊĊ +ĠWh at +g ed +ĠF alse +U s +sw er +_ index +Ġform at +m ost +s m +N ew +Ġd etails +Ġpro b +ĠAN D +() čĊ +il ar +Ġ$ { +ry pt +.C ollections +$ this +ĠF ree +_ of +(f alse +d ated +Ġ> > +Ġf ace +CT ION +Ġs ave +Ġt yp +de v +(" # +AG E +cont ainer +ed it +Q L +Ġitem s +Ġs ocial +i en +ĠRe act +) .ĊĊ +Ġm ar +Ġre du +ĠR E +.p ut +Ġm ajor +C ell +n ext +Ġexpect ed +Ġy et +Ġin div +trib utes +at is +am ed +Ġf ood +S ource +( string +Ġ+ Ċ +it es +d r +Ġmem bers +Ġcom b +item s +ĠP er +T H += True +Ġb ar +_ SE +com m +( w +)ĊĊ Ċ +Ġs end +Ġin c +un signed +F A +Ġparam s +app ing +ro s +ug in +f a +Ġcon nection +Ġ} ;ĊĊ +Ġbe come +M ode +Ġe v +Ġdif f +ĠUn ited +He ight +ful ly +im ages +Ġm akes +Ġg lobal +Ġcont act +' :Ċ +Ġab s +а Ð +f loat +Ġex cept +ĠP ol +Ch ild +t yp +Ġcert ain +i ón +O UT +Ġim pro +ile s +Ġ-- >Ċ +ĠP art +val ues +os s +/ ** +il it +ĠE vent +cur ity +st er +Ġchar acter +19 8 +Ġnew s +Ġ" , +Ġde vice +c el +log in +he et +Def ault +@ " +ĉ Ġ +c lick +( value +ĠA b +Ġpre vious +ERR OR +oc al +Ġm aterial +Ġbel ow +ĠCh rist +Ġmed ia +co ver +ĠU I +Ġf ail +Ġbl ack +Ġcom ponent +ĠAmeric an +Ġadd ed +Ġbu y +st it +Ġc ame +Ġde lete +prop erty +od ing +Ġc ard +rop s +Ġhttp s +Ġro ot +Ġhand le +C C +B ack +em plate +Ġget ting +_b y +m ail +_s h +. assert +ĠD ec +( true +Ġcom put +Ġcl aim +' => +ĠS ub +Ġa ir +op s +n av +em ents +( id +Ġent er +ang ed +E nd +Ġloc ation +Ġn ight +Ġdo ing +ĠR ed +l in +}ĊĊ Ċ +vid er +Ġp ick +Ġw atch +ess ages +Ġhum an +Ġd am +p end +d ir +Ġt ax +Ġg irl +re et +Ġbo x +Ġstr ong +( v +re l +Ġinter face +Ġm sg +f ect +_ at +Ġh ouse +Ġtr ack +' );ĊĊ +j e +ĠJ ohn +ist r +( S +ub e +Ġc e +itt ed +V ER +* ) +p arent +Ġapp lication +an y +.sw ing +Ġp ack +\ u +Ġpr act +Ġse ction +ct x +Ġun signed +.P oint +ĠO ne +Ä ± +ip le +a id +Ñ ĥ +V ector +by te +Ġw ait +Ġà ł +à ¥ +Ġto gether +Ġth rows +F O +' )) +h ost +is ing +. view +Ġter ms +fr amework +- r +Ġapp ly +Ġs ession +O ptions +ugg est +Ġo thers +w itter +Ġf und +In it +__ ( +ens or +G ET +Ġsever al +i i +[ j +I O +Ġtem plate +P osition +Ġe con +ach ine +Ġ il +.s pring +m ain +el t +im ent +Re c +m m +ĠUn iversity +urs or +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠ +G L +ict ure +ith ub +c er +c ast +F rom +a les +Ġsub ject +p assword +n y +Ġes c +.w rite +ï¼ Į +Wh at +. H +Ġh istory +ĠF e +Ġindiv idual +un it +Ġ-- > +Ġd u +I ST +Ġus ers +f s +f alse +un t +T itle +Ġm ot +Ġf uture +ach ed +Ġstart ed +Ġm ode +Ġ' < +_ array +Ġa x +'] ;Ċ +i res +Th ere +ug ht +t ml +pos ed +ic ult +Ġto ok +Ġg ames +Ġ} } +Ġ? >Ċ +Ġproduct s +I s +Ġb ad +ĠD es +.p ath +' ĊĊ +ĠP ost +av el +( : +15 0 +Ġneed s +Ġkn own +F l +Ġex ec +Ġse en +5 1 +um e +Ġb order +Ġl ive +tem p +P er +Ġvar iable +i et +ĠD ef +Ġg e +em e +_b ack +f irst +Ġprovid ed +//////////////// //////////////// +Ġfil ename +Ġh ope +ul y +a uto +f ind +_ string +b tn +it ude +At tribute +Ġyou ng +.t xt +Ġwe bsite +ĠP rop +Ġe y +> ();Ċ +ion al +AR R +iction ary +ur ther +. +t x +Ġp ur +u el +ymb ol +u ation +ang er +Ġback ground +ec ess +ef ined +.... .... +Ġdes cription +Ġrep resent +") );Ċ +press ion +row ser +Ġser ies +ward s +5 2 +($ _ +a ise +Ġh ot +ac ity +ri es +action s +C reate +ad io +amp les +Ġorig inal +ens ive +f ont +st ream + using +.spring framework +00 1 +ser ver +Ġb ill +AC K +il ename +Ġfr ame +Ġ= Ċ +Ed it +adi us +Ġd raw +ank s +Ġd eter +Ġcom es +_ int +Ġfore ach +ang le +Ġe lect +pect ed +He ader +ist ration +F alse +ĠG ame +Ġfil ter +Act ivity +Ġl arg +in ition +Ġ" < +25 6 +is ed +Ġrem ove +ĠTr ans +m et +se e +Form at +Com mand +ĠE X +N one +Ġfr ont +A SE +ĠR ec +ound ation +Ġv o +9 6 += \" +( * +Ch ange +.W rite +g roup +i ents +u y +******************************** ******************************** +Ġd ig +h r +( - +Ġg en +n umber +ve c +uro pe +ent ry +L L +Ġst e +Val id +'] , +_p aram +Ġse lected +Ġacc ording +ĠD is +Ġ util +B uffer +_ error +Ġass oci +_S IZE +Ġw or +Ġprint f +r ag + ł +D D +ĠV al +Ġact iv +E ng +et ime +Ġv irtual +a ign +a ur +ĠP res +ĠEx ception +Ġany thing +ĠO ff +Ġh ours +Ġw ar +Arg s +ag ing +Ġmodel s +ĠT ime +O b +am s +j oy +Ġear ly +. read +8 6 +Ġc enter +ĠIn itial +Ġl anguage +l ength +x y +Ġs n +Ġin f +P ost +Ġag o +Ġeas y +_c ode +ĠAN Y +_ ch +Ġdown load +( T +av ed +âĢ ĵ +Ġstud ents +Ġf ig +l ight +x x +Ġbu ffer +ĠD ep +ĠM ath +IT H +Ġvar i +Ġd ue +F actory +Ġp or +Ġe p +ot ype +Ġcan not +Ġwh ite +< int +ter n +Ġreg ister +Ġpre d +cl us +_d ate +Ġ/ ** +Ġa uth +Ġ[ ]Ċ +Ġper iod +n own +Ġv ot +Ġs creen +' d +T ypes +Ġt mp +е Ð +ur al +Ġben ef +_ y +Ġn et +ĠSt ates +'] [' +ĠN e +ĠN OT +Ġn eg +10 2 +Ġcomm on +s cope +Ġc red +g es +_T YPE +Ġs uggest +o om +.ĊĊ Ċ +Ġac cept +Ġr andom +er m +ĠV ector +w ith +T ER +( str +Ġres pons +Ġh it +.S et +gr id +ri a +Ġc lick +und le +C ase +ins ert +Util s +Ġ"" " +Ġim plement +at al +tem pt +tem plate +oc r +return s +Ġplay ers +us ers +ed ef +ĠTh ese +Ġam ong +Ġde b +h a +.get Element +Ġc irc +Ġan swer +Ġw alk +Ġt reat +ĠG e +ĠC reate +Ġa ge +Ġre q +O ST +ang ular +Ñ ı +Ġf ive +5 3 +Ġdistrib uted +Ġfri end +T P +Ġc lean +ow s +.Control s +d is +Ġw ords +. io +z y +Ġhe ader +ĠC heck +âĢĻ m +j ust +h older +=" čĊ +. annot +Ġcol lection +' . +Ġsim ilar +Ġt aken +(" % +Or der +'] Ċ +-m d +ĠT H +ac ed +Ġis n +/ j +Ġs on +gr aph +ĠInt eger +Ġn ecess +re en +Ġ um +Ġ\ < +Ġmom ent +Ġbr ing +Ġind ic +ys is +Le vel +ver se +urre nc +_t est +Ġent ire +D own +Ġ}ĊĊ Ċ +( result +ĠRe ad +à ¨ +M od +Ġtry ing +") ,Ċ +Ġm ember +ĠC or +OD O +- control +un time +ĠS im +D ialog +pl ot +_ on +Ġph ys +} / +Ġn amespace +ĉ čĊ +ac c +Pl ayer +A RE +8 9 +Ġf oot +Ġbo ard +p art +Ġs us +w ise +ĠM c +Ġp ush +AT A +Ġp lease +ri ed +we et +b it +id ed +V E +ĠS w +U B +Ġt ypes +ed ia +Ġc los +ace book +Wh en +Ġed it +ig ger +Ġen erg +Cont ainer +Ġph ot +ĠC ount +ĠE urope +.I s +ĠR uss +pe ed +ĠS tr +Ġp y +Ġc ult +Ġdef ined +cc ount +Ġob t +.L ocation +Ġth read +il le +Ġinst ead +str ong +ĠS ec +U RE +Ġide a +. se +em y +select ed +Con nection +ac ing +th read +.n ext +Ġc oll +Ġfil m +ist ic +Ġcomp et +Ġcon n +th ough +Ġcom pan +ock et +Ġte ach += ( +Ġph one +Ġact ive +7 9 +de lete +10 1 +tr ies +Ġm o +Ġde ath +} );ĊĊ +oc ol +W idget +Ġart icle +ro du +and id +Ñ ĭ +ĠC r +k a +() : +lo od +ĉĉĉ Ċ +Ġal most +Ġs ell +erv let +ri p +Un it +Ġapp lic +Ġcon nect +Ġfe ature +Ġv ia +' ), +Ġl im +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +ĠG u +Eng ine +Ġen s +Ġen vironment +b lock +HER E +N ULL +g y +t ag +) ). +ex p +Ġcom pl +Ġinst all +Ġcomple te +que ue +atur al +Ġgener al +th on +Ġask ed +o res +( res +Ġres erved +S P +ĠâĢ ¦ +Å Ĥ +Ġsign ific +O ff +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠ +ĠA g +ĠJ ust +ĠE rror +Ġin fl +ad ata +Ġ icon +ask s +' ' +_ LO +? . +ac count +Ġ( * +' )ĊĊ +r ap +_ var +ĠF OR +Ġpart y +ĠY our +c at +str y +. new +bo ot +ĠN ov +Ġv ector +Ġn ormal +Ġf urther +Re pository +8 00 +Ġd atabase +att le +Ġmus ic +Ġspe ed +Ġd oc +pro cess +IG HT +.p arse +Ġt aking +Ġvi ol +ce ed +ĠA fter +Ġfor ward +Ġc rit +"/ >Ċ +ro t +Ġfa iled +ef ore +Ġconc ern +o e +b a +Ġs ender +Ġter m +h as +=" # +Ġpot ential +N um +Ġpublish ed +.c lose +ĠIm age +str aint +U D +ĠO b +Ġprob ably +l im +" :Ċ +olum e +Ġcon sum +7 6 +ag ue +ens ions +Ġinvest ig +- year +') ; +-s m +Ġen joy +or ig +er ing +c p +le ased +ple ments +Ġreturn s +p at +B O +ĠH ouse +.L abel +Ġwe ight +igh b +Ġcondition s +Ġex ception +d escription +Ġtr ad +- to +Ġ{ } +Ġmod ule +EN D +. ap +.p rops +Ġcon structor +av es +Ġf avor +ĠN ow +; i +ĠM ain +_ k +er ies +âĢĻ ll +trans form +imest amp +P re +Ġm er +. res +st ant +L ocation +_N AME +Ġlos s +Ġ ĊĊ +n et +Ġeng ine +B lock +Ġiss ues +Ġpar se +ĠB ar +Ġst ay +ĠJ SON +Ġd om +air s +w ner +Ġl ower +", čĊ +ĠD em +uf act +Ġp s +Ġper fect +R L +Ġed uc +l s +em ory +ARR ANT +u ge +Ġex act +. key +al led +e ch +ie f +\ / +o ke +Ġfor mer +al loc +Ġs ix +id a +Ġm argin +Ġhe art +al d +p ack +.getElement ById +ĠW ARRANT +Ġr ather +Ġbuild ing +er man +lic e +Ġquest ions +iz es +le ge +irect ory +Ġj e +Ġc as +pro ps +ut f +Ġse curity +Ġhow ever +we ight +Ġins ide +Ġpres ident +Ch ar +ĠW ITH +.m ap +Ġgr aph +Ġt ag +_st atus +Ġat tempt +op p +us es +ĉ const +Ġr ound +, $ +Ġfri ends +Em ail +? > +Res ource +KE Y +os p +. query +ĠN orth +able s +ist rib +_c lass +el lo +Th at +Ð º +pecial ly +ĠPres ident +Ġcamp aign +Ġal t +are a +Ġch all +Ġop port +.C on +Ġenerg y +li ke +. string +ing ton +) * +y y +Ġprof ession +ir th +Ġse g +æ ľ +Ġh or +i ers +c an +Ġbeh ind +Pro duct +f g +ĠS k +.j pg +? : +] ;ĊĊ +Ġcall back +ĠH ttp +Ñ Į +l ong +M S +AT H +Ġr aise +Ġwant ed +row n +ut or +l t +] = +el ine +M A +Ġse par +c s +se mb +D is +bs erv +ĠW ill +Ġpol icy +Ġth ird +ph one +Ġb ed +/ g +. __ +ĠIn c +iz ing +.re move +in stance +.t ype +Ġs erv +E ach +Ġh ar +ĠM essage +( key +SE LECT +P os +)) ;čĊ +Ġre comm +Ġtr aining +ĠE nt +ĠCh ar +ic ht +(f ile +Ġp rior +G ame +Ġex it +Param s +.c ore +P C +n es +anc ed +( request +P assword +} >Ċ +Ġm ag +Ġre lease +Ġsh all +ud ent +ĠS outh +and o +: ' +.Tab Index +s k +ann er +is set +Ġout side +led ge +Ġ å +ĠR ob +Ġim m +! Ċ +ĠWe b +D es +B C +anc ial +R oute +D ec +fer ences +Ġp urch +ĠM odel +ct or +g n +_st art +_ un +. * +is es +Ġg round +Ġun ique +Ġbe aut +{ " +Ġp our +ĠO ct +Ġt ree +set s +_ res +') -> +_re g +(" \ +Ġby te +B l +Ġd ating +Ġm atter +ĠR em +Ġ' ../ +ĠA ug +ĠL a +Ġ$ ( +ourn al +11 1 +i am +Ġshow s +w rite +Ġb all +Ġsim ply +Ġf ast +Ġmem ory +A SS +ĠO f +ov ed +ant e +a ul +ist ry +)) );Ċ +Ġf it +< string +Ġpolit ical +anc el +_ . +c ard +.c urrent +o ch +_ image +\ t +# Ċ +( L +Ġindu stry +com ing +Ġex tra +6 00 +Ġreport ed +.st art +Ġres ources +Ġim g +fl ow +_E X +(n ull +ĠP re +Ġwr ong +inter face +Param eter +n ers +á » +t ure +ers ist +oun try +Ġseem s +al ance +de st +ĉ String +Ġm aint +Ġun it +act ers +ĠT R +if ul +export s +pro ject +App lication +leg ate +Ġt akes +ter m +Ġet c +ust er +Ġappe ar +add ress +Ġf em +h s +Ġh om +, - +Ġdiff icult +Ġcom ing +O pen +Ġset tings +ĠW ar +ĠTh en +Ġaut om +ĠF oundation +Ġqu ite +D escription +Ġb log +i qu +P S +1 10 +_f ield +J son +SS ION +ĠS ch +ĠL O +Ġdes cri +Ġevery one +Ġpret ty +Ġlong er +Ġm enu +Ġcurrent ly +se c +Ġrelations hip +################ ################ +ĠM ap +as et +Ġparam eters +Ġcr ush +" čĊ +IL ITY +ig ration +Ġc out +t otal +Ġn ames +nd ef +") ; +ri end +yn amic +Ġeff ort +Ġact ual +Ġfield s +O UN +t ers +25 0 +Ġf ix +_m odel +Ġc ases +C A +M y +Inter face +ĠS E +19 6 +] ] +al le +ĠN ational +ĠArray List +in line +. V +ar a +ref ix +as c +Re ader +ĠÐ ¿ +ast ic +( () +C l +.annot ation +Ġperform ance +ail y +.to String +.n et +view s +. end +ay ers +l ate +ĠA pr +ed eral +'] ) +.b ody +Ġhigh er +_f l +c r +al ert +_n ode +ĠG oogle +Ġit self +A uth +urrenc y +Ġsignific ant +app end +Ġres pect +str ap +Ġun a +riter ia +P ORT +.ap ache +Out put +Ġpro gress +Ġm id +ĠM icrosoft +Ġres ource +ab lish +Ġd im +. load +.A pp +Ġd irection +Ġadd itional +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠ +Ġnum bers +Ġcompan ies +.T h +Ġs ound +user name +Ġstat ement +Ġal ert +Ġcon tract +h ome +_l ength +.Com ponent +e v +. Ex +ï¼ ļ +" ; +ĠH igh +Ġ )ĊĊ +ĠP oint +op h +Ġl ines +-> _ +" )ĊĊ +o x +app lication +Ġ ]Ċ +ĊĊĊĊ ĊĊ +18 0 +Ġso on +ction s +ing er +Ġj oin +ĠP e +Ġ ë +Ġl as +. E +c ss +/ or +ĠSt art +ĠT O +Ġsub s +con n +com ponents +DE BUG +qu are +F unction +end ar +. index +Ġf ill +Ä Ļ +Ġcho ose +h ow +ĠAmeric a +ass ets +-------- ---- +ĠV alue +Ġoff ice +Ġv eh +Ġtrans form +ĠAr t +Ġin de +Ġf n +Ġim plements +ang o +ple te ++ " +t mp +am ily +Ġhas h +miss ions +E ST +g t +Pro vider +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠ +Ġfl ag +Ġpartic ip +d en +ĠReturn s +Ġnot e +ü r +p m +ide os +Ġspec ified +ĠE N +est er +ol id +Ġup on +( std +ĉ v +Ġ' \ +u z +Ġv ert +Ġv ict +ĉ self +Ġ" $ +8 5 +. k +Ġgroup s +g ithub +l ang +Ġm ut +T O +Ġv e +ĠP lease +;ĊĊ Ċ +ac cess +Ġ{ " +re a +Ġr isk +ick er +og gle +ĉ while +AN G +.s end +7 2 +Ġwom an +Ġget s +Ġ ign +ĠI d +_ log +ON E +Ġe vid +ĠH ar +_s ub +Ġend l +Ġinclud ed +() );ĊĊ +ĠA p +ig r +Ġs em +ĠBl ack +d oc +_t able +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +- up +Ġca use +Ġ .. +Ġv an +_d ict +Ġf ocus +IN D +CE SS +.L og +Ġmult iple +id o +Ġreg ard +- M +and ler +our se +Ġde g +. U +Ġadd ition +Ġvar ious +Ġrece ive +е н +ĠH T +Ob j +D F +Ġincre ase +ĠO pen +] ; +Ġcomm it +? Ċ +ateg ories +at ory +sh ip +ĠM ich +Ġh tml +rom ise +Ġle ave +Ġstr ateg +av en +ĠCon sole +k nown +- n +_ LE +.com ponent +Ġb re +S ession +i ance +Ġal ign +typ edef +_ result +ĠW HERE +.s plit +Ġread ing +FA ULT +Ġc lo +Ġnot ice +_p r +ar ter +Ġlo ck +Ġstand ard +et ic +ell ow +Ġp adding +ĠH is +Ġst ates +_c ast +( P +a a +Ġintern al +e an +ĠP RO +ĠK ey +Ġes pecially +m ing +Ġc ross +Ġn ational +_ object +f ilter +Ġs cript +. update +_ i +ĠAss ert +/ core +%% %% +Ġproble ms +ist or +Ġ. = +Ġar ch +Ġwrit ten +Ġm ilit +M ENT +. ch +ca pe +ĠM us +_ config +ĠA PI +fo ot +Ġim ages +end l +. In +F irst +Ġpl atform +.pro t +O ption +st e +ĠT ODO +Ġfor ce +. cont +ĉ echo +ĠD av +P tr +( B +R T +ĠB ase +] [' +Ġann ounc +con sole +ĠP y +d s +. as +Ġpre vent +ap an +Ġ{ ' +} ' +Ġde ad +V AL +Q UE +**************************************************************** ******** +Ġch arg +R eturn +Ġf ul +d om +Ġr ules +Ġmod ify +Ġe val +h am +at ement +\ < +ul a += False +R A +Ġcont ains +7 4 +Ġst ack +m ar +Ġ{ }Ċ +Ġund efined +A ss +ĠCh ina +ve y +* Ċ +Ġplay ing +) / +act or +Ġb ottom +li er +ĠN umber +Ġcou ple +D C +ĠS O +g or +.set Text +s uccess +com mand +F ilter +ĠO ur +_ item +Ġc tx +Ġro ad +V ersion +c ase +ur t +av ior +y ch +semb ly +ĠPro duct +Ġh eld +a fe +Ġinclud es +< quote +Ġa void +ĠF in +ĠM od +Ġt ab +an o +à ± +ipp ing +- e +Ġins ert +t arget +ch an +.M odel +IM E +\ Ċ +Ġm achine +av y +ĠN O +ĠInt er +Ġoper ation +mod al +T ag +] : +Ġprodu ction +Ġare as +Ġre n +_f rom +n bsp +Ġoper ator +m en +app ed +_p er +z en +(" . +.s ave +=" {{ +Ġt or +( response +Ġc andid +Ġcon v +a iled +ĠL ib +com p +ur a +ï¿ ½ +ĠH ere +Ġarg ument +h ood +Ġest ablish +ograph y +Ġon Click +amb da +Ġs ch +Ġmov ie +Ġse c +Ġact ivity +Ø § +Ġs ql +_ all +inc ip +Ġprovid es +Ġs ys +ack et +Ġwas n +Ġus es +ĠF unction +.g oogle +ĠRes ult +8 4 +Vis ible +ag ma +el come +ĠS y +ĠC ent +AL SE +ac ión +EX T +Ġl icense +ĠL ong +Ġacc om +Ġab ility +. height +Act ive +olog ical +ol y +)) , +.S e +Ġparam eter +pr ite +AB ILITY +.s ervice +ĠG roup +_ query +ĠI tem +in ing +Ġj ud +im s +f ix +ind er +ag ram +Ġfunction s +Ġexper i +ĠE m +Ġro t +Ġp en +.b tn +ĠA S +#if def +Ġcho ice +ĠP age +_P RO +Q U +å ı +ant ity +Â Ń +word s +Ġread only +Ġf lex +prot ected +ĠAn y +Ġchar acters +enc ed +ĠJ uly +il er +C ard +ur ance +Ġre v +.e vent +al y +1 30 +Ġwon der +ĠP ort +Ġleg al +ro le +Ġt en +Ġgo es +M P +wh ite +): čĊ +)) čĊ +Ġre ference +Ġm is +ĠPro ject +ick s +> & +C ON +Ġre pl +Ġreg ular +St orage +ram ework +Ġgo al +Ġt ouch +.w idget +Ġbu ilt +d es +P art +( re +Ġw orth +h ib +g ame +9 1 +19 2 +ĠÐ ² +ac ion +ĠWh ite +(t ype +( ` +8 1 +Ġn atural +Ġin j +Ġcal cul +ĠApr il +. List +Ġassoci ated +ĉ System +~ ~ += [ +Ġst orage +Ġby tes +Ġtr avel +Ġs ou +Ġpass ed +! = +as cript +. open +Ġgr id +Ġb us +Ġrec ogn +A b +Ġh on +ĠC enter +Ġpre c +b uild +7 3 +HT ML +ĠS an +Ġcoun tries +a led +t oken +k t +Ġqu al +L ast +ad ow +Ġman ufact +id ad +j ango +N ext +x f +. a +Ġporn o +ĠP M +er ve +it ing +_ th +c i += None +g s +Ġlog in +at ives +'] );Ċ +Ä ħ +Ġ ill +I A +child ren +D O +Ġlevel s +Ġ{ { +Ġlook s +Ġ" # +To String +Ġnecess ary +ĠĠĠ Ċ +c ell +En try +Ġ' # +Ġext rem +Select or +Ġplace holder +L oad +Ġre leased +O RE +En umer +ĠT V +SE T +in q +P ress +ĠDep artment +Ġprop erties +Ġres pond +S earch +a el +Ġre qu +ĠB ook +/ Ċ +( st +Ġfin ancial +ick et +_in put +Ġth reat +( in +Str ip +ì Ŀ +ç ão +7 1 +Ġevid ence +)) ; +ĠB ro +Ġ[ ];Ċ +Ġ ou +b uf +S cript +d at +Ġr ule +# import +=" / +S erial +Ġstart ing +[ index +a e +Ġcon trib +s ession +_ new +ut able +o ber +Ġ" ./ +Ġlog ger +Ġrecent ly +Ġreturn ed +č čĊ +)) )Ċ +ition s +Ġse ek +Ġcomm unic +Ġ" . +Ġuser name +E CT +D S +Ġother wise +ĠG erman +. aw +Ad apter +ix el +Ġsystem s +Ġd rop +8 3 +Ġstruct ure +Ġ$ ("# +enc ies +ann ing +ĠL ink +ĠRes ponse +Ġst ri +Å ¼ +ĠD B +æ Ĺ +and roid +sub mit +ot ion +9 2 +( @ +.t est +8 2 +ĊĊĊĊ ĊĊĊĊ +] ;čĊ +Ġdirect ly +Ġ" % +r is +el ta +A IL +) {čĊ +m ine +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠ +( k +b on +as ic +p ite +__ _ +M ax +Ġerror s +ĠWh ile +Ġarg uments +Ġens ure +R ight +-b ased +We b +Ġ- = +Ġint rodu +ĠIn st +ĠW ash +ord in +j oin +D atabase +Ġgr ad +Ġus ually +IT E +Prop s +? >Ċ +ĠG o +@ Override +RE F +Ġ ip +ĠA ustral +Ġ ist +View ById +Ġser ious +Ġcustom er +.prot otype +od o +c or +Ġdo or +ĠWITH OUT +Ġpl ant +Ġbeg an +Ġdist ance +() ). +Ġch ance +Ġor d +c ame +pr agma +Ġprot ect +rag ment +ĠN ode +en ing +Ñ ĩ +Ġr oute +ĠS chool +h i +Ġne ighb +A fter +lic it +Ġcon tr +Ġpr imary +A A +.Write Line +util s +Ġb i +R ed +.L inq +. object +Ġlead ers +un ities +Ġg un +on th +ĠDe v +F ILE +Ġcom ments +_l en +ar row +am ount +R ange +s ert +Grid View +Ġup dated +ĠM o +Ġin form +oci ety +al a +A ccess +Ġh ab +Ġc reat +_ arg +ĠJan uary +ĠD ay +") čĊ +up le +d ocument +gor ith +m enu +ĠO ver +b b +.t itle +_ out +Ġle d +ur i +Ġ? >Ċ +r un +Ġsc ene +( array +de vice +_t itle +ag on +] čĊ +ab y +Ġbe came +bo olean +Ġp ark +ĠC ode +up load +rid ay +ĠSept ember +F e +Ġs en +c ing +F L +C ol +ut s +_p age +in n +Ġim plied +al ing +Ġyour self +.C ount +con f +Ġa ud +_in it +. ) +Ġw rote +00 3 +N G +. Error +ä » +.f or +Ġe qual +ĠRe quest +Ġser ial +Ġallow s +X X +Ġm iddle +ch or +19 5 +9 4 +à ¸ +erv al +.C olumn +read ing +Ġesc ort +ĠAug ust +Ġquick ly +Ġwe ap +ĠC G +rop ri +h o +Ġc op +( struct +ĠB ig +Ġv s +Ġfre qu +. Value +Ġaction s +Ġpro per +Ġin n +Ġobject s +Ġm atrix +av ascript +Ġon es +.g roup +Ġgre en +Ġp aint +ool s +y cl +enc ode +ol t +com ment +. api +D ir +Ġun e +iz ont +.p osition +Ġdes igned +_ val +av i +ir ing +t ab +Ġl ayer +Ġview s +Ġre ve +ra el +ĠO N +r ics +16 0 +n p +Ġc ore +() );čĊ +M ain +Ġexp ert +ĉĉ čĊ +_ en +Ġ/ > +ut ter +I AL +ail s +ĠK ing +*/ ĊĊ +ĠM et +_ end +add r +or a +Ġ ir +M in +Ġsur pr +Ġre pe +Ġdirect ory +P UT +- S +Ġe lection +h aps +.p re +c m +Val ues +Ġ" Ċ +c olumn +iv il +Log in +in ue +9 3 +Ġbeaut iful +Ġse cret +(e vent +Ġch at +um s +Ġorig in +Ġeffect s +Ġman agement +ill a +t k +Ġset ting +ĠC our +Ġmass age +ĉ end +Ġhapp y +Ġfin ish +Ġc amera +ĠV er +ĠDem ocr +ĠH er +( Q +con s +it a +Ġ' . +{ } +ĉ C +Ġst uff +19 4 +Ġ :Ċ +ĠA R +T ask +h idden +er os +IG N +at io +ĠHe alth +ol ute +Ent er +' > +ĠT witter +ĠCount y +s cribe +Ġ= >Ċ +Ġh y +f it +Ġmilit ary +Ġsa le +re quired +n on +boot strap +h old +r im +- old +ĠD own +Ġm ention +cont act +_g roup +od ay +Ġto wn +Ġsol ution +u ate +ell ing +] -> +ot es +ent al +om en +osp ital +ĠS up +_ EN +Ġsl ow +SE SSION +Ġbl ue +ag o +Ġl ives +Ġ ^ +. un +in st +en ge +Ġcustom ers +Ġc ast +ud get +ï¼ ģ +ic ens +Ġdeter min +Se lected +_ pl +ue ue +Ġd ark +// ĊĊ +s i +ther n +ĠJ apan +/ w +P U +ĠE ast +ov ie +Ġp ackage +Ġn or +Ġap i +b ot +" ];Ċ +_p ost +ul ate +Ġcl ub +') );Ċ +Ġlo op +PI O +ion e +sh ot +In itial +Ġplay ed +reg ister +rou ght +_m ax +ac ement +m atch +raph ics +A ST +Ġexist ing +Ġcomple x +D A +.C h +.com mon +m o +Ġ' ../../ +it o +Ġanal ysis +Ġdel iver +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ Ċ +id x +à ł +ong o +ĠEng lish +< !-- +Ġcomput er +EN SE +Ġp as +Ġr ais +H ash +Ġm obile +Ġo wner +F IG +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +th es +Ġat tr +w d +.t ime +aw n +Ġtreat ment +ĠA c +. View +im pl +m ore +p ass +Ġh a +.f rom +Ġle ading +FF FF +( error +. ui +at ar +ad ers +d ates +Ġz u +Ġfl ow +T arget +Ġinvol ved +Ġi o +par se +$ _ +he st +. int +- item +as y +S p +Ġsh ift +N T +Ġt f +_T R +. web +C S +Ġ} ) +Ġey es +12 5 +10 5 +_ z +' );čĊ +if orn +Ġ{ @ +Ġn ice +.l ist +ĠĠĠĠ čĊ +Ġf loor +Ġred irect +ĠU K +( [' +Ġw ish +Ġcap t +leg al +ĠI O +Ġst age +. String +ĠA fr +ig en +ĠS H +De lete +ell s +Ġsol id +Ġmeet ing +Ġwork ed +Ġed itor +in y +Ð ¼ +_ read +. Id +e ff +Off set +ch a +US ER +ĉĉ ĠĠĠ +ipp ed +Ġd ict +ĠR un +.h pp +Ġan g +x ml +im ple +Ġmed ical +_t oken +con nect +Ġh our +Ġcont roller +_m essage +U ID +G r +and ed +_C H +Ġbook s +Ġspe ak +am ing +Ġm ount +Rec ord +ĉ struct +.W eb +ond on +Ġ// Ċ +Ġf elt +.A uto +id ge +_p os +P R +Ġmod ern +C ollection +_m sg +C D +ĠL o +Ġsecond s +ib ly +.e quals +Ġintern ational +# pragma +oo th +W riter +i ate +Ġce le +ĠB it +iv o +iv ery +r d +HE CK +Ġc ache +.c ount +Ġro ll +.Re ad +10 8 +RE D +Ġset up +izont al +model s +arg v +Ġconsider ed +=" ../ +set tings +ĠR el +Ġgrow th +Ġm ix +ĠWash ington +Ġpl t +ĠI M +á º +Ġturn ed +ĠDate Time +ĠW ed +( url +Ġ" - +Ġlet ter +As ync +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠ +ĠOct ober +_l ine +Ġatt ention +Ġcol lect +ĠH ash +Ġim ag +T ree +Ġsit uation +et te +_n o +IV E +Ġv on +.t arget +Ġknow ledge +Ġdr ive +.p ost +Ġb lood +Ġc it +pr imary +Ġconfig uration +te e +Ġph oto +is ode +Tr ace +Ġg ave +Ġsh ot +ĠA ir +Ġm other +pr ice +Ġmor ning +)) {Ċ +- x +Ġtr ade +Ġdes c +Ġ&& Ċ +Ġparent s +A pi +å Ī +t ed +w er +Ġ æ +Ġs y +ĠK e +Par ser +å ħ +anc y +Ġpie ce +iforn ia +to String +r an +id ing +PT ION +com es +/ lic +.c lient +E l +L ong +Ġprofession al +ru pt +v a +Ġcomplet ely +Ġpract ice +00 2 +Ġse lection +R em +in i +Ġc am +RE E +Ġsit es +p a +AT US +Ñģ ÑĤ +arr ant +* ( +_ KEY +ĠB utton +ĠF riday +se qu +Ġre ader +Ġm essages +è ¯ +Ġbu f +K e +Ġn ov +H P +M sg +al ign +ar ily +Ġ' , +_w ith +Ġd as +Ġhe ard +at omic +ri al +) [ +Ġdis e +@ end +Ġg old +Ġf air +Ġsa les +. Button +str ict +s ave +Ġme asure +Ġ" + +ec ause +View Controller +ĠT able +.p aram +Ġdec ided +(( ( +IN FO +Ġopport unity +T e +IC ENSE +cc ording +k i +ĠU N +Ġcont ain +Ġman ager +Ġp ain +ĠF ire +rom e +Ġpl ans +F ound +l ay +ĠDec ember +Ġinfl u +à º +ren ch +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ Ġ +az ing +b rief +c all +wo od +Ġload ed +Ġgr and +/ f +im p +_ U +12 7 +ST R +âĢ ¢ +Ġcred it +.C olor +or ge +QUE ST +Ġdiffer ence +ĠP C +w args +Ġp ub +und ay +Ġf ra +.m ax +Ġtri ed +ann els +s end +Ġreport s +Ġad ult +ä º +Ġcons ist +ĠSt reet +ĠPro gram +S QL +M atrix +ounc il +- A +ĉ w +Ġwho se +Ġrel ig +ĠS ex +Ġg ives +n one +.m essage +( G +.aw t +- right +ĠNov ember +ell ig +3 60 +ut ive +Ä ĥ +over n +Ġeas ily +Ġide as +10 4 +ĠÐ ½ +/c ss +ly ing +el le +C an +_c olor +оР² +Ġp air +ng th +Ġs plit +14 0 +d rop +art y +on a +Ġcap ital +Ġhe ar +Ġex ists +ĉ log +em o +R un +o i +Ġpar ser +ĠM ethod +Ġeduc ation +[ k +Ġlib rary +> ";Ċ +_ UN +ĉ std +od ed +Ġcall s +h ere +R el +Ġbr and +back ground +g a +_add ress +_param s +C ategory +10 3 +ĠInd ia +_e vent +Ġ ing +R ender +.c l +ump y +Ġp et +F C +ĠA nt +Ex t +Ġchar ge +en ed +gr ad +E O +Ġdep end +Ġ .ĊĊ +fr ame +Ġd f +Ġh uge +ĠP ART +ed s +; ; +ĠA M +Ġbas ic +ĠL et +lic h +Ġar m +Ġst ar +Ġf ederal +W ork +Ġcar ry +ĠIs rael +( obj +={ { +Ġs aved +Ġs yn +Ġconst ant +V ENT +Ġpos itive +Ġcon duct +Ġsk in +Ġear lier +Ġl ayout +ĠI P +O UR +Ġt im +styles heet +_ cl +ĠC ard +++ ){Ċ +Ġtem per +ĠDav id +ĉ try +.d art +Ġwant s +Ġp icture +Ġv ideos +ĠCom m +is ions +_M AX +M apping +- content +ĠE ar +- de +Ġpre m +br uary +Ġcom ponents +Ġthrough out +Ġp ull +Ġp ages +ent e +res pond +Ġg as +cript or +Ġed ge +Ġb ound +A CT +**** ** +Ġcre ating +ĠC H +Ġnull ptr +B r ++ ' +.c o +> :: +Ġle arning +.L ength +_S H +Ġpat ients +A IN +Ġk ids +Ġcom fort +Ġsh own +ug ins +ĠB ack +ell a +_C L +Ġl at +Ġdis patch +Ġclass es +. at +.b egin +Ġsuccess ful +b an +Ġobt ain +ĠS l +Ġl ack +iter ator +Th read +(s ize +Ġn one +.h as +_ X +s ort +n ap +p et +b in +7 00 +ĠCan ada +The y +Ġd ans +ĠM at +< td +Ġh air +Ġ' ',Ċ +Ġc u +Ġlaw s +let ed +p ed +Ġp ow +Ġk new +_C OM +_ , +ĠM ag +id ents +( req +Ġ ), +- center +19 0 +Ġw ide +ĠA uthor +st ants +Ġjob s +Ġm ath +et imes +Bo olean +Ġs cope +_ is +Ġme as +Ġkey s +el ay +Ġexact ly +'=> ' +ĠP aul +m as +ĉ print +(l en +f d +Ġ) ; +. Event +q li +ir it +ield s +om an +ĠT op +Ġv ote +Ġm ask +Ġthem e +- Ċ +Ġpro ps +Ġf ine +Ġwrit er +_ offset +c ar +Ġal tern +Ġc opyright +Ġdest roy +pp er +Ġgener ate +pp ed +âĢĻ d +ĠĠĠĠĠĠ Ċ +m ake +ĠSh ow +Ġb rowser +Ġfavor ite +Ġcare er +Ġhappen ed +( char +Ġrecomm end +Ġl iter +.f ilter +gr ade +Ġ £ +Ph one +om s +Ġn amed +- label +ip o +ĠO ther +Ġp anel +Ġro ck +S cale +ĉ assert +Ð ´ +Ġtr ust +fr ont +Ġdem on +A r +N et +Ġecon omic +foot er +Ġr ace +(n ode +ĠO ption +s plit +Ġphys ical +if est +Ġrem oved +. http +)) ,Ċ +Ġlook ed +' ; +d ing +g est +atur day +/lic enses +Pr ice +Ġd ro +Ġto wards +Ġun s +ĠC L +ĉ static +Ġ rows +Ġdef ine +.re place +Ġf ather +ĠDes ign +ass ign +m ut +De vice +D id +') )Ċ +omet ry +ay load +Ġh istor +ĠP aram +ĠBo olean +Ġn ature +Ġj s +Ġn ation +i h +Ġdis cover +se m +Hand le +ĉ r +ĠTe chn +Ġw all +{ $ +@ property +Ġ" ../ +Ġex am +.d raw +opp ing +Ġnear ly +Ġco ol +Ġinde pend +RE S +Ġhand ler +ĠMon day +Ġs un +St yles +ous ly +Ġ ĉ +v est +D isplay +( y +atic ally +Ġpred ict +y ing +Ġsom etimes +" ]Ċ +Ġdr ink +Ġb ul +ific ations +. insert +.re g +Ġtest s +Al ignment +Ġal leg +Ġat tribute +ĠN ote +Ġmy self +art s +N ow +Ġinterest ing +li ents +Ġpop ulation +ĠCal ifornia +" I +å ¹ +Ġgre ater +ues day +Ġth ous +Ġcost s +Ġla unch +\ Http +k er +b and +ĠPl ay +Ġb and +.sh ape +es ome +art icle +.r f +Ġw er +á s +em bers +us r +B A +ic an +et t +valid ate +ult i +Ġimmedi ately +z er +Ġfig ure +o es +ell er +irc le +ĠS ign +.d b +Ġr ank +By tes +Ġproject s +_re c +UL AR +A PI +ĠL ine +P ort +Ġp oll +Ġg iving +id ence +-- Ċ +Ġpl ot +ic ial +Ġw arrant +IT ION +ĠD ouble +Ġbill ion +gorith m +Ġequ ipment +D ATE +Ġ@ " +E E +Ġp le +i ation +Ġhead ers +Ġpro ced +.Component Model +ĠOb ama +Ġp a +ĠB est +im ately +.get String +. \ +mp loy +Ġr aw +_b lock +und red +" },Ċ +1 12 +.Group Layout +Ġb rought +NS String +th row +cre ated +.N ew +_ view +C P +ep s +O p +Ġgr atis +Ġ' " +Ġinter view +"" "Ċ +Ġpart ial +Ġa ria +b ing +A uthor +Bo ok +ĠP at +um an +Us ers +pl us +19 3 +ĠD irect +ven ue +al pha +UC CESS +ĠC all +Ġ );čĊ +im ated +Ġrem ain +Ġant i +ĠL ondon +Ġsaf ety +PO SE +o les +cont roller +By te +ĠCour t +ĠPh il +ĠAss oci +en a +å IJ +_ST R +co in +resh old +Ġb atch +_C lick +entic ation +> ';Ċ +ent y +Ġbegin ning +Ġz ero +ĠCon vert +Ġt err +Ġp aid +Ġincre ased +c atch +-s ize +11 5 +act ivity +e quals +Ġque ue +Ġ" ' +ĠIntern ational +Ġf ür +urs day +Ġsc ient +all ow +ax is +Ġapp ropri +ed ge +Ġid x +S uccess +ent ifier +: \ +x is +Ġmax imum +ark s +Ġb irth +( index +Ġmay be +.p y +file s +Ġlim ited +_ check +lo ok +pl ies +Ġmov ement +'] . +Ġbro ad +ĠB E +ĠUn ityEngine +.c pp +ĠE very +Ad min +Ġf ans +p ared +Ċ ĠĠĠĠĊ +Ġfore ign +Ġp an +Ġt our +ĠOr der +Ġmov ing +Ġa uf +C all +c b +Å Ł +vent ory +ĠS ql +Ġful ly +Click Listener +W ORD +Ġannounc ed +) čĊčĊ +Ġagre ed +ri e +Ġe arn +_l ink +. array +(t ext +Ġmaterial s +, p +ff ff +v g +Ġ © +Ġun less +aj ax +LO G +Ġsex ual +Ġ\ " +- time +Ġco ach +Ġsupport ed +Ġphot os +if orm +.C reate +) ] +ri er +Ġd ialog +av er +ig e +) + +_id x +: [ +_m in +ĠC ong +Ġpress ure +Ġteam s +S ign +b egin +ri an +NE SS +L S +Ġimpro ve +ĠS unday +Ġdef inition +ig er +roll ers +Ġthink ing +T emplate +- F +Ġem erg +pl ates +ĠUS A +.set State +ĠAl so +re v +Ġen able +ĠC O +PE CT +Ġcon cept +) - +ĠâĢ ¢ +Ġset s +Ġmean ing +em on +ĠCon s +c mp +ed er +ann ed +icens ed +ĠS uper +Ġd aily +Ġmult i +_ u +Ġchall eng +_m ode +ĠP romise +Ġstr ict +j o +int on +( list +On ly +> { +Ġveh icle +í ķ +ĠPl ayer +10 6 +ĠD el +Ġp ool +. url +nes day +();čĊ čĊ +9 00 +Ġ" );Ċ +L ocal +. ");Ċ +Ġorgan ization +re nder +ĠApp lication +Ġsum mer +ex pected +N A +Ġr ap +_ obj +Ġsur face +ĠP UR +Ġ}, ĊĊ +Ġvariable s +(m essage +Ġop in +.b ack +а н +Ġwork ers +v m +C o +ught er +Ġm aster +Ġ" ", +Ġst ories +. User +Ġcele br +ines e +B S +ĠCom mand +ash board +Ġo g +k g +. image +.st yle +Ġstep s +ĠB en +( args +40 4 +ĠP erson +, y +Ġofficial s +| Ċ +Ġsk ills +v c +Ġbuild er +Ġg ar +A ccount +ĠA uth +ç Ķ +'] )Ċ +ĠA T +n n +. Int +SS ERT +Ġeffect ive +LE TE +Ġto ols +AR D +Ġdig ital +19 1 +D ouble +ĠF ind +R C +Ġin line +/ r +AR AM +AS K +Ġint ent +a ight +_add r +Ġrequest s +.f irst +Ġde bug +Ġsp ent +() ));Ċ +Å Ľ +Ġpr incip +Log ger +clud es +. use +Ġsur v +med ia +ĠFe bruary +ĠM ac +Ġmiss ing +Ġw ife +Ġtalk ing +ĠM ake +Ġc art +Ġloc ated +E nc +- a +ch ron +Ġc ards +Ġgu y +Ġp ers +ĠY es +ate ver +ĠA ng +ol ar +ĠE ven +Ġacc ur +ĠP ower +ĠG old +c lear +Pro cess +Ġrec ords +Ġk illed +.c lear +ĠWARRANT IES +Ġpur pose +pan el +J ECT +ÃŃ a +Ġex erc +W S +/ L +. exports +Ġ__ _ +Ġs in +S ervlet +Ġd é +.de lete +ro ke +S l +ug h +ear s +Ġpoint er +Ġh op +all ery +Ġo bs +co very +ĉ char +ĉĉĉĉ ĉĉĉĉĉĉ +ĉ def +oc ity +itch en +ul ations +ĠF IT +Ġ ). +straint s +vent ion +Ġrequ ires +ĠO per +M E +OUN T +al let +Ġn orm +I RE +ex as +Ġprogram s +Ġwe ak +' .$ +u ing +ĉ ĠĠĠĠĠĠĠ +Ġm il +Ġf irm +init ely +_VAL UE +ap se +atis f +Ġdem and +_m od +Ġdescri bed +Ġpl aces +V ID +Ġal one +Ġex port +Ġv ec +ĠM ax +Ġactiv ities +ict ures +g ener +Ġm a +Ĥ ¬ +Ġexpress ion +C allback +_ content +ĠM ost +Ġtest ing +E C +CH ANT +Ġad just +.Th reading +( ctx +Ġag ree +ig hest +Ġu i +ĠL aw +. Y +> ĊĊ +.ex ample +ber g +Ġmov ed +ĉ e +ĠS aturday +Ġpay load +Ä ĩ +) :ĊĊ +Ġbe y +ur er +< script +Ġs ymbol +Ġass um +Ġp ul +E ffect +Ġh undred +To ol +ak ed +con nection +Ġvo ice +Ġp d +Ġtrans action +Ġlink s +E rr +ĠInd ian +T C +atal og +n i +s ign +<< " +j i +y a +Ġdemon str +ul ated +. St +Ġinst it +Ġbo ost +Ġcell s +ol ic +.P ro +: , +"> \ +Ġth us +ĠReg ister +h ol +ĠCh inese +Ġpost ed +Ġm agn +ab ilities +Ġdise ase +Ġrem ains +ĠPro f +- form +Ġc in +org an +ic ate +Ġst ress +] * +Ġ ---------------------------------------------------------------- +_ context +or ry +Ġd ied +m at +Ġstart s +.M essage +Ġrun s +Ġgu ide +Ġwarrant y +ential s +d ict +ĠS ize +ul er +Ġrespons ible +_SE T +Ġcont aining +ĠPr ice +| | +3 50 +F S +Ġem p +_b utton +( uint +Ġsu ff +p th +Ġdef initely +put e +Ġmarket ing +ĠW H +ĠS ie ++ = +OL OR +Ġcons ult +Ġs igned +Ġse quence +le e +Ġrequire ments +h y +Ex press +M T +se y +Ġ ult +å ® +ellig ence +Ġanal y +Ġd ress +eng ine +ĠG reat +ĠAnd roid +ĠA lex +m ode +D ictionary +.D ate +ä ½ +V ICE +Ġfam ilies +ĠRuss ian +ĠT imes +.c all +$ ( +Pro file +Ġf older +ch es +Ġleg is +_ row +un es +Ù Ħ +Ġ} ). +Ass ert +ag en +ĠH and +I ter +Ġbig gest +ore ach +Ġpol ic +Ġper missions +Ġshow ed +ĠE lement +Ġtop ic +âĢĶ âĢĶ +ro ad +ĠB ank +rec ord +Ġpart ners +ĠR ef +ess ions +Ġass ess +U ST +ĠPart y +pro du +L C +Ġ ul +. form +h ide +c opy +UT F +ĠSO FTWARE +čĊčĊ čĊ +ĠL in +un a +ug ar +Ġadmin istration +Ġopen ing +Ġsc an +Ġcontin ued +com ponent +.s p +Ġhapp ens +um my +ĠP R +.F ile +ĠDown load +Lo ading +d i +Ġwait ing +_A DD +T ab +.query Selector +Ġecon omy +ĠF rench +t xt +Ġf ant +_ ;Ċ +H older +S H +00 4 +Ġn umpy +Ġst reet +Ġm ale +\ Model +ang ing +33 3 +ĠB ill +Ġprevious ly +B I +ĠSec ret +Ġm ist +ĠF ield +up s +ĠPro cess +Ġke pt +ĠO T +Ġtrad itional +. i +am in +Ġhelp s +An y +orig in +ilt ers +j u +d esc +ĠA ccount +Ġ) čĊ +k top +ol ly +Ġf s +Ġ ê +Ġ ut +Ġcent ral +(t est +.A n +Ġs atisf +G R +ĠF ull +Ġhe at +ib er +Ġon to +m os +S chema +Ġfact ory +" .$ +aw s +St atement +(t arget +ĉ new +.b e +Ġg uest +Ġm al +AR Y +Ġre ached +Ġm ouse +Ġchall enge +ĉd ouble +ĠT em +Ġt error +Ġex tract +_T O +Ġsepar ate +Ġm ir +h elp +Ġcap acity +ĠProp erty +k an +_c reate +ĠL ight +.p arent +Ġunderstand ing +Ġeas ier +Ġ| = +Ġen h +Ġf at +Ġprot est +am m +_ AT +- of +il s +ĠO h +Ġps ych +Ġ$ . +ind s +Ġrel ative +sh op +sh ort +ĠS and +2 10 +uest ion +Ġf ear +/ ĊĊ +. context +Ġschool s +Ġser ve +z one +_d b +Ġmajor ity +ex ample +Ġl ang +ĉ ĠĠ +Reg ister +end o +Ġprocess ing +_t emplate +- user +Ġe g +C OM +ĠBl ue +i ro +Ġrem ote +ĠI T +#! / +Ġred istrib +12 4 +ra z +ĠS ince +ĠT ur +13 5 +Back ground +== = +Ġref lect +Ġpro s +c md +Ġwh om +Com pat +ĠA re +Id entifier +ĠTh om +_ port +g u +Ġmon itor +r m +Ġpat ient +ver ter +Ġg ain +- ui +In st +Ġd ies +11 8 +A rea +_f ilter +Ġgr at +Ġreal ity +ord inate +ol ved +Cont act +Ġcompl iance +_ or +ĠV ar +d l +Ġapp end +G ER +(m ax +.re nder +Ġd ynamic +ordin ates +_ options +_c olumn +Ġb atter +s pace +L a +ĠS ource +/b in +Ġd os +ĠBo ard +ĠTh read +ĠA L +( config +14 4 +ĠM er +Ġm iles +_ header +ETH OD +iz z +Ġbenef it +Ġinteg r +(c urrent +ul o +. default +ĠD iv +Ġt on +o th +erv ation +ed om +Ġb aby +ce ived +.t op +rior ity +ĠL ocal +ri age +Ġattack s +Ġh ospital +16 8 +Ġfem ale +ĠLog in +ĠFl or +Ġch ain +ash ion +Text ure +S ave +Ġf arm +.cont ains +.T est +Ġknow s +Ġgener ally +ip eline +Ġme ant +enc ia +Ġn icht +Ġcont ents +P M +ched ule +( line +C G +j ob +ĠRe al +u er +f irm +Ġ Ø +et ro +" `Ċ +Ġspe ech +Ġth r +fore ach +Ġw arn +ĉ l +Ġhe avy +< li +N e +Ġinvestig ation +M ath +- title +Ġch urch +Ġdes pite +ch ain +Ġwh atever +ar ian +f n +Ġm eta +} )ĊĊ +U FF +Ġregard ing +_S UCCESS +m es +ĠInt ent +Ġres olve +pos s +ir a +for ce +o ice +à ¢ +Ġp m +Ġup dates +A rr +Ġ Ñ +test ing +Ġto ward +nt ax +ë ĭ +Ġlist en +Ġgo als +Instance State +D r +Ġr are +Ġtr ail +Ke ys +C al +C ar +ĠPe ople +ĉ local +class es +Re ference +.for Each +em b +act iv +Ġpr im +red ict +Ġr ad +æķ ° +.B ack +Ġsp read +Ġc lock +Ġv ir +ed itor +Ġeffort s +Ġbr anch +Ġind ust +Ġmot or +Ġam b +Ġdat etime +Ġren cont +ĠChrist ian +ĠAmeric ans +f ull +Ġf mt +.m ain +Ġca used +_ update +ĠCont ent +AT CH +Ġb ath +ĠE ach +Ġr adio +ach ment +uz z +Sub mit +Ġre strict +ab in +ĠL oad +Ġext ension +Ġess ay +Ġh at +avi our +to Be +": [ +Ġoffer ed +Ġv ill +(d ouble +1 19 +æĹ ¥ +b c +_f ree +ĠM iss +ĠB er +Ġ è +ĠL ike +Ġhelp ed +.get Name +_ AL +Ġsp irit +ĠAp ache +w s +Ġthere fore +( params +_ img +Ġpe ace +Ġinc or +ĠEX PECT +Ġmin or +ip es +ĉ data +select or +c ity +tr ie +.b ase +_f rame +Ġopen ed +/ json +L Y +n u +.D e +t f +m argin +.P arse +Ġp i +Ġe q +b d +Field s +ĠT ree +Ġb an +ist an +Ċ ĠĠĠĠĠĠĠĠĊ +ĉg l +Ġprodu ced +s ystem +M ark +_h ash +Ġb g +Ġconst it +ĠLe ague +Ġmiss ion +_ format +([ Ċ +clus ion +! " +Ð · +b reak +ĉs witch +Ġth er +Trans form +Ġfoot ball +- link +r oute +. auth +Ġb ag +ov ers +Ġen abled +Ġr ac +( I +C R +anc ing +Ġman aged +_ q +NG TH +Ġm ac +ĠA uto +ament e +Ġ' ', +.App end +Ġp in +. item +ack ing +Ġocc as +p erson +Ġt i +.Re g +Ġh aven +Ġg lass +Ġ" ) +_ char +res ource +Ġep isode +Ġ' _ +ĠE s +ĠEar th +Âł Âł +UP DATE +13 3 +ĠS ou +u is +t ypes +Ġm as +Ġf av +Ġcon struct +_r ate +er as +Ġ| Ċ +rop erties +Ġext ernal +Ġap plied +Ġpre fix +ot ed +l ers +Ġc old +ĠS P +ĠCh urch +ĠOut put +los ed +ç ļ +ific ate +oper ation +her it +x FF +. env +_ err +os h +D irection +C ancel +ĠFr ank +Ġfind ing +. )ĊĊ +Ġr outer +ãĥ » +s es +Ġc row +== ' +Ġs and +Ġr id +it ure +Ġent re +Ġo bserv +Ġv ac +ð Ł +- T +A rt +n ight +. search +Ġex change +Ġdistr ict +. os +Ġdep artment +Ġdoc uments +Ġcent ury +ĠN ext +H ost +ĠK IND +Ġsus p +- P +re nd +. em +u ite +ist ers +( json +ĠAn n +w t +at i +ĠHT ML +wh en +D irectory +Ġsh ut +< a +ed y +Ġhealth y +Ġtemper ature +ĠG en +Ġmet al +Ġsub mit +ĠD O +Ġat tract +Ġ{ };Ċ +ĠW ord +Ġl l +Ġseem ed +k o +I ED +Ġl abor +.Cont ext +Ġas set +y ou +Ġc ars +ĠC olumn +Ġr é +Ġs quare +ĠNS String +âĢĿ , +ap es +.. .Ċ +Ġthan ks +( props +Ġt ick +Ġexper iment +Ġpr ison +t ree +- text +ĠIO Exception +-w idth +_ST ATUS +f ast +-b ody +- header +Ġgu ar +cre te +ĠT im +Ġclear ly +ĠRepublic an +Ġjust ify +и ÑĤ +ĉ ĠĠĠĠ +c ache +; // +Ġpres ence +Ġfact ors +Ġemploy ee +] )) +M ember +Ġselect or +b or +ĠM ex +çļ Ħ +ut ex +_t ag +ail ure +ĠN et +Ġre li +E G +Ġf printf +Ġte en +lo ss +Ġle aving +13 4 +De legate +Ġbe at +Ġmin ute +sub scribe +Ġredistrib ute +Con stants +Ġcan cer +/ { +B L +Ġs pan +ĠCh ild +C enter +Ġear th +Y S +ĠLe vel +Ġse a +.s upport +.in ner +. Item +ill ing +ĠĠĠĠĊ ĠĠĠĠĊ +ĠL abel +3 20 +ĠE st +( arg +14 5 +bo Box +ĉf oreach +c os +F ailed +sw ers +Ed itor +r ont +ĠM P +ex pr +ĠL ife +Ġ? ? +ö r +Ġatt end +ĠQ ue +Ġspec ies +- D +Ġa us +Str uct +Ġadvant age +ost on +-b lock +in itial +C RE +Ġtr uly +Ġcomp are +or ney +Ġs pect +F ull +b es +Ġvis ible +Ġm ess +st ances +Ġcl oud +_v ersion +Ġf urn +ic ago +LO W +Ġtraff ic +Ġf ol +rypt o +Ġdecl ar +Ġsl ot +ĠEx t +ĠEng land +ĠU nder +Ġt a +let ter +20 3 +Ġoffic er +ĠDon ald +Y es +_ json +IT ableView +ĠU SE +mploy ee +Ġopin ion +ĠA ut +b order +Ġad vice +Ġautom atically +is co +Ġm m +. vis +am l +Ġinitial ize +Ġ( { +Ġ ;ĊĊ +Ġgener ation +Ġb its +clip se +Ġun f +ut ors +pl t +Ġdel ta +est roy +is is +< br +Ġlimit ations +Ġend ed +ĠM ad +il m +Th ese +18 7 +ĠMin ister +Ġch art +F ragment +Ġindepend ent +Y ear +Ġin str +Ġt ags +A VE +ĠAr ch +st op +Pro gress +Ġm i +Ġlearn ed +G e +Ġhot el +15 1 +S M +T YPE +Ġc y +ERS ION +un ately +l imit +s el +Ġmov ies +Ġste el +o z +g b +ĠC amp +s ite +ĠLog ger +P LE +оР´ +. right +ĠC ore +Ġm ixed +st ep +Ġput s +s uper +R outer +18 6 +. Http +22 2 +ly ph +ĠColor s +Ġandroid x +. str +Ġinn ov +Ġde ck +' >Ċ +ap ers +] ( +cont inue +s pec +ĠR oad +AS H +ili ar +Ġcontin ues +Ġapp oint +Ġ# Ċ +ĠV ir +Ġ?> " +Ġb in +} ", +go ing +e ach +B D +18 5 +ĠA ccess +D oc +ĠMan agement +B ER +ask et +.get Instance +12 9 +Ġestablish ed +so cket +IN S +ĉv irtual +ĉ result +RE AD +_ height +15 2 +ĠF ont +Ġ( );Ċ +_ html +Ġneighb or +l or +Ġg ather +Ġ} )ĊĊ +Ġid entity +Ġf ab +p adding +ĠR oute +Enumer able +à ´ +Ġfor ced +/j query +.ĊĊ ĊĊĊĊ +res ents +_ left +.P aram +ĉ throw +ĠH am +Ġevent ually +ac er +p ub +Ġtr a +un ique +d el +ĠFlor ida +ĠC lean +x a +Ġ · +Ġvalid ate +Vis ual +Ex pression +_f unc +m ember +ĉ h +tr l +13 6 +ĉ G +nap shot +ĠProp Types +v in +15 3 +] )ĊĊ +ow l +if ies +Ġ$ ('. +ĠCont ext +ĠTo ast +. Key +Ġoffic ers +/ n +s n +und efined +. items +ut ow +am age +Ġaccount s +ook ie +Se ction +ici ans +Ġad vis +( is +[: , +ĠFr ance +F unc +ic ious +Ġto k +Ch annel +ĠA D +_N UM +Ġtime out +lem ma +rem e +u j +.A l +uc lear +( os +(" < +[ Ċ +f etch +Ġb al +Ġgu id +- align +ĠW rite +ĠOn ce +utow ired +OD ULE +Ġp itch +C F +by tes +ĠCom mission +Ġincre d +P ER +_ response +ĠL os +par ser +Ġass ume +. Request +ĠT oken +_p osition +Ġn om +- term +Ġrem aining +i ostream +Ġpie ces +ap y +ĠL ess +r ange +umb n +pr ise +_ option +2 30 +Im pl +k wargs +Ġbusiness es +Al ert +Ġpart ies +ĠCont ainer +ĠPr ivate +ĠPl an +Ġregister ed +Ġj our +ack er +ен и +/ > +ch at +se ct +Ġcre ation +olut ely +Ġinst ant +Ġdel ivery +ick en +y es +16 3 +ĠFr anc +bl ing +end a +[ ( +_r ange +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠ +Ġsched ule +Con n +Ġthan k +x d +Ġh ook +Ġdocument ation +Param eters +H ello +v t +Ġart icles +Ġw est +def ined +. select +ok ens +ĠV AL +.f ile +res et +Ġmy s +ĠM A +] ), +Ġc ities +rel ated +å Ľ +Ġappe ared +Ġw id +.p anel +ĠIn s +. entity +Ġde cre +ĠL ou +(t ime +ĠTh ank +.create Element +Ġmention ed +oun ce +ĠT ry +ĠW all +/ images +ĠM enu +' čĊ +ĠE r +Ġcrit ic +ĠY ear +( param +Ġf lo +N N +oot er +Ġ ];Ċ +ĠA ff +" github +room s +Ġh yp +g lobal +Ġa vec +æľ Ī +Ġcomplet ion +Ġcon d +onym ous +( temp +Ġst ars +Ġre levant +Ġcover ed +Ġel im +_t ypes +( bool +Ġt u +_ex ists +Ġsec ure +Ġst ored +] / +x F +ĠCont roller +Ġm igr +M I +ĠD en +Ġann ual +U IL +- and +Ġcr ime +b el +Ġk itchen +@ g +_p h +ourn ament +ĠS ocial +ĠS pecial +log ger +Ġt ail +Ġun known +d ed +Ġapp rec +(d b +c f +15 5 +Ġass ign +- out +ĠM ont +d p +w idget +Ġst one +- primary +. grid +Result s +az z +Ġda ughter +Ġcur r +17 5 +Ġl in +Ġs outh +form s +ĠO UT +let te +ak s +ig ure +ĠE U +var iable +Ġb rief +ĠSc ott +Ġcon ference +and a +_ lock +or al +Ġe ine +OR S +//////////////////////////////// //////////////////////////////// +ess o +Ġr is +Ġg ender +est ic +L icense +( out +Ġm s +Se e +Ġwill ing +az e +Ġs ports +Ġy es +l u +Ġp urs +/j avascript +- pro +nav bar +_pro duct +/ bootstrap +Ġdr iving +Ġ Ä +Ġpro pos +ult ip +up lic +. email +Ġappro x +( cl +Ġwe ar +Ġrep ly +ass et +Ġ ice +Ġt x +k r +ĠGerman y +ĠGe orge +Ġc b +ĉ err +M ove +Ġpol y +vo ice +} " +Ġan imal +A v +ĠL ocation +Ġn ative +] [" +< double +Ġm ais +, int +Ġpre par +Ġinter val +plement ation +_ ERR +Ġb ug +> " +st at +Ġ} ,čĊ +< span +Ġfa ith +Ġ rom +pre v +ĠE lect +F ind +Ġg od +ot or +// ---------------------------------------------------------------- +orig inal +C pp +ĠSen ate +Ġposition s +Ġweap ons +Ġco ff +Ġpur poses +p ol +Ġim press +Ġanim als +. Entity +(n p +Ġmur der +Ġ` ` +fl ag +Ġsol utions +ĠAct ive +Ġb right +.d ate +Ġsit u +ï¼ Ī +. ID +Ġs ie +), čĊ +ak t +S pace +.d at +.index Of +h an +az ine +ĠZ e +Ġcr ash +( / +> = +Ð ± +13 9 +iv a +.Auto Size +ĠL at +_ ext +Initial ize +.reg ister +15 6 +OP Y +Ġre verse +_d is +'] [ +Ġprom pt +ont o +ĠJ ournal +r outer +Ġmys qli +# else +) " +-x s +let s +ph an +. LE +13 7 +W ill +Ġaff ord +Ġsk ill +-t oggle +N C +B ind +T S +J ust +iter al +Y P +ĉ unsigned +Ġw ind +14 9 +)) :Ċ +Ġw arning +ĠW ater +Ġd raft +Ġc m +Ġs am +Ġhold ing +z ip +ĠSc ience +Ġsup posed +G en +Ġdi et +< h +ĠP ass +v i +Ġhus band +� � +n ote +ĠAb out +ĠIn stitute +Ġcl imate +.Form at +Ġn ut +est ed +Ġapp arent +Ġhold s +f i +new s +C M +v ideo +': ' +D ITION +p ing +Ġsen ior +w a +-- >Ċ +_ default +ĠD atabase +re p +E SS +ner gy +.F ind +_m ask +Ġr ise +Ġk ernel +:: $ +. Q +Ġoffer ing +de cl +ĠC S +Ġlist ed +Ġmost ly +eng er +Ġblock s +ol o +Ġgover ning +\ F +Ġcon cent +.get Text +Ġm b +Ġocc urred +Ġchang ing +Sc ene +_C ODE +B eh +" The +Ġt ile +ĠAssoci ation +ĉ P +al ty +_ ad +od ies +i ated +Ġpre pared +poss ible +Ġm ort +TE ST +14 2 +Ġign ore +Ġcal c +Ġr s +Ġassert Equals +Ġs z +ĠTH IS +. "Ċ +Ġcan vas +j ava +Ġd ut +VAL ID +.s ql +. input +Ġa ux +S up +Ġart ist +V ec +_T IME +.string ify +et ween +ĠC ategory +Ġ[ - +ĠDev Express +ĠJ ul +Ġr ing +. ed +Y Y +L et +Text Field +Ġfl at +_p rint +ĠOT HER +ad ian +Ġcheck ed +e le +Al ign +stand ing +Ġ[ ], +Ġl ab +uck y +ĠChrist mas +( image +.m odule +Ġl ots +Ġslight ly +(f inal +er ge +è ¿ +14 7 +ĠPol ice +14 3 +ĠR ight +Ġaw ard +ĠO S +Ġ{ }ĊĊ +Ġp tr +ov es +ic ated +еР¼ +Ġman age +olid ay +Am ount +ool Strip +t body +N av +w rap +B B +Ġwatch ing +ari os +Ġoption al +_ K +ĠL icensed +.M ap +T imer +ĠA P +ĠRe v +( o +, c +um in +eta iled +ĠH y +Ġbl ank +ag ger +ĠS elf +() [ +.m ake +ear n +ch annel +< pre +ble m +_p assword +_s p +ic ing +e z +Ġthe ory +ĠT er +18 4 +, n +log o +ĠHT TP +() )) +.h andle +> ;Ċ +W orld +Ġpy thon +Ġl if +Ġtr av +Ġcon ven +com pany +ĠCl ub +13 8 +V er +B tn +Ġz one +product s +ĠE duc +Ġver ify +ĠM il +on o +] );ĊĊ +EN CE +Ġpack et +Ġc er +Ġen umer +Ġpar s +form ed +Ġocc up +t re +Ġexerc ise +D ay +_s um +Ġask ing +apt ion +Ġord ers +Ġsp ending +ĠE RR +.D is +ĠU til +âĢľ I +\ ' +? ) +/ >Ċ +Ġem ot +Ġinflu ence +ĠAfr ica +att ers +Ù ħ +.s ession +Ġch ief +ĉĉĉĉĉĉĉĉ ĉĉĉ +Ġto m +clud ed +ser ial +_h andler +.T ype +ap ed +Ġpolic ies +- ex +- tr +bl ank +mer ce +Ġcover age +Ġr c +_m atrix +_ box +Ġcharg es +ĠB oston +P e +Ġcirc um +Ġfil led +14 8 +Ġn orth +icture Box +ĉ res +è ® +Ġter min +Ġ[ âĢ¦ +IRE CT +Ġb er +Ġ" ../../ +ret ch +.c ode +_c ol +ĠGovern ment +Ġarg v +ĠL ord +as i +Ex ec +ĉ let +vert is +Ġdiscuss ion +en ance +out ube +type of +Ġs erved +ĠP ut +ĉ x +Ġs weet +B efore +ateg y +. of +ĠM aterial +S ort +ON T +ig ital +Wh y +Ġs ust +Ġ ç +ab et +Ġseg ment +Ġ[ ],Ċ +ĠMus lim +Ġfind ViewById +c ut +_T EXT +ĠM ary +Ġlo ved +Ġl ie +ĠJ O +Ġis set +mon th +Ġpr ime +t i +ĠCar ol +U se +14 6 +ĠP op +ĠS ave +Int erval +ex ecute +d y +ĠI ran +_ cont +ĉ T +Ġph ase +check box +we ek +Ġh ide +Ġt il +Ġj u +C ustom +b urg +/ M +T ON +Ġqu ant +Ġr ub +ix els +Ġinst alled +Ġd ump +Ġproper ly +( List +Ġdec ide +app ly +H as +Ġkeep ing +Ġcitiz ens +Ġj oint +p ool +S ocket +_ op +Ġweap on +gn ore +ĠEx ec +ott en +ĠM S +Ġ( - +ĠRe view +Ġex amples +Ġt ight +! ( +D P +ĠMessage Box +Ġphot ograph +16 4 +UR I +é t +l ow +ĠGr and +.p ersistence +Ġmaint ain +Ġnum s +Ġz ip +ial s +ĠG ets +pe g +ĠB uffer +~~ ~~ +ra structure +ĠP L +u en +ob by +size of +Ġp ic +Ġse ed +Ġexperi enced +Ġo dd +Ġk ick +Ġproced ure +avig ator +- on +, j +ĠAl though +Ġuser Id +ac cept +Bl ue +IC olor +l ayer +av ailable +Ġend s +.t able +Ġdat aset +b us +Ġexpl ain +( pro +ĠCommit tee +Ġnot ed +] :Ċ +D im +std io +15 4 +. ",Ċ +_s ource +18 1 +ĠWe ek +ĠEd ge +Ġoper ating +Ġest e +i pl +3 30 +ag ination +Ġpro ceed +Ġanim ation +.Model s +ĠW atch +i at +Ġopp on +/ A +Re port +Ġs ounds +_b uf +IEL D +Ġbu nd +ĉ get +.p r +(t mp +Ġk id +>ĊĊ Ċ +Ġy ang +Not Found +Ñ Ĩ +m ath +@g mail +ĠL IMIT +red ients +Ġv ent +avig ate +L ook +Ġrelig ious +Ġr and +ri o +( GL +_ ip +u an +ici ency +ĠCh ange +> čĊčĊ +ĠEnt ity +Ġrencont re +ĠR et +pl an +é n +BO OL +ur ies +tr ain +Def inition +======== ==== +z z +4 50 +An imation +ĠO K +_m enu +.b l +_s core +Ġac ad +( System +Ġref resh +'=> $ +.G raphics +ament o +p id +t c +Ġt ips +Ġhom es +Ġf uel +â ĸ +_h elper +ĠĠ čĊ +ĠR oom +.C lose +_ attr +ĠM ount +ĠE v +ar ser +_t op +e ah +ĠDe lete +ãĢ į +u ke +Ġus age +ar ia +_de v +Ġtext ure +Ġconvers ation +e per +Be an +d one +non atomic +ĠSe cond +Ġshoot ing +_p re +Com ponents +Ġ] ĊĊ +__ , +stit ution +.Ch ar +> ();ĊĊ +Ġpresent ed +Ġw a +ok er +- ĊĊ +in er +Ġbe coming +Ġinc ident +At t +16 2 +Ġreve aled +for c +Ġbo ot +.p age +Enumer ator +16 5 +_ -> +Ph oto +Ġs pring +. ", +ĠD ictionary +B JECT +Ġloc ations +Ġs amples +Input Stream +ĠB rown +Ġst ats +qual ity +Ñ ħ +-d is +Ġhelp ing +Ġp ed +2 24 +( se +ĠWh o +al ian +int ernal +Ġf t +> (). +-> { +Ġm ine +Ġs ector +Ġg ro +Ġopport unities +Ġà ¼ +Ġm p +Ġalleg ed +Ġdoub t +M ouse +Ab out +_p art +Ġch air +Ġstop ped +16 1 +lo op +ent ities +Ġapp s +ans ion +Ġm ental +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠ +F R +Ġdef end +c are +Ġide al +/ api +ur face +0 11 +Ġe le +ul ator +ĠR ights +angu ages +Ġfund s +Ġad apt +At tributes +Ġdep loy +opt s +Ġvalid ation +Ġconcern s +u ce +.n um +ult ure +il a +Ġc up +Ġp ure +.F ore +18 3 +ĠHash Map +.value Of +as m +M O +Ġc s +Ġst ores +Ġ ************************************************************************ +Ġcommunic ation +m em +.Event Handler +. Status +_ right +.set On +S heet +Ġident ify +ener ated +order ed +Ġ" [ +Ġs we +Con dition +ĠA ccording +Ġpre pare +Ġro b +P ool +Ġs port +r v +ĠR outer +Ġaltern ative +( [] +ĠCh icago +ip her +is che +ĠDirect or +k l +ĠW il +key s +Ġmy sql +Ġw elcome +k ing +ĠMan ager +Ġca ught +) }Ċ +S core +_P R +Ġsur vey +h ab +He aders +AD ER +Ġdec or +Ġturn s +Ġr adius +err upt +C or +Ġm el +Ġin tr +( q +ĠA C +am os +M AX +ĠG rid +ĠJes us +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠ +.D E +Ġt s +Ġlink ed +f ree +ĠQ t +Ġ/** čĊ +Ġf aster +ct r +_ J +D T +.C heck +Ġcomb ination +Ġint ended +- the +- type +18 2 +ect ors +am i +ut ing +Ġum a +X ML +U CT +A p +ĠR andom +Ġr an +.s ort +Ġsort ed +. Un +40 1 +_P ER +it ory +Ġprior ity +ĠG al +ĠO ld +h ot +ĠD isplay +(s ub +_T H +_ Y +ĠC are +load ing +K ind +_h andle +, , +r ase +_re place +.add EventListener +ĠR T +17 2 +Ġenter ed +g ers +Ġ ich +( start +20 5 +/ app +Ġbro ther +M emory +Out let +Ġ utf +pre c +Ġn avigation +OR K +Ġd st +D etail +Ġaud ience +Ġd ur +Ġcl uster +un ched +Ġ ], +Ġcomfort able +. values +ĠT otal +Ġsn ap +Ġstand ards +Ġperform ed +h and +(" @ +å Ń +Ġph il +ib r +tr im +Ġfor get +15 7 +Ġdo ctor +.Text Box +37 7 +icon s +, s +ĠO p +S m +St op +ĉ List +ĉ u +Com ment +_V ERSION +.X tra +P erson +r b +LO B +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĊ +ĠCent ral +27 0 +IC K +ra q +Ġput ting +Ġm d +ĠL ove +Pro gram +B order +o or +Ġallow ing +a fter +Ġent ries +ĠMay be +] ). +ĠSh ort +) \ +.n ow +f riend +Ġpre fer +ĠG PIO +os is +ĠGame Object +Ġsk ip +Ġcompet ition +_m atch +lic ations +_CON T +.group Box +Ġal s +66 6 +" We +_e q +l an +_ search +ĠMus ic +as is +Ġb ind +ĠIs land +r um +( E +Ġse at +V ideo +Ġa ck +ree k +={ () +Ġr ating +Ġrestaur ant +45 6 +DE X +(b uf +pp ing +ual ity +Ġle ague +17 6 +Ġfoc used +ap on +$ data +CL UD +CLUD ING +Ġabs olute +( query +Ġtell s +A ng +Ġcomm unities +Ġhon est +ok ing +Ġap art +ar ity +/ $ +_m odule +ĠE nc +. an +.Con fig +C re +Ġsh ock +ĠAr ab +I ENT +/ re +Ġre trie +ycl er +is a +ĠO rgan +. graph +Ġ í +ĠB AS +En um +Ġposs ibly +ÑĢ аР+ĠJapan ese +Ġc raft +ĠPl ace +Ġtal ent +Ġfund ing +Ġconf irmed +Ġc ycle +/ x +G E +Ġhe aring +Ġpl ants +Ġm outh +p ages +or ia +ĠRem ove +_t otal +Ġo d +oll apse +do or +Ġb ought +Ġadd r +AR CH +_d im +dd en +Ġdec ades +RE QUEST +Ġvers ions +f ire +00 6 +Ġmov es +f b +Ġcoff ee +.con nect +ĠR ow +Ġs chema +S cope +- Type +Ġfight ing +Ġret ail +Ġmod ified +T F +File s +n ie +_com mand +st one +Ġ ÑĤ +_ thread +Ġb ond +ĠDevelop ment +Ġp t +F ORM +ple t +Ġident ified +c pp +20 6 +2 25 +Ġc oding +ok ed +ĠM aster +ID TH +Ġres idents +red it +ĠPh oto += - +un te +ate ur +15 9 +_ST ATE +ĠS ing +Ġshe et +. val +or se +Ġh ers +Ġdetermin ed +Com mon +Ġw ed +_ queue +P H +ĠAt l +cre d +/L ICENSE +Ġm es +Ġadv anced +.j ava +.S h +G o +k ill +f p +_set tings +Ġp al +Ġtr uck +Ġcomb ined +Ġ" ${ +ĠCor por +Ġjo ined +ĠJ ose +ĠC up +un s +est ival +lev ision +Ġbro ken +Ġmar riage +ĠWest ern +Ġrep resents +ĠT itle +Ġs s +.A ss +ongo ose +ient o +< >();Ċ +Ġabs olutely +Ġsm ooth +TER N +ĠUn less +W ord +Ġmer ge +ig an +ĠV ol +Ġn n +.get Id +ĠÐ · +17 1 +Ġsex y +Ġseek ing +S ingle +. this +17 9 +Ġk om +b ound +; " +Ġfont Size +_d f +Ġinj ury +( H +Ġiss ued +_ END +: self +0 20 +Ġp atch +Ġle aves +Ġad opt +File Name +ãĢ IJ +Ġexec utive +ĠBy te +] ))Ċ +Ġn u +out ing +clud ing +- R +. options +Ġsub stant +av ax +ĠB UT +Ġtechn ical +Ġtw ice +Ġm ás +Ġun ivers +y r +Ġdr ag +ĠD C +Ġs ed +Ġb ot +ĠP al +ĠH all +forc ement +Ġa uch +.m od +not ation +_file s +.l ine +_fl ag +[ name +Ġres olution +Ġb ott +(" [ +end e +( arr +F ree +( @" +ĠD istrict +PE C +: - +P icker +ĠJ o +ĠĠĠĠĠ Ċ +ĠR iver +_ rows +Ġhelp ful +Ġmass ive +--- Ċ +Ġmeas ures +00 7 +ĠR untime +Ġwor ry +ĠS pec +ĉ D +ãĢ ij +Ġ) {Ċ +Ġwor se +(f ilename +Ġl ay +Ġmag ic +ĠThe ir +ou l +st roy +ĠWh ere +2 80 +Ġsu dden +Ġdef e +Ġb inding +Ġfl ight +ĠOn Init +ĠW omen +ĠPol icy +Ġdrug s +ish ing +(' ../ +ĠM el +pe at +t or +Ġpro posed +Ġst ated +_RE S +Ġe ast +2 12 +ĠCON DITION +_d esc +Ġwin ning +fol io +M apper +ĠP an +ĠAn ge +.s ervlet +Ġcop ies +L M +Ġv m +å į +Ġd ictionary +S eg +17 7 +el ines +ĠS end +Ġ iron +ĠF ort +16 6 +.d omain +Ġdeb ate +Not Null +e q +ach er +l f +ĉf mt +Ġlaw y +17 8 +Ä Ł +ĠM en +Ġtr im +( NULL +Ġ! ! +Ġp ad +Ġfollow s +"] [" +re qu +ĠE p +.g ithub +( img +et o +(' \ +S ervices +umbn ail +_m ain +ple ted +fort unately +Ġw indows +Ġpl ane +ĠCon nection +. local +u ard +} \ +== " +and on +ĠR oy +w est +15 8 +ig inal +em ies +it z +') :Ċ +ĠP eter +Ġt ough +Ġredu ced +Ġcalcul ate +Ġrap id +c ustomer +Ġeff icient +Ġmed ium +Ġf ell +. ref +ĠC as +Ġfeed back +S peed +( output +aj e +Ġc ategories +Ġfe e +} ; +Ġde leted +re h +Ġpro of +D esc +B uild +Ġs ides +.Array List +- % +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠ +Ø ± +.m atch +л и +Ġfe els +Ġachie ve +Ġcl im +_ ON +ĠC D +Ġteach er +_c urrent +b n +_P L +ist ing +En able +G EN +Ġt v +Ġso ck +Ġpl ays +Ġdis count +ĠK E +ĠDe bug +F ore +ĠI raq +Ġappear ance +M on +Ġst yled +ĠH uman +i ot +ĠH istory +Ġs ac +ĠC ollection +Ġrecomm ended +.Se lected +Ġorgan izations +Ġdiscover ed +co hol +ad as +ĠThom as +M ay +Ġcons erv +Ġdom in +ĠF ollow +ĠSe ction +ĠTh anks +User name +Ġrec ipe +Ġwonder ful +.s leep +_ if +ĉĊ ĉĊ +orn o +Ġr u +_t arget +." " +à ¦ +Event Args +Ġinput s +Ġf if +Ġv ision +c y +ĠS eries +) ((( +Ġtr ading +Ġmark er +B egin +Ġtyp ically +Ġca uses +drop down +_DE BUG +2 60 +Ġdet ect +c ountry +! ");Ċ +ĉ R +app y +Ġc ref +(' < +" => +ĠL E +read er +Ġadmin istr +à µ +uck et +Ġf ashion +. char +iz ar +Ġdis able +Ġsu c +ĠL ive +iss ue +Ġmet adata +fl ags +Ġ ðŁ +Ġcomm itted +Ġv a +Ġr ough +Ġ'' 'Ċ +Ġhigh light +_var s +V O +Ġenc oding +- Z +_s ign +$ ("# +Ġr ain +reate st +ĠEN D +Se lection +Ġcandid ates +Ġs av +. Empty +Ġdec isions +Ġcoll abor +rid ge +fe ed +ress ion +Ġperson s +V M +00 8 +eg a +_B IT +A ccording +ack ed +Ġdoll ars +_lo ss +ĠC ost +} "Ċ +Not ification +Ġpro stit +Ġauthor ity +.re c +Ġsp okes +ĠT oday +ist ant +ĠHe ad +âĢĿ . +ertain ment +ce an +cul ate +Ġv en +How ever +_ arr +Ġtok ens +G raph +ĠJ ud +ĠVir gin +ĠS erial +un ning +M utable +ag ers +.c sv +Ġdevelop ing +Ġinstruction s +Ġprom ise +Ġrequest ed +_ encode +/ " +ĠI con +u ilt +- day +Ġint elligence +. IS +ĠO bservable +ĠH ard +Bo ol +2 11 +ident ial +.An chor +Ġsell ing +C I +AG ES +t le +b ur +UFF ER +R Y +Ġbig ger +Ġr at +Ġfam ous +Ġtyp ename +Ġexpl ained +} }Ċ +Ġn uclear +- N +Ġcr isis +ĠEnt er +Ġan swers +/ ${ +/ pl +Ġse qu +_n ext +m ask +Ġstand ing +Ġpl enty +ĠC ross +ĉ ret +d ro +ĠC ast +16 7 += true +ĠCh ris +ic io +ĠM ike +Dec imal +add Component +L en +Ġco ck +Ġ# { +UR N +< tr +Ġauthor ities +Res ources +- H +B ottom +0 12 +_ qu +put er +ester day +Dis patch +s ince +Ġfam iliar +, i +V C +Ġm ent +, C +Ġfre edom +Ġr outes +ĠB uy +Ġcomm ands +Ġm esh +/ C +ĠSet tings +- style +Ġw itness +Ġc le +Ġun ion +ef ault +are t +Ġthought s +Ġ ---- +_pro cess +_ us +ing ly +U ES +T ouch +ĠÐ ¼ +_ open +ĠV ec +Ġre ward +.C lick +/ : +Ġn ie +Ch anges +M onth +ï¼ Ł +Ġexec ution +Ġbe ach +( Integer +ĉ a +/ ' +.Font Style +Ġab ort +ĠS ingle +( isset +Ġd p +Ġ}} +Ġ* = +ĠP S +Ġdanger ous +[ p +OM E +O ther +ĠString Builder +Point s +head ing +Ġc urrency +Ġpercent age +_A PI +Ġclass ic +the ad +ĠM O +F E +Id x +aw ait +Ġà ¨ +Ġacc ident +Ġvari ant +Ġm yst +ĠL and +ĠB re +Ġh arm +ĠA cc +Ġcharg ed +ion es +Vis ibility +ar ry +ĠL anguage +Ġwalk ing +" .ĊĊ +if er +Ġleaders hip +.F rom +yn am +Ġt imestamp +i pt +ĠH as +REF ER +ĠIt s +Ġlist ener +UT E +2 13 +_d escription +Ġexperi ences +Ġcre ates +R S +c art +bl ack +Ġcho ices +w ar +7 50 +Ġ'' ' +Ġorder ed +Ġeven ing +Ġp il +Ġt un +ĠB ad +( app +r andom +Ġexp licit +Ġarr ived +Ġf ly +Ġecon om +-m ail +Ġlist s +Ġarch itect +23 4 +ĠP ay +Ġd s +ĠS ol +Ġveh icles +H z +- com +Ġk ing +_e qual +ĠH elp +Ġab use +4 80 +16 9 +-- ;Ċ +Ġex tr +Ġchem ical +ä ¿ +Ġor ient +Ġbre ath +ĠS pace +(e lement +w ait +DE D +ig ma +Ġent r +Ġs ob +- name +Ġaff ected +ik a +Ġco al +_w ork +Ġhundred s +Ġpolit ics +sub ject +Ġconsum er +ANG E +Ġrepe ated +S end +Ġ# [ +Ġprot ocol +Ġlead s +use um +E very +80 8 +17 4 +Im port +(c ount +Ġchalleng es +Ġnov el +Ġdep art +b its +.C urrent +Ġ` ${ +ot ing +( \ +Ġcreat ive +Ġbu ff +Ġintrodu ced +us ic +mod ules +A re +-d oc +l anguage +_c ache +Ġto d +? > {{ +ĠRes ource +ĠSt andard +ĠP rem +up dated +ival ent +Ġas sets +_t emp +Ġinterest s +Ġhard ware +ĠR om +ĠSh are +Ġ' 'Ċ +Ġ* , +ĠT ake +ĠIm ages +_C HECK +(type of +ĠJ un +\< ^ +Ġli qu +Ġwor st +ymb ols +ĉĉĉ ĠĠĠ +Ġdr ivers +ĠD ocument +en o +ĠTechn ology +Ġappro ved +ump s +Ġs now +form ance +_A SSERT +u its +20 7 +Ù Ĩ +Ġdiffer ences +. Visible +ĉĉĉ čĊ +ĠP s +_f etch +Ġto do +. ',Ċ +Ġs el +ur ers +in valid +Ġt weet +V EL +Ġresearch ers +Ġs printf +ĠR O +Ġp el +.Tr ans +Ġil legal +d ialog +sm arty +l g +_M IN +Ġher o +f inal +Ġp p +.L e +Ġc i +ĉ RT +Ġsuggest ed +p df +ach ing +ĠR o +ĠProp erties +ĠS i +Ġbuy ing +Ġm u +Ġl ands +if iers +ĠF ILE +RO UP +Ġh older +ĠS on +Ġsym pt +.r oute +) ? +Ġarg c +Ġfor t +Ġcas ino +_c ategory +Ġfor um +2 15 +p refix +apt ure +T ube +em s +im ize +Ġn ue +a us +c ourse +AT OR +() ), +Ad vertis +ING S +Ġack now +ĠKore a +pl ing +Ġwork er +PL IED +h al +ĠRich ard +Element s +ĉĉĉ Ġ +st ar +Ġrelationship s +Ġche ap +AC H +ĠX ML +, & +ĠLou is +Ġr ide +_F AIL +Ġch unk +[ s +_O UT +Ġch osen +_ [ +/ ( +ĠJ eff +_s l +pr iv +ĠCan adian +Ġun able +_F LAG +Ġn os +h igh +Ġl ift +f un +() { +el ly +ycler View +_ as +_L IST +Ġr adi +.get Value +30 4 +ĠAnge les +ĠS pan +_in stance +it ors +20 8 +Ġm igration +A K +O h + ® +. selected +ĠG T +Ġadv ance +ĠSt yle +.Data GridView +e ction +Ñ İ +p io +ro g +Ġsh opping +ĠR ect +I lluminate +O U +ĉ array +Ġsubstant ial +Ġpre gn +Ġprom ote +IE W +.L ayout +Ġsign s +/ . +Ġlet ters +Bo ard +ct rl +" \ +ĠJ ones +Ġvert ex +Ġj a +Ġaff ili +Ġwe alth +ĉ default +Ġsignificant ly +Ġe c +Ġx s +act ual +.p er +_st ep +an vas +m ac +Ġtrans l +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Iter ator +Ġo ch +agnost ic +ĠD uring +ĠDE FAULT +Ġt ill +Ġsign ature +Ġb ird +ĠO l +3 10 +ĠI r +H S +av atar +ESS AGE +Ġe lev +Ġm t +ĠN av +Ġrel ax +Ġpl ate +IT EM +( date +.n ot +Ġgr ade +Ġ} ),Ċ +? "ĊĊ +i ences +H igh +ĠD IS +23 1 +dis abled +Q UI +Ġno ise +a ux +ĠU P +88 8 +os a +Ġv oc +Ġ )) +oc om +_O FF +ĠD b +L ock +.e clipse +, d +ĠD raw +Ġ" ( +Ġvis ited +Ġâ Ī +Ġsuc ceed +Ġim possible +a ire +ĠT urn +Ġd ish +F G +Ġs ensor +AN N +ab a +Ġsur g +] );čĊ +Ġf p +_ an +- J +- G +ĠJ ob +Con vert +ĠKE Y +Ġauth ors +_s erver +\ r +Ġ-* - +f lex +Ġs oc +R et +Ġs alt +ĠâĢ¦ ĊĊ +ĠC lear +(p age +-d anger +Ġroom s +con v +# { +. op +ĠA rea +_S C +h en +Ġbeg ins +- y +Ġexc ited +Ġign ored +Ġbon us +st udent +ĠM ember +Ġrel atively +ĠL ow +ĠPro du +ate way +pos ure +Ġth ick +ani el +( view +ĠCr ush +Ext ension +I l +e ed +LO C +. im +. Items +Ġconflic t +.pre vent +25 2 +Ġon Create +u v +is er +Ġw ave +M ar +ĠComm unity +ic he +ĠNo thing +[ m +ĠLe e +ri ends +2 32 +è re +!! ! +an z +. result +ĠS K +_P ARAM +Ġdem ocr +Back Color +.ex ists +" It +( options +ra zy +as er +\ Database +al endar +_ ass +; }Ċ +vert ex +ine craft +W arning +arg o +Ġact or +ĠInst ead +ĠUs ing +S elf +@ interface +Ġspe aking +ĠPar is +ĠL ICENSE +.n ode +ĠF ood +E IF +ĠB i +. Start +ĠI B +Ġun iversity +25 4 +ĠHe ader +.pro duct +40 9 +C opy +et c +r ical +Ġ> >> +book s +Ġal gorithm +Ġ' __ +(j avax +Ġnumer ous +Sh are +H ave +Ġrec ru +Ġpro ve +.sub string +he alth +е л +Ġdec imal +Ġcomm ission +s cription +x C +Ġsum mary +att ed +Ġclo ser +fin ished +() ){Ċ +ĠW ood +30 1 +_field s +k u +_ items +Fl ag +Ġconf idence +ĠF ederal +du x +Ġcomp at +Ġvert ical +Ð ¹ +è s +; ">Ċ +_m anager +() ))Ċ +ID E +: ", +23 5 +__ Ċ +ĠW ay +22 1 +Ñ Ī +T emp +ĠS TR +rit ten +S ync +ĠA V +ĠC EO +ĠG uid +Ġenvironment al +Ġcorrespond ing +ĉ console +Ġjust ice +ĠJ S +Ġl ived +g ar +ĠG raph +ĠSt at +Ġi Phone +. al +ĠH D +Ġocc ur +Ġth reshold +50 9 +Ġon click +RE G +.Graphics Unit +M eta +Å ¾ +Ġc um +.g nu +à « +Ġobt ained +Ġcompl aint +Ġe ating +Ġt ar +_t ask +Ġopt s +2 16 +( to +P ass +Ġpl astic +t ility +ĠW in +.prevent Default +p ile +ĠG ar +Ġqu antity +_l ast +Ġg reatest +D ao +_D IS +ĠUs ed +ĠH P +rit ing +S ION +bl ue +d omain +Ġs cores +N ormal +_ admin +ĠA SSERT +Th en +** * +d ist +l on +Ġh ate +sh al +Image View +d atabase +Ġp and +Ġlog ic += false +b g +ĠConfig uration +Ġn ur +O G +Ġmar ried +: + +Ġdro pped +0 40 +Ġreg istration +оР¼ +ult iple +iz ers +sh ape +.c opy +Ġwe aring +ĠC ath +Ġded icated +Ġ.. .Ċ +Ġadv oc +ĠF amily +Ġstat ements +em atic +ampions hip +Ġmot iv +ĠH ave +Ġbl ow +J ob +c ert +_v ector +inst all +ĠC OPY +em bed +D IR +ĠS pring +Ġex hib +22 3 +cd n +ĠCom ment +ĠOption al +. player +ĠD ark +( pos +ĠSh ould +Ġcent re +ĠGu ard +ó w +Ġtr ouble +EN ER +( unsigned +_s ervice +Ġn s +ul ing +ĠMex ico +ĠN Y +mys ql +Ġl ic +å ľ +M r +- fl +ĠC ustomer +id i +Ġ? >ĊĊ +ri ble +Ġп ÑĢ +Ġs izes +_STR ING +valid ation +ĠJ on +( Http +add Class +N odes +Ġfrag ment +Ġsp oke +Ġw aste +J oin +Ġill ustr +el i +c ient +Ġa id +Ġpro sec +') {Ċ +Ġpass ing +Ġf aces +Sh ape +_ Z +it i +Ġal le +Ġro bot +ĠĠĠĠĠĠĠ Ċ +ĠS pe +Ġrece iving +ĠD etails +Ġ" ) +m g +_RE F +Ġcompar ison +* , +ĠF ound +_s ession +( U +/ F +Ġx xx +N etwork +d ers +Ġcap ture +Ġcor re +ĠL td +ĠAd v +[ @ +Ġcl ip +M ill +ĠPro file +Ġend if +Ġob lig +des cribe +.e lement +riter ion +L D +er ed +Ġfav our +s core +ĠF ilter +at tributes +Ġcheck s +In flater +ĠPl us +Ġscient ific +Ġpriv acy +He ad +Ġfe at +Ġdeg rees +ĠP ale +; "> +Ġfil ms +ĠA udio +ĠT ag +ĠE nergy +it ar +par ator +Ġf ellow +Ġev t +ĠT ri +ĠD AM +cl oud +ĠP assword +ĠDemocr ats +ĠAc ad +$ lang +Ġre b +() )ĊĊ +н Ñĭ +ĠB ur +read cr +Ġh ex +20 9 +Con sole +ct l +ous el +ĠWill iam +Ġa z +_P ORT +Ġpract ices +Ġany where +ĠP osition +Ġ- >Ċ +i ams +.user name +place holder +Ġo der +ĠSecret ary +Ġi T +mon d +event s +? âĢĿ +.S ub +Ġatt ached +Ġn ão +Ġest ate +36 5 +. action +Ġfig ures +Ġ} );čĊ +Ġsubs cri +.t ag +n am +. plot +no on +li ament +Char acter +.t ab +Ġw inter +ĠVar iable +Ġtre es +Ġpr oud +( V +_ load +Ġh ier +ĠE con +Ġf d +Ġvict ims +R est +ian a +Ġf ake +.Print ln +Ġstr len +Ġs ad +Ġb le +Pro t +Ġbutton s +Ġte levision +Ġlog o +ext ension +ĉ j +ste in +acion es +Ġ"" "ĊĊ +Ġsim p +Ġrecord ed +Ġbr ings +Ġprincip al +Ġfe es +(s ource +k dir +Ġutil s +Ġcorrect ly +f il +Ġw el +P air +-b utton +s cale +ver ify +[ c +Ġ-- - +Ġes cape +ik es +Lower Case +ic ian +Ġch apter +ĠT YPE +Ġsh adow +Ġaw esome +W E +el if +Ġl ambda +Ġdist inct +Ġb are +- off +Ġcol our +.append Child +ole c +ag a +.f ill +ĉs uper +Ġad j +( position +.get Item +24 2 +Sh ort +Ġtot ally +V D +ĠT re +_ ep +v ements +ĠS olution +Ġfund ament +F ollow +Ġfac ility +Ġhappen ing +O F +.text Box +S pan +Ġ « +id en +Ġex ceed +(p arent +Ġc p +ç » +Ġhas n +Ġp ri +Ġcon sequ +n en +ĠIN TO +I gnore +ĠF uture +Ġcar bon +ĠSte el +f mt +ok ie +Ġs pl +(t itle +- info +Ġde als +Ġfix ture +e a +D iv +Ġtest ed +_ return +)ĊĊ ĊĊ +upport ed +ĠC ook +Ġpay ing +ĠI ll +Ġarrest ed +ĠPr ime +_c allback +> ,Ċ +dr iver +On ce +ab b +_by tes +ĠS ets +( Object +Ġc c +Ġsh ell +al o +); // +( log +2 64 +ct ors +) +2 18 +Ġ$ (". +.p os +Ġbo ys +Ġwed ding +Ġag ents +=" _ +ĠAr my +Ġh int +v ision +Ġte ch +ĠCon nect +Ġleg end +ĠB et +.B ase +Sub ject +Ġl it +Rem ove +Ġ" : +ĠF inal +pear ance +ĠiT unes +Ġparticip ants +ĠPy thon +Ġbus y +i el +vert ices +Ġtemplate Url +ĠC lose +Im g +ĠCorpor ation +t imestamp +Ġext end +Ġwe bsites +Ġposs ibility +о ÑĤ +Ġk ö +Ġme at +Ġrepresent ation +24 1 +Ġ ĉĉ +_ST ART +.app ly +ĠVal ley +ĠS uccess +H i +Ġn ob +ĠI Enumerable +_ select +ge o +. ")Ċ +Ġturn ing +Ġfab ric +(" ");Ċ +Ġpers pective +é Ĺ +ĠS n +Th ank +; j +.Param eters +ĉ ĠĠĠĠĠĠĠĠĠĠĠ +Ġfact s +30 5 +Ġun t +.in stance +################################ ################################ +- end +ĠJO IN +ĠH en +Ġur i +åIJ į +Ġн а +ĠIn fo +Ġconduct ed +Ġà ¥ +OUR CE +Ġw ine +J ohn +.Error f +ĠA ge +ound ed +Ġreal ize +3 12 +Ġ] ; +Ġsub sequ +, m +( User +ian o +Ġaccom pl +is p +.st d +é ĩ +ĠB ed +.set Attribute +B R +ke ep +ĠA LL +Ġis ol +am ma +P ackage +Ġoccas ion +-s uccess +еР´ +ĠLIMIT ED +st rip +() ĊĊĊ +istrib ution +Color s +Ġ+ :+ +Did Load +al er +Ġt id +ĠL ED +ĠLink ed +ĠC art +() )čĊ +_RE AD +Ġkill ing +ĠP HP +fe ction +Ġinst ances +c v +"/ > +Ġs f +Ġtax es +_ location +ĠBit coin +u able +r ank +ign ore +tr ack +к а +Ġshould n +ĠO P +=> {Ċ +Ġk m +Ġh elper +_ head +ĠWh ether +oc o +_b l +Ġstat istics +Ġbeaut y +Ġto g +t ip +ëĭ ¤ +Ġc sv +(s ql +std lib +we ak +Ġlik es +Ä į +Ġrepe at +Ġap artment +Ġem ph +_ edit +Ġv it +ĉ type +2 17 +E ven +ut en +Ġcircum stances +b ian +Ġs ugar +W indows +ì ŀ +Ġobs erved +/ data +Ġcal endar +Ġstri ke +ĠR ES +_s c +f ony +ore m +( z +p ower +et ect +ĠS at +.d escription +Ġg ang +ĠS ports +ong s +ĠB undle +.s um +on ce +Ġacc used +Ġexplo re +Ġapprox imately +Ġlos ing +thes is +ĠF und +Ġdi agn +A utowired +prop erties +Ġ_ . +Ġc nt +ced ure +Ġy y +Ġgr ant +so ck +.inner HTML +Ġ] );Ċ +ĠCON FIG +=' $ +5 50 +] ];Ċ +UN D +Ġg lob +Ġd ire +uff le +_M EM +Ġauth entic +> (" +Ġdec ade +ĠIm port +Ġorigin ally +Ġj Query +Ġindic ate +Ġours elves +S w +.l bl +ener ate +Ġbas ically +ĠH om +Ġ+ #+ +ĠBrit ain +ĠK ar +to Equal +.st op +Ġmod al +is i +Ġsuggest s +Ġd type +Ġt ur +b f +Ġconnection s +ĠB efore +ist ed +m ouse +Ġpul led +.b uild +Ġlegis lation +Ġfor th +p ad +eg o +.N ow +Ġexc iting +}ĊĊ ĊĊ +Ġcom pr +Ġsh ares +Ġr ig +g reen +_ vec +Ġenumer ate +A uto +ic ator +ĠR ay +as se +Ġh oliday +Ġnull able +g un +_d etails +Ġwr apper +se q +ĠYou ng +ju ana +Ġ" __ +lic ense +ser ve +^ ( +id ers +.Rem ove +rop down +' S +p in +(t oken +.D efault +Ġreason able +amp ion +ĠS ociety +Ġbe i +erv es +r ad +ĠF ox +_ images +Ġw heel +') [ +Ġc fg +( By +Con structor +Ġv ary +.sw ift +Ġpro xy +ĉ H +ĠAn other +ĠP en +Ġcheck ing +Ġj est +man ager +Or igin +ug s +o ir +>< !-- +Ġexpress ed +Ġmod er +Ġag encies +Ġi h +-h idden +ious ly +ĠR od +Ġso le +M ed +.A ny +Ġp c +b al +Ex ample +ĠS ale +Ġst rip +ĠCom p +Ġpresident ial +M ost +put ation +( ref +ĠF our +_f ilename +Ġen forcement +Ø ¯ +ĠGe org +we ights +/ l +Ġag gress +Ġd rawing +and y +< I +- j +ak a +h ref +Ġteach ers +_ Q +( it +ĠM B +Ġtemp orary +ire base +str a +æĹ ¶ +è ´ +( label +ou p +Ġtop ics +Ġport ion +id os +ĠJew ish +Ġre covery +6 50 +Ġstand s +# [ +Ġafter noon +ĠArt icle +_ att +Ġexpl an +ĠP ak +.setOn ClickListener +. children +Ġi k ++ ( +l ag +Ġdis k +Ġcont rovers +"> & +as p +Ġw ie +ĠAustral ian +ĠYou Tube +At tr +cont ains +du ce +ĠM att +3 40 +at ern +Ġvol unte +Ġnew sp +V P +olt ip +Ġde legate +_m eta +Ġaccur ate +ĠEx ample +% , +ĠD aily +Ġc abin +ĠS W +Ġlim its +k ip +Ġar my +Ġend ing +Ġb oss +ĠD ialog +Al so +="# " +ord an +row se +- min +Ġ" & +_ loc +U X +Ġdevelop ers +Ġaccur acy +Ġmaint enance +Ġhe av +Ġfil ters +.T oolStrip +Ġn arr +ĠE mp +ORD ER +ĠM obile +.S erial +.out put +24 4 +.c ol +M aterial +um a +Ġconsum ers +sh ift +Ġp ued +Ġmin i +c ollection +Ġk an +.c enter +H istory +Ġben ch +() ); +itor ies +Ġcrow d +_c all +Ġpow ers +- E +Ġdis miss +Ġtalk s +ĠCh annel +for ward +_ control +/s rc +i est +**************** ******** +Ġbet a +(c olor +_O BJECT +ĠA pi +Ġeffect ively +C amera +s d +uss y +29 0 +D ict +ĠE ffect +ib ilities +Ġreturn ing +ĠF ar +Ġ' ') +Ġmod ules +2 19 +il ation +Ġ( % +TR GL +Ġst orm +on na +ĠEX P +Ġs pons +Ġdis pl +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠ +f all +å Į +ign Key +_ US +et rics +Ġhand les +T L +_ amount +ow a +br and +ĠT ool +Ġus ual +. Z +cre ment +ad ium +st ock +Ġserv ing +ĠB on +Ġline ar +ĠT arget +ĠR adio +H L +Sh ader +om atic +ag ues +in ity +d iff +_ iterator +qu ot +Ġ ,Ċ +c allback +Ġsympt oms +[ _ +ĠB ul +ĠF eb +und o +_ account +Ġtyp edef +и Ñģ +tr as +User Id +ĠP enn +ĠSup reme +} > +user Id +32 7 +ĠK im +Ġg a +Ġart ists +å ¸ +ĠAb stract +ok emon +Ġh am +o val +Ġch a +at en +å Ĩ +F ixed +Ġvul ner +ĠParam eters +qu antity +.C lear +Servlet Request +Ġy a +Ġsou l +0 80 +trans action +Ġsol o +Ġp airs +æ Ķ +ĠG re +_ word +ĠC C +Ġg i +z ie +Ġsched uled +rot ation +gy pt +ul ous +:: _ +ĠE ll +< ! +ĉĉ ĠĠ +l p +ah a +C opyright +00 9 +Ġdr am +25 1 +Ġdi agram +ĠM em +Ġg arden +Com p +Ġattempt s +uff ix +> () +Ġphil osoph +_re l +å ¼ +Ġs v +.se cond +ant o +.J son +ĠTe le +_ local +_s end +Ġas pects +ì Ĺ +IB LE +Ġr ail +Ġwid ely +ash ed +i ar +in f +up per +d jango +_result s +iss ing +Ġequ ivalent +OUN D +Ġt y +Ġpotential ly +Advertis ement +23 8 +ĠRec ord +3 80 +resent ation +_w idget +ound ing +Ġrelig ion +Ġcons c +ĠL im +. am +H tml +Ġ' : +P ATH +_s pec +ort ed +id ades +_sh ape +Ġkeep s +.S ave +ĠL oc +or i +ĠT EST +unic ip +Ġreg ions +Ġbelie ves +/ en +pos ite +{ ' +pre pare +_ const +s ample +ĠWill iams +Ġstr t +_ Get +ĠAnd rew +. active +Ġl ayers +Visual Style +az y +ĠK n +Ġac id +ĠAs ia +Ġex cess +ĉm y +Ġkey board +ens us +Ġcre w +Ġmiss ed +m aster +ĠW ild +Ġnew ly +Ġwin ner +Ġst ub +ic ode +.m ove +D omain +ĠS ar +Ġfore st +LE D +claim er +.ex it +ĠW indow +Ġres istance +ĠC HECK +(" - +ĠR yan +Ġp ipe +Ġco ast +DE F +// ! +_ off +ex it +Ġult imately +imit ive +ĠKe ep +Ġhistor ical +Ġany way +ĠJack son +ock er +ER N +ĠU INT +y ntax +ER Y +is ms +Ġc n +Ġocc urs +Ġ; ; +Text View +A E +/ img +Ġy esterday +- default +Ġt iny +Ġpro c +Ġal ive +ĠRE G +. th +ear ing +.get Logger +< link +_ login +F older +ab c +lyph icon +н о +Ġnot iced +od igo +Ġed ition +im ator +. Enabled +.parse Int +Ġy ards +ĉĉĉĉĉĉĉĉ ĉĉĉĉ +Ġver bose +л Ñı +_B Y +.log in +.* ;Ċ +ĠM id +é es +Ġg lo +Ġbuild ings +Ġz e +ĠI ter +Ġt ube +ĠP ot +\ M +25 3 +< th +br idge +ĠS cript +ĠM odule +Ġv acc +Ġinstall ation +v y +VisualStyle BackColor +ĠS M +.t otal +64 0 +b at +Ġfind s +Ġat mos +Sub view +iz ard +Ġrepl acement +lic ated +ap is +Ġlog ged +ĠLe ft +G ui +_ Type +t m +P ad +Ġhouse hold +Ġre le +Ġpropos al +_CL ASS +24 3 +:: :: +Ġinf rastructure +In ject +/ html +22 6 +Ġad s +iz za +Ġm g +ctr ine +% Ċ +< html +- image +Ġatt orney +< m +(' , +Ġcan n +Ġprint ln +o ose +Ġy ellow +.ex p +p ayment +Ġtable View +aw ay +Ġopp osition +ĠAg ain +ĠH andle +Ġex clusive +in ar +é r +оР± +ĠC ODE +emp orary +Ġre act +pi pe +23 6 +c z +. activity +Ġlarg ely +Ġdis s +ax y +es is +ĠR en +Ġc orn +.Use VisualStyleBackColor +d ays +Ġfr uit +In sert +_ enc +E st +_de c +ĠL uc +Ġü ber +param eters +P ERT +ex press +_pro file +Un known +Ġrev olution +.add ress +_re quire +Ġun iform +ĠP ack +l ar +ĠU ITableView +Ġdep ends +Valid ation +conf irm +O wner +Ġt rib +h et +ĠI de +ans as +24 7 +L anguage +u et +ĠP o +ĠSte ve +Ġcont est +_DE FAULT +Ġapparent ly +RE EN +Ġfrequ ently +Ġtrad ition +ocol ate +S I +ĠArg ument +F ocus +ert e +ĠL ayout +Ġd x +Ġgener ator +ĠW ait +P olicy +l ights +.Ex ecute +55 5 +P y +Ġbed room +ed a +ra id +ĉs ize +Ġan cient +Ġp ump +Ġd w +Ġ(! ( +Ġspec ify +( status +ĠF BI +.ex ception +Ġrem ark +ly mp +ant ee +Up load +ern et +é ¡ +in ent +ĠR ender +d m +ĠM emory +r ich +ĠT ools +Ġk ne +Ġper m +b ad +Ġd inner +.res et +Ġj Label +Fe ature +.S ervice +Ġ( {Ċ +Ġre ferred +.class List +24 8 +Ġinit With +ĠText View +Ġne ither +Ġcount y +Ġ" { +ç § +Ġt ack +class Name +ĠUS ER +Ġre new +` ` +get Name +Ġb rown +Err ors +ert o +Ġsust ain +S O +let es +ĠIn valid +24 6 +22 7 +Ġen emies +un ge +Ġexist ence +err a +Ċ ĠĠĊ +utor ial +# a +p ay +char ge +ĠI re +ate st +Ġexp los +Ġf ired +N ER +ĠT y +ic ion +U ri +Ġobvious ly +ĠC olum +Ġ' + +ĠDe vice +- related +_ ARG +Ġv or +ĠLess er +_O P +Serial izer +Ġup grade +L ight +Ġc odes +++ ;čĊ +Ġwrit es +fo od +Ġé t +@ section +Ġtrack s +Ġserious ly +ch t +4 30 +(size of +Ġimmedi ate +Ġscient ists +Ġ{ $ +_ ne +.Anchor Styles +Ġaccom mod +ĠHar ry +Ġs ight +ĠPale st +ersist ent +Ġ Ñĥ +- input +Ġco ordinates + · +22 8 +W elcome +.con f +Ġgre w +Ġb old +ĠC PU +(m y +Ġperfect ly +Ġmom ents +ĠM ovie +- data +yst al +_W IDTH +26 2 +ĠS creen +æ Ŀ +Ġdis ap +Ġredu ction +.Get Component +_M ODULE +Ġgener ic +Ġd y +all er +Ġc url +ĠB ody +Ġb anks +, t +av g +Ġev il +Ġmanufact urer +Ġrece iver +Column s +Ġing redients +ĉ out +qu es +.L oad +Ġslow ly +ĠT own +ĠC ell +_n ormal +_p refix +ĠAl ert +(" { +ä r +âĢľ The +ĠM D +Ġcour ses +ath an +é Ļ +oc c +ĠS ER +es ign +Add r += [' +(" ./ +] } +.f ont +ĠInst agram +ĠB order +od a +Ġh all +Ġr um +_b it +Ġs aving +_d own +R andom +_reg ister +( Context +Ġoppos ite +R oom +Y ES +ан и +Ġenjoy ed +_r un +C lear +âĢ ĺ +ĠF ord +on ic +ost en +"] ) +_ auth +// čĊ +Ġsuff icient +LE S +Ġph en +Ġo h +_c sv +Ġrout ine +.Are Equal +ay lor +Ġb asket +_COM M +rypt ed +S im +ĠSh op +Ġstud io +at os +( W +[ string +ä t +og a +Ġsh r +Ġs ick +An other +Ġdo ors +_N E +ĠTH REE +. order +raz il +Ġmap s +_TR UE +trans late +Ġnear by +26 5 +Ġn ach +LO AT +b atch +22 9 +Ġl ux +ash es +ang ers +âĢ¦ âĢ¦ +_E VENT +_ UP +Ġact s +in v +_M ETHOD +cc ion +Ġret ain +ut ch +ĠÐ ± +Ġknow ing +Ġrepresent ing +N OT +p ng +Con tract +Ġtr ick +ĠE dition +uplic ate +Ġcontrol led +c fg +j avascript +Ġmil k +Wh ite +Se quence +aw a +Ġdiscuss ed +50 1 +ĠB ush +ĠY ES +.f actory +t ags +Ġt act +Ġs id +$ $ +ĠE num +27 5 +Ġfr ames +} ); +Ġreg ul +'] ;čĊ +Reg ion +32 1 +ff f +Ġc ro +( com +=" + +St udent +Ġdis appoint +RES ULT +Count er +Ġbut ter +ĠH a +ĠD igital +Ġb id +"> {{ +ing ers +ĠC ountry +_t pl +"] )Ċ +/ k +d ating +: # +ĠD ATA +yn chron +_b ody +olly wood +Ġval or +ip ient +o ft +UB L +doc s +Ġsyn chron +Ġform ed +ru ption +Ġlist a +Request Mapping +Ġvill age +Ġkn ock +oc s +" { +_fl ags +Ġtrans actions +Ġhab it +ĠJ e +ed en +Ġa ircraft +ir k +ĠA B +Ġfair ly +. inter +.A ct +Ġinstr ument +remove Class +.com mand +Ñ ī +ĉm em +( min +Ġo t +Ġcol le += s +time out +Ġid s +ĠM atch +ij n +z ero +4 10 +Ġnetwork s +.g ov +Ġint el +Ġsection s +out ine +(c md +(d ir +ĠLI ABILITY +ĠB log +Ġbr idge +30 8 +ĠC V +con vert +Ġ" )Ċ +ĠB ern +_P O +e val +( set +to ol +Ġpay ments +Beh aviour +Ġcon crete +Ġel ig +Ġacc eler +Ġh ole +_ o +TE GER +Ġgraph ics +O wn +Form atter +on der +Ġpack ages +/ a +ĠK now +Or Default +Ġdut y +W ait +н а +_rec ord +[ t +M esh +Ġon going +.be ans +Ġt an +Ġinter pret +ast ers +QU AL +Ġleg s +\ Request +- file +_m utex +ĠS aint +// # +Ġpro hib +( info +: = +lin ux +Ġb lo +ot ic +ĉf inal +_ex p +ĠSt op +ap ing +(s aved +_p ush +Ġe ase +_F R +pons ive +str cmp +: ĊĊĊĊ +ä» ¶ +ol i +Ġextrem e +Ġprof essor +Im ages +.IO Exception +Ġaddress es +plement ed +Ġincor por +Ġuse Effect +_O F +ĠD a +n ombre +IR ST +Ġdisc rim +Ġcomp ens +greg ate +anc ell +ach es +ĠC riteria +$ result +D estroy +Ġsecond ary +W atch +ĠS em +ĠMc C +Ġacad emic +U pper +:: ~ +ut ral +ĠD og +ad ed +23 7 +Valid ator +Ġder ived +Ġset Timeout +ĠK en +Ġtyp ical +ĠB ob +Ġb ounds +ĠSe ason +Ġc razy +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠ +-r outer +itt est +ĠM ir +Ġemot ional +, v +c n +/ st +å ½ +on om +Ġdecl ared +> . +ail ing +Ġ/* <<< +Ġnorm ally +(M e +ev in +lik ely +Ġpoint ed +ĠSt ack +Ġw alls +. Vector +me an +] ]Ċ +Ġlist ening +ad v +Ġsw ap +IF T +Ø ª +. argv +ul s +< option +not ations +Ġemail s +ĠU kr +ast a +ĠTh us +ĠSt one +Ġappe al +. âĢĻ +Ġreg ulations +Pre ferences +ĠPh one +ul f +ĠD R +Ġtechn ologies +Ġpar agraph +Ġnecess arily +37 0 +0 30 +.e ach +< float +res a +Ġunder st +Ġf inger +press ed +-b y +if fer +w atch +ĠB a +A IM +Ġwe ights +ĠR on +') }} +[ self +-------- --Ċ +per iment +Ġto String +x ic +ĠC amera +! ĊĊĊĊ +aur ant +P refix +Ġinstit utions +: int +Ġex posure +p attern +ĠLin ux +.n umber +red ient +Argument Exception +ĠCh ief +" }, +Ġelect ronic +r ong +er d +sp Net +ra it +/ ', +ĠOh io +Cont rollers +Ġcontin uing +ĠT emplate +ĠE th +s z +/ env +En v +% . +art ers +) (( +ĠT ABLE +Ġà ® +per ature +pro gress +P res +ê ° +im plementation +Ġb ien +Ġstre ets +_M SG +New s +## # +: / +Ġcut ting +x B +ress ed +_EN ABLE +l ab +Ġca using +] ));Ċ +b ra +x FFFF +il ly +plet ion +w ill +_b ar +Ġstruct ures +ĠI mp +Û Į +Ġ< > +Ġ ---------------- +_B UFFER +.d ir +Ġpl ain +Ġpe er +24 9 +g g +oint s +Ġsomew hat +Ġw et +Ġemploy ment +Ġtick ets +ir ms +Ġt uple +s is +$ sql +r ig +Ġcon version +Ġg es +Ġconfig ure +eg r +ĠC a +Ġ__ (' +ou ston +.t oken +Bl ack +Ġmag azine +A W +. IN +os ing +Ġbro ke +ĠC ru +DE LETE +Ġdestroy ed +(M ath +Ġappro val +-d om +ĠI II +table View +Ġdesign s +Ġcrush ing +Ġcons ent +dir name +om p +Ġc rypt +? ( +or ough +30 7 +. o +ĉ list +ams ung +."" "Ċ +err ing +G oogle +_p air +_IN IT +rem arks +Ġg ear +F ill +l ife +} ")Ċ +Ġsuit able +Ġsurpr ised +_RE QUEST +Ġman ifest +att en +Ġfr ustr +ov ement +.c lick +Ġi i +Ġexp ansion +ig s +P arse +.Reg ular +R ob +_l ayout +ì ł +Ġtrans lation +ĠBe aut +B est +_C OLOR +< label +Ġliqu id +IT S +Ġpro d +23 9 +Ġoper ate +UI Kit +Ġn atur +arg ument +_d etail +ĠCent re +Ġ" -- +Ġ}} " +lo cale +.t v +_se q +Ġup coming +Ch art +ĠDiv ision +Ġclin ical +Com pany +S epar +l as +ĠH un +: s +Ġhead ing +оР³ +Ġ" ");Ċ +[ id +b ia +Ġst retch +ic ide +Ġre produ +.pro ject +leg end +end ers +Ġrespons es +Ġon t +rit ical +Ġref uge +ĠL i +Ġ: ĊĊ +ĠTh ree +.cont roller +_IN DEX +_F OR +\Model s +j ax +ĉex it +Ġâ ĸ +Ġc overs +ĉ y +- . +IND OW +Ġfail s +in cludes +Ġf ault +4 40 +Ġl y +44 4 +ñ o +.s lice +ILE D +ĠP ur +ĠAs ian +_b atch +.M ax +v l +ĠCOPY RIGHT +Ġg iant +ĠMan ual +ĠC opy +Class Name +He alth +C ursor +IB Outlet +Ġt we +æ ³ +_label s +Ġcol lected +Ġfurn iture +Ġdeal ing +Control s +ĠHot el +ck s +Ġch ose +âĶ Ģ +od d +S R +Ù Ĭ +ì Ħ +Ġacc ord +ĠM ove +ĠM ode +ĠM ock +Ġthread s +++ ++ +ĠO ptions +Ref resh +ĠD id +'] -> +u cc +_ch annel +. abs +Ġ{ },Ċ +ĠW al +er ior +Ġmain ly +ĠDr iver +NotFound Exception +Ġcount s +e am +Ġ& = +Q uestion +ĠA li +Ġany more +d etail +t ail +Ġm ile +ĠF air +Ġs orry +Ġsurround ing +Ġad m +De v +Ġmari juana +ĠS ound +ĠA sh +F D +Te am +. port +Ġ[ ]ĊĊ +ub ble +Ġas c +Ġint ention +A cc +ch i +ust ers +Ġins pired +se g +CL U +Ġman ip +M etadata +Con nect +ĠB eh +Ġfind ings +Ġas sembly +w orld +Ġrem ained +Ġu id +( . +Ġm x +Lo op +ĊĊĊĊ Ċ +Ġfant astic +wh o +ak i +ĠB asic +ĠY et +ĠUs ers +ik ip +Ġhead s +ĠMich igan +_ it +ĠTor onto +Ġrec ording +Ġsub mitted +_var iable +medi ate +.graph ics +Ġst ood +Ġre ar +vel ocity +_M ESSAGE +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +ro les +ĠT our +_ year +end ment +amp s +ĠIre land +m al +Ġyoung er +Ġstrugg le +Ġc able +ĠSD L +(' - +an es +ĠNe ed +.R ow +P ol +ĠP H +_s cript +ag em +ĠB as +_s pace +. loc +: i +ad r +Ġengine ering +it en +) & +Ġu k +ĠL ittle +_C OUNT +x A +Array List +æ į +Ġ" ")Ċ +An chor +Ġh ang +t witter +Ġcompet itive +.s rc +ãģ Ĺ +Ġtrans late +ĠCre ates +ook s +ĠR oll +'' 'Ċ +/ sh +s ome +Enc oding +.res olve +Ġdesign er +ĠSt orage +Ġz a +ĠN ever +Ġsomew here +Ġbox es +.s ource +Ġpy game +Ġgrow n +.t w +() ),Ċ +', [' +Ġoppon ent +(s rc +.l ayer +AP P +ĠAct iv +Ġguest s +ĠVAL UES +};ĊĊ Ċ +.n ative +Ġamount s +. RE +Ġcl one +Ġwer en +Ġ" << +_ ac +Ġbreak ing +Ġreli able +.P OST +ĠSk y +Ġ' & +Ġsaved InstanceState +ast ing +ill ion +com ments +ult y +.m enu +/ config +Ġ ĊĊĊ +T ODO +Ġpurch ased +_c or +ĉ auto +Compat Activity +com plete +_ graph +is odes +Ġsitu ations +ĠH or +Re ceive +âĢľ We +Ġent ities +.assert Equals +оРº +ĠS ans +v ince +rom pt += Ċ +Ġ/ . +.Se lect +yl v +Ġb att +A udio +Ġincreasing ly +.B undle +Ġexpl ains +0 60 +the ast +. offset +Ġh al +Ġtechn ique +_l imit +Ġdraw n +AY ER +Ġfeature d +yy yy +at in +ph en +ach el +! \ +l ower +ĠG R +Ġp ag +ĠP arse +Ġt ou +ä¸ Ģ +D istance +Index Path +Ġh ell +s im +UT TON +Us age +elen ium +ĠF all +Ġ" .$ +ĠM u +Ġcr uc +Ġs ont +REF IX +3 11 +Ġinter ior +ĠO lymp +.Auto Scale +par a +Axis Alignment +Ġr iver +D to +Ġwith draw +Re act +- class +b efore +_ alloc +Cont ents +ĠW as +I CT +Ġform ula +Ġindic ates +ĠĠĠĠ ĊĊ +_st ore +it ting +ĠIt alian +_S et +_re port +Ġp id +_V ER +Ġw ins +ĠCl oud +") {Ċ +ch ester +Ġden ied +Ġw ird +ĠSte p +Ġinvest ors +b old +_d isplay +ou ver +or er +Res et +Ġsurg ery +Ġstrateg ies +/m aterial +_ unit +Ġc ouncil +.P er +ĠâĢ ŀ +Ġre form +F ramework +Ġlist ing +_b tn +Ġb is +% d +eg as +Ġsudden ly +_S ER +3 15 +Ġa o +_d irectory +f as +Ġprem ium +Ġtrack ing +ĠB L +Ġm ature +Ġbath room +Ġ'/ ' +ĠÄ ij +Per formed +Ġsold iers +arn ings +Ġwalk ed +- con +b ottom +Ġsurpr ising +Ġg ene +Us uario +.DE FAULT +ĠM IT +C ODE +ĠE gypt +p icker +ys ql +AT URE +d etails +ĠCon ference +In formation +ĠM ail +-d own +r aries +b ro +Ġsubject s +Ġ' * +è¯ · +or ient +: @ +ver bose +E F +Ġto ler +3 13 +eng ers +Ġend point +Ġstr ange +Ġcol on +Ġpre ferred +de p +ĠE V +ARR AY +Ġw he +Ġp up +_n odes +Ġtalk ed +Ġinstit ution +db c +Ġex posed +te en +ĠFr ont +T T +_N ONE +\/ \/ +pro gram +Ġencour age +. ` +sh ire +ĠIsl am +32 5 +e en +N I +' " +.W idth +Ġlik ed +Ġ{ ... +ĠSystem s +Ġvot re +Ġmanufact uring +Con verter +ĠIn f +ì ļ +D TO +Ġin ches +Ġ ठ+à ¹ +ĠChar les +B U +")) ;ĊĊ +ĠL abor +un n +Ġest im +m obile +ĠL earn +28 1 +_C ALL +â Ħ +Ġind ices +Ġt ub +28 8 +ikip edia +C ost +row able +ë ¡ +g age +Ġfunction ality +uzz le +em os +.l ib +Ġd ass +еРº +enn a +Ġsh ots +Ġrest ore +/ D +For Key +], [ +al ias +l int +.st ream +æ ł +_FORM AT +Ġsil ver +.re pository +Ġlegis l +.B order +_fe atures +Per mission +Ġhous es +ĠW ars +_COM P +Ġinj uries +Ġconstant ly +fl utter +EN U +ĠCon f +Ġrecogn ized +Ġpract ical +Ġde cent +B J +] ); +ast y +ĠAct ivity +-m ode +Ġsl ide +.IsNullOr Empty +ĠY OU +P ower +ind ices +Ġqual ified +Ġthrow n +h ello +3 16 +ĠN ick +l ah +as sembly +ĠSm all +old ing +Sh ould +ĠSil ver +(saved InstanceState +Ġtog gle +.N ot +C trl +: nil +ĠCont inue +ĠB oot +æ ī +ĠM ur +d on +ĠF A +S napshot +Ġassoci ation +fo x +, a +az ione +] )čĊ +CT YPE +Ġf ade +ĠD ar +.n avigation +Ġl uck +SC RI +ĠDe ad +Ġterm inal +_LE NGTH +Ġeff iciency +Ġun w +Ġn arrow +iment o +( Color +ĠSe a +_ area +, A +_ opt +ĠHill ary +.t ask +ĠJ ac +ast ed +ĠAd am +ĠIl legal +Ġsearch ing +Instance Of +J ava +ĠForm at +Ġreal ized +ĠChild ren +Ġk il +(f rame +âĢĿ .ĊĊ +Ġscen ario +"] );Ċ +Ġincred ible +li x +IO Exception +ĠQ uest +il ty +Ġun lock +â Ĥ¬ +Ġre ferences +ĠV ert +B inding +eg ative +Ġwr ap +.d atabase +( content +B uf +ĠTr ad +ĠA ud +tr ace +.m ock +Ġther apy +ĉ L +.To Int +ĠKing dom +B us +ha ust +"" "ĊĊ +( end +.draw able +[ ];Ċ +ĠH ospital +Ġph arm +---- - +ĠA G +é d +> ");Ċ +Ġw allet +at able +) $ +Ġmonth ly +Ġdi agnostic +S ymbol +Ġiter ator +un finished +Ġimm igration +s r +RO W +(g ame +Ġclo thes +ĠU nt +Ġactiv ation +_C on +27 3 +.h ash +Ġinitial ly +.H ash +Ġcut s +f ound +ĠSt ory +ÑĨ и +ac ao +_T YP +pro to +est r +-p age +ah r +Ġincor rect +ĠJose ph +TextBox Column +_st yle +ĠD aniel +s heet +Ġl iv +l ined +Ġr a +R untime +_ empty +sl ug +_ struct +ë Ĭ +m u +Ġper mitted +Ġreg ional +Ġsob re +ĠS uch +Ġ[ _ +Ġro of +.Al ignment +t imes +.m sg +Ġche st +ĠT ab +Ġest a +ä n +Ġsubs cription +( command +s pecial +Ġme al +") :Ċ +_ ctx +Ġclos ely +30 9 +et ry +- be +ad el +ĠR am +ig est +ĠSpan ish +Ġcommit ment +Ġw ake +* >( +P HP +_ { +ck er +< List +_n ull +3 90 +ĠRes erved +Ġin her +.Column s +.A spNet +_IN VALID +ĠParam eter +Ġex pr +} { +Cell Style +Ġval uable +Ġfun ny +In v +Ġst able +* t +Ġp ill +2 99 +pl iers +ĠC SS +ĠCon dition +ĠS peed +ublish er +25 9 +Ġoff ensive +ce st +ic as +Ġsp ark +ĠPro te +set up +IF Y +ĠT ax +Wh o +F amily +- for +. uk +Ġf asc +sv g +") ). +Ġbirth day +âĸ Ī +ve h +el led +Ġimport s +ĠIsl amic +T A +ĠSt an +we ather +Ġsus pect +e ature +enn es +W M +.m inecraft +av id +è ½ +.se curity +in os +G ood +Ġm arch +6 55 +25 7 +Ġposs ess +us uario +Con s +am ber +ched uler +Ġhor se +ç ½ +(b ody +ĠTrans form +_de code +.s vg +Ġf oo +Ġd ella +ext ends +am er +Ġprocess ed +ĠH arr +ĠA I +Ġk o +CH AR +( % +Ġt ap +({ ' +c roll +D OM +Ġte a +Ġre in +26 1 +Ġworld wide +_f n +sh a +Ġb ir +ç ões +="# "> +Ġrepresent ed +ill er +(ex pected +Ġd ance +Ġvisit ors +.con cat +-b it +UR RE +ĠR og +v p +ip h +ĠL LC +it led +iam i +C oll +_re al +_sh ow +_f older +Ġd ar +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġl atter +arch y +Ġb ow +Ġout come +5 10 +ĠPost ed +Ġris ks +ĠThere fore +Ġowners hip +Ġpar allel +Ġp ending +ge ometry +Ġrecogn ize +ST EM +ĠC P +Ġimm igr +IT LE +ĠĠĠĠ ĉĉ +conn ected +Ġsm ile +(d ocument +\ Component +vert ical +Ġconsum ption +Ġsh oes +. impl +un ks +. ";Ċ +Ġfood s +_ );Ċ +.assert True +Ġp ipeline +Ġcollection s +Ġearn ed +ĠC ert +Ġpartners hip +( action +26 3 +Ġc d +ĠV ery +Option al +Ġscre ens +Ġtit les +ener ator +Ġab andon +k ind +IL TER +Ġclos ing +lic a +_ inter +Ġcamp us +set ting +S prite +ãģ ¯ +_re ply +To List +: \/\/ +ed e +Ġfol ks +Ġbo at +( argv +Ġperman ent +Ġcarry ing +Ġconserv ative +import ant +. img +ĠIm m +Ġdim ensions +al and +s ingle +Ex it +-------- -- +ari ant +tern al +Se conds +ĠIt aly +ot lin +.Res ume +=' " +) == +cept or +Ġs ca +/m ain +Sec urity +_d at +Ġlet s +Ġa qu +Ġwhen ever +b erry +Ġact ing +ant i +p d +& gt +æ Ń +Z one +T oday +! . +32 3 +To Props +ab is +it able +Ġg al +] { +iz ona +Ġin contri +N ET +/// Ċ +[ in +_s ave +Ġex em +ĠK enn +Ġev olution +27 2 +var s +_st ats +- only +ĠColor ado +Ġwatch ed +b our +Ġsever e +Ġprofession als +port ion +Ġguar ante +Ð ³ +Ġpush ed +ĠG i +ï ½ +Ġt um +ĠA z +ĠEdge Insets +")) ;čĊ +is se +. ac +Set ting +Ġapprec iate +ĠValue Error +Ġsur ve +ĠR ole +. Inter +plot lib +j et +d am +Ġplatform s +te le +UT O +ĠInt ernal ++ : +} ;čĊ +Gener al +\ Entity +Ġlawy er +qu iv +ĠPost s +is o +Ġacc um +ob e +Ġmark s +Ġ] ;ĊĊ +ĉ text +.s uccess +cur r +as a +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠ +Ġth in +_ over +0 16 +are st +ĠO s +( address +Ġvel ocity +Ġ[] ;ĊĊ +=" ../../ +ĠPr iv +b ow +Ġguar antee +% ĊĊ +32 2 +Ġeval uate +.LE NGTH +Ġin ventory +q a +_de bug +.On ClickListener +Ġl ies +Ġassess ment +dat etime +.background Color +Ġ*/ čĊčĊ +ra f +un wrap +ĠF oot +Ġnot ify +Ġlow est +DO CTYPE +Ġl anguages +ex tra +- back +Ġein en +tem plates +27 1 +_p ass +5 20 +77 7 +ĠM ust +Ġest á +_c ore +ĠSc ot +A I +Ġb ias +ations hip +Con stant +Ġprogram ming +In s +uspend Layout +ĠPRO VID +ant es +Ġsh irt +in ated +. OK +[ a +Ġthink s +? ĊĊĊĊ +Ġregard less +ĠMag ic +ul ating +ĉ class +add Group +RE ATE +ĠS U +Ġsim pl +c opyright +Ġb unch +Ġun iverse +9 50 +ĠE rr +Ġpresent ation +c ategories +Ġatt ach +.s ign +_A C +Ġdisc ipl +Ġregular ly +Ġprim arily +ink s +[ [ +.r and +.sh ould +ownt own +=" ' +Ġs ans +Ġsupport ers +se quence +G O +. .ĊĊ +ĠS pr +Ġcare fully +U IColor +dest roy +Ġtod os +ĠOR DER +ott ed +Ġd ont +aud i +_ player +g re +6 25 +ĠO il +< body +_st ack +.P adding +ĠProduct s +Ġpriv ile +0 14 +Ġinj ured +ĠF urther +Ġal ias +.Resume Layout +_LE N +Ġs es +'] ;ĊĊ +cre ens +Ġdirect ed +.S uspendLayout +od ge +.A t +mark s +ĠUn ivers +ert s +ĠE sc +Ġnav bar +Ġutil ity +agnost ics +Ġin ject +ĠD NA +Ġ" ," +am ar +Ġe u +Ġrestaur ants +_p ut +ut ers +Tool Strip +t w +ist ro +Ġz oom +Ġleg it +pec ific +28 5 +ĠC ome +Ġlocal Storage +Ġabs or +.P anel +ĠDesign er +Ġo w +IC AL +_ uri +(f ield +Ġsup erv +Ex ists +Ġrespect ively +ĠSt and +Con f +uss ian +3 64 +Ġar c +Ġ nd +uck s +Ġre str +Ġseason s +ĠCh apter +ĠSw itch +p ic +Ġh i +load ed +Ġfl uid +-b tn +Ġrun time +. it +25 8 +B N +Op acity +as ant +ry ption +-n ative +Ġta ught +å ¯ +ag ment +Ġm ul +Reg istry +_ grid +ĠBro ok +: Set +Ġm ongoose +AM ES +inner HTML +Ġs oci +ĠInt el +get Id +C md +Ġaccess ible +r ames +le ton +Ġ__ ( +ĉ delete +ĠS quare +" ĊĊĊ +Ġbu cket +avor ite +ĠB reak +++ ] +Ġbr ush +26 6 +Ġt ensor +/ http +T ile +Ġfunction al +Ġ" * +wh el +Ġt ent +ĠChar acter +Ġse es +. ST +B ig +Ġext ern +Url s +)) )), +ĠJ r +.B uilder +. ; +n l +_ Init +ĠH ER +ż e +mys qli +_ icon +v an +Ġfeel ings +Ġle an +Ġhop ing +T V +="čĊ +b est +all as +ent ed +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĊ +_con nection +Ġrep o +en abled +аРº +Ġsh a +Ġmembers hip +Status Code +in ating +_s m +_c ustom +_ weight +Ġc ss +St at +_ env +link s +TR L +ĠH it +, r +up id +Ġop ens +Ġg ent +_v is +Ġj oy +< w +_c ost +ĠPy Object +ren ce +ĠGeorg ia +ĠBro ad +m ma +â Ĥ +p f +Ġ" \" +Ġ( & +om o +Ġliter ally +Ī ĺ +met ric +Ġb ars +z ed +(w indow +ĠIsrael i +Ġform al +ident ifier +.d ao +ĠDe ath +% ;Ċ +Ġdecl are +ar ms +RE AM +PERT Y +Ġconsequ ences +to ols +Pe ople +ĠWh ich +> ();čĊ +.de code +_A CT +Button s +.f loat +.F irst +ë ¥ +ĠPol it +ĠX CT +T ags +ĠCG Float += str +Ġle af +- check +ĠI ss +.s ystem +log out +ach t +Ang le +s in +ch art +INT ER +ĠN UM +B asic +.P roperties +ä¸ Ń +_ change +ĠB razil +Ab stract +Ġ: +: +_ use +а л +26 8 +ĠL y +IB UT +Ġout er +Ġ-- >čĊ +Ġrel ief +l ap +qu er +_p arent +he ap +LO SE +Ġcomb ine +ĠR ose +ow ers +Ġproced ures +ĠS ort +an im +var iant +eh icle +Ġsign ing +Pr imary +c urrency +Ġsex e +o en +th eta +em an +Ġimpress ive +(' _ +ĉ U +ĠText Style +_c nt +Ġs lice +(' : +Ġunderst ood +H is +27 7 +0 13 +Ġinform ed +Ġn ick +4 29 +(T AG +h d +Ġelection s +est ure +ĠS anta +ĠCo ast +.p df +inc iple +.cl one +b orn +ut a +Ġl icensed +C r +Ġb read +ĠH ouston +Ġn od +Ġhop es +ĠCG Rect +Ġgu ilty +.g if +Ġro se +.Com mon +T ip +AN K +ĠF C +D uring +ĠSym fony +Ġdef ensive +k m +) > +arch ive +ĠU RI +ycl ing +- o +ĠWe bsite +AM P +40 5 +ish ment +Ġdo ctors +D irect +AR I +ĠRed irect +ier en +9 60 +_d ist +y o +ĠPro gress +Ġz um +Ġmem or +ĠE D +Ġj ur +æį ® +_T ABLE +Ġu uid +Ex pr +. head +(' % +point er +Ġest imate +ĠG reg +Ġlo ader +Ġi OS +Ġm ens +[ y +Ġref used +Ġprec ision +is ch +ĠA CTION +Cl oud +s With +( ret +29 2 +_ADD R +_con f +(d f +Ġlock ed +Ġr ising +ãĥ» ãĥ» +ĠM s +Ġscen es +_EX T +_ raw +_ the +pe ople +Ġre con +ĠF un +Ġb less +ĠUp dated +4 22 +ü n +ĠĠĠĠĠĠĠĠĠĠĠĠ čĊ +pe ction +Re lease +.log ger +ĠS Y +Ġcoun sel +ur d +_ true +Ġevery body +iv ot +Ġh ence +ĠN AS +78 9 +Ġoppos ed +unk nown +ĠDES C +ĠCh air +fa iled +ĠIN CLUDING +38 6 +35 2 +Ġwrit ers +{ }Ċ +ÃŃ t +_c opy +} : +ĠB at +Ġconvert ed +ed ing +pl acement +ĠH ost +S ound +и м +Ġs ought +40 2 +m id +Ġsal ary +og g +âĦ ¢ +b ul +Ġw ir +valid ator +_ST AT +.st ore +ĠB attle +ı n +Ġ-- >ĊĊ +Tr ump +d ot +ĠCON T +.f etch +Ġcontin u +w as +Ġfra ud +_t mp +mit ter +.p ictureBox +G A +Ġt ournament +. Input +34 3 +[ r +ex ion +cent age +ĠKore an +und ef +ĠAv ailable +resh ape +Ġk it +ĠStr uct +ĠS UB +An swer +_l ib +.t witter +Ġo re +ĠDr agon +.Ex t +, k +Ġexplan ation +ref s +ĠDr ive +ĠTr aining +28 2 +.H as +34 1 +int age +b ig +olog ist +enn is +4 60 +Ù ĩ +Ġch icken +ĠĠĠĠĠĠĠĠĠĠ Ċ +ç Ľ +ãģ § +Ġpe ak +Ġdrink ing +Ġen code +ĠNE W +m alloc +ĉf printf +Ġ= ================================================================ +in cluding +Ġprincip les +ĠM ah +26 7 +st orage +- key +Ġkey word +% ; +Ġtr ained +.con trib +Ġk v +__ ':Ċ +ĠB oy +param eter +Ġsu ite +Ġthous and +Ġco ordinate +-g enerated +íķ ĺ +gener ated +Ġad mitted +Ġp ussy +# w +Ġsw im +un ion +N a +27 4 +ĠRoy al +.ch annel +Up dated +_RO OT +Ġv ital +33 5 +ra ction +ĠCrush er +Ġpre ced +Ġhor izontal +Blue print +Ġattr s +Ġsm oke +Ð Ĵ +. Equals +F B +ĠRes ources +roll ing +Ġpass es +ĠN um +rot ate +et ype +\ ", +Ġsens itive +Ġt all +? âĢĿĊĊ +Pro xy +i y +_ section +âĢĶâĢĶ âĢĶâĢĶ +br id +Ġcirc uit +at an +EN C +Ġdr iven +Ġvot ed +Ġeduc ational +Ġinter action +abet es +Ġt one +ĠInitialize Component +Ġmer ely +Ġì ŀ +co okie +_ div +ĠUIL abel +vel y +} );čĊ +_ ENT +#+ #+ +art icles +ĠSou thern +Ġstrong er +ĠG iven +ĠE ric +ĠI R +ab stract +U nder +n able +Ġincre ment +ov en +Ġco in +_t imer +Ġsuffer ed +ĠF REE +'] ." +ĠQue en +st ats +Ġmeet ings +27 6 +Ġenter ing +Ġalong side +(s ession +it als +Ġfound ation +ĠC redit +. div +_ ALL +pc ion +_st at +ick ing +Default s +_s rc +Ġoutput s +/ B +Ġent hus +-b l +.Fore Color +ĉ temp +F ace +Ġinter act +Ġwe ird +M ount +re ll +ud ents +Ġrequire ment +ĠS us +I ER +Ġe lected +re ference +ĠM E +Ġserv ers +.w ait +Ġsnap shot +il ton +Ġtri es +Ġt ipo +.T ime +> w +Ġmount ain +Ġp ounds +Ġ[ ... +ex ists +Ġng On +_M AP +Ġf lying +33 1 +xi ety +ĉ value +_D B +un o +Ġse ats +T URN +. author +! ) +or ce +Ġindic ated +3 17 +.s in +Ġass ignment +im iento +ĠF rame +32 4 +_g en +in ery +_ ) +m essages +.set tings +ĠMe an +ĠM useum +ir q +att ach +ĠPalest in +_ QU +_t ags +Ġcas ual +em en +ASS WORD +4 32 +$ s +ĠC irc +оР¹ +et ric +/ P +0 18 +Ġep och +< head +_C MD +Ġg it +Ġpen alty +or ph +_ users +ours es +.Date Time +atern ion +_pro ject +Ġsuper ior +ĠD am +ĠSe attle +X Y +> The +ĠA k +Ġgr ass +/* čĊ +(d is +Ġgun s +Ġt b +ĠK evin +. args +ĠA h +op ed +( J +column s +arg uments +ĠWith Events +_f ull +ĠDef ense +S imple +Ġdeath s +29 5 +Ġext ensive +ĠSt ill +ĠEx pression +ĠAg ency +Ġperform ing +F X +Ġus uario +U AL +S ide +od os +apt op +Ġcred entials +_c ap +at ient +ĠDis ney +Ġa i +Ġch ip +Ġvol t +.make Text +%%%%%%%% %%%%%%%% +Ġbelie f +_LO C +ĠC ivil +N avigation +Ġreve al +Ġviol ent +ĠF il +Ġc atalog +em ed +sc an +. control +Ġconstit ution +C ountry +Separ ator +_A PP +top ic +uet ooth +M IN +Ġdes criptor +y t +ET HER +Ġdistrib ute +' }Ċ +.tr im +.L ine +Ġl bl +assert Equals +ĠD et +omb ok +( width +Ġt ort +ĠEXP RESS +ac o +Us ing +ĠBr and +w all +EM ENT +ĠComm unic +< uint +ĠG UI +EG IN +ĠR ange +/ i +ĠT aylor +c ost +Ġrespond ed +ĠTh eme +n ce +IS H +Ġfeat uring +Return s +ĠK r +Ġ .Ċ +Ġn am +_c b +Test ing +Ġ{ }, +y al +.f ield +Ġ/ = +_SH ORT +m ates +Test Case +ain less +Ġeval uation +_ ITEM +ĠPac ific +ĉ k +Ġc ant +ĠR os +) s +Ġf et +STR ING +3 19 +ĠDis pose +g al +ĠJ oin +ĠP orn +ĠCath olic +AR GET +cp u +ç łģ +.sc roll +32 8 +IS ING +ifest yle +anc ement +Ġm erc +ĠB rowser +eter min +Ġover flow +Av ailable +Ġbott le +: UI +ific ial +Ġco ord +clar ation +Ġcon j +G LOBAL +ok u +Ġk wargs +cond itions +ul um +Ġg enu +ĠH ero +å İ +Ġun expected +ĠDAM AGES +Ġk a +ĠC ould +UP PORT +ĠPh otos +Ġconf ident +Ġdet ected +de g +rg b +Ġstrong ly +Ġ} ;čĊ +Ġ) : +Ġle ct +urs ive +RO L +ĠWe ight +Ġent ertainment +Ġ) );Ċ +Ġg onna +Ġb b +.d o +G S +Ġmist ake +D L +ĠPROVID ED +ear ning +L imit +iss ions +[ v +ä¸ į +ir ty +D el +Ġunder lying +pre ne +Ġj aw +ĠD I +pe er +Ġobject ive +Ġde posit +Ġk on +Ġes p +27 8 +.set Visibility +/ login +< typename +Ġfr anch +/ e +26 9 +Par allel +Ġsc ored +ĠH on +ĠV ill +ig a +Ġant icip +_ assert +ĠO pt +Ġdescri bes +w an +m ount +Ġmonitor ing +Ġt out +ëĬ Ķ +}, { +................ ................ += int +Ġc ust +---- -- +Ġatmos phere +P AR +ort e +IS IBLE +ĠI ron +ĠNot ification +.log ging +ĠBO OL +-p oint +Ġaf raid +ent a +Ġtom orrow +@ implementation +Ġeng age +ĠAn th +ĠF loor +ĠU l +To ols +Ġb ab +Ġcare ful +ãģ Ħ +Ġcruc ial +Ġcalcul ated +ĠS A +Ġw y +9 11 +D X +_T AG +ind ed +Ġj et +ĠEngine ering +.M AX +en z +v d +Ġpublic ation +Ġ## # +Ġfac ed +ra ham +ĠC apt +33 6 +As set +ĠCon stants +Ġlo ans +_ IP +ĠF ish +Red uc +_m at +Date Format +_m e +[] [] +Ġintegr ity +ĠC ourse +lob als +Ġfac ilit +Ġem br +ĠN g +.S ystem +Ġmanufact urers +Ġpro ven +.on Create +Ġal arm +Ġ § +Ġcomm only +ic os +æĸ ° +ĠSt ation +} ). +ĠF ilm +w i +ç ī +Ġeng aged +St ats +Ġgovern ments +5 40 +Ġafford able +_p roperty +Ġag es +(' -- +Ġf ör +ĠProf essor +Ġhy dro +P ush +Ġorgan ized +28 4 +Ac cept +é m +_c ell +Ġn b +p b +Art icle +Ġrem oval +Ġauth entication +ĠF R +l ide +Ġple asure +ap ol +Ġpart ition +ĠS ide +Ġcr imes +Ġdem o +hold ers +ĠPak istan +In struction +Ġexpect ations +3 32 +.sc ene +Ġ' ) +h es +ino is +_P ro +Ġm olec +and al +_sh ort +Ġdefault s +Ġn ations +in en +Ġr t +O CK +P acket +S B +ĠSH ALL +_cont ents +ise conds +vert y +á t +G uid +n om +Ġcon clusion +. Update +Ġlo vely +Ġem it +b ec +ĉĉĉĉ Ġ +Ġintel lect +Ġb rew +ec ycle +F ire +35 8 +Ġad mit +Ġar bit +Ġarr ang +ĠM IN +M ail +ĠN ative +C ur +Ġcon vent +.R untime +" }Ċ +.R un +Ġprint ed +Ġconven ient +. ar +m ock +ĠAdmin istration +ãģ ¾ +Ġelect ron +fl ate +Ġl ombok +Ġjava fx +n h +Ġsup plies +Ġvisit ing +ah l +Ġpow der +Ġult imate +Ġorient ation +ut as +_s cale +Con firm +ph ones +ĠOper ation +/ T +44 3 +_IN TER +Ġair port +Ġmet rics +Ġphen omen +a udio +33 4 +Ġm ai +( K +h u +all ing +rodu ction +ĠTrans port +ĠNOT E +æĸ ĩ +Ġfew er +_T IM +ì § +к и +A ge +F IN +29 4 +Ġì Ŀ +ĠAt tribute +group s +er k +at to +. define +.AspNet Core +ategor ia +ĠS ir +( form +< User +. round +_d ay +.A ll +Servlet Response +.N o +l arge +IG H +qu ent +Ġvir us +Ġret ro +Ġim per +Bit map +Ġv ice +Ġoff ense +ist e +ĠA UTH +Ġê ° +ToolStrip MenuItem +G u +Ġr ape +ĠDav is +Ġover whel +: flutter +- table +ĠCon structor +Pr ivate +e ven +ch r +Ġap plies +_at tribute +Ġcon tribute +E VER +28 9 +L ines +ĠAf ghan +Vis itor +ĠS L +se ason +C U +Ġintrodu ction +Ġmat plotlib +Å ij +Ġnewsp aper +âĢĶ and +< tag +Ġin i +Ġd iverse +Ignore Case +35 3 +ĠU r +Ag ent +Ġb ull +.em it +( Exception +ar Layout +Ġincred ibly +ĠTr ust +={ ( +- nav +Ġe quals +Ġl ady +ĠP od +d isc +al am +ĠI V +â Ļ +iv idual +ph i +0 17 +add ed +Ġdifficult y +Ġcomp act +5 30 +ĠAction Result +c ers +_class es +Non Null +Ġqu it +Ġp ou +S witch +ir s +- test +ĠK ind +ĠCal endar +40 6 +Ġstream ing +} ', +27 9 +S W +Ġst ead +oc a +Ġprov ince +9 78 +Ġcol span +Ġperson nel +ĠE mployee +Ġprodu cer +Ġevery where +od b +Ð Ł +bs olute +act ivate +Ġgr inding +ĠBuild ing +ĠSand ers +(s c +ĠOff set +//////// //// +} ;čĊčĊ +({ " +Ġscan f +ĠY Y +ĉdef er +Ġj ew +Ġrestrict ions +.m p +[ l +ä¸ ĭ +label s +red icate +aw esome +Ġw aves +Ġcon front +Ġmeas ured +Ġdat as +_ex it +35 5 +ot ton +Ġshould er +ask a ++ # +ĠĠĠĠĠĠĠĠĊ ĠĠĠĠĠĠĠĠĊ +Ġtro ops +29 3 +ĠU nd +_c ard +w ich +Ġn ous +Ġ"/ " +s b +Ġcommunic ations +Ex port +Ġdec ode +th s +inter pret +By Name +ĠSp irit +ed ges +O LE +ĠE M +t it +ĠTh rough +Ġb io +ĠP ackage +or ne +29 1 +Ġ} . +4 11 +` ;Ċ +Ġok ay +ĠZe aland +ident ity +(n ext +ĠB ang +Lib rary +Ġheav ily +il on +Ġdi pl +Ġrot ate +put s +) ',Ċ +ĠData Table +Ġmay or +.to LowerCase +Ġsome how +ĠNor thern +al c +Ġcap abilities +Ġv ibr ++ Ċ +ĠS u +28 6 +ĠRes et +_m ean +Ġc ig +.cl oud +ĠB and +ĠF actory +ĠAr izona +_ io +op her +Ġconsc ious +Ġà ¶ +\ Controllers +_s peed +ĠF ac +_C om +ĠB ible +w en +ED IT +Ġun n +ĠSt aff +ĠIn n +Ġmechan ism +ĠM embers +Ġmigration Builder +'] .' +.get Int +< void +ĉf ree +oid s +\ Support +Ġautom atic +Ġch ances +Ð ¶ +Ġcomp licated +[ row +ah oo +Ġ}ĊĊ ĊĊ +Model s +W in +Ġt ape +ir us +iz on +on omy +(" _ +: . +.st ereotype +29 6 +( env +_re ct +(w ith +Ġassert That +Ġcon straints +put y +E mployee +6 20 +T D +Ġgu itar +8 75 +ĠJew s +.pro cess +Ġf iction +ĠSh ared +âĶĢ âĶĢ +Ġprop ag +.N et +Ġachie ved +ĉ Q +Ġn urs +Sh ared +_FAIL URE +Ġbeh aviour +Ġcol s +ism o +Ġfem in +Ġchalleng ing +Ġpost ing +enc il +Ġcapt ured +ĠD ou +( word +ĠTur key +pan ies +Ġre putation +ORM AL +Ġelig ible +prot ocol +4 14 +id as +(f rom +34 4 +Ġfin ance +- per +Ġg otten +H A +d uration +ĠP arent +6 78 +Ġin vent +Ġre start +ол ÑĮ +r ition +(r s +< bool +i ert +Ġmod ification +ĠT X +readcr umb +b ank +32 6 +$ / +ĠMill er +] ),Ċ +.Check ed +Ġsac r +se curity +Ġp ose +ĠBr ad +Ġfit ness +Ġannounc ement +ation Token +Ġserv es +ne ed +Ġge ometry +AR S +æ Ģ +andid ate +Ġs prite +_s plit +We ek +ad ies +> (Ċ +?> " +Ġ/// Ċ +Ġein er +Ġweek ly +ĉlog ger +_p op +_m an +Ġmigr ations +Ġask s +Ġb s +Ġfall s +.W here +- height +_fe ature +.M in +Ġhy per +Ġvol atile +Ġtw enty +Typ ography +Un able +D et +, f +-m od +Ġsett lement +Ġcontract s +n ome +B ad +ĠB rian +7 68 +(user name +!! !! +Ġh ack +.F ield +H R +ĠJ ordan +iz a +Ġ ł +ĠSh er +. header +( other +ĠD ub +( op +ĠR ound +Ġv ie +Ġap pl +ĉ J +ĠIn sert +ĠL P +reg on +ĠM PI +Ġan chor +ac a +ø r +Ġa de +anch or +que e +ĠTree Node +Ġtarget ed +Ġla id +AB EL +v et +ĠOr igin +A nt +. ');Ċ +ex pect +ed Reader +ĠM ajor +Ġin ch +Com par +Ġpre view +Ġill ness +ĠCONTR ACT +ĠInd epend +u uid +Ġn ome +Ġt c +ĠA venue +is an +Ġph rase +_m ove +") [ +4 12 +Ġprov ision +Ġconcent r +_ IR +ĠU t +() + +Ġn as +! , +ĠRob in +i ations +at itude +Ġp x +ĠWith out +/b ash +ek t +re ement +34 2 +Ob server +3 18 +ĠReg ion +UBL IC +Ġ{ // +K N +å · +Game Object +å ¾ +enc oding +Ġ** * +project s +Ġt k +Ġche ese +EM PL +ar o +Ġا ÙĦ +6 10 +33 7 +Ġcons ists +ref resh +ure au +ĠSc anner +Ġso il +Ġfl avor +Data Source +Ex ecute +ени е +Ġsh it +åĪ Ĩ +< any +Ġretrie ve +Ġbelong s +.st rip +abs olute +Ġexp anded +bo y +): - +Ġresc ue +.J Label +Ġre ly +Ġal ignment +-f amily +Ġre nd +OLUM N +Ġb orrow +Ġqu otes +ĠL ew +Ġsh ower +ĠDE LETE +_lo op +! "ĊĊ +ĉ re +Ġattempt ed +aver age +ĠP aint +quis ition +ol en +Ġliter ature +ĠRe ference +_TEXT URE +ĠS eg +ĠInd ust +ct ype +D UCT +_H OST +ĠTr ade +Ġpl ugins +Ġbre ast +ul se +Ġcreat ure +37 2 +ãģ Ļ +ĠW i +Ġsup plied +c oll +! (" +Ġfuck ing +ĠCh rome +ĠU ri +ĠN ation +Ġvert ices +T HE +ĠOr iginal +on de +Ġsh arp +Ġcook ing +34 7 +Ġ{ /* +ĠPs ych +ĠH ollywood +=$ _ +.D ock +Ġg er +Ġb one +_con n +_se c +ys ics +Ġ= " +29 8 +S al +s f +Ġdeep ly +ang les +T erm +b ell +ĠQu ick +5 60 +ener ation +adio Button +åħ ¥ +}čĊčĊ čĊ +Ġcapt ion +l c +ĠE L +, [ +ĠĠĠĠĠĠ čĊ +ret t +(m ethod +ĠFl ash +4 70 +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +W ISE +.s cale +Ġrough ly +_ child +m emory +ay ing +Ġinitial ized +in ator +а ÑĢ +Ġsc alar +ĠH o +ai res +(c olumn +.de stroy +P ACK +Ġh em +ang el +_S UB +. qu +Ġ × +DE FAULT +pos itories +50 3 +ĠL ength +ĠF ast +Ġsign als +Ġ// $ +ri ers +Ġd ummy +AN Y +Ġperson ality +Ġa gricult +Pl atform +ER O +ĠT ra +Ġen orm +ĉ W +Action Result +Ġa ver +[ str +Ġ' -- +.S printf +Ġdeb ut +Ġ Ñĩ +h ex +_ utils +Ġp b +U ITableView +Ġz ur +. encode +4 16 +Ġv ag +.error s +о н +Ġm r +ĠA ward +Ġc pu +Ġpress ed +' est +ĠF estival +' T +Ġa k +res olve +04 3 +.m e +Ġn ic +Ġgen re +Ġat trib +ĠMo on +Ġarr ive +ĠD ating +Ġt m +.Config uration +50 5 +. red +Ġgl m +Ġst ations +sw itch +Ġt ied +äº º +Ġ/ >Ċ +Ġsubsequ ent +pos able +-fl uid +Ġth orough +Ġpublic ly +apt ers +ĠWil son +_P RE +y ard +ä ¼ +ĉ in +33 9 +Ġre vers +Ġbul let +cri bed +nes ota +Ġ($ _ +ann on +c ursor +Ġclo thing +ĠM ulti +28 7 +: ', +Ġv ess +ordin ator +Ġein em +C annot +Ġar med +ĉ V +ä¸ Ĭ +.F lat +ĠS ep +ĠSub ject +_f ont +Ġcharacter istics +D one +el n +######## #### +PO S +Ġd ensity +ĠPl atform +- items +Ġo vers +Ġpush ing +ç ¤ +.Con nection +_ term +Ġinitial ization +________________ ________________ +ç ¬ +.d ocument +les h +ĉd ocument +ĠP in +ç a +Ġdefinition s +.P ath +_W RITE +Ġ ĉĊ +? >ĊĊ +Ġter rible +be an +ick ets +ĠS V +B uy +(t ask +Ġreg ime +g oogle +Ġcr ack +.vis it +N UM +ener gy +Ġstr uck +_s ample +.p ayload +Ġre vis +ĠSc ene +Ġp g +Ġbreak fast +URRE NT +.char At +_ex ception +ĠAnt on +Ġguid elines +Ġex haust +ĠFin ancial +Ġind ent +Ġdes ktop +H idden +F ailure +Ġpr inciple +Ġ iv +Ġse ks +n etwork +Ġnumber Of +ĠAl bert +ĉ long +80 1 +, . +Ġz eros +f ade +ĠT yp +ĠT erm +ĠAr ts +.App lication +Ġbeh alf +æĪ · +Ġm ere +(` ${ +Ġaware ness +elp ers +f lix +Ġwe igh +Ġestim ates +. child +/ O +ĠBit map +.b ottom +Ġ************************************************************************ ** +Ex pect +ent o +ĠFor um +ver al +Ġj ail +Ġab ilities +ĠH OLD +ĠC it +Ġd ynam +Ġgr ay +ĉĉĉĉĉĉĉĉ ĉĉĉĉĉ +.next Int +ant ly +ĠAR ISING +( private +Ġreject ed +ĠN ic +Ġle ather += {Ċ +aly tics +th etic +.T op +37 3 +.P age +={ ` +Ġ ;čĊ +de pth +m ann +W D +ĠS om +.R ight +Ġ) }Ċ +Ġtr ait +Ã Ĺ +i ac +Ġr v +S ample +.X ml +opp ed +ĠÑ Ħ +list s +Ġt ear +ivers ary +.c ollection +ĠCon stitution +ĠHttp Response +Ġbr ill +ĠP rom +h over +36 6 +ĠM iami +Ġarg ue +_f loat +50 4 +Ġ ãĤ +Ġn at +ĠT al +Ġinteg ration +(c ur +Ġrem oving +Ġco eff +ĠTh ough +Ġfore cast +40 8 +ĠV egas +S ite +34 6 +Ġtr ab +ĠHen ry +- i +Ġinvol ves +B T +Ġs lo +In voke +Ġl ucky +0 25 +r at +Ġ? Ċ +Ġhand led +(f d +cont ents +ĠO FF +R F +Ġst y +ĠM otor +ter y +t ax +M AP +ĠMr s +Ġph ones +ĠUI View +")) );Ċ +( dev +ĠIr ish +0 19 +Ġw s +D I +_OFF SET +ĠEvent s +Ġst ages +Ġ} // +Ġhab en +ST ANCE +ĠS in +ĠM oney +(t op +Ġappoint ment +VER SION +met adata +_com ment +Ġcolle agues +map s +â ĺ +Ċ ĉĊ +( al +_re q +Ġf ut +Ġarchitect ure +35 1 +ĠWH ETHER +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +_s creen +Ġstyle Urls +Ġmon ster +. up +ph ia +Ġprocess or +ĠT err += ', +ĠMan ufact +ĠN T +k el +ib ern +ĉf ile +A li +rient ation +Ġ// ! +ap ore +ane ous +ĠC reat +f older +4 15 +Ġh ay +Sup press +( left +Ġe uro +Ġdis claimer +ustr y +sh ips +_f d +ĠF a +_in sert +Ġro l +if ting +ĠCom ments +_b r +Ġloss es +ĠAdd ed +ch arg +Ġп о +_s ystem +ĠS ometimes +ĠSp ain +(g roup +ial is +Ġdoll ar +ĠAr gs +4 99 +29 7 +qu ires +ĠT en +.s css +Ġsurv ive +us age +Ġj un +im iter +ï¼ģ ĊĊ +Ġfif th +t oggle +Ġdecl ine +($ " +(L ong +ing e +Ġpil ot +-l ight +-r adius +Ġpod cast +Ġnatur ally +P ages +ä¸ º +ĠDes pite +Ġlight ing +Ġcr ate +ĠB inary +Ġredu cing +Ġe leg +ĠM ouse +ĠTest Bed +Ġbefore Each +_ ARRAY +Red irect +32 9 +Ġf lood +Ġsh ips +36 3 +Ġelectric ity +)* ( +ê ¸ +ĠV iet +her o +Ġd ia +ĠK ent +he art +Ġthreat s +_ acc +Ġs ymbols +is chen +_in st +C riterion +ĠT IM +. Height +5 80 +Ġ âĢĻ +();ĊĊ Ċ +Product s +_S P +ĠC y +Ġdepend ent +est e +Ġdat os +d it +аР² +IGN AL +Ġless on +"> ' +ĠC over +ĠH ope +ĠT imer +Ġd ad +vid ers +ĠPh ot +/ ? +rop y +om ing +as ion +Ġ\ ( +ĠE T +ĠRe ading +Ġep isodes +l m +4 21 +ech a +Ġne uro +8 20 +Ġhar mon +Ġlib eral +- ind +39 3 +D ATA +Ġevery day +Ġdiv ided +ĠActive Record +fig ure +U A +ä ¹ +riend ly +te ch +60 1 +.game Object +иÑĤ ÑĮ +37 4 +Ġmo on +ft ime +Ġno ch +ĠT ORT +ĠV M +.in itial +( child +Ġmus ical +Ġo c +b as +ĠH ay +36 1 +_l ong +Ġmem set +ile y +adel phia +S V +ro at +_t x +Ġl on +ĠngOn Init +b p +ĠGold en +AC HE +Ġwor ried +az i +E ar +T ake +(f p +bur gh +_ Data +g res +ĠO nt +p us +Ġtrans parent +Ġp ocket +Ġr am +igr ations +. čĊčĊ +Ġ[ ( +Ġadopt ed +Ġreported ly +ĠD ream +Ġ} ));Ċ +los ing +Ġte eth +ĠBook s +", & +enn y +LE MENT +Ġg el +ĠPl ant +4 37 +! âĢĿ +.h ost +ĠRep ly +37 6 +re ngth +Ġrecogn ition +Ġ}} >Ċ +L A +Ġmir ror +Ġassist ant +( device +Ġspirit ual +b uilder + § +Ġou tr +Ġt t +ĠP ER +Ġrad ical +Method s +Ġp ace +ud y +Ġg ut +ĠG reek +Ġnon atomic +ĠP aper +_G PIO +Ġob st +.A d +viron ments +ĠS ov +35 6 +( con +ĠTrans action +. assign +ĉc atch +el ter +Ġbit coin +_G R +ĠčĊ +met ic +Ġtrans formation +åı · +Ġr gb +istrib utions +Ġimp licit +/ in +dest ination +аÑĤ ÑĮ +Z ero +Ġun set +9 20 +. where +.g o +Ġform ation +Ġdeclar ation +() čĊčĊ +ĠEx pl +ĉĉĉ ĠĠ +/ pro +.J SON +44 1 +Ġdes k +.sub str +//---------------------------------------------------------------- ------------ +ly n +p son +40 7 +dis able +ĠF unc +ĉ Assert +ĠM ARK +Ġdefe at +Ġbl ind +Ġconst ants +36 2 +. headers +UIL D +Ġexp enses +P ixel +Ġh r +Ġf el +ĠEast ern +4 24 +4 90 +_d el +35 7 +ĠC ub +Ġs q +ĉc ount +ĠD irectory +Ġex clus +Ġhistor ic +Ġ ------------------------------------------------ +Ġcom position +Ġdata GridView +ĠB urn +ĠB C +M aster +Ġsp awn +Ġbe aring +.Set Active +il o +Ġg allery +Ġfound ed +Ġav ailability +.s qrt +Ġp es +ĠD OM +m ate +O ct +Ġmatch ed +it ivity +Ġan xiety +.pr ice +ĠIn stant +ì Ĭ +Ġt ut +IC ollection +.sh ared +_s ql +t bl +lib rary +_de stroy +erm al +ĠNot es +ĠE in +Ġsou thern +ĠOTHER WISE +Ġmac ro +.l ower +cl s +Content View +.l ink +const ant +ĠB es +Ġsome body +n b +3 99 +"> { +( local +.. ... +ĠN ull +m x +Ġà § +Ġp ause +-------- --- +_M O +ĠC M +Ġfor Key +ĠD VD +Ġclose st +_DE VICE +ĠSte phen +ĠB BC +ĠTr avel +P aint +ĠResult s +ĠR ule +Ġt p +Ġrat ings +c in +c sv +> / +ĠG OP +l ad +Ġ ÑĢ +Ġindex Path +m atrix += f +ars ed +Ġ} ); +ĠC os +ĠS core +Ġt ak +ĠE SP +ĠIN C +_N ULL +-f lex +"] [ +int o +el and +Author ization +_F ALSE +Ġg ate +Ġv id +ist ent +T IME +Ġre write +Ġt ie +Ġarch ive +5 11 +.event s +.get Parameter +ĠPer mission +Ġprogram me +Ġ é +j ud +Ġcam eras +33 8 +34 9 +(s ys +ĠSy rian +Ġimpro vements +Ġh ip +Ġsu icide +Ġsch olar +Ġcompat ible +0 22 +rem ote +.d own +F UNCTION +Ġman aging +ĠUI Kit +. raw +>> >> +37 1 +Ġdem ands +ell ite +Ġd ent +ĠM icro +åı ĸ +'] [$ +ĠI E +im ension +Ġt rem +6 30 +Ġg ained +.w ith +. ok +h ou +Ġb om +amp aign +Ġjoin ing +f ish +Ġadd Subview +8 60 +Ġnor thern +.c or +ore t +D ie +in ish +_com p +Ġatt ended +Ġcoll apse +ĠS S +ac ent +_E QUAL +ĠDe ep +R GB +ĉ test +ol ves +us et +Un ityEngine +w riter +Res olver +, % +if ference +_re move +ond a +Ġfem me +38 5 +de code +Br anch +Ġfl ush +Ġinnov ative +Test s +Ġ[' ./ +Ġcover ing +. admin +ultip art +(l ambda + namespace +ĠS port +Ġ! ( +ac les +Ġde pression +ĠK ong +5 70 +Ġp ert +ĠCon n +ĠOther wise +/ home +s upported +Ġp ink +Ġinv ited +ñ os +_en abled +Ġ- Ċ +F W +en ers +ĠM Y +Ġsuggest ions +Can vas +Ġf er +ĠMarket ing +@ Test +unt u +ĠV en +ĠC ou +iv als +Don ald +lim ited +ĉĉĉĉĉĉ Ċ +Ġanal yst +( entry +Ġrepresent ative +_at tributes +Ġf ur +.h ide +res p +ado res +rid es +ĠJ osh +ro bot +ĠN AT +Ġs esso +Ġintegr ated +: true +part s +Ġst upid +: event +@end section +Ġp u +.T able +ĠY ii +` ;ĊĊ +Ġcl ang +=" "> +eng an +_param eters +.int ernal +ĠMod ern +Ġmet ric +Ġsem i +={ {Ċ +70 7 +.am azon +ĠB B +aint y +view port +36 7 +Ġstart Activity +dis patch +**** * +Ġfl av +iffer ent +38 2 +[ this +Ġst ake +Ġarg ued +vious ly +.w ork +ĠO ak +O ld +( async +not es +Ġfl ip +Ġdis ag +ĠT E +ĉ error +< ' +Ġ» ĊĊ +Ġfilter ed +ĠM ach +Ġh ung +_d ump +_s amples +-dis miss +Ġr ay +Im plemented +D K +Ġj ed +0 90 +Ġbreak s +Ġf its +. gr +ĠZ ero +or o +Ġequ ally +Ġ' [ +Ġconcern ing +< meta +play ers +_P OS +_s im +J an +Ġyour s +ĉ N +Ġsp ir +Ġch ampion +ĠAn alysis +ap a +ĠNS Log +_l ines +ñ a +ĉĉ ĠĠĠĠĠĠĠ +8 19 +.S c +Re p +etro it +ur able +M IT +com pat +own ed +_ind ices +], čĊ +Ġdis covery +ĠDie go +ob i +. Index +Ġtrend s +PL AY +.n o +Ġl ens +_c fg +Ġan no +ag an +Ġperiod s +ter ms +y z +Ġattack ed +ib ration +PEC IAL +_ grad +Ġaccord ance +.Read Line +.de vice +ri x +. container +m ay +erc ise +ĠL u +Ġr g +ĠÑģ ÑĤ +ĉĉĊ ĉĉĊ +( un +TERN AL +Ġless ons +Ġalleg ations +Ġtrans mission +.Re f +M obile +ĠT ournament +ĠN ut +ĠG a +ĠCap ital +def inition +- exp +c lean +Ġfant asy +Ġenh ance +ent ence +0 31 +'] :Ċ +ack ets +Ġcelebr ate +@ ", +Serialize Field +Ġarray s +t b +ĉ st +[ assembly +( reg +.c ategory +Ġimpro ving +Ġsal ope +Byte Array +Or iginal +Ġ[ {Ċ +åĽ ŀ +ĠCl in +oen ix +ĠS amsung +Ġmaint ained +Ġag enda +f ail +Ġpres ents +Ġtim ing +.m ark +' >< +Ġprom ot +Ġin cl +_ only +ë¥ ¼ +ĠAtt orney +- date +Ġlands cape +Ġf u +S Y +.p rop +ĠA rr +p ag +Parallel Group +': čĊ +Ġlog s +a unch +unc i +n ama +Table Cell +iss ues +. { +ec urity +_ex ec +old s +Ġhost s +Ġpro to +_ import +_s ort +ĠB ow +ĠN ormal +ĠF arm +.create ParallelGroup +R otation +. err +Ġp leased +it age +.W h +ĉĉ ĠĠĠĠ +M R +ĠM ORE +ĠN atural +_ transform +B ASE +ener al +ut down +.common s +W T +Ġa an +. Result +d og +Ġclick ing +), ĊĊ +# line +Oper ator +Ġc iv +Ġm erg +ob uf +ng then +Ġ[ { +Ġcan cell +tr igger +. : +W ORK +decl are +Ġdecre ase +ÅĽ ci +lo om +.N one +ĠM I +ĠJ ason +Ġhealth care +iam ond +s ylvania +* x +ĠR a +[ b +Ġprint ing +ph abet +ĠLab our +op per +Ġz ijn +-t arget +_F UNCTION +Ġo ct +ени Ñı +åľ ¨ +Ġwest ern +Ġcomput ers +ĠR ET +Hash Map +[ String +get Value +_D ATE +.N ext +ĠF if +é l +ick ed +æ İ +-M M +Ġ{ ĊĊĊ +Ġcontact s +Ġdig its +Pro du +Ġunus ual +Ġrapid ly +t ures +Ġang ry +c ancel +xx xx +_p arser +id ity +_P REFIX +7 10 +Ġme hr +Ġrare ly +et he +op es +Ġ% . +work s +Ġthe ta +Ġcontrib ution +ĠT ony +Ġsqu ad +5 37 +аР¹ +Ġî n +th ere +out ed +ĉ q +Ļ Ĥ +g ood +L I +é¡ µ +ĠL iving +iz abeth +Ġk t +ĠD allas +] ],Ċ +Ġ/ >ĊĊ +Ġrais ing +/r outer +_g ame +36 8 +ĠC UR +z ens +. es +Ġfont Weight +(f unc +not ification +Ġ'../../ ../ +Ġbl ame +ãĢĤ ĊĊĊĊ +an co +9 80 +Id entity +f ollow +Ġart s +x s +Ġofficial ly +ĠSt udio +Ġrecommend ations +Ġloc ale +Ġam ateur +ĠEn able +Ġcap s +. End +38 8 +- add +_g shared +ĠC T +For ce +Ċ ĠĠĠĠĠĠĠĠĠĠĠĠĊ +Ġor ange +Ġl p +Ġanswer ed +.G rid +Ġd ual +Ġstrateg ic +Ġnob ody +Ġf atal +_ est +( el +Ġì ł +ĠB udd +A IT +_f actor +- one +ĠH AVE +" čĊčĊ +7 60 +Pro f +Ġä r +str ings +Ġdir ty +ĠF ace +ĠB egin +ĠB us +Ġw is +åŃ Ĺ +Ġspe aker +Ġcar rier +ĠO m +Ġhad n +All ow +:: __ +Ġver b +ĠCom plete +ĠE asy +Ġb ills +ĠĠ ĊĊ +Vert ical +Ġpr on +ĠDef ine +Ġlook up +variable s +Ġpand as +um es +Ġinn oc +Ġset Up +ĠCh ampionship +art ist +ĠC Type +F oundation +๠Ī +ĠSet up +4 28 +Ġrec ipes +ĠU IColor +ĠF ight +Ġauthor ized +_c lick +99 0 +_s uccess +ang an +ĠMount ain +ĠDo ctor +Ġeg g +ĠMedic ine +c les +` .Ċ +[ int +d ashboard +ĠApp ro +-d r +Ġprodu ces +Ġrent al +Ġre load +38 1 +Ġarr ival +sp ot +Ġund ert +37 8 +Ġequ ipped +Ġpro ved +Ġcent ers +Ġdef ines +al so +Ġop acity +ĠUn fortunately +ĠIll inois +Ġн е +ĠTem ple +ĠTr ail +ĠK elly +Ġmeasure ment +Ġsepar ated +-c ircle +H ey +ĠRE AD +ig its +Ġ ib +ĠM OD +atter y +аР· +Ġv end +ен ÑĤ +ĠHttp Client +35 9 +s afe +_A SS +ic it +ĠCon struct +ĠC lo +ĠS ix +_T OKEN +(b lock +Ġwarn ed +/* ! +! Ċ +Ġinnov ation +_ " +Ġ );čĊčĊ +Ġsp ots +Ġcho osing +.c s +Ġflex ible +U Int +4 35 +9 30 +Ġscr atch +- al +Ġf estival +Ġout standing +================================ ================ +M ean +ĠO regon +s ymbol +. account +d ney +'' ' +! ", +9 01 +Ġpart icle +à ĥ +[ MAX +IV ER +ER ENCE +NS Mutable +ĠColum bia +_ ĊĊ +.f r +Ġc ogn +V R +ĠMethod s +ĠM ade +ĠB R +ĠEl se +Ġeg gs +Ġsw ing +ĠIn v +Ġdise ases +Ġf irms +Ġle mma +}` );Ċ +l ings +Ġg ym +umin um +.T rim +M em +Ġcritic ism +ibern ate +_T X +ion i +Ġguid ance +Ġrepeated ly +Ġsup plier +Ġpaint ing +8 64 +.F ragment +ed Exception +Ġw iring +Ġcour ts +W EB +æľ ī +\ . +ill ance +Ġb rows +ĠP attern +PL ICATION +ĠSum mer +Ch ain +Ġc ute +mer cial +Ġd il +ĠFrank lin +ĉg lobal +IN CLUDING +h istory +Ġl st +Q t +SD L +al ia +i ere +( ... +ĉc in +iff s +vel ope +ĠR oot +cl uster +User Name +ign e +< S +Ġf est +4 19 +Ġindic ating +ke eper +Ġc ada +é g +cons in +ĠG B +Ġl b +em ony +-icon s +_d oc +Act or +e lem +.De lete +Ġin fection +ĠPriv acy +Ġgreat ly +ĠP os +ĠT reat +Fl ow +Ġattract ive +ĠMar c +s udo +tes y +- an +99 8 +ab ama +ĠW ould +Ġsu ck +index Path +ĠE t +T imes +7 80 +Ġclub s +_ass oc +Ġac quired +(" : +Ġint ense +.m aps +Ex pected +T oggle +Ġa y +Ġl ifestyle +-c alled +ĠS now +V olume +Ġcann abis +ĠD irection +ĠLim ited +-s pecific +Ġd owntown +/ icons +Ġre ven +L eg +88 5 += null +49 6 +Key board +') ). +Ġ"" ;čĊ +Ġatt itude +.n avigate +- error +AM PLE +ĠJ ay +v r +c ow +.com pile +Ġmem ories +_m ark +ĠMin nesota +Ġk osten +Ġprob ability +w arning +Ġgen etic +F ixture +ĠHash Set +N ombre +_m onth +Æ ° +- start +xy gen +ĉ ft +i agnostics +ĠMat thew +Ġconcept s +Ġcon str +. State +и н +N ov +Î ± +ĠP anel +ä¸ ª +com pare +> ()Ċ +Ġapply ing +Ġprom ised +Ġo x +nc ia +ĠValid ation +ort s +_c ur +e lect +ey e +( Data +Ġreport er +ĠB uff +39 5 +Ġs r +Ġ" ; +ick y +Ġtemp or +S N +Ġres ident +pi res +ys ical +Ġend orse +ĠS ong +is Empty +le et +_ util +Ġdist ingu +ĠT alk +ĠM ot +( default +.A rg +gorith ms +_ words +im mer +_res et +f amily +W W +Ġsav ings +ĠâĢ Ŀ +_en able +side bar +Run ning +Ġal i +Ġtest im +Ġwarn ings +ĠCh em +ĠEx it +Ġfound er +pect or +Ġr m +_d ataset +ĠD as +Ġh an +Get ty +á l +Ġn y +Ġpo verty +Ġresult ed +.b y +ĠVis it +Ġobt aining +/ '.$ +ĠĠĠĠĠĠĠĠĠĠĠ Ċ +sh all +_LE FT +UI Image +_ Name +h ave +ĠN ob +l r +- footer +Ġn aked +ĠG arden +\F acades +Ġgrad uate +4 17 +Ġfranch ise +pl ane +Ġcontrib utions +Ġstring With +Ġc rypto +Ġmov ements +ath ers +Ġlif etime +Ġcommunic ate +j ar +ĠFr agment +_ IF +ĠN avy +ĠF igure +Ġsim ulation +_st op +Ġreport ers +Ġvers us +aj a +ĠÎ ± +Ġgovern or +List Item +Ġse aled +.Back ground +ed i +ash ing +Ġl ip +ĠI h +mer ge +Ġn ec +0 24 +el ocity +ATE G +Ġse eds +Ġflo ating +7 01 +_F A +w alk +ĉ user +_de pth +Ġw age +@ app +N il +( [" +( vector +Ġsecret ary +46 1 +Ġj Panel +ve z +³³ ³³ +d irection +ĠE P +Ġh unt +39 6 +Json Property +ĠP ORT +] ", +аР¿ +ĠFore ign +pan ic +Ġtri als +ĠA le +Ġr ural +- value +author ized +ĠScot land +.d rop +ĠM T +ç ± +39 1 +row th +5 15 +File Path +Ġrec all +if le +Ġc el +ĠSE LECT +k n +_c ase +Ġc rop +5 43 +s ure +p ot +IC S +Ġst em +Ġindust ries +P ut +Ġa ber +road cast +Icon s +) ")Ċ +æĪIJ åĬŁ +g ui +Ġassum ed +Ġr x +E A +è § +EL L +Ġdo se +Ġin e +Ġde eper +l ider +Ġord inary +Ġg olf +60 5 +_IM AGE +ĠN AME +(m odule +Ġat om +Ġbel t +Ġoff ices +50 6 +b eta +Ġphilosoph y +( JSON +-f ield +Ġintrodu ce +Ġconven ience +opt im +> "Ċ +ath y +Ġemploy er +qu ate +Ġed ited +Arg uments +ĠN ations +__ ) +Ġno se +ĠS ample +' )ĊĊĊ +Ġc ake +.get Attribute +H D +39 2 +Mod ified +4 45 +Ġpredict ed +Å Ħ +an ie +S orry +(d oc +w ind +ie ve +Ġprov isions +AT ER +OT E +M Y +.A utowired +ĠB ath +4 23 +. Boolean +Ġback end +.M ouse +ater al +p aper +Con st +ĠV R +_ entity +_C TRL +ĠProte ction +ĠG M +ĠStud y +Ġsou p +ot ime +' use +] " +/ users +a ug +ĠH ong +_n orm +ãģ ¨ +Ġse cre +(B uild +ĠCon tract +ol as +Ġsa uce +Ġaggress ive +Ġrac ial +char acter +@ @ +Ġcomp ile +ĠV oid +_re m +_m emory +34 8 +k k +Ġm ic +S ame +U tility +ĠH tml +ĠX ml +Read y +Ġg all +Ġalleged ly +ĉĉĉĉ ĠĠĠ +ĠMet al +ĠPerson al +Ġborder Radius +rx js +object s +Ġwant ing +Ġb owl +v endor +offset of +ĠR s +ĠR ating +Ġr ally +_N ODE +4 18 +ĠM ix +Ġadvert is +48 5 +66 7 +Ġnarr ative +s al +Ġm c +SE rror +Ġf ingers +Ġaccom pany +Ġt ired +Ġstr ide +Ġgu i +el ist +Loc ale +Ġrele ases +ik ing +Ġan ger +)) )ĊĊ +alle st +Sum mary +( O +(f or +Ġbasket ball +Ġroad s +ĠInst all +ĠF ab +it map +4 75 +Ġ) )Ċ +Ġinter section +ighb or +ĠB ry +ĠHER E +So ftware +elf are +ac s +6 22 +Ġtrail er +.get Class +ch ars +Ġreg ulation +Ġref ers +Ġde struction +Ġcontin uous +ĠAust in +é ¢ +ak an +.w indow +ĠTem plates +Ġabs ence +: n +Ġdis order +fl ash +Ġde let +bo ards +ĠĠ ĉ +RO P +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġac qu +Ġlaws uit +ĠRe views +Ġgar age +t imer +Ġe j +ĠRect angle +Ġflow ers +39 8 +il st +ĠIn stance +S uper +d et +dis posing +ĠE S +ĠI C +ver e +S k +_ch annels +put ed +/ null +nn en +4 31 +ĠG allery +_g lobal +Auth entication +ĠR ank +Ġblock ed +Ġcal m +mark et +ĉ val +Ġa ug +per iod +ĠCon stant +Ġ?> ">Ċ +Ġl obby +p al +37 9 +Ġs ink +50 8 +ia h +Ð ¡ +urn ame +Ġcon ver +Ġinvestig ate +Ch rist +H ub +ĠIN D +ĠP ed +ur as +ĉ url +ĠT ro +Ġpre ferences +Ġguarante ed +` ĊĊ +Ġport ions +Ġeval u +' > ;ĊĊ +.AutoScale Mode +Ġc ats +4 65 +Ġreg istry +ul us +F I +p ayload +- search +Ġstay ing +ac ious +Dec oration +Re view +In f +Ke ep +it is +, String +Co ord +Ġper o +S ex +ĠAtl anta +uest a +Arg b +> * +} _ +F ooter +Ġemploy ed +_b ound +v ide +.f unc +$ scope +Ġsp o +ĠAn al +ounc ed +ar ound +Ġrestr iction +Ġsh ops +å Ģ +ĠLat in +-c ol +Ġbare ly +ĠE uro +E r +Ġfa ire +_d istance +_un lock +Qu ote +IV ATE +Ġå Ī +Ġaim ed +ĠRet rie +. iter +Ġwr apped +Ġagre ements +str ument +( product +Ġstud ied +.set Value +Ġy e +ĠC ache +MB OL +Ġquarter back +Ġsy ntax +.getElements By +.v ersion +we bsite +Run ner +_s ingle +at iv +ĠAl tern +ĠBeaut iful +right arrow +Ġd iversity +pl ash +( co +.F ill +Ġtyp ing +38 7 +0 23 +Ġcl ar +H it +O O +ac co +50 7 +w orth +Ġscript s +ĠMuslim s +ĠL L +erv ing +( boolean +Ġbase ball +ĠC AN +39 4 +0 44 +MA IL +de pend +Ġrespect ive +Ġconst expr +.* ;ĊĊ +'] ))Ċ +Ġy ard +Ġident ical +if ecycle +US H +up iter +. validate +cl i +IST ER +Ind icator +F ail +Ġdemocr acy +. var +Ġsatisf ied +------------ - +enc er +h or +Ġr ounds +DA O +o a +Ġfl ask += c +[ ]Ċ +/d ist +Ġpart e +Ġconfirm ation +er on +aw are + +Ġdepend encies +ĠV ideos +- row +Ġ** /Ċ +Ġn ou +Ġh over +æ ŀ +Ġn in +ĠUS D +M ac +_L oad +Ġout comes +_s ocket +Ġqu eries +w m +59 2 +Ġhit ting +in ux +M ich +ud ge +AT AB +Ġvulner able +ä ¾ +Ġport folio +: YES +ĉm ap +B ound +Ġiter ation +in cess +Ġact ors +ĠQ ual +_c lean +ãĢij ãĢIJ +MS G +G reen +ĠOff icer +Ġsm oking +> ', +ĠF lo +++ ; +4 33 +oly gon +Ġbul k +Ġdr ama +Ġexception s +os ed +Ġ+ čĊ +Ġleg acy +C V +Ġcontrib uted +ĠTer ms +Ġb t +4 34 +Ġunt uk +Ġal ien +=== Ċ +ĉ Vector +Ġl s +On line +.f acebook +num eric +ock ets +A ut +b ury +-re dux +ĠRed istributions +GLOBAL S +urrenc ies +Ġt ons +âĢĻ , +Ġà ª +(c ol +ĠS ymbol +Ġstay ed +ĠM L +Ġm unicip +Ġsex o +S en +n r +Ġg ains +Ġshort ly +.M enu +à ½ +KN OWN +Ġoper ators +- V +ĠPat rick +/ add +_C O +ir ation +(p ost +Post s +/ _ +Ġpl ug +Ġintellect ual +Ġmet ab +Ġpregn ancy +ĠPrem ier +n m +Ġpred iction +60 6 +ĠMin istry +Th ree +val uate +ĠMin i +b u +оР· +< ul +Ġd d +ol ving +ĠC ut +60 2 +Ġs chem +.tr ain +it ate +Ġr ice +Ġbird s +ãģ « +m iddle +struction s +Ġn erv +a que +45 3 +Ġfl u +Ġsurv ival +ĠGal axy +ĠF ant +. Order +At trib +irt s +é c +M ovie +Ġcon ce +qu arters +Ġm ood +.Add Range +9 42 +Ġres olved +ãĥ Ī +Ġburn ing +70 2 +ĉĉĉĉ čĊ +ĠW E +Ġhost ing +L AB +Ġman agers +Ġstre ngthen +< const +ĠFire base +on ed +ĠJ ean +' ";čĊ +ĠS av +.B old +Ġen ables +ĉt mp +Ġman ually +ĠS qu +user id +.f unction +.c ache +LO PT +.S ervices +5 88 +dd it +t im +< img +ĠTh ings +ĠEvery thing +Ġa pt +39 7 +em and +Ġroll ing +ë ¦ +. level +Ġst om +ĠW inter +Ġview ing +( values +ocom plete +v ia +up o +Ġabort ion +5 32 +i ère +ï¼ ij +_B UTTON +_d omain +Ġb ra +ĠA st +in as +Ġstat ist +c od +L R +Ġdr ives +Ġfollow ers +Ġall ies +ĉc urrent +ecess ary +Ġdam aged +_ pt +and les +oun tries +Ġsim ult +e u +Ġcontrovers ial +_G ROUP +Ġr ib +. Info +: mm +.n ormal +_ADD RESS +Ġ íķ +add le +ĠD ur +. Element +65 6 +W arnings +Ġcred its +Ġin hib +Ġem issions +5 45 +Ġh az +.y outube +ugg ed +Ġbo ther +ĠK ansas +ĠF ixed +ĠTest s +ĠF IX +57 6 +Un iform +Ġk ont +>> > +st ation +lo re +at ype +ish op +/ **************************************************************** +5 21 +Com boBox +Ġvac ation +Ġiniti ative +Ġdefault Value +7 70 +con cat +ĠK h +6 32 +ĠW elcome +ized Name +M igration +Ġgrad ient +H ot +Ġhard ly +el o +ĠStud ents +Ġlo ose +7 30 +at z +.S end +' / +Ġunivers al +Ġenter prise +Ġreg ex +Ġvis itor +ĠF ly +Se q +ภĻ +ĠVis ual +Ġlib raries +ato es +P ayment +44 7 +Ġp ent +Ġgather ed +VRT X +ĠD M +S plit +Ġlet ting +Ð Ŀ +_error s +ep och +P ARAM +c u +ÑģÑĤ в +ol utions +Edit ing +font s +Ġalloc ated +ĠB ased +( Y +ĠJud ge +Ġbro thers +FILE S +ç o +5 31 +w b +_P I +' ^ +Ġs word +.s ervices +Ġn l +T im +ig g +ĠMo ore +Ġcrypt oc +åĩ º +_post s +ot ate +? ' +... .ĊĊ +Ġk l +=" $ +Ġdec oration +Ạ¡ +ĠD IRECT +G UI +) =>{Ċ +Ġnews letter +Ġprec is +(p oint +ĠEqu ipment +ut y +ĠD ave +Ġparticip ation +u arios +x it +.A s +ET ER +or ous +Ġsh ield +[] > +ilit ary +. origin +Ġprom otion +U nt +Ġc t +TR A +55 6 +View Holder +Ġsig ma +d elta +are house +con tract +( Vector +7 21 +Ġcompet e +/ form +/ components +Ġn r +ĠInd ones +Ġо ÑĤ +ĠV olume +.f iles +(res p +/ models +Ġsur f +stand ard +/ o +ĠXCT Assert +V ICES +.C ode +SE D +Ġact ivate +D elta +Ġlimit ation +ri j +Ġpregn ant +: ^( +Ġs our +p ie +80 3 +Ġexp ense +ic ation +ĠL arge +Ġ ± +ĠB owl +(model s +/ N +8 57 +P a +.re load +Ġwonder ing +46 2 +Exec ution +ĉ ĠĠĠĠĠĠ +ĠG raphics +ĠCont in +_j ob +Ġget Name +ĠM agn +ĠD WORD +m ad +Ġn h +fe atures +} ");Ċ +he ets +(tr ain +z n +Ġrecru it +.con nection +Ġbar rel +Ġste am +_set ting +Ġang ular +ane ously +Ġb il +ĠN orm +5 22 +(! $ +ib t +% ( +Ġpos it +ĠF ather +int endo +5 65 +L ive +04 1 +Ġport s +Ġme j +Ġland ing +pon der +Ġc od +_HE ADER +.M argin +Ġball s +Ġdiscuss ions +Ġbl end +H ex +Ġfarm ers +Ġmaint aining +ĠĠĠ čĊ +s yn +[ T +r us +4 39 +uff ers +Ġcontrib utors +_s ys +.De bug +Ġconstruct ed +om es +? id +sl ider +Ġsup pliers +6 11 +scri ber +p es +Ð ŀ +": čĊ +\ Controller +)) ĊĊĊ +Ġl ua +M ulti +EN S +S rc +Ġpet ition +Ġsl ave +look ing +V ERT +ĉ vector +S pecial +h h +an ne +ĠN iger +/ views +z ing +end ant +< C +s peed +5 14 +Ġ{ };ĊĊ +Begin Init +Ġf open +@ RequestMapping +End Init +Ġp unch +S ender +60 3 +é Ķ +get Message +/t ypes +.P I +(' ');Ċ +oc used +( all +Ġdrop down +). __ +ĠV in +.Fore ignKey +6 12 +can f +ou red +ĠOrgan ization +ĠÐ ° +ĠC ulture +(cl s +, _ +90 2 +rg ba +ìĿ ĺ +.data GridView +Ġdo zen +ĠG es +80 5 +4 64 +_sh ared +n ick +Ġh osp +om eter +49 5 +Ġclaim ing +0 32 +ib les +ri k +æĺ ¯ +en ario +Ġd engan +ob b +m ont +_r ank +('/ ', +Ġap olog +P s +_p ower +ĠG ree +Ġful fill +Ġfire base +9 10 +Ġf are +ĠH im +Ġbe an +âĢ¦ . +ĠS PI +_R X +Ġper ception +rel ative +comp ile +u um +ut os +a uc +ĠAs k +Ġindic ator +/ th +.set String +ĠWis consin +.D omain +Ġart ificial +De velop +ĠSar ah +Ġl ying +( search +ĠEmp ire +urr ing +æŶ éĹ´ +=" ${ +Ġget Id +ĠP ayment +trans ition +Ġ ]. +ix in +V T +- select +Ġdemonstr ated +Ġlast Name +employ ment +.get Property +Ġf ought +file Name +ĠP ers +45 2 +-c ard +a str +attr s +Ġprom inent +Des ign +anc ouver +ãģĹ ãģ +ard o +se cret +Ġr ag +Ġpo ison +-m an +, omitempty +7 40 +ĉ un +it zer +ĠCas ino +ĠR oss +- foot +(result s +Pl an +Ġlas er +ê¸ ° +_D R +5 23 +F acebook +44 9 +Ġbo ards +st a +] ], +6 75 +Ġt iles +S IZE +Ġ= ~ +9 70 +Ġprem ier +oc ab +Ġenc oded +Ġres erve +60 9 +ĠAfghan istan +ĠList Node +url s +Ġsub mission +Ġne u +47 7 +Ġ# +# +_P OST +Ġmo ist +ell i +ellig ent +. alert +ó d +b re +ĠCol lect +Ġgraph ic +Ġlong itude +ĠPro vid +ĠCal culate +x ffff +c riteria +Ġw aters +ro ck +lo quent +ĠT rib +5 13 +Ġbur st +Ġsuff ix +.Ext ensions +ish es +iv el +ĠLI KE +ĠGet ty +.Action Event +.s lf +ĠH AL +up al +E AR +5 24 +ud i +_time out +U F +ĠSing apore +ĠAd vent +_int erval +cha ft +ĠE mer +Ġtele phone +ĠTur k +_ interface +ĠO wn +Ġencour aged +< Object +_T ext +ĠOnt ario +ĠApp ly +.f irebase +Ġant ib +P riority +ene z +D ays +c id +urre nce +; / +inn ed +Ñģ Ñı +Ġve z +f w +// $ +att ack +45 8 +Ġstart up +ain ers +.f ragment +op acity +( conn +he im +.n etwork +( stream +6 70 +ĠN ON +t ol +8 30 +ĠX box +ĠD S +Ġc ached +Ġprostit utas +ĠB alt +(' [ +5 75 +Ġno except +" ' +Ġs d +. valid +_ ag +Ġr aces +48 1 +Ġro d +itud es +< >( +5 44 +.Pro duct +Form s +NE W +P ay +ĉ boolean +_ contact +ĠElect ric +sk ip +Ġw ur +Ġch ronic +_d river +9 40 +ĠS ab +ĠU lt +ĠR ad +ST ATUS +ĠLew is +O B +Ġgift s +.Re c +TR UE +Ġint ensity +Mark er +.com pare +ff ic +C ookie +ĠB aby +ĠBig Decimal +ile t +ĠHOLD ERS +ĠL ady +Ġl ung +ĠAl abama +Ġd ess +` );Ċ +ĠB uilder +_reg ion +Ġne utral +90 9 +Bo th +Ġh p +Ġh orn +Ġseg ments +ĠE C +"=> " +( rec +ĠP i +G M +Ġl aptop +Sc alar +46 3 +is d +-d ialog +ĠAnd erson +Ġmist akes +70 8 +ĠH an +j es +est ination +4 36 +Ġprom ises +b id +ĠSc ient +G IN +ĠPer formance +b age +. users +le ading +Ġor al +G raphics +48 8 +_P TR +5 18 +h ang +Ġin ev +process ing +F actor +ĠN A +$ string +Ġground s +.Save Changes +c lock +9 41 +cri pcion +ĠNew ton +g c +.in cludes +Ġbl ast +Ġ'- ' +Ġpued e +46 9 +.S ession +Ġgre p +_f inal +ĠG ay +ĠG ive +ir i +-st ar +ĠUI Image +_ep och +ub b +ent h +Ġel ite +Ġcampaign s +ĠP orno +_ assign +Prot ocol +ĠBe ing +ĠAir port +Ġconvent ional +ĠW at +ĠC I +ET A +ĠAnth ony +Ġtable t +( format +Ġconsist ently +ĠI owa +47 4 +Ġav atar +0 27 +.c ursor +! [ +Ġh anging +H er +S uch +';ĊĊ Ċ +orge ous +() == +Ġview Model +Ġ ãĥ +Ġel s +ĠAg ent +F etch +ap or +Ġc x +p read +ĠP ier +oe ff +6 16 +S n +8 90 +ĠV irtual +A pr +.Wh ite +6 15 +_M OD +ĠPoint s +å¤ ± +Ġgen es +Ġv endor +Ġmain stream +< src +ĠEl izabeth +Dec oder +- state +ĠG lass +nc y +adi ans +_m on +ĠRem ote +Ġwire less +ĠM i +å ī +4 66 +è¡ ¨ +st age +ĠT ile +ll ib +V ariant +== Ċ +Ġgold en +(Q String +.put Extra +ĠD om +ĠAn imation +Ġinter active +if act +éĻ ¤ +LE T +Ġfrequ ent +Ġ< >Ċ +F ilename +Ġs ne +ĠFoot ball +Ġr ival +Ġdis aster +ion ic +ĠD amage +. Resource +- en +ĠT ypes +get String +( board +Ġb ol +pl ain +z ym +ภ² +Ġsc anner +ild er +_msg s +æ ı +(int ent +Ġde struct +Ġb ust +ĠE mploy +on i +ĠUI ViewController +Ġodd s +ear er +Ge ometry +Ġy ii +_EX PORT +ĠAtt ack +Ġn iet +Ġim pression +ĠG il +_pro b +5 28 +ĠC F +ĠEx perience +/pl ugins +.M ethod +Ġbelie fs +N ative +_b uild +Ġv ig +Ġr anks +cover ed +70 5 +s uch +G uard +.p ack +add er +80 9 +iv ia +l ng +Ġв Ñĭ +55 2 +T imestamp +_n ow +Ġp oker +Ġun c +Ġsh apes +-t ypes +_per iod +p k +Ġveter an +Ġson o +Ġappoint ed +over flow +.d river +_c at +ut t +pl ant +im b +ĠAc cept +Ġconc ert +ĉ node +ĉ z +? >čĊ +Ġb anned +ĉ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġto xic +Ġdisap pe +47 3 +È Ľ +Ġgr ace +ate ful +Re ply +ĠCru z +48 6 +Ġsc rap +Ġkey words +s imp +Ġmort gage +Ġcy ber +ĠEx ecute +Ġlat itude +if u +.C OM +d bo +Ġsort s +ĠG as +om ial +.L ocal +Cell s +.Re place +String s +.f it +ĠTh ird +% ",Ċ +Ġ{} ". +ĠS ony +Ġ[ : +58 5 +Ġfall en +. ')Ċ +in h +ĠM C +Ġred is +C odes +Ġprofile s +h ook +Reduc er +_F UNC +Ġn avigate +str len +Ġh orm +á ŀ +ĠS R +. boot +Ġdig est +ĉ header +.find One +æ ģ +Db Type +n ia +_m erge +Ġdon ne +/ Getty +_CH AR +Ġb ands +. URL +art ial +Ġf req +Ġs ist +N g +Ġrender ing +\ Core +Widget s +ĠV A +Ġactiv ists +St e += _ +all a +St amp +Ġload s +Ġx x +ĠL earning +.M vc +u ir +(" $ +Ġconnect ing +Read Only +ur u +ĠE ag +B IT +_DE L +å § +arr ass +ext ernal +ĠY OUR +ĠB rew +ĠF ive +Ġres ize +ig id +er ation +65 3 +ĠÑ į +5 36 +åĬ ł +0 39 +ĠC atch +Ù ģ +ĠLe on +am il +.B ody +Cl ip +/ list +.b r +Edit Text +ĉ db +.G ame +(Build Context +back end +.R ed +face book +5 29 +.url s +m r +rol led +---- --- +Ġinter vention +Ġretire ment +ĠK it +ĠP RE +Upper Case +ĠS ocket +Ġ: - +Ġstudy ing +ĠMet ro +ard ed +Ġconvers ations +C alled +Ġexam ine +ert ificate +.g z +-res ponsive +Ġref und +_n etwork +0 26 +allow ed +em pt +Ġme als +C ategories +Ġtravel ing +Ġk g +Ġsh ame +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġexplicit ly +Ġmath ematic +ĠS uite +ĠR GB +****** / +Ġmix ture +lear ning +.t emplate +att s +w x +ĉ ctx +.p roperties +Ġdrink s +ĠE ither +set Text +.get Data +.z ip +Ġreve als +< table +.Hash Map +ĠH ur +) ");Ċ +.f ramework +ĠST ART +feed back +45 7 +Ġsaf ely +. icon +config ure +. lock +.l ayers +/> .Ċ +Ġrank ed +_ impl +ĠHand les +Ġhost ed +Ġup dating +al bum +é Ŀ +Ġsh ader +Edit ors +- round +[] { +Ġse p +ĠH i +TE M +look up +.m an +_IN PUT +Ġthreat ened +_IM PORT +Ġd rops +ru it +s id +bo th +ĠEx cel +Ġj er +ord inary +еР¹ +V IEW +re ply +Ġ) :Ċ +color s +ver ified +_T r +_p arse +Ġcon gress +6 17 +P romise +int s +ĠM other +.A pi +ĠD uration +Ġfirst Name +inherit doc +ĠM ars +Ġa pr +OD Y +Ġvis its +6 31 +Ġhe aling +let ters +)) );čĊ +f uture +.F ramework +Ġk iss +Ġinv olve +Ġsil ent +ad ows +Ġany body +s ch +6 90 +Ġsole ly +- img +Ġprop ri +Ġin struct +Ġlic enses +Ġm eth +Ġcond em +ĠD omain +ĠHarr is +Ġs Ã¥ +CE PT +B atch +@ extends +ĠCONTR IBUT +.Data Frame +47 2 +_p acket +rec ision +Ġfoc using +. ht +__ ":Ċ +: Get +ĠK C +Ġpass age +Seg ment +_c enter +-z A +_B L +Ġconv in +Ġclass ified +ĠNS Mutable +_ ap +t ile +Rect angle +49 2 +(n ums +v ens +ĠUI Button +ĠF eder +am o +Ġout line +ĠPar ser +Ġâ ī +ĠWork s +.S chema +Ġeng ines +6 37 +56 3 +_com mon +5 42 +_ old +Ġset ContentView +Ġ/// < +ĠB T +f m +Ġd ivers +_ weights +em ark +ĠA CT +Ġpro portion +over lay +.dir name +ĠG it +_REF ERENCE +< > +l b +_r ule +è´ ¥ +ĠPut in +Ġsleep ing +() :čĊ +Ġpres erve +Ġpar liament +ĠLook ing +Ġpick ing +ĠDis patch +Ġsl ip +ë ĵ +ĠL yn +_sign al +config uration +ĠP itt +49 1 +ad en +pro cedure +Ġenthus i +f ight +ĠCons ider +Ġt orn +Conn ected +.c os +_group s +ĠTh ink +Ġdel iber +Ġres id +work ing +.column s +ĠCal led +Ġes lint +> ", +_D OWN +h ist +ĠAdv anced +Ġre wards +act ors +Ġsil ence +47 9 +Ġmy th +Ġne ur +5 19 +Ġa uction +.Get String +ek s +( project +59 8 +ĉ msg +ĉ output +Ġcomplaint s +55 1 +, S +Ġt bl +Ġ, ĊĊ +ri ors +ah ren +Ġlawy ers +re dux +_s ymbol +off ee +_RES ULT +( Name +UT C +.current Time +Ġorgan is +. arg +5 33 +Ġmin im +w ick +Ġrece ives +B alance +Ġspeak s +ĠD ays +ĠBel ow +48 3 +t ipo +P resent +Ġres erv +h p +Ġr it +_R IGHT +-- ) +Ġchair man +78 1 +D IS +ĠBO OST +Ġexper iments +68 7 +__ );Ċ +Ġst amp +Ġf ert +Ġf ond +T er +el ve +ure n ++ i +end ency +Ġvirt ually +... " +ï½ ŀ +9 25 +- cent +_un ique +Ġpr icing +m ic +RES H +Ġ:: : +Ġan notation +ĠC ircle +ong odb +it as +Ġ% ( +( component +Ġо б +( port +-h our +. obj +L BL +Ġj ury +GB T +Ġsp y +ĠProf essional +Ġ"" ;ĊĊ +Ġstri king +Ġdiscrim ination +Ġp ays +9 37 +lic t +ent es +Ġthrow ing +ĠPl ugin +( def +ĠRuntime Exception +ĠM igration +5 99 +Ġd ic +b ag +on ia +Ġcor ruption +70 4 +( Map +Ġpr z +.d to +Ġac quire +State ToProps +Ġlo ving +оР¶ +_p attern +Ġemot ions +Ġpublish er +_b e +Ġcoup les +49 8 +o j +ĠCh art +Ġt rop +.t ool +Ġestablish ment +Ġd ol +65 4 +Ġto wer +Ġl ane +ĠSy dney +Ġfill ing +claim ed +64 4 +Ġdialog ue +Ġcon vention +book ing +pare ncy +æ ± +ĠGener ic +7 18 +\ Schema +48 2 +6 18 +Ġr anges +/ ch +Ġpan els +Ġr uled +çĶ Ł +.t s +_s ets +Ġclean up +Pre vious +ĠAn imal +60 7 +($ ( +ĠA ve +oll ar +0 28 +_e val +ĉ Name +(t ree +Ġ" ] +57 1 +Ġdut ies +=' / +Click ed +Ġdifferent ly +ĠCl ark +Ġd it +olog ists +Ġsy nd +Ġs ends +- known +k b +ĠMod al +it ative +Ġr acing +Ġhigh lights +ĠSim on +ĠCapt ain +ä¿ ¡ +ĠC B +cont in +ar an +Ġphys ics +ret ty +et al +.m d +ax ios +Ġspeak ers +Ġpre p +Ġaward ed +ì§ Ģ +ĠC orn +ĠN ature +UD IO +7 37 +Ġpro j +- pre +[ u +Fe atures +Ġis Equal +B inary +s ig +Ġconf usion +5 46 +5 68 +ĠH at +Ġkt ó +.config ure +M ON +49 4 +/ edit +_A dd +, true +5 41 +Ġc li +Error Message +- loader +Dim ensions +ultip ly +Ġ{ !! +ĠSql Command +Ġsp oken +Ġp ics +Ġto y +( Key +ĠLo op +Ø ¨ +E ATURE +in ction +_set up +w rapper +Ġt ong +c ular +O pt +.P l +=" , +(l ength +um n +Ġch rom +Ġse vent +ĠIllegal ArgumentException +4 78 +ĉ start +Ġbeg un +CE PTION +dat aset +8 25 +ĠF ailed +col s +45 9 +Ġkne e +im ore +.sp lice +sh ell +ig gers +Ġthem es +99 5 +ĠD J +ĠAss istant +- $ +May be +Ġorder ing +ĠInt elligence +ĠMass achusetts +Ġfail ing +el son +G reat += i +.re st +Ġinv ite +-dis able +.Group Box +âĢĻ est +Ġtack le +g v +et ter +Ġ), čĊ +_r ules +.w arn +function s +ĠChrist ians +Ġback ed +Ġsl ider +Ġenjoy ing +n est +Ġh ij +_m s +// * +An notations +ĠVariable s +< V +( server +ĠOr acle +element s +Ġorgan isation +_point er +ĠHe aders +[ d +Ġdead line +iss a +Ġkn ife +ĠNAS A +ĠHe ight +78 4 +ĠAs ync +Ġven ue +.d om +bour ne +ĠHaw ai +Ġmem o +ict ions +Ġsurve illance +om i +/ assets +58 7 +Ġed u +Ä Ľ +Ġro ster +Ġh ired +ĠT ok +Ġpl acement +ur ations +Ġset State +ĠMag azine +Ġhor ror +T ry +Ġl ag +ĠEvery one +th ur +)) ;čĊčĊ +. return +Ġsy mp +âĸĪ âĸĪ +Ġn ights +work er +Ġa le +ennes see +.st ep +Ġsynchron ized +48 7 +our i +Do es +. change +f on +.set Background +irc ular +47 6 ++ - +ĠC IA +7 29 +ĠJ ane +ĠSim ilar +- I +level and +Ġpros pect +_f ound +ĉc olor +.D iagnostics +Ġann ounce +Ġassum es +/ tr +Ġb d +98 7 +ĠCar bon +Ġanal ys +5 64 +.de st +n ik +ĠL ie +- index +Draw able +ĠT AG +Ġtri angle +_F LOAT +ĉĉ ĠĠĠĠĠ +.bl ack +v ue +cur acy +Ġaffect s +90 6 +Ġsure ly +Sl ider +uk i +c ery +Ġun ter +.pro file +ord on +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +le ave +Ġsmart phone +g ie +Ġcons pir +Ġt utorial +ç± » +Ġc ab +7 65 +ĠSum mary +* ĊĊ +ä h +" This +Ġsl ides +" +c ycle +ĠB ull +path s +Ġun p +Ġview DidLoad +_M odel +Ġassert True +Ġr ated +De cl +vert ed +ĠD at +b rew +Ġpoint ing +M s +ĠPoint er +) ' +_n on +5 27 +ĠSE C +Ġy eah +g ency +initial ize +f ly +7 11 +[ pos +, g +Te le +0 34 +Ġj oke +Ġcl ause +.find ById +en es +( instance +6 26 + £ +9 15 +Ġs lic +_h ome +Ġ*/ }Ċ +_p ages +(s ervice +90 5 +R P +ĠAm ong +.get Current +80 6 +ãĤ ¹ +Ġs lee += [Ċ +ol er +Ġlib ert +Ġ` Ċ +Ġw enn +l ated +Ġimm une +( Node +ĠPro blem +ĠA bs +log s +Ġ ../ +ĠA DC +Ġ}} ">Ċ +> ');Ċ += b +ĠW ind +lah oma +Ġalloc ate +or ian +Ġpres cription +- quality +ĠMay or +8 55 +in ely +end foreach +ĠCom plex +k om +70 9 +T Y +7 90 +] ]. +. Style +_m any +',' $ +Ġbar rier +ĠF etch +ĠMar vel +Ġres ist +ог о +b idden +ĠRun nable +: false +8 99 +Ġbuild s +ĠSt age +Ġd ub +emp o +.s ite +55 8 +;ĊĊ ĊĊ +99 4 +ĠDen ver +Ġre vel +Ġtrigger ed +Ġd ice +_f ail +Ġg c +8 33 +58 9 +ĉ X +ĠTh rowable +7 75 +.r outer +ĠRev olution +ÑĢ а +_N ON +0 55 +Ł ¥ +5 78 +Ġel der +Ġab road +ĠÐ µ +ĠAd ult +bl r +g lyphicon +6 13 +Ġprom oting +Ġ iz +ĠS olid +64 5 +_lo ader +ear ly +.en abled +- edit +ĠU L +_ play +ĠInt errupt +Ġadvant ages +uc le +Ġmechan ical +.table LayoutPanel +ĠWork ing +Ġan onymous +R ating +ig ious +_ph one +.addAction Listener +Ġfr an +und en +Ġ*) & +_ bool +ul ative +Ġcon e +ĠM ult +Ġm ö +ĠFor ward +] ):Ċ +Ġconvin ced +act ed +64 3 +ãģ ĵ +ĠConfig ure +Ġce iling +D er +Ġpass engers +Group s +Ġsoc cer +/ W +avi ors +sw ith +ĠZ one +. Options +ĠM om +ied er +Array s +Ġtreat ments +Ġprotect ing +f ac +Ġpick le +Button Item +7 13 +Ġblock ing +str ar +à ² +ĠEx port +Ġth rew +ott a +ĠB ASE +.w s +.LE ADING +order By +_d elay +ĠP u +.d ll +ĠCh oose +99 2 +Pol ice +ĠBE GIN +box es +Ġdiam ond +, l +Ġ ĉĉĉ +Ġcur ious +6 24 +t v +Ġerot ische +ack ages +ĉ Set +T ick +.b order +static method +Ġch er +in voice +Ġcr u +Ġdef ect +_m etadata +re lation +ik an +[ N +(Q t +( Base +æģ ¯ +be at +ĠEm pty +ĉ o +_sh ift +Ġreg ret +7 22 +Th ose +C ent +ĠPort ug +ĠIs lands +ĠT IME +Man agement +99 6 +-s p +5 39 +ê me +Ġnot ion +un ifu +P K +8 26 +è¡ Į +ĠCUR LOPT +\" \ +U V +ç º +d ra +c ou += ` +ĠD estroy +r p +.c ancel +G G +r untime +ĠV ue +Ġprogress ive +/s ervices +Ġrun ner +_FR AME +.ToolStrip MenuItem +Ġ' ,' +d elay += utf +Ġscreen ing +Ġpull ing +om as +Ġan th +- new +/ local +Ġi Pad +Ġt witter +Ġd ying +Ġhe aven +ĠU Int +ĠSen ator +Ġpres um +ĠWalk er +Ġover come +ete ction +Ġemb arrass +Ch ina +6 39 +In clude +RO LL +Ġdata Type +D avid +ภ£ +lo p +-m onth +Ġsc ar +ĠS afe +Ġ **************************************************************** +Ġaccess ories +Ġr amp +_U SE +Ġcontr ad +)) ]Ċ +Ġpre st +ĠH R +ĠR ap +Ġus ize +Ġcap ability +Ġc ort +- next +07 7 +6 27 +Ġbur den +8 22 +_read er +Ġ@ @ +reg ular +ĠK a +0 36 +M AN +Ġa str +Ġ' ')Ċ +Ġf ed +Ġpars ing +ĠY ears +Ġbro ker +": {" +Ġa kt +In ventory +abe led +Ġarg parse +****** *Ċ +vers ation +Ġc ord +ĠT i +Ġhope fully +Ġa h +ver b +Ġst olen +. Entry +Ġexpect ing +O rientation +Ġpower ed +Ġp ersist +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +'] ); +')) ,Ċ +ĠC ash +ĉ item +8 18 +gr ades +rop ol +b asic +Ġ" );čĊ +Ġaw ards +(r ange +- all +ĠIB Outlet +ĠInd eed +---------------------------------------------------------------- ------------ +Ġstom ach +Ġfl ower +Ġs ew +_t imes +av is +Q String +ĠR outes +_pro t +Ġcom edy +Ġlog out +Ġwood en +Ġpost er +p iece +.J oin +ĠP ok +cel ona +mut ex +;čĊ čĊčĊ +Ġstri kes +78 7 +Load ed +) arg +es a +Un ited +E p +PE LL +80 7 +ĠAtl antic +ul let +65 2 +app le +Ġsett led +a con +Ġprint er +ĠG C +å® ļ +Ġrender ed +, âĢĻ +he it +s ocial +. ge +7 14 +ĠR ick +ĠUt ah +g ot +on ical +ĠSc roll +ĠSc iences +Ġj ug +Ġam pl +ent i +LE FT +Ġt abs +Ġenorm ous +.get Key +loc ate +. EX +.st orage +.W e +Ġto ast +ĠAdd itionally +88 2 +ĠN OW +5 47 +_ UPDATE +Ġtrans ferred +th a +.D isplay +_ ui +ID EO +Ġmeaning ful +ĠMos cow +, this +ĠVict oria +æĶ ¹ +ĠÐ Ł +.st ack +ĠB arn +pared Statement +: string +Ġb ij +ĠST ATE +Ġemploy ers +ĉ input +( | +Ġle x +in voke +ĉ num +++ , +at ial +ors es +Ġfor k +_t xt +ĠAnton io +Ġ( < +aver se +Ġdev ast +ãĢ Ģ +.D ec +ĠG ard +/ ui +. % +tr i +Ġrol led +Value Pair +itt en +ĠTh er +Ġv rou +ĠFl ow +ĠFin ance +ĠCom b +H C +.set Visible +is l +Ġp k +77 3 +Ġup set +( raw +ĠV ice +e atures +ĠL ang +0 29 +Look ing +7 67 +ĠA ST +Ġtri ps +ĠJust in +b rowser +=" '.$ +. vertices +8 21 +- co +}/ { +Ġ? , +ĠD omin +ĠBel g +" < +Ġsup pose +add y +Ġwalk s +6 88 +ERR U +_f ilters +Pre ferred +sc ene +е Ñģ +ĠAff airs +Ġ"# { +Ġon Submit +Ġstock s +/ view +g ree +- get +90 3 +h it +J o +.get C +7 25 +Initial ized +ÑĤ и +c uts +( Type +ĠAg reement +ĠViet nam +Ġ/* ! +Ġp izza +- view +_ em +Ġl hs +Ġm uy +ĠId ent +ĠF riends +06 1 +Ġab und +_A D +.t imestamp +- ' +Ġd uplicate +Ġhun ting +Ġregul atory +ia o +am ous +ĠEnt ertainment +[ A +iat ric +_CL IENT +ĠK ids +/p kg +B reak +)) );ĊĊ +ĠSh ape +Ġrel ating +Int errupt +able Opacity +emb re +Ġmyst ery +Ġjournal ists +rit able +.L ink +Ġstop ping +CRE T +.D B +Ġpopular ity +Ġg ew +Ġim pr +set Value +FL AG +ĉm ax +Ġb ake +w y +ĠEcon omic +Ġen contr +Ġf name +/ de +R ank +Ġbug s +.s m +Ġmed ian +D OWN +ĠS ure +At Index +ĠD ick +Ġ( __ +.d elta +F r +Ġsuggest ing +ĠRec yclerView +, e +ST ART +/************************************************************************ **** +xf ord +Ġrece ipt +CL AIM +read only +9 68 +Ġeng aging +6 19 +C a +as ma +Ġens uring +Eng lish +ĠV ancouver +hy th +Ġpurch asing +ĠP I +. word +(s p +.h ome +: def +Ġg ig +57 4 +67 1 +ĠV e +for um +ĠM itch +B ay +_F L +65 1 +Ġs oll +5 77 +_column s +Ġminor ity +b ird +Ġhand ed +SS L +ST AT +Ġnerv ous +ĥ ½ +Ġfile Path +CRE ATE +A w +Ġp ens +8 35 +se ed +ĠCom pute +ol k +59 4 +ĠAs set +re ach +'), čĊ +n avigation +L F +/ util +ĠP ub +Ġâ Ķ +c ion +## Ċ +07 2 +II I +Tag Name +Ġam id +per mission +if iable +xFFFF FFFF +н и +.B uffer +_ irq +d ark +Ġret val +.f ire +produ ction +.list en +ĠWe ather +Ġbuy ers +. ne +er p +ĠP ent +6 99 +Ġw elfare +Ġpage Size +ĠSt adium +ert a +Ġle v +amp a +P ager +66 5 +Ġcharg ing +ĠNet flix +| null +_r andom +.x path +Ġst ere +ĠIS IS +pons es +( loc +5 66 +ey ond +ĠOff icial +65 7 +ĠMary land +Data Type +_p ar +{ }, +ĠEn joy +7 27 +_SH IFT +ĠA wards +_ENT RY +Ġseem ingly +entic ate +Ġheart s +58 3 +_ ;ĊĊ +ĠH IV +Ġindiv id +ĠFl ag +_ ctrl +ĠC allback +, z +ĠG PU +ĉ obj +ĠPh oenix +ĠB US +90 7 +Ġrub ber +_A UTH +ĠSol utions +( location +Variable s +.set Enabled +_h igh +W O +G esture +Ġre try +Ġobject ForKey +allow een +Ġm os +ĠC ele +Ġik ke +(c ell +ĠM ODE +ren a +Ġdescri bing +64 1 +Ġph i +Ġr d +Ġdes erve +Ġwhe els +å¸ Ĥ +Ġcrit ics +75 5 +N amespace +ĠF ra +Ġ ĊĊĊĊ +Ġall a +Ġrequ iring +æľ Ł +ut ation +Ġdelay ed +Ġadministr ative +Ġb ay +.h idden +T ex +05 1 +Ġbound aries +Ġ] );ĊĊ +ĠFollow ing +~ / +F i +_con v +_T ITLE +Ġdes de +ICollection View +Ali as +Ġb ite +pat ient +_COMM AND +Com pleted +ĉ elif +( < +B usiness +ĠP ool +Ġpurs ue +ĠB an +_st eps +_DE CL +um ble +Ġcom bo +ĠL ayer +.x r +Ġd up +-------- - +6 28 +Ġmod ifier +ro b +re z +69 6 +Ġath letes +Us ed +w ear +8 15 +Ġlegit imate +Ġ" ĊĊ +Ġh v +St d +0 37 +ĠH old +Ġsurv iv +ĠAll iance +ĠEar ly +7 78 +Beh avior +(f ont +/lib s +Ġrect angle +Ġs inger +Ġam p +Equal To +Ġ" ." +Ġgirl friend +å ± +line ar +obs erv +Ġpi ù +Ġcomple ment +With Value +(p assword +t ake +Bl ank +ĠCom par +' ", +_p olicy +m ongoose +_FA ILED +.re port +R atio +.Perform Layout +7 47 +us able +m ers +_re nder +PE ED +77 2 +Ġles b +ĉ E +_t ool +Ġl adies +90 8 +о Ñģ +)) ))Ċ +;; ;; +.d ot +Ġn est +pe ak +uk kit +ec a +_S W +Ġ& ( +ĠOk lahoma +Ġbank ing +5 69 +ĠN intendo +75 2 +Ġreprodu ce +_element s +_m ac +pro xy +Ġremark able +}/ ${ +Ġout s +.has Next +M ODE +65 8 +Ġan ime +.con n +Un ique +D om +Ġimportant ly +itt y +Ġju ice +T w +ĠPart ners +Ġattack ing +Ġport able +am iento +.P ictureBox +.g en +Ġopt imal +58 2 +Ġre cre +Ġjournal ist +ĠEx tract +ĠMore over +Ġmargin Top +.A p +Ġf iring +Na N +ĉ template +аР´ +. En +Ġdef ence +ĠT el +il en +j an += data +ĠU rl +ĠRe uters +(t otal +ĠFif th +Ġess ays +Ġinterpret ation +Ġchar ity +ĠR ules +Ġsub section +st yled +az er +l ags +L IST +Ġupload ed +Ġtr ash +Ġreg istr +Ġsell er +>' ;čĊ +Ġstart Time +ç Ļ +s y +(Http ServletRequest +Ġtr ap +G C +Ġembed ded +Ġsurround ed +8 16 +im its +T X +yl inder +68 5 +ĠF al +Ġsent ences +ĠJ a +IF ICATION +we apon +ov ation +Ġco at +Ġinter pol +Ġl ips +ĠK y +Ġv ectors +_ am +Ġint ake +.w orld +Ġin box +ĠM AC +_ ab +(name of +6 33 +Ġent ert +Ġgather ing +ĠS IM +++ . +ny a +' }} +ĠUP DATE +Ġp ac +( html +ĠS ant +i ating +ĠIde as +Ġspr ay +ĠH art +Ġver ification +ades h +/ modules +ĠM ind +ĠSized Box +Ġsh elter +Ġher oes +att y +Ġcert ified +s j +Ġê tre +ÅĤ o +Ġpublish ing +ĠMal ays +.get User +ĠPro vider +ĠLinked List +ĠB or +RO UND +d id +t ain +p ire +ĠJ enn +t el +and e +75 7 +_f ront +ĠMc G +Test Method +à¸ Ń +Ġoccasion ally +ĠW ales +Ġexerc ises +ĠÐ Ĵ +0 45 +- plus +Ġvalid ator +Ġpr ayer +L ATED +_ author +Ġlab our +++ Ċ +-e quiv +ĠG PL +Ġface book +s imple +g ly +Process or +ip y +7 44 +Ġ* > +64 8 +Ġcle ared +ĠP ush +8 58 +Ġpen is +Struct ure +li j +ĠM organ +Ġhand ful +" .Ċ +98 4 +| \ +Ġ ******************************** +ĠA qu +58 4 +_ IC +.load s +Ġm eter +ĠMar ine +:: { +ĠT S +77 6 +ĠArray s +.T itle +GR AM +ter min +Ġco inc +El se +_st ates +-r un +m embers +78 2 +ast ro +0 66 +Ġon Press +Ġbe ings +Ġabandon ed +Ġtax p +own ers +.m ode +Ġdiagn osis +Ġ_ Ċ +ĠK night +ĉ A +Ġob serve +), ' +8 23 +! ")Ċ +ĠPar a +Ġvari ation +( False +ĠAnt i +Ġg ri +Ġhome less +? v +Ġbe z +.S erver +re lease +ĠP atri +Ġchar s +Ġrank ing +activ ation +58 1 +Ġw ides +q r +.S ql +ac ular +ĠB ot +_s ync +Ġhapp iness +Ġvolunte ers +8 77 +Ġs its +/ < +[ e +(file Name +Ġcap ac +8 32 +ĠMar ia +f ather +Ġgr am +* i +Ġcas o +_d raw +ĠR aw +ĠIter ator +6 64 +ĠP adding +9 24 +P D +BO X +ĠS PECIAL +Ġfe cha +Ġv ide +ĠLe ader +ä» ¥ +$ (". +Ġdiam eter +Ġm ild +7 45 +Ġrock s +app ings +0 48 +d irectory +55 7 +.fl ush +ĠJ ess +UN IT +ĠP ear +Ġmand atory +S ur +q t +Ġstream s +Ġco operation +ĠS ac +Ġche aper +ĉ ch +an imation +f are +( height +( True +N Y +Ġw rest +Ġpoll s +Ġencounter ed +ĠMarket able +_P ASSWORD +7 16 +_SE LECT +ĠArab ia +_c lock +Ġv oy +Ġи з +Ġst ir +is ible +-e ffect +.c reated +Ġto ys +ĠTrad able +Ġr ust +Ġstr cpy +_t imestamp +Ġtalent ed +, null +ĠJ obs +ĠPort land +Ġweak ness +Th row +ĠAng el +ä¿ ® +75 4 +Ġun cert +ï¼ī Ċ +ĠìĿ ´ +Wh ich +Ġ[- ]: +S omething +Ġconv icted +k le +ed ium +Ġbranch es +Ġb ases +ç ® +Ġcomplex ity +ĠF ig +. reshape +$ db +7 36 +_CON ST +ĠT es +.r untime +Ġden y +ĠB SD +Ġk r +h att +ĠSt atic +Ġunivers ities +Re place +Ġdro ve +Ġad oles +_pl ugin +ĠL GBT +Ġt ex +du ction +75 1 +7 99 +ED I +ĠT ed +_ URI +Ġre ception +art en +.S ingle +r ice +sc ious +8 43 +_b g +Ġw ages +ĠS ervlet +UIL ayout +Ġform atted +.M od +< class +is en +Ġrepresent atives +"] = +Ġport al +ĠHun ter +Ġh iring +__ )Ċ +ric ulum +u o +li est +Ġt ears +L at +Ġliter al +.In sert +Ġc urs +ĠCom put +Ġterror ism +Ġswe ep +Ġ[] čĊ +Ġpass enger +Ġeast ern +Ġtwe ets +Ġoper ated +w nd +ĠS yn +.t ools +ĠW M +ul ates +Ġbacter ia +( bytes +.set Data +Ġvis ibility +// ================================================================ +el m +Ġgener ating +Ġm v +Ġk h +j en +/ search +Ġaccount ing +se gment +act ic +. ip +Ġdeploy ment +Ġfoot er +> ',Ċ +Ġexpand ing +ĠHam ilton +ĠCon trib +.T ables +7 28 +Act iv +H H +ocom merce +_ ; +Ġamong st +ow ing +8 59 +ĠC old +AP H +Ġpsych ological +_t ensor +Ġpack aging +ĠSw eden +Ġp are +Ġag gregate +Ġmoder ate +86 2 +_h and +Ġdesign ated +Ġdr um +Ġget User +ĠC reek +_s cope +ĠTrans fer +ĠM arg +Ġfight ers +W nd +ĠS el +ĠLa unch +Ġemerg ing +if rame +ĠAdd itional +Ġf ears +Ġsat ellite +_ : +Ġdis posing +Get Value +Http Post +AT IVE +ul ary +View s +Ġatt ending +ĠT ennessee +ĠM ission +Ġmedic ation +ĠW y +ĠAn na +Ø ¹ +ĠVert ex +.t ypes +O rgan +.DataGridView TextBoxColumn +ĠR S +Ġtemp o +( App +89 2 +Version UID +.p oint +ĠD utch +H ours +L U +Ġqu oted +.b uilder +ĠPer fect +ĠAl ways +_t wo +Ġexclus ively +ĠC ra +ific ar +ĠA WS +ing ham +com plex +k ernel +Ġgr avity +Ġw i +05 2 +Ġover view +66 1 +ĠW ant +ĠW P +( sh +. rotation +St ates +ĠTe en +_com ponents +ì Īĺ +Re ceived +Ġly rics +rit es +ĉĉĉĉĉ Ġ +-A merican +[ num +/ python +ĠU ART +Ġapp le +ĠJon athan +Ġmoment um +ภ± +Ĥ ¹ +Ġm ich +and ra +Ġbi ological +ĠM ens +Ġ% % +else a +ĠMex ican +.rand int +Ġt ale +ĠValid ate +Ġdefe ated +.ht m +Ġcop per += / +cos ystem +Ġr ip +dec imal +.V ISIBLE +ĠT a +ĉĉĉĉĉĉĉĉ ĉĉĉĉĉĉ +Ġdownload ed +en vironment +Ġnom ine +build ing +ĠSp ot +ipher al +Ġal to +qu et +ĠF T +/ get +/m aster +W IN +åħ ĥ +67 6 +W est +arg c +Ġprodu cers +ĠM uch +_st orage +cred it +CON T +Ġv et +Ġvo ices +(' ', +Ġinstr uments +66 2 +ĠM SG +es se +re pository +om ics +Ġdeal er +St ill +Ġb anner +asc ii +Ġrem arks +[ js +Ġshort er +g ulp +Ġmyst er +Ġk un +ĠB ird +Ġti ene +7 88 +n ut +ĠU m +Ġw ise +Y eah +INE SS +04 6 +_b egin +- heading +C ourse +Ġ čĊčĊ +omb ie +grad ed +ĠG PS +Ġ że +F it +c aption +ö n +/ image +l ia +(m od +Ġle ak +en za +6 29 +/ H +ĠH appy +99 3 +D ist +n x +ĠGovern or +(l ast +te acher +ĠS ent +s upport +8 38 +ject ory +Ġ Ùħ +Reg istration +06 3 +ĠGr ay +, false +Ġadjust ed +( settings +< R +ĠM age +Ġpl aint +_ )Ċ +ĉ it +omet ric +. bootstrap +Ġcar ries +I p +Ġ! $ +Ġswim ming +ĠMar io +ĠQuest ions +P ACE +æĸ ¹ +e or +}} " +Ġo ven +ĠK on +Ġwis dom +Ġac quisition +ess ment +ag ine +Ġexpress ions +Sequential Group +F ront +ul pt +aw k +'] )ĊĊ +8 13 +7 32 +_ AR +Ġanal og +ul in +_PR INT +ĠL G +Ġb lob +ĠFurther more +_com ponent +ĠC ole +L AN +SCRI PTION +Ġl ap +icens ing +_TIME OUT +ĠF ro +Ġli ability +Ġcom posed +6 34 +.create SequentialGroup +_p erson +Ġbe am +ĉ ĠĠĠĠĠĠĠĠ +ĠNot Found +68 4 +. 'Ċ +ÃŃ s +.Text View +P DF +Ġk ar +__ (' +Ġ" :" +_m essages +Ġhar vest +.h istory +> 'Ċ +-f old +æ Ĭ +ĠBet ter +Ġ"\ < +sp acing +Ġfurn ished +9 13 +os er +] }Ċ +Ġ$ " +p ull +.P ost +9 19 +( ip +Ĺ ı +.f ront +nt e +ĠF M +g uid +8 44 +Ġnegot iations +agon al +9 34 +Ġtrem end +unge on +Ad v +car ousel +ÃŁ e +_DE SC +Ġham mer +áº Ń +ĠĠĠĠĠĠĠĠ ĊĊ +-c ore +-s ervice +Ġcorn ers +ĠS F +p red +> A +ĠJ Label +Ġrom antic +Ġtestim ony +os c +ĠGener ation +as ures +_int ernal +Ġprint s +Ġ] )Ċ +ĠC leveland +re po +D isc +6 77 +76 2 +Ġ" >Ċ +�� �� +Ġne arest +59 1 +_t b +( require +EO F +- child +Ġbu dd +.Xtra Editors +alt ies +7 23 +\": \" +W ords +9 17 +Ġloc ally +Ġpurch ases +6 95 +Draw er +ex tract +Ġexec ut +} '. +user data +Ġfocus es +-min ute +7 64 +ĠP ublish +og o +Ġmount ains +B ot +} >{ +Ġt ension +ro d +m esh +Ġtransform ed +, R +() }Ċ +.l ong +Ġg orgeous +ĠS chedule +Ġol dest +Ġsub process +( IN +y ect +ĠCo oper +arn ess +ĠMon itor +.p art +97 2 +ĠN BC +66 8 +Ġc otton +Ġh ol +7 26 +Ġrg ba +ĠB io +Cont inue +P od +Ġparticip ating +clus ions +(By Val +7 34 +à ¬ +ĠH OW +_set opt +Ġaccompany ing +09 1 +at on +Ġ/ \ +ĠAuth entication +i én +ĠBar ack +/* . +Ġe ager +ĠC ancel +< lemma +ep h +ĉ window +Ġinc idents +75 6 +), ( +.D es +ib e +ĠFunction s +Ġhosp itals +0 38 +Ġo xygen +root Scope +Ġd rew +ĉ request +not ice +ak u +am ents +f ar +97 3 +77 4 +Ġprec ise +_w rapper +Ġlisten ers +A Z +.b ounds +ĠA verage +field set +_ axis +Ġexam ination +' .Ċ +mon s +++) {čĊ +ĠForm s +íķ ľ +9 16 +Cpp Method +_tr ace +Ġengine er +66 3 +ĠFl at +Ġrev ision +Ġhe ating +6 38 +/ profile +.r u +p riority +Ġin fer +_ST REAM +Ġ* )( +> $ +OLE AN +OK IE +IB ILITY +U AGE +ĠSur vey +07 1 +Ġres ign +w ing +Ġsecre ts +Ġch ips +JSON Object +Des ktop +59 6 +_SY MBOL +(res ource +ĠĊ +Ġnew est +ul i +Ġdes ert +Ġd ip +ĠP ow +Ġequ ation +Ġposs ibilities +ĠF ed +os ph +Ġ[ % +Ġb ubble +ether lands +79 3 +Ġc ement +. auto +_ AN +âĢĻ . +se lection +ĠB ond +9 88 +D en +- O +.get Type +8 96 +.W indow +p res +Ġsw inger +" })Ċ +Ġp ip +Ġm ice +Ġcomp ound +- plugin +ik o +Ġcent uries +ic ular +-in line +ĉ key +> \< +EN SION +Ġ[ čĊ +Ġprecis ely +Ġét é +ĠP ast +ĠCam bridge +-f ull +Ġanaly ze +ĠSte ven +Ġn em +d ue +ore n +Ġmus cles +ij ing +8 52 +/ - +ĠKenn edy +59 7 +R M +oss ible +Ġact ress +Ġd olor +9 14 +å½ ķ +Ne ed +.t oggle +ĠR ace +w ers +.m aterial +ĠD ue +ĠP el +# print +Ġindepend ence +ex us +Sh adow +Ġenc oder +( level +ĠSw ift +.d oc +_se lection +95 2 +Ġserial VersionUID +9 45 +Label s +Ġperform ances +.T ag +ĠN HL +iz en +/ UIKit +99 1 +_CONT ROL +Ġearn ings +9 75 +ĠAl t +_H ANDLE +C tx +Ġpers u +Ġtr an +ç ¨ +_CH ANNEL +Ġsatisf action +ĠG P +7 69 +io x +m itt +land o +Ġp ig +inal s +ê ncia +7 31 +S urface +ĠU UID +Ġbenef icial +Ġsequ ences +ĉmem set +Ġmag ical + « +Ġw orn +AS C +pop up +COM P +_b efore +en ess +U i +L es +.re quire +.Serial izable +add Gap +Ġauthor ization +08 5 +.py plot +urr ay +lat itude +8 45 +fr ames +aj s +Ġcomp ass +Ġobserv ations +_s up +.en viron +Ġtri ple +ĠRub y +Ġdr ain +_F ILTER +S an +UM P +Null Exception +ĠG ab +ow e +ĠTurk ish +_se quence +ĠGr ant +uel a +Ġw o +Ġc ube +i q +Ġdis orders +Ġextra ordinary +Ġc trl +ĠSe q +ent r +8 65 +Ġsan ctions +9 49 +uts ch +Re ports +Ġin herit +Per iod +Ġphot ography +ĠF ramework +Ġspecial ist +Ġ? ĊĊ +_ selected +.P layer +Ġal location +( account +Ġstruct ural +v able +- offset +.App CompatActivity +аР¼ +.Add WithValue +Ġicon s +Ġshut down +_l ow +ĠCom pare +ĠC e += head +l am +.p redict +_DE C +ĠS leep +ĠGr atis +Ġsuggest ion +ĠD EL +ca ff +av irus +No thing +ŀ ĭ +Ġwides pread +Ġmechan isms +Ġtext Align +occ up +ĠR ail +: NS +Ġf iber +Ġm k +Ġv intage +-l ong +.re duce +. Entities +( record +Ġple asant +FR ING +.C ells +OT T +ĉelse if +64 9 +7 24 +_con firm +ĠView Group +s ym +Ġpr ay +Ġsus pected +Cont ains +98 3 +Ġb orders +Ġcomponent Did +ASS ERT +Ġinf inite +- order +Ġh ello +ĠGr ade +.currentTime Millis +apol is +z h +ĉ Object +: \\ +H O +val uation +Ġvoc ab +7 19 +Ġcou pon +atab ases +.Get Type +L earn +79 2 +] =" +ĠG ary +ot ive +Ġas h +Ġb ib +XX XX +Ġbal anced +VAL UE +ĠN at +_A d +< E +åĮ º +ĠMethod Info +8 97 +L IB +Ġconsider able +ĠInd ustry +test s +.set Title +ĠBl uetooth +Ġm apped +ĠBru ce +ĠMain Window +ĉ status +Ġr az +ĠM and +Ġclass ification +Per missions +9 69 +Ġ---------------------------------------------------------------- ------------ +Ġcontain ers +: set +_x ml +Ġwh ilst +Th rough +Ġval ign +Ġworld s +C ORD +ED IA +ÑĢ ов +Ġsp are +ĠH ad +ĠDE F +(p tr +Ġwarm ing +8 98 +ठ¾ +Ġcons ensus +ag ne +CT L +Ġì ķ +.M ain +web Element +Ġp ist +Fl ash +App end +.tw img +T ap +Ġveget ables +al g +05 8 +.s ample +Ġcoach ing +( ind +Cell Value +Check Box +ĠH ell +RO OT +7 96 +Ġst adium +Ġinvestig ating +) % +st ed +9 65 +ĠW riting +Ġê ² +Ġun o +Ġ{{ -- +Ġco ords +Ġun ser +organ ization +ĠCr ime +ĠDemocr at +57 9 +Ġv in +/ file +0 78 +- api +ĠA y +Ġfund ed +ĠBre xit +ĠG h +ent ina +c ases +Ġd ash +Ġ!! }Ċ +H I +Off ice +Ġcapt ain +Ġwor ship +\ C +7 33 +8 51 +Ġglo be +_ board +Ġbab ies +87 6 +Ġconsec utive +Ġenh anced +ere um +ĠAd vis +Ġgr ain +77 1 +Ġc raw +ancell ationToken +. alpha +_W ITH +ĠO tt +ĠC ool +.b atch +Ġver ified +(c allback +Ġreg ards +68 3 +ĠInt Ptr +ouch er +Ġk in +Ġtou ched +it Ãł +ath on +Ġadj acent +Ġaccom panied +LE AR +Ġim plies +Ġh ill +ĠBalt imore +=" - +Fin ally +88 3 +S am +ic opt +Ġs od +Ġm aj +ĠSh ipping +Ġget All +Ġcoach es +Ġdon ations +il ot +ĠT ar +c err +Ġbad ge +Ġmark ers +ĠR and +ais ed +iss ance +Ġexpl oring +8 27 +uc ed +ĠIndones ia +Ġbene ath +Ġmagn etic +Ġm useum +match Condition +Ġdis rupt +Ġrem ind +ĠT M +Ġ/ >< +Ġf ool +Ġes k +.N ull +ĠD ies +_OUT PUT +_TYP ED +Ġpaint ed +67 3 +7 35 +Ġsoph istic +ĠB ear +* n +_P ACK +Ġdeliver ing +ĠC OUNT +åį ķ +Ġj eg +-c ar +f name +Ġr anging +8 48 +ĠN eg +/ ******/ +ĠCH AR +Ġul tra +Gr ad += t +Ġjud ges +ĠD ise +ann ers +98 5 +89 1 +86 1 +Ġsc al +_c al +ĠCON NECTION +_ embed +(f n +ĠC raft +04 7 +ĠP as +") -> +.con vert +.res ource +ĠST ATUS +ô ng +ĠT it +Ġclass room +ĠArch itect +ĠK ings +Ġstead y +/* !Ċ +ĠG ene +) ";Ċ +ic ia +st an +ĠCon struction +um per +95 1 +w c +ĠC BS +ing ing +-p arty +(d river +M ARK +08 2 +Ġn ested +ew ard +Ġdepend ency +Ġm ales +9 28 +ĠO NE +ĠProdu ction +][ $ +ãĥ¼ ãĥ +_LO AD +ĠB ol +el ry +8 31 +ł éĻ¤ +ĠRe quire +Ġpl acing +xx x +CA LE +Ġth umb +8 24 +Ch oose +Ġprot otype +VO ID +Ġles bian +7 41 +Ġtra its +Sh arp +Ġconsum e +Tr uth +Ġaction Performed +ĠEnvironment al +ĠDe an +Ġest ado +s ame +Ġnumer ic +Ġtrans it +. Email +-s ide +_R UN +ĠVill age +_OP EN +è ¦ +.re m +-w arning +any a +Property Changed +Ġ(! _ +( check +il ia +ĠSo ft +st eps +ĠMad rid +Memory Warning +Ġhand lers +Ġexperi encing +Ġins pect +button s +Receive MemoryWarning +chem y +Link s +Ġur llib +.System Colors +ĠE igen +Ġpun ishment +:UI Control +bar a +- set +Ġ}čĊčĊ čĊ +Ġtoler ance +Ġinter faces +. redirect +ighb ors +cs rf +_back ground +. Utils +_H T +69 2 +ĠInter est +im os +Ġgr ants +08 3 +Ġexam ined +Ð Ķ +Ġc f +for ge +back s +ĠObject s +_s ent +. entry +ĠTH EN +ell ido +c ia +, res +65 9 +68 1 +/std c +. nd +( Int +ĠAuth ors +ĠApp CompatActivity +' { +Ġmed i +M usic +ig m +ce ipt +Ġa uss +Ġtarget ing +ĠKe ys +h n +: ]Ċ +Ġmin eral +à ® +.c a +76 1 +om ed +Ġshe ets +Ġc amb +Ġdead ly +.in ject +( unit +ĠSe lection +.g ms +( connection +Ġ$ (" +é mon +ĠCurrent ly +pt e +_path s +8 47 +le af +Ġimp lications +pos al +ä½ į +[ / +anc ia +é Ľ +m ul +c ie +Ġge ile +67 9 +im als +UI View +Ġs urre +serial ize +IS O +Ġarbit rary +Ġsock addr +.f n +ĠM erc +Ġcast ing +Key Down +Ġnew Value +op ens +7 17 +T odo +Ġflex ibility +ĉĉĉĉ ĠĠ +V elocity +ú n +row ing +Ġcomput ed +` )Ċ +st atement +Ġr i +_c art +L ow +trans fer +.n av +Ġgr ave +ĠDo or +ĉ alert +69 1 +69 8 +.sub scribe +- profile +ĉb ase +ĠâĪ Ĵ +__ ĊĊ +Ġengine ers +Ġexplos ion +Ġd ari +68 2 +ĉ Log +on al +Ġisol ated +{ i +ĠM sg +F uture +Ġrac ist +-w rap +ĠV ers +b org +IS ION +Ġ ÑĢаР+ĠY an +8 36 +init With +Ġn omin +( empty +ÃŃ n +ãĤ ¤ +ĉ width +Ġch amber +/ ajax +EM P +09 3 +Ġnec es +iv os +log ic +*) & +cript s +97 6 +Row At +05 3 +ib lings +Ġe ars +Ġcomput ing +Ġm aker +ĠNe ither +b readcrumb +Ġserial ize +ĠWith in +Ġd ell +_TR ACE +09 2 += a +Ġwish es +-in ch +ĠD or +Ġinnoc ent +ĠD ol +Ġint ens +for ced +05 4 +ĠB IT +Ġphotograph s +Ġcas a +ĠL en +\F ramework +.S imple +Ġde ar +8 95 +)/ ( +ip pi +Ġown s +Pl ayers +Ġpropos als +.p i +us alem +D amage +Ġcal ories +ĠCreat ive +Ġ[ $ +Ġ// čĊ +78 6 +And View +è me +.c ustom +_f actory +command s +_lo ok +Ġstr cmp +Y N +a ired +Ġaud it +о ÑģÑĤ +ĠRe verse +ropri ate +et ics +< vector +.s elenium +. or +Ġpred icate +Ġfinish ing +Ġk le +ĠRep os +ĠK han +ĠM aking +ĠF S +Ġp ute +ĉ state +_S UPPORT +' - +orient ation +Ġexist ed +atur a +Ġexpect s +ĠSh adow +9 66 +Ġorgan iz +å ŀĭ +Ġsusp ension +66 9 +Ġu it +Ġsimult aneously +ĠAff ero +: ");Ċ +Ġro cket +c as +eter mine +ace ut +69 3 +x l +ĠA MD +( graph +75 8 +87 2 +ass oci +_C R +.ar ange +04 9 +(j Label +Ġbe ef +Qu ick +.c ard +] ): +- gr +7 97 +.G ONE +_C LOSE +ĠNe v +ÃŃ as +Ġste pped +ĠFre edom +ĠW R +NS Array +_r x +_d ialog +Ġhot els +95 3 +Ġ( \< +ĠD iamond +Ġassum ption +um i +( items +č ččĊ +æ³ ķ +Ġn el +Book s +åİ ¿ +us b +ĠF IN +88 1 +æ ¬ +Ġcorpor ations +US A +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +9 29 +.p roperty +ew ise +_ plot +"> ';Ċ +Ġpe pper +98 9 +Ġsh ed +ĠMed ium +ĠC ookie +88 9 +Ġoverse as +ed or +asure ment +7 66 +åŃ ĺ +Ġ' .' +Ġph p +ĠPRO C +Ġexception al +( th +ĠJ et +Ġoccup ied +.set Image +ĠRel ated +uck er +M embers +PR INT +ĠG lo +_V IEW +} ",Ċ +Ġad option +[] )Ċ +8 42 +ĠMiss ouri +ĠLin coln +eral d +Pop up +Ġf ate +- bootstrap +fe ctions +ĠP oll +_ARG S +in ance +69 7 +-h ome +. ), +_d one +69 4 +: ĊĊĊ +Ġdiscuss ing +ĠSQL Exception +Ġelect ro +ĉ req +Ġz w +88 6 +Ġl ui +9 32 +Ġover night +$ user +ĠW AY +Ġall erg +Ġdisappoint ed +Ġradi ation +Ġimpress ed +ific ates +Ġto b +CL ASS +Ġc uda +_d et +- post +ul u +Trans lation +-h and +.y ear +ĠM ongo +Ġun clear +. engine +WEB PACK +r ices +_AC CESS +Ġh olidays +per cent +.Id entity +ĠG ov +Ġpassion ate +!! . +ĠGree ce +plus plus +')) ; +G P +Ġexc it +.tab Page +_ cond +Ġspons or +M ODULE +_pro c +Ġ$ Ċ +Ġr ational +.T ool +Ġi hr +cc a +åĵ ģ +ĠE state +IB UTE +Action Performed +ĠS olar +¦ Ĥ +Ġequ ity +t id +9 38 +Ġrec ip +.s imple +m k +68 9 +ĠL uke +ĠGuard ian +Ġenc rypted +Ġdomin ant +. place +ĠN V +8 39 +Ġtong ue +( Get +Ġst ainless +.P lay +Ġe b +ac i +.b uffer +readcr umbs +Ġvacc ine +p rom +97 9 +Ġuser Info +Ġsl ug +Serial izedName +-w ide +Ġre actions +ĠY ang +ĠAdd s +(user Id +Ġpl ates +ĠM EM +Ġb ail +In side +et ed +Ġels if +Ġs ake +Ġc ycles +Ġì Ĺ +ĉ I +-c ollapse +8 41 +ĠG MT +8 14 +De claration +Ġg ros +Ġreach es +Ġcust ody +Unt il +75 3 +8 56 +t u +ĠCh en +Ġn x +( addr +ĠO ffer +Ġcol leg +ass ador +67 4 +Ġm apper +8 54 +ĠS IGNAL +ĠB loom +ĠH oll +ĠIm per +-d es +_s ite +Pro c +E qu +Ġat omic +ĠW oman +s ent +7 38 +8 17 +sc ar +Ġint elligent +ĠGet ting +ĠReg istration +ĠPh ill +Ġkill er +unic ode +Ċ ĉĉĊ +ĠJac ob +ĠCon st +Ġloc ate +Ġca us +7 49 +ĠSch olar +Ġconstitution al +Ġinfl ation +ĠG ot += array +end um +Ġtransl ated +Ġdiv orce +En tries +Ġs or +ĠQu ote +irl ines +U K +Ġexc el +( opt +ĠAD V +,: , +Ġcontact ed +7 42 +ĠD A +Ġr ings +ĠIndust rial +.get Context +Ġforg otten +ĠT an +Ġp ants +Ġo v +Ġdec oder +ĠPart ial +Ġv c +Ġbatt les +A rial +FRING EMENT +ir ates +, w +aint enance +ĠO d +ĠTechn ologies +åī į +ĠCar ter +.find All +N ome +B en +ĠUs age +ĠP icture +Ġbad ly +_p anel +Ġpat ent +ĠProt ocol +lot te +ĉ player +je ctions +7 46 +Ġd ou +_re lease +urn iture +_t ax +ĠF ields +.d ataset +_m aster +CLU DE +ĠPh arm +b st +Ġoper ational +.c ell +Ġident ifying +Ġj wt +t uple +ĠT C +ĠC ro +9 36 +ix map +- components +gener al +Ġo z +_D e +_d ouble +ĠTo o +08 8 +.View Group +87 9 +g ate +d ings +ph otos +Ġgrand e +ol lect +_l in +Ġaw ful +f ilters +Ġaltern ate +es p +Ġcomp ress +e o +ĠS cale +Ġind irect +Ġinv oice +ĊĊĊĊĊĊĊĊ ĊĊĊĊĊĊĊĊ +Start ing +ĠPl ayers +ie le +. then +98 1 +Or d +ĠT uple +Ġb out +ĠStat istics +Pre view +Ġp uzzle +ĠW idth +ST ATE +Ġover lay +ĉ on +Ġin fr +Ġsm allest +lock ed +ÑĤ о +ss l +77 9 +Ġde emed +Ġs co +re ck +Ġj Button +Ġmiss ions +87 1 +ç§ ° +.Selected Index +T ABLE +Se pt +Ġacknow ledge +Ġstrt otime +ĠT ell +ĠD ak +Ġal uminum +Ġf ence +ĠSt ars +CON FIG +Ġretro fit +Ġemph asis +/ header +ĠS omething +in ished +=' ".$ +ĠValid ators +Ġpol ar +section s +9 44 +.as px +Ġas pir +.M ock +Code Gen +Ġpe ut +97 1 +Ġaccept ing +Ġback ing +P icture +/ ap +еР³ +_SE C +- use +annot ation +Ġcogn itive +Ġg rip +h our +ĠLeg al +Ġep ic +.t oolStrip +.not ify +.L ast +OR IZ +M iddleware +cri ptions +l ash +_F OUND +ĠLiver pool +Ġ{} ", +9 31 +Inst all +Ġn it +Ġfig ured +[ len +.W in +.pl atform +8 53 +Ġgam bling +(d t +av ery +ĉ include +Wh ether +R outing +Ġther ap +Rem ote +ĠL oss +y ll +Ġappro ached +ĠV ehicle +ĠAl pha +Ġvoc ê +ans wers +NS Dictionary +95 4 +cons ider +un used +ĠF an +or able +f re +87 3 +ĠDIS CLAIM +ĠAct or +. ] +to Have +.user Id +Ġspeed s +ew ay +Ġrec urs +ĠÐ ³ +_pr iv +! âĢĿĊĊ +Ch oice +Ġsett le +Ġplan es +' }, +T om +IT ER +! "Ċ +å » +achel or +Ġsepar ation +Ġd al +ad j +Ġreg isters +r iz +ĠNot ice +Ġl u +Ġcour age +Ġax es +cell ent +.as ync +07 3 +Ġcompat ibility +ç « +Ġ! ĊĊ +ĉ title +Y LE +ĉ message +U UID +OLD ER +ĠH H +ĠStyle Sheet +Ġaccess ed +. validation +t asks +Ġpoll ution +.c anvas +Ġing redient +ĠC abin +A h +old own +ĠNO I +ĠÃ Ĺ +[ f +ed uc +y alty +(n ot +_ State +9 33 +am en +7 95 +7 39 +Ġda o +ud ad +ell ers +} & +lic ity +_W INDOW +Ġt atto +val or +.R ange +Ġrefer enced +ĠRes erve +M oney +87 4 +SCRI PT +/ product +cho ices +Ġt in +ãĤ ĵ +9 18 +Ġsepar ator +Ġp kg +am med +ĠM AT +! !ĊĊ +Ġr aid +Ġmotiv ation +ĠX P +ĠBack ground +ĠQu aternion +.define Property +ik er +ĉp arent +ĠOrigin ally +ant age +ĠH ans +Ġtim eline +.c ur +op ic +ĠSe qu +m ust +ĠCo al +Ġform atter +_R GB +Ġ_ (" +'} ),Ċ +Ġ= ================ +ĠF UNCTION +Ġl ng +ic ates +l ive +_ engine +Ġtown s +8 68 +')) ĊĊ +ĠP K +( api +ĉs canf +08 9 +pack et +.ph one +á Ģ +ĠAnd y +_N AMES +98 2 +PL Y +9 55 +Ġmin s +im i +Ġbr ick +Ġbl ade +.std out +}` ;Ċ +Sh ift +ĉs b +ĠCheck s +Ġphenomen on +Av atar +Ġmin istry +ro se +ĉ File +8 78 +Ġtit led +( LOG +Ġg an +des ign +(), čĊ +Ġb ones +st m +ÅĽ Äĩ +ĠInput Stream +Ġvol unt +ĠSerial izable +Ġfight er +ĠDr ag +T witter +Ġsubs id +ç ¼ +Ġfor ums +.load ing +log ged +_ this +Ġterr ain +Ġir re +ĠIn g +ĠC N +_object s +. uid +Ġconscious ness +T INGS +ĠG all +Ġport ray +05 6 +ĠDevelop er +Ġparticip ant +Ġ" ;čĊ +/ model +79 4 +ĠOper ations +^ \ +ĠL ater +Ġrais es +-n one +.m eta +=' .$ +Fin ished +Ġrepl acing +Ġsam pling +ĠJ en +" There +RE AL +A LE +ìĬ ¤ +Or ders +_param eter +ĠOlymp ic +Ġtr ès +Ġare na +i ol +; ?> +Ġimpact s +ĠW S +: get +Ġfl ights +ĠRuss ell +c amera +F n +s igma +Ġfor cing +Ġloc als +Ġdepart ure +Ġcelebr ation +ĠS ay +88 4 +ï¼ Ĵ +ĠH ills +.has OwnProperty +Ġtyp ings +.A PI +Ġdon ation +Operation Exception +.Act ivity +c plusplus +ĠChar lie +Ġimport ed +Ġd ann +Ġoccas ions +Ġimplement ing +Ġpur ple +.d ialog +SQL Exception +ern o +Ġw ars +Ġpast e +Ġdecre ased +Ġhar sh +Ġel abor +input s +ĠView s +Ġerror Message +_m ul +ĉ write +ĠC op +ĠAnn ual +(b utton +Ġv ida +b ars +ĠHar vard +ĉex pect +Ġindex es +Ġdocument ary +Ġf lesh +OR LD +ĠD elta +M AND +Br ush +-c olumn +Ġdevelop ments +97 4 +78 3 +method Visitor +s lice +ĠP DO +Ġinvest ing +8 67 +ir able +Ġxml ns +ï¼ Ľ +art a +Ġthe ories +_c ity +Ġ$ __ +Cre ating +( pr +D ropdown +ism atch +ĠN ET +9 26 +'] )){Ċ +ĠVal ues +ĠSE O +ĠST AT +Ġe cosystem +Ġtem pt +Ġ\ \ +Ġ// {Ċ +ĠChrist opher +ĠKent ucky +ĠHttp ServletResponse +Ġhy brid +y on +Ġfeed ing +ĠEx tra +N orm +IT CH +ĠSe an +ĠUp load +m un +p ur +Ġp ersistent +ĠID C +ĠPer form +86 3 +.m erge +_ room +Mean while +! =' +ĠW el +Args Constructor +88 7 +.D atabase +Ġcount ing +() * +Ķ åĽŀ +ĠT OP +m ill +ĠD T +IGN ED +95 6 +ĠK B +Ġcomp ly +S outh +_c ollection +Ch apter +Ġexpl aining +_ AM +_t s +c ards +Ġqu el +Ġp ole +Ġtouch down +ĠO thers +Ġpe ers +ĠType Error +76 3 +Ġsix th +Ġche er +Ġdis pute +96 3 +89 3 +us c +) ], +th umb +Ġh iding +ĠS IG +lik es +ĠP AGE +.Ref lection +Ġhead quarters +T ING +ĠG host +M LE +$ Ċ +Ġcontr ary +ext end +'] ). +FF ECT +ĠP interest +úmer o +ric ane +ĉs ession +Ġcr ystal +- Control +overn ment +og raf +96 1 +- action +v olume +ft en +Ġun con +Ġan imate +Ġle ase +sc r +Ġref use +ãĢ ĭ +ft p +in formation +Ġeval uated +Ġin jection +Ġj ack +Ġwork shop +æ³ ¨ +PT H +ĠT s +off er +ĉ os +Ġking dom +M issing +Ġlaw makers +ext Field +Ġsing ing +ab i +/ client +.m edia +ATEG ORY +Sign ature +% ',Ċ +ĠF uck +][ : +Ġsens ors +/ com +ĠPr imary +.S QL +_pro gram +Ġp ills +Ġinteg ral +Ġfle et +Ġdro pping +.s l +Be en +Ġp ets +Ġadvis ed +Ġdr agon +_ EDIT +( im +9 39 +F ER +ĠDr ug +(r andom +Ġcomp ression +ou st +[ % +Ġbuy er +h op +R oles +man age +Ġpain ful +ĠBr anch +-mod al +en ant +ĠM esh +/ font +ĠG raham +Ġâ ĺ +Ġn c +ĠFranc is +Ġspec ification +Ġdam ages +- config +Ġthe oret +sec ure +_m ulti +aceut ical +Ġdemand ing +en ne +IST S +09 4 +() ));ĊĊ +Re ason +Re cent +ph ase +Ġps y +_M AN +Ġvolunte er +å ¿ +istrib uted +li o +Ġproduct ivity +_com m +S pring +n is +. weight +ĠC ancer +Al loc +ĠT weet +Ġsepar ately +ĉ check +_p roperties +. Unit +8 29 +_CL K +Ġg t +Ġ( );ĊĊ +Ġhand y +8 34 +ĠThom pson +Ġunn ecessary +ĠRe ader +89 4 +G N += request +ĠU tility +.Re pository +ĠA x +hy dr +79 1 +ie u +Ġth y +Ġl t +_m ail +ä¿® æĶ¹ +ail and +ĠPhil ip +Ġbit ter +Ġbet ting +8 37 +Ġtim ed +ock s +07 6 +' a +Ġal gorithms +Ġre interpret +Ġto ss +ro gen +Ġhop ed +( selected +Ġvent ure +TE X +ĠLe ave +.Sub string +Ġgr ateful +7 43 +uk a +ĠCon sumer +Ġag greg +C ircle +ภģ +_block s +Ġleg ally +Ġ" | +ãĥ ĥ +. board +.A b +Function s +rec ipe +è ĩ +ĠO xford +Ġwho les +.B uild +_ch anged +h ai +Ġdepart ments +9 64 +I mp +Ġcoal ition +IN FRINGEMENT +Ġemp ower +itch es +N orth +Ġinfl amm +ON SE +Ġmiss ile +ĠR aj +ĠIss ue +Ġat oi +ca led +.Cont rollers +ĠW olf +Ġcrush ers +á» ĩ +.A uth +.add Attribute +h is +Ġbo ots +.c lean +c amp +Ġten ant +Ġt une +Ġ{} '. +Ġwork out +Re po +Ġpartial ly +MI SSION +j amin +ĠS B +Ġdetermin ation +Ġ' ');Ċ +ĠB eng +Ġv os +Ġin hab +/ lang +s burgh +Exec utor +h one +ĠCh allenge +_link s +.Le vel +Ġunder ground +-c ode +95 9 +Ġoptim ization +log ging +_de st +Ġsn ake +Ġchemical s +_IMPORT ED +ado op +ĠTH AT +man aged +Ġredu ces +ĠRE AL +ĠG uy +_GENER IC +/ ******************************** +. amount +Ġd ere +get Time +Ġp ant +an onymous +Ġharmon y +ĠAl an +Ġscen arios +Ġd irt +ht ags +M c +Sh ell +r in +{ čĊčĊ +.p ow +ĉ client +Ġconspir acy +Ġad mission +ĠReg ional +ĠView Controller +ĠPhilipp ines +Ġde pos +Ġp ap +96 2 +ĠP ad +P aul +.Com boBox +Ġt utor +ĠRec ipe +w riting +Ġcontrib utor +OT H +Sm all +V I +Ġh acer +e qu +ĠEx amples +h uman +.m essages +ĉt yp +Ġ( čĊ +ĠS SL +LE N +ĠRom ney +( grid +ĉ min +Ġ> ĊĊ +Ġfr uits +Ġvot er +In line +pan e +ĠC ollections +char set +Ġsp am +z b +item ap +Ġsucceed ed +_C OL +Ġel apsed +im eter +Ġrecover ed +T ensor +hatt an +.set up +ist o +( head +9 77 +ĠS IZE +Ġtact ics +Ġdist ur +Ġpre val +ici os +( Value +_c ols +ĠF at +Ġse al +Ġs ons +Ġens ures +09 5 +Ġpress ing += & +igen ous +Ġharass ment +_ JSON +Ġign or +yn omial +om er +_st atic +Ġsignific ance +Ġcirc les +_S ystem +Ġdiscipl ine +Ġdress ed +Ġs phere +9 27 +Ġclim b +75 9 +_ actions +ĠB ab +Ġ' =', +_s chema +" use +Ġund ers +Ġc ups +.s creen +/ new +Ġappe aring +T OP +vis ed +cl ang +Ġinvestig ators +Ġmyster ious +Ġprom ising +Ġqual ify +Ġc ave +Ġequ ip += x +G T +( link +. velocity +. erase +ot er +++++ ++++ +pro fit +Ġz ones +_ uid +- ser +Ġobject ives +Ġmil f +web kit +(m atch +ne h +ĠAssoci ated +ĠT odo += d +0 65 +C am +Ġv ocal +Ġs udo +( EX +Ġtr ou +AB C +.b ean +ĠG round +ĠRE ST +we ets +In g +im on +9 46 +_b us +ĠC OLOR +un to +Ġf oss +ĠLink s +8 69 +ä ng +/ forms +pr ises +Ġachie vement +C ALL +ел ÑĮ +ĠVer ify +_S OURCE +apt cha +ID D +_re ference +G old +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĊ +9 47 +Re ceiver +0 99 +Ġa j +_d irection +} ] +ĠCom pet +Ġb ang +7 98 +ĠC ass +- url +te chn +ĠJer usalem +long itude +' );čĊčĊ +Ġwin ners +T asks +ĠD MA +Ġtool tip +İ · +ĠB ra +_d uration +cur y +parent s +---- >( +ĠK ir +Ġint ros +Ġsk etch +Ġsk illed +Ġim mer +Ġade quate +_re p +( header +_ like +Ġper ceived +ss h +Ġassum ing +Ġf f +_u uid +ul as +Ġdemocr atic +. entities +S eries +aph ore +Ġnew er +} ( +SE C +ai ro +Ġcomm od +Ġprivile ge +Ġde ux +ĠH op +.' / +ct ic +. ';Ċ + C +ĠWar ren +Ġoptim izer +ĠSER VICES +_ oper +get Attribute +ĠMc K +_s elf +08 4 +.r s +" )ĊĊĊ +Get Component +er ce +Ġt ous +un its +'] );čĊ +Z oom +/ E +Ġobs c +Ġfast est +on line +Ġpeace ful +ff en +Ġc argo +ĉ pr +Ġseek s +z u +07 4 +Tr im +Ġw ard +Ġver d +Ġblog s +.exception s +ĠPrem ium +ĠN etherlands +S afe +Fin ish +ĠAl bum +_A CC += this +v irtual +] > +_L ABEL +ĠN ich +_w in +ĠA aron +W P +; $ +aim s +ĠImage View +Ġend less +ER A +_DIS ABLE +Ġcancel led +- us +Ġins pection +em in +ĠG rey +- open +Ġiter ations +. owner +Ġk eras +.P assword +ĠR y +ĠIN S +A ir +ĠSe veral +.Tab Stop +ING LE +ĠH air +ĠCan vas +AA AA +Ġfl aw +ced es +.Re port +í Ĭ +ĠT ips +cript ors +.trans action +.S pring +Ġview er +Ġins ights +è¾ ĵ +ord ion +U INT +se ek +ĠA uf +ìŀ IJ +Ġstr ain +To oltip +Ġd z +ign al +ad t +Ġu c +fin ite +Ġn m +.c md +ĠMy Sql +[ data +.j ackson +.t ree +Request Param +_ agent +") ]čĊ +Ġass ass +( Constants +: ss +ĠM AN ++- +- +ĠB ottom +print s +ĠS ame +@ Autowired +sw ap +ici ón +Ġprotest ers +Ġh oney +ĠV eter +(C alendar +- ad +ĠBrook lyn +L ife +_V AR +ze ch +ĠC ALL +_C AST +ĠE lection +Ġthick ness +V ery +_IN TEGER +- dev +)) )) +ap at +oo oo +d emo +Ġparse Float +ĠR ather +ST IT +m aker +[ current +chron o +Ġch rist +ãģ ª +ĠD etail +Æ° á» +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġs ul +id ency +Q ue +Ġeleg ant +ap ons +Ġdish es +Ġinteg ers +( read +05 7 +find ViewById +ĠAm ount +ĠSk ip +Ġhab its +* )( +Ġmon sters +M AC +: end +Ġfr ank +As sembly +Ġd fs +Ġne ut +_TYP ES +e qual +loy d +( uri +Ġch i +Ġdefend ant +Ġconflic ts +Ġv il +- js +ĠPe ace +Ġmut able +) sender +ĠF ocus +å» º +Ġapprec iated +s leep +ĠR ED +C ulture +Ġdesign ers +_g enerator +c odes +/ ex +.Get Value +umb led +.scal ajs +per or +Ġveter ans +Ġ} )čĊ +Ġun fortunately +_C REATE +M ass +ĠCL AIM +ĠMe et +_s upport +B ank +() .Ċ +D ark +_LO W +ĠMin ing +ĠO wner +ier a +Client e +Ġencour aging +> S +Ġboy friend +ĠH alf +ĠA CC +A ff +_ ar +-l ife +c x +.J Button +iz ado +.z ero +.open qa +ot on +.text Content +Ġto ll +at ie +Ġball ot +- number +. Exception +ĉ params +c ircle +-m ap +Ġn ap +ĠRob ot +ĠI ch +reg istration +Am azon +roll ment +( exp +Ġt anks +ĠG ordon +Ġmach inery +Ġbas eline +æ ĭ +08 6 +Ø © +ĠCon vention +ĉ config +ook ies +m ult +Rec ords +ĠE ST +Ġgar bage +Ġcon form +id al +Ġb arg +Ġsurv ived +Ġinvestig ations +9 35 +.contains Key +---------------------------------------------------------------- ----------Ċ +ort ion +Ġhor r +_ http +Ġm ant +] ;čĊčĊ +b inary +9 48 +em pl +Ġin quiry +ĠMean while +09 8 +Ġcollect ing +.Entity Framework +", ĊĊ +ĠP ic +@ Inject +ick ness +ĠB inding +Ġcont rolling +re verse +Ġch airs +semb led +( add +Dis abled +an as +.trans late +-------- ---Ċ +Ġref lected +"] ĊĊ +Ex ternal +Ar row +Single ton +% x +Ġ Å +Ġan cest +ĠOr leans +ĉc md +Ġprohib ited +ith metic +(ch annel +_c ss +For ward +.s ocket +Ġl uc +â Ĩ +ĠFire fox +ĠM ovies +) _ +. ends +( shape +Ġde alt +Ġs aves +Ġgl ory +Ġmej or +Ġbreath ing +Ġ eller +get Data +Ġang les +Ġtool bar +Ġsp acing +05 9 +IP S +Ġflo ors +_ACT IVE +Ġsh uffle +/ shared +ĠE le +ed ish +Ġweb cam +.ex pect +il oc +ĠIn cludes +Ġtweet ed +Ġ: ) +ĠEss ay +F ix +-b etween +_ web +.con v +Ġrac ism +Ġreflect s +um m +иÑĤ е +_f ooter +/d ocs +ĠP our +Ng Module +.initial ize +pattern s +_ In +ĠAb b +* čĊ +Ġsent iment +b uff +_count s +Ġre use +ch unk +Ġim posed +Primary Key +Fore ground +Ġconsum ed +? ! +Ġd ick +Ġch ron +ĠF ern +Ġrespons ive +95 8 +Ġin sect +icult y +Ġr w +Ġal ike +Ġsub set +ĠCook ies +ĠP air +Ġt ier +IF O +av our +ĠQ U +, sizeof +Ġmerg ed +m v +it ol +yl on +Ġjump ed +. role +ens aje +R ules +Ġb rowse +An imator +Ġy oga +Ġvari ants +Ġcour tesy +ur an +p bs +else if +Al t +ĠL ane +CL K +IM ARY +_PRO PERTY +ï¼ IJ +Ġch an +Ġgrad ually +Ġsh ake +Ġbl onde +... ");Ċ +-se x +Ġgame play +ac ies +.ref resh +US B +ĠPl ot +W as +iss ippi +ĠT ensor +Ġcryptoc urrency +Ġdifficult ies +De leted +With out +_ append +_ ver +9 67 +")) čĊ +Ġhonest ly +Ġp ivot +Ġtem ps +_p s +ĠUn like +[: - +V S +_in f +Ġjun ior +Ġanim ations +Ġfile path +? {{ $ +Ġun icode +pl aces +ĠC offee +.S E +ĠP AR +(t xt +ge bra +Ġf ires +Main Window +med ium +Ġ( âĢľ +Ġl g +Ġc mp +/ base +_l ayers +_ entries +Ġadmin ister +ĠSU CH +B P +ĠScott ish +ĉčĊ ĉčĊ +gu ard +ĠStr ong +In sn +ĠC AP +as ury +ĠSE E +C lock +er ie +\ models +Ġ$ $ +ĠC ab +Ġwur de +Ġsold ier +Ġcl ips +Ġarrang ement +ĠW onder +ĠH orn +Ġsc ared +Ġc ure +m kdir +Ġal igned +ĠP ink +Ġland ed +Dim ension +Scroll Pane +.ch at +.W ith +ĠTr ain +] .Ċ +Ġth irty +Ġdur able +Ġl d +Ġlate init +Ġch arts +Ġins ult +.F atal +_ ct +Ġm asks +CLU DED +Pres ident +Ġcol ours +g ments +.at tributes +ĠF lex +ĠC lock +ÃŃ cul +im en +J O +ĠReg ex +_L INK +Ġc ouch +ĠIN PUT +Ġbe ating +b usiness +pre ced +. unit +ĠF el +N ever +osp el +.start swith +ĠE PA +. only +Ġprevent ing +y er +Column Name +Ġelev ation +fl u +icy cle +Ġoff line +Tool bar +Ġcompet ing +) ]. +Ġm og +Ġis Valid +As k +_ av +_l at +AN C +ĠJ oh +k ers +Ġgu ards +Ġch ains +ĠSimple DateFormat +.st atic +Ġvess el +Ġm ud +Ġst abil +Ġst ret +g m +am ation +ç ľ +-w ith +Ġro s +_P A +Ġresult ado +Ġconf idential +ĠTok yo +ĉ using +ĠMath f +omb ine +ĠESP N +Ġdeal ers +Ġdismiss ed +TR Y +Ġte ens +rec ords +Ġw ings +g allery +account s +_L IB +Ġj acket +ĠNS Object +Ġst ones +ĠDel ivery +ĠD iet +/w atch +Ġto ilet +ĠG uest +.d ay +06 7 +Ġint val +08 7 +Vis it +Ġinvestig ated +Ġpent ru +ĠThe atre +andid ates +L ang +ĠS erv +Ġcont rollers +Ġset Title +N P +am y +fl at +( ui +06 9 +_d ocument +è ĥ½ +ĠC oin +ĠAd ams +pt ic +Ġproduct ive +Ġaccompl ished +čĊčĊ čĊčĊ +Ġdefer red +ient es +Ġs inc +ol ars +Right arrow +Ġvari ations +( offset +95 7 +.Layout Inflater +Ġsus pend +Ġprevent ion +_pr ivate +_ js +âĺ ħ +Ġw ieder +at um +Ĵ Į +Ġappear ances +.D ocument +Ġvalid ates +cal endar +} ";Ċ +.d emo +con ut +Ġcorre ction +ĠDe al +Ġbatter ies +.d uration +, \ +_m arker +m ulti +Ġh alt +Ġc ms +Ġsh aped +B ro +re duce +Ġ #### +CT OR +ĠBen ef +Ġicon ic +Ġp iano +Ġeffect iveness +| .Ċ +Ġa jax +Ġv olumes +ภ¡ +Ġcl js +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠ Ċ +ath s +ra its +å¤ § +Ñ ĸ +_m ult +Ġfasc inating +A verage +Ġpr é +ĠChair man +.find Element +_p in +Ġcomp aring +Ġdark ness +-F i +- server +Ġselect ing +ster dam +ĠPart s +FORM ATION +Ġnot ing +Ġp ile +og s +Ġpa lette +_d o +it ize +07 9 +() ( +Ġdef ining +Ġremain der +Un its +_T ASK +Http Client +S ocial +Ġfund ra +N R +ch est +C urrency +.ad apter +Ġd op +un ting +ANG UAGE +" He +ĉ index +_p ackage +.I con +Ġrep et +m ass +=" .$ +ĠS ud +Ġl id +pro vince +ì ľ +G PIO +Ð ļ +ĠMy SQL +Ġdoc s +ĠG A +Ġip sum +K ernel +Ġaccept s +Ġfit ting +Ġcu ando +Ġd uplic +ĠBro ther +ĠK le +num s +Ġmor ph +Ġ ######## +ĠCG Point +< unsigned +ä¾ ĭ +ĠD uke +.set Bounds +q s +or ic +j er +Ġregard ed +Http Request +Ġbond s +Ġthorough ly +enc ent +Ġhighlight ed +Ġac res +Ġwork place +ĠL ux +Ġqu ot +98 6 +.in flate +Ġdocument ed +Ġadd iction +Ġmut ation +.c ity +Ġbott les +ĠRepos itory +on n +err no +ARI ABLE +åº ¦ +_B EGIN +gl as +' })Ċ +ĠMass age +ĠWh it +reg ex +W A +Ġout let +- head +Ġexp ired +ĠTh ai +/ include +grad ient +scan f +Ġse am +w al +ĉb uf +B earer +Ġprec ious +if acts +co ord +Ġexpl oration +.get Y +(h andle +Top ic +ĠV ent +r hs +---- --Ċ +ĠB right +Ġg uild +m other +st orm +Ġmunicip al +Ġin k +.T YPE +w l +... manual +ĠTechn ical +Ġcorpor ation +ĠH W +ank a +T AIL +ist as +Ġperform s +ĠBeh avior +.F or +_ ORDER +ĠK ick +Ġcallback s +_d r +ue go +h ub +uff icient +sk y +Ġb p +ht able +ĠON LY +ĠAUTH ORS +.Arg ument +" };Ċ +ĠTh under +ĠK om +.Sh ould +A UTH +ah u +_p ayment +Ġst arter +ìĦ ľ +ìļ © +B log +.p atch +Ġgovern ed +ass y +-f ound +Ġthe ater +ĠFont Weight +ĠBat man +" If +.R andom +_d elta +ĠC E +Auth enticated +Ġdr one +Ġc ous +r adius +M er +( None +ĠN J +_ headers +Ġam er +py test +ĠA ctions +ĉĉĉ ĠĠĠĠ +Ġet t +Ġh oly +Ġun comfort +ĠN in +ĠDec imal +ĠM essages +.s ender +] ])Ċ +Ġembr ace +Th ough +/ sp +Ġcult ures +Ġhigh way +t ar +.f ail +_h idden +ĠcomponentDid Mount +ĠW right +Ġj ag +_ il +../../ ../ +ig u +F ood +Ġa ce +Ġa ños +US D +Ġmut ual +Log ic +Ġtem ple +Ġbrief ly +ĠT rip +class method +default s +Ġch unks +,, ,, +ĠRe ason +$ id +-up s +Ġdam n +Ġtruck s +Ġun limited +Ġsc ulpt +ĠC ards +Ġaut or +ĠTest ing +Ġdies e +sh ops +ç ´ +(p ayload +ĠP ATH +ĠMem orial +Ġridic ulous +eg ree +-w inning +Ġre hab +Ġsophistic ated +wp db +ĉ path +! ";Ċ +_S YS +.s peed +Ġso ap +s uffix +W rap +Ġenh ancement +à ī +ú b +Ġplay list +Ġmix ing +ant idad +=" ";Ċ +ĠRev ision +ĠBe at +.in c +-w ay +enc ias +ul ers +C at +id el +ĠSh ip +.set Color +Ġthreat ening +.mod ules +Ġafter wards +ĠD ashboard +Ċ ĠĊ +Sign al +Ġpr imer +orne ys +ici ary +Ġl igne +_p redict +Ġa est +_ https +> : +ĠL ex +Ġrencont res +eg ral +sc ala +_f amily +ÃŁ en +_s ym +Ġuncert ainty +ĠVAL UE +Ġ} ;čĊčĊ +Ġbro ader +Ġh orses +ãģ Ŀ +ĠK al +ob a +_IN ET +ĠK ill +j query +am ination +[ @" +Ġm uj +## #Ċ +First OrDefault +then Return +C he +/ footer +Ġpark s +as je +ĠG ulf +Ġmod est +. Init +ï¼Ł ĊĊ +Ġpros pects +Ġs vg +Ġå ı +.D ialog +_N ET +Ġ( ($ +Ġe k +ĠW arning +ĠM K +< LM +Ġ' čĊ +i em +h etic +Ġi x +th ink +-sh adow +ĠE ld +ĠNev ada +ĠLe af +ĠG ROUP +Ġprom o +ent ine +ĉ Map +ĠModel s +ĠK rist +_k ernel +-m ade +Ġc err +As sets +ell ar +Ġinv oked +.v ue +Ġcult iv +C losed +Ġgener ates +ffff ff +thes ize +s qrt +ĠCast le +.c ar +Ġke en +und a +ĠC row +ĠSing h +y thon +Ġbe ans +l arg +æĸĩ 件 +Aw esome +unc ate +Path s +o ji +(c urr +CON DS +Ġm im +Ġshould ers +H ard +ast es +а еÑĤ +Ġconv ince +de cess +m ade +ĠC MD +. Im +Ġcha os +ens ively +Ġcool ing +Ġbur ied +(' @ +_S e +ĉĉĉĉĉĉĉĉ ĉĉĉĉĉĉĉĉ +.com pany +.sub mit +ph ant +Ġboot strap +_h elp +à § +.d ump +Ġdif er +_m apping +Ġcirc ular +Ġescort s +Ġb ere +Ġgrad u +ĠLeg end +im edia +ĠBar celona +Ġbed s +åĪ ° +ãĢ Ĭ +_v olume +Ġtremend ous +Ġsc aling +Ġp ins +en as +type param +D ashboard +render er +Ġsp i +Ġ& $ +ĠSk in +alm art +Ġh ockey +Ġ'" .$ +Ġerr no +Ġb ew +Follow ing +.M odule +er able +ĠM ilitary +ĠR io +_ available +ĠSur face +Ġst ab +IF IER +ĠL IST +Ġd ashboard +Ġcl usters +.pl ugin +Ġj ou +ĠDec or +F our +Ġdel le +****** /Ċ +ia z +in de +ch ing +Ġget Item +.Add ress +ment ed +A meric +Pl ain +Ġus b +ĠPract ice +_ ment +.bl ue +H int +ÑĢаР² +Ġconn ector +Ġinher ited +и в +Ġinterval s +Ġc ere +Ġu d +Ġin con +.Ex ists +ĠM ic +F K +(c ard +.Set tings +Ġexhib ition +Ġon Pressed +Ġrest ored +eng u +. def +Ġrec v +." );čĊ +enc oder +ather ine +( dest +az ed +# endregion +sem bl +, M +ob y +Ġп еÑĢ +.C all +Ġattend ance +-b order +Ġaddress ing +ê n +ĠLe v +Ġb ash +ben ch +C redentials +Sp acing +( of +_RE SET +ig uous +Ġcr uel +Ġcross ed +Ġle ur +ĠG olf +or rect +Ġpack ets +ĠData Set +Ġpart ly +SEQU ENTIAL +Ġindic ation +ĠS alt +ac ia +Ġ* );Ċ +ĉ info +ĠView Bag +on z +Ġeditor ial +ĠA rena +Ġs ir +_ Static +( socket +s u +cho ose +.m onth +.M y +09 6 +é ri +; font +do es +Ġcon verter +Ġsal v +Ġl r +Ġinflu enced +(f eature +ĠQue ens +let t +_M ON +& amp +Touch ableOpacity +O FF +Ġmetab ol +( iter +Ġvit amin +ĠIND IRECT +aut om +_p ublic +Ġadjust ment +Ġspecial ized +w indows +.add All +Ġaccording ly +ĠJ OptionPane +Ġcell spacing +Ġqu ad +Ġcre ep +Ġout lets +}` )Ċ +Ġpri est +_TH READ +ĠMar x +ĠBy Val +Ġc ual +éĿ ¢ +Ġtempor arily +An n +ke leton +å ¥ +ĠLO C +au er +der ive +Ġbeh aviors +as ename +ĠCent ury +Ġhor rible +ME SS +_ List +we i +P at +ĠCh oice +_F ROM +ĉ line +.in voke +.B ottom +Ġnow here +." ĊĊĊĊ +_ export +Ġstrugg led +.Ap pearance +ĠJ Button +ĠJer emy +([ [ +Ġkick ed +mar shal +st aff +es ity +Ġqu iz +_e ffect +Ġ} ));ĊĊ +m el +b anner +ĠP IN +Ġin vention +Ġcons olid +Ġop s +ĠB etween +j ack +ern ational +Ġsacr ifice +ag ation +ĠJ oy +Ġam endment +ĠS old +Ġprison ers +ан нÑĭ +Doc uments +) ])Ċ +ust ed +ĠLine arLayout +os o +_E M +.s elf +.M iddle +) // +Ġ\ ' +Ġfuck ed +ĠM urray +Ġprof ound +_E LEMENT +ult a +il ers +port folio +J une +t cp +mod ified +ĠTr ace +ĠK el +aly zer +) => +ĠRep air +_B E +Br and +u art +pre view +Ġiniti atives +run ning +b ang +ĉ update +ĠCo ach +R ich +Ġy outube +Ġrit ual +app a +ĠRobin son +prec ision +//////////////////////////////////////////////////////////////// //////////// +=[ ]Ċ +Ġcelebr ated +OT O +Ġin clusion +J P +' ;čĊčĊ +Ġnot able +(_ . +Man aged +Ġgu ides +& nbsp +ated Route +ĠAd just +Ġcol ored +_s cores +ĠTes la +_pro gress +.in st +[' _ +.fl ags +Ġf close +_O PER +ż y +_n ote +Ġtrans gender +å ķ +RI PT +Ġabs ent +Ġam et +Ġoper and +ë © +Ġh ood +to LowerCase +av o +ĠCirc uit +ĠL ind +-- }}Ċ += m +Ġsup press +ĠM AP +i ang +- admin +Ġside bar +ĠB u +ĠH ex +, F +ĠSign al +Ġtrans parency +ĠFeder ation +/ V +Re q +Ġpul se +Ġt ends +Num bers +% ' +Ġde port +dat as +_U INT +_ tra +ok o +Ġ" ? +comp et +sole te +und ry +Ġover lap +}` ,Ċ +. ly +_sum mary +ĠL ost +.C enter +Ġdis ability +.Serial ization +Ġge om +Ġ? : +ĠW o +Ġsh ipped +Ĥ æķ° +Ġu gly +Ġexcit ement +Ġext erior +Ġcheck out +Ġk ur +, D +ĠAl aska +Ġsyn thetic +ĠB udget +ĠSub scribe +Ġ& Ċ +ÈĻ i +ĠY u +ĉ query +} .Ċ +Ġtr aged +ass en +Ġaccommod ation +Ġphys ician +Ġren amed +Ġtid ak +z Äħ +Ġmin us +ny ch +09 7 +_EX CEPTION +thread s +Ġt ire +_c reated +ens ure +Ġworth y +Ġexc use +Ġclo th +.parent Node +/pl atform +ĠU FC +ĠG tk +un ny +Ġg ibt +ke ley +h um +(t x +ĉ dev +Ġout fit +do ors +Ġf on +ic ut +vol atile +Ġhom osex +Max imum +Ġexp end +Ġ});ĊĊ Ċ +E q +ond ers +dep artment +ĠPhys ics +" });Ċ +Ġpar ad +.S tr +Ġse le +IF IED +Ġdel ivers +iv an +Ġrespons ibilities +Ġadvoc ates +è µ +ĠR ID +.param eters +M etrics +ron ics +ĠUITableView Cell +A bsolute +ip se +yl um +MLE lement +_VAL ID +< title +D lg +p aces +Ġsynd rome +be ans +_d atabase +oz illa +ĠM eg +DB G +Ġl ub +Bag Constraints +ab ad +Ġproject ed +_BY TE +.Size F +st reet +ĊĊĊĊ ĊĊĊĊĊĊ +ĠLO SS +Ġdirect ors +/ news +Ġnurs ing +ĠD one +. HTTP +dis count +ĠR ot +To Many +Ġen abling +Ġauss i +ost a +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ čĊ +è½ ½ +Ġhel icopt +ĠIn side +ä¿¡ æģ¯ +is per +ĠAll ah +ARCH AR +Ġroll s +Com pare +X P +Index Of +S UM +Ġass ured +ĠPhys ical +End point +.G lobal +.d etail +Ġthe ft +.j upiter +Ġhum or +.R ender +A lex +.c ap +Ġbuff ers +Ġdis pose +t ion +.p resent +z el +, P +Ġdesper ate +.get Column +Ġtw in +ì ĸ +.c an +Ġf lee +ĠIran ian +Ġstick y +ĠU TC +L T +//////////////////////////////// //////////////// +Ġl icensing +_PO INT +ĠM aps +Ġl ol += models +-t ab +ĠN ash +_log ger +tor ch +ĠCON SEQUENTIAL +Not Empty +/ react +Ġp f +Ġassert ion +Ġsubsequ ently +_c an +Ġpand emic +og ue +"+ Ċ +_ ent +_P aram +.ĊĊ ĊĊĊĊĊĊ +Res earch +C apture +Ġbel oved +d em +Ġextract ed +Ġf ights +ER C +(a uth +position s +Ġrevers ed +(st ack +Ġ_ ) +uto ff +_fl ow +ç Ĥ¹ +( Game +Ġex cluded +ĠCS V +c g +ĠT itan +p ause +Ġcer ca +Ġdump ster +L ess +Ġkotlin x +aster xml +Ġpoint ers +Ġfl ows +ĠT un +ĠMain Activity +Ġdis cret +Ġcomb inations +vis it +_b ind +oot ing +d ater +_look up +.n io +Ġswe at +ĠR d +Ġscient ist +ĠP ixel +@ NgModule +Play ing +Ġunf old +Trans late +ĠLaw rence +ĠFIX ME +B ill +ĠR IGHT +Ġwhere ver +Ġo ok +vid ence +Ġ] ]; +ĠSk ill +unist d +ĠðŁ ĻĤ +Ġfem ales +-- )Ċ +İ· åıĸ +ĠF red +Over all +Ù Ĥ +Ġess ence +Ġthere by +Ġw ounded +ĠD OWN +les son +text ure +R ound +Ġautom ated +ĠÐ ¡ +ĠUp dates +Ġsh ade +p ublish +ĠG ear += lambda +Ġle ver +) +" +h ill +Ġrad ar +ry ing +Ġ" ). +f illed +Ġline up +Ġd l +Ġworks pace +V o +_d t +ë ² +_ Item +NS URL +. verify +ĠHawai i +G od +M arch +Ġ[âĢ¦ ] +Ġpel o +ur ious +ĠPitt sburgh +. It +C lean +> \<^ +Ġi os +s ound +"] ; +Ġfre ed +rot tle +ĠL ower +[ count +å Ŀ +Ġp ale +ĠWay ne +ear th +_c ategories +U CK +.m etadata +Ġsum mon +H OME +олÑĮ з +Ġmanufact ured +Ġdo ck +Ġcompet itors +_MODE L +ok ia +ĠH ey +Î ¿ +Ġback ward +ĠPO SS +rop a +Ġc ri +_O BJ +Trans port +-h igh +Ġerot ik +_s lot +Ġart ic +_f ramework +-ser if +ĠSql DbType +') ( ++ "/ +Ġw ore +S il +Ġst oring +ĠPh ase +u ant +Ġb ump +in ho +Ġd ign +Ġback s +q q +(h ash +Ġge o +Ġt ender +Log o +! )Ċ +ĠM X +ĠAr thur +esso a +_C h +Ġbed rooms +="# ">< +Ġth roat +ins ic +.int eger +Ġpr imitive +Truth y +Ġfacilit ate +Ġcreat ivity +ĠD NS +Ġg ra +ue z +Ġcount less +ĠPol and +' M +ĠD ist +Ġv est +Ġcert ification +á» ij +h eld +ext ensions +( static +Ġgr ades +ĠU ber +ãģ Ł +Ġ[ ])Ċ +dat os +Ġget Data +ĠCh arg +ĠB S +.m icrosoft +.v ideo +.d irection +->{ ' +l ua +ape st +Ġbo iler +ere k +Ġdec ides +.j ar +IS C +ĠW ords +(C ON +EMPL ATE +ree ze +sh ots +app s +unt ed +.set Name +:: < +-b old +ê ² +å¯ Ĩ +Long rightarrow +Ġunf air +Ġear ning +Ġsh elf +URE MENT +Ġid le +_M ENU +.C ustom +AG ER +- " +_s witch +b ecause +) view +m are +_ condition +ĠStart ing +M vc +(p re +d ump +_LO CK +at etime +.c allback +ĠC er +op ol +ib rary +Ġres ervation +ĉĉĉĉĉĉĉ Ċ +lect or +grad uate +Ġgener ous +Ġ ion +ric ao +m q +_com plete +(c ursor +ĠForm Control +: center +Ġsub stitute +ĠPl anning +Ġp ension +Ġrecommend ation +ĠT ags +Ġg ef +Ġalbum s +Ġwash ing +ro c +Ġtr ains +at ings +Ġex ponent +ack bar +- ln +á g +.Data Annotations +ĠE IF +ĠMalays ia +ĉ PORT +on us +Ġcle ver +Ġpe u +> ĊĊĊĊ +ĠArg uments +Ġdebug ging +( right +' D +com pute +Ġfin est +OR AGE +Ġspect acular +ph rase +Ġind ia +Ġlegend ary +b irth +Ġcom posite +Ġg rows +ĠT D +Ġep id +Ġlaunch ing +] ][ +Min utes +ĠCh a +Ġclean ed +Ġwitness es +uk an +ĉ Type +Ġhab e +par agraph +ĠJ Panel +ĠH ann +Ġvar ied +ĠP okemon +ĠM UST +åĬ ¨ +.vis ibility +op up +^ [ +.exp and +Ġ" ', +.f asterxml +_ auto +ĠShe et +mark er +Par cel +ew s +ĠStr ategy +-m aking +Ġun ve +Ġtrail ing +Ġclick s +ĠGet Component +ĉ content +IG ENCE +ERN EL +NSMutable Array +Ġb reat +Ġharm ful +¶ Ī +Ġbes ides +Ġb oring +Ġbrut al +v ang +(p arse +qu ick +Ġpy test +Ġswitch ing +() ]Ċ +Ġì Ħ +L ER +ĉf ont +Ġnet t +) ]ĊĊ +(/ \ +æŀ ľ +to Array +Ġbre ed +ĠC AR +ĠWe apon +A bs +t ot +Ġset Name +apt ive +Ġ: , +Ġesc aped +ord en +ĠP ri +th umbnail +Ġdescri ptions +/ styles +ĠPC I +Ġal phabet +astic search +NOT E +Ġc ialis +ĠGr iff +Ġpor que +Ġprote ins +pl ays +Ġst ating +Ġimag ination +Ġfac ial +ĠMe chan +Ġarr anged +_ used +Ġarrang ements +ĠP ipe +host name +Ġprov inc +T it +.Flat Style +ĠS plit +ĠLo ader +.c c +Ġclin ic +---------------- ------------ +Ġb aking +ĠEN T +ne ath +ãĢģ ĊĊ +AN E +.EntityFramework Core +app ers +. ic +ĠNg Module +ĠF ORM +Ġ' ; +-pro fit +h w +en emy +ĠE ye +Ġca ution +t own +Ġur ged +ĠJim my +ynchron ous +-s ized +m aking +, { +] ', +_ Object +ah oma +Ġactiv ist +IN VAL +ĠCom mercial +ĠOr lando +(t ab +ĠØ ¨ +Al gorithm +Ġher itage +Get Mapping +Ġfail ures +ri os +at iva +Ġt et +Ġcar pet +( Z +th ree +Ġdisc losure +. ERROR +_c alled +Ġd ial +Ġoccas ional +.E rr +Ġfunc ion +caff old +Ġrele asing +ï¼ī ĊĊ +_ Value +ĠV ari +y ellow +Ġstrugg les +.c al +ĠDak ota +ĉc lose +Ġsand wich +Ġanaly tics +Ġ** ) +& # +ĠJ os +Ġpass ive +AT TR +Th rowable +ĠM un +ĠU int +(dis posing +ar ak +ĠLe aders +Ġaffect ing +Ġitem View +Ġeconom ics +f v +๠Ģ +.r b +ĠOver all +Ġwealth y +Ġev olved +nd a +ĠH us +re strict +um en +ĠA gricult +! ĊĊĊ +Ġexp ires +Ġspokes person +int erval +Ġà ¢ +Ġque en +(n il +ing o +He ap +Ù İ +Ġcompl ain +S ym +ĠCl one +ĠR u +ĠW ILL +ĠCr ystal +/ content +ing en +oint ment +Last Name +av icon +ĠIB M +ĠDim ension +an h +icip ants +ĠAn ne +.pro gress +Ġal go +ob il +ĠV oice +ĠF E +Ġg li +Ġv ed +Ġprevent s +\ Column +Ġfol k +ett i +Ġm n +ĠCL ASS +Ġdisplay ing +ĠK l +ĠF err +d uto +. ib +Ġd ados +' name +-s pace +Ġit alian +Ġin verse +Ġd ense +ut er +ĠI Enumerator +-s ign +Ġnation wide +Ġperson a +Ġsol ved +Ġdram atically +Log out +Ġgr av +Ġanalys es +ol lo +Ġl amp +. team +ĠE rot += [" +Ġd ancing +Ġ?> / +Ġc ater +ff e +ĠSh a +ĠB os +ĠRE QUIRE +ĠMon ster +ĠR B +ĠI DE +Ġsu its +Ġform Data +( theta +Ġsp atial += NULL +ĠSql Connection +Ġ à +ĠV enez +ĠMor ning +Ġpublic ations +ĠNON INFRINGEMENT +first Name +ud s +W ould +_HE AD +Ġinvest ed +st able +f red +Ġcommand er +SE S +âĢĶ a +an che +ĠM ovement +ë ³ +S uite +Ġjur isdiction +ë¦ ¬ +ĠB eth +j Query +ĠIs a +Ġd ental +, * +ĠL imit +ili ation +=" { +b ast +Ġt urb +is y +O OK +Ġadvoc ate +im ag +LE CTION +л ÑĮ +(c ategory +.de c +Ġun iqu +_s n +Ġattract ed +Ġà ī +ĠRun ning +_ edges +ĠDis able +_A S +åĽ ¾ +Ġnetwork ing +_br anch +H aving +toBe Truthy +G I +Ġcamp s +se p +-p art +Ġ)ĊĊ ĊĊĊĊĊĊ +ustral ia +ĠRe ports +rit o +Ġwa ist +_pl us +ĠW W +-p erson +Apr il +Ġs ar +.t ar +Ġagricult ural +t ic +Ġt cp +Ġset Value +agent o +ĠAp pe +p iler +CA DE +Ġan che +atch er +Ġcom ics +Ġl bs +_se gment +'] =$ +itt ers +ich er +G INE +Ġutil ize +ĠC ursor +_ex pression +Ġd ag +< long +Ġr hyth +æı IJ +Ġconsult ation +Y et +")) ĊĊ +_M AC +c ould +Ġ' \\ +ĠV o +ĉ http +Ġg s +ph er +- grid +J ames +J ul +Ġsch on +Ġtensor flow +ĠLOG GER +am as +Ġsc ipy +Ġconv iction +. ag +Ġadministr ator +)) {čĊ +Ġn un +" group +P or +Ġnur se +ex pression +ak y +ĠHe avy +. opt +.get All +Ġover l +/ ", +_c ountry +ç İ +ĠG ENER +_r oute +ĠD al + ´ +ol oad +Ġuncomfort able +(m enu +Ġhost name +' ");Ċ +Ġcalcul ations +-c lick +Ġprotect ive +ãĤ ¯ +_F orm +ung s +Act ual +m f +ĠProcess ing +ĠIn ventory +(m atrix +app ropriate +w eg +ij a +Ġch r +Ġr ifle +-w sj +k ar +Ġindepend ently +I OS +Ġconsist ency +v n +/s ystem +ĠCh anges +Ġexp ose +ici ents +Ġrel ate +ĉ next +è ¨ +ud es +Ġglass es +F XML +.... .. +ĠP df +Ġappro ve +Ġ{ \ +Ġexist e +)) ( +ARE NT +оР¿ +ĠL atest +ĠNiger ia +.Inter faces +Ġrem oves +En emy +Ġen force +vert s +ĉ pos +_text ure +W ARD +ĠINC IDENT +( container +Ġdef ending +ĠR X +ĠH ook +br is +ĠFl ask +Gr ay +. )Ċ +vis ibility +ĠRedirectTo Action +err al +_e lem +Ġres on +front end +_variable s +ater ia +Ġ+ " +ave led +RI X +Ġdef icit +_C heck +YY YY +To One +sp y +Ġun ited +end ent +Ġp ode +ãģ Į +C AT +(f mt +ĠBon us +Ġre ck + º +Mod ules +Ġvac uum +R adio +ĠDAM AGE +P en +ĠPark er +; ;Ċ +ĠRe ally +_n eg +p ending +Ġnomine e +ĠC ategories +ĠUl tra +We apon +Ġdef ender +I ss +ĠG ender +ĠD ress +Ġimpr ison +Ġbank rupt +imension al +PH A +ĠStr ateg +ĠPROF ITS +Ġp atri +//////////////////////////////////////////////////////////////// //////////////// +de legate +Ġfor State +Ġdev oted +_m ake +Ġterror ists +ĠS nap +_n av +ĠA A +ĠI an +ĉ app +Pl acement +_h dr +< K +Ġs ang +st roke +- Q +> x +.T ask +m oney +ib aba +' });Ċ +ĠSpec ific +ĠLine ar +_O PT +Hash Code +( Player +.Contains Key +Ġcoll apsed +trans parent +_R ANGE +View er +(c fg +Ġsort ing +Ġinf ected +ĠN ach +Ġaccommod ate +.element s +_P ART +ĠSex y += get +( year +Ġx hr +: ] +ows ki +Ġsum mar +Ġ ¿ +Ġint e +Ġwork flow +ĠTai wan +vers ions +åı ij +Ġsurprising ly +Ġopt ical +Ġpro ces +Ġdisag ree +Ġnue vo +ĠC AM +sort ed +le ases +ist le +Id ent +ĉ event +ject ed +Ch unk +V ars +.pro vider +Ġproceed ings +Ġin clusive +Ġart work +end ants +ï¼ļ Ċ +se en +Ġl ig +Ġm akers +_f un +Ġlength s +Path Variable +[ item +ภµ +De ad +FFFF FF +ĠUr ban +up les +ich en +(null ptr +.s pec +, System +UR ATION +(j ob +å¼ ı +Ġtrack er +Å Ļ +ĠM R +ĠSQL ite +Ġd to +Ġ; ;Ċ +Ġm int +ĠInt roduction +ca o +Ġquestion ed +Ġf itted +rev ision +s q +Ġm ig +_un its +_ async +Ġf lick +});ĊĊ Ċ +Ġnot re +}` , +F ilters +Ġm undo +_d ays +Ġfr m +ut c +Ġval s +ew idth +ĠGener ator +ĠArt ist +ĠID s +ĠArt icles +re ater +ĠComponent Fixture +. = +Ġr ou +- no +.b ukkit +eg g +ĠD iff +atic s +Ñĥ Ñĩ +âĢĶ ĊĊ +ĠChar lotte +by e +Ġ} );čĊčĊ +ĠV ik +ĠB row +Ġl v +ĠG ib +-w ing +GL IGENCE +(I l +ĠEngine er +.W ait +ĠP ictures +Ġr het +Ġth ermal +Ġpr aise +< >();ĊĊ +ĠSp ider +P ause +ĠB aker +Ġsl ower +Ġ} ]Ċ +_en queue +Ġdisappe ared +ĠT icket +IN UX +_LOC AL +аÑģ Ñģ +@Inject able +comm unity +Gesture Recognizer +åĽ ½ +Ġsca les +Ġ- ( +/ '+ +ĠS it +Ġexecut ives +ard ing +Ġad vers +Ġback wards +ĉ context +ĠH amp +ĠP F +ĠDe ck +ĠCra ig +A merican +Ġb ell +Ġpro l +uf en +Ġr ng +ar shal +ĠSim ply +first name +sh ore +J uly +Ġmort ality +ĠâĨĴ ĊĊ +Help ers +Ġbench mark +em ade +Ġorganis ations +.g son +ĠText Field +Ġciv ilians +.Array s +ĠMiss issippi +Ġinter mediate +get User +_cl uster +Rel ative +fore ign +.querySelector All +Fore ignKey +Ġreason ably +-------- -Ċ +C ards +ĠK am +ĠTh or +Ġroll er +-e lement +ĠC urrency +dd ie +ALL Y +ĠR A +Ġper met +aa aa +Ġhom ework +ĠV it +Ġm old +ĠF er +[ start +Ġstatist ical +Ġsc ary +_H OME +.B egin +Con struct +ogen ic +ĠDEAL INGS +Ġtamb ién +ix on +. ind +ac re +Ġtransform s +ĠN ap +.B lock +uss ia +pir ation +ul ent +Ġce il +Cl ause +na ire +T ES +Ġne at +ST D +ĠReg Exp +per form +: ) +Ġun ions +Ġs ublic +Ġw inds +lo ating +g lich +Ġp agination +S kill +App ly +ĠOper ator +ist ogram +Ġqual ities +C ross +Ġde com +], " +ĠJ uan +.mod al +.Ch ild +ĠRog er +STIT UTE +:CGRect Make +a lette +Ġst a +as ide +Ġbl ur +ĠW a +if etime +re ed +control s +Ġb ins +Ġп ол +*/ ,Ċ +U IS +ĠR ou +ĠDem o +- awesome +ĠCh ain +Ġh asta +ĠB art +. KEY +Ġvend ors +nof ollow +ĠD est +_b uilder +Ġarg ues +_ answer +g oto +ĠRES ULT +ĠM ON +Ġp oder +o ons +_C ASE +Ġrep lic +Ġfin ancing +ĠD ATE +c ern +_tr ack +t ies +/ logo +ĠNE GLIGENCE +get Type +> T +b et +g irl +ĠINCIDENT AL +-s ite +.tr igger +ĠL isa +_input s +Ġrel atives +Logged In +Config ure +I K +. accept +Res ume +ĠD raft +Ġ* >( +ĠW A +ed ian +ern ess +ĠLayout Inflater +*/ čĊčĊ +oth y +Ġoblig ation +Sub scribe +Ġth umbnail +ex ist +Ġins isted +ĠU ICollectionView +ĠAng ular +Ġtable ts +ĠImp act +ãĢį ĊĊ +ah o +Ġcharacter istic +g d +Ġ= ================================================ +our t +` . +App ro +Co ordinate +Rem ember +Ġmar ine +] ==' +ĠAdmin istrator +.get Default +Ġforg ot +ĠStruct ure +V ue +ars ing +m oment +k w +_c ursor +Att ack +Ġath letic +Ġdiagn osed +Ġend e +åĪ łéĻ¤ +H ouse +ĠP ARAM +Ġw iki +ĠO pp +Ġcons ervation +Ġs nd +_t em +sub str +ĠC ape +.s im +UT ION +an an +âĢĻ un +Ġg y +- work +Ġcomp elling +=' # +ĉs ub +Ġdirect ories +íĬ ¸ +Ġtouch es +out ines +.C ollection +s chedule +.l at +ĠDo ctrine +CA A +ĠRe fer +Ġshift s +Ġlik elihood +pre ter +ĠF emale +Ġinter cept +Ġl ou +çĻ » +Ġr ug +ĠC rown +Ġ************************************************************************ **** +- product +Ġprompt ed +ung le +d ocker +ĠT u +ĠUn ique +_ Error +ul os +Ġâ Ħ +Ġ( ` +Get ting +_s cal +ĠEn h +ü t +Ġsust ained +Ġp atches +Ġpros per +ĠG aza +_l ight +Ġin cons +-------- Ċ +ĉĉ ĠĠĠĠĠĠ +S F +C N +: ";Ċ +ĠColl ins +( *) +Ġcomp ilation +'] čĊ +Ġcon sequence +, ... +Ġd m +ĠB LOCK +Cl uster +Ġsk i +(arg c +T uple +Ġjo ins +ĠSher iff +W ar +ind i +Ġcomment ed +H OST +Ġinv itation +apan ese +Ġperm its +preced ented +_z one +ĠA my +_R D +Min imum +Ġinv ocation +.en able +icht en +- owned +" id +_PO INTER +F ac +Ġspecific ations +Ġnom ination +Ġg p +< ( +Ġrob ots +ĠJ erry +Ġhold ers +Ġw and +c ms +Ġ} ))Ċ +.To ast +ĠI List +B ased +z oom +/ style +ĠBe ck +M en +Ġcontrib uting +Ġund o +ĠO H +Ġadd Object +Ġe igen +sign up +éĶ Ļ +Ġdist ant +PAR ATOR +ĠM ari +Ġm á +E mp +ó s +Ġì Īĺ +ev t ++ j +p ark +ĠSt ay +ĠD un +Ġso y +> % +az ines +Ġti empo +(m e +p resent +.Th is +Ġedit ors +F IELD +.W ork +ĠUn iverse +Ġdr unk +.t imer +Ġalter ed +ĠN ar +ëł ¥ +.Act ive +id or +ç Ń +.delta Time +Ġawk ward +& quot +ĠSaf ari +Ġtr icks +MENT S +div ision +Ġvary ing +ĠHigh way +Ġphotograph er +ĠSt ewart +Ġlast ing +.P re +.amazon aws +ĠL uck +.D escription +ĠN az +n eg +Ġc ó +<<" \ +ĠSur v +ĠU nc +Rec ipe +.Border Style +Ġmod ifications +- at +AT FORM +h dr +ak o +Ġsublic ense +ĠJ ump +Ġbe im +ĠMan hattan +. bool +_h w +ÑĤ ÑĮ +B in +Ġg ateway +" ": +ĠU IS +:" + +- def +ĠReg ular +/ testing +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +string stream +Ġdis par +Ġmob il +- read +ĠAd apter +ĠCh ampions +Ġsched uler +Ġk ills +ĠM ultiple +ir ror +Ġgod s +AD O +ak te +ĠUs uario +.c ircular +Ġre cept +ĠEx pr +Ġelder ly +Ġnic ely +Ġbest e +W ant +Ġclass ical +.s prite +obj c +ĠM ason +Ġsist ema +.Bl ack +es o +ĠZe it +Ġdiv id +Ġent ers +_sub ject +ĠPlan et +.w arning +ĠG ram +_t okens +Ġhousehold s +_c ustomer +user Name +c ross +Ġp ione +Ġass ists +_S M +ib o +Ġlo yal +Ġuse less +# elif +ĠUlt imate +C ome +g el +Ġd ich +xy z +ik el +ob ra +_s can +ĠInter ior +ĠN ice +Ġpl ac +ĉt arget +Ġvir al +ass o +() / +und e +ĠAd obe +O s +vis ited +ĠO W +ĠFe ed +ĠSe quence +Ġman ages +in son +ĠLouis iana +{ }) +ĠH ab +ĠL D +Ġb ip +pr ites +(e lem +.h ibernate +él é +Ġoh ne +_trans action +Ġann unci +P ublished +ĠH onda +ĠT am +ĠP acket +_ selector +Ġchalleng ed +Process ing +-h over +Ġtr ainer +_c ancel +ĠNS Dictionary +ab ric +ĠM LS +_s ensor +Ġshr ink +ĠF X +th reshold +ĉH X +-m ark +` .` +S cheme +(f ull +_w riter +ĠS ys +Ġf led +ĠC in +-w idget +ĠPre vious +G ender +_ question +Fe ed +Ġscr ut +(p refix +ãĢĤ ãĢĤ +Ġin fections +Part s +Ġhier archy +_DE LETE +ĠPat ient +_p ay +Ġprom oted +Ġì ĭ +Ġcivil ian +Ġagricult ure +ĠP iece +Ġst ance +uts che +Ass ign +.A CTION +F ig +_r adius +ĠS ync +du cer +f ailure +ens ed +pt ime +B M +_dat etime +qu ivo +QUE UE +èĢ ħ +Ap pear +Ġsum mit +: void +Ġv ine +è® ¤ +on ne +_TR ANS +.g reen +_ cc +Ġhung ry +Ġ" > +() );čĊčĊ +Ex tract +iz ens +Ġsol ver +Not ify +Ġeng lish +ĠSh opping +inter faces +RE Q +Ġil leg +ĠUI ImageView +Ġdis connect +ĠUnt il +ĠConserv ative +@ Column +Ġshift ed +Ġ: čĊ +Ġf ich +Ġd la +Ġsh oe +"), čĊ +ular ity +_RE SP +We ather +UI Application +. iterator +Ġag ing +.P arent +ow ie +(e qual +ĠCon v +/ default +Ġmeas uring +.pre v +.Is Valid +.F at +Ġs Äĥ +key words +with out +Ġso vere +Ġex changes +Ġm elt +Ġis lands +ĠInt egr +Ġjump ing +Ġg le +Ġjournal ism +Ġd ated +Local ized +ĠRef resh +Part icle +Ġa a +ĠSTR ICT +Ġb od +.Pro cess +_A UTO +ĠP ublished +e very +Ġtechn ological +ls x +Ġir rit +Add itional +Ġdel imiter +_l anguage +- area +bo ys +ĠT ube +Ġw at +Ġmechan ics +_ owner +Sp ell +ĠSt ories +.Append Line +Table View +h em +st ick +oll ower +I FF +ĠU V +oll ision +S UB +Ġcompar able +Ġdon de +s ales +ll vm +Ġ} ],Ċ +OTT OM +ĠPur pose +L ab +Ġinterview ed +o is +as il +.set Id +ĠIn struction +-- > +ĠMod ified +ation ally +ĠMe eting +è¯ ¯ +# region +Ġrout ing +.f ocus +ĠYou th +< D +ĠN ag +contact s +Ġform ing +Ġm ie +',[' ../ +ĠB P +Ġapp et +ĠTe acher +ĠT P +Ġann ually +outed EventArgs +ĠSpe aker +Ġre name +CF G +(" // +æİ ¥ +/p ages +Ġpr és +ĠSp ell +.All ow +ĠINT ERRU +Ġ( # +âĢĻ ĊĊ +_G eneric +.im show +_t im +- face +(& ( +atin um +Ġrevolution ary +ĠH ours +r ain +Ġany time +Ġab b +.j sp +Scroll View +ĠTr uth +Ġanticip ated +Ġacc ent +. checked +Ġspec ifies +Ġca f +Ġcell padding +Ġcook ed +ĠH ugh +pe ek +_R ATE +Ġd orm +/ čĊ +IV ITY +.Cont roller +(p art +.con straint +Ġinv asion +MO VE +Ġgl uc +l ename +Ġam en +eng lish +ĠSw itzerland +";ĊĊ Ċ +pe st +.col lect +N ib +ĠD ict +ĠE mb +(sub ject +Ġoutr age +Ġdec iding +Ġsent enced +F echa +" A +Ġqu er +Ġfont Family +Ġqu adr +- Y +_C ACHE +Ġanaly zed +Ġg aining +ĠAgain st +ĠSou l +ta u +Ġlight weight +ĠT F +ĠEffect s +.T ypes +.add Class +Ġv egan +é ģ +.' " +ĠExpl orer +.d etect +.sh ift +Ġoblig ations +last Name +Ġassoci ations +ĠTime Span +un ter +ĠF resh +Compat ible +P ub +id ges +. option +var i +.hash Code +Ġg eb +. section +- not +ĠSub mit +T N +reg istry +_m edia +Ġn aj +ff t +Ġm ate +-th ird +Ġp ockets +est a +Ġb ent +ĠN ord +Ġretail ers +ĠMor ris +."" "ĊĊ +W rong +Ġ ÅĽ +R ay +. ec +ĠB ind +_H AND +(n on +is Valid +Ġsimilar ly +_L IMIT +Ġdynam ics +Ġdist inction +ãģ Ĩ +< N +Ġor th +ĠToy ota +ĠK ate +ĠL S +or ie +ĠSpr ings +Ġf reak +last name +_M ULT +-st ep +" ( +AD DR +Ġentert aining +_CON F +Ġdec oded +Ġst reak +Ġwait ed +Ġnot ified +rodu ced +vis ual +.Layout Params +æ ° +es ian +f its +s pring +ĠBern ie +User Defaults +Ġped est +Ap pearance +ĠW iki +ĠNOT ICE +Ġs sh +Ġdur ante +ĠZ ip +ı r +ĠNAT O +Ġtw elve +Ġro yal +ï ¸ +Ġmer chant +ĠF urniture +'] ),Ċ +, X +Ġfold ers +ĠG ate +ĉf unc +p ick +_us uario +ĠV erm +ment ion +ur pose +Ġalert s +x ious +_s ig +ĠF u +Ġ( : +Ġd umb +åħ ³ +Ġaccur ately +éĩ į +R B +-s creen +ĠV ER +j our +Ġrom ance +uc ceed +. choice +Ġad ip +_d ims +Serial izable +ãĤ ĭ +.j ob +Ġpro g +uch ar +Ġg ently +ĠR SS +ict ured +_ENABLE D +ĉ label +aw ks +ĠEn sure +rem ember +ìł ķ +Ġtrans mit +{{ $ +.Trans action +ur se +_rel ative +Ġs ized +ĠX X +ĠPr incess +ĠL arry +Ġpr ó +ĠÑģÑĤ ÑĢ +Ġs isters +estr uct +Ġcheck point +: length +ĠCar los +/ icon +_T ARGET +T okens +Ġpat ience +ĠSe lected +q ty +.show Message +Ġwild life +ĠP rops +b m +- arrow +Ġpar cel +fire base +ĠBen jamin +cess o +.t im +ĠG arc +. any +ĠHOW EVER +ĠK o +Ġgrab bed +_f rames +Ġobject AtIndex +ĠADV ISED +Ġsub ur +ĉ GL +Ġ}) }Ċ +-l ength +ìĭ ľ +ĠPot ter +_b uff +.g ui +ĠEnc oding +E lect +-m essage +Ġ � +Ġ ÈĻi +ĠArgument NullException +а ÑĨи +Ġmin imize +Ġrespond ing +$_ [' +ĠInd ividual +á c +ĠIN TER +Ġmast urb +ĠB in +(' $ +ëĵ ľ +Ġopen ly +Ġ> < +Ġun to +olog ically +ĠM ul +VID IA +Ġsl im +ĠCommission er +( on +Ġunder neath +/ db +v ote +( Message +ĠP ope +Def ined +Ġsw ift +ur f +Ġadapt ed +SE L +Ġreven ues +Ġdiv ine += y +Grad ient +_ act +Ġ/*! < +Ġpoly gon +ĠF DA +ĠC arr +at ables +(std out +Ġrefr iger +Ġco ordin +avor ites +ÑĪ и +Ġcompass ion +ĠPOSS IBILITY +- secondary +ur acy +Ġcomp romise +_A V +_ os +Ġbes ide +ĥ Ŀ +Ġl n +.pl ugins +Cap acity +al ah +.b in +ĠC RC +_b alance +Ġflex Direction +Ġam bit +Ġnick name +ĠFor ces +C LE +ĠSh ell +Ġs ail +ĠW riter +ĠA lice +d w +ĠInd ians +ĠMar shall +_S RC +Ġnormal ized +ĠJ ag +ãĤ Ĵ +ze it +r pc +ÃŃ c +.in line +Ġtrav ers +_n umeric +Ġutil ities +Ġev ac +IN PUT +ĉ register +M X +ĠCamp bell +Ġdatas ets +Ġdem anded +Ġinitial State +g an +Ġe i +Un expected +- web +tr ait +, Y +ĠT odd +Ġske leton +Ġoptim ize +ç¬ ¬ +ĠU pon +ĠSt Object +Ġap lic +.' P +v ron +. UN +Ġpaint er +izar re +Ġl av +Ġp om +p reg += function +( serial +ific a +um ing +åľ ° +ãģ Ĥ +- op +U CH +ĠH end +.prop Types +Ġy o +Ġrout ines +Ġcar ing +S em +Ġres erves +Ġprior ities +red its +IST R +Content Type +ĠSch w +/ media +Ġe str +Ġclim bing +- week +cher che +s ensor +To Array +ĠMont real +Ġcloud s +ĠInject able +ĠR ice +Ġpropag anda +_pro vider +Ġind oor +Ġin aug +Ġdipl om +Ġmess aging +_m ut +å ¦Ĥ +Ġk w +ON S +ari ans +R PC +) ]čĊ +-r ay +ĠS or +m all +Ġmarket place +Ġv tk +M a +og an +ig i +Ġspons ored +ĠD ani +.S EVER +>' .$ +m ultipart +ĠW ol +Ġtable Name +ĠUser name +Background Color +Ġf right +_E MAIL +Sept ember +_val s +op ia +Ġsp otted +- Ch +Ġdata Source +/ "Ċ +ек ÑĤ +ĠRequest Method +ĠRe place +-d o +ah n +ĠPh D +] .ĊĊ +N ON +g ement +ĠTh r +Ġquiet ly +Ġtort ure +Ġte as +ĠC Y +Ġa tr +develop ment +-d etail +Ġlight er +Ġarg uing +Ġdes erves +Ġcur riculum +_CON TEXT +ÅĤ y +H ITE +ĉ ID +/ uploads +Ġt its +re o +_d rop +. UTF +Ġpick up +Ġgro cery +ĠP ure +Ġeas iest +Ph il +.f eature +(" * +Ġinvest or +t ok +Ġj ar +L os +âĢĶâĢĶâĢĶâĢĶ âĢĶâĢĶâĢĶâĢĶ +. queue +-s peed +M al +um blr +ĠCON ST +ĠH RESULT +ĠD ance +(file Path +Ġattrib uted +ॠį +ĠB und +co ins +Ġs ão +Ġp ir +person al +Ġpre lim +Ġprop ose +ĠT L +] ]) +ĠSub scription +ĠK re +, len +.First OrDefault +) -- +_product s +.Get Bytes +Sh ip +Ġenc rypt +ĠS G +ĠM yst +h ir +Ġiter ate +Ġint end +.mock ito +Ġch apters +( angle +ĠV lad +è® ¾ +' .ĊĊ +Response Body +ĠAb d +de al +Ġbar riers +-out line +b ill +ĠF alls +_se cond +. include +. ceil +Ġoccup ation +ph ony +.move To +ĠJenn ifer +AST ER +; ">< +ĠEn abled +Ġtermin ate +ĠI o +l ations +ĠTHE ORY +Ġear liest +Ġr ack +ĠSc ar +sh ake +ch ip +Ġu v +Ġall iance +п иÑģ +ĠGOOD S +z ione +ĠV I +Ġ{ - +Ġfilter ing +Ġmis con +.Dock Style +Ġb ush +Ġj unk +æ Į +ĠQ UE +Ġhook s +Ġfirm ware +Ġmiddle ware +d ic +ĠOak land +Ġarr ives +P ayload +p ixel +] | +Ġstart Date +.P RO +_a udio +Ġmid field +igid body +ĠSw iss +ĠCl ip +ĠD ump +ĠText Box +Ġg eh +y ield +od s +Ġrefer endum +Back end +ĠC ream +Ġdomin ated +ĠArch ive +Ġrid ers +.prepare Statement +Ġqu ando +Ġche f +w iki +in el +am pling +(" \\ +Ġs ag +_pro xy +ãģ ķ +p do +.getElementsBy TagName +Ġdemonstr ation +ĠN PC +Ġarch ivo +end ance +Ġefficient ly +( actual +.t ableView +Ġm ush +Ġbe ars +_thread s +j as +ah un +Ġne ural +Ġdesign ing +ĠG DP +Ġlift ed +çĽ ® +ĠJ oint +ĠIn clude +ĠGi ants +Ġwithdraw al +ĠR ent +n ative +ĠSe ek +gress ion +_C PU +\ S +ĠSh ield +Ġsol ic +Ġbo om +yect o +Ġmanufact ure +ĠâĢ ĭ +Ġb box +Ġearth qu +ollect ors +:@" % +Ġlo ops +J e +alk ing +ĠWh ats +ĠBo ys +. book +ARG E +_p ixel +Ġsus pects +Î ¹ +us p +ĠBM W +ie ces +(p erson +å¼ Ģ +é » +ĠPod cast +Ġb ou +( Item +à » +( Input +Http Get +Ġb urg +) ^ +BO ARD +*/ , +Ġg ulp +ĠB enn +Ġdeck s +.status Code +Ġac ute +Ġh ug +ug u +Ġp led +," % +h ape +Ġз ап +ĠMain e +.re al +Ġd alam +ĠMin or +.F loat +dis p +Ġt l +Ġen count +=> $ +Ġf g +te es +ĠRec omm +ä l +Ġchem istry +Block s +O ID +Ġfore x +ĠApp end +Ġ{ * +ĠSup ply +CG Float +(b l +Ġat e +ador a +Ġg ust +Ass oci +> .Ċ +F ETCH +.s erial +widget s +ard less +ie fs +_F ULL +ernet es +ĠP red +Ø Ń +äº ĭ +ub ernetes +ĠL aura +Ġl abeled +High light +Ġanno ying +/ update +(d escription +Ġintim id +$ c +")) )Ċ +.A P +Ġ[] * +ĠEX IT +.H ost +ĠOP EN +.send Message +_c amera +_t ile +Ġth erm +onom ous +Ġdis adv +Ġna ar +index Of +ĠP P +.prot ocol +AF E +Ġtext ures +################################ ################ +umb ai +.st ats +ĠG E +Ġi e +ĠST D +ĠM ann +.ref lect +K B +Ġd ive +.w av +/* ---------------------------------------------------------------- +/ settings +.l ifecycle +Ġda ughters +or us +ub er +N ING +st ri +ĠT ip +Ġz n +Ġswitch ed +in et +uff y +ĠTransport ation +( conf +fr ica +ĠX L +ĠLe ad +_per cent +< Map +Ġthr ust +or b +ik k +Ġtra uma +Access or +ĠF it +ĠString Buffer +ex pl +(s creen +Ġaud iences +ĠO PTION +_ round +[ node +be h +-> __ +per missions +ĠD etermine +.M an +Ġadv ances +. InputStream +Ġstrong est +Ġe Bay +Ġ# - +Ġdir name +ĠS MS +Ġmedic ations +Ġam ended +Ġchurch es +ĠImper ial +$ row +ĠMad ison +ĠIn sp +Ġaff air +Ġpsych ology +v h +Ġsever ity +âĢ IJ +Ġstri ps +A H +vert ising +Ġcon se +IM AGE +ĠSt ats +ĉs c +.C ursor +Ġfree ze +ss on +(x ml +ĠSus an +.t ile +ed ed +ĠĠĠĠ ĉĉĉ +uel le +ĠMitch ell +b ased +Oper and +½ æķ° +ĠF F +ĉstr cpy +ounc es +ild o +.execute Query +Ġapproach ing +ĠSe ven +Ġn uts +Ġr ic +ass ignment +Ġcalcul ator +ĠMur phy +ĠB ou +í Ħ +Ġbut t +Ġt icks +Project s +il ib +.text Color +m ov +_log o +( template +ĠIN IT +Ġimage View +scri ptions +OR ITY +Con sumer +Ġun precedented +Ġtour ist +Ġbr on +Ġcontract or +Ġlic ence +ĠN am +æ ¯ +( transform +_AT T +P ref +ĠG am +Ġvess els +Ġh av +L ater +.To Lower +Ġurl s +Ġbreak down +Ġpen alties +Ġf oster +ĠU E +Ġcl ue +com ed +åIJį 称 +-m ain +Ġp ts +Ġcount ed +ict s +/ post +Ġget attr +Ġp ing +ANCE L +Ġp ec +Ñħ од +ant om +ĠBlue print +ĠEvent Emitter +Ġl ä +æ ² +Ġstr aw +( comp +' une +> N +- client +es Module +-b ase +Ġret reat +_s imple +ĉĉĉĉĉĉ Ġ +fe e +') čĊčĊ +Control Item +Ġsubscri bers +ple ase +ĠE ff +Ġp ound +ĠBy tes +ĠTe a +_ activity +Ġmax im +Ġop code +B SD +. constant +; } +omb res +Ġcare ers +) .ĊĊĊĊ +Ġsp reading +-exp anded +ĠOr d +amar in +Ġmob ility +Un fortunately +ak k +N L +_ redirect +ĠP G +ĠS ensor +b ol +t ap +_MEM ORY +ĠUI Alert +plit ude +We bsite +ĠLog o +lo ve +[ ind +Ġalto gether +Ġwonder ed +Ġes per +ĠLib eral +Ġo ss +Ġel it +Ġst iff +od ox +_ment ions +ĠDou glas +_p id +ĠC K +ĠinitWith Frame +.b log +p kg +ang hai +QUI RED +u u +Ġm kdir +AT AL +Ġun h +in ces +st h +Ġhypo thesis +Ġc ata +ĠT B +ĠCl ar +Ġpre decess +Ġsitu ated +-w orld +)) / +Ġhead lines +.st at +Ġout break +sp ath +_FLAG S +ĠServlet Exception +S un +F ROM +ĠD ir +ãĥ»ãĥ» ãĥ» +_co ord +ĠOpt im +Mon itor +.b it +XX X +Ġtod as +f eld +ÑĢ и +im ir +Ġpolit ically +Ġmolec ular +Ġtrad ed +Ġ{{ $ +ĠSw edish +Ġ'@ / +_RE AL +Ġw arehouse +t oday +, L +or p +< section +- br +ym e +ĠUser Service +Ġlib erty +Ġmoment o +( Image +< size +S ch +Ġj og +i ology +arent ly +Ġquant um +ĠAb u +Ġr im +Ġman a +Font Size +Build ing +st airs +AIL ABLE +Ġ& ' +Ġs ect +Ġs igh +(b atch +.I Container +p oll +ĠCor ps +Î µ +ar u +ĠK ay +.r ange +_click ed +ĠRobert s +.N etwork +fin ish +- Man +Ġcolleg es +ĠF ine +")) ,Ċ +f ilm +Ġrem inded +Ġgest ure +out il +Ġthread ing +Ġobj et +Ġt ours +activ ated +.m kdir += user +Ġre de +f ü +_SY STEM +p v +Ġcon gr +Ġmass asje +Ġpract ition +Un iversity +Ġtab index +Ð ĺ +S ets +Ġcount ies +g uest +f an +Ġword en +.d i +на Ñĩ + ¿ +ig Decimal +Ġsh ore +Ġg ö +Ġrep airs +Ġhelp ers +Ġcenter ed +OL LOW +Ġmap StateToProps +Ġc ents +< A +Ġexpect ation +Oct ober +Ġbg color +ca les +.C ON +ĠV el +Ġcry ing +-se ason +Ġfunction ing +_LOC ATION +ü ss +ber y +Par a +omin ator +- le +Ġeth ical +has htags +emp lo +Ġn úmero +( activity +.St op +.str ftime +IL D +Ġto e +ĉ Node +") čĊčĊ +ĠPu erto +Ġexec uting +ĠG UID +Ġoppos ing +al ph +Ġexhib it +_fl ash +Ġme ille +Ġjson Object +H ero +aint ed +_D OM +Ġw il +Ġslo pe +Ġm Ã¥ +ĠIraq i +Ġorgan ize +ĉj Query +H UD +sh ine +. we +ĠSk ills +pons or +Ġcon clusions +Ġre forms +Ġrel uct +n amed +ĠOl iver +Ġ// }Ċ +- looking +Ġf og +ĠH O +ĠF ried +Ġinev itable +ĠData GridView +H our +il les +log ical +Ġconnect ivity +.tw ig +ĠK yle +(d st +- Sh +ĠStud ios +( Level +.j et +_PRO TO +-de coration +OT HER +Ġread ily +.Param eter +Ġmultip ly +ĠL IB +ar med +Ġsoon er +æ Ħ +_ ES +Ġfoss il +ĠA nc +âĢľ This +l odash +Py thon +Ġhist ogram +west ern +Ġinf ant +Ġco ordinator +Ġn ib +: m +Ġres pected +Ġdef init +& T +_p ad +ĠTr igger +th al +Ġimage Named +Ġbeat en +ĉ rc +ĠPal ace +Ġhaz ard +Ġisol ation +_ rc +cont re +OUT PUT +Ġre ign +ĠPl ate +AT ES +Ġfl ux +Ġpack s +.get Selected +Ġparticip ated +Ġneed le +-de pth +:::: :: +-l aw +ins pace +on itor += no +ĠAt omic +ĠBr ain +Edit able +-s c +red ential +ĠP erry +k ie +Ġ ----------Ċ +.st roke +( Intent +Ġun ity +um lah +F urther +Ġpr ze +Ġs ø +ãĤ Ĭ +ĠPROC UREMENT +ĠH ousing +Ġatt orneys +Ġcomp ose +atter ing +" What +dra ul +Ġstraight forward +In stant +.J TextField +Ġtr ades +л а +Ġ{ ! +Ġl ately +IM G +ĠA ld +ĠIN NER +Ġcart oon +.S ource +F ALSE +Ġd ough +f en +( rect +Data Table +N ick +ĠBut ter +read s +_com ments +EN V +ĠConnect icut +-F IRST +ĉĉĉ ĠĠĠĠĠ +ach i +.M sg +re ction +Ġrelax ed +Ġsha ft +Ġe f +ĠAdd ing +Ġbre ach +Ġ ï¼ļ +ram a +Ġconduct ing +Ġ( ; +(g l +ĠCA USED +ash i +ĠF LAG +ĠCom merce +ĠIN TEGER +h ours +ĠSchool s +Ġn ucle +Ag ain +pro j +Ġsevent h +EMPL ARY +(m ock +'] ,čĊ +_S PEED +> false +Ġsp a +ĠN ear +ì ķ +Ġintr ig +_m embers +w ave +Ġanalyst s +_O S +ed in +ĠF ri +Ġretrie ved +Reg ular +_ obs +EX PORT +')}} " +" class +__ (( +b ucket +Ġst ro +ĠP atch +yst ick +ful ness +ap os +D a +ĉĉĉĉĉ ĠĠĠ +Ġen rich +un ordered +h ole +C ong +< Product +ĠC urt +( the +_l ower +Ġavoid ing +Ġbu zz +Ġv iable +ub a +- is +are l +Ġact ed +-d etails +ภĩ +ĠThe ory +ĠP un +ĠAn onymous +... "Ċ +è res +åı ¯ +ĠV ision +_se m +ash a +Ġcelebr ity +Ġend Date +Ġpop ulate +Ġcu is +qu ant +f loor +Ġglob ally +Ġcru ise +ĠStan ley +Ġb ikes +.get Connection +Ġpoor ly +_ other +amp ing +." );ĊĊ +od i +_A DMIN +.color s +ĠG aming +> ';ĊĊ +STR UCT +Q R +ID s +(arg uments +_a ux +( Event +_PR IVATE +ĠTre k +Ġdownload s +m utable +_STR UCT +(w x +Ġdom ains +js px +ĠVi agra +Command s +J s +.c fg +Content Pane +ĠEdit Text +à¥į ठ+Att ach +ĠAR M +posit ive +ĠGener ated +Ġse ized += : +Ġelectron ics +ĠApp Component +/ ',Ċ +.equals IgnoreCase +Do ctrine +d isk +ĠPolit ical +CH O +< F +ĉ height +ĠB ug +. le +ik h +Ġmill iseconds +Ġconstit u +m ag +.n l +-r ange +ang gal +', [ +ropol itan +Ġà ľ +ĠU C +.d esc +-L AST +f stream +ib il +Ġf ier +VER Y +Ġë ³ +IR T +_ UI +( abs +Ġkne es +Ġro okie +ĠV ac +are na +comm end +- \ +ĠSUB STITUTE +So ft +Ġpart ir +we alth +è¦ ģ +(d ataset +ĠCl imate +- show +Ġreli ability +_ch unk +ä» £ +_st ock +ĠEX EMPLARY +ï¸ ı +Ġv ÃŃ +Ġsm iled +Ġdr ill +.F unction +ĠS I +Ġreg ression +- X +ĠJ ar +p ref +ĉs uccess +ĠHit ler +Ġinst inct +Ġfem mes +Ġlo ver +< Ċ +Ġmulti plier +r il +Res ize +ĠAuthor ization +ĠK an +Dispatch ToProps +Ġc rops +t okens +ec n +ential ly +ĠINTERRU PTION +f ake +Und efined +ĠA K +ĠTest Case +Ġr ab +Ġtor rent +ĠO t +B ars +Ġlect ure +Ġen jo +Ġrespond s +Ġindex ed +Of Work +_ch ain +)) -> +ĠBeaut y +Ġ` < +Ġtouch ing +Ġ| -- +ĉf lag +normal ize +Ġtr apped +Ġestablish ing +/b uild +A J +f y +- react +av n +RI PTION +Ġk ut +ĠF ashion +ĠIn form +cur ities +< byte +ĠUkr ain +Ġs ug +Ġconsist ing +ood le +. ctx +.To List +Ġcomment ary +Ġtransf ers +Ġn ost +ih ad +ĠU pper +Ġconf using +miss ing +- cl +Ġbound ing +Ġcongress ional +Ġreve aling +d h +r up +Ġt res +re peat +, ĊĊĊĊ +_t ac +Ġexp ed +G irl +h orizontal +Ġ"../../ ../ +( option +Ġwe iter +ĉs ql +Ġ=> {Ċ +Ġgar lic +Ġre pr +Ġrepl ies +( prop +Ġspir its +Ġins pire +Ġbas ement +.re ject +Ġhint s +Ġpoll ing +ĉ ĠĊ +_r ating +Ġc ath +av ier +Ġcomp ressed +ĠV S +] ' +Ġjud icial +ĠT rend +tr aining +EST AMP +ogn ition +Ä ģ +SE NT +vent ions +Ġconsult ant +um ph +Ġuser Service +, NULL +k h +D ear +_B AD +it ations +Ġmet aph +' é +and ise +-f ont +.ch art +Ġs g +_ Controller +.j peg +ĠUL ONG +ĉg ame +( ss +ĠM aj +ĉg o +ĠS ad +ĠB erg +ĠM ine +P ack +Ġres istant +ĠR OM +Ġp eg +ĠStan ford +ĠY ahoo +Ġsca led +Ġl an += [] +"/ > ččĊ +Ġs ud +ĉ background +Ġsch olars +-m uted +ar á +Ġ= ==== +Ġ__ __ +C reat +ene ver +/w p +ĠV PN +Error Code +) ],Ċ +(b uilder +ĠEn emy +S ensor +us a +Ġtr iggers +Ġplayoff s +_RE Q +Ġ( ~ +ĠBar ry +Ġperman ently +ĠR UN +Ġb ure +.Fat alf +Ġch ick +ĉ panic +ps i +ok a +éĢ ī +> [ +Ġunderstand s +ĠJun ior +ĠIN FO += mysqli +ust ain +-s ource +s erv +ĠC REATE +. au +Ġsell s +ĠĠĊ ĠĠĊ +E urope +z w +pre h +ĠNS A +Ġx y +ภ´ +ĠB eyond +Inst ead +Non Query +Ġar ise +Ġavoid ed +.em place +_model s +} ),Ċ +Ġh id +Ġ& _ +.p oints +.get Width +.Ex ec +Ġ// // +ĠS essions +... \ +ĠCol omb +Ġacceler ation +rest ore +Ġ ile +ob ic +< Node +ĠD X +ĠBes ides +. age +ĠCont ains +N ational +ĠIm plementation +Ġeff ic +ĠR M +H y +ĠWed ding +ok ies +Ġrec ursive +Ġprosec utors +.Se lection +ĠForm ula +Been Called +[i i +ĠFr an +Ġtraged y +_F EATURE +Ļ ¨ +comp ass +ĠB h +? ĊĊĊ +.w riter +ĠH our +Db Context +io v +am on +re pr +é ĥ +ĉf i +'] ] +ĠD ry +. ro +ĠO bserv +æł ĩ +Form er +ĠB alance +ĉ json +Ġpr zy +I SS +( sock +ĠL INE +Ġde ce +Ġal ly +Ġtend ency +F un +Ġschem es +Ġinter ven +æĺ İ +Ġad verse +quote lev +Ġsacr ific +_s ide +Ġmut ex +AG IC +Ġocc urring +ĠCommunic ation +um ar +ç¼ ĸ +ĠTreat ment +.p erson +ĠL C +Ġe ch +( (" +ĠDise ase +ä d +ĠA Z +.A ccount +Ġcontinu ously +END ING +ĠRET URN +- string +.f ilename +syn thesize +Res ponder +( opts +reg s +Ġn uest +Pe er +// ------------------------------------------------ +Ġg auge +ĠK in +.s chema +Ġarr ange +ĠBl ake +_Type Info +C over +ĠHamp shire +P aper +-in ner +util ity +Ġcross origin +F OR +Ġign oring +ĠD D +av an +Ġtrad itions +Ġget String +Ġeth ics +ĠMaterial s +DE SC +Ġen zym +io let +ĠCh ip +ĠMc Donald +Ġn erve +ç Ħ +") ] +æ± Ĥ +ĠS ugar +_S IM +j peg +Ġdiscret ion +ĠT N +bo ve +ĠMin imum +ĠForm Group +Ġwork force +ĠExec ution +err er +ĉ ĠĠĠĠĉ +Ġpres cribed +.Text Align +OP EN +ĠP B +im ity +ĠEx ternal +° C +ĠApplication Controller +Ġb arr +imp licit +_d ot +ĠCol on +C OLOR +.Pro ject +* }Ċ +pl aint +get Text +Ġindivid ually +Ġcheck box +U Y +ĠL amb +Ġdys function +ĠL ar +à ° +ĠCre ating +');ĊĊ Ċ +" They +loc ations +_C ORE +Inter action +umbn ails +ĠPart ner +b rit +Ġless er +ĠSl ot +set Attribute +ĠW ave +.p o +/ store +Ġbrows ing +_p d +sum e +s ed +Cur ve +Ġpl asma +Ġsusp icious +ìĿ ¸ +ĠB ah +ĠExp licit +_C C +.Client Size +\ View +Ġsub stit +lo on +ĠG AME +ĠB rid +Ľ 建 +_ User +Ġsqu ares +f one +Ġsac red +ug hs +] interface +ĠTh row +ĠK irk +Ġemp ire +Ġassess ed +T ax +ĠHe aven +-b uffer +_STAT IC +én é +-b ordered +Ġpun ct +(m ode +Ġke ine +S ent +ĠCal cul +ĠE ve +Ġsty lish +Ġoil s +.Test Case +Ġtrad emark +Ġliter ary +Ġconcentr ations +ĠRel ations +( Class +Ġstd in +Ġv æ +back up +. VERSION +.AutoScale Dimensions +st arter +Transaction al +- panel +St udio +k c +ĠCh amber +ĠSpi el +Ġr ho +ا ÙĦ +! ' +.At tributes +Ġmurder ed +apeut ic +Ġint imate +Ġtext Field +ĠBuff alo +d ummy +" % +ĠLib erty +ob ar +ĠT ank +ĠPop ular +erv isor +ĠIn iti +ĠM all +ĠP rior +C AP +ĠCl ay +ĠCert ificate +.L ock +-st rip +-dr iven +/ all +ĠMessageBox Buttons +_SE CRET +_p b +Ġr ats +ा ठ+Ġn t +.R outer +_top ic +Ġt ennis +ĠP UBLIC +ĠActiv atedRoute +Ġ' ,Ċ +Ġcost ume +Ġj okes +. Handle +ĉ byte +Ġflav ors +( cc +Ġperson as +ĉ image +ĠN azi +Ġgram mar +Ġú lt +Ġval ve +Ġv ic +ĠR achel +_in valid +P refs +std int +(r oute +Ġhtml specialchars +Ġpe oples +pl ine +Ġn v +ĠQu ant +opp ers +Ġcurrent User +ĠC atal +Ġrecon c +Ġconj unction +l x +amb urg +Ġinflu ential +d anger +ind ers +Ġ% @", +.config uration +os ome +. identity +Ġpick er +n ost +ĠDI Y +Aug ust +ab lo +Le af +ĠRec o +ck o +DO C +ĠH erm +: any +ĠInt erview +ĠT ex +x fe +( work +Ġle ap +He ading +Ġqu arters +\ Bundle +re b +Per haps +ĠG mbH +B irth +ĉ sum +ĠWat son +.n il +ç ¡ +{ }ĊĊ +ica id +Get ter +" name +Ġ" čĊ +_n one +z m +ac ute +uest o +Ġs ous +Ġre build +Ġnewsp apers +ĠH az +Ġk its +if o +Bl ur +Ġsu ited +- In +à ¯ +ĠKe ith +ĠNor way +IN IT +ire ccion +iet ies +_us age +ĠDou g +r ise +Ġtr illion +im ited +ĠR EL +al ic +Ġcritic ized +the orem +Ġce ase +Ġsid ew +ĠT erry +Ġsubs idi +Ġfirm ly +Ġaw s +Ġh ott +Ġdress ing +bad ge +ĠApp lications +è¿ ĶåĽŀ +Ġlaugh ed +Ġh obby +Ġmus icians +Ġ* . +. placeholder +Ġcount ers +ĠCap itol +SD K +Ġhel met +and box +qu it +Ġcriminal s +Ġteen ager +( update +G l +.se lection +Ġdis charge +Ġpresent ing +ufact urer +_UN KNOWN +Ġstress ed +å Ļ¨ +Pro to +_cor rect +ha us +Ġren ov +Ġfire arms +Ġtechn ically +-b rowser +Ġc andy +St roke +Ġexec utor +Ġocc urrence +ĠIP v +_INTER FACE +ĠRetrie ve +.b ad +Ex change +Nav bar +ĠK id +(get ApplicationContext +_ST OP +ĠB oss +List eners +Ġshoot er +ĠAl b +ä ch +Ġp ix +.key Code +al one +Ġabs urd +ĠC um +ĠNewton soft +ik t +Ġlaugh ing +Ġcapital ism +ree Node +T x +_QU ERY +.S leep +( login +Web Element +Ġcelebr ating +Ġde precated +Ġma ar +Ġart istic +_ASS OC +ĠBorder Radius +ĉw p +Ġsurviv ors +In ner +- red +Ġprosec ution +_ pp +(" $ +Ġcomm a +un checked +graph ics +r ors +G ROUND +( public +Ġcustom ized +ĠArk ansas +ĠR ew +Ġexp iration +× ķ +ĠC ul +Ġn ons +.F ilter +Ġsen ator +_def inition +ash ington +ym ph +/ J +Ġf use +ram id +ĠSup plier +Ġaut ocomplete +Ġ} ), +." ĊĊĊ +_function s +ĉ to +.e val +ĠT Object +Re ferences +Ġhe ated +H AL +Ġ)) }Ċ +} $ +ĠB arr +_UN IT ++ $ +Ġget Value +ip ed +ch ied +(v m +c ue +_int eger +_c ourse +th ird +Ġrevis ed +** /Ċ +_D IRECT +Out Of +(" ( +ĠFe el +Ġre ass +Ġsub title +per i +n f +Ġenjo ys +Ġtreat s +) this +-t abs +anc ers +Ġcontin ent +Ġcard io +S er +. question +Ġph rases +Valid ators +Ġpop ul +Ġl ÃŃ +s ong +_IN TERNAL +Ġadvis er +Ġp uzz +Ġambit ious +ĠT ob +ĠD P +Ġpres idency +Ġsurre nder +Ġwatch es +_b inary +ĠSo on +Ġcan ada +(" ")Ċ +] =' +ĠBr andon +eps ilon +r w +.add Child +.C opy +Pr incipal +Ph otos +Ġmarg inal +Ġbas ics +e ing +M ust +_ String +Ġo le +M agento +.c ustomer +(p rev +ภ¥ +Ġlo yalty +C og +Ġprot ocols +ĠCom panies +Ġtheoret ical +Ġaccess ing +ĠZ en +. ones +att ice +_w orld +z es +Ġtatto o +Ġmen os +Ġinter sect +"] ;ĊĊ +bel ie +Ġin active +.read line +-label led +.d one +lick r +ĠW ORK +Ġderiv ative +Ġd atabases +âĤ Ĥ +Ġs x +.is Array +Ġy s +Ġp ada +ĠBul let +(` / +is Active +ĠCG Size +(equal To +ĠColum bus +Ġmar ry +DE V +_l imits +ron es +I AS +Ġt au +min o +_W rite +ĠW ine +Ġ[ [' +ĠP ull +rit ers +ri ents +Ġsh ifting +up p +_TIM ER +ĠCondition s +Ạ¥ +ĠOr ders +ĠSt rength +æī Ģ +Ġvalid ity +Ġf ot +et ur +Ġb olt +åĨ ħ +ĠAl ong +os hi +Ġassum ptions +Ġmag azines +_S PI +Ġp unt +_PRO DUCT +Ġrel ay +ĠJ avascript +. te +- es +Ġwidget s +(f s +< Item +_ex tra +Ġrecru iting +E t +Ġnecess ity +p w +Ġnov els +uss els +Cre ator +ĠM VP +ĠO C +th ood +cl ients +)) * +Ġcharacter ized +_SE ND +ut i +T y +.from Json +@ Service +ãĤ Ĥ +Ch ris +_ Is +ĠJohn ny +Ġclean er +ĠInitial izes +UN K +( axis +еР· +ie val +ĠWar riors +} )( +DM I +âĻ Ģ +ĠTre asury +Ġfe as +Ġsl a +_EN UM +l hs +ĠIn stit +ipp ers +Line ar +Re ading +quir ies +-c ell +ch rome +.S earch +IN A +ç±» åŀĭ +ĠĊ ĠĊ +ĠSam uel +Ġmill s +Ġdon ate +ĠGe o +( rows +Ġshe ep +Ġé l +ä½ ĵ +Ġb em +_UN USED +ĠR CC +Ġintrodu cing +att a +ĠP riority +ĠF B +ĠSer ge +> "; +atch ing +ĠKnow ledge +ĉ The +; margin +less ness +op ard +um atic +() ));čĊ +Ġf als +(c ache +Type Id +éĢ ļ +_ choice +ĠGo th +ĠS ites +M G +_b order +Ind ices +Compar er +ĠRed istribution +Ġclo set +Ġvers atile +Input s +**************** **** +Ġob esity +qu iz +gr a +(g lobal +åĬ ¡ +Ġcollect or +Ġk or +ov able +AD C +ĠEvent Handler +. nc +Ġplay back +ient os +_p erm +_W ARNING +ĠOlymp ics +.n orm +ĠBroad cast +_sm all +dr ive +. iloc +Ġtyp ed +M EM +_con s +DM ETHOD +Ġl un +.d istance +(p ar +po on +Ġb ast +activ ities +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +: čĊčĊ +S ER +) && +_l st +ĠPol ish +Ġknock ed +Ġfrustr ation +au kee +Ġph osph +iqu id +_c oeff +æŃ ¤ +L atest +ĠD ust +T ipo +Ġmaint ains +Ġmar sh +inc inn +l bl +C are +Ġneighborhood s +_g pio +ĠAr senal +D em +ĠW he +_h ook +Ġl dc +ĠHar per +ĠBer keley +Ġgrad uated +Per cent +Ġarr iving +ĠAdvent ure +(s cope +(' * +qu arter +ĠMar ie +Spe aking +_code gen +Ġimm un +c aster +ãĤ Į +åķ Ĩ +ĠDim ensions +.rec ord +Ġtext o +ĠMich elle +P ending +( by +_P AR +uch t +be e +.Th read +amp ire +k now +ĠClin ical +Ġmargin Bottom +Ġdistingu ish +.F ull +. undefined +ĠSequ elize +################################################################ ############ +Ġeduc ated +_O VER +åº ı +ĠÂł ĠÂł +_e ach +Ġur ge +de part +Ġdon ors +ĠA u +Ġbill ions +Ġbelong ing +_ age +_ Int +Ġsub stances +m achine +!! !ĊĊ +Ġjson ify +ib bean +ĠC ad +Ġend Time +Ġc ycling +ĠUIT extField +Ġle verage +Ġvan illa +e at +La unch +( pt +st ates +ĠControl s +ĠRes pons +ĠJ ake +Ġas leep +fort unate +.next Line +Size Mode +ìĿ ¼ +Testing Module +G erman +ĠInvest ig +.re verse +ĠB ACK +( DateTime +Ġnon profit +ĠEx pect +Ġt anto +'] ), +ĉ the +M ultiple +(get Activity +_W AIT +Ġj á +de cor +lev ance +ĠGit Hub +min ation +_qu antity +.Sc anner +ĠL ion +éĶĻ 误 +Ġd re +Ġtan tra +Ġcontent Type +Ġf id +_ alt +NS IndexPath +- pl +åĮ ĸ +Ġantib iot +table s +ac ial +ĠReg istry +Ġol ive +ig ers +Ġsubscri ber +_p res +ĠSy ntax +Ġlo vers +. Byte +old ers +_for ward +al ways +C aption +Pr iv +ĠT ampa +is ateur +-labelled by +ĠTo String +Ġì Ĥ¬ +Ġinit iated +W F +Ġinstitution al +in ject +ĠSc r +Ġdo ctrine +Ġsp acious +is ure +ĠAn a +" time +ess aging +Ġc id +ĠN an +Ġin complete +T AG +-b uild +Dec ember +Ġres idual +(P DO +ĠList en +Ġg lyph +Ġg aps +ne a +.R ect +Ġsa u +ĠPhot ograph +Ġexec utable +ĠExp ert +Cor outine +_s izes +ĠN L +.is Valid +); }Ċ +- reg +Ġc iting +c wd +ĠOtt awa +ĠB att +Ġrenew able +Ġprelim inary +Ġas ylum +Ġw rist +Ġutil iz +Ġdet ention +F ast +Ġan ge +incinn ati +Ġste ering +ĠNa N +ios ity +/ page +Ġè ¿ +ster ol +Ġdis g +( DB +ĠDESC RIPTION +Ġ_ $ +Ġobst acle +Ġb izarre +Ġextr action +_ex pected +Ġlos es +ĠCele br +Ġhtml For +Ġexplo it +олÑĮз ов +XY Z +Ġmagn et +amp ed +Ġat oms +S ources +pect ives +Ñģ ли +Ġ= čĊ +Ġd are +ĠWal ter +Ġbright ness +Ġan notations +ë ı +is ke +S chedule +. images +ros so +Ġ" .. +g amma +Ġin structor +Ġover write +- am +Ġdevast ating +ĠSaint s +Ġh s +Ġbon uses +$ output +ij d +(Action Event +mon itor +Ġmatt ress +Jan uary +.j p +Ġcar acter +Ġim pose +_re st +ĠSign ature +Ġcoron avirus +ãģ Ĭ +_com pare +Me asure +it ated +el ijk +ig os +es ar +Ġrush ed +met ry +_SE PARATOR +_W E +_ATTR IBUTE +Ġy aml +Ġspec s +ĠR ah +ph eric +ĠInvest ment +ä ll +Ġappe aling +Ġview port +ç © +Ġmargin Left +Ġsub tract +ĠED IT +ĉ ArrayList +gr ading +ĠF ailure +as per +EE K +(n ow +< object +ĠAl ignment +ple ado +q tt +( ERROR +ĠIN VALID +Ġuser id +ra ises +ID I +Ġvari ance +ĠN il +/ delete +_M AIN +.T oken +.C ategory +> )Ċ +Coll ision +ĠGre ater +ĠR acing +al an +Ġmon etary +, new +ĠS orry +. Enable +ĠInstant iate +oll en +ë© ´ +ĠCall ing +_h our +AD A +Ġsh y +) ** +Ġ== > +Ġes pecial +Ġinterpre ted +! =" +Ġpharm acy +.s ingle +ĠC ialis +Ġpar as +.to UpperCase +ĠDem on +Pr ime +Ġrank ings +Add ing +_H ASH +ĠEx am +Ú © +ĠVict or +Ok ay +"] ;čĊ +Ġfort une +ĠF ETCH +exp and +.Inter op +Ġb arn +æ ¶Ī +ue vo +Ġspec ulation +âĶĢâĶĢ âĶĢâĶĢ +ĠN u +ĠBl ues +(f name +Ġinhab it +Ġ\" % +C ES +ular io +_c r +Ġvalid ated +Ġmid night +ank ing +Ġincorpor ate +Ġpurs uit +EX P +pr ime +P id +- US +ĠN urs +ĠW heel +é ĺ +Ġin p +Ġsupport ive +.m ember +ĠSh ot +.Check Box +Ġaff irm +T or +Full Year +Ġconsider ably +cred entials +_ opts +R oll +( round +Ġcom ent +_U ART +Ġext ending +R G +result ado +it u +.get Session +Ġattr action +& D +$ html +ĠJess ica +ĠAssoci ate +a ñ +_ ed +ĠL ag +Ġorig ins +()) -> +add EventListener +IAL OG +åIJ ¦ +.Com pare +Al bum +ĠK u +< Q +arg est +Ġpro long +Ġconfig urations +Ġaccident ally +_ph oto +Ġ'' ;čĊ +Ġver se +B ob +Ġfarm ing +del ivery +ĠM ack +Ġuse Selector +.bootstrap cdn +keep ing +en y +. upload +ĠM ETHOD +cre ator +< _ +ĠE aster +. -- +UI Button +ãĤ ī +om eters +Ġsh ine +Ġh ogy +\ s +Ġh arness +.C ell +Ġlif ting +Ġcomb ines +ĠOcc up +ex clude +pat ial +Ġres pir +_f it +Ġfif ty +ĠM ol +Ġtun ed +-d imensional +Ġq s +Ġto ps +> ";ĊĊ +quis ite +ch annels +/ res +ĠAn alytics +.app compat +/ to +Ġon Error +( attr +IR M +Ġrag az +- as +.Se cond +orient ed +Ġdon n +Ġlight ning +f id +ĠP le +ãģ¾ ãģĻ +t ro +.Tr ue +O bservable +× Ļ +umb ing +Ġpros pective +-f ilter +Ġpurs uant +(p oints +.B ind +Ġp alm +clear fix +ö s +ĠG onz +Ġwe aken +Dr ive +en ido +l ld +ob ox +ane an +G ot +ä¿ Ŀ +Reg ex +æ ĥ +Ġsal ad +ass is +" net +inherit Doc +ĠR V +qu ier +Ġcl azz +ı ÅŁ +oster one +Ġair line +.list dir +Ġdownload ing +ĠP alm +w aukee +& lt +.B L +_IN LINE +off s +<< ( +_new s +Ġch ase +/ >< +Ġeuro s +ĠEgypt ian +ĠSt ainless +_BO OL +ĠG uild +ĠD ynam +[index Path +Ġ ï +Ġmemor able +ĠCh ampion +Resource Manager +.Log in +ĠForm er +yp ed +Ġl leg +; ", +D WORD +Ġtax i +Ġbom bs +ra h +.t ags +_test s +st ones +âĢĿ ) +[ g +r type +Ġv u +Ġhost ile +Ch ars +ĠPatri ots +/ status +< B +ĠIn come +ĠD ad +Ġpat rol +_CH ANGE +Ġup graded +Ġch ina +set q +Start ed +.U ndef +Ġcheck sum +Ġfrustr ated +{ o +Ġen f +Ġwood s +ĠAny one +Enc ode +ĠQt Widgets +are as +Ġshe er +sk i +end point +_T est +S oup +~~~~~~~~ ~~~~~~~~ +(f iles +ĉĉĉĉĉ čĊ +.sp ark +Ġval ued +Ġ% Ċ +.control s +ĠXCTAssert Equal +Ġf ame +ĠR ic +D OT +ĠAlbert a +ä½ ¿ +os al +.Web Controls +Ġ ------------ +ĠM is +ĠS YS +Non null += item +Ġexp ire +Dec ode +_ operation +ĠValid ator +.C ENTER +uff s +* m +Ġav ant +æ¬ ¡ +âĢľ You +.per mission +... ) +ĠL ic +_co ords +.n ombre +c lo +.Int ernal +ĠCh o +_s w +ĉ Il +cl k +Ġcast le +(l ayer +p it +Ġgu ided +Ġâĸ Ī +Ġsuper b +Ġsup plements +_c ent +Ġpe ek +IN ARY +.Content Alignment +f alls +")) ; +W all +). čĊ +ĠD anny +irm ingham +IAL IZ +( create +" In +Service Provider +Ġpr iced +mac ro +am ac +. box +---- Ċ +ãĥ « +ĠS uit +ur st +br u +ourn als +num ero +__ ()Ċ +D as +ĠM itt +ud er +? \ +f u +[ B +Ġ: )ĊĊ +(int er +br ains +Ġatt itudes +Ver ify +Ġsign atures +ack Bar +Ġg d +J ack +.c at +Ġz z +war f +FT ER +");ĊĊ Ċ +Al ive +IC LE +ĠWh atever +Ġout lined +s prite +еР² +_A B +_DE PTH +Ġcrush ed +aa a +(e v +æľ º +Ant i +IC O +is EqualTo +.s un +ic ulo +s ale +_h ex +ĠV k +apt or +Un ion +ĠDis count +list a +.Undef Or +Ġautom ation +N or +å¯ ¹ +åı Ĥæķ° +Ġref lex +ĠLa ure +.showMessage Dialog +.t emp +Ġa kan +Ġ__ ____ +.Is True +ARE D +ag le +E nergy +Ġquant ities +âĢĻ é +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġcitizens hip +m outh +Ġin appropriate +ĠOut door +White Space +An onymous +load s +webElement Properties +T en +Ġacc idents +Ġadvertis ement +ĠY emen +(c all +Ġsl avery +Ñģ п +ĠL am +_BIT S +ome ga +ĠO le +Ġkid n +_A n +ĠR aid +Cre ation +s aved +Ġpro port +W ARNING +\ P +Ġp wd +Data Reader +is cher +ade on +ĠP redict +Ġreason ing +Ġdestroy ing +H el +* d +ĠLeg isl +_P r +ĉĉĉ ĠĠĠĠĠĠĠ +Ġsymp ath +Ġch ess +Ġm am +: hover +Ġconvert s +Ġp ela +Ġprogress ion +Ġ"_ " +ĠG ill +ĉ show +Ġsupposed ly +ac curacy +el in +Ġunf olding +ĠHy per +Ġw anna +Ġup s +( # +ĠCr iminal +( Point +at Lng +act ly +Ġcontract ors +'] } +draul ic +ód igo +ĠT T +ĠW ide +ĠAR G +_ ic +FLAG S +S chool +Ġclear ing +-be ing +={ [ +, const +man ent +Over lay +(' " +éĩ ı +ĠT imestamp +Ġmail ing +ĠC ake +.Th at +Ġmed itation +q p +Ġemp resa +ĠL ions +Ġw eld +ĠLinked In +Ġc ush +Ġgen ome +.Index Of +ag ain +Ġf allback +Ġcamp ing +re dd +-strip ed +Ġd v +Fe bruary +ĠPro xy +us k +Ġdies el +W RITE +RE AK +L orem +.In voke +- div +Inter ceptor +ĠD H +ia les +Ġvill ages +Ø ´ +ĠEN V +S ys +.X R +Ġpo em +à Ĥ +c ade +pl ots +Ġ{ ( +.g it +/s vg +nc mp +ĠÄ į +ain es +åĩ ½æķ° +Ġ( )ĊĊ +ops is +ĠRel ationship +_ aut +ĠB omb +ĉ com +* sizeof +off icial +_p ayload +ĉĉĉĉĉ ĠĠ +.m anager +ĠA round +ĉs end +ĠEx ercise +ĠB illy +iv i +Ġneed ing +_url s +_t asks +ĠH em +Ġtear Down +enc rypt +.t ie +Ġas m +IC H +ĠCGRect Make +ìĦ ± +ul ong +Ġit r +ĠG ST +Ġoffer ings +ro be +EE E +oper ators +_PRO P +ind ent +A DE +or f +ë IJ +Ġbless ed +vas cular +Ġcon oc +H appy +B ridge +ilit ation +j oint +ĠAdmin istr +- transform +Ġmeant ime +/ K +ĠBed room +Ġrig id +Ġbrows ers +EM PTY +.S erialize +_ ED +Ġst itch +Ġj an +ell t +Ġbr ace +Ġtr ails +p ublished +å¯Ĩ çłģ +} ')Ċ +Ġac ids +Ġ! !! +_d irect +> ());Ċ +aj Äħ +_O CC +Ġplan ets +æ Ł¥ +ĠDub lin +Ġser ie +.print f +de ep +` ) +Ġ\ $ +ĠÎ ¼ +_V IDEO +end ors +ĠC rypto +F ar +.Trans parent +.T R +ias m +_tr aining +Ġteach es +ĠB elt +Ġlimit ing +ĠK ath +ĠIndex Path +Ġachie vements +Ġser á +interop Require +Ġdis se +.I f +arm ing +uls ion +P o +_DE TAIL +Prot otype +ĠC AL +Ġagre es +.v o +.Execute NonQuery +ĠTop ic +Ġ' {} +Ar m +Ġe cc +M ag +Ġserial ized +ĉ conn +c ached += tf +ĠByte Array +prot obuf +var char +ĉ ASSERT +Ġlist e +_tr igger +· ¸ +Fe el +T ahoma +ĠL ik +Ġstruct ured +erg us +.In itial +_ ge +cl js +.cont act +Ġand ere +$ stmt +_C URRENT +ĠDis cover +$ res +form atter +H a +vang st +Ġem erge +ãĢĤ âĢĿ +ĠCabin et +-s quare +éĥ ¨ +Ġr age +ĠA J +ĠV T +sh adow +ĠFa ith +en ames +pret ty +has il +part y +Ġvar char +Ġf otos +Ġal um +ĠBelg ium +.y label +Ġde j +_num bers +Ġh u +.set Adapter +ĠUs ually +(s ample +.Sh ared +Ġbook ed +Ġ>> = +Ġmin erals +"> +pro g +bo o +_m d +_p ack +(ex press +ut z +\ Auth +, id +ĠCh ile +act ice +Ġrecruit ment +Ġpos es +Ġvulner ability +inst anc +or um +d ess +Ġx l +%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%% +( fig +Ġdelet ing +.d el +) ')Ċ +ĠWeek ly +?? ? +(str cmp +sm ith +Ġpurs uing +- so +ĠApp s +/ 'Ċ +Ġdec is +FO RE +Every one +Ġl anes +V irtual +. attach +( Log +ĠMed icaid +( Path +ĠTurn er +/ application +Ġport rait +Ġopp ose +check out +Ġfinish es +_M E +Bar rier +S ong +V AR +Ear lier +rell a +Ġh ast +az ar +Ġpull s +ng x +Ġinspir ing +Ñĥ Ñİ +-d irection +Ġexplos ive +Ġcreated At +st o +Ġwhe at +ĠB uilt +' ai +Ġtrack ed +ham mad +RowAt IndexPath +_ heap +D ue +Ġconnect s +.p ublish +em u +Ġbul lets +B AR +ol ate +Ġintern ally +Ġcatch ing +-p assword +ou ched +æĢ § +e ous +Ġx range +Q uality +v v +Man age +( ($ +ac ements +ĠBro thers +ĠHE AD +ĠUn supported +s an +es i +** *Ċ +Ġadapt ation +ĠWork er +'] / +.save fig +( trans +Ø ¬ +ne e +Cor rect +... ")Ċ +Ġsubmit ting +-p ath +ĉ last +iss an +.x label +ĠS epar +/ no +_b est +ĠM ills +_s ock +(f lag +Ġdest inations +em ption +ĠF AIL +å ĴĮ +Ġr p +f act +ĉ len +D AY +Ġse iz +_d st +l ip +.Line ar +ĠB asket +$ t +$ i +- brand +ĠNe il +ĠE q +Ġth ou +og ene +Ġscholar ship +æĽ ´ +Ġs wo +ag inator +en i +( book +Ġbl ink +th us +Ġcancell ationToken +ĠPalestin ians +Ġprofit able +Ġback pack +ens on +< Long +Ġp ools +Ġst icks +Ġspokes woman +Be ing +ĠHer itage +ĠN ike +SH A +ĠNotImplemented Exception +$ core +ĠR ico +/ latest +ĠC zech +ner Radius +(l ines +Ġsem ester +Ġw ounds +Pro cedure +.m ail +() ):Ċ +Ġcor rid +ter ed +ĠN CAA +Ġgal axy +_k ind +il k +Ġtr as +_P OL +ĠH et +Ġrefuge e +Ġteen age +.b inding +post al +Ġiç in +ĠData Type +é ĸ +ycl erview +, value +_id entifier +< b +Ġout file +čĊ ĠĠĠĠčĊ +Ġcr é +Ġrespond ents +ĠBe ast +ce led +Ġinter f +-th eme +g if +ĠR angers +IT AL +Ġauthentic ate +Com pletion +urs ors +Ġcin ema +Ġdisc our +ĠJ aw +OCK ET +Ġpr ayers +ĠL uis +fr ag +=[ Ċ +Ġbr ave +_p ose +C ertificate +- fe +ifer ay +ĠFl ags +Container Gap +ĠC rit +Result Set +ĉc ur +Ġcorrespond s +St aff +.Http ServletRequest +Ġneur ons +ĠMain AxisAlignment +ed ar +Ġg ad +_p arts +ĠÎ ² +Ġf x +/ files +ĠB ros +hip s +Ġgluc ose +Ġfar ms +Ġment ally +rest aurant +Table Name +ĠMer cedes +. Visual +Ġan ch +inal g +_r untime +Ġpropri etary +Ġintent ions +iz i +S lice +; "> true +ĠNY C +Ġb ored +ĠD etect +Ġapp ar +Ġje ans +ĠT ak +I OD +ĠH orse +( FILE +( ? +ri que +optim izer +n at +lo ys +ĉ Token +oub ted +u ess +oco a +Data Member +_P OWER +class List +Push Button +ĠWi Fi +. Stream +.g uild +Ġn og +ĠPortug al +ĠUnt er +Pr imitive +b oss +ĠDe utsch +Ġerot ic +Ġstr conv +.Try Parse +Ġgr ams +.S uccess +_p k +ĠHar vey +-m inded +.c ountry +[] " +Ġang el +Ġbe ats +ĠV or +il io +.m aster +s omething +ĠP ACK +( if +Request Body +Ġant es +/w idget +Ġmod o +ĠA W +find er +Ġoptim ized +Ġmiss iles +N B +ĉint ernal +t ex +ĠS ri +Ġdam aging +ĠM ais +- Allow +ĠZ h +- alt +Ġ ));ĊĊ +è ī +Ġinflu ences +Ġc atal +_REG ISTER +ĠAPI s +-cent ury +Ġbi ology +ĠAct ual +Ġhe els +TR ACE +_D IG +D ataset +ĠM atter +Ġclass ifier +.w ikipedia +ĠRog ers +Ġdon ated +raw ler +en en +Ġcas inos +ort al +Ġpr ive +s pe +duc ers +. ep +Ġgr asp +ac ji +Ġd airy +Ġb uses +.com m +. ins +ĠI RS +ĠBe er +ad c +o ard +_M ET +Ġ' +' +r ans +Ġkind a +ĠâĶ Ĥ +ĠM aur +аР³ +Ġband width +ib us +ĠD ifferent +(m at +ĠRes ume +_UN S +est ablish +Ġfon ction +Sub scription +_com pany +Ġlight ly +.con firm +.y aml +ĠBo ost +Com merce +- template +_DEL AY +ĠH I +Ġn avig +(S ender +ĠH S +_ "+ +ĠRE QUEST +Ġw ifi +=" "Ċ +]) -> +Ġro pe +Ġviol ated +Ġgl ance +ĠK urd +Ġè ® +de ck +ĠIS BN +Ġin fect +ĠF oo +Ġget ter +Ġt ener +ap pe +.h h +_h ot +< AM +p oly +! ",Ċ +Ġconver ting +ĠW WE +RO S +(' { +Com mit +) L +ĠO re +Ġsp arse +Ġdis posal +Ġcan celed +åIJ İ +Ġa er +Ġvin yl +á» ĥ +rec ogn +ark ing +Ġtrick y +* s +Ġproceed s +Ġis o +Ġco conut +Ġcraft ed +IEL DS +Ġquest o +Ġcomm un +_CON NECT +Ġtraff icking +De ep +a ções +c odigo +ve au +Ġbet ray +int a +T ED +æ r +m art +_B US +/ sc +ial ly +Ġcigaret tes +è¯ ģ +(n n +Ġmodel ing +/ products +w arn +Ġmet ro +ĠI v +& ) +ĠC able +Î » +Compar ison +g ary +ĠB A +P ART +Ġp v +_up dated +C redit +orth y +observ able +Ġthe atre +B LE +; }ĊĊ +la unch +_str ings +ug o +ĠR PG +- auth +Ð ł +hol m +ĠP and +U id +Ġim ply +ìľ ¼ +'] =' +/ User +Ġstr cat +нÑĭ й +Data Adapter +Ġland sc +Ġdipl omatic +ï¼ ĵ +************************************************************************ **** +ĠCh icken +Ġbc rypt +.In f +[ col +ĠQu antity +- position +Ġdiet ary +Ġfil mm +Is rael +Pre v +ĠMill ion +Ġrem ed +Ġbill ing +Ġout doors +.t m +Ġn ad +F org +Z Z +Ġs sl +], ' +K T +f req += document +bl ur +¬ ¸ +ĠJeff erson +C s +(s ave +Ġstr ap +Ind ia +Ġide ology +BO SE +ĠF P +( ans +Ġfe ver +ĠY am +K ing +à ² +AT ING +bo hydr +roll back +Ġnew Node +ĠN VIDIA +Ġhon our +ĠCon firm +xb d +Ġsuccess or +/ u +l iv +ourn aments +Att achment +Ġgr up +Ġtri be +Ġca res +e ft +_s ame +' label +Ġ ãĢIJ +M otor +Ġin exp +Ġ" (" +_POS ITION +Ġval ley +ĠResult Set +Ġpres erved +Ġmut ations +Ġquestion ing +mun ition +parse Int +ĠS r +ĠMet adata +âĢĿ ï¼Į +timestamp s +Ġtrans itions +í Ļ +Ñ Ĭ +i om +.D o +Ġp ine +Ġf ung +Ġtrans mitted +ct ime +ĠF am +Re vision +B as +UP ER +D estination +toHave BeenCalled +Ġun fortunate +IN ES +_pro f +Am ong +ĠCy ber +ĠB attery +gen re +ĠView Model +- = +Ġutil ized +p aint +.Integer Field +ern ity +comp iler +âĢĭ ĊĊ +ĠM asters +.To Array +Ġstrt ol +ĠUkrain ian +} ));Ċ +Ġsh emale +" That +for all +/ download +Ġrhet oric +.l atitude +ĠWH EN +Ġshock ing +IF IC +.N ormal +_F OLDER +Ġdr ift +Ġmount ing +- book +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ Ċ +ĠWire less +> ".$ +Ġrel ies +( Console +Int ernational +-> {$ +M id +Ġdis sert +dd s +Ġdepos its +ĉd river +# ga +pr ising +print ln +Ġpres enter +Ġmin es +C SS +ĠD ual +(! ( +Ġk am +Ġis Loading +ĠProt ect +. upper +ar ium +]: ĊĊĊ +Y ii +-sh irt +ĠIM AGE +_color s +Ġur gent +.Cont ainer +! (Ċ +S aturday +Ġsoci eties +ĠTh an +ĠC od += @ +Ġattach ments +.m obile +Ġsp ite +Ġb ounce +raw l +instanc etype +ĠTr uck +Ġmanip ulation +( Config +-in st +Ġst or +it ution +Preferred Gap +Ġmain AxisAlignment +Ġlist ened +'' 'ĊĊ +ott age +- project +.AP PLICATION +ĉ root +Ġwh it +Ġb ilder +Ġk er +Ġappl iances +row ave +ìĿ Ģ +ematic s +ĠO rg +op ing +_SE ARCH +Ġch am +add ContainerGap +Ġ( ). +ĠAr row +Il legal +Current ly +Ġus a +Ġpassword s +Ġre nown +av ern +ĠEv il +Ġconc at +Ġdu o +Ġv ale +ĠBe an +Ġindic ators +cm ath +ĠP ump +Nov ember +ific ant +_DOM AIN +reg ar +ĠPort al +" $ +Ġformer ly +"] :Ċ +ĠVis ibility +.getElementsBy ClassName +_RE D +Ġch ampions +à ´ +Val or +_ es +* a +-re peat +B and +.st age +Ġbure auc +C nt +et en +- function +Ġm uito +P ID +_ editor +Ġcrash ed +de ad +k at +ag h +ĠEX T +ass er +-sm all +Ġreal iz +( Entity +ú s +ĠAct ually +ĠEl ite +Ġhel m +(non atomic +ash er +Comm unity +all eng +ir y +ĠG rowth +Ġs ue +Ġfrequ encies +_des criptor +.At tribute +Ġrecip ients +_N S +/ "+ +ib an +Ġath lete +ĠI gn +_D MA +(d s +ĠRequire ments +AD I +ere z +\ Admin +br aska +ĠR ust +Rel ation +C OD +ĠV ERSION +em ma +)) { +.D uration +ĠC amb +- logo +Ġread able +Ġcre ators +() ];Ċ +Up Down +-h alf +.get Month +(s f +P ic +Ġhun ger +.t x +Ġexceed ed +_se ed +( ^ +_s k +.per form +Ġ> :: +Ġm ongo += float +bind Param +Sm art +if a +Ġse curities +Ġpre jud +Ġ, " +Ġcor ps +Ġv ra +amac are +it err +(M edia +uch e +Ġc ob +Ġlib er +. geometry +Loc ator +Ġsl iding +Ġsurg ical +_C UR +Ġcon sect +[ * +ĠRes ort +St ub +_DO UBLE +ĠS oph +Ġelect oral +_dis able +ĠÑģ о +ĠLight ning +Ġment ions +oc y +Ġle aked +Ġrelax ing +Pres enter +v sp +Ġgu ilt +=- =- +.re ply +ĠMir ror +C amp +Ġ+#+ #+#+ +Ġ+#+#+#+ #+#+ +.A uthor +Ġdirect ive +-h ook +íĦ ° +}ĊĊ ĊĊĊ +@ pytest +_r and +m is +Ġcolor ful +u je +lass es +ĠClass es +.h ave +% ), +é¢ ĺ +Ġdistur bing +sub string +ĠK oh +In vest +p urchase +Ġrec ycling +ĠA RT +ier archy +Ġf ps +.check Box +íķ ´ +_m aterial +duc ation +Ġf w +ud it +Ġreview ing +ĠS id +S yntax +ĠW ritten +arg ar +UM E +/ q +Class ifier +Off icial +Ġj azz +Ġom ega +Ph ysics +Ġl ugar +_access or +.command s +Ab ility +ĠB atch +R AM +Ġencount ers +. Qu +BY TE +ĠD istribution +Ġus o +ĠReco very +appro ved +Ġden ial +/sh are +Linked List +)čĊčĊ čĊ +udd y +Ġf ines +Ġr y +Un icode +ĉ render +Ġprem ises +Ġp on +ali ases +/F oundation +c uda +ĠC ock +,: ) +(f older +Ġm éd +dr ag +Ġtal ents +ĠĠĠ ĊĊ +е ÑģÑĤв +m ob +.y ml +Ġa ster +Ġdis cre +go al +ĠGT X +ĠS UCCESS +ĠL ONG +(f ind +Ġsing ular +_s z +ĠEth ereum +.. Ċ +Ġir res +')) {Ċ +Ġmin isters +St eps +ivers al +ĠNever theless +- led +Ġ( %) +ç¡ ® +Ġtime zone +Ġstr anger +(re nder +Ġsh util +Ġm ph +Ġtri o +pp y +Ġpred omin +Ġend ors +ĠRuss ians +ĉ row +Ġw izard +.s erialize +Ġcompl ained +Ġs ido +Ġdelight ed +-m e +ĠR av +H uman +ad ays +rec v +Work ing +J ump +ĠÃ¥ r +ĠAut omatic +_B ase +æł ¼ +aur ants + ¯ +æ ¸ +(C Type +IF I +( amount +Ġbelie ving += mysql +Ġf ir +Ġrest oration +ere co +Ð ¢ +_ '+ +Ġe book +Ġde bris +(input s +AY OUT +Ġscre aming +av ia +land er +Ġdist ress +Ġas sembled +ĠA void +( thread +ĠR PC +_EX IT +( queue +и ÑģÑĤ +D ll +Ġsk ull +_p ub +che z +min ate +ens en +Ġins ane +b ounds +ĠR osen +Ġcondition ing +process ed +v ideos +f our +.Con v +| ;Ċ +Person al +cer pt +:UIControlState Normal +Ġdos es +ĠKar l +ĠFre qu +.B ASE +ĠV ote +Ġcon current +ĠMessageBox Icon +Ġà ĸ +ĠDub ai +ĠR etail +: number +ĠOb server +ĠBig Integer +_ origin +_W ORK +F rames +Ġnot ably +. âĢľ +Ġtrop ical +Ġn iche +am ina +.s ys +(t okens +mod ify +os it +st rom +ĠCom ics +O PTION +T icket +Ġfact ories +Ġdis put +_F ile +ĠFin n +ee e +ĠDisc ord +_m oney +.t pl +_s afe +L B +Ġgl ut +J K +.fl ow +- cont +g os +Ġhor izon +ĠR ush +:: * +P ipe +ull a +bor ough +he imer +(m ove +( Text +} );čĊčĊ +w elcome +ĠCom ponents +Ġgovern ance +c losed +ĉm argin +Ġla undry +ĠTerm inal +iz ards +. âĢĶ +.rem ote +.r adius +ĠQue bec +Ġd h +T ech +ĠM ist +s eller +_l iteral +Ġgen ius +Ġbr ains +g em +ĠMe asure +Ġcata st +r ance +.Text Field +Ġconsum ing +Ġ'\ '' +oubted ly +ĠC ertain +E v +ert i +be ing +Ex perience +Ġ// [ +ĠArab ic +ĠC rist +ĠAz ure +Ġhor a +l adesh +\ Blueprint +d ar +.re l +Ġsup rem +ĠRe agan +ĠAt tributes +-s idebar +Ġuse Styles +ĠA irlines +Ġh ills +/x html +v inc +_m ock +Ċ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ +ĠP ill +.Layout Style +ĠCommand er +] < +sign ature +Ġ{ }čĊ +Ġhat red +Ġë ĭ +ole sterol +Ġ ******** +ancell or +c rop +T IM +ĉĉ ĊĊ +ys qli +uit ive +ĉun set +_s el +Ġmen us +t ick +Ġconstit ute +ĠElement s +ĠRed is +agg io +_f p +_de pend +em as +CA ST +or ange +j on +ĠEm ily +Ġpot atoes +Ġre ceptor +ĠElect ronic +ĠL ights +Ġcomb ining +ĠSome one +Ġ######## . +ĠT OD +/ show +X d +." ' +af x +Ġtr agic +St yled +ĠMar co +G allery +d ale +.âĢĿ ĊĊĊĊ +é rie +/s ervice +äº Ĩ +Ġamb ient +_SET TINGS +.Ad apter +l ene +Ġtrav els +Not ice +Ġcle ans +ĠF em +ch air +Ñĥ н +/ my +_b ad +ĠEcon omics +IS A +_C NT +(M enu +äº İ +ĠR idge +Ġlength y +D ot +Ġjump s +Ġhe y +$ pdf +Ġw orm +Ġs ut +Ġsh er +iam o +ĠCal c +trie ve +Ġc ops +ĠCh rom +Ġreg ulated +reat ment +ĠHigh er +ok s +Ġde ze +LOC ATION +ongs To +Ġfin ite +Ġvar ies +Ġposition ed +' il +éĩ ij +Ġh ike +(d one +play list +Ġad a +Ġcoast al +ĠN ancy +.DateTime Field +Cpp CodeGen +ĠSimilar ly +re ur +ĠCon tr +ĠH idden +ĠB eta +atch ed +_inst all +. Output +Look up +ĠRich mond +qu ared +Ġm anga +-control s +ĠBern ard +L arge +Ġslic es +Ġoff ence +ĠM ega +Ġest ar +Ġjoint s +Ġsum m +_pl atform +B uff +.add Subview +Ġret ained +Let ter +.d im +Ġess ere +ĠS caffold +EX PECT +ĉ RE +.long itude +ü nd +Ġstat ue +.add Widget +ĠCar ibbean +add PreferredGap +il de +UIL abel +ĠOp port +Ġimper ial +urs ion +Ġmand ate +Ġpromot ional +Ġv k +ia ÅĤ +Ġp yl +ĠCre ation +оз д +Ġsim pler +. what +ĠRec ent +St orm +. quantity +ĠL ov +" - +ubb les +_not ification +(w orld +ur ger +* (- +: "Ċ +h m +ans hip +ĠAl most +Ġmotor cycle +_f ee +Ġabsor b +ĠVin cent +Ġsound ed +ÃŃ st +Ġpharm aceutical +ht ag +ĠKind le +ital ize +ĠEm peror +oust ic +Ġspecial ists +åħ ¬ +Border Style +/ \ +RE LATED +(', ', +(ex pr +Ġh t +åį Ī +_C reate +Ġspecial ly +Ġ[] ;čĊ +Ġhe el +Ġse pt +_ arch +(in itial +% .ĊĊ +\", \" +Ġdiscuss es +Ġu pt +Ġ[ & +Ġman us +.h and +ĠM AIN +ĠDen mark +Ġ], čĊ +Ġcr yst +Ġn ack +Co ords +_in ner +Ġmid st +Ġaw ake +ĠÐ ŀ +-b reak +ÃŃ vel +_P ASS +ĠParam s +Ġdet r +Ġsp ider +ĠCon cept +Ġpre nd +CH ED +.Ex it +Ġpop ulated +Ġvirt ue +_SE SSION +Ġnou vel +o auth +Ġд аннÑĭ +r ink +.Header Text +atur ated +Ġer st +Ġå ħ +ॠĩ +_vis ible +ey er +Ġli able +Ġde be +Ġb w +{- # +_W IN +df s +H over +ĠP UT +- angle +Ġnob le +Ġtr aces +enc v +Ġuser Data +_in s +ĠS uz +Ġnews letters +ĠMod i +Ġentreprene urs +Ġtrib ute +Ġrum ors +Ġr r +ĠQu arter +ê³ ł +Ġfeed s +ó g +Ġen velope +Ġle ar +Ġk ø +develop er +Sim ilar +: ")Ċ +sub scription +Mod ifier +ital ic +Ġn asty +Ġtermin ation +Ġchar ming +Ġâ Ł +ton s +.tr ace +h ots +ĠU R +M ont +Ġjust ified +ĠG ang +ine a +Ġb og +( ap +_ $ +Ġcont amin +.D ot +ĉ Debug +( exports +Ġpa ired +ĠAss ignment +Ġautom obile +ĵ į +Ġph ases +v w +@ SuppressWarnings += \ +r ant +- ed +ĉ await +Ġcert ificates +'> " +Ġint act +CT RL +M ike +greg ation +AT TERN +Ġre public +_up per +ili ary +Ġcomput ation +h ire +ĠSh in +_ ANY +ĠManufact urer +ĠC arm +Ġbear ings +_c omb +c ad +ur istic +Ġwholes ale +Ġdon or +.inter faces +press o +ĠBr un +-c lose +pro ve +_S K +ĉf rame +et ros +ĠP ain +_EX P +ĠL T +_f s +.dat as +ĉ ss +vo ir +ĠA xis +M ajor +=" < +[ h +Ġprof ess +igr ate +(s core +Key word +" os +ĠĠĠĠ ĉĊ +an alysis +Ġre play +.p ass +\ d +t ls +Ġsan ct +.l ight +_m obile +ÑģÑĤ ÑĮ +ĉt otal +u ity +Ġpa used +N AS +Ġen core +lo e +Ġ-* -ĊĊ +.h igh +am pler +ĠSec ure +Ġfrag ments +_ vel +ill ary +ĠSte in +ĠD awn +Ġmax imize +ภ¢ +Ġ/ ^ +Ġcontin ually +Ġsh adows +ĉ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +ĠI ActionResult +Ġinform ación +C HECK +.Selected Item +b undle +ol ley +< Int +AIN ER +ĠW ing +tit les +ount ain +C Y +ĠLoc ale +form er +< context +R adioButton +_s chedule +Ġfab ulous +Rob ert +_PRO FILE +Ġg ates +IM P +ĠPent agon +g old +b ach +employ ees +R otate +Ġch amp +Ġsel bst +Al tern +Ġconvert View +/ , +Ġ~ ( +St reet +_ place +Ġpersonal ized +P ublisher +ĠSO CK +_NAMES PACE +ĠStand ards +so ever +_C ENTER +Inter est +ô t +tem perature +View port +get Resource +Ġeat en +Ġsem pre +Ġab normal +Ġc ylinder +Ġtroub les +n od +Ñĭ в +g ames +_g l +Pl ane +g rey +_t bl +.Component Placement +ĠCh ase +Log ging +man y +ì Ĩ +Ġfl ame +="< +Ġtra jectory +_r ing +Ġhydro gen +tr on +Ġstat ute +Ġcondition al +Ġtr ay +-s chool +(w idget +$ config +Ġrequest ing +. uint +et on +brit ies +Of Type +AD MIN +p redict +Ġg egen +ĠH app +OC UMENT +ĠA part +Ġ---- - +ro e +u ide +just ify +ĠSqu ad +Ġprof es +.b ot +_c urrency +inn en +ĠM umbai +ĠNum bers +avana ugh +agn itude +âĢľ There += http +çī ĩ +Ġv b ++' {{ $ +Ġin ode +s il +Ġh ace +Ġsever ely +ĠOver view +Ġspr aw +Ġbeach es +: left +· » +($ { +ĠF IRST +ĠSp a +- ass +Ġb aise +ĠN ODE +ĠP izza +P et +(se q +\ ">Ċ +CppMethod Pointer +Ġv p +Ġi a +_se conds +em et +/b lob +_TH RESH +... čĊ +D est +ĠN H +.data Source +it és +ĠJ ak +s ell +Ġwork shops +< u +Ġr ivals +ĠEX ISTS +h om +-t oken +compat ible +.J Panel +Ġphys icians +art in +Ġdes irable +Ġdistinct ive +.D ep +g id +ili ate +, max +Ġprem iere +Ġq Debug +Ġadvoc acy +Ġwh isper +P t +Ġun changed +_q ty +请 æ±Ĥ +Se ason +avel ength +ĠP ul +Ġd ÃŃa +'] ]],Ċ +al is +(" & +bor o +Ġb m +ĠR adi +w rong +ĠGo ing +ime Type +ij i +- feedback +ĠN ames +ĠB apt +Ġprob able +ĠE ther +ĠPolit ics +_prot ocol +lin ing +S at +Ġcor rel +.Pr imary +(null able +RI ORITY +Ġcolor ing +Ġutil izing +d as +Ġexport ed +Ġcar riers +Con v +. editor +i ó +(h andles +Ġapprec iation +. import +ĠAust ria +ĠStr ip +il ight +Ġappropri ately +ĠP rest +ĠW ir +ĠUI Application +al chemy +ĠM ob +ĠD etermin +ergus on +register ed +_con vert +ĠVlad imir +.Show Dialog +ref lect +Ġsh ook +Ġass ure +ĠO ften +Ġcivil ization +Ġvocab ulary +fore ground +ĠS cope +Ġunw anted +act ing +Ġ( [] +Ġmark ing +. original +ĠMO VE +Ġsport ing +ception s +NS Number +S izes +Ġprovinc ial +_Tr ans +Ġproblem atic +d igit +ĠEm ma +lock s +ĠC rew +ib a +') : +ish a +Ġm amm +Ġocc ured +w cs +(r ule +Ġmerch andise +es pecially +ĠT win +Ġn aming +Ġs log +Ġimpro ves +Ġad her +: text +.h adoop +_HT TP +.to List +.dis abled +Ġl enses +.in i +ĠR are +ĠUb untu +Ġsc ram +ol ation +tit ulo +Every thing +Ġnod ded +icht ig +_const ant +z c +l ift +ĠNot ify +ond o +ĠIN F +(" + +ĠK az +Ġd read +.m apper +le ur +ĠCome y +ĠN B +ic ers +.P ush +ĠH ack +ĠBrazil ian +_pro d +Ġ// ĊĊ +Ġb icycle +Ġun available +Ġadoles cent +bl k +Ġmit ig +_bl ue +ì ĺ +fade In +ĠUtil ities +ĠM N +; k +< style +- status +ind o +Ġinn ings +Ġg j +Ġ|| = +.e u +: Number +Ġcuis ine +ĠURL s +ie k +Ġw ires +ĉ ps +ie g +.m k +so ap +Ġsom etime +Ġst ap +_s eries +.T arget +æ º +.dest ination +OUN TER +R aises +& A +Ġsmart phones +NI Env +.s dk +Ġhelicopt er +Ġim pe +ĠB irth +A U +b readcrumbs +co ords +Ġexplo red +Ġl od +ĠI p +g able +ian e +Ġart ifacts +Box Layout +ا ر +list ener +.c art +ĠH uff +ĠHind u +ĠData Types +ĠDr upal +IGN ORE +Ġoffset s +ĠR TC +- login +æ ® +ĠQ Object +Ġprosec utor +R ock +_ch at +W ay +ì ² +Ġneg lig +Ġd ude +; < +Ġdeleg ates +_f ailed +/ dev +/ work +( New +et able +() " +( Icons +Ġp ork +ĠModel AndView +ĠV IP +ĠK or +m ix +Ġox id +ĠSC REEN +ĠFour th +/ ",Ċ +Ġte e +ĠSte vens +t icks +Ġp ledge +ib bon +ĠLo an +Ġne o +n umpy +ĠShared Preferences +- oriented +ĠLogger Factory +ĠGraph QL +zen ia +" _ +W omen +.c ast +Ġdeliber ately ++ b +ĠAr n +font Size +Ġm aze +Ġbl amed +.m as +} )čĊ +eler ik +Ġsc anning +ĠWork shop +Ġfind en +Ġca ut +UI Font +( return +al in +cast le +//////////////////////////////////////////////////////////////// //////// +Ġincent ive +op ath +b lob +Ġcigaret te +Ġfert il +*/ ĊĊĊ +ĠSh ar +Ċ ĠĠĠĠĠĠĊ +Ġunc ertain +ĠS ton +Oper ations +ĠSp encer +Ġdef in +ĠS olo +on est +·» åĬł +Ġu omo +G ive +Ġdent ro +; padding +ent ai +ĠC ars +Ġenthus iasm +ĠOper ating +S kip +par ation +Ġprotect s +Ġre ver +d g +ĠC incinnati +Ġconsect etur +Ġm uss +employ ed +a uses +ink le +. Values +£ ¼ +lo v +_W ARN +Ġbook mark +ĠAp ollo +. axis +Ġm ét +Ġop ener +Ġtum or +d an +Ġelement ary +Ġsk ipped +ĠK er +as ia +_res p +Ġdem ol +ĠCan adians +Ġt astes +U Integer +Ġ' ${ +.aw s +RO ID +ri ans +M Q +ord able +Ġcous in +Prop agation +(S ession +ph alt +UL D +ĠSc alar +Ġblo ody +Ġ ঠ+.m ask +, q +ĠUn its +Ġcent res +ĠPr im +. ]ĊĊ +ĠSh aw +P rom +ĠTh ought +Check er +_output s +( chan +E INVAL +Ġb ob +_c mp +P ed +Ġmat rices +Ġvrou wen +Ġgenu inely +high light +(d isplay +) != +Ġdel icate +ĠL uther +ĠM iles +Ġuser ID +% = +ate urs +_B UF +---- ---Ċ +imit ives +Ġsh elves +sl ow +_in formation +LE G +W r +.form s +cel and +/ un +: & +.âĢĻ ĊĊ +=" % +Ġpro st +Ġfont size +uc ión +get ic +am t +=" . +Dec or +B rit +Ġ"" ). +Ġfound ing +.File Name +ĠT ier +Ġdisc lose +á m +.s yn +.View Holder +lic ant +_st age +Mon day +Ġdes erialize +t alk +Ġtradition ally +æĢ ģ +Ø ® +LE X +Ġe h +ĉ ROM +Ġ{ })Ċ +Quest ions +nc py +Ġfix ing +к Ñĥ +_ Key +: x +ĠSTR ING +ĠÑĦ ай +ĉ left +ĠBen ch +ell ij +UR RED +ĠDi agram +} catch +/ time +ĠMiss ing +db name +Ġs ore +ĠW alt +ugg ing +rep resent +ĠG S +ne ys +ĉ page +Ġvol can +(b tn +Ġexceed s +Ġ erg +Ġpil ots +ĠS ed +ers ions +Ġpat ron +R V +/ top +. asset +_c ross +. Editor +.t b +Ġwel coming +SC REEN +) findViewById +C oder + ",Ċ +_P in +ues e +Ġover rides +_ ready +Adv anced +Ġop i +-c art +("/ ", +ĠDe b +CR Y +ĠVert ical +ĠO VER +ĠCorpor ate +Ġ"" ; +Ġste pping +e j +Ġaccus ations +Ġor az +_t ail +Ġindu ced +Ġel astic +Ġbl own +, // +Ġbackground s +âĢĻ une +-s dk +Ġset Interval +Ġincent ives +Ġveget able +_ On +exp anded +p ix +_sh ader +ĠSP DX +@ example +ĠW rapper +.Z ero +Pos itive +Ġsp inner +Ġinvent ed +ĠG ates +оÑĤ оÑĢ +Ġcompar isons +è · +.pr imary +data Provider +add itional +ĉ options +s napshot +.set Horizontal +Ġ" {} +ĠFish er +hal ten +< Type +Ġmax Length +ĠM t +Ġê° Ģ +.jet brains +Ġident ifies +Ġflow ing +ĠDisc ussion +ats by +Ġsch w +ught y +Ġr ivers +.un ique +_PH Y +ed ral +( ll +Ġcs rf +pp ers +ü l +ĠEs pecially +port ed +ĠHarr ison +****** */Ċ +Text Color +ìĬ µ +w ire +Ġstatus Code +ĠFin ish +c ence +ĠMcC ain +ĠW or +( await +Ġ) -> +ĠRegister ed +IN ED +k al +par ison +Ġobj eto +V i +mand a +Ġrenew ed +ĠS of +ess el +.nd array +Ġcr ap +ç® ¡ +.ab spath +( up +Ġclear ance +ĠT W +_C OPY +ĠĠĠĠĠĠĠĠĠĠĠĠ ĉ +Ġforest s +Ġarg uably +ĠA SS +he y +am el +_f ore +ĠSou theast +Ġab used +Ġpract icing +aked irs +ä¸ » +_res ources +Ġp ond +.F ixed +Last Error +ĠPsych ology +Ġ" // +! : +Re usable +Ġmens aje +Ġro spy +Ġb our +Ġvar ieties +Ġem path +(( { +_ org +ĠM es +ĠMag ento +IST ORY +Un less +Ġh j +ĠD uty +J un +, size +Ġpaint ings +Ġdisp ens +d art +Ġbehavior al +Ġr pc +cal culate +fr uit +_m m +ĉp thread +Max Length +Ġc urrencies +_cap acity +ĠO z +Ġfire arm +Ġcoeff icient +Ġbankrupt cy +w art +Ġfat igue +AV A +Ġes pa +_p c +ĠQu otes +_L IGHT +ĠT ickets +Ġrel ates +Ġpublish ers +Ġunlock ed +Ġ// ---------------------------------------------------------------- +ĠInterrupt edException +Ġout look +r n +Ġreb els +W ritten +Ġas ian +ot to +Ġ ĉĉĉĉ +_g pu +T xt +.Image View +Ġsu is +_t ables +.Rec yclerView +Ġwhat soever +è ģ +] ++;Ċ +assert True +_ verify +ĠR ivers +Ġ ][ +J et +id ian +S ibling +Ġgen res +.A ccess +OP S +Ġtr ivial +ภª +al en +в ед +ĠS word +Ġscrut iny +(c b +Ġcomm erce +Ġguarante es +_ad v +ĠL ET +rec io +Ġh ilar +Ġback yard +ãĢ ı +Ġillustr ated +/v endor +. Util +Ġw ow +LO Y +ĠMar shal +"> '.$ +ĠB ak +Ġmod ifiers +d ictionary +ĠSt re +m ultiple +")) , +ĠC ort +'] "). +( admin +ĠCre ator +Int ernet +( ms +log y +DECL ARE +ĠMarc us +<< << +ãģ ł +_m y +(in st +Ġsc iences +ND ER +. enter +Ġit u +Ġbeh ave +P an +omb ies +=' < +')) ;čĊ +ĠM ENU +ĠWork ers +.No Error +Ġbind ings +Ġdis abilities +{ \ +ĠM unicip +Ġco res +ur ple +ĠN okia +us ions +ĠF itness +.handle Change +Ġjav ascript +ìļ Ķ +( dec +Ġpack ing +-de pend +Ġtrans cript +z eros +_ alert +? ",Ċ +lib s +± оÑĤ +Ġ| ĊĊ +tr ained +ĠG ent +ĠR ab +x p +_config uration +å¤ © +_ accept +.rec yclerview +: url +ĠMu hammad +Ġprivile ges +_b ank +uk u +w allet +ĠRO OT +Ġenc uent +? family +ĉ position +Ġc g +Ġprec ip +method s +_f ast +in crement +ĠT iger +_OCC URRED +qu ip +ĠH AS +_d om +Ġw reck +b j +Ġd ern +Ġorg ans +. entries +Ġ_ (' +ram ento +ĠJam ie +Ġp unk +IP P +Ġprogram a +Ġatt ain +Ġpro ves +/s ign +Ġanswer ing +Ġl adder +************************ **** +ĠW almart +ĠCONT ENT +duct or +Ġver bal +ĠP ID +c rypto +_CALL BACK +Ġ= ================================ +Ġpot ent +Ġshort s +.U ri +.un iform +; border +ĠW er +Ġhere in +ll a +ĠI hr +P ixmap +l iteral +! )ĊĊ +g eneric +r ust +_script s +ost o +it us +ĠCoal ition +Ġrem ot +de ploy +ĠEag le +ãĢģ ãĢĮ +Ġimportant e +ĉ object +Ġseason al +ne j +aid u +Bind View +ĠSi erra +-b g +Ġmake Styles +[ offset +G ames +Ġhorm one +AR IO +head s +( select +ĠStart ed +@ param +_de cl +_b log +Ġa ño +\ Api +ĠMil waukee +Pro vid +An imated +Ġcool er +ĠSe ed +. Edit +Ï Ħ +ĠT aking +Ġborder Color +-found er +.Logger Factory +Ġ"" ĊĊ +AL T +ĠL ate +EDI ATE +Ġ);ĊĊ Ċ +af a +Ġcancell ation +At om +ĠB irmingham +emp resa +HE MA +asc al +Ġup side +.V ersion +ĠF older +ĠE ight +ĠV intage +ĠApp Delegate +ĠPre vention +.se parator +ST M +( room +gener ator +Ġc attle +ĉ Z +ĠPart icle +' };Ċ +Ġneighb ours +ĠState less +Ġalt itude +Ġsa int +об ав +Ġconv inc +ĠCont ents +Ġje une +(t s +Serial ization +(c ollection +ĠJ azz +ĠD od +ĠR och +ac io +comm ended +DEF INE +.on load +Ġspecial ty +PL ACE +_MO VE +Ġaccount able +Re uters +Ġf icken +Ġde pr +W ow +V oid +.s pace +à¸ Ĺ +Ġt q +ĠP ets +< $ +(C urrent +ber ries +plan ation +Ġlist Of +ĠTh u +ĠPR INT +Ġm ismo +Ġdo i +ch k +ĠUn icode +( role +Ġvir gin +< Point +_RESP ONSE +-h ouse +ĠVenez uela +EM AIL +Ġp úb +_ex ist +B all +.C L +re ferences +ĠBeautiful Soup +ĉ Expect +TH IS +Ñĥ д +b ane +Ġtemp oral +ER IC +et as +Ġrefresh ing +Ġsec ular +@ synthesize +ac cur +Ġn ella +ĠS OL +.p ipe +Ch annels +èĩ ª +Ġinsert ion +á» ĭ +el ia +Ġadjust able +Can ada +ĠI TEM +Ġcur ves +ĠChe ap +let ing +Ġoptim istic +al lo +Ġpolit ician +_down load += edge +ORT H +Ġmodel o +art o +. rotate +Ġs elenium +æĪ ij +_al ias +Ġrenown ed +.' . +Ġc zy +Ġal les +.Com piler +ĠB ass +Conn ector +.R ole +L INK +Ġc riterion +lem etry +Success fully +/p ng +Ġey eb +asp berry +( gr +Ġd angers +Ġcorrect ed +Ġgl ow +Ġelabor ate +ĠB ears +aw ai +=" '+ +Ġpromot ions +Ġmathematic al +Ġ" ` +_Generic Class +ĠChe f +.S ort +table Name +R IC +Ġvolunt ary +ĠBl ade +-e lect +ĠCom bat +ĠAb ility +Ġab dom +Ġd uck +T mp +åħ ¨ +Ġer ase +.P h +ĠDefault s +p artment +_US B +ê te +; ' +Ġp ads +ĠOb amacare +.T otal +Ġdiv ert +Ġcr icket +Ġrecre ational +( red +ĠC le +R U +Ġmist aken +ĠMont ana +Ġstr ive +_sl ider +ĠPl astic +Ġdecor ated +ĠV P +lic o +ĉf alse +Ġpre fs +( \" +_f alse +i endo +Ġ@ $ +B ucket +act ical +ĠZ hang +.c ols +.B inding +Ġw ax +_ST ORAGE +Ġlaw n +Ġr f +.Sc ene +ĠCal culator +.d esign +Ġres il +л ем +E mploy +ĠPr ices +ĠP WM +ag i +.e valuate +ĉ param +Ġbr ass +bb en +Ġinflamm ation +ull ivan +Ġan not +Ġp H +iam eter +ĠB TC +( box +Story board +Ġcl ay +.assert Raises +| string +.App ly +Ġmatch er +und ed +Ġsatisf ying +Ġìł ķ +Render ing +_app ro +ind rome +AN EL +_f ix +br ush +.M atch +Ġsm iling +on aut +S unday +Ġdelet ion +Ġencour ages +P ull +Ġreven ge +Ġqu arry +tr ade +Ġc ables +(d elta +ites pace +Ġf h +.b unifu +Ġvi el +_IN CLUDED +ĠT ail +ad ar +of s +Ġmet als +g om +_method s +Ġn j +.St d +(w in +$ (' +Ġt urtle +ur on +Ġen rolled +ĠH z +ĠBox Decoration +Ġp ont +rel ationship +B i +³ » +Ġmas cul +Ġsh ades +Ġv r +ĠLog ic +Ġa in +ĠD IST +Ġcoll ar +" profile +Generated Value +ĠP ossible +Ġe ines +ĥ ģ +.time out +ĠE c +Ġjer sey +.D ouble +Ġqual ifying +v or +CRE EN +_A pp +_rec v +Ġali ens +It s +E sc +i ator +ĠE clipse +Ġg h +V ict +ĉ html +to o +. const +Ġant erior +ĠW u +(key s +Ġul tr +_p oly +ĠT ap +ĠB ud +A WS +Ġcrash es +_t ot +Cont in +-h anded +alth ough +ภļ +ific ent +Ġde ve +ut ory +ĠW orth +_M S +Ġfloor ing +Ġsell ers +ĠThank sgiving +Ġp ng +Ġval ores +Ġslee ve +Ġfil le +Ð IJ +Ġappoint ments +Ġv im +User Info +BO OST +Ġpos ed +initial ized +.product s +ĠLeaders hip +man uel +' % +em arks +Per centage +(d ist +. avatar +(h Object +ä» Ĭ +_ iff +ic one +; ) +_n il +Ġab ol +е ÑģÑĤ +Ġven ues +.Con vert +! ')Ċ +.B itmap +sk in +_C OLUMN +Re v +G RESS +g ow +Ġw ished +tract s +.assert False +Ġscreens hot +Ġfo is +Com b +Line Width +ĠGr ab +Ġint ensive +ĉ sh ++ ) +.first Name +_PRO CESS +Ġt ilt +it ored +.L OG +Ġb ak +Ġintention ally +.play ers +(c anvas +)) )čĊ +.Pro vider +_P UBLIC +T alk +ĠL iv +ched ulers +Ġl c +ad ic +feature d +.res ources +Full Name +Ġmean while +B uffers +Ġres olver +ĠS AP +_T E +G NU +ĠForms Module +_ wh +ĠS we +.widget s +Ġcabin ets +Ġsus cept +ĠB ott +activ ex +av ar +ant ics +Ġ" =" +_k wargs +Ġgame Object +ĠAng le +.I ter +mar sh +ĠB irthday +ĠC MS +request s +ĠPear l +_E OL +Ġlin ux +( org +_M ouse +.con structor +Ġz d +Ġk icks +art isan +Ġe ax +K n +pon ge +ĠFin land +Ġmet res +ĠAss essment +part ner +/ pre +! ',Ċ +[ Int +Ġos lo +date picker +/ String +op lay +ĠHe brew +, double +Ġtrab al ++" \ +ĉ EIF +/ text +_F IRST +ĠP ete +Ġe go +Ġextr as +P DO +Ġreg ulate +ĠQ Widget +st s +ĠSh ows +ĠN HS +.c ourse +p thread +ĠF uel +.t imes +Ġ ° +Ġstr ides +($ ('# +( words +Ġrhyth m +Ġsp ont +Ġsens ation +Ġsp ike +C losing +页 éĿ¢ +N umeric +Ġbreat he +Ġfin ale +_F ACT +in ion +Ġch ill +Ġform ally +ANG ED +Ġ' :' +ĠпÑĢ и +a q +ĠFab ric +(l at +ĠPr incipal +Ġer ro +oc ale +N om +Ġf ost +_C USTOM +.int ellij +ert ools +Ġcl asse +adi ents +Ġfundra ising +EN E +_OPTION S +_ ob +// }Ċ +Ġprote ctions +.se ed +N V +term inal +;; ; +P redicate +Ġì ¶ +Ġbomb ing +G F +Ġch ew +)) ). +qual ified +] ={ +list en +C ENT +d igest +E ast +Ġd iver +Ġend points +Ġe e +Ġcolle ague +Ġdissert ation +_com mit +_D AT +. rc +Ġbre asts +ĠR ug +ĠP il +Contract s +ĠBry an +Web View +Ġconcent rate +ĠIn ner +Ġ' | +std out +_S ub +> -->Ċ +V ol +ĠS SD +)) ), +. Optional +Ġnurs es +Ġor b +_ pe +);čĊ čĊčĊ +pl aced +ess er +Ġther apeutic +Ġwhites pace +Ġa ston +Success ful +Ġpr aised +ĠW es +Ġe ighth +ir al +Ġvrou w +Ġf action +_b ias +Ġw itch +Ġnp c +(s b +ĠRod rig +_b ig +Dep endency +ĠAb raham +ard i +C AR +n os +Ġabund ance +Ġnut rients +in stein +.V ert +ĠI SS +< U +Ġsum s +_h ist +Ġfar mer +ĠA br +Sh ot +ĠBad Request +Ġh ass +ĠR ails +Ġaffili ated +æĿ ¥ +Ġer f +IN F +ĠView Holder +min i +ĠR oth +Ġfaith ful +ĠPhill ips +AND OM +]. [ +_P AY +ĠAr ctic +f aker +D igit +M ale +std err +se ys +Ġ Å¡ +_rem ote +li que +Ġin def +ĠIndust ries +it ra +_p airs +< iostream +Ġsal aries +ik en +.F rame +PL IC +_S PEC +ĠMed iterr +Ġsystem atic +Ġinter rog +Icon Button +se a +int ro +ĠIss ues +enc rypted +Ġintern ationally +Ġsn printf +Ġpast a +ĠBrad ley +_ Status +AL K +_P AD +.l aunch +< select +Ġhar dest +Ġph y +Ġ(( * +-s lide +ĠNob ody +S u +Ġas ÃŃ +close st +_initial izer +Ġsupport er +-g en +Ġt ales +Ġcor p +_f u +s at +ne ighbor +.M igrations +Ġal gun +Ġsin on +.S pec +? ,Ċ +.G L +m ale +Ġmon itors +yl an +-L icense +.m atches +ĠA BS +ĠM ast +ĠW allet +($ ("# +Dir ty +Ġco pe +Ġinterpol ation +ous ed +ĠJ ets +.F LAG +.C ancel +.Event s +ne ver +ĠM Hz +> D +Ġs ervlet +bast ian +Ġ> & +S ID +_cl k +Ġdiv isions +} ',Ċ +Ġd ildo +Ġpar ade +m ajor +Ġab oard +; ++ +Ġf usion +"}, {" +ĠDialog Result +ĉ arr +- em +_n r +(h andler +.N ET +.Xtra Reports +ĠSh ah +ĠB rief +- , +Ġprec io +ĉĉĉ ĠĠĠĠĠĠ +Ġt ant +ĠGrand e +/ xml +_IC ON +ĠR etro +un que +Ġn ag +to Fixed +X L +Ġdecl aring +ĠCon crete +ĠAm azing +ĉprint k +Ġdeb ates +D ATED +Ġaest hetic +emet ery +Routing Module +ĠNash ville +W AYS +Ġw olf +Ġobserv ers +OT A +ans on +Ġe a +Ġgreen house +ĵį ä½ľ +Ġst air +Ġimmigr ant +_app ly +pe are +ĠBloom berg +_PL AYER +Res p +æŃ £ +Cho oser +ĠI Collection +P eter +Er ro +.detect Changes +Map s +Ġs queeze +ĠHom es +weg ian +Ġformat ting +Ġnegot iate +ul d +ĠN ep +ĠQ B +Ġeconom ies +Ġ*/ , +Ġredu nd +ĠA ber +.IsNullOr WhiteSpace +yc led +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĊ +_S h +Ġske pt +Ġre created +Ġget Type +Ġmarg ins +Ġcolon ial +ch arts +// @ +Ġprocess ors +è¯ ´ +b atis +æĦ ı +ator io +mention ed +P atient +Ġpre y +Check box +_x path +.s kip +ĠMorm on +ĠMemory Stream +CRE MENT +Ġk u +m eld +\ Data +ĠK ernel +il tr +éĢ ģ +( profile +Car bon +RO LE +( pl +] *( +.m emory +Ġmed al +Ġadvis or +it ät +Ġh dr +ier ung +ĠProvid es +( alpha +Ġteen agers +- parser +.L atLng +] ()Ċ +Ġfel ony +ĉĉĉĊ ĉĉĉĊ +BO OK +Ġsl ash +Ġclear fix +ĠPro phet +å® ¹ +right ness +-f i +.k ind +ert on +J im +Ġmanip ulate +Ġworks heet +ol in +st ars +Ġart ifact +_EM PTY +ĉm ain +------------- ' ; +Ġexpress ing +ĠI Q +ĠF act +/************************************************************************ *******Ċ +_m ass +)) : +Ġcon dom +Ġcreate State +omet own +Ġir r +Ġ> ( +> B +iter ation +ãĥ ª +Ġshirt s +ount y +-> $ +_S IGN +ĠD ale +Ġj j +E asy +F re +ĠN y +Ġch lor +match ed +ĠG erm +- UA +ĠN athan +educ ation +-y ard +- che +h ouses +r itional +Ġprox imity +Ġdies em +áºŃ p +Ġd rought +.a udio +ĠLe o +Ġfavor able +in ch +ĠD aw +rib ly +_st udent +id able +O VE +Ġlack s +ounc ing +.b usiness +Ġre open +may be +_G LOBAL +Ġdress es +ĠEd wards +ens ible +ĠHard ware +ĠEx cellent +ĠTime Unit +CTION S +Ġsched ules +Ġseg ue +Op ens +am men +- Identifier +Ġst aring +Ġhapp ily +ĠH ob +' _ +Ġ" ); +ament os +et ched +Ġ/> }Ċ +. Users +Ġinterrupt ed +Contact s +Ġreg istro +in burgh +CH A +_ imp +ph is +s ay +Ġretail er +.N ODE +/ maps +_L AST +ĠCh arge +_g uard +Coll ider +ĠStateless Widget +": [" +(" ../../ +iox ide +ĠS und +Ġ'' ; +un set +add Widget +л Ñİ +el les +alk er +A rc +Ġded uct +G UILayout +ĠV illa +Ġfor bidden +_ where +Ġ\ / +ĠT ib +_A X +] čĊčĊ +ĠB ir +Ġb end +ĠMA KE +ĠM ET +Ġfut ures +Ġweight ed +"" "čĊ +Ġauthor ize +(pro gram +}, {" +Ġcoeff icients +ê s +Per Page +ĠBath room +ĠPublish ing +G PL +Ġsub missions +ĠNUM BER +j Äħ +Ġaddition ally +em pre +ĠSh el +ot yp +S olution +Ġth under +_ ec +ĠĊ ĠĠĠĠĊ +ĠF ellow +Ġk ay +Ġnew State +ONT AL +Im plementation +.L ook +Ġ ents +Ġl ors +ĠB IG +f ab +Ġaver aged +ĠFe edback +ĠW ells +Ġm artial +Ġind ul +ĠComm unist +ĠFore x +ĠAgricult ure +" [ +Ġqu ar +ĠK ont +ĉ view +. Bytes +des ktop +ĠM akes +akes peare +.Null able +Ġspot light +V B +ow y +(t orch +tr idge +_b ounds +Ġapolog ize +.add Item +ant d +* );Ċ +, u +(g en +ç» ĵ +re ator +ĠC ord +ou pper +.m etro +Ġ ew +ĠW ORD +.A fter +Ġdet ained +ĠHam mer +ex isting +Ġo st +Ġmon ument +-c ustom +User ID +ĠN om +Ġre jection +(d im +Ġsingle ton +ĉd ie +ari ance +re ports +] != +eld a +Ġpreval ence +_reg s +." . +Ġfemin ist +Code c +Ġ **Ċ +(label s +_M ARK +FA ILED +Ġadminister ed +W N +ĠĠĠĠĠĠĠĠ ĉĉ +Ġn oun +w ig +Ġg otta +Ġr if +- im +ĠPaul o +ĠCommand Type +] ))ĊĊ +-z ero +Tr aining +Ġl ord +_ art +re ddit +C ert +Ġpes o +R ot +Ġend anger +.d r +user Info +un ts +n v +ĠTrail er +-f irst +(m ake +Ġbenef ici +-bl ack +i ÃŁ +Ġund oubtedly +Ġm ex +ĠAnc ient +( as +Ġdes cent +P ick +Ġrep lica +$ obj +ä hr +Ġar rows +ft y +ĠLib ya +ug a +charg ed +T ur +Ġh omic +iss en +ĠF ake +Ġbe ers +Ġsc attered +( Time +UT IL +Ġbureauc r +/pl ain +Ġstick ing +FA IL +ĠC ovid +Th ird +_p resent +ĠPier re +Ġë ª +Ġ[... ]ĊĊ +Pro b +ĠTra ffic +ica o +do ctor +Ġ), ĊĊ +T abs +al u +ï¼ļ âĢľ +Ġinher ent +_N o +rit is +ĠPro of +.b asename +ä¼ ļ +Ġch im +ĠProt ected +c rit +Ġpr one +Ġк он +ĠHero es +Ġan xious +Ġan os +Ġweek ends +Ġs ext +Ġredu cer += UTF +h alf +ĠS aw +.m m +Ġnue va +.current Target +.l ua +_EXT ENSION +ĉ reg +ĠC trl +_ align +accept able +Ġrush ing +fr ac +Ġbo asts +F ive + ± +ĠTem perature +> ): +Ġchar ter +RE ATED +Ġsubject ed +Ġop c +health y +使 çĶ¨ +ĠScient ific +Ġfra u +ri ages +ภĶ +.in ventory +ation ale +M ad +min utes +>> ();Ċ +ĠEn v +Ġrecord ings +Ġsusp icion +sql ite +ĉ read +ãģ ¦ +Ġwor ries +.put String +ĠSh anghai +( uid +r er +ĠvÃŃ de +") : +Ġmethod ology +Ġк оÑĤоÑĢ +cc c +av ad +Ġindu ction +ĉ Thread +, string +ạ i +neh men +u ition +Ġ* __ +.em f +Ġì ľ +/th emes +ĠN ine +. One +ĠEm bed +Ġf az +u ations +Ġpriv ately +Ġl ing +[ F +ush i +Ġlaunch es +( KEY +G MT +Ġaim ing +pat ible +ĠB iden +i w +ĠD egree +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġ$ ('< +á rios +to UpperCase +ìł ľ +ĠE UR +Ġovers ight +Ġtable sp +Up dates +.m akedirs +Ġhum idity +/ template +Al ways +( IS +_c ert +D ig +Ġunder way +ort on +ĠHur ricane +Ġsp ends +ĠSeg ment +Ġfl ies +ĠT oggle +ĠLyn ch +Ġs enses +ĠK os +set Enabled +ist ically +Ġtest er +Ġadministr ators +Ġtag ged +Ð ĵ +Ġshort cut +ĠRes olution +Ġsuperv ision +ĠAsh ley +Tr acking +ul atory +and el +ist en +Ġun re +(d iff +ANT S +Ġr ider +Ġs Äħ +.S eries +_ orders +ORIZ ONTAL +Ġret ention +ãĢĤ čĊčĊ +Ġdi agonal +ĠC ancellationToken +_ Internal +Ġru in +.Q t +ocr atic +T el +ĠAn swers +m atic +Ġx p +at em +_j obs +_ any +Ġsen iors +Ġland mark +ĠQ List +Ġman eu +ot ify +/ ";Ċ +/ server +ĠPhil osoph +uten ant +( io +h z +Ġauthentic ated +d v +- Compatible +Origin ally +, function +ãĢĤ čĊ +ĠRepresent ative +as ily +irc uit +.d t +(m ath +.M arshal +[ , +ĠC ities +_ turn +| )Ċ +Ġcant idad +al ter +ĉ ui +ĠNe braska +Ġsk irt +.b g +Shared Preferences +( style +Ġg rief +g ew +Ġsaf eg +ol ang +_l ists +ì Ľ +Ġgran ite +Ġhott est +.j dbc +.C ustomer +Ġâī ¤ +Ġwa ar +_sc ene ++' / +ĠJ TextField +Ġse ating +Ġwe ars +Ġ` / +C ases +ĠY outube +ı m +Ġbal con +, G +Meta Data +- price +SC R +Un ity +Ġtr unk +={` ${ +Ġearthqu ake +Part ial +Ġsub st +Ġelim in +=" '. +//* [@ +Ġsuperv isor +vro let +_ article +Ġp ane +b io +Ġmot ors +N M +F rank +Ġon ion +- word +Item ClickListener +Ġb rit +end encies +Com puter +_r unning +( day +- he +(n amed +ĠS ach +о Ñĩ +c ampaign +.Ab stract +(w rapper +.p ay +Ġu w +Ge o +r ails +/ select +icht e +son s +E VENT +Ġal iment +Pro viders +A wait +_INTER VAL +. off +Ġgl uten +_cl oud +Ġw en +.ex tract +ĉ button +/ MM +Part y +Ġdem ographic +_err no +Ġh iking +(' ')Ċ +", @" +Ġw it +r á +olog ie +ĠSt yles +ĠBrowser Module +.Request Mapping +ic ans +P AGE +cre ation +ĠF erguson +ud ed +num bers +ĠGT K +Ġpresent ations +ĠB obby +_s pan +est yle +Ġilleg ally +abel a +Ġbattle field +cap acity +ter ror +] ");Ċ +Ġwar rior +le ader +ĠDB G +ĠRe venue +Ġvig il +Ġcounter parts +( Error +ACT ER +Ġhe eft +Ġselection s +ze ug +t om +-t wo +. ;Ċ +_st atement +ĠA id +ĠV ul +_r gb +Ġpr izes +Ġedit able +ĉ form +ın ı +.de cor +D emo +lic es +Ġen ctype +rat ulations +ĠR OS +_ch ars +ĠJ ahr +part ial +Ñĥ ÑĤ +ĠRe ceive +ĠL ands +AP TER +Ġch opped +.. " +ĠAn aly +ĠU ID +ĠR adeon +ĠB ee +Ġun m +> M +.find all +Token izer +ĠWH AT +Ġs j +D rawing +E ss +ON D +Ĭ ¶ +(p acket +âĢĶ but +Inv ocation +ĠN uclear +? ;Ċ +Ġgrand es +ĠC rypt +rem ark +Ġ'../../ ../../ +Ġin ability +m agic +c ats +Ġsim ulate +: ${ +in flate +Ġen er +: NO +ip les +Ġmer it +ĠR ated +Ġgl ue +/b log +Ġg ren +Ġthr illed +.C H +unc an +ĠPR IMARY +Ġper sec +Ġfe ared +.M IN +ĠThe ater +é Ĵ +ategor ie +æ® µ +Ġappet ite +s quare +ĠAlex and +.User Id +_g t +_ enter +Ġgradu ates +Fragment Manager +Author ize +-N LS +(M y +Ġtri umph +ust ing +_PARAM S +Char acters +(: ,:, +_B UILD +M Hz +Ġwash ed +Ġun cle +Ste ve +ard own + ${ +_confirm ation +Ġtro phy +Work s +ĠElect ronics +ĠMediterr anean +_m etrics +Ġannounc ing +ĠD AY +_pro to +Ġp ear +base Url +ĉĉĉĉĉĉĉĉ Ċ +Ġcoord ination +: N +.an imate +ĠC otton +_h it +â ľ +Ġjet zt +if ter +(f ields +own load +ific acion +.c uda +ĠLi u +> equals +ĠA ce +ÑĢаР¼ +ĠSuper man +ĠGarc ia +Ġarrest s +ag ar +Ġ{} ) +Ġmac ros +rou pe +ê tre +Ġtw isted +str uments +_ (" +_ vertices +ĠTrans ition +и к +[ max +m ind +Ġaccess Token +Ġun le +m us +c op +ĠF actor +Ġcon ced +Ġre tr +.l inalg +-s lider +ob l +_Static Fields +Ġz ombie +s elling +Ġch ap +Ġsh aking +ĠTrans late +ĠAm sterdam +ĠE TH +_EX TERN +k d +_d isc +Ġpreced ing +Ġpri x +Object Name +_mod ified +ard ware +Ġ?> "> +ĠD W +` ${ +Ġ?> ">ĊĊ +Ġspin ning +_p ending +Match ers +. Keys +ĠP V +en us +ant is +Ġdisc ard +Ġh aul +Ġem pir +Ġpath way +Ġo ak +м ен +-ind uced +Ġimp air +ĠCal gary +.is Hidden +d z +_ include +Ġg m +Ġ' (' +P Y +uggest ions +Ġcommod ity +c ro +/ sub +Ġget Instance +ĠLeg acy +ĠK il +B al +( short +In form ++ x +* r +ĠHope fully +or ate +Ġmach en +Ġtreat y +ĠO ri +.p ublic +-h orizontal +Ġtact ic +Ġb ord +w ares +Ġam mo +ĠL ists +Ġequ ations +/ her +ĠNS W +B ounding +_C ollections +Ġav ail +.Drop Down +è ° +Ġh h +Ġl Ãł +.p b +Ġmemor ial +ĠAT TR +Ġexhaust ed +Ġt sp +ĉ redirect +Ġlik ewise +ST ER +L java +Ġcondem ned +oca ust +(str ict +Ġexem pt +Ġs ms +Ġex agger +S YS +Ġl ounge +: ^ +Ġto dd +de b +ator ial +ĠPort er +Ġtu ition +Ġexem pl +Ġp aren +.line To +Ġkid ney +Ġç a +Ġc ui +ï¼Į 请 +X C +Ġmo ż +Ġnomin ated +l ung +Im Gui +ĠB uzz +Ġstere o +port al +res as +Ġk lass +Ġdraft ed +Ġproject ile +/g pl +(param eters +* )Ċ +Ġassist ed +ĠNS Integer +s itemap +:n th +.View s +.Argument Parser +Ġme er +z ier +ĠD ig +Ċ +Ġpl ag +p ine +Ġblank et +Ġ: - +Ġl cd +------------ --- +(" " +Ġtact ical +ĠRon ald +ex tr +ĠF est +Ġf uer +-n avigation +Ġk b +gh ost +Ġhandle Change +_cl s +() != +Com parator +.v m +ĠCo x +_re view +/ @ +_c ookie +Ġrecogn ised +ld ap +Thread s +ĠSex ual +ĠB earing +(S QL +Ġx r +Ġth igh +URL Connection +ĠSU V +Ġm Context +Ġinc idence +ĠE ste +.s up +_t e +(EX IT +C MD +/ "> +Al most +ĠU ne +Ġand eren +ĠSingle ton +Ġb ore +Th ink +Ġn arc +] initWith +_sh op +(str ategy +! ', +her its +ĠDes k +_m achine +.net ty +ı nda += < +ĠQ R +ĠS idebar +.split Container +Ġon Success +Ġmon key +En joy +(n odes +pect rum +Ġ(* ( +ĉU INT +, height +ĠNetwork s +.t ail +.l inspace +Ġ" ... +List en +Æ ¡ +.Ch annel +- defined +Re peat +ad just +ER M +_ application +.assert NotNull +- stream +Ġr abbit +Ġposition ing +Ġw oke +Ġf ing +Ġmulti player +Ġregister ing +un til +Ã¥ n +( :: +uss ions +Ġpot ato +ĠE quals +.S up +/ap ache +Ġ( = +. ") +.p tr +ĠSpe ech +.cl ip +ĠGab riel +Ġmusic ian +/ issues +.sh op +ĠH ier +_RE T +_b ucket +ãĥ ¡ +av s +Ġro z +fl ower +Write Barrier +ĠMil an +Ġlegisl ature +ĠD oll +Ġprov ing +.concat enate +âķ IJ +Ġg char +cdn js +b les +ĠList ing +л о +.xr Label +ĠS ak +just ice +ĠVal entine +un less +Ġp iger +(r un +Ġtest ified +AN A +ĠRem oves +)) ));Ċ +rec ated +ĠRuntime Method +Ġcon qu +ãĤ ¢ +Ġt issues +ail er +ét é +- Star +Ġfl ames +.set Icon +Ġsup ern +Ġvag ina +- variable +Ġwell ness +C UR +Ġbel le +.get Request +Ġp oco +ben h +ag ens +Ġsp ill +ĠJ ur +Ġdispatch er +н ого +emon ic +(dir name +ĠÐ Ķ +Ġpas se +Ġg anz +ric ing +E U +Ġmuj eres +ess en +.at tribute +j j +ĉĉ ĠĊ +[ ^ +Ġstrtol ower +lex er +ect ar +hot el +.s quare +Ġr all +Ġlower ed +hand led +Mark et +ĠUs es +iv as +.B usiness +ãģĹãģ ¦ +D IV +Ġw asted +Ġav oir +ê m +_ACC OUNT +. et +ĉ SDL +k ap +Ġf ox +up pet +{ },Ċ +", ' +F avorite +P END +ĠA ES +} ), +Ġded uction +Ġpol ÃŃt +Ġcomponent Will +ĠT elerik +_SE LF +Ġm use +C raft +Ġd ens +ठ¿ +( tp +Ġt asty +Ġbal ances +Ġded ication +ĠWall ace +Ġun law +\"> \ +Ġm um +- update +ement e +Ġs oda +Re public +as mine +é ric +( Status +ĠJson Convert +ĠD isk +.Red irect +Ġfilm ing +/m ol +R o +Ġv ille +Ġtrab aj +Ġsyn thesis +reg a +Ġr l +S cheduler +ISH ED +current User +(error s +' h +_b ot +x imo +ĠUS ART +_s uper +_DEC REF +н ой +_RO W +Ġprom otes +ĠT A +Ġhor as +ĠRep resents +Ġname of +ĠEx c +ĠGar age +Ġse ine +, # +Ġher b +/ resources +Ġple aded +.r adioButton +Ġæ ĺ +O ps +ĠN est +c string +ĠDef ence +Ġref ere +_le af +Ġrevel ation +ë § +.execute Update +_W ORLD +Ġexp ans +(" \" +j ab +Ġdoub ts +ĠGe ometry +Ġintrodu ces +Ġsen ators +Ġcan al +.h elper +ĠBi ology +_SE NS +.pre vious +-t ouch +ab it +Ġimpact ed +Ġbr ackets +.d irect +acc um +Ġtest osterone +ĉ action +ĠCh ance +Ġpe aks +CppCodeGen WriteBarrier +Ġun belie +_p ress +.R el +ang led +/ templates +-- >čĊ +l ime +Ġsufficient ly +_ nt +Exp and +.is file +Ġis Empty +Ġq t +Ġmul her +ac ob +Ge orge +å¸ ¸ +Ġass im +as o +Ġcompr ised +O V +(CON FIG +ĉw riter +Ġdes p +Ġten ure +(c r +.p ool +ĠB rend +Ġc ensor +(time out +Ġple a +.W rap +Ġtight ly +ĠW ere +ĠI gnore +abe i +Ġbr idges +Ġcondem n +Ġsimp licity +Ġrout inely +Ġblack s +j b +ĠP it +U tf +Ġ/ Ċ +re load +Ġset Object +/g lobal +Ġf atty +Ġsock s +Could n +Ġerot isk +æĿ ¡ +ĠPress ure +ĠM az +n pos +tol ower +ĠE Q +ute ur +ĠM oment +Ġet a +{{ -- +Ġgraph s +ĠGu ar +r ine +( -- +ĠHttp Status +(st udent +* np +Ġrail way +Ġas ynchronous +_v m +'] ,' +, text +mer chant +(G uid +ĠG ra +ix er +fetch All +.add Listener +fl ip +* $ +> (), +Ġsun light +ass igned +Ġab c +ĠC OLUMN +ĠðŁĻĤ ĊĊ +) ... +Ġen semble +Ġnew line +_S INGLE +ied ad +Ġdark er +orm ap +Ġl ion +pl its +Ġillustr ation +ĠI EEE +Ġv ista +ous ands +****** * +ĠTom my +Ġh ue +S el +Ġa ura +ĠTher apy +Ġanim ator +.con straints +Ġv ague +(" ") +Ġvill ain +Ġbless ing +Ġstring Builder +ĠM isc +ĠD IR +f ax +- node +ĠWalk ing +ĠA U +s ess +Ġgr ill +VERT ISE +ĠF oods +Ġt ournaments +à ĵ +ĠMar sh +Ġw onders +Long itude +.Command Text += input +_enc oder +page Size +Ġget State +> >Ċ +.g rey +p od +Ġread ings +Ġre consider +Start up +Ġexc er +.b alance +_c ycle +_T ime +LOC AL +ĠE FI +ĠRe yn +.set Foreground +by n +Ġdis connected +ACT IVE +Ġembed ding +ick ers +Ġsurround ings +* c +Ġgar ant +Ġb f +Ġw ipe +Ġ ä¸ĭ +_T RA +ado x +ç ķ +Ġsu cks +ĠS ongs +ĠAssoci ates +ĠB ald +ĠB rett +ven ile +Ġv t +Ġin ade +Ġres igned +ĠGl enn +.p attern +.Data Bind +Ñĥ м +Layout Inflater +ch et +ĠTest ament +.m s +Ġp av +ĠReact DOM +ur dy +AD ATA +M u +/ actions +ĠJ s +_ex tract +ĠBr ing +: id +str t +iv ation +Ġoutr ight +az u +loy ment +и Ñı +al do +ĠP ublisher +E ducation +Pa lette +_d rv +Ġ($ ( +ĠAnd a +Ġrem edy +Ġincons istent +te ction +Ġregul ators +Ġshort est +(p air +ĠInstall ation +Ġdefend ants +Ġ( ); +-l arge +M el +Ġthreat en +н Ñı +Ġfet ish +ot ine +_d ic +Ġ< $ +Ġst agger +sp i +$ response +S erv +-b orn +j os +ĉ img +ĉW HERE +_l t +å½ ĵ +.c ost +ĠT ue +.label s +ĠL V +wcs store +ĠJes se +ภ« +Tr ade +Ġpredecess or +ë Ĥ +fin ally +_g eneral +ogg ler +_REG ION +n ement +Ġblog ger +ĠHar bor +ĠD ataset +[ w +Ġattend ees +. ico +max imum +.Un lock +_SY NC +ág ina +Ġdown s +ĠW ii +]) / +Ġkick ing +unic ation +ĠD AC +ĠID S +ĠR ental +Ġcurrent Time +Ġvacc ines +ĠDev il +Ġn ors +_m ouse +urre ction +(n o +Ġ> čĊ +Ġaggress ion +Ġbre eding +.s ymbol +im an +Absolute Path +ĠWH O +_fl ush +- root +arn a +& M +Ġf athers +ĠR ocket +ive au +Ġw ander +Ġcom pos +ĠWar rior +ĠSe at +ĠClin ic +_in voice +(dis patch +Product o +at uring +oss ier +ĠM AY +Ġd agger +Ġsanit ized +ĠR FC +Ġpro ph +Ġur ine +Ġgr ind +ĠExp anded +des cripcion +-f w +ĠK erry += name +Ġch k +Ġnation ally +Ġthe e +In c +Ġ? >> +.R adioButton +.Http ServletResponse +/ Y +ĉf ield +Ġhom me +y per +Ph ysical += v +Ġdr iv +ĠErr ors +Ġc Äĥ +De ath +ĠW INDOW +Ġpo et +ĠSh arp +ĠImm utable +ĉ create +Ġge ht +ĠRe form +ais er +ĠInitial ization +Ġimm unity +.com pose +Ġlat ency +ĠLeban on +ĠPar ad +Ġfu els +ĠEx hib +co h +% ">Ċ +ĠCL I +) initWith +-Z a +_C LEAR +reg n +Ġfin ances +.st andard +_C ATEGORY +.lib rary +Ġtravel ers +_w p +ĠE valuation +start ing +Ġ )),Ċ +ep isode +ĠV ariant +Ġda emon +ĠJul ia +ĠN R +Ġdoub les +< v +/r untime +Ġinterpre ter +ĠIN DEX +ĠHol mes +_D IM +Ġp addle +_ex ample +Ġfore ground +.r outes +Ġs owie +S UCCESS +ĠC DC +ĠB D +_ - +as ured +W riting +Ġcurrent Page +( answer +ĠASC II +à ¨ +Ġsocial ly +yy y +ĠSpecial ist +(c ustomer +ist ani +ke st +ĠM ak +Ġth o +. pt +( comment +ĠCon verter +g am +b ins +. tele +ĠVeter ans +_AL LOC +олÑĮзов аÑĤ +inn amon +; width +oh l +Ġfant as +Ġs ung +ĉ K +( Json +Ġneighbour hood +Ġv ow +Ġs ins +on acci +Ġepoch s +im agen +.Ch ange +.my batis +Se ek +W ER +管 çIJĨ +Ġinter ess +_ Event +eder land +Ġterr itor +Ġci udad +uck ed +Ġsn ack +Ġtransport ed +ĠMan ifest +ĠD AT +_th eta +Ġw ont +.ĊĊ ĊĊĊĊĊĊĊĊ +Ĭ¶ æĢģ +ĠEp ic +De ck +l tra +_Z ERO +Ġ[] ; +/ scripts +Ġ---------------------------------------------------------------- ---------------- +æĥ ħ +Ġwe ed +N BC +Ġrap ed +ĠG ateway +[ M +ĠTime out +ench mark +.View Model +Ġporn os +ĠY a +th ritis +ĠFly nn +Ġme ga +ac in +Ġtrib al +.app le +ĠB lo +â n +ib i +ro v +ĠL ives +^ . +get Request +ĠEst ablish +cont ainers +Ġst arring +Ġcele brities +ĠRel ative +ĠHe ights +Ġtq dm +ĠNorth west +iv ic +ĉ cl +Ġautom otive +ent ric +Ġfort unate +Ġfire place +se ud +nick name +; s +_C AL +h alt +(n s +_de leted +Develop ment +m ovies +Ġident ities +Ġprompt ly +ا ÙĨ +Ġant e +Ġ" ',' +åı £ +imp se +Ġy ap +Type Name +Ġb itch +Ġassoci ates +HE ME +- empty +ĠØ ª +ol vers +Ġpist ol +Sc oped +ag ner +'] ==' +ĠI MP +ex c +Ġo mitted +Ġmind set +Ġ[] ( +Ġor n +_C AM +A vg +Localized String +ĠN atur +Ġcom poser +ĠPlay ing +Ġover d +_ utf +.s k +ĠF ol +$ page +, Object +Ġbe es +al ary +bul let +_lib rary +O ffer +loc ated +Ġ(_ , +âĢľ He +ĠOwn ers +) ).Ċ +Ġb ri +.Ad min +kt ion +лÑİ Ñĩ +Ġerot ici +Cancel led +Ġa gr +re views +_d ma +RI CT +Ġg fx +mp i +pp o +Ġ// @ +Ġupper case +Ġcommit ting +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +User Data +Ġv ai +ĉs ort +Ġcongr at +Ġd ioxide +д а +. area +ĠJosh ua +ĠK och +_b reak +az ure +ist ical +_AL PHA +_ views +Ġelim inating +OM B +en umer +ĠHy dro +(* ( +ERT ICAL +Ġinev itably +Ġst ole +-e ast +ier on +Ġl inger +/d oc +Å º +ĠAl ready +as io +Ġ-- Ċ +Ġabb rev +ĠAt om +h im +ĠINS ERT +s un +âĻ ª +CON NECT +er ator +ĠM anning +Ġ: ( +g as +=> ' +Ġquery set +; }čĊ +ĠPop ulation +uted String +res ident +_F ONT +ĠRes pond +Ġobsc ure +Ġo bservable +ĠContrib utors +k on +ĠMus k +ex ao +ĠT ub +Boot Application +S OR +.H orizontal +.find By +.p ower +Ġposit ively +ven ience +ĠJ ong +Ġwh istle +Ġз наÑĩ +Ġl ending +Ġdestruct ive +Ġon Delete +author ization +(); ?> +_ original +sc ience +at ra +?, ?, +ĠAs c +Ġconvinc ing +$ a +org en +_D ate +ĠPro vide +Ġlon ely +) 'Ċ +ex change +; ?>Ċ +.f ast +S amples +L ondon +'] )čĊ +ĠI onic +Ġp esso +ĠKn ights +ĠR af +_attr s +Ġrepe al +> Main +ĠOrder ed +_N ew +=" "> ";Ċ +ĠS ERVER +ĠHE ADER +_ velocity +ĠIn voke +.timestamp s +Ġs ulf +I QUE +Ġinhabit ants +ph ins +azz o +Ġmon o +Leg end +Ġnon ce +IF E +; ";Ċ +- create +" ",Ċ +per mit +ĠImm igration +Ġpath name +ffect ive +âĻĢ âĻĢ +Ġex ams +- event +ĠT ill +[m id +F IX +; color +( Order +_tra its +Ġorder By +Ġs unt +ĠNich olas +Ø ² +Ġsun ny +in ers +Ġaccess ibility +ĠH B +.com p +ĉ op +Ġminor ities +ethe us +Ġcollabor ative +pr it +H IR +Ġwr aps +ĉd raw +g od +ĠI X +.app s +ĠN M +Ġirre levant +ĠT igers +Ġdi ag +G V +ĠAccess ories +k ont +Ġsimpl ify +ĠF avorite +_t ools +([] );Ċ +Ġtow ers +B es +Ġhun ter +Ġsal on +(b uff +ĉ debug +Ġmal ware +M oving +- options +) +' +ĠLO VE +_S OCKET +_f in +ĠDel aware +Ġsher iff +-in valid +ĠF ULL +Ġп од +el as +" strings +ĠRepresent atives +s urface +res olved +ht docs +)) :čĊ +Ġpress ures +Ġnorm s +Ġpl a +Ġs urname +Ġpost al +ĠDep art +Ġsla ughter +or ida +Ġhe bben +Ġdes ar +comp act +_L ANG +åIJ Ī +op oly +_r ad +ĠST DMETHOD +L azy +ĠĠĠ ĉ +... , +( web +ĠP ont +Ġet was +Ġup ward +_h at +Ġ], ĊĊ +Ġbase Url +Ġworry ing +-add on +(get Class +S PI +Ġcapt uring +) },Ċ +Effect s +Ġcompet ent +Ġf oul +Ġsubscri bing +ĠO BJECT +IX EL +b ucks +( edge +(p ass +ĠPet erson +Ġbo obs +ĠD elay +_s quare +el im +ot ers +_P C +% E +on click +ĠSV G +Ġto pped +Ġf ist +sm art +ĠR alph +( owner +j ours +Ġbron ze +ĠArgument Exception +( original +_S CALE +_c p +Ġrecomm ends +.set Style +S ure +L AND +Ġrepe ating +M att +. Visibility +Ġenter prises +.Set up +(sc ene +ĠRe active +ur ge +b w +.P ut +p ersist +.c ookie +ĠAud i +` s +sup plier +( Form + ¡ +_s o +Į Ģ +ĠLeg ion +t te +N d +L oss +( attrs +.sc atter +Ġg room +Ġgl impse +Ġn ails +Ġcum ulative +Ġf azer +_s ervices +.N um +ib ilit +_res olution +ĠT x +umin ium +op a +.s chedule +sm tp +ภķ +ur ry +ü k +go og +_sign ature +.int o +ĠSte ps +Ġhome owners +ĠNS URL +ĠP AC +ĠĠĠĠĠĠĠĠĠĠĠĠ ĊĊ +> ')Ċ +en h +Ġinc ap +$ MESS +Ġmo ins +ĠF i +Ġoff season +press ions +> .Ċ +ĠGr ass +ĠGo al +_p df +Hand lers +Ġstack s +.get FullYear +=[ ];Ċ +è½ ¦ +, V +(s plit +Ñĥн к +Ġbake ca +Ġ~ /. +pe z +t ails +ĠG len +Ġset Image +ĠCom ic +B LOCK +ĉ This +o ader +Ġcapital ist +_ST EP +( Boolean +ĠCor rect +r ina +Ġconc aten +å® ŀ +() :ĊĊ +Ġun anim +ll i +al ars +- ne +Ġdiv or +ĠKick starter +]. _ +< number +/m enu +GR APH +vis itor +Ġimpro per +_N EXT +Ġb isa +background Color +/ input +Ġmo i +Go al +li qu +Ġmiscon duct +Ġcompr ises +aw ns +ĠP ie +ra is +role um +Ġcur se +y u +_p oll +.current User +ES H +]) [ +Ġstory t +)? ;Ċ +* = +ĠB urg +/ layout +_back end +; ?> * '+ +åĿ Ģ +ac ency +( URL +_h alf += l +Ġlist View +( section +.to Array ++ / +ĠRodrig uez +ist ream +Ġelig ibility +:: - +.new Instance +P B +ĠAs sets +ĠCom posite +ĠL abs +ĠHam as +++ );Ċ +Ġbl k +ĠNe o +L uc +@ login +Ġun aware +.m et +_RE LEASE +( ST +AM IL +ri ke +Ġ( ){Ċ +(s printf +ĠAccount s +ĠV IEW +ĠA j +ãĤ ° +Ġwh isk +Ġid i +Ġro de +Ġih n +ĠElement ary +Q ty +Ġintrig uing +Ġå ¤ +J obs +ĉ offset +ĠAh med +ĠTal iban +Ġè İ·åıĸ +Ġinject ed +.Auth entication +_line ar +.Dec imal +Ġapp les +Ġshare holders +Ġb aked +.d iff +ĠE ddie +ok ers +Ġconfront ed +vo ices +Ġt us +ĠSp in +N ODE +_ Un +CT X +/g oogle +Tem perature +Ġ' '). +Ġmagn ificent +Ġstart Index +semb les +Any one +z k +eh en +ĠD ame +. strict +Ġrepl aces +Ġline back +Ġpush es +Ġche ek +ĠSh i +_BY TES +RE A +ả n +_CON NECTION +G ateway +ĠTr avis +ĠA X +ĠBas ically +ĠUp grade +à ª +th emes +erm o +k or +F emale +_att ach +ĠìĤ¬ ìļ© +Ġpo z +============ ==Ċ +(s ymbol +ĠS ector +__ )ĊĊ +_p adding +ï¼ļ " +Ġf abs +Ġr anged +set Name +Ġp error +â Ĺ +ĠFile Reader +Ġful filled +_C urrent +Ġdom inate +Ġsm ugg +Post Mapping +_for ce +Ġb loc +ĠG iant +(v ideo +ĠC U +System Service +Ġ elf +Ġkont akt +ë ª +ke es +gt k +Ġparam Int +Ġmark up +u ales +Ġaccount ed +Ġgang bang +RY PT +ĠW rong +Ġcred ited +ĠM ESSAGE +Ġfl aws +Ġbb w +Ġmetab olic +ĠO EM +/ event +(C ollectors +mont on +ap pear +Ġopt ed +Ġche at +Ġd av +ĠPro ceed +Ġê ¸ +ank ed +и з +ans k +ĠH ang +ĠC ler +Ġdis gu +Ġc map +.cl js +Ġa ument +le z +ĠJo ined +_re ceived +Ġa erial +ot el +Ġgre et +" s +ĠGen esis +ĠCal if +pan ion +Ġtail ored +m apping +and Expect +.tr ack +at omy +ĠO w +ull ah +.Y es +ĠSimple Name +db h +' en +Ġnons ense +Ġphilosoph ical +(get Context +Ġis so +ĠA CE +start Date +Ġb ÄĻd +ĠAUTH OR +ĠGlo be +Ġinsect s +_A l +ush ing +è® ° +/ Home +ĠLocal Date +need ed +hes ive +Ġill usion +äº Į +Ġtr at +x o +/d etail +_M ATCH +Ġbroad band +Ġw al +ĠIllegal StateException +IRE CTION +Ġnor theast +es ium +ĠClient e +ul ance +nt y +Ġt ecn +Dev ices +Ġgr ains +ĠO g +ĠS EL +ud iant +Ġ++ ;Ċ +Ġexplan ations +oc co +Ġdi ets +Ġco hort +( controller +.Iter ator +-r ich +ro cess +G D +Ġcar bohydr +Ġfri ed +ĠEmploy ment +ìŀ ¥ +ĠLeon ard +_ ${ +qu ares +Ġcompan ions +Ġpar is +Ġstim ulation +ĠZ oo +Ġre levance +ĠCol our +Ġspe ar +ot ional +ĠL ite +ĠK osten +Ġà ³ +_att achment +orph ic +Ġdam it +Ġd lg +Ġthr ive +CH ANGE +ĠApp arently +Ġat ual +Ġroot ed +( images +aw i +ari at +Ġch erry +STAT IC +m nt +ĠUser Id +il let +ĠHis panic +Ġn ak +Ġcent ro +Ġdim s +_initial ize +ı k +ĠCent ers +RE N +Ġevolution ary +ĠTop ics +_d amage +em er +Ġr und +Ġpun ished +Ġcub ic +f air +[] ;ĊĊ +Ġinstant iate +Ġover see +- delete +unte er +start Time +ĠP ipeline +_G AME +ĠC ir +ĉ Null +.Format ting +uc umber +ĠR ide +Ġz oo +Ġcheck er +åIJ Į += C +Ġg rit +"); // +_x y +ĠDe claration +Ġcall able +F oo +ĠList Item +Ġin accur +ml in +ĉ Data +Ġev olving +aw an +Ġca fe +fol k +_ID X +ĠAny thing +ĠPalest ine +ĠGrid View +Ġcol ony +ĠGerm ans +( + +.p id +.js x +ĠSuper ior +Christ ian +ĠL ect +ĉ Game +Ġinstrument al +Anim ations +д ал +ĠMos es +ĉĉčĊ ĉĉčĊ +z s +k te +ä¸ ļ +_D IST +bit map +d B +Ġp ersistence +ÑĢ оÑģ +$ l +B ron +Ġ{ | +_ch art +ĠCon sum +Ġh emp +Ġ" ))Ċ +Ġattack ers +Ġknowledge able +Ġc et +Ġvir uses +' I +Ġpitch er +Ġsweep ing += list +apt ops +.de pth +Ġinstruct ed +ĠR us +benh avn +Ġи н +S ports +Ġon set +æĿ ĥ +. RED +_s i +ĠP ST +.on Change +> tag +ĠR oh +_char acter +ĠLaw s +ĠB achelor +_s wap +.re activex +Ġreward ing +Med ium +- [ +ĠRec ently +J oint +part ition +ĠMin utes +Ġind o +Ġabsor bed +ĠG N +_IN D +Ġsab er +Sp awn +output s +ĠJeff rey +Ġmed ieval +h ed +Gu ide +Ġpsy cho +Ġgl am +E lim +äd chen +_pl ain +ĠS au +-f our +Ġanaly zing +QU ERY +Ġtom ato +_button s +V EN +.set Status +. Url ++ ĊĊ +Ġcompl aining +deg ree +conf irmed +Ġsub t +p arsed +Ġtor que +Ġtroub led +ĠT ARGET +Ġtrad emarks +ĠCo ordinate +ĠV iv +Ġ// }ĊĊ +Ġapr ès +.get Position +(Key Code +ĠSil va +Ġmet eor +Ġendorse ment +Over view +ĠP oss +.In ject +Ġeven ly +Ġvisual ization +Ġw char +ĠH DMI +Ġfun ct +ick name +',' ',' +Ġfor wards +Managed Object +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠ +ĉ server +ĠOut look +ĠChron icle +Ġdub bed +Ġd ok +ĠW ear +.A L +pare n +. Interface +Inter faces +.c od +Ġd ib +.Global ization +ĠAcad emic +Ġass ms +Aut om +Ġl w +ĠN W +Ġ&& čĊ +Ġproble ma +ĠManufact uring +lim its +-m obile +Ġfil me +/ map +Ġdo it +ĠIn k +Ġsu ed +. arr +Ġunder min +ĠPro c +croll View +__ $ +Ġsidew alk +( that +ภ· +[ q +gram mar +Ġt ë +qu ito +Ġspir al +ext ended +Ġf ocal +Ġdig ging +p as +ĠT all +.pro xy +it ures +TR ACT +ĠRe alm +Ġf eder +Ġorient ed +ĠAltern ative +Ġo we +Ġsour ced +ink er +.d et +S ep +ĠQ ui +ĠPal mer +(_ , +s amples +oy er +ull an +que z +Ed ges +Ġsh out +ĠA chie +Ġha ar +_Con struct +Ġprem ature +Ġre vert +'). Ċ +Ġs chn +filter ed +null ptr +S aved +itect ure +CL A +Ġv l +st ell +ĉ Me +ĠL ip +n ational +Ġwh olly +Ġspr ings +.T imer +ĉs rc +els en +åħ ¶ +Ġcommunic ating +ĠQu iz +Ġt eng +Ġge z +ĠOut side +.S ign +(c s +Ġdisput es +ĠWe iss +ann es +> No +ĠB ach +.remove All +re fer +/d ashboard +ĠA jax +Index Changed +ĠWe ak +' "Ċ +Ġs ights +access Token +ĠJ oi +(d omain +ĉc v +Ġcontin uation +Ġpl um +ad ir +.set Message +Ġ ï¼Į +Ġsw allow +ĠL amp +Ġq w +Ġu u +C oin +ub ic +ĠDe als +r ace +Ġdict ator +Ġmem e +turn ed +ĠJul ie +.grid Column +Ġpup py +Ġp am +Ġ) {čĊ +Ġinv iting +Ġf rench +v im +Ġwr apping +Ġ#- }Ċ +([ - +Ear ly +Ġsh iny +.f aces +Ġreb ell +abc def +ä lt +Ġest imation +ph ys +los ures +_RE L +Ġex clusion +ĠSk ype +we ise +-st op +no thing +ĠE gg +is ors +Rich ard +Ġcounsel ing +Ġcomm em +ĠQ MessageBox +ĠSy nd +ĠFro st +ĠCompet ition +ĠAw ake +Ġt ed +ic iones +ĠDev Components +VERTISE MENT +ott i +.run ner +Ġuniqu ely +.fl ag +ĉ rs +_g eneric +Ġ`` `Ċ +ACH INE +Ġme in +( Application +( br +Ġrat ios +: , +ĠXCT est +ustain able +- www +it les +_T EMP +Ġs yst +umeric UpDown +ĉassert True +Ġw f +. peek +ĠBul g +Ġterr ifying +.M ODE +ĠG W +á r +Ġf ic +Ġcommit ments +- tech +ĠL iquid +ope z +z heimer +a ña +-m edia +( animated +_go al +Ġg um +yst one +.S ET +ĠW end +set CellValue +Ġmsg s +c ash +AL LOC +/ aws +Ġmic rowave +.Point er +ĉ Console +_s orted +ĠFil ip +Pro d +Ġ//! < +ing roup +Ġk s +_T RI +Ġteas poon +ĠAT T +Ġrecover ing +ĠG LOBAL +.P ar +Ġ/> ;Ċ +Ġmar ble +ul ators +ĠC ycle +Ġher bs +_m etric +) ! +_C LOCK +_ Button +H arry +è¿ Ľ +Ġstr ains +ĠApp Bar +ĠCh an +/v ideo +Ġb am +.Pro gress +$ f +lem en +Ġir regular +ĠD uncan +ĠM int +-v ideo +ঠ¾ +ó wn +ĠEM PTY +Ġstack ed +ĠH A +_c ut +Ġwhere in +ĠW ays +(count er +è¯ ķ +Form Group +Ġble w +c ourses +Ġproduct os +ry s +ĠRest r +Ġsty ling +> s +Ġp iv +Ġit ertools +get Repository +ĠI k +_dev ices +lay ui +Ġhalf way +Ġfran ç +Ġtun ing +O A +_N ode +ar de +Ġfier ce +lic ted +# čĊ +Ġbreak through +ĠE rik +Ġb ride +Ġ. " +cul us +ins ide +ĠIndian apolis +ĠE E +Ġy og +urre t +.f s +. grad +_c ards +_ac curacy +_ep i +qu eda +/ org +é ªĮ +Ġcom pte +)) [ +Out side +G reater +ĠRender er +. actor +Account s +Id le +_h ours +ern er +Jo ined +Ġmen j +requ ires +ĠO PER +.remove Child +ĉs p +Ġes se +r ift +xF E +ĠSh akespeare +________ ____ +Ġbudget s +Model State +fill able +- component +oc os +ĠBUT TON +/ io +, out +s ms +Th omas +ĠAr med +res ume +Ġrot ating +ĠV ault +Ġse us +. (* +Ġa mino +Ġ[] );ĊĊ +Ġprov oc +no x +.Get Enumerator +==== ===Ċ +æĸ Ļ +_sc roll +Ġfil med +ĠS oci +g ap +g ro +V ote +" But +_R C +An imal + Ģ +ib ile +Ġaw aken +ore st +in ja +ĠI van +( Command +Ġ ***** +Î · +Ġkv inder +/h elpers +_c ases +t g +ìĦ ¸ +Register ed +ĉp ass +_d igits +Ġcont our +Ġinf ants +Ġjust ification +ĠFort unately +Con tr +ĠonCreate View +_S AMPLE +Ġallow Null +Ġn ud +Ġfet ched +_e qu +ĠUn able +=\" " +> {Ċ +Ġcommit tees +ist ema ++ ". +ÃŃ an +m ant +Ġsou theast +ï¼Į Ċ +dialog s +PRO JECT +charg er +- port +(u uid +. export +S ix +ĠR P +P rem +Ġconsc ience +Ġmargin Right +_d istribution +y aml +res izing +D ock +ĠLoc ations +G Y +Se ed +B UFFER +oss ip +ull en +Th ings +- self +.p oll +PL AYER +Ġå ® +G ROUP +ĠA way +Ġg ospel +xf d +M ary +ĠPort able +T URE +Ġutil is +Ġse it +Ġstr and +Ġtrans c +Ġ( ^ +ĠAl fred +.m em +.c ircle +Ġ~ / +for cing +Ġr iot +pro x +TH ON +iz ación +ĠN I +ro st +Ġdis pro +_in stances +ï¼Į âĢľ +ograph er +end as +ĠIsa ac +ĠP ine +/d is +Ġcolor With +iter ate +_str ide +Ġpun to +.Event Args +( center +Ġneighb oring +ĠPr ison +ĠMess enger +Ġepid emic +da o +_com plex +Ġgr avel +_D IP +é ment +ĠA ri +_bit map +.qu it +( valid +Ġp end +Ġrespir atory +Ġre bound +Default Value +ãĥ Ń +Ġcomm its +.test s +_f r +it et +.s f +Ġspace craft +c ritical +Ġde pressed +ĠAny Object +Ġun b +Ġdisc ern +(m ysql +L atin +ĠB og +ĠWild life +To File +iox id +@ RestController +Ġ"$ ( +Ġ<< " +Ġdefect s +Ġdat um +h in +Ġreal izar +any ahu +ĠS ig +@ Data +ad aptive +ĠC atherine +.c r +ĠCO OKIE +Ġp ictured +ĠFight er +Query able +ĠAny way +ĠGL FW +_n amespace +_ ft +Ġ] ) +Organ ization +Ġconstit utes +Ġqu and +(ch unk +"/ >čĊ +ĠL akes +main window +Car thy +sp in +(c sv +: red +-com merce +ภ¹ +Ġdiscover ing +Ġe co +_f ac +inc eton +ĠGre ens +j wt +Ø µ +ĠBron cos +ĠGood s +(G TK +Ġreturn Value +Ġsi empre +Ġneut r +w ent +ĠN atal +Ġenthusi astic +á» į +F N +/d atabase +C atalog +Ġbr un +ĠK ash +_P l +isc rim +, width +Ġin mates +Ass ignment +ĠH aven +Ġplay ground +ex am +@ Controller +ul iar +.get Parent +Ġ" ;ĊĊ +: size +iss ors +Ġf is +Ġal c +ens ation +ĠN ixon +Ġmight y +- str +_s pecial +_A DC +ĠTw ig +um bling +- address +Ġher oin +Y TE +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĊ +F riend +Ġa ve +ĠP NG +ĠKurd ish +DataSet Changed +Ġbl ades +br al +St eam +Ġsig u +IRT UAL +ac os +UD P +(d atabase +he c +ĠString s +_scal ar +ĉd esc +ĠT LS +; "Ċ +ĠCor byn +Simple Name +u ell +ĠEnt re +ell ites +- place +Ġfrank ly +ĠE rf +CE L +Ġpa ÃŃs +Ġh edge +Ġlat ent +ĠIR Q +ĠH erald +ĠP rec +ë³ ´ +.T EXT +Sal ary +Ġaut umn +Ġtrav ail +.S um +Ġc ared +M or +Ġint uitive +Ġj ournals +_ IT +ĠT rou +ä¼ ł +Has ColumnName +Com posite +Ġsp ice +_d isk +_CODE S +ĠInt roduced +ion a +Ġnue stra +o ct +ĠĠĠĠĊĠĠĠĠĊ ĠĠĠĠĊ +(param eter +Ġstud ios +Ġproject Id +Ġbd sm +.Sql Client +im izer +ĠC ARD ++ t +a an +.s ol +_Ad just +Ġright eous +ĠLog ging +.f ilters +_T AB +ĉs ys +roph ic +other apy +ĠB rowse +key board +R ON ++ \ +ro pped +Ġext ensively +f k +Ġl ime +year s +Ex c +Ġs ph +Ġche ating +and ro +ÃŃ o +Ġpr ince +o ire +ĠD estination +ĠConvert s +Ġup stream +o led +Ġserv ants +Ġsem antic +Ġcr unch +Ġevent ual +run ner +/ error +Sp in +Ġsecret ly +Ġas semble +.P erson +end error +_ < +Ġp endant +S leep +ĠChem istry +Ġboss es +l k +)) ),Ċ +Block ly +DE VICE +Ġreflect ing +Ġam ple +Mill iseconds +ĠPresident ial +Ġus uarios +ĠN Z +ĠSal ary +ĠA manda +_n p +j ury +Ġkö n +Ġtherap ist +Ġhomosex ual +ĠDr ake +-w indow +ĠLoc ated +.D river +ĠV IDEO +Ġmerch ants +ĠC hest +- lock +/ php +Ġmil ano +_ST YLE +arg er +ide a +G UID +adv anced +me al +Options ItemSelected +=' % +ĠCh am +: data +(st at +Will Appear +Ġinform al +aj i +Ġre productive +ĠC AS +ãģ £ +F UNC +ĠR uth +)+ ( +CON ST +ĠF ans +Ġgroup Id +xffff ffff +Ġsam pler +Ġ}} "> +. the +Ġh ollow +W AY +ĠFac ulty +Attrib utedString +ĠLook s +ĠR ex +j k +ĠM IL +Ġb ard +.L ong +Ġliv est +Ġsk al +ic ism +MA IN +Ġmu cho +B ODY +Ġes e +ĉ use +F oot +.SQL Exception +Ġinherit ance +re ceived +Ġput as +ed is +als a +ĠError Message +Book ing +Ġtr act +ac z +ĠC ant +_reg ex +Ġide ological +Ġj ihad +h os +/s ys +col m +(p ool +Ġest án +ĠP ending +em ás +Ġktó ry +));ĊĊ Ċ +trans actions +Ġw ield +it ere +ert ure +_s s +Ġstretch ing +Ġprison er +.Read All +Ġbes ch +-- ;čĊ +Ġcr isp +_SC AN +Ġa e +Str ict +ĠMin neapolis +ĠBo eing +ar is +re k +_p ipe +Ġpri ests +(E IF +eh icles +ĠInter active +b etween +ĉNull Check +ĠBl air +ĠL t +_in line +eth yl + ¼ +_p ackages +Ġbarrel s +_ he +Ġreg exp +_ pts +_H andler +ing ular +ĠN issan +ĠR anch +Ġper ch +Un supported +Sm ith +ĠLeg ends +M i +Ġg f +st eder +Ġacqu iring +Ġsim ulator +() ," +re ceive +Ġin place +A CTION +ĠWeb Driver +files ystem +< Order +lo pen +ĠHE IGHT +.set Border +į ° +__ [" +Ġcl amp +Seg oe +b ands +to List +amb a +>' +Ċ +Ġcred ible +am at +play ing +.setImage Resource +qu el +Ġpod r +ge om +E k +ĠQ atar +Ġg eld +? ',Ċ +Ġc yl +( ax +ĠW I +ur ally +ĠBr asil +Ġsen za +ale y +on en +Ġb ah +Ġmolec ule +R ad +è¿ ° +AN CH +- background +- agent +Ġprol ifer +: boolean +Ġt ide +erial izer +_ ;čĊ +F ee +** ) +erg y +ĠHon or +.Log ging +ir is +Ġunder mine +ĠD y +Ġt yr +Ġde que +Ġdam er +([] )Ċ +.layout ControlItem +pe ated +C AN +rag ments +L and +) ]);Ċ +ĠS ah +ĠDE CL +With in +ĠN amespace +an other +sem bling +.des cribe +Con sum +ĠF ear +g iven +Or ange +< boolean +Ġstead ily +pa Repository +Ġresult Set +_ ENTER +_re peat +Ġt ones +ĠPRO P +n al +part icle +Ġsign aling +Ġaccess ory +ĉĉĉĉĉĉ ĠĠ +Ġvie le +ĠNo ah +- ag +Ġmur ders +Ġa ired +ĠPL AY +ĠS ullivan +_C ore +Ġul ong +Ġblog ging +> This +Ġdata Index +Ġprint able +ĠE yes +_target s +(P y +. over +Ġbr u +am pton +Ġplaint iff +< Key +b ull +Ġ⣠¨ +Iss ue +.cor nerRadius +C ritical +_p hi +. angle +Ġdynam ically +! ");čĊ +> );Ċ +in vest +.* ĊĊ +Ġt élé +Ġsuper f +Ġcas cade +DT D +Ġviv id +Ġsubsid ies +ĠH ass +Ġcoll aps +Ġcer amic +{} ". +ĠLeak age +-tr ash +coll apsed +-s ocial +ĠCh ad +Ġincl ined +Ġst o +Ġstory board +.p ayment +stack overflow +ĠRaid ers +Ġ# ' +olic ies +ìľ¼ ë¡ľ +em ap +Ġk j +Ġqu ota +ĠGard ens +ë² Ī +ĠAng els +Ġof t +Ġlower case +Ġi Param +Ġche apest +un ta +_p kt +ic ators +Ġle urs +Ġdecre ases +ĉ define +PRE C +amm ers +ĠPre paredStatement +(d irection +Ġcre ws +ark ed +ĠMem phis +ĠS ell +G TK +Ġm aid +: disable +éĽ Ĩ +ĠP f +Ġal beit +open h +?> ">Ċ +.get Source +(s cale +D u +ĠP IL +_ref resh +Ġbet s +(c ar +ĠV on +| --------------------------------------------------------------------------Ċ +ĠGr at +M uch +( Dialog +.stop Propagation +Ġte k +Ġex its +'], $ +Ġphone Number +uc s +ec imal +------------ -- +in p +.po jo +Ġcor pus +Ġpractition ers +.p ic +" testing +Ġstring By +.Not Null +Ġr ang +.D ynamic +_R ender +аÑĤ а +Wait ing +ĠW ik +Ġoverwhel med +% "> +ĠA E +}} >Ċ +u w +_t yp +Ġbuck ets +Ġgre eting +Ġla ughter +Ġant agon +uggest ion +- email +ĉt op +Ġer os +_tr i +Ġiss uing +Ġh á +Ġisol ate +Over flow +, E +Ġnut ritional +ĠAbb ott +Ġn f +.t ouch +.fetch all +_z ip +") }Ċ +Ġam at +ĠC isco +Ġn Ã¥ +PLE X +Ġse i +f oto +.to Json +å¤ ļ +ĠKle in +Ġlib c +Ġmin ers +å ¢ +- print +ĠP ride +T odos +Ġmask ed +Ġset Data +Ġtele fon +Ġunh appy +ĠT ables +ge b +( debug +_all owed +- access +Ġlog istics +Ġg ems +ĠM ature +Ġr sp +ĠAl le +.get Bytes +\ web +ynchron ized +Par agraph +Ġth rottle +.sql ite +cons ulta +ĠSe ah +C e +Ġsub mar +ER E +V ous +Ġre ddit +Ġsql alchemy +-m ile +oc ide +P our +}} ">Ċ +st ead +Ġ@ ( +Ġ[ ]) +ĠAd s +Ġover load +r idden +ĠDes ert +ĠW rap +ĠPortug uese +et z +ĉf irst +Ġmile stone +æĹ ł +Ñĥ Ñī +(s uccess +< Vector +co ol +Ġ[ ]);Ċ +erv als +Ġin vert +" io +cur so +fr agment +Ġfeas ible +.set Position +Ġel m +Ġimag in +@ Spring +Ġb ats +pu és +ga lement +ns ic +gi ene +ell ation +ĠBa iley +Sh ar +ĠT ul +ĠH K +Ġfree zing +gl m +ce ans +-c ut +_c ircle +åij ĺ +n egative +Ġind ian +s alt +Ġt ing +ĉm od +Ġs int +ak in +um l +ĠText Input +Ġpop ped +T MP +Ġpark ed +×Ļ × +ĠF usion +Ġhe ater +ET F +ro zen +h all +ĠM ik +lev ard +- heart +ĉ order +M aking +Ġpled ged +Ġdir s +$ post +ĠH err +stant iate +, "Ċ +.get Color +ĠS AT +Ġtimed elta +ĠM ai +ĉm ethod +Ġid iot +ĠTr av +ident ified +ĠDiv ine +.get Path +D ash +Ġinf iltr +Ġhandle Submit +bro ok +.g eneric +.short cuts +................................ ................................ +Ġdat ings +ĠM V + # +} "ĊĊ +Ġimprison ment +ason ic +rou d +uc ion +æĬ ¥ +Ġdia lect +Ġon Mouse +const expr +.label Control +Ġwe aker +Ġman kind +ĠRE CE +Ġd iz +Ġapp Bar +Ġqu é +f ra +_default s +Ġal iqu +_at om +: indexPath +Ġmiss es +Ġvis ually +ĠH ands +STR U +i ates +_ asset +F inder +mid t +Ġsn acks +(__ (' +. uri +ĠIn strument +ven ir +($ __ +.Dot NetBar +Ġconfig s +Ġguess ed +ि ठ+Ġinitial izer +Ġ? ", +ĠVer izon +man ifest +ge ben +.d etails +G ate +pons ible +ĠEl im +, str +Ġwrit ings +ĠD erek +ĠCo ordinator +Ġpill ow +Ġnotice able +R s +Ġduplic ates +ern els +k J +.z z +oll and +ĠSE CTION +_f name +uff led +'].' ")Ċ +ĠD ollar +Ġem oji +Car ousel +- player +Ġadjust ing +Ġjug a +alleng es +g ene +(body Parser +lop edia +ĠBeh ind +Ġslee ves +Ġdrag ging +ĠChe vrolet +Ġb iz +iv ities +ĠFrequ ency +, char +.W HITE +_pre view +) ';Ċ +_ ax +ION S +.c pu +.input s +UB E +_fe ed +ĠSup plement +! ). +es us +ĠU DP +Ġmicro phone +Ġconf irms +.is NotEmpty +":" ",Ċ +_S CREEN +ĉ expected ++-+- +-+- +ĠH ait +fast call +Ġdep ict +v b +_p icture +ĉd escription +ĠW ife +uc i +Ġv icious +ä» ĸ +ue ba +Ġset User +ãģ ¡ +Ġd iving +Ġoper a +user content +ar ah +) }, +y un +vel t +Ġun covered +Ġh ips +Ġosc ill +Ġassert ing +ĠX i +.re store +ke a +Ġsp elling +Ġder ive +ab we +ĠD ow +.set Type +_v s +Ġco zy +.c ategories +O rg +_m gr +Ġd ungeon +collection View +ĠBl ank +ac ias +ä ä +_clean up +_ACT IVITY +Ġtri angles +.Menu Item +Ġip hone +ĠW on +] ]ĊĊ +ĠCompar ison +.D oc +Ġcan onical +ĠSud an +') { +Up Inside +b uiltin +ENC Y +x be +Ġch uck +Ġcontrad ict +Ġnuest ro +Ġarchitect ural +ĠF ib +Ġcomp ares +* k +C fg +çĦ ¡ +nt en +Match es +ĠDOWN LOAD +_HAND LER +man agement +[ S +EN G +ÂĢ  +f ang +Ġsl ipped +ĠL anka +esc aping +Ġtack les +ĠPed ro +.P rop +.' ' +.G enerated +.New Guid +at rigesimal +ill on +Ġstat istic +spec ies +hold ing +Dr upal +Ġfundament ally +Ġbond age +Ġres olutions +Inline Data +\ Type +est ion +.w rap +Ġwar riors +ĠLOC AL +Arch ive +Ġembr aced +á» § +.V er +ĠAff ordable +oles ale +ĠAp plied +ĠCon version +m ega +_c am +Ġcer emon +aur us +ĠVol k +.op ens +/ about +ĠSt d +j ournal +()) {čĊ +," \ +( Arrays +ĠD ense +ase ña +än ner +/ stat +user Data +Ġg erman +Ġt z +worth y +Format Exception +ph erd +Ġsm iles +ĠWh enever +( adapter +.bad logic +Ġbrief ing +.Grid Column +- char +dim ension +ĠC opper +Ġnin th +Ġ' {{ +Ġr av +_T able +Ġderiv atives +ĠR aise +ĠF ut +arm or +-p adding +Ġre min +ĉ style +ĠMembers hip +Ġspread s +Ġgall eries +ĠClar ke +Ġcon ception +min ute +Ġab usive +_ad j +Ġterr ific +Ġover t +our cing +Ġentr ada +level s +Ġcrit ique +Ġrespect s +ĠM MA +i ene +Ġenc aps +ĠRay mond +Div ider +iv able +b az +Ġ@ _;Ċ +ĠCl aire +Ġur ging +CE E +Ġtransform er +disc ord +ĠJ ourney +t os +Ġcompet itions +ĠO BJ +ĠB is +Ġrelax ation +id y +_IN STANCE +ĠP ref +d ados +ici encies +ĠMedia Query +ĠC ube +ĠStr ange +g pu +(d ays +_Init Struct +Ġfinger print +em at +ĠGe cko +Ġr ails +ĠL um +str action +ig ung +(m ovie +_d ictionary +_int errupt +ĠQ C +ik ed +append Child +rec ipient +r é +V e +Ġtow el +.last IndexOf +Ġplace bo +ĠW ie +.es p +( Debug +oper ative +Ġdece ased +& id +ĉm utex +el ic +Ġb apt +ĉ čĊčĊ +Ġfar ther +H alf +.dis able +.menu Strip +le ccion +Ġresult Code +Ġc ans +-e lection +f emale +_F IX +aus ible +ĠP OWER +Ġrecon struction +Ġsc ans +.Xtra Bars +âĢĺ s +Rem oved +Ġparagraph s +_m argin +Ġl ymph +Ġb os +ling ton +ĠBapt ist +Ġadvertis ements +ĠMan age +/ yyyy +IO US +ENC ES +ĠF iction +ĉm enu +ĠFile OutputStream +ov an +ĠF eng +Ġsk ipping +get Class +ann i +Ġreb ounds +Ġpublic ity +Ġing res +use ment +Ġthought ful +.Ch art +Ġhat te +pass port +Ġhook ed +ĠL ens +Ġflag ship +Ġst ip +ĠG EN +Ġcl ues +ip v +ĠR ise +ĠG ew +tab lename +Ġfore most +_ validate +_an alysis +oll a +Ġqual ifications +Ġdistrib utions +ĠFl ower +Ġt ense +Ġthank ful +Ġcl utch +Ġun ified +ro ads +Ġsit i +Ġst all +_P RIORITY +c stdlib +_USER NAME +.by tes +? page +ermal ink +ĠVe get +/v nd +- author +.N ONE +ĠCon current +ĠC ry +Ġstart ers +ĠInter action +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠ +ĠLE VEL +E ll +Ġcom boBox +ĠTh eresa +te k +_H andle +Ġab y +.g dx +, end +(L ocal +O l +kn ife +ar ial +ĠH off +Ġprostituer ade +Do ctor +Inst ances +.Set Value +ĉf rom +Ġlux urious +Ind ent +Alloc ator +_D RAW +(", ", +ĠFr ances +Ġgroup Box +(s chema +Print f +OR IES +- gradient +Ġre put +ar in +_D ONE +in cre +ig nty +Ġex ert +Ġ- . +/ App +-th rough +Ġdecl ining +Ġdess ert +Ġinc umb +Ġdesign ation +.P ORT +, strong +Ġsand box +Ġw ines +ĠP av +$ str +ask ell +Ġh ö +ĠP Y +Get Instance +Text Input +game Object +/ events +created At +Ġlocal Var +ĠWH ITE +per ed +ile ge +eff icient +, color +c ate +ĠC afe +Ġsimilar ities +Ġp umps +ĠHung ary +.User name +Ġsk ate +Ġtouchdown s +Ġacceler ate +ĠH elen +OM EM +ĠK un +_v ol +Ġfind All +ĠMens chen +a head +); " +kom men +Ġpossess ed +.arg max +.trans ition +AR P +OLUM E +(s cript +ĠÐ ĺ +ĠF inding +on ces +I o +B old +Ġrenew al +_D IALOG +Ġdis reg +INT ERN +Ġt oute +Ġelect r +ĠG ross +ĉ true +.F ields +ĠW IDTH +ĠD ent +Ġà ģ +NS Notification +Ġa os +Ġme lee +. Validation +ĠDE C +-depend ent +Ġsu ic +T raits +$ message +ĠD ear +ĉ FILE +l anguages +.P rot +.add r +-g eneration +IC ON +Ġtrans plant +-d escription +Ġch asing +Ġche es +Ġ} */Ċ +Tr ad +qu eries +/widget s +sub package +Ġes pec +Ġcr acked +Ġcompet itor +P urchase +- team +olec ular +or Thunk +& P +Ġrel ent +/ #{ +Ġproduct Id +Ġè ¾ +ĠL av +ĠAl ter +.M ode +AD IO +gr p +æ ·»åĬł +Qu it +Ġdepth s +-c ategory +ĠD ATABASE +S PELL +ĠFal con +ĠQString List +Ġ'' . +ĠIn stitution +d amage +az or +bel ongsTo +ver ages +ĠN ONE +ipp ets +, \Ċ +Ġfoot print +_ archive +n ak +.get Field +ĠRef lection +Ġ' ] +ĠH BO +_dis count +Ġin cest +ĠD odge +ĠW ade +.N O +" encoding +ĠBlock chain +Ġlaws uits +ĠM aint +ch ten +Ġét ait +Ġktó re +_ ctl +(t imer +B attle +iz o +ay ed +I OR +ĠGlas gow +Ġsyn th +_log s +.p ose +_Adjust orThunk +(( & +Ġuns ure +yst ate +íķĺ ëĬĶ +O ULD +. ng +Ġdefault dict +work space +Ġselect ive +Picker Controller +YNAM IC +.method s +Ġpath ways +ĠF ew +K G +CRY PT +follow ing +ĠD LC +ĠS ara +Ġpres et +estruct or +ĠK urt +Ġair plane +Ġo mp +ĠParent s +ĠMart inez +.com plete +Ġbroad ly +Ġsc are +ĠM é +Ġelim ination +Ġpou red +/ sw +Ġcom un +Ġm asc +ĠOrgan ic +ĠString Utils +il ateral +Ġreluct ant +- age +Ġn z +." \ +Ġpast or +ale z +Ġe fect +pro v +/ init +Ġp enn +und s +Ġs size +ĠPro j +bas ename +Ġsh ells +ĠNe ck +ĠEn forcement +vid ed +st own +S phere +$ r +uss en +af il +ĠTele gram +Ġanaly tical +нÑĭ е +us ually +x n +Ġhistor ian +ĠGreg ory +ol ph +ĠUn a +Ġcon tributes +% - +anti ago +ÑĢ ед +.reg ion +Ġab rupt +ĠUnsupported OperationException +ĠT ASK +_f inish +Ġnot orious +ĠV s +ĠM Q +Ġsun set +Ġun acceptable +ar cer +Ġill umin +ĠOr b +Ġb h +E ste +_dis patch +Ġr ipped +Ġtou jours +ĠPar cel +_ ll +.user Name +.class es +S OURCE +( Number +ел Ñı +Ġhead phones +(s ide +const itution +ann ah +čĊ ĠĠĠĠĠĠĠĠčĊ +Ġcl iff +- ref +Ġmo strar +ĠPow ell ++ y +ĠB G +_f ragment +.P ort +Ġreal izing +param ref +Ġh ometown +@ Table ++" --}}Ċ +F rench +Entity Manager +ĠPl ain +//////////////////////////////////////////////////////////////// //// + ³ +( RE +c apt +Ġorgan isms +Ġj ets +ol ocation +ĠApp RoutingModule +Ġgl orious +æľ į +Ġdisc arded +ĉĉĉĉ ĠĠĠĠĠ +ĠArn old +l ug +Ġpar l +Ġhorm ones +Ġm ah +ĠSon ic +Ġorgan izers +_PL ATFORM +.in v +Ġch ord +vent ional +ĉ of +Ep isode +. Enum +unk t +ĠD h +ĠJ ared +ĠN ak +Ġint ends +End ian +Ġa ustralia +_c v +(res olve +Ġclin ics +lik ed +ASH INGTON +in ha +' * +ĠN P +_b eh +Ġh f +Ġw ür +c ategoria +$ form +Ġsub way +Ġis Active +pop ular +C our +Ġco oldown +Ġa insi +ĠGL uint +ere al +Ġarray Of +Ġh atch +======== == +ress es +_P P +. ^ +_dec ay +ĠB less +met rics +ĠCOPY ING +ĠDump ster +ĠJos é +ĠDesign s +< +Ġ" }Ċ +time zone +Ġe er +max cdn +ĠE SC +ig aret +_conn ected +_re verse +Ġquestion able +ĠUS C +Ġtut ti +Ġdrop out +ĠActiv ities +ĠW inds +')) );Ċ +Ġcon gest +ÄŁ ı +Ġprolong ed +è¿ Ļ +ĠCross AxisAlignment +LE EP +ĠVAL ID +ĠG az +Ġdepend ence +ĠP rix +.Compiler Services +j ump +Ġstr at +c irc +ĠC USTOM +x aa +Ġb mp +Ġb ureau +Ġw aren +N X +( Window +ĠChrist ie +_F E +Ġt n +ĠOm ega +communic ations +Home Page +com pletion +Ġsupply ing +YP ES +á vel +åĪ ¶ +(c lick +\ Contracts +/ questions +Ġe z +AM S +.m esh +Ġ' \Ċ +Rob ot +Json Object +ĠD F +ĠProcess or +_sh ould +.prot obuf +- users +Ġemb ry +F ONT +Ġstart ups +ĠData Source +) # +uro s +_C olor +Ġstand alone +} [ +j d +Ġforg ive +Ġng x +ĠGener ally +Ġconfig urable +/ order +Ġv as +') ";Ċ +ĠR R +ĠT roy +Ġcomprom ised +ĠSw an +int endent +Cent ral +_ keeper +Ġar quivo +ĠRead Only +_cur ve +k v +ent in +è ± +ĠE y +.im read +ĠP am +if fe +at ivity +xb c +Ġgr im +-f illed +names e +'] : +Ġa ur +ĠGib son +.Mouse Event +Ġl ado +avad oc +Ġfam il +ĠM oder +f ps +ãĢĢ ãĢĢ +- example +ĠAl zheimer +ĠU tf +_arg uments +Con clusion +text Content +rem aining +Ġinterrupt s +ĠBack up +ĠM ong +Ġrecept ors +h istor +.cor outines +Ġsh outed +Al arm +Ġcomb ust +Ġg rote +ult ural +( ids +---------------------------------------------------------------- ---------------- +ipl inary +O pts +ĠY ale +local Storage +Ġequ ival +ĠF leet +\ b +* pi +ĠQ Label +æ ¡ +Ġv x +ĠA CL +Ġsu cesso +Ġper c +ĠNot re +Ġan arch +R ing +sp b +Ġstr pos +st ores +ĠMap le +(Main Activity +(" ")) +Ġview Holder +Qu ad +Ġig ual +ors che +.m argin +Ġind ie +Ġfr anc +ĠForm Builder +ĠPart icip +.fl ash +Ġstorm s +U lt +Ġf en +[ new +E ver +=" Ċ +Ġlocal ized +_f ollow +Ġn ave +Ġdomin ance +(t ile +J ournal +ĠV C +Ġpenet ration +ï¼ ķ +Ġcomp artment +Ġb ids +Form atted +****** /ĊĊ +(c ity +âĢĶ it +[ C +Ġuse Callback +a ub +) ?. +ĠV AR +ĠSe bastian +ĠM oss +Ġabund ant +G reg +ÑĤ а +_c i +Ġbib li +CR M +ĠAt tempt +ism e +d ash +ãĢ İ +_m u +.Formatting Enabled +Ind eed +-d irect +Ġsuck ing +Ġp ne +ocab ulary +ĠPack ers +.N avigation +Ġp ied +cri bing +ĠSt uart +.To Double +ĠSecond ary +S aving +ĠD ut +ĠM add +M agic +, H +.document Element +ĠB ST +Ġdiff ers +Ġmore over +_ nd +SE ARCH +п ÑĢав +æ ´ +to Match +Ġdecre asing +-m ember +amp us +( boost +D aily +Data GridView +ĠHttp Context +Ġh ipp +_work ers +-l anguage +é ĵ +Ġconsist ed +ath ing +ĠMer cury +$ content +Ġpract iced +ĠMod ules +_D AY +Ġweakness es +ĠL odge +Ġn ar +ĠM ate +Ġj p +ĠHttp Headers +Ġsm o +ĠT OKEN +] )( +Ġaqu i +sw agen +Ġs rv +ĉ ans +A round +ĠMan uel +Ġfiction al +ĠIM G +Ġ. ' +ĠB erry +Ġwall paper +sex ual +ier o +Ġ çļĦ +ìĨ Į +Backing Field +ĠAd rian +BASE PATH +Ġrepe ats +Ġbl ues +Ġunp redict +_c oll +st acle +ĠT umblr +ĠEl f +Ġass urance +Ġc ensus +ĠIM PORT +END ER +an os +Ġ= ( +ĠEll is +" ĊĊĊĊ +.w in +ĠA bove +al on +_t ick +Ġrepresent ations +Ġæ ķ +w id +ĠAr ms +List a +_f ailure +_c m +.Flat Appearance +Ġthr one +P atch +ĠV oy +eng l +Ġnegot iating +> ` +Ġshoot s +ĠF PS +.Y ear +ĠK iss +enc ión +reet ing +From File +Ġresign ation +Ø · +Ġtw ins +Æ°á» £ +Ġge bru +.get Content +.T ree +ĠEmploy ees +ĠF IFA +Ġcert ainty +(C l +Ġtot als +edit able +ॠĢ +.Report ing +M as +qu iet +.r ules +ĠV O +con exion +, K +Ġalloc ator +ĠPow der +\ Repository +Be at +_t ipo +Ġ[' ', +_IN TR +Ġ<< < +< hr +") == +ugg age +ĠC raw +Ġé galement +Ġg inger +Ġprim era +Ġprod uto +lt k +.User Name +Ġstr error +m ith +_n b +Ġdis comfort +']; ?> ");čĊ +drop IfExists +ĠB eg +_H AL +Ġcross AxisAlignment +ĠE vidence +Ġpec uliar +Ġinstit ute +ve is +Ġf ft +à ģ +Ġzo ekt +an aly +ĠHom eland +Ġpen etr +udden ly +ĉ element +ĠB ren +ĠTr udeau +ĠCub an +j am +us lim +_e v +Ġst ems +} % +Ŀ å§ĭ +Ġbrand ing +Ġcorrespond ence +.j query +¢ åįķ +ĠRead s +(Http StatusCode +ass in +(s lot +ĠGrad uate +/// < +Ġinform ations +EN ABLE +Ġp uis +Ġfind er +ĠBr is +Ġnett steder +_m id +Ġo gs +ĠSter ling +Ġar rog +str ftime +| ĊĊ +Ġvo x +ĠReg ardless +Ġes o +ĠCom fort +.Boolean Field +Ġu h +AC Y +Ġsque ez +ĠV ic +cont ro +. lo +Ġ ire +ĠCom edy +ë ¶ +Ġorigin ated +Ġsh ipment +| max +_g uid +lev ation +на Ñı +( undefined +ĠD DR +Ġshoot ings +ĠLat ino +END OR +Ġaver aging +Ġgre eted +Ġthe aters +о е +Ġd B +Ġg st +Ġdef inite +. Storage +.h er +Ġa fore +ĠRe ality +ĠGod s +vers ed +Ġhands ome +Ġex cluding +( ad +Qu otes +ĠS cheme +? q +ĠT amil +T icks +Ġp est +' n +Ġporn ography +_mod al +Ġ ---------- +Ġdis posable +F REE +Ġsh ark +C HE +Ġdep icted +Ġdemonstr ations +ĠK illed +ĠR ULE +Ġobs essed +Ġsimpl ified +Post al +Ġconcept ual +Ġp st +L as +_PRO JECT +ucceed ed +ol u +ÄŁ i +Ġpersonal ities +Ġres hape +Ġenc losed +ĉp tr +Ġtutor ials +Ġexpl oded +_DIRECT ORY +åĨħ 容 +Ġcan on +Ġrecogn ise +P AD +ĠAppro x +ĠRest ore +ĠImport ant +Ġheav ier +.Se quential +Ear th +ĠMil k +.set Request +.t em +Ġre construct +Ġskept ical +_Pr ivate +BU F +qu a +: a +Ġse k +Ġd well +oss a +Ġreward ed +и й +(top ic +_part ition +Ġ__ ________________ +Key words +ĠFr anco +L ite +Ġn aken +Ġз а +O BJECT +Ġcraft s +ĠSw ap +.X na +.Con nect +Ġbalcon y +(re al +ĠBarn es +b ir +ĠTw enty +ay an +at ars +ĠProp el +ĠIh nen +Up grade +Ġcur b +- second +Ġn eph +.p res +ìŀ ħ +.se q +Ġp added +" ? +j l +ãĥ ¬ +') a +Co ordinates +Ġen acted +ENT S +Ġl ac +.f inal +ĠPhp Storm +c alled +Ġin quiries +.m iddleware +ĠD owntown +/ ';Ċ +Ġkil omet +ac cel +Ġqu ien +w string +set Data +Ġman era +Ġmod ular +rim p +Ġtar iffs +âĢĻ il +_TH ROW +/c olor +ĠHT MLElement +Ġcar ro +Ġpr ere +Ġplot ting +ĠPos itive +ĠMach ines +OT ES +á» Ľ +ple asant +Ġal te +Ġa inda +th ese +Ġc ors +ip ay +ĠAdvis ory +ĠRub io +j q +Ġl imestone +Ġdet ached +设 ç½® +ten ant +ĠDep th +al ore +ĠÑģÑĤÑĢ ок +ĠF ORE +ĠL ay +p resentation +) ');Ċ +.sub plots +Ï ĥ +N OW +G ar +hand les +ab ra +put ies +ĠElect rical +M iddle +rop ic +ĠJ D +ĠD yn +ĠB ristol +ĠMc Carthy +Ġstri ker +Ġenumer able +ĠEv an +.default s +qu ences +) || +ĉt oken +â Ĺı +-d ropdown +ST ORE +ĠGraph ic +( pp +Ex pl +Ġup wards +ĠD istributed +ĠW EB +J er +is NaN +çĶŁ æĪIJ +> R +üss en +ef s +Ġun cover +Ġl ud +.cal culate +Ġint ptr +Ġmidfield er +. Headers +Ġm f +ere f +.M etro +ĠSpe aking +: b +Ġcryptoc urrencies +Ġdem ons +ĉ EXPECT +Ġw icked +y outube +: Int +ĠHind i +ĠC AT +ĠØ ¹ +r ar +om ore +/ per +/lic ense +Ġre im +Ġawait ing +Ġle thal +ĠE F +round ed +ĠPl atinum +ĠвÑģ е +.co ords +.De vice +/ item +ĠW enn +compile Components +ĠK inder +.remove Item +Ġand a +bn b +Ġpr a +( transaction +Ġembarrass ing +ĉ BOOL +.content View +Ġevent data +at ore +Ġprovided In +ir ma +Ġz ona +_H W +æ Ļ +Ġst ove +Ġcounter part +_Pro duct +_MAN AGER +Ġinfr ing +ĠE RA +_p arty +Ñ ij +Ġin ici +_ Request +Ġmir acle +Ġcancel Button +S py +at ó +Ġpol ish +ĠNic ole +.display Name +\Request s +Ġuse History +Router Module +Ġst ared +ID ER +Ñĥнк ÑĨи +Ġnot a +$ arr +pec ified +Ġto pp +_DR IVER +/ ng +å ł +_t m +% timeout +< s +Ġ( *) +ĠHttp Request +_TR ACK +(n ote +ĠExp lore +_s erv +Ġç » +B inder ++ ", +. att +ĠEth i +Ġc ódigo +=' \ +.l ines +( Of +å° Ĩ +miss ible +Ġv é +Ġac oustic +Ġcraft ing +n it +.b a +ĠLuc y +Ġi Pod +Ġpup ils +-m ax +_w r +(c p +ĠRE PORT +Ġd ns +ĠRe ferences +Ġundert aken +Ġkø benhavn +Ġch ai +ĠC roat +_ Log +rown ed +_m ed +ĉ date +# __ +Ġcost umes +ĠRe quires +aff le +ç Ĭ¶æĢģ +-S emit +ela ide +еÑĤ од +Ġp estic +Ġd ra +DOC UMENT +Ġ... čĊ +}` }Ċ +ĠA uction +ĠD ock +xxxx xxxx +(get String +ħ į +Ġborder Width +ĠMach inery +Ġpredict able +.S H +Ġam plitude +.for Root +IN avigation +Table Model +at trib +Ġmaneu ver +Ġexc av +B ERS +Ġd apat +Ġinstall ations +.A sync +Ġr ays += âĢĿ +; ččĊ +.c rypto +_db g +ĠEnum erable +Of Size +_epoch s +m w +M ENU +out line +ĠP apers +============ Ċ +Ġuniform s +ĠG ig +- package +ĠJen kins +ĠHome Page +.is Selected +Ġmechan ic +M K +ĠS ounds +//---------------------------------------------------------------------------- -Ċ +Ġresearch ing +Ġinf os +ograph ics +ers et +([' / +ĠTim ber +. agent +.to JSON +_command s +par ing +_ad just +.n ome +(g lm +Status Bar +file path +? âĢĻ +Ġdetect ive +Ġunser er +ĠTib et +EN DED +(se ed +Ġsne ak +Ġam or +=" // +ĠPan thers +all ax +ĠL IVE +ĉD WORD +]= - +Ġtorn ado +/ min +Ġlung s +-c urrent +ĠBook ing +åĪĹ è¡¨ +Ġenjoy ment +ठ° +J A +typ ed +.B tn +f at +ug al +ĠSh ares +Ġdis gr +ĠB AR +ĠFO X +Op code +ĠS z +key down +iction aries +Ġdetail ing +} ))Ċ +Ġp ok +Ġdemonstr ating +Ġnot ation +l ayers +@ if +ĠN PR +.strict Equal +ĠRec ipes +.T ensor +Ġliqu or +Ġdeb ts +.ends With +W heel +.P os +CS V +$ arity +Ġun stable +( loss +ENS OR +Ġele ven +ĠL opez +ĠHop kins +con om +ĠS eth +Ġpo ems +Qu ant +Ġg sl +Ġsy rup +Ġs ibling +Ġc ass +-v ous +ö t +_P ATTERN +_SE CTION +est imated +up grade +.m ongodb +ĠBo at +_C TX +Ġfetch ing +ust in +pi el +M arg +Ref lection +Ġd uct +ĠMunicip al +Ġb x +.Get Current +ml ink +ĠAccount ing +ĠGene va +_P os +Ġpass er +Ġhear ings +com pan +Ġfrag ile +Initial izer +walk er +.M aterial +ĠHun ting +trys ide +Ġk at +Ġcl erk +á Ł +do ing +ĉg roup +Ġsan ction +.l b +ĠL azy +ĠCon straint +P agination +Ġpou vez +ĠInd icates +M ER +Ġcour s +Ġyear ly +Ġgros se +abb rev +ĠD ON +Ġproceed ed +ent lich +Ġproperty Name +ĠTe aching +st adt +Ġc utoff +orn ers +Ġa frica +Ġrend ers +ĠYan kees +ĠTool bar +sp aces +.fill Style +Ġseg undo +_str len +.F irebase +å¤ Ħ +Ġmention ing +\ ( +ĠVal ve +Set ter +Ġsp ans +ĠAl cohol +ĠLet ters +\x e +ĠT K +_B LE +.get Result +< Player +ĠP att +Ġeas ing +Ġtur key +ĠF en +') " +Ġconf ined +Ġin clus +Sup erview +(with Identifier +enc ial +Ġstuff ed +Th eta +Ġeconom ists +} ));ĊĊ +co okies +ĠRo ose +ĠChe ese +Ġfich ier +Ġen forced +AB B +no ÅĽci +_AL LOW +Ġrecru ited +Ġexpend iture +-n ight +Ġassert NotNull +_ex ecute +ĠØ ¯ +IN DEX +_F MT +Ġresc ued +ĠMonth ly +ĠCons ervation +ĠG eb +Ob ama +Ep och +ic ies +ĠOr t +Ġso it +( icon +F riends +m ol +Ġground ed +ĠC ause +ad ena +WE EN +ĠL un +IT IVE +. loop +_un til +Ġcor r +.ed ges +Ġhyp oth +ched uling +trans lator +ĠÐ ľ +R om +ãĢij ĊĊ +ĠX amarin +Ġviol ating +. anchor +--- ĊĊ +Ġtr ader +AD VERTISEMENT +Ġuns ere +ĠD AO +Ġbl ond +ĠP AT +.g lob +Ġè¾ ĵ +Ġsplit ting +Ġun subscribe +Ġatmos pheric +ĠTr im +Ġcit ation +Ġin ference +ĠF t +ĠDar win +find One +ĠG el +( Convert +Ġaccess or +; text +(s orted +Ġjud ged +); \ +: p +Ġme ine +ĠS lim +.Command s +Ġper ceive +coh olic +< Data +.entry Set +Ġassert False +ĠPat rol +ense m +ÅĤ Äħ +¨ ¡ +W IDTH +ĠRes cue +ĠU IF +_THRESH OLD +ĠMich el +ATER IAL +opens ource +ĠD iana +Ġinv ites +_B ODY +Ġreserv oir +Ġro i +c ust +(t c +ï¼ģ ");Ċ +Ġfest ivals +Ġperform ers +Ġclim bed +Ġj ungle +String Length +Ġunlaw ful +ier re +vertis ement +Ġst akes +Ġh ats +Mod ify +ĠLET TER +.H ide +Ġstat utory +_ white +ĠPer l +uten berg +em ple +.W orld +Ġoverlook ed +Ġcon cludes +/* ================================================================ +-w ise +ĉ stream +pop ulation +Ġevent o +Ġillustr ations +ft s +Ġaut of +ĠPro cedure +Ġdes erved +-t imes +Ġg ol +N SError +cre st +ĠPak istani +any ch +get Current +Ġl ar +nt l +ĠRe becca +Ġm ateria +Ġfind By +/ ad +Callback s +ĠAl s +ĠKat ie +ĠObservable Collection +ĠDocument ation +Typ ed +ĠCulture Info +ĠTim othy +Ġlater al +" type +Ġun authorized +Ġteach ings +Ġdebug ger +[ value +Ġal ors +Ġu z +Ġsc atter +Ġdown ward +Ġmig li +status Code +Ġ( )) +ĠM W +Ġм ож +RO SS +.b uf +Ġfair y +ĠInf rastructure +=> " +t lement +$ (" +From String +ĠB ild +Ġconvent ions +_n ative +ĠIns pector +ĠP ist +ub ar +Ġreg s +ĠP ilot +Th us +>' + +Ġc ela +.new s +( Product +L iving +R ussia +Ġfac et +et ical +Ġ[' $ +/ [ +ĠD ire +Ġg ases +ĠIN FORMATION +ĠE at +ĠFor ums +ĠChar acters +_m et +Ġìĭ ľ +Ġk ings +ach ie +ĠL ambda +Ġtim ers +ĠLight ing +ĠCase y +add ir +and ex +. answer +ĠH ip +ĠPr incip +Start Date +Ġ ãĢĮ +t res +Ġ& # +.Max Value +ĠPro blems +Ġlat ex +Of Class +ĠLyn n +// ' +Ġvoy age +Ġshut tle +ĠRoll er +ĠRuntime Error +uy a +D ic +ĉb uilder +Ġbul lying +Ġsimple st +.c alled +ĠL R +Ġmor ality +Ġst urdy +tr acking +.sw agger +_B IND +IT OR +-url encoded +ĠÑ ħ +ĠTr inity +Ġtr aps +Ġ| - +Ġset Text +Ġbarg ain +Ġbr akes +.get Code +Ġmigr ate +Ġrib bon +) return +Ġcharg er +ac om +ADI US +ĠAmb assador +-a fter +Ġann i +ĉs pin +Con cept +ĠHend erson +ĠH OST +.r ank +ĠNor theast +Ġber lin +Ġrequ is +.f eed +Ġsource Mapping +ĠRen contre +. ajax +nest js +Ġtre k +ĠN acional +Ġ& [ +Ġpay able +ort ex +Ġde pt +field Name +Ġcomple tes +ĠR VA +Ġon ions +al ignment +Form ats +Ġ' {$ +Hash Set +ĠB od +.Invariant Culture +Ġsettlement s +Ġhy dr +. updated +vent h +( seconds +="/ " +Ġweb page +( ĊĊ +Ġt ir +Ġto es +ĠBr ick +Ġamb ition +P ot += max +ET IME +Ġdep ot +c alls +ĠNor wegian +` : +Ġbur ger +Ġprofess ors +ĠAl locate +-third s +-ch art +Ġfor d +* N +.k otlin +Ġpaper work +ĠDE VICE +% @", +res pect +(m p +é «ĺ +- if +Ġcush ion +ob ot +Ġpar c +SP ACE +ĠNet anyahu +Ġself ish +fe at +Ġclient es +-to ols +Ġpor ch +Ġj q +. verbose +Ġlib erals +] )ĊĊĊ +p ies +Not Blank +( term +ÈĽ i +_Param s +.normal ize +B ullet +AS IC +(h ex +_client e ++ , +_D I +Ġforth coming +} ")]Ċ +se o +U m +> Name +Ġcomfort ably +irection al +W ITH +/ pr +ĠP oor +ĠVit amin +v ic +G H +Ġprior it +ĠN N +ĠC losed +¤ í +Ġis Open +\ Console +And Feel +.S UCCESS +_OPER ATION +pol ation +ĠT as +ps z +> '. +C URRENT +V endor +host s +ĠE rd +>tag ger +ĠsourceMapping URL +Ġmar athon +_c losed +Ġexem ption +Ġrecogn izes +ides how +' $ +('/ ');Ċ +m its +war z +ĠCh erry +µ ¬ +n or +port e +Ġw l +_back up +.get Boolean +.get Resource +Ġdefinit ive +. EditText +Ġs ÃŃ +.C ONT +ĠPL AYER +.c ards +ĠSh ore +('/ ')Ċ +cl uir +Web Driver +(m onth +-re lease +Ġins pector +å £ +ĠN F +_cl ip +åŃ IJ +Ġinteract ing +.t mp +Ġ'' 'ĊĊ +Ġde e +Ġfro st +"] ))Ċ +ĠPl aces +Th rows +f ork +/ day +i Phone +ĠM IC +Ġfold ing +Ġcro re +ĠCh iefs +pher ical +( price +.Write String +Ġexit ing +] ',Ċ +ight ing +Ing redient +( vertex +Ġscroll View +h f +: new +SE N +se ctor +Ġsp ins +ĠS cheduler +ote chn +sem icolon +Font OfSize +ĠSpecific ally +fl amm +.Object Id +Ġcont a +_per missions +ĉF ROM +IC ODE +/ kg +ĠHot els +-m ed +ĠD in +Ġn avy +get Param +Ġm end +Ġportray ed +ĠMet ropolitan +Paint er +Ġref erral +_g ood +Ġmar vel +osa ic +> (& +. ur +Ġest os +Will iam +Ġtim ber +Ġquel ques +ĠDoc uments +.X aml +Ġbatch es +éģ ĵ +ĠRe leased +T ail +CO OKIE +he id +_st ation +ĠV ia +S ale +ĠRe peat +Ġprom in +ĠZ o +- forward +ĠI on +it ary +Ġj us +- request +Ġproud ly +ĠStream ing +(Mouse Event +ĠS print +_ rotation +Re positories +Ġt art +ĠÑģ в +Ġm appings +è ª +C u +C ycle +Ġb un +ĉl ua +ãĥ ī +Ġ(( ! +Ġcollect ively +ĠCon d +Ġwsz yst +(l ib +openh agen +_s kip +.Column Header +é Ĥ +peri enced +ı è¿° +_p rops +Ġcontr ace +Ġmatch up +ab etic +.m embers +RE CT +(d at +Ġs og +ren om +_M ethod +Custom ers +full name +Z N +re try +Ġk ap +ĠNe u +è Ĭ +add Child +will Return +_p ermalink +Ġener getic +ĠW et +ĠMor r +Ġg cd +count s +, type +d ig +( Login +Ġcr acks +Ġbacter ial +ĠMe at +ĠArm strong +ĠBron ze +Ġapprox imate +_dir s +lig a +ÅĤ ad +Ġkind ness +Ġcont re +ĠE VERY +M ET +Ġannounc ements +g pio +ĠWaitFor Seconds +ĠPhotos hop +Ġdis contin +/ dd +Ġtop ology +an ical +. interface +auc oup +.Hash Set +ARI ANT +(r outes +ĠT eh +Ġh ype +] "). +Ġsl am +Ġbro th +- inter +ĠR id +-m anager +Cancel ar +ĠP agination +Ġsound track +Ġpost erior +Ġscr ub +cre ating +- * +ir teen +.d y +.s ymmetric +Ġ"" . +============ === +Ġch assis +ĠnumberOf Rows +Develop er +_b ins +ĠO UR +ri eb +Pro s +Ġwi ÄĻ +" d +Ġasync io +ze igen +_s pi +.A LL +Ġscre ws +Ch inese +Ġapi Key +Ġun successful +ĠSeah awks +OR G +ç« ł +Ġprofession ally +ĠCou pon +åŃĹ æ®µ +Con vention +Ġpol ym +æī ĭ +Ġsalv ation +Ġengine ered +ĠW rest +ĠG CC +Ġwar mer +Layout Constraint +Ġag grav +Script s +vent ure +Ġrefriger ator +Ġinnov ations +ĠRun ner +N IC +ĠRoll ing +Control Events +Ġlo os +p ac +ĉ panel +ef e +ĠBudd ha +------------ --Ċ +åº ĵ +(for Key +Ġl umin +Ġ( ? +ĠA IDS +, user +im ientos +content Type +ant lr +é ¦ +ĠW elt +Produ ction +m ight +ĠV II +", ( +Ġobserv ing +Ġdeliber ate +( control +Ġwith d +Ġsem ana +ST ACK +uch en +N ice +ĠDeutsch land +ĠSpec ifies +d ma +iz io +ĠF acts +_pop up +ĠDirect ors +{ : +[ R +ĠÑį леменÑĤ +Ġpl at +Ġdirect ing +ä¸ ī +ĠGil bert +âĢ¦ .ĊĊ +.q ml +Ġthere after +Ġdis position +d raft +Ġsurge on +ĠIns ider +Bl end +ĠT rev +tr insic +Top ics +rie ve +_FILE NAME +Ġaut res +J ose +Produ cer +er us +Ġpet it +ĠN EXT +ĠF ilters +Ġreplic ate +"] ). +Ġl enders +] ",Ċ +; charset +Cpp Object +Ġfl oral +ĠT ipo +Ġcirc uits +e asy +(& $ +itt a +ery l +_COMM ON +'}} >Ċ +-back ed +(var iable +( Index +Ġvo ir +_loc ations +++) { +ĠLouis ville +Ġgrat itude +.Mock ito +ĠP owers +ie urs +Ġge ographic +ra le +Ġc ra +ĠSp urs +iph ertext +AC ION +- common +Ġvict ories +ĠFinal s +.sh uffle +-m illion +_PRO C +ass ume +Ġil s +DB C +Boot Test +Ġl avor +.test ing +. ast +"] / +m oid +Ġqual ification +ges ch +ĉ put +Ġair ports +J I +Te acher +_un iform +Ġn ama +ĠB ast +ert ype +c apture +get All +ĠReyn olds +oo led +.com ments +Ġch in +). * +Ġи ли +t gl +ud os +Ġd ÃŃas +ch ai +.pro gram +Ġps z +ĉ icon +ph il +ent ral +_WR AP +ov i +Ġnost alg +In finity +ĉy ield +Ġvit amins +Qu aternion +S ink +_g oods +Ġ ........ +ĠW ings +ur idad +-st ory +"] )ĊĊ +idel ity +Type Def +G tk +Ġí Į +_M ain +Ġche z +ĠR aven +Ġpay roll +Ġfreel ance +LL U +ĠM end +ed ay +Api ModelProperty +.Form BorderStyle +Ġeconom ist +stan bul +Ġfre ight +-A gent +(m eta +Ġsym metry +Ġ' .. +.C alendar +- aut +g f +p ent +yc lopedia +Ġwish ing +ĊĊĊĊĊĊĊĊ ĊĊĊĊ +Ġgentle man +Ġê ³ += # +Ġlect ures +âĢľ In +Ġ! _ +Ġh b +ĠV endor +Recent ly +_n otes +æıIJ 示 +" My +Headers Height +_S O +Ġunw illing +Ġsuper hero +g io +ps y +ĠPe er +j avax +& apos +ĠCr isis +ord inal +Mem cpy +++++++++ ++++++++ +- val +Ġwork book +- ap += k +Ġmetal lic +_ peer +By PrimaryKey +_S D +u ator +_SH ADER +) Math +.Trans form +Ġc ows +Ph i +ĠC lem +(_ (" +ĠL ud +-d elay +ĠSec urities +ĠOrth odox +Sym fony +(re port +Ġent ertain +E PS +iz oph +ex ual +IR D +ä» İ +Ġl ith +Ġsanit ize +Ġfemin ine +IS BN +.auth entication +_p ipeline +/ constants +ĠCON F +Ġluc r +ric ia +.t tf +.set Content +Ġst an +ore an +ĠL loyd +.raw Value +Ġg or +ĠBrow ns +Re gression +Ġlower ing +na issance +Ġbl ows +Ġam azed +Ġun related +Re views +Ġrub y +ĠMod ifier +Ġgi ants +. thread +Ġcontain ment +ĠStart Coroutine +um at +ore lease +ĠR andy +@ endif +D igest +Ġsubur ban +=" );Ċ +Ġann once +. variable +\F oundation +Ġa cre +V an +Ġt uples +d ns +ĠStand ing +_l arge +Ġbox ing +Support ActionBar +ĠFort une +ĠR um +_m ultiple +arch ical +Ġf write +_ quote +Ġfool ish +Ġcompr ising +Ġо п +- selected +v f +ma id +N ama +(d atetime +Ġindirect ly +g art +fix tures +ch os +ĠH alo +Ġrec urring +- news +v il +ĠNurs ing +- produ +ĠH Q +\Http Foundation +enc i +au en +Ġv y +ocr acy +Ġdeleg ation +Ġas phalt +Ġset Selected +k ok +/ rest +met ics +ĠNS Date +Ġtravel led +Ġrec ib +Ġm ime +CL IENT +ĠG U +ĠH ANDLE +/ Q +[ z +Ġbother ed +ĠBB Q +ç as +_ex amples +_F IN +Ġwhite Color +Ġastr onom +-d ir +Ġsovere ign +Ġb reeze +Ġin ning +ĠEd monton +g li +.blog spot +js x +Ġvers a +ĠMoh ammed +.J ob +-t oggler +Ġп олÑĮзоваÑĤ +ard on +Ġnew born +Ġnav al +note q +Ġtum blr +Ġh entai +ĠTyp ically +Ġlo ot +.S prite +Fl ight +Ġw avelength +-s k +ĠEl le +_ exports +Ġ Ñı +ĠI H +izoph ren +Ġí ģ +_pr imary +Ġmo is +ĠB N +Ġsystem ic +Ġdifer entes +IN CT +Ġ'' ĊĊ +$ q +Widget Item +cl ide +$ file +L emma +/ table +ag rid +ĠMongo DB +int e +Ġapp rent +ÂŃ ing +.D b +Ġà Ĥ +ham mer +=' ';Ċ +Ġbro kers +it lement +sembl ies +E le +{ x +Ġlast name +< - +Ġfl atten +_b and +.R oot +.read FileSync +==== == +.r x +? čĊ +Ġmetaph or +T i +con te +Ġdeb it +Ġcont empt +Cpp Type +æĶ ¯ +Form Field +r atio +os opher +Ġimpl ant +P URE +Ġal ta +_man agement +Ġref ine +ĠCheck Box +ĠChar l +- version +cond itional +ven ues +Ġrif les +Ġoff spring +Ġmill ing +Ġshar ply +Ġunder water +( origin +_ Control +Ġ. $ +Pl ugins +Ġdry ing +Ġillustr ates +- u +Ġveget arian +n pc +He art +; ',Ċ +com ma +te enth +as an +/s pec +_m oves +-m argin +Ġing en +³³ Âł +Ġpro jet +Ġo tra +Ġbr as +. utc +Ġsle pt += sub +ab ilit +post er +Ġs dk +ounc ill +Ġw d +Pre paredStatement +ĠDr um +( attribute +ĠEther net +ĉ DB +Cal ifornia +c ube +[ I +.C reated +ĠH M +Ġtr acing +Forms Module +- you +.c urrency +feed ing +Ġt body +L i +acc ion +n as +Ġtr ouver +N ONE +"} ,čĊ +Ġf tp +With Identifier +pol ate +File Info +Ġpurs ued +ĠĠĠĠčĊ ĠĠĠĠčĊ +DE SCRIPTION +} */Ċ +From Nib +Ġdecor ative +_S SL +(ch at +T LS +Ġsurpr ises +al culate +ĠS plash +( Configuration +ĠS EM +im son +/lib rary +< Double +. robot +³³³³ ³³³³ +ĠCP F +ĠUnder standing +Ġcos metic +ĠX t +t ips ++ k +(" ' +ĠP DT +W AR +.get Object +ĠTrad itional +.sl ug +ĠDi pl +=" ", +ĠFil ms +ĠAn im +.h elp +Ġemb assy +ĠBoot s +Ġb unk +-r isk +Ġp ci +Ġ/ \. +ĠI PT +Ġcrash ing +Ġip v +_ ke +ĠRES P +.Log Error +Ġinade quate +I on +ĠF ür +ric ula +Ġshould Be +al ready +']." +G ED +fa q +Ġoption ally +_D is +ĠSuccess ful +ĠC ensus +Ġinc arcer +_C ARD +Ġav iation +ĠG ym +Author ity +.B ean +sh ader +Not Exist +_Text Changed +ĠST OP +( team +" H +w g +Ġgr inder +Ġstri pe +Ġpres ervation +Cl aim +avers al +ware house +target s +Tr ust +Ġal lev +, www +ous se +_ch an +_S ize +system s +Ġobj ection +ĠK ane +Ġcor ros +ĠD SL +Ġu a +ĠM H +ĠStrateg ic +_t cp +Ġê° Ĵ +Ġborrow ed +ĠA ch +ĉ command +Ġg ps +le ston +iche ver +ĠU A +Ġassault ed +Ġspecial izes +ĉ search +Hot el +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ čĊ +ĠP itch +Ġ Ùģ +READ Y +Ġparent al +Ġg éné +Ġdonn ées +Ġdet ain +T ARGET +Ġprotagon ist +Ġclear Interval +ĠIcon Button +ĠGet All +Type Info +E H +âĢľ They +Ġ{ [ +Ġg ag +Ġ Ú© +ĠD ropdown +.f ree +g one +im ens +Ġinst al +ĉc url +_C AN +ĠB one +ï¼ Ķ +ony ms +-g overnment +.binding Navigator +ĠD ans +ĠMc L +( en +>( _ +ÐĴ Ñĭ +.* ;čĊ += j +-c or +S on +.ToolStrip Item +- around +_X ML +end Date +Ġsl ack +Ġrot ated +Ġno qa +Ġc ottage +Ġencontr ar +_s kill +hou ette +! čĊ +. weather +Ġemphas ized +å® ¶ +ĠÑģ пиÑģ +ĠComp iler +( android +ĠâĢ º +. turn +Ġsup pression +_c alls +Ġ* @ +(str len +.h ex +ĠB ills +ĠR SA +Ï Ĥ +ĠEs cape +ement ia +Ġfront end +Ġp int +_ex c +zz o +[ ],Ċ +Ġ"',' " +. Environment +Ġafore mentioned +Ġend ure +prot otype +ther apy +ss i +D eg +_pl ugins +.user Info +Print er +ĠPRO GRAM +Ġru ins +Ġempir ical +Ġcraw l +ĠBo iler +- comment +.sub plot +_ et +Ġ'. ', +min or +ĠCustom s +Ġy aw +under line +ĠCom o +( (' +(m ean +Ġcha que +ĠBlock s +.r ad +ilib rium +Ġweb driver +Ġmel hor +d ana +ĠAb use +ĠSouth west +ĠP aren +PERT IES +ĉ IL +Ġscre am +v u +Ġin comes +Ġn im +Ġl ace +Ġcompens ate +Re verse +D at +_att ack +Ġn our +ach en +ce k +< Func +w ie +com pressed +-m atch +(" ")]Ċ +im ized +. orientation +.compare To +Ġmass aggi +Ġìľ Ħ +Ġel bow +Ġant ioxid +undred s +/ tools +ĠR OW +an mar +ĠW ow +_t icket +Program ming +Ġthe or +-re view +() )));Ċ +ĠRichard son +ĠP ocket +] [] +am pp +_ health +ĠP OP +ĠNav al +Gu ess +Ġancest or +.Get All +.local Scale +ĠM apper +Ġaccum ulation +Ġsim ulated +ĠDr ivers +Ġd és +cur ring +Ġele phant +Ġadvert ised +Ġmail box +SH IFT +ĠMon ica +Ġan c +Ġward robe +Ing redients +Ġ|| čĊ +ipp y +Ġantibiot ics +av ings +(c x +ĠFerr ari +ĠAn imator +.d type +rem oved +order by +Ġc res +oc ê +Ġp ym +ĠCirc ular +@ index +ĠW arm +S ay +ĠAss istance +Ġcur tain +ĠMont e +IL ER +ĠC VE +ĠD uck +ĠAll ows +_f ire +ĠDer by +Ġre pos +Ġhttp Client +Ġpsych iat +Ġnow adays +Ġcaut ious +ĠComput ing +Ġcompletion Handler +ĠWel sh +ĠB EST +Ġstress ful +_P E +æĹ¥ æľŁ +ĠData Frame +ĉ Integer +_P rint +M oves +Ġtransform ing +.B atch +y ahoo +Position s +ze j +Ġno od +io res +_ * +Ġcl k +ĠF loyd +Ġh ap +font size +Ġn az +.not ification +ĠDep ression +Ġac ne +*** ĊĊ +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĊ +.cont ents +yn th +ĠStra ight +')}} "> "+ +Ġtoken izer +Ġsovere ignty +ĠP ence +() ");Ċ +Ġpesso as +.G e +ĠIn cluded +Ġpag ina +Ġex posing +е ÑĪ +_SC RIPT +/$ ', +Th umbnail +× Ķ +webElement X +webElementX paths +press ure +ĠCur ry +_C P +OL UTION +ILE S +prot ect +ool a +Work space +{ };Ċ +ĠU NS +Ġsymp athy +ro ker +Ġrem odel +ĉc ell +Ġat op +.Full Name +Ġfa ut +ĠE asily +_d ynamic +Ġfr amed +Ġmot ive +è· ¯ +s am +Ġmar ca +ĠText EditingController +Ġde structor +cre am +Ġr ude +ĠB old +ĠInd igenous +Ġg ens +Ġrel acion +(s ystem +ĠUIF ont +_char ge +UST ER +E V +.N amespace +Ġmer ger +Ġcal loc +g ang +Bad Request +Ġs per +-d esign +Ġâ ĩ +Ch an +Ġorgan ism +, ) += id +_pl ane +ĠC ases +elf ast +ĠLegisl ature +ĠF aker +Ġinv oking +- utils +(). ' +.f ace +Ġguard ian +my Modal +Ġclip board +ĠAT M +Ġpe as +ĠS ylv +.c alc +ĠContact s +int Value +Ġmodify ing +ĠBar b +. loss +_per centage +Ask ed +(l st +ategor ical +- files +ĠRoman ia +.A c +Ġh ai +ĠF lying +Ġ ż +j p +ĠTr ainer +. arc +_de g +Ġtrace back +Or Fail +F LOW +. old +oy a +g mt +is empty +Ġvacc ination +Ġob solete +recogn ized +Ġru ined +ĠRe in +ĠTr acking +xf b +ا ÛĮ +Ġvæ re +Ġbr yster +ĠIT S +Ġdest iny +Ġsw ear +Ġred es +Ġcl f +Ġfl ipped +ĉ head +Bl uetooth +ĠOver rides +: Boolean +_ = +_l r +sp awn +: index +VAL UES +is key +? ");Ċ +.syn thetic +ĠCheck ing +struct ures +ip ing +Ġvoc als +- Up +ĠManufact urers +ĠMar riage +代 çłģ +Ġgar ner +_C lient +par allel +RI END +Ġvine gar +seg ue +J B +Ġcontact ing +ĠCar roll +Ġout reach +t ensor +_var iant +Ġthe at +lic able +{ | +t iny +_ letter +Ġp encil +HeadersHeight SizeMode +ilt ro +.auto configure +.d rag +.use State +ĠB MI +h int +Com pile +* \ +en ary +Ġl vl +.C ache ++ =" +_t v +ruit ment +Ġf read +Art icles +f ila +Ġpack aged +âĺ Ĩ +AT HER +ĠPl anned +s cheme +Ġdi ary +Ġoff enses +/ F +ĠSt ick +Ġc erc +ĠS lee +ĉĉ ĠĠĠĠĠĠĠĠ +< Image +Ġè® ¾ +- editor +pie ces +ĠD rama +Ġ// //////////////// +ĠT asks +AR C +g ateway +.get cwd +.M etadata +Ġguess ing +åľ° åĿĢ +Ġsm arter +ĠGet Enumerator +Ġe fter +/ operators +ĠGL float +Ġf ør +Ġop aque +ä¿Ŀ åŃĺ +Sp read +SY STEM +Ġinv ersion +ĠBasket ball +Ġsim ulations +Ġden ies +Ġa vez +_list ener +Ġenh ancing +ĠMy th +ĠL akers +_M D +Nd Ex +D ATABASE +Ġt á» +ar th +[ left +Ġcontest s +st ile +(K ERN +_f c +_p m +Ġpres idents +Ġhospital ity +Ġfade In +RO PERTY +_m aps +ĠDefinition s +Ġassess ing +Ġus ar +Ġquant itative +mo z +Be autiful +[ (( +b ons +f requency +Cont ain +Ġpuzz les +ĠCast ro +Ġv illa +Ġkind ly +Font Awesome +ern a +epoch s +_dat as +ĉ ip +.p adding +ĠCont est +Ġed itions +Ġdispro portion +ĠI CO +Ġcome back += value +ri ad +-s ort +Sub mitted +(n etwork +ĠC el +Ġinstall ment +l ashes +.List View +ĠV atican +(Media Type +IV ED +reach able +: Is +ĠC ITY +äº ¬ +ĠHelp ful +Ġba ÅŁ +% čĊ +Ġpsych iatric +Ġrec ycled +FORM AT +ĠG row +b ine +G it +.s s +ĠWe apons +ĠSt y +_ arrow +* self +ire ment +Ġdeg li +App Delegate +_b anner +Ġcoordin ated +ĠWeb cam +Ġcelebr ations +. act +******************************** **************** +( show +Ġweek day +Ġconc erts +ол н +cl in +Ġcr on +ĠN im +.set Vertical +ĠEll en +س ت +ĠS AM +E ff +g z +ste am +Ġant ique +ph ysical +ĠForm Data +.set ter +ĠPO INT +B on +Ġflav our +erv ention +_ENT ITY +ĉ ĠĠĠĠĠĠĠĠĠĠĠĠ +Ġintr insic +Ġæ İ +append To +aram el +) ]) +ĠRecomm end +) m +OutOf Range +Ġkn ight +Ġsat ellites +ĠTit ans +Ġweigh ed +ĠD ana +e ase +Ġs ip +S IM +ĠDevelop ers +mal ink +/ check +_P LL +n ung +Ġdry er += A +.d w +_S QL +Ġsub plot +D ROP +Ġprot otypes +Ġhour ly +display Name +Ġas i +ĠViol ence +Ġastr onaut +Ġdat atype +Ġinformation al +Ġinvestig ative +etermin ed +ren al +; '> +ĉc ol +V G +_ boolean +re cent +Ġ* )ĊĊ +ĠRain bow +om men +Ġl ur +Ġopp ression +(", ");Ċ +ĠFac ility +DEF INED +Ġne on +Ġoff ender +AF P +ĠClean ing +[] ): +Ġund ocumented +.Re positories +ĠG uitar +аÑģÑģ ив +Sk ills +Ġtestim on +rypt ography +ĠAm ber +ĠSt alin +Ġl one +Ġap enas +Ġdies es +ĠAr duino +è½ ¬ +== - +_A ct +Ġc oded +âĸ ł +amb urger +-link s +Ġarm our +.H igh +get Content +st ag +Ġhe ck +ĠìĹ Ĩ +ĠMc Connell +ĠCon cert +ĠAl loc +ä re +.replace All +Ġpart itions +rot t +ĠF le +_T REE +reason able +ĠReport ing +Ġbillion aire +s cores +min s +- eye +M ORE +ab ort +ĠSW T +Ġin verted +ĠTe achers +; n +Ġast ro +н ов +ани ÑĨ +product o +c ountries +ĠO wen +Ġcont amination +Ġv ibe +ĠEll i +.s cript +ĠOl ive +D MA +v ier +: semicolon +-m odule +gress ive +ag u +_ players +Ġresult ados +start ed +scroll Top +==== = +Ġweigh ing +Ġ[[ [ +z ahl +( NS +ĠAssert ion +le ague +.setText Color +ĉ Message +Ġmom s +_A F +. wh +AL S +Ġaut re +] ĊĊĊĊ +.op acity +ĠBudd hist +Ġde af +ĠOrgan isation +(G lobal +ens ch +Ġhead ache +ĠAli en +_in ode +ĠSt ark +Ġæ ī +-l nd +ore f +_fe at +Ġpedest rian +Ġnom inal +Ġbal loon +Ġspr ites +Prototype Of +ĠA post +ĠF EATURE +O H +Ġre cess +ĠDon na +con sumer +$ GLOBALS +ĠG IF +- frame +In icio +Ġpass ages +Date String +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠ +.by te +B ug +initial izer +p kt +od ium +ĠD ER +. ops +ler i +Ġgift ed +Ġdet ach +ter rain +elt ers +ãģ ı +. loader +ĠN GO +str ncmp +K h +(font Size +ro cket +Ġpreced ent +ĠAur ora +ĠEx periment +is phere +Enc oded +ĠâĢĵ ĊĊ +Ġpy ramid +ĠAnn iversary +of il +ë Ł +( plugin +C oeff +Ġcooper ate +Ġpredomin antly +IS M +Ph rase +_DEF INE +Fl ip +AMIL Y +ĠMark ets +ĠStream Reader +ĠComb ine +Ġmanus cript +z za +, tp +Wh atever +IT ICAL +ighb our +Data Provider +.Text ure +priv acy +.S DK +Ġre charge +Ġc pp +ĠC FG +(h older +(p y +m ot +Ġsav oir +ĠR osa +ĠPC s +Ġí Ļ +.her oku +Ġf ren +ĠR iley +ag ate +Ġs ond +.x lsx +Ġh acked +st ad +G i +Ġsan ity +ĠSql DataAdapter +... ", +ĠP ussy +Ġ **************** +Ġhass le +_P ARENT +ĠU AE +Ġbegin ners +( Client +Ġstatist ically +.h our +ed elta +Ġtr action +uel ve +ar at +Ġsa una +IN VALID +Ġindict ment +AL LE +Ġdiss ent +ĠTyp ography +Ġintention al +s it +ĠAn imals +Ġcoun tryside +Ġu art +} \" +Ġseam less +¾ 示 +Ġaut os +Ġ"' ";Ċ +Fl ush +ANN OT +Ġal gebra +ass oc +ĠW aters +Ġprepar ations +ron ym +[, ] +S ans +Ġarm ies +ipe g +Ġcream y +. art +et re +ĠAn imated +Ġun pleasant +eme an +g reat +i Äħ +ĠEar lier +Ġch ic +Ġpres erving +(ex ec +ĠInvest igation +ĉG PIO +Ġrig orous +ij o += num +Ġtool Strip +) set ++" & +ĠAcc eler +Ġdevelopment al +is posable +Ġflaw ed +re ne +Up dating +Ġwatch dog +Ġden ominator +Ġsubur bs +Ġ... ) +Ġconv ictions +c losure +.I P +Ġtransl ates +.sw t +.Tr ace +Ġmet tre +.is Enabled +ĠEffect ive +.to Int +Ġen chant +Ġst unned +Ġpo i +/ code +ad m +.datab inding +ĠL orem +________________________________ ________________________________ +Ġled ger +Ġcar a +ĠG ir +Ġwa its +Un o +Ġc wd +è¾ ij +ĠT Result +Ġre jo +Ġem itted +ĠWest minster +ä¸Ģ 个 +ne k +_T is +Ġen act +ĉ with +org ia +Ġj ue +Per form +SP ATH +.top ic +ĠD aten +Ạ§ +Ġsit io +_M M +" So +b ial +Ġsc oped +Re quires +ĠT OTAL +ĠCh ancellor +( contents +Ġste alth +dev ices +-p ass +ili h +ĠMal colm +ĠDep ot +Ġconfig ur +a ussian +_con straint +в еÑĤ +G RA +ĠR ates +.dataGridView TextBoxColumn +ĠNob el +it ics +Ġignor ant +ĠReport er +ĠEb ola +ĠSh ock +_re lation +ĠNin ja +) c +Ġt icker +.is Checked +ĠSup pliers +ĠRap id +Level s +âĤ¬ âĦ¢ +ĉ queue +Ġch op +ĠUn ix +re ject +-c alendar +(s ort +è ne +erc icio +Ġh ect +CALL TYPE +rou pon +Ġrent als +auth ors +{ name +ĠF IFO +Ġl assen +ĠN ous +Ġsn apped +Ġfert ility +" log +click ed +Ġplant ing +Ġg b +/ output +PE AT +Ġc ategoria +Ġb ach +Prof essor +in th +"] čĊ +Rec order +ser de +ĠTrans mission +tr ad +Ġtur bo +_VER TEX +\ Event +il ver +Ġbod ily +ĠS ources +Ġkill ings +.xr TableCell +Ġfold ed +/ legal +un er +ĠR ifle +ĠM IDI +_Selected IndexChanged +.Size Type +ĠWeb Socket +Ġsele ccion +S and +ot ros +Ġenv ision +/ etc +ĠMel issa +Sp ot +но е +_ ARM +At tempt +ĠB I +ãģ Ķ +ĠD U +Ġback lash +str ide +/ classes +Ġtext Color +_st aff +ob lin +agent a +.c ollections +ill age +' čĊčĊ +fl atten +_s ales +_M ASTER +T W +_d a +P itch +ph ies +Ġz ombies +ĠV ERY +ĠPharm acy +Ġprogress Bar +Ġhas htag +S idebar +@ stop +(p c +ол ж +MA KE +ĠCor on +Ġkv inner +ĠM aid +b ob +.title Label +Ġsuccess es +ĠDemocr acy +ĠSurg ery +Ġcou gar +Ġcur so +Ġl oro +ist ency +Sen ior +æ k +ĠA AA +ĠBO OK +к о +W STR +Ġ*/ ,Ċ +oy al +.v ector +ĠS PEC +SS F +Ġcomp uls +ĠAppe als +ĠW inston +ĠMock ito +con trib +. available +entity Manager +ari as +_s ale +_r s +Ġdec oding +Ġloc ator +ol ith +Ġk ol +Ġasc ii +ĠR ut +/ interface +ĉĉĉĉĉĉ ĠĠĠ +ĠN umer +.fl ip +-d el +Ġbol ster +on omic +Ġz m +L G +Find By +Ġadapt ive +lo o +Ġv ue +(re verse +_c anvas +. roles +ific ado +ven ient +" As +ĠEn tr +al igned +Ġbere its +/// ĊĊ +.g wt +. employee +_cl i +Ġanticip ate +éĻ IJ +Ġp ik +Ġmush rooms +(t t +Ġo ma +ĠSan chez +_g oogle +. Valid +ĠFile Name +iv ative +k ed +-w ar +Ġm aturity +и д +Ġmin er +Reduc ers +ĠLat Lng +_ST D +D igits +Cal c +-up load +Ġhand ic +ี à¹Ī +egr ated +ĠST M +C lients +ĠTur bo +SY NC +Ġphotograph ers +. Out +.char acter +B UILD +.un lock +Ġar ises +ĠCommand s +(" ");čĊ +_F ORE +; ', ++" ' +. Images +") { +ĠM eyer +Ġneg atively +ĠD LL +Ġex e +Ġdef iciency +Ġwild ly +-s witch +con struction +Ġexception ally +ĠL iz +/j ava +Ġtheir s +ĠCont emporary +l is +.fill Rect +ĠN FC +Ġre he +(num bers +Ġr aster +Ġfig uring +Ġshow c +ĠJ ill +Ġarc ade +ĠConstruct s +md l +(' | +Ġident ifiers +Ġst ellar +( Connection +Ġ" {{ +y or +(m ysqli +Ġdo ve +Of Birth +.dis connect +_h i +Ġzw ischen +ĠGr und +i ros +_A rray +.on click +ans om +An swers +ĉ remove +F a +Ġhur ry +-in f +Ġget Class +ĠReg ulation +ĠFLAG S +m isc +K en +_ heading +G Hz +- entry +Ġbi ography +S ig +-m f +Watch er +âĢľ A +} px +Ġsp icy +_s q +L ost +(tr ack +а ли +Desc ending +< bits +qu ine +ĠAdv oc +_S N +ĠHann ah +PO P +Ġem itter +Ġc yn +ĠC AD +? ). +/ set +ĠS ister +ĠEnd point +Ġmen or +Ġinter p +r k +id le +Ġout fits +. vertex +Ġc lic +ARE N +Ġpost ure +ĠOpport unity +v x +ĠFor bes +.D irection +Ġres ide +Ġremember ing +nest y +Auto resizing +pro viders +ĠA H +Ġhur ting +ĠL ily +eval uate +lij k +p apers +ĠSm ash +ĠL AST +Ġwell s +w asher +_RO LE +ĠD anger +* (( +_re pository +ĠRes olve +ĠRoom s +_R G +ĠQ T +o op +ĠHe ap +Ġslow ing +Ġgrat uite +_c atalog +Ġpol ynomial +L y +pc s +F ox +ĠC yr +Ġdim in +/ month +S alt +Ġh ind +.P ER +For um +c en +_p ol +íĺ ¸ +Ġin ser +( ~ +@ test +ĠGold man +Ġupload ing +F c +Ġkom mer +Ġm itt +_log ged +Ġbu cks +-l ayer +) };Ċ +ĠO M +Ġv eg +col our +Ġоб ÑĬ +Std String +_ que +ĠT ian +Ġspecial ize +и п +Ġк л +tr ial +- edge +Ġm ars +OG LE +Ġempath y +ĠB om +Ġcoll isions +Ġcart e +ĠTe il +ĠM PL +Ġporn ô +Ġa irlines +A ws +N s +ĠSp awn +( use +é» ĺ认 +Ġy acc +st or +Ġconf ess +Ġpe que +r age +? "Ċ +/dat atables +ĠSh ower +__ / +Ġcryst als +Ġbus car +ĠH aus +iz ação +_ entities +ķ Į +ļ Į +x cc +v irt +-che vron +( Result +c ake +COM E +Ġprohib it +ĠCh ess +Ġbe aucoup +ĠÑĩ ÑĤо +R UN +ĠI K +ó ÅĤ +_ Update +Ġsle ek +ĠSpec ify +_c redentials +ÅŁ t +ĠUser Name +ĉ Value +Ġarray List +Ġex changed +ips is +.re lated +ĠSe ite +_B AR +ĠL em +ĠW ATCH +ĠC lients +Ġ. * +ĠEar l +-re port +Ġforeign ers +Ġstrengthen ing +ĉ Description +(g o +.tool bar +Ġcalcul ates +ĉs ource +Ġcz as +Ġre cl +ab o +Ġlocal host +Ġ^ {Ċ +.P op +ĠDes igned +\ Abstract +H old +ĠGuid elines +ipl ine +Ġc aching +.Re ader +_ext ernal +.str ptime +ĠWeek end +-M ar +ĠBe i +Ġ{* } +ĠR ud +Ġexpl or +ĠBou levard +C ash +Ġprep ares +Ġserial ization +ew ater +Ġad c +: ĊĊĊĊĊĊ +Re fer +Ġsc anned +} }ĊĊ +ĠF ul +Ġtour ing +ãĥĥ ãĤ¯ +> (( +sur vey +Ġí ĺ +... ')Ċ +ĠDiv ider +os l +_C ANCEL +_pre pare +st in +ĠHe ath +.Primary Key +ĠâĨ IJ +ĠLocal DateTime +Ġcooper ative +L earning +.en queue +Ġgo og +ĠReg ression +im ates +Ġvoy eur +ĠDr ink +pl ug +Ġl ender +man a +Ġperson nes +yp se +Ġun link +ĠRav ens +Ġhur d +Ġperiod ically +ARG S +ĠG H +char acters +... "ĊĊ +- establish +Ġd n +( condition +ĠGr avity +Ġest as +_f ocus +Creat ure +(s ite +Ġc arr +ĠR L +ĠR I +ĠM oto +AS F +ĠLuck ily +ĉ Route +Ġent ropy +(" ," +Col lect +( contact +ĠFlo rence +Ġpremium s +Ġlif ecycle +Ġb ans +x ef +Web Kit +ĠFlo ating +Ġcos a +Spec ific +ĠLo ans +b read +Ġdes criptors +Ġ{ :. +TH READ +ĠT rent +Ġsc op +Q A +ĠAnt ar +p el +_d ifference +_ch anges +(... ) +ĠR otation +ĠLG PL +ĠJ UST +(T ask +_sub set +ĠTR ANS +åĬ Ľ +ĠSc out +-p opup +Ġsm oked +_C lass +Ġturn over +br akk +ĠRock y +t as +.Regular Expressions +ĠElli ott +ĠSp inner +DU CTION +Ġlib re +Ġmol to +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠ +ĠF TP +m peg +(f eatures +Ġb ald +ĠV id +Ġsh outing +L int +Ġsock ets +Ġpro w +Ġnouvel le +isc ard +ĠS ponsor +Ġconsult a +)) ); +Ind ian +ĠR aspberry +Ġteam mate +ĠJ WT +ĠGh ana +Ġc akes +pr imer +form a +erg arten +_M anager +Ġpre season +G AME +| " +ĠBro ck +Ġoccup y +Ġdecor ations +á nd +Ġc ot +Ġpar an +D isk +rem ain +> ? +Str ong +Ġfr ance +ĠE ra +-c r +.Buffer edReader +ĠParad ise +ĠV AT +ĠAnd ers +Ġlim b +amp oo +Ġimper ative +UT ILITY +ĠRec ognition +Ġragaz ze +Ġpop s +yp ress +Ġemb argo +// {Ċ +Ġsy ll +P TR +åŃĺ åľ¨ +Ġdid nt +Mail er +Ġacad emics +ĠFra uen +ne ider +- rel +Ġrain bow +( In +Ġslic ed +============ =Ċ +(s end +NSMutable Dictionary +v os +(p ackage +Ġord inance +view er +ĠSant os +-s elling +Ġgo v +ett le +Ġfound ers +Ġw aking +sl ashes +-p ound +re cht +ا ت +.on Click +Ġn ord +st änd +_ when +UT ERS +ic c +Ġcaps ule +ĠW id +M arc +ภ¸ +ro red +UG E +LO UD +ĠAud it +ip ients +op ian +ĠS ue +Ġwur den +.H elpers +Ġf actions +[ np +-th an +Ġre co +Ġk as +Ġcmd s +/n etwork +xb f +get Color +Ġbi ased +ĠL ak +D atas +vent s +Ġë ² +_P S +. Validate +Inv oker +Ġne uen +Ġju venile +V ISION +Ġdev ote +Ġlin ha +Ġdiscount ed +\ Config +Ġworth while +Ġskin ny +ĠC ourses +le ys +ĠMort gage +K evin +Ġannounc es +]) * +res ervation +Ġæķ ° +Ġprejud ice +ĠString Comparison +Ġbe ard +-w in +ĠS ão +ĉ ms +j al +ĠE arn +_ ports +ĠN ombre +_C OR +ĠB UILD +.s ound +Y ellow +Ġlineback er +Ġchar itable +j ug +_NON NULL +ĠD ental +"> ${ +ĉm atch +R ussian +Ġvers ch +Ġp inned +Ġadopt ing +Options Menu +P ag +Ġpair ing +Ġt read +erc ises +ĠSp read +) i +ĠB AD +_t f +UI ImageView +pop ulate +b ab +ĠÏ ĥ +[ ++ +Ġopi oid +Ġ## Ċ +d type +ĠStart s +('/ ') +Ġperson als +-mark et +Ġredund ant +ĠEss ential +Ġscrap y +Ġи м +a cl +Ġcre ar +ĠB end +Ġrel ieve +- room +w ife +Ġv Ãł +ĠQ Point +Ġqu asi +Ġmethod Name +\x c +ĠPer u +/ The +. orm +Ġv iz +/p df +Loc ated +Ġconfront ation +ĠChampionship s +Ġhyp ert +Ġd j +ĠUser Info +ĠåĪ Ľå»º +\x b +(s im +Ġ== Ċ +Ġst aging +Ġdr astically +åŃ ¦ +l ords +. less +вед иÑĤе +ĠB ucket +ĠM am +. term +_p i +c zy +.p ub +prec io +ĠV irt +Ġrom an +it at +L ex +_inf os +Ä ° +. other +VE LO +Ġp onder +Ġh anno +( Page +do i +Ġpol ite +Ġprogram mer +D ies +$ d +Ġrep lication +add Column +fr ican +Ġl eng +be er +o it +Ġw asting +yl im +me asure +N eg +Ġpart ie +.con sole +ĠGu inea +TE L +_f act +.ch unk +Ġl ent +Ġall er +Ġठķ +_id le +Ġad missions +JSON Array +Ġv ibration +.h elpers +å¤ ĸ +Ġh en +j ohn +Ġì ĥĿ +Ġjud gement +Ġge en +ter ra +^ { +ĠI z +Ġc â +inst ances +Ġthreat ens +Ġm üssen +Kind OfClass +Ġstoryt elling +_d emo +ri as +Priv acy +h ift +ĠY i +es or +íķ ł +ens itivity +.W riter +ภĤ +D istrict +.get JSONObject +Im pro +(get Resources +ĠS PELL +rodu ce +Ġslow ed +Ġlin ewidth +Ġhonest y +ĠCo ord +ĠF ork +ĠDispatch Queue +ĠCl iff +ĠW iring +_TIM ESTAMP +oll ah +av oid +++ ];Ċ +sem antic +-c ss +Ġv eto +ĠM err +Ġlegisl ators +CEE DED +Ġquestion naire +ĠP ills +Cal culate +(c ore +' e +Ġdis like +ĠPre ferences +_EX TERNAL +è° ĥ +Ġd odge +æľį åĬ¡ +.n ames +.draw Image +_p rom +uck land +Ġ<$ > +ı z +/s ite +é¡ ¹ +rop he +Ġcomp elled +Ġl aptops +Ġun i +C LOSE +Ġcasual ties +ĠUn iform +Term inal +. "," +D AT +(T reeNode +ĠGand hi +(st mt +AX B +* M +Ġumb rella +an imal +Ġgr pc +Ġwhere by +Ġfloat s +ĉ arg +Ġdb g +Ġexceed ing +Event Type +.SaveChanges Async +Ġ{ {{ +Ġow ed +ahren heit +Ġì § +Ġequ ipo +ur ai +Ġid ol +] ")Ċ +_m ajor +Ġentire ty +inger print +ç os +/ account +ĉ right +urs os +ĠE DT +_INS ERT +Ġsh ining +Ġ< : +Edge Insets +Ġcolon ies +. IM +ĉĠ ĉ +RO AD +CC CC +pl acing +Ġget Activity +em acs +' %( +.click ed +ĠTh em +is ia +Bus car +.re name +Ġo ath +Ġafter ward +ĠU FO +AP S +ĠJackson ville +.s ome +Conf irmed +.s can +ig Integer +Decor ator +sh ield +ress ive +.d id +请 è¾ĵåħ¥ +Ġsh utter +D am +Ġparent ing +ey ed +$ item +-de velop +Ġextract s +Ġdecentral ized +ĠEl sa +_sp in +]) + +-in itial +Ġmult itude +Ġsens ory +ĠMODE L +Ġsafeg uard +ì ¹ +Ġhunt ers +ĠT iny +IN O +decor ate +ĠNo Such +H o +( Response +Ġr uler +ĉ short +Ġc aster +Ġclient Id +Ġp db +ëı Ħ +it ic +ĠGame State +Ġnew Item +)ĊĊ ĊĊĊĊ +ou is +n oc +.BL ACK +_V ECTOR +---------- (); +.get P +any e +Ġneur on +if old +ĠK nown +Bit coin +Any way +ay ette +Ġ' [' +Ãł nh +m gr +Ġcor related +Ġn ause +Ġment ality +has Many +ĠF G +amp ie +IT U +F s +.S p +_b etween +Dep endencies +ou g +Place holder += text +ĠMan aging +ocal ypse +åĮ Ĺ +_m ag +f ld +â ij +C AM +ĠHelp ers +Ġd ost +/ out +Ġassass ination +.get Image +ĠKenn y +.' )ĊĊ +){ // +ĠR anger +Ġg ek +Ġsinc ere +< Value +ĠD OT +ĠVict ory +Ġleg ends +Ġpr isons +(ex pression +ĠR abbit +_s entence +Ġbit es +Ġon Failure +ĠâĪ Ī +K im +.g ender +ĠÎ » +Ġ[ . +"] ); +land ing +-d igit +TE MP +ĉ entry +Ġstrt ok +Ġdesc endants +um no +Ġlean ing +Ġspecific s +q n +ĠSp art +Ġpor r +EDIATE K +Ġse per +' aut +ĠSTE P +ĠBorder Layout +Ġret ros +ĠSalv ador +ĠEN GINE +x dc +T weet +v k +Ġì ² +] << +het ics +c oding +Re ach +.re q +gu ide +.s cope +sh irt +rog ate +SET TING +ĠProte in +Ġe ing +. EMPTY +.d f +Ġclear er +Ġc rossover +ĠTo ys +Ġco ated +.M onth +ĠAtt ach +/ run +.t abs +Ġogs Ã¥ +B rown +.D ATE +Ġf os +åŃŠ符 +W ood +-th ree +her ited +Ġ rop +( ac +Ġembod iment +ĠKenn eth +Ġcan non +Ġb idding +čĊ +.get Resources +Ġl ump +_const s +( ext +ĉd ir +â Ŀ +Ġpadding Top +Ġobs ession +Ġb anning +ĠApp Module +Ġpart isan +Ġcatalog ue +Ġmin ors +Ġpitch es +we ep +Ġundert ake +Ġthem ed +aud it +.scroll Top +Ġr er +Ġsympt om +Ġopen ings +.block s +open id +Ġas sh +-s ave +ĠP ig +Ġreg ain +Ġin icial +/f avicon +ĉ exp +Ġsp ices +isk a +claim s +m ak +definition s +Ġcorrespond ent +ĠCann abis +__ ,Ċ +ĠL ucky +ĠGa ussian +ĠN early +C AD +'] ]Ċ +Ġadequ ately +ĠT ITLE +constitution al +-m m +_ override +Ġbl as +.ready State +Ġremin is +Ġrein forced +ĠColl abor +Ġdecor ating +Ġb achelor +ERRU PT +Ġup right +ip ation +ĠNob le +Ġvalue ForKey +Ġset Loading +.I gnore +å ģ +G lobals +ĠM ent +AS SES +Ġlim bs +ĠH UD +inc i +. iv +ĠQ ModelIndex +F use +Ġped al +_F REQ +( verbose +Ġlong itud +ĠChar ter +ê ·¸ +Ġbund les +. ignore +um bo +EM A +.... ... +s x +.C ard +Ġhe ute +Ġste er +j umlah +Ġ{ _ +_Check ed +Ġf ax +ĠG ust +itch ens +Ġ ))ĊĊ +Ġremark ably +/ XML +- remove +_b t +Ġinc ub +.p ackage +.current Thread +ĠHigh lander +.s ide +s plash +Ġ ici += D +Ġp uck +Ġball ots +Ġhug ely +co eff +Ġp Data +.C OLUMN +ĠHe aling +Ġord in +! ), +Ġ' ',čĊ +(m d +ĠS ask +< strong +Ġsurviv or +.s eries +Ġcaffe ine +Ġ` ( +.TRA ILING +_ Input +(" ^ +z d +& );Ċ +ĠP ing +Ġv oucher +.r ating +-sh irts +ĠRetrie ves +.al ibaba +Or acle +_MO V +Old Data +Ġ/* čĊ +Ġg boolean +Ġ=> čĊ +Ġr á +Ġbl unt +ĠImage Icon +if ik +RT C +Ġfib ers +Ġto ile +.s ent +ĠPy Qt +$ app +Ġmed io +Ġgrant ing +Ġtsl int +ĠM ö +(fig size +Ġhur ricane +Ġlif es +Ġà Ħ +rocess ing +_st andard +- option +')) ) +Ġvac ant +å· ¥ +ĠH ollow +handle Change +Ġdiv ider +ĠEngine ers +Ġsv ens +Ġcompl iant +t anggal +ĠC redits +ĠEm irates +Rule Context +Ġreal ization +Ġdistr acted +]+ = +Ġaug ment +ĠD w +ot p +or rent +Edit ar +.st ock +St udy +pe ctions +ĠGame Manager += cut +Ġf lock +ĠRom ans +th em +-h op +Ġscreens hots +Ġ/* !Ċ +Ġconvers ions +Ġnormal ization +(config uration +Ġa eros +_se curity +! 'Ċ +B onus +ĠDR IVER +ĉ Date +t ie +ĠWy oming +St and +it re +Ġsh oppers +Ġdisadv antage +Ġlik ing +ç¬ ij +Ġunderstand able +SE E +Ġh oy +Ġnin ete +Ġcon fer +Ġnow rap +ĠV ern +, čĊčĊ +imest ep +Layout Manager +à · +ĉw ait +PLE TED +J apan +Ġindu ce +Ġå ¯ +оз в +_END POINT +.h orizontal +Ġacceler ated +rim on +IV ES +Trans actions +Le an +ĠSO UR +wh ether +y g +Ġo id +ĠEntity Manager +OUN TRY +Ġfil a +OLUM NS +IN UE +ĠAn chor +TR AN +wo o +block quote +ĠN urse +ĠCar p +Ġrede em +. try +ĠJ P +Ġtimestamp s +Ġ?> ">< +ĠREM OVE +ĠStar bucks +Re ally +Ġflood ed +.C allback +Drop Down +ip ro +Ġt ended +l te +Ġproport ions +- te +ĠR ena +lic ate +for ces +.ex tra +.auth enticate +в од +¡ ° +Ġfor ControlEvents +Ġsen ha +Ġke in +Ġmin ist +ĠPre ference +ĠTele graph +Ñĥ п +str pos +Ġillness es +Ġp igs +Ġget Intent +S ol +Ġ ¡ +(c pu +[ prop +s creens +'); ?> +ĠAct s +Ġstr dup +Ġaver ages +an al +ĠCas ual +Group Box +ĠHand book +/ comments +Ġnumber ed +Ġbroadcast ing +çĽ ij +.native Element +.m u +Ġupdated At +ĠDoes n +.A C +.c oll +Ġrec order +_sh a +B g +b il +Ġbol ts +Ġç ¬ +Ġim posing +ĠInformation en +_flash data +e conomic +Rem ark +uc as +ĠOff icers +ĠT ER +W alk +Ġmerc ado +_g enerate +H Y +Call ing +s nap +script Id +. operation +ĠFl ame +l iness +Ġrent ed +_t oggle +-ch anging +ĠT Y +' util +EE P +Ġgraph ql +ĠUn i +Ġimp ulse +.B asic +Ġenerg ies +M ARY +ĠMar cel +Ġmort al +Ġf res +m ens +m otion +Ġsample d +âĢľ That +id ay +qu ipment +get Int +ĠA bsolute +,' " +un ed +.sh are +Ġ} )( +mm m +ĠR ising +ä» » +Ġun employed +x fa +.f ollow +ĉĉĉĉ ĠĠĠĠĠĠ +sl t +.P hone +Ġkn ives +Ġe ve +on Click +] ))čĊ +ĠW itness +ĉ NS +ĠE OS +ĠSte fan +ĠPri est +âĢĶ which +Get String +. By +Ġup stairs +Ġdetr iment +bro ken +emb ro +Ġnic otine +il ion +Ġaston ishing +_ aff +ĠLess on +Ġaccident al +od or +Ġdec ir +Ġnew Name ++ . +çĽ ¸ +igs list +ĠG ithub +Ġsuccess ive +rac ial +Ġen viron +éªĮ è¯ģ +Ġredirect ed +T OTAL +Ġgrab bing +ĠL ance +Ġfor fe +_C B +å¾ ® +El apsed +_w ay +(Dialog Interface +_me asure +x bb +D og +Dep art +-s rc +res olver +with standing +_sh ell +ĠLast Name +ĠAv iation +Ġbegin ner +("% . +(to ol +Ġн ов +: init +(A PI +ĠMorr ison +vt Color +Ġstap le +/ INFO +Ġsupern atural +Ġste ak +tim eline +zz le +" `ĊĊ +Second ary +ĠNep al +.String Utils +Ġad am +Ġ( ... +Ġsub stitution +Ġboard ing +ĠKey word +ĠAss ault +dbc Template +Ġorder Id +( engine +.assert That +ĠVen us +Ġhomic ide +ĠA val +Ġg utter +ĠSupport ed +/p art +Ġac claimed +H istor +Ġmes es +ü ber +ĠRen ew +Ġgr as +ĠE k +Ġin file +ind y +.m usic +.S croll +ĠA ges +ĠNar uto +ĠG ather +Ġconfirm ing += (" +Ġpitch ed +ole y +Fr ance ++' " +$ total +Ġon de +Ġd itch +_s igma +Ġcontinu ity +re ward +- load +Ġproces o +Lock ed +st aw +Ġsp inal +l azy +! == +j est +Ġd un +ĠRod gers +ĉ grid +Ġlog os +ĠBeng al +.s uper +Provid es +Ġnut rient +.T imestamp +IZ ATION +åĨ Į +Ġf ats +ĠX xx +ct ica +Target s +Ġcont ours +Ġre ordered +: Array +Ġtoler ate +V ir +Ġter ribly +Ġbr icks +(& _ +h b +Port al +ĠB read +. which +ÂŃ t +as InstanceOf +Ġj object +ĉ length +_M T +; ">čĊ +_EX IST +Ġmat ernal +RE L +Ġê²½ ìļ° +he e +Ġlayout s +ĠL ap +ais y +Ġst umbled +ĠU IG +ĠS co +Ġimp aired +RES SED +Ġab uses +V F +AR B +.N AME +r ch +prim ir +_com pleted +Ġp enny +Ch rome +(b egin +ern en +- checkbox +Plain OldData +ĠL PC +r ade +sp ir +Ġcon ceived +T ips +ĠIo T +ĠG an +èģ Ķ +Ġbi ases +Ġconsult ants +ple d +_ ht +associ ated +], ĊĊ +Ġdelight ful +ĠÑĤ ек +Hel vetica +( load +-exp and +_W IDGET +to a +ĠA kt +Ġom n +Ġcl auses +Int el +*/ }Ċ +_reg istration +Ġold Value +Ġrest oring +Ġun real +O VER +ĉĊĉĊ ĉĊ +AT S +_pro be +Ġdiv isor +.update Dynamic +å¹ ³ +Produ ces +st amp +.j boss +ĉt ask +! (: +Ġpsych ic +@ class +M artin +ĠPass ed +clar ations +h el +а Ñĩ +ĉc opy +-b in +z an +ig ram +া ঠ+(s ig +ĠC aval +_ ## +Ġ% = +out lined +ĠAc id +Ġunpredict able +-d ashboard +Hex String ++ c +.P ublic +Ạ© +Ġconvey or +ĠE B +Ġselect s +Ġknock ing +ĠC ec +IBUT ES +owa Äĩ +g atsby +* v +ent ropy +Ġdispatch ed +Ġcam el +ĠSat urn +Ġover weight +( phone +par able +% B +_v ectors +Ġbrew ing +ĠT k +ĠDownload s +ĠS aved +.Pr ice +Ġcur ved +ĠParen thood +è ¶ +.p nl +plet ely +.D ay +Ġadvertis ers +Ġej ec +Ġpr zed +ë ¯ +! ';Ċ +ĠK ush +ĠT AB +Ġquest s +Ġcoinc idence +umm ies +ĠKash mir +ĠEth ics +_g rowth +Ġakt iv +Ġgroup ing +å¢ ŀ +_tr uth +åIJ ¬ +t odos +is et +Tex Coord +ä tt +ĠZ ur +ro ys +_M AGIC +Ġbrew ery +( State +ĠSM ALL +ĠPl ants +it bart +each er +ĠAd elaide +L u +Ġf ick +und les +_load ed +и е +P oll +rit ic +EL Y +Ġ+ ' +ĠProf ession +Ġst amps +ĠS ew +scroll View +Ġcomm unist +/pro blems +}čĊčĊ čĊčĊ +, o +Ġu dp +Ġob ese +appro ve +ancell ation +_G ame +ĠHas htable +adaptive Styles +Ġpossess es +.match er +function al +M rs +ĉs ave +ĠDb Type +Ġk en +get Context +Ġm ans +( rel +ĠBrother hood +) `Ċ +è§ £ +.In formation +OutOfRange Exception +ĠS ek +C as +Ġblog gers +E ither +(" "" +Ġpin ch +Ġco arse +) p +ĠP ulse +Ġlear nt +Ġdent ist +Ġon change +Ġdirect ives +( actions +ny der +ĠSh ir +T rait +_de p +ĠP ET +ĠRE P +.App Settings +cu ador +iden av +Ġenv i +Ġsl ammed +ĠSh oot +Ġdate Format +.j oda +ve ys +Ġ) .ĊĊ +Ġcare g +ĠPar allel +_ translation +.function s +. obs +Runtime Exception +[] = +over view +ĠSch l +Ġno isy +ĠOn PropertyChanged +S ending +Ġunf amiliar +U pon +ĠPrint s +.t yp +Ġflee ing +ĉm ove +( Un +Ġq r +× ľ +_b eta +Ġsk ies +ĉm e +W ND +Ġstick ers +bl as +Ġinsert s +Ġvers es +ĠD ew +Ġtang ible +Ġhe cho +P OL +Ġte ardown +om nia +IB E +.c over +_str ategy +^ - +set Position +u ale +S igned +Ġif ace +as eline +.set Time +ĠMin eral +ĠFight ing +sk ins +Ġdiscrim in +Ġdans k +ĠPr inceton +ac ist +Ġ( ));Ċ +tr acks +imon ial +ad ecimal +EP ROM +ugg le +.Not ification +$ mail +c antidad +ĠJ ung +Ġseek ers +Ġpl ausible +t ier +еР¶ +Ġr apper +ĠMan a +ĠHttp StatusCode +Ġburn t +los es +ĠF oto +ĠJson Object +Inst agram +Ġsys call +Ġreal ities +ĠMAT LAB +:^ {Ċ +TER M +ĠC bd +ĠPar agraph +Ġtrav és +Ġconstruct ing +Ġsw al +Ġp ige +LL LL +-ex isting +G ets +Ġmelt ed +Ġmitig ate +H en +Ġh m +im as +ĠA o +ĠP erez +ĠD AL +Ġëĭ ¤ +Ġdiv is +Storyboard Segue +ĠMod ify +ĠÃľ ber +_O VERRIDE +.p em +unt os +Ġespa ñ +Ġ{ ? +ĠP AY +_ip v +ĠF ury +__ .__ +el ow +-center ed +check s +_ Reg +-J avadoc +ĉ load +ĠLik ewise +ا Ùħ +UN E +.se m +x cb +ĠC ave +_s leep +Ġsil ently +ĠExt reme +.To Upper +ĉC HECK +Ġc ue +ĠQ ByteArray +Ġcorrupt ed +ĠD é +Ġimp ed +Get Name +Ġinaccur ate +Ġso ber +е е +Ġbar code +-- ){Ċ +ink i +Ġé p +Ġd ri +ĠAL T +>>>> >>>> +ont a +[ L +Ġinter es +ver ting +Ġdi agnostics +p dev +è © +ĠIntegr ated +). ' +_g c +$ text +.g ames +ĠT erra +' Re +.trans fer +_F IFO +get Model +Ġbl and +ĠCole man +Ġpr imes +Ġæ Ī +Ġcross es +n k +G ING +Ġ' ^ +ĠB lob +Ġinter course +ĠBl vd +Ġweigh s +_reg ular +ĠPer th +Ġsepar ating +Ġb illed +.tab Control +Ġpup pet +Ġutil ization +Ġâĸ ł +Ġsucc es +Ġl amps +_pro j +E ric +Ġren ovation +ĠFam ilies +ĠB its +part ials +-M en +s olution +Ġd warf +.IN TEGER +ĠLO CK +. ct +Ġexcer pt +ĠP ix +ĠFirst Name +ANT ED +ĠAd mir +-h elp +P rior +ĠAl ign +.IN STANCE +Line Edit +('/ : +Ġin et +od us +.p kl +ĠK Y +up ert +Ġn erves +_grad ient +} ',' +_un ref +Ġs aturated +ĠConn ected +ĠF N +EX IT +Ġtele port +Ġav ait +Page Route +Ġdivor ced +(l ang +f st +ĠT yr +Ġmess enger +if stream +X S +ĠBank ing +Ġinfect ious +ĠM ons +_LO OP +Ġzur ück +Ġobt ener +/re pos +V el +ac ro +Ġuser Repository +style Type +ĠS RC +VML INUX +rec ursive +/ bar +_ch ip +omin ated +ĠN it +âĢĶ to +ĠBudd h +ом еÑĢ +ĠM AG +ĠC HE +_d en +. raises +_de gree +Ġpump kin +_tem plates +_M EDIA +ĠTim eline +Ġb ots +Object Type +Ġbu ys +.post s +C AL +wait ing +ĠDani els +Ġd abei +ĠS igma +il or +ig el +, W +AD S +( panel +ì² ´ +it ating +.p alette +Ġmos quito +Ġt ego +(parse Int +Ġdes pués +p romise +Ġw ij +types cript +ĠT v +_IDENT IFIER +).ĊĊ Ċ +_fl at +its u +US R +ex perience +-f it +ph inx +_th resh +Ġide ally +ĠFre eman +, DB +_r w +çŃ ī +U b +_stat istics +=" ">< +Ġch ore +Ġy ork +inst alled +Add itionally +Ġp stmt +yl ko +:: Ċ +Fore st +Ġhead set +Ġgall on +ÑĢ ем +Ġwithdraw n +ĠC andidate +Ġmel ting +Ġfree zer +Ġh l +_HE LP +m ime +( /* +Ġth irst +$ return +member of +еР± +ĠHttp ServletRequest +( ob +_ Result +Ġassert ed +Ġfulfill ing +Ġstret ches +par ated +-f unded +Ġå Ľ +ing les +_c a +. condition +ĠDis plays +Ġor ang +ĠC RE +Ġgl Bind +ĠSelect or +/ type +ĠAlex a +ched ules +ĠPen insula +Ġpar ity +ĉ dest +ĠDo ors +čĊ ĉčĊ +_dim ension +Ġa load +.St oredProcedure +(p aren +ĠBur ke +') ]Ċ +- engine +Ġqu ir +ĠHy brid +ĠDo e +Ġout lines +ĠTrend s +_N V +per iments +ĠH in +? ', +ĉ Text +F UL +Ġsm ells +Ġs lick +Ġmis erable +ĠArray Adapter +Ġparam String +H om +_l iterals +us uarios +Ġprompt ing +_l azy +ĠActiv ation +_ oc +We ak +Ġan ecd +ĠU CLA += re +isse ment +ĠEsc orts +Ex cellent +ĠP ause +Ġre positories +T OR +ari ate +_is o +up dates +hal b +udi ante +ë¡ Ŀ +Ġna ive +ĠP eg +ĠL ounge +ARG IN +(b in +On ClickListener +ĠFA ILED +Ġl ite +Ġd zie +ĠL iteral +iv or +fc ntl +Ġe ats +Ġq ed +Un lock +rid ing +und ai += M +AT TER +Configure Await +ici as +ustom ed +Ġsuccess ion +end Time +ĠJ upiter +Ġjud ging +d ration +_d ocs +.m o +Ġeduc ators +ĠV ine +Con d +[ out +q b +\ Validator +Ġmean ings +Ġpresent ly +Ġdiv iding +otten ham +asc ular +Ġtrail ers +ĠC LOSE +ам и +âĢĻ ai +ĠG ain +w or +Ġpl anner +Ġdistrib uting +v at +month s +x label +H F +V iol +.BASE LINE +еÑĤ ÑģÑı +ĠR otate +Ġtx n +: bold +Ġb loss +Forg ery +( embed +Ġjak o +s printf +the ir +Ġexhib its +- static +he cy +get ActiveSheet +.c lients +ãģ į +_h ide +[ word +C b +add Item +ax e +_r adio +al ion +mod ifier +Ġsat uration +Ġden om +_p ixels +m ess +(f l +at if +Ġse cs +Ġpro stitution +Ġgrand children +Ġparad ise +ĠF eld +_B INARY +it ous +๠Ħ +Ġflash ing +-s ided +Ġcontrad iction +/* ĊĊ +y label +ĠT et +Ġadm ire +res o +Ġlet z +ĠSE ARCH +sl ots +ĠRew ards +ĠH og +ĠNS Data +st ash +F all +ĠA mer +Line arLayout +/ photos +Ġfe ather +Ġ| čĊ +Download s +.Start sWith +Ġ// # +ine Transform +Ġaff id +V tbl +ĠRog ue +scri bed +Ġfa uc +ĠMon roe +Ġdecl ares +mod ern +re on +ay be +P ASS +f ers +_MULT I +ĠMath ematics +Ġsud ah +_ATT ACH +Ġnumber With +ĠSol omon +j in +ograf ia +ö l +_d esign +cul ated +ĠL una +ies z +Ġ=> ' +Ġrevel ations +Al ong +( ed +ĠF ilename +Ġy label +Sec ure +Ġbus ca +agn osis +_RE CE +Ġoverl apping +Ext ent +Ġanticip ation +Check s +ĠALS O +or c +iling ual +it ational +Ġadv ancement +ou ro +ĠP redicate +å¾ Ĺ +er ia +ĠPier ce +or io +Ġmer its +Ġpe anut +.P ackage +ĠCon duct +_SENS OR +Ġbo iling +Ġin tra +ĠI GN +ĠF ur +.Ref resh +ĠRe ach +_dec oder +.Ex p +ĠÑĤ ак +p ill +, Q +ĠGr ill +Ġpop ping +.A g +Ġpro yecto +Ġmile age +Ġec ological +] ]);Ċ +ĠÂ Ń +sub plot +ac ad +ĠTry ing +rec ipes +$ criteria +ĠPers ian +-b ound +M ASK +ĠG esture +Ġk k +ĠP VC +Ġprohib ition +Ġcom ando +ĠLO OK +Sh opping +Ġdist ortion +< Boolean +.Get Length +um pt +\ Product +ell ery +Ġfire wall +form atted +.red is +Ġes a +ĠRh ode +S om +.n on +Ġ' ). +Ġget View +ạ n +pr us +Mat thew +Ġs ia +ĠF ors +G PU +ient ras +_IN ST +Ġol arak +Ġimport ing +T CP +/ ");Ċ +e ither +Ġfresh ly +c ascade +(char acter +ĠJe ep +ot ics +_ UTIL +.Xtra Printing +.first Child +ĠEx cell +Ġd vd +Ġt aller +Ġr as +yp ass +Ġassign s +Ġgri ev +-m ore +J D +ĠBurn s +' >čĊ +.D ependency +.Query String +.O wner +Ġexp iry +Th u +( Vec +Ġhazard ous +Ġr pm +AP ON +Ġadd Target +sv ille +p Net +ĠIm g +ĠTIM ER +.An imation +Ġbe k +Ġass ort +Ġle bih +Ġbody Parser +Ġvibr ating +ID L +Ġbutter knife +int ers +Ġpersu ade +ĠLGBT Q +è ĭ +.s oft +Ġbe ams +_s ur +.D ef +Ġl abs +ĉ plt +Ġsk ins +Ġtransf erring +Ġimag inary +_E nd +; background +Ġl aps +_COM MENT +(S DL +ond s +.Rec ord +ĠIm plements +_t icks +() ))ĊĊ +Ġa rose +] ? +ĠM p +ĠI Command +Ġsculpt ure +Ġcontract ed +< HTML +Ġcal end +at y +/ Sub +Ġkv inn +_ IGNORE +ĠSh ane +ML S +Ġstim ulate +Part ition +Ġm un +ó m +eral a +- account +.B inary +c é +Ġse ize +connection s +ĠĊ ĠĠĠĠĠĠĠĠĊ +ĠDi agnostic +V ISIBLE +ĠRun s +Ġimpress ions +s uite +ob le +~ - +ak ukan +< Person +ĠN os +ĠG ui +.wait For +RE SET +Ġpost pon +Dis cover +arr ison +sh aw +b lood +AJ OR +æĽ´ æĸ° +ĠM use +æĶ ¶ +Ġret aining +ot te +Ġmos que +ĠS ne +Ġstandard ized +Ġmain land +_th ree +unge ons +get Doctrine +Ġwh ale +Ġag g +ĠP orsche +now led +lat ent +ĠRel ation +Ġ// ' +Ġshut ting +ĠRem ix +_c ov +Ġs ailing +Ġv owed +Ġp ots +out u +Ġhair y +cast s +Rel oad +Ġre connect +ter a +.child Nodes +ĠR ack +Ġcurrent Index +Ġall en +Ġ çĶ¨æĪ· +ĠC ubs +[ X +_SE Q +_RE MOVE +.get Action +(/ ^ +err ar +Ġ ether +cur ve +Ġsl ap +Ġu om +O thers +Ġen gr +Dis position +Ġst aged +E ye +ĠA ux +auth enticate +Ġ$ ? +ĠAndre as +Ġset w +.A rt +Ġforecast s +Ġa unt +-m iddle +Ġmis d +des k +Ġescort e +ĠCas a +rop ical +Ġexem ple +plan et +(U INT +Ġwh ip +ĠPC B +clide an +=" \ +Ġox ide +Ġsucceed s +der ived +ĠEcon om +_co ordinates +ir as +D raft +Ġvisual ize +B rian +_ASS UME +ĠObject Id +Ġtrain ers +_FOR CE +Ġcon soles +- process +lic her +ĠSim mons +T aking +ĠCl aims +Ġdiffé rent +Activity Result +Ġsn s +éĢī æĭ +ĠCr us +Ġll am +r ab +ĠJo an +AA A +ĉf ilter +ish ops +get ting +à µ +Ġquant o +P ast +ov ich +Ġin justice +ĠF LOAT +Ġal right +\ DB +( GameObject +u ish +(b ot +Ġgall ons +ĠR é +ĠS aid +ĠSTDMETHOD CALLTYPE +ais ing +_process or +ell idos +ter dam +ĠBe am +Text Area +Ġret orno +.M ake +Ġ$ ("< +Ġlock down +Ġremed ies +Ġve el +x ee +do ctype +F il +ĠExp and +Ġemp loys +Ġsession Storage +Ph p +P ublish +Ġret al +f abs +ynam ics +Ġtoss ed +ĠnumberOfRows InSection +x path +\ modules +Ġdis astr +ĠM ULT +.M esh +-st age +Ġs df +it ung +ug es +Ġ?> ">' +kin son +Ġк ол +ogn itive +_ li +Ġim minent +Ġaff inity +.sign al +Ġnot ch +ĠSteel ers +max length +K K +ĠEug ene +_P WM +ro i +Ġâ Ĺı +ĠH amburg +.M ust +Ġax e +en ef +Ġamb itions +ĠSpec ies +ĠSt ress +Ġa while +Ġб Ñĥд +Ġwith stand +ĠDec oder +_in ventory +Ġ{ ččĊ +Ġt gt +Ġrail road +W ASHINGTON +Ġnegot iated +N ST +- phone +, U +Ġexerc ising +á» ¥ +_P IXEL +av ors +iter ated +Ġv ampire +ad al +In grese +Ġun g +ject ive +.c ells +Ġn ano +Ġmark down +_R ULE +(event s +Ġl uggage +MESS AGE +ig keit +$ count +Attribute Name +IG INAL +_E nt +ĠB F +ĠCOM MENT +_in i +ĠEurope ans +ĠB elle +åij ½ +) [' +åº Ķ +ĠUse ful +.re ference +() ", +_ grade +ĠK aw +Ġsent encing +Ġsocial ism +mon ster +_L AYER +Ġdee pest +w k +ĠNo ise +### ĊĊ +Ġpr éc +ot le +ÑĤ е +a uf +ib al +Ġcon quer +> Email +Ġamb ulance +O AD +Ġ(" % +ĠF I +.f ixture +Ġter se +ĠĠĠĠ ĉĉĉĉ +Ġsanct uary +ug i +ĠCom parator +Definition s +Ġast hma +Ġl act +Ġhard wood +.c lock +Ġattract ing +ĠM our +(d istance +ic its +Ġbon ne +ĠAC CESS +.Deserialize Object +ĠTyp ed +Ġje u +Ġapp Id +ĠCl ara +ĠH F +ĠRe ich +ipp les +//---------------------------------------------------------------- ---------------- +_del ivery +erial ization +Ġplaint iffs +Sc ient +sh opping +ĠD ummy +ĠW ald +Group Name +Ġins cription +el og +:::: :::: +_ ld +Back Pressed +.R aw +ĠOn Trigger +Ġmuse ums +ĠBe en +ĠAdvent ures +Ġsl ate +Ġlet t +Ġsu nd +ĠG in +ĠMechan ical +.s hip +App Component +Ġdest ined +Ġdw elling +Prof iler +Pre pare +ze ich +Ġsil icon +(h as +Ġ# % +VID EO +Ġcollabor ate +L in +Ġsc opes +( className +(s d +and in +.h am +Service Impl +-des cribed +Ġiron y +st ial +ĠHu awei +(re po +Ġunexpected ly +ĠK ai +.inst all +\x f +Ġexhib ited +_T CP +ĠO x +_CH O +Ġprostitu erte +Ġv ä +Ġsit o +Ġconstitu ents +ĠContin ued +ĠS AVE +r ss +/ message +ub es +Ġmisd emean +Ġtax ation +Ġstory line +h air +ĠFind s +S IG +ver ification +~ = +.h p +Iter able +Ñĭ е +ator i +Ġc tr +R x +_ );ĊĊ +d ag +.p in +Ġp seud +Ġinv o +ÑģÑĤ ÑĢ +_p ix +为 空 +Ġsw orn +âĢĶ or +_reg istry +Ġdis asters +ĠRO I +ĠâĢ ķ +akt u +fore st +be iten +âĢĶ I +ue va +eg t +Ġsp ikes +URE S +ĠRecomm ended +Ġexplo ited +ĠFreder ick +_COMP LETE +ĠDr ugs +!!!! !!!! +ĠR iv +ST OP +RO OM +ĠP ASSWORD +C ookies +.E l +á» Ń +ĠB ert +Ġhash ed +ic ester +Ġdecor ator +Ġquery String +: ;Ċ +Ġ" [" +oto pe +-A meric +ĠMatthew s +UR AL +âĢľ , +Sum mer +f os +_CONT AINER +_A CK +Ġfil tr +_dis p +_ Re +Ġfac ile +а ÑĪ +Ġìķ Ĭ +Ġe ben +Ġspr ink +ĠQ uint +> V +Ġhistor ians +our met +ĠMonitor ing +led ger +c ott +Ġw are +GG LE +c ars +ĠM EDIATEK +Ġvol upt +_ View +HE L +(c opy +(st ats +Ġchrom osome +ĠCurt is +- conf +( asset +Ġhv or +File System +< >();čĊ +oc oder +ĠC annon +) x +ĠSm ooth +ĠS AS +_ ce +ĉ prev +_m ovie +E c +_w all +< Button +ĠF AST +Ġon View +ul an +ĠS UPPORT +Ġgesch ichten +ĠS ons +Im m +$ IFn +Ġfair ness +Ġd pi +ats u +J osh +Equal ity +Ġ} ()Ċ +_ less +ĠR atio +ĠC ats +ĠS tern +Mon ster +Ġmer cury +ü hr +Ġplus ieurs +.des erialize +sc opy +.F alse +) animated +ĠExp erts +Ġ"") {Ċ +.W hen +see also +.un pack +LE M +.select All +Ġperception s +ud ing +ir ling +ĠPrint ing +gram s +ĠFile Stream +erv ille +il og +ic mp +_C ount +Ġlivest ock +- ca +doc uments +Ġpo les +ĉw ant +Ġflu ores +Ġstand point +ĠH uge +Ġradi ans +ĠUIB ar +EDI UM +ĠHistor ic +_h older +ĠMar ines +Ġt ä +.L ight +quir er +ason ry +div ider +ĠFl utter +_f b +restrict ed +ĠEvery body +N ão +Ġkn ot +ĠT witch +Ġhall way +(C ollider +Input Element +? )Ċ +/ off +/ ) +play ed +[ OF +Ġbat ting +_d l +Ġcom edian +Ġé v +ĠD EM +ĠEd en +: white +' ', +Con struction +acer b +Ġtask ed +.man age +Rel ationship +Ġph on +n z +_B GR +Validate AntiForgeryToken +_ air +âĢľ When +Ġgl fw +ĠCon versation +_T OTAL +, Z +Ġg raz +Ġiter able +ĠP ASS +Ġadvert ise +Ġmö glich +/ train +ĠVolk swagen +Ġcreep y +Ġ" )čĊ +QU ENCE +Ġalt ar +Ġed its +comp iled +aw ning +ĠD ungeon +Ġo sg +Navigation Bar +Ġtrend ing +ĠE co +ogg les +cd ot +| - +S ie +ec ret +ĠN egative +ĠL ing +ĠD IM +ĠC WE +ĠCar rier +Ġcar tridge +_us b += os +ĠJack ie +Ġo tras +Ġcommod ities +ĠP resentation +)&& ( +ĠMar tha +ĠCath olics +ĠM ond +об Ñĭ +_ absolute +Ġash amed +pons ors +t al +Ġsad ness +Ġpu ò +F ade +-pre view +ĠRequest s +ĠCal vin +h orn +Reuse Identifier +(pro vider +/app s +ime o +ĉ Class +S amsung +ĠW ORLD +Ġc innamon +dot env +ĠI User +ĠDE V +_C har +.ib atis +et i +/ me +s st +.s ym +ĠRug by +-m aster +aj ar +ĠY EAR +Ġo dp +ĠR oles +Ġbip artisan +ail le +Ġblock er +Ġgre ens +.SE CONDS +Ġbelie vers +ĠL ikes +F LOAT +Ġm ak +Ġg cc +âķIJ âķIJ +(" ~/ +SCRIPT OR +Ġton nes +ĠS ang +Ġtrans pose +enn ai +P red +Ġsoll te +.github usercontent +( print +ĠH ole +çľ ĭ +ad get +Ġprompt s +Ġgen etically +ĠH od +Ġvert ically +_control s +ÑģÑĤ ан +") {čĊ +$ title +Ġ} ),ĊĊ +Ġstate wide +ĠCor respond +ĠAt tr +it ant +Element Type +Ġout ward +Ġfam ilia +( article +Ġbl at +Âł Ċ +Ġgl Get +ĠRe ceiver +Ġ% - +ad am +W inner +Ġtail or +_p wd +ert en +St an +ĉ all +al ive +strt otime +� s +s essions +$ conn +ass ist +Ġchat ting +ĠM ant +Ġ% @ +Ġ"" );ĊĊ +Ġd gv +Ġíķ ¨ +.re peat +_M essage +Ġadvis ers +/ path +Ġk es +) } .ĊĊ +ogen esis +ĠOPTION S +upt ools +Ġmilit ant +Ġex ited +ig ar +ĠCOM M +ĠDis posable +ay cast +Ġrow span +Ġsyn thes +Ġsond ern +ĠĊ +ĠJ acket +R ATION +.getSelected Item +- init +ĠReg isters +_se p +ĠTool kit +.d ict +Ġx label +\ Table +t oc +_com bo +ĠComp act +Ġr ugged +à¥ĩ ठ+-man agement +')}} ">Ċ +ĠSt amp +ı l +ro x +Ġlandsc apes +_NOT E +mon ary +c ab +Ġmo et +x af +rc ode +- cli +_g ate +[ event +SP ORT +g ia +ĠS UPER +/ Login +_sh utdown +int errupt +Ġpret ending +Ġfr inge +ĠRed s +ĠC UDA +ĠUN IX +v it +Ġbr ig +dr v +ĠConn ector +There fore +Ġl ia +D etection +_ actor +Ġtemp file +Ġecc entric +- role +Ġpad x +d ent +West ern +Ġê ·¸ +ĠApplication Record +Ġcampaign ing +_run ner +ĠC ivic +ale igh +Ġdire kt +.s ul +ĠĠ ĉĉĉ +ant en +Ġiss uer +Ġassert ions +( orig +AT IO +Ġlean ed +ä s +.D TO +expl ode +.O bservable +Ġstagger ing +Ġkidn apped +Ġprogram mers +ĠInn ov +.param eter +Ġdom ination +Ġske ptic +Ġæĺ ¯ +Ġavoid s +.Ver ify +ub by +ĠAS N +Ġformat o +ĠBeat les +_b rand +Ġin set +y outu +Ġto c +-f inal +Show ing +ĠD oub +ĠM esa +Ad j +_m edium +Cre ates +(end point +ĉ UP +bb ie +Ġst alk +.datab ind +.S can +ag ents +$ , +ind ividual ++ )/ +ĉv m +(not ification +Ġin ex +ĠClass ification +ren o +Ġo lig +-r ated +Ġform ulation +', { +Ġa cept +_un pack +_C A +.P ow +ĉ im +Ġal uminium +AN O +Ġx n +Ġcó mo +ĠIng redient +Ġseiz ures +åħ ± +ific ador +Ġsigu iente +ĠIn fragistics +Ġduplic ated +ĠDe e +Ġn ø +ĠAC CEPT +(c rate +иÑĤ елÑĮ +- less +Ġinf inity +An alyzer +-D ay +rit t +(c in +ĠG y +Ġmulti plied +uch i +ĠBald win +/ ip +Ġshort cuts +.A DD +Ġvig or +_in struction +( ; +_ eta +è¿ ŀ +utor ials +Ġboost ing +b v +Ġacknowled ges +List ening +FA Q +; b +(( - +Ġarchitect s +Ġz we +Ġpul s +Ġget Count +ver bs +ãĢ ľ +(C ollection +k re +Ġjuris dictions +_b ridge +ĠCr ack +ĠDiff iculty +K O +Res ervation +_re quires +T our +ãģĹãģ Ł +.set Current +Ġk y +ĠAlb any +Ġè § +ll er +agn a +work ers +.bl ank +ĠPr ayer +M IC +Ġresil ience +Te X +ĠL anguages +st udy +ĉc urr +Ġenzym es +Sl ug +ĠíĮ Į +str al +Ġtum ors +Ġseg unda +=' { +in struction +ĠL isp +/ info +Ġ" {$ +,: ), +Ġg v +( ErrorMessage +Ġ' = +}- ${ +.Doc uments +" Well +Ġreminis cent +Ġg az +iro pr +eh r +Ġsup pressed +ers h +.scroll To +Ġcad ena +Ġgame State +ÃŃ m +( conv +ĠTom orrow +ĠC CT +M ongo +ul g +.C amera +.hand lers +m ph +Ġst k +Ġgen etics +AC ING +Tr ivia +ĠB am +(m arker +.St retch +ĠSun ni +ĠBet ty +.t olist +un likely +.Rect angle +ob solete +IL ON +inner Text +emb ourg +a N +ĠV ehicles +un lock +: utf +n ob +ĠSee ing +ĠNE VER +Ġt ls +Ġfil les +Ġbenef ited +ĠCl int +*/ ), +.f old +Ġpos ible +A DED +th ouse +.D AL +ĠO dd +ro kes +ĠSun ny +ĠPartial Eq +_B uffer +ĠLe vi +long rightarrow +eld on +g ages +_w arn +.Create Table +ĠD ip +_ questions +.log ic +Ġ# " +={() => +Ġt ep +Ġju icy +ì Ĥ¬ +en ko +ia lect +Ù ī +Ġon board +Ġæ ı +ĉ rt +_ UTF +ĠQ Action +âĢ ŀ +( Component +(a udio +.h it +g te +Ġprogram med +state Params +Ġpoly ester +f ires +by ss +] =( +_ quality +Of Day +ĠFair y +Ġy elled +op l +(user Name +ĠD ifference +Ġevalu ations +iff any +Ġcycl ists +Ġc idade +Ġtext book +Ġprof iling +__ ), +de a +. activate +Ġindic ations +Ð ķ +Touch UpInside +Ġinval uable +ĠM ASK +Ġcont end +F req +Ġrecru its +(int erval +ĠUser Profile +Ġ'./ ../ +ed u +_C allback +Ġanal ogy +ĠTro phy +app hire +V ideos +ĠCh er +ĠH av +âĢ¦ " +. validator +g fx +ĠU Object +class names +tri angle +ĠEnc oder +.s py +Ġpred ators += status +-s afe +: ",Ċ +ĠIn cluding +Ġ{} ;čĊ +* cos +Ġend ured +.sul ake +Ġnurs ery +Ġfrag rance +Ġre building +Ġn th +ĠFr aser +.set Date +ĠV ince +_RE ST +Ġvent ilation +æµ · +cri bes +.as m +lp Vtbl +ĠA be +uis ine +, array +ĉ className +err als +Ġ' ĊĊ +Check out +Ġsol icit +A ux +_c apture +Ġrib s +rag on +vi ol +top ics +Function Flags +ĠM arty +b ike +ĠT ucker +(k ernel +ĠO ps +Close Operation +/d emo +ild a +ĠlÃŃ nea +APP ING +Ġsu ites +.visit VarInsn +ur us +ĠMin ute +(m anager +Ġbutter fly +Ġap are +Ġw olves +J WT +ĠSal on +ĉd elay +-es lint +is ations +.r pc +)| ( +ĠSnap chat +/m m +M N +cer ies +.text Alignment +ĠFrank furt +Ġad o +(new Value +( access +( Expression +ĠSign In +ĠHait i +_t p +.set Parameter +Min ute +Ġmanual s +ric anes +ĠP TR +ĠOut er +Ġget line +oc ations +_C D +ĠLy on +/g ui +_l ive +id an +.ge om +Ġborder Bottom +im uth +_check point +Ġme u +ĠIr ving +Ġpeu vent +(M AX +ĠAR CH +Ġp ov +.source forge +Ġjam ais +Ġar k +ĠBaghd ad +ĠC LEAR +Menu Bar +Ġtro is +CHED ULE +Ġ# čĊ +(C all +$ order +(M aterial +Ġencontr ado +$ list +ĠMETHOD S +.begin Transaction +_M AG +Style Sheet +Ġmaj ors +Ġindef initely +clean up +Ġhom eland +(d to +D ates +P resentation +ĠD K +={` / +ĉ Key +( Block +_check box +ne eds +Ġon Complete +ric o +Ġgle ich +Ġx m +O OD +B etter +ĠSQL ITE +. Book +x ad +ĠG one +ĉd p +Ġdev otion +Ġst m +Ġobs ess +ĠBack end +Qu eries +I k +// **************************************************************** +Ġdivid ends +.parent Element +} ")ĊĊ +ĠMaterial PageRoute +: num +Ġexp lic +ĠO L +le ast +O ops +iment os +Ġins urers +Ġhero ic +ĉf ields +.img ur +.btn Cancel +ĠDetect ive +(s m +ĠMutable LiveData +.l ab +(( [ +Ġha irst +ĠTrans actions +å¼Ģ å§ĭ +Ġstd Class +uent o +G IS +_c od +Instruction s +C alls +Pointer Type +ĠR w +Ġassort ment +ĠD IG ++ r +_C ERT +Ġinst ability +Ġv ib +on as +Ġro ku +ap ellido +Ġan gl +prene ur +Ġfluid s +ise ase +Ġde ed +qu ist +_CONST ANT +Ġequ ilibrium +_de legate +ĠQuant um +re i +Cap abilities +rect angle +? >< +al ien +ĠJ ug +D NA +T ickets +Occ urs +ĠHaw k +.setHorizontal Group +\ Collection +ff iti +Ġre arr +.setVertical Group +Ġc avity +Ġadult e +Fac ade +- wh +ĠL OL +Ø ° +Ġgrand parents +Sw ift +ĉw x +æīĢ æľī +if en +ff set +B eyond +// }ĊĊ +Ġw ager +Ġb ury +Ġcomm ence +reg istro +sc ient +ĠPer cent +Ġд олж +( identifier +.set Model +Ġs eldom +nt on +Ġappl iance +am us +rys ler +Ġpant ies +engu ins +Ġmim ic +Ġon Changed +Ġal coholic +.reload Data +Ch arge +ĠF ax +Ġj ScrollPane +Emp resa +Ġsh attered +x ba +Font s +? s +Ġpost season +ret ain +_r ates +Ġrequest Code +.t odo +´ s +CH K +ĠKeep ing +enge ance +Ġvs code +IPP ING +Default CloseOperation +_ raise +ĠO culus +ogram s +ra j +pc i +Ġcorros ion +.handle Submit +Access ible +ĠP iano +l ittle +AC L +Äĩ e +.un wrap +ĠCon vers +ĠLe ben +ione er +ĠMer chant +ĠJ orge +Ġembr acing +Ġvent a +á st +Ġvi ene +< QString +Ġexplos ions +Ġdistur bed +." < +m emo +ĠAb original +Ġcomple to +Tex Parameter +Ġuom ini +( agent +Ñĥ ÑĢ +ĠWh olesale +/ am +ĠBook mark +dr agon +Ġglo ve +Ġ" "));Ċ +iv ariate +now rap +In Children +.B r +Ġcon exion +Ġback bone +Ġe clipse +Ġpersec ution +': ĊĊ +/ link +ĠP ero +and as +ĠT ek +. "); +-an alysis +Ġer ad +Mar shal +Ġanch ors +og er +Ġconver gence +st icky +Ġnave g +int ern +_DE SCRIPTOR +ĠConsult ant +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ Ċ +ĠA uch +Ġer re +ÅĽ li +ĠHor izon +col a +Install ation +hot mail +C NN +.C ollectors +ch s +(tr ace +ĠEnc rypt +Ġ---- -- +ĠBase Controller +Ġag ua +Ġre active +id l +Ġclass Names +ĉ Session +ĠDod gers +H ad +_l v +Is Valid +ĠHEL P +ut to +ĠVer ification +Ġget env +_p a +.b mp +: f +ĠLou ise +(' ; +/ socket +Gr anted +.c alendar +( IP +ĠP X +.R oom +Ġprogram m +ens i +Ġtablesp oons +Ġle ve +Ġmo str +.t ipo +/ an +(d i +Ġb iod +Ġdb Context +ĠJS X +ĉ results +. END +ht e +l ify +P recision +èĬ Ĥ +ARS ER +)did ReceiveMemoryWarning +at tempt +IS P +& a +_P OP +ĠT ac +Ġprepared Statement +Ġзап иÑģ +Ġow ing +, start +Ġreview er +Ġr st +Ġprop Types +Ġrock y +_lo cale +ĠStrateg ies +ĠWe ber +.C ascade +_equal To +Ġcos as +ĠDe letes +ĠMax im +Ġsh rimp +re trieve +.In clude +IG IN +ĠO E +] );čĊčĊ +.en umer +Ġco ef +_N ull +R a +ty ard +ĠSh awn +keep ers +Ġq q +_s b +om ens +ĠExec utes +# " +TT Y +ĠValue Type +); */Ċ +ĠAbs olutely +ĠT ottenham +/ art +Ġbless ings +Ġswift ly +b uster +Ġa vid +COM M +, temp +Ġ} ?>Ċ +-g rowing +Ġdeep copy +A ck +egg ies +Ġ__ (" +Ġno ir +terror ism +Ġanth em +ag ency +_PACK AGE +ĠC losure +.reg istry +Ġmamm als +< L +U ICollectionView +ĠLED s +Ġvol ley +( Buffer +_N ATIVE +lib c +impl ode +Scroll Bar +ĠMar ion +.Con tracts +_A t +ĠWe instein +compare To +ĠH ose +en ity +.create Query +_r outer +Ġstim uli +Ġ++ ) +ĠCh amp +ĠBay ern +ass a +.v a +Ġdistrib utors +Ġfile private +Ġdepart ed +cc cc +@ click +ĠL unch +> L +Ġbl uetooth +.De ep +- standing +ác il +Ġro oft +ĠPath s +_iter ations +Invalid ArgumentException +.s pi +ĠUIAlert Action +uy e +sign in +.p riority +ĠEss ays +=' {$ +Ġè¿ ĶåĽŀ +_s igned +.p ersist +Ġred esign +To Lower +ĠNew man += start +ĠIsrael is +asis wa +Spe ech +Ġnum eros +hand lers +ĠW ong +Ġм еÑĤод +We ights +ĠGu jar +te il +ĠNon etheless +_E FFECT +Ġv ect +ĠO sc +Ġco ats +ĠW heat +Ġge ek +ĠPRO PERTY +w orm +_const ants +ĠB oulder +ĠP arm +co le +Ġdefault Center +ĠRou ge +: A +xc f +ĠVen ice +med ian +Ġred emption +F resh +Ġcos m +Ġfig ur +Ġref urb +CO PE +.c d +Ġch ords +ĠS gt +Å į +VP N +ĠS END +ain en +_account s +Ġtent h +Ġdiss olved +< App +ĠCover age +use State +é ro +.. < +Ġì £¼ +Ġdream ing +ĠFore cast +.C ursors +Ġvis as +/ script +_start ed +Ġga str +(P RO +]; // +.T ile +* sin +( Adapter +ĠSand ra +_S IG +ard ash +ĠO val +Ġdescri pcion +(s l +ĠDes criptor +Ġ` $ +/f ree +ĠKey words +Ġt udo +ion ale +(f ound +.x yz +ĠGeneration Type +_DISABLE D +( area +Ġel ites +Ġh ombre +(m essages +ĠR ac +Ġext ingu +ĠEst a +op o +. vel +mouse out +Ġconv olution +ĠHand ling +Ġceil ings +T ek +ĠAre as +.writer ow +< View +ĠCorn ell +_B IN +.in valid +'' 'čĊ +ie ż +_P osition +Ġk idding +PC ODE +Ġwatch er +lo x +Ġâ Ĺ +D ave +_all ow +Ġbis exual +Ġun ordered +ĠSch we +_se gments +Ġt earing +IN LINE +Ġund es +.g oods +.c am +ĠL W +ĉ where +Cal culator +-th reat +- alert +ĠSuz uki +ĠIP A +ĠAtt achment +AC CESS +(d type +O pp +_s ymbols +Ġdans ke +l age +or get +res olution +е Ñĩ +ĠQ Color +ĠBar rett +аÑĨи Ñı += \' +ĠNav Controller +/ ref +(c ountry +_H DR +Ġterse but +pet ition +Ġsu f +cred its +๠Į +x m +ĠDav ies +.re ddit +Ġw oven +ĠO bl +ĠK M +ĠConsider ing +ens ored +.per iod +Ġd dl +$ wp +Ġextrem ist +; \Ċ +Ġk im +al ers +Ġspan ning +Ġco herent +Ġconse gu +.text Label +.g eneral +_d ashboard +л ение +k ick +_P ID +ĠExt ensions +reg exp +ĠCl ause +_m ov +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠ +ĠR eward +ĠLEG O +A k +=-=- =-=- +ĉ parser +Ġon ze +éĢ Ģ +âĢĿ ãĢĤ +_b all +(r hs +Ġch orus +< count +as urable +Ġwirk lich +ĠEr in +ĠMS NBC +Ġet ter +ĠC ron +_F LOW +Ġ, čĊ +Ġcal idad +ĠFile Writer +ĉ stmt +( Byte +_p at +Ġte lescope +Ġgre ed +ĠT ort +(w rite +\ application +ĉRT LR +ĠConfiguration Manager +Un ix +End Time +In cludes +ĠHar vest +en berg +ĠAustral ians +Ġë ĵ +Ġr n +Ġreput able +Ġbl ending +UL ATION +ĠBrend an +d ad +Ġm ø +ĠW oo +_d c +U ne +Ġr ue +with in +ang ep +Ġp ouch +\" ", +ĠS ic +âĢĿ ), +aly ze +ĠG ef +c overs +Ġd bo +replace All +ĉ Logger +Try ing +[ state +-p iece +éĸ ĵ +beh avior +all ows +l rt +_p ython +ert ura +-c ountry +ĠT G +.UI Manager +b ens +ale x +ĠBre itbart +b ac +Ġpredict s +Ġg ab +Ġcard inal +.Time Unit +ĠVis itor +ĠM ing +Ġliv re +Ġparent Id +port un +Ġdimension al +ĠV est +en ic +à ³ +Ġ Ùĩ +ĠBL UE +Ġitem Count +Ġfe athers +ĉp stmt +ĠPol ar +{ // +und i +Ñĥ ж +z ar +Error Response +ì ĥģ +Rep resentation +* _ ++ ] +pre pend +Ġ' > +Ġlegitim acy +Ġo o +S linky +Ġnation als +. words +; p +tr ap +oman ip +Ġc ues +Ġgradu ating +Ġsem aphore +"] );ĊĊ +ace y +RE ET +Gr ab +ĠFel ix +( Id +_ne ighbors +Ġmeaning less +(d el +Ġj eder +ĠContent Values +.abs olute +/ cl +Ġx b +dat um +Ġtort ured +Ġrub bing +S cores +ĠðŁĺ ī +Ġav ons +Ġam sterdam +E OS +H al +Ġtrust worthy +# = +.EX TRA +Ġman o +is icing +-s upport +ĉc ursor +ĠSp o +aim assage +M ission +[] {" +Ġprint ers +G REEN +Ġt eg +Ġabdom inal +! ĊĊĊĊĊĊ +.Sh ort +аз в +ĠGift s +} ") +(b inding +x ce +âĢ ij +inf os +Form Data +Ġd art +Ġele ms +(in v +Y L +t in +GEN ER +á» ¯ +ĠT aken +uck le +: e +Ġspect ral +.b aidu +/ ');Ċ +Ġgre edy +es ion +,,,, ,,,, +Ġ/> ,Ċ +Internal ServerError +NSNotification Center +ĠA i +Ġsp it +Ġaug mented +Ġstandard UserDefaults +FIN ITY +R ace +: C +ĠRE CORD +ĠHigh light +Ġ' ` +Ġdef icits +Ġne i +Ġresearch ed +T a +Ġc opp +.Get HashCode +): čĊčĊ +On Click +ĠWell ington +Ġrev ival +æ¯ Ķ +éĹ ® +ĠN SS +Ġfor n +Ġint é +ĠKu wait +_fl ip +_ bo +_ \ +Ġocc urrences +ĠScient ists +S RC +og ens +igr ant +RE MOTE +ĠS ID +. opts +u ve +() ])Ċ +Ġlibert arian +ĠGl ide +les en +Ġform e +ow ania +Ġannoy ed +Def s +ĠExec utor +Ġcast s +.set Checked +ĠSh aring +.Serialize Object +Ġselect ors +_ OTHER +ë¯ ¸ +(s uper +( OS +_VER IFY +id unt +< header +Ġ/> ';Ċ +Ġvidé o +ĠNeg ro +ĠL ords +ĠT ours +Ġsoft ly +.re ceive +ĠE RC +Ġdata Set +Bad ge +ĉ Event +Ġper l +Ġ{} \ +(s entence +Or Update +Ġdim inish +P IN +(d raw +.To DateTime +.Equal To +(p in +-p encil +lu ent +ĠCall er +Ġplay ful +- '+ +x ca +sw ick +){ }Ċ +}: ${ +ĠM eth +.get Cell +.b reak +Ġy max +=' Ċ +ĠH iro +( TRUE +as urer +Ġcu er +U ber +. Operation +Ġol an +Ġthr illing +< Response +ĠF emin +Ġtravers al +Ġp oc +Ġset Status +decl ar +std afx +Ġaddict ive +ĠB tn +Ġexplos ives +ĠCook ing +ĠPl aint +Ġaccum ulator +ĠApp ointment +, password +ĠF AR +lu et +Further more +decl spec +_Static s +.D ictionary +"> '. +ĉ valid +" ", +In strument +> J +Ġno str +ĠR ift +_P ort +Ġvec es +[ [' +Ġrall ies +- series +Ġv v +. uc +Ġr tn +State Changed +( ins +ĠCl a +------------ Ċ +c us +ĠRel oad +//---------------------------------------------------------------- -------------------------------- +.se conds +_dest ination +Ġscrew ed +> c +Th ickness +Design er +Ġgr ids +n Äħ +( cookie +T rip +-M obile +Ġv oll +Ġgen ital +Ġconf isc +ĠConfeder ate +Ġweb View +Ġm ise +Ġcl er +(se lection +$ date +Ġshar pen +rag en +And Update +Ġrem ix +Ġh tons +R W +M PI +Ġretrie val +Ġric hest +.Dec ode +:init Components +ĠT Value +S aint +@ include +ĠPER SON +.se p +ĠLD AP +g ba +Ġgro ÃŁe +Ġreli ably +ĠD FS +.getItem Id +Ġprés ent +.get Token +Ġch inese +ĠMe al +Y OU +"> >ĊĊ +b ower +Ġsw apped +/ install +Ġs inks +etr ize +Ġdecl ines +ĉm ysql +ĠC String +ĠMotion Event +.L anguage +R oad +ÑĤ еÑĢ +asc imento +')) -> +. about +( editor +ĠR atings +in come +Å¡ e +.de queueReusableCell +ĠAust rian +Ġs ulla +ĠTrib unal +ĠDid n +ов аÑĢ +Ġins pections +B oss +Ġcock tails +Ġapolog ized +_sub plot +op al ++ =( +Ġreson ance +ib u +Ġë ¦¬ +rom a +res erve +pl s +ĠT ah +ax ies +OP LE +ĠDar ren +ĠZ ombie +_M ap +Ġ] )ĊĊ +ĠQ i +ĠS ail +Ġrestrict ive +Ġeros ion +- par +WH ITE +Ġold u +Ġap erture +Ġbit coins +text o +ĠCom cast +Ġtime less +en kins +Ġfeed er +/ tmp +res den ++' _ +.D estroy +Ġç ok +ĠD OCUMENT +.l ng +.tag Name +Ġk ullan +eg rate +Ġ(* . +ç¼ĸ è¾ij +Ġhand shake +s oc +_ geometry +ĠDam ascus +Min or +ĠK afka +ìĹ ¬ +Fl orida +_com pute +.ex pr +Ġpar alle +ĠD iaz +c ir +[ target +Ġj oking +Ġgl or +(set q +_hand lers +H ang +Ġf err +rim inal +ĉĠĠĠĠ ĉĉ +ent ies +def ines +-t ax +json p +ĠU PS +met ro +__ ;Ċ +ĠUg anda +])) :Ċ +_t d +x ae +l w +. OS +ĠLog ged +ac id +ĠMay o +as pect +Ġvag inal +Ġinitial izing +Ġster oids +f iction +G RE +g end +Ġli abilities +ĠL ets +M ech +( nc +( change +Ġconnect ors +: k +Ġt ast +! ");ĊĊ +th ings +ro phy +luet ooth +ĠSign Up +. ctrl +Ġthere in +ord a +. escape +ig ator +Ġpet rol +Ġspec imen +Ġdeb uted +- Pro +Ġcr ises +.add View +ëı Ļ +-d oor +Ġmon et +Ġmill is +Ġv ier +Internal Enumerator +Ġadmin s +ĠL air +z in +get Query +umb les +L IMIT +ĠV ig +_s ong +< Character +:: . +_h om +_b p +ĠSup ervisor +sub mission +ab ile +Ġno i +Or Create +Ġpe el +Ġon Start +Ġsent iments +veh icles +Ġclass rooms +Ġs zer +Ġb ending +Ġlong evity +Ġa cl +ĠAle ppo +ĠU M +ĠR icht +Ġmultip rocessing +DOM AIN +"," + +_Y EAR +Ġsc rape +Ġsol itary +Ġ"] ";Ċ +/ errors +ìŀ ¬ +ľ ëł¥ +b etter +ĉ number +ĠL F +ĠAc ross +Pub Med +\" " +ĠExcell ence +Ġus ando +ĠU IP +Activity Indicator +_V OID +Ġbre eds +ï½ ¥ +uest as +ĠTre asure +ustral ian +(f ace +ĠT ennis +ĉ Int +ĠHans en +ç µ +: I +Ġâľ Ķ +GR AY +O USE +Ġhe pat +ł í +A IR +ó ż +Ġque ued +vinc ia +ĠChrom ium +Ġcompet ence +ung al +ill i +Ġget By +ĠF inder +Ġincap able +Ġs add +Ġc ites +ĠChurch ill +S dk +More over +As pNet +( Float +$ password +ĠConn or +-s ession +_d m +* )) +Ġde utsch +ĠN X +Ġper ks +_S ORT +_TO OL +_V ISIBLE +.as p +æĪ ĸ +ĠBre ath +D etect +ĠD uel +.c mb +[ it +.Set Bool +Ġnarc iss +Ġab ide +Ġej emplo +ĠâĦ ķ +Ġm ornings +Ġcomput es +.s sl +j t +Ġmuch os +_S S +[ end +Ġbas in +Ġalgun os +ĠCroat ia +lin ewidth +(t ags +(h idden +ÃŃc io +Ġap ar +ĠÐ ¶ +ä¸ İ +. food +ĠR ural +Ġbread th +å½ ± +(s ess ++ ") +ĠP aste +Ġserv idor +ĠBit Set +ĠTr an +la us +v ette +ey es +ĠCL ICK +ĠV III +ĠTurn s +ĠLe Bron +ĠM uj +ĠD eg +ĠAdult s +_s uite +process able +ĠPH Y +g hest +.F ail +ĠSl ack +ce j +\ Carbon +Ġsuper star +Ġhold ings +( forms +Ġ'# ' +M ultip +("[ % +-s olid +/ url +-t ier +[ length +ĠStream Writer +ĠMarket place +get text +_T ICK +ĠFor ge +Ġblack jack +ĠDO ES +ĠM atters +w aves +Ġwhisper ed +Ġl ush +ìĺ ¤ +d igital +Ġwr ink +ĠH ogan +Ġrust ic +.Apply Resources +ĠHard y +os omes +A UT +.ST ATE +Ġnarr atives +ĉ store +b ib +ĉ Scanner +ĠC ody +\ Repositories +Ġre union +and um +âĢĻ h +Ġsn iff +NS Bundle +Ġcompreh end +_US AGE +_ occ +URRE NCY +J NI +Ġspecial izing +Ġvis ions +Ġdol ore +Ġv á +ĠChe vy +ĠSt yled +imp act +all en +Ġk art +ĠTable t +st uff +re esome +аÑĤ оÑĢ +//---------------------------------------------------------------- -----------Ċ +_Ad min +Ġcell phone +Ġaut oplay +Ġcamb io +Ġmar itime +_BO OT +- quarter +Ġlat ina +ĠAJ AX +e quiv +ĠFront ier +ĠX Y +} ]Ċ +ĠR ough +.pro to +Ġcorrect ness +Ġfac il +ĠRe ached +ãģĿ ãģ® +V IS +.p s +Ġstr ncpy +Ġdiff usion +.start Activity +�� � +Ġaccom p +AMES PACE +imon ials +ĠBl ast +aby rin +Ġd ome +Ġextr av +Ġy en +Ġcul inary +P RI +ĠComm unities +n id +_oper ations +.h s +ĠMil ton +Ġno ises +Autoresizing Mask +(c id +}ĊĊ ĊĊĊĊ +] },Ċ +ĠD etection +tab la +Ġlib erties +_D YNAMIC +w get +ĠT ür +ĠP ascal +Trans parent +Delay ed +] () +ĠHer bert +< ActionResult +ch allenge +Ġmush room +.insert Before +ĠR in +Ġhum our +Ġf ø +api Key +alloc ated +Ġconf ession +. ",čĊ +ĉassert That +ĠS ORT +ĠL ORD +Ġexport er +.set Level +p okemon +ash tra +Ġf é +ur ator +(M SG +Ġt up +ĠH ull +Ġyield ed +.Sub ject +\ Route +! ? +ĠÑĥ дал +\ Security +- ar +Ġalleg ation +( Settings +ä nder +Ġell ipse +ĠRetro fit +Ġregul ating +ĠM olly +ĠL ok +_C ustom +ĠProm o +is in +Ġres umed +Ġmet ropolitan +.error Message +: ------------- +Ġpas ado +th ank +_De lete +ĠBright on +, unsigned +ä½ľ èĢħ +Ġaspir ations +-h ow +R ose += (( +_ne eded +_pl ural +< Application +ĠW EEK +ĠUn lock +ĠT EMP +S ou +Ġschizophren ia +Ġt roll +Ġcomplement ary +ĠNET WORK +Ġbl ir +Ġprogress Dialog +" %( +ĠAttribute Set +ĉ ts +.iter items +è¯ Ŀ +Ġesc rit +v ous +_pl aces +H K +Ġseg uir +_f w +ĠR ounded +Ġdis posit +è§ Ĩ +par m +w ow +STRU CTION +. allow +ĠChar Sequence +ĉ extern +Ġprosec uted +Ġmort ar +ĠJ uda +- msg +Ġest ud +.get Description +Ġs ow +amb re +Ġrom a +En h +bon us +Ġsqu at +Ġdist ra +ed Image +Ġpe ppers +-per formance +, ĊĊĊ +, file +ĠM IME +_con cat +AB S +-f ashion +Ġunder cover +One ToMany +Ġre claim +C OPY +Ġb inds +ĠT ape +Ġg ossip +ĠEqu ity +/ Card +. activ +' am +Ġdrain age +< Scalars +ĠonBind ViewHolder +() ?. +Ġs orrow +ĠI b +up y +_U UID +ĠCh arm +ĠElection s +.on Destroy +ĠInterest ingly +ounding Box +_d etection +-h eld +_ unknown +Ġrefr ain +Ġmét odo +Ġe Book +EN OMEM +Ġd ang +Prof essional +Ġd ictionaries +/m ysql +ĠST UD +Ġmas se +s cape +Ġdre i +: name +.log o +Sign Up +Ġt ahun +( theme +ĠFem me +Ġbom ber +ĠJ ade +ĠT ay +Ġsubmar ine +_cl ause +zy ch +Ġsimult aneous +Ġcas os +. boolean +(l hs +Ġcontin ental +-s ale +ĉ env +ĠC ute +ĠFactory Girl +ab us +/ value +Ġj adx +Ġst ern +> >ĊĊ +Ġsurf aced +Ġìł Ģìŀ¥ +pl atz +ĉ email +cept ors +"> ( +Ġep ile +è¯ » +ĠDe bt +åij Ĭ +N OP +" https +: j +Form Item +_L ICENSE +.get Double +ĠAg enda +ĉf inally +(f ilters +( av +ç¾ İ +AP ER +Ġl ava +еÑĢ ж +)) ))ĊĊ +Ġfault y +_n m +Ġtr ava +(B itmap +Ġspeed ing +> '). +Ġscreen ed +_ roll +ĠMac Book +ĠA UD +Ġdiagn ose +.G enerate +Ġ^ ^ +Ġstr s +[ Test +Ġr ansom +ĠDH CP +eld en +Ġinterpret ations +() ]. +flat Map +Ġline Height +_m ount +ĠW izards +Ġsl uts +eh ler +od al +Ġmilit ia +å ² +earn ed +Ġmis ery +int val +f und +Ġh ides +Ġdi arr +ĠWes ley +Ġx mm +Ġqu em +ĠAr abs +if th +ategor ized +Dis posable +P ure +_NOT IFY +sn ippet +ĠGar rett +.run ning +. weights +Ġ( -- +Ġin variant +äºĭ 件 +ĠAll owed +dir s +Ġpass ions +Ġl ad +ĠFl ush +men us +: block +Ġcompr a +.ch omp +alloc ator +Ġcur ated +ĠKnow ing +ĠPatt erson +Ġtel ah +' ex +Ġdo omed +Ġphil anth +ott y +.st yles +Own ed +Ġallerg ies += params +oc ese +it elist +ĠS ending +b ef +orr ar +ĠN ão +ĠF argo +ĠL ub +ĠComb ined +_g iven +ĉĉĉĉĉ ĠĠĠĠ +Ġreconc iliation +Pattern s +az ard +Ġbiom ass +ĠH ouses +resp uesta +cc o +/top ics +ĠY uk +Ġweaken ed +_c alendar +Ġmulher es +ĠMar l +Ġs ine +ĠT il +ĠSou ls +ĠDe utsche +ĠF OLLOW +Ġpip elines +ĠBever ly +_DIP SETTING +" # +ĠPro to +.b ig +ĠSav ings +ĠT anz +j un +ĠG amma +ĠS add +Ġadvis ors +Ġro ast +Ġun ters +ud ies +_l on +-point er +ĠElement Ref +\ Builder +example Input +.web driver +data Type +ĠQu ite +ĠCelt ics +u il +-def ense +b ish +ĠUI Window +ĠS uddenly +.h ot +.re ason +Ġg ör +AM D +.M ulti +auth enticated +reg ions +; ( +а ÑĢам +ĠKir by +$ route +PREC ATED +ĠDur ham +ow o +ĠPer forms +Ġdisreg ard +n st +ĠP ols +Ġget P +"] : +-col ored +( Keys +ĠAl leg +_mod ify +_ loading +str ained +Ġat roc +_p hr +< Sprite +Ġsatisf actory +m anship +.p ipeline +T ony +Ġth ief +pol ator +( lock +bur st +ĠOptim ization +Ġsurf ing +" Yes +Ġdesc ended +æ Ĵ +_C lear +Ġc ries +ĠFro zen +D IRECT +- Con +ĠLe icester +å¥ ³ +O OM += db +Ġget Message +< Student +_b atches +.M ask +_ eth +\ ) +Ġsom a +C atch +[ ch +Own ers +ind le +: auto +. vert +iv r +.set Location +Ġfl uent +_END IAN +ĠCar lo +cept s +add Action +.o auth +< UnityEngine +re ements +.S kip +? )ĊĊ +.default Props +Ġc abe +ĠSh en +eros is +ĠPro fit +Ġpo is +_C REATED +Ġremove From +(w s +? action +( Field +Ġerr one +.min imum +ĠRetrie ved +Ġd ado +ĠPR IVATE +-s pec +Ġg zip +p data +Ġpos Y +(l ow +Ġqual quer +/ cloud +ê² Į +( common +ĠAr beit +organ isation +Ġtid y +ĠRol and +( ph +.z one +Ġgent lemen +ượ c +å± ± +Ġenc losure +ĠMan afort +ĉ Color +St encil +N ic +Ġthe orem +ĠV G +Ġcol oured +V BoxLayout +uls ive +Drag on +c ff +et est +ens a +of day +.A zure +:UIControlEvent TouchUpInside +_up dates +Ġtrend y +ug as +weak Self +Ġr idge +ib ri +Ġì¶ Ķ +(C G +ĠMon key +.write Int +.tim edelta +ViewController Animated +ĠProvid ence +ãģ Ī +Ġbl ends +/Sub threshold +ĠAp pl +Ġat an +Ġreload Data +umb otron +st üt +O Auth +ĠG iving +ĠìĦ ¤ +ĠFinn ish +check ing +. Embed +sequ elize +Ġinitial izes +ĠOs lo +Ø ¶ +get Extension +_AL T +(bl ank +Ġfatal Error +Ġdem ise +**** *Ċ +ĠX S +(A F +ĠEn s +an tha +ĠP OR +Ġn ich +.N amed +Ġgig antic +ĠObserv atory +.Res olve +ĠPay ments +g uild +Ġcurrent State +============ ===Ċ +ĠS ey +p Data +Ġdead lines +Ġcentral ized +ĠScholar ship +_s upported +.ch rome +() ]);Ċ +Ġc yan +ĠC age +Auth ors +_ čĊ +/ os +k im +de e +.t ex +Ġyours elves +Ġm gr +Ġal k +-inst all +Ġdraft ing +Ġrum or +Ġstat ues +Pool ing +ol ina +AAAA AAAA +/* ---------------------------------------------------------------------------- +Ġextrem ists +Cal cul +ighth ouse +In set +(IN PUT +Ġsynchron ization +iv irus +. axes +ĠG ap +- An +_T emplate +Ġgam er +ĠCr icket +Ġl int +Ġauthor itarian +NS UInteger +Ġred o +Ġadip iscing +_F ETCH +che id +ĠF ang +. indices +t one +д ел +Ġ{{-- < +bra him +Ġsal a +get Code +Ġcommunic ated +start sWith +ert z +Read able +Item Id +oref errer +cred ible +á ria +Ġcombine Reducers +** /ĊĊ +Ġbl iss +Ġad orn +dep ends +ĠRO OM +Ġfr aming +Ġ? ', +aut y +_p ot +_t abs +Ex act +, ", +Ġ'} ';Ċ +Ġarbit r +ahr ain +.getString Extra +Ġ$ \ +Ġoutput Stream +Ġcomm enc +an us +ch y +< Employee +Ġhex atrigesimal +Ġn acional +(serial izers +_put char +_S AFE +ential Action +ItemSelected Listener +.Dis patch +Conf lict +_ about +os aur +Bound ary +Ġclear Color +( Location +ĠMON TH +ĠT aste +- General +ĠW AR +Ġer halten +-s aving +Ġcou pling +-tr igger +m otor +Ġy yyy +ĠPat ent +pt o +Ġmisdemean or +vas ion +ĠAdmir al +à¹ī า +_P WR +Ġdevast ated +fol ios +ITU DE +urre ct +Ġrobot ic +ĠSan ct +ĠHawai ian +.R oute +- condition +Ġr k +/**************************************************************************** Ċ +create Element +ĠK op +ign ant +. rollback +Ġsal ud +_ ', +ĠAN SI +Ex cept +ĠDraw able +.Utc Now +":[ {Ċ +Ġk ole +L ua +ĠBel ieve +Com put +Ġhall uc +ĠSign s +r st +.h u +ĠKN OW +W i +ĠBr ass +ĠR as +@ hotmail +Ġsed iment +Ġap k +Ġì ĥģ +_reg ions +Ġpod ium +< Book +ж е +Ġsix teen +ĠAli as +Ġinfr ared +ĠV ander +ĠLe ading +uc ing +,: ,: +_h or +w at +Ġdé cou +_W idget +S ounds +_n avigation +Ġschn ell +(g enerator +uc ene +Ġrem ake +IP v +Ġré al +_IN CREMENT +Ġhypoth etical +_ ang +Ġof s +Ġ! Ċ +.com pleted +Get Type +Ġkom men +ál ido +add On +Ġz ÅĤ +UL A +_ind icator +'] ĊĊĊ +ap ache +_S elect +ĠGre ene +Wh ats +_an im +Ġrepet itive +m uch +ĠTh reshold +Ġl f +(C ategory +con e +M ix +_MET ADATA +ays ia +Ne ighbors +ĉĊ ĉĉĊ +IP HER +ĠFr ag +ĠC ells +Ġnames paces +( back +ĠRest aurants +sv c +Ġл и +ote ch +-s l +¥ ¿ +ĠW T +ĠRed uction +Ġd otted +ĉf ound +ĠTE AM +B orn +ĠM ush +ĠCompar able +Ġh itch +AT O +Ġmax Height +begin Transaction +ÃŃ v +_b n +Ġher d +Ġrevers al +ĠH ond +del imiter +Ġconf use +Ġh ops +Ġcent roid +Ġcourt room +.decor ators +Ġm pi +ĠImpro ved +IN NER +ĠBang alore +ĠT amb +Ġbo ast +() ))čĊ +Ġil licit +ĠMor occo +greg ator +_res ume +Ġcrack down +Ġport raits +/h igh +( \' +Ġay ud +_fe edback +Ġc ate +/ avatar +Ġhe b +Point Cloud +Ġå ĴĮ +Ġ< ![ +Ġget Resources +} :{ +Oper ating +ĠF og +ĉt ab +ĠResearch ers +Ġfabric ation +.datas ets +ĠCamp o +ĠKa uf +Ġd ll +lig t +] ));ĊĊ +st ellen +ACK ET +l vl +ĠGl ory +.date Time +Ġcomm ute +ĠonCreate ViewHolder +ĠX Element +ĠT okens +< thead +_p ick +ì ¤ +v on +depart ure +(render er +phone Number +(P erson +gen es +ĠL ars +Ġ) {ĊĊ +ĠJson Result +Ġmet odo +VO KE +.get UserId +Acc eler +ĉ required +Ġchampionship s +Build Context +/t ask +/re leases +C ategoria +_over lay +Ġscar ce +_l im +n gr +ah len +ĠArt ificial +sp read +Ġbow ling +.an alysis +SM TP +ĉp assword +Ġbath s +] )){Ċ +current ly +ac iente +_se parator +Ġde ber +ĠDis abled +i ères +Ġâ ķ +_process ing +Ġprotest ing +ĠR OT +gr ab +Ġз ак +Ġpro active +word press +ĠSe ver +ind en +Ġw ikipedia +){ čĊčĊ +_w indows +is lation +Ġun rest +Ġdismiss al +.N UM +_F AST +iss ued +ĠF ACE +_u nder +Ġpl ugged +Ġå ° +ĠbÄĻd zie +ĠI CC +Ġcombust ion +Ġkiss ed +Ġstar red +ĠW atts +Ġspi elen +-p urpose +ĠE val +arg es +, result +techn ology +Ġnational ity +ic us +ĠN ug +ĠÑĤ о +ĉĉĉĉĉĉĉ ĠĠ +col o +Ġg astro +ante ed +OL ID +.b ias +_t ele +.ins pect +Ġve il +. footer +Ġneglig ence +Ġjud gments +Room s +yn n +ĉcount er +occup ation +Ġ çĶŁ +un as +Ġ(^ )( +L ambda +f el +.Param s +Ġд обав +set Layout +Ġdeport ation +Ġlocal Object +ĠPharm aceutical +cept ive +ĠN ome +Equ ipment +F an +Un iversal +ĉ socket +Ġgr in +Ġex poses +Ġhab er +Ġsincer ely +Ġc ams +Ġm ü +en ia +E mer +C rypto +Sl ow +(x hr +! =( +-s ervices +ĠP W +Ġprend re +Ġm ädchen +em ons +озв ÑĢаÑī +.M anager +ì Ļ +Ġg raf +- ra +met rical +/ fl +Ġc emetery +g ens +Ġp ÅĻ +ĠMySql Command +- To +Ġv Ã¥ +Ġa irst +oment um +Ġserv o +m illion +ĠMir anda +" She +Ġadvoc ating +-c aption +ĠAt tribution +Ġwel che +_v endor +ĉ Status +arr is +Ġprint k +"," # +Ġrel ativ +if ferences +izz es +Ġdec imals +ĠPro v +.max imum +Ar n +Ġhelicopt ers +_B OTTOM +ch ure +od ings +' ( +")) );čĊ +( bean +.f d +F und +Ġhang s +app id +/k ernel +.p oi +.Min Value +- validation +L uke +c df +ĠFun eral +ĠS amples +ĉ de +Ġto astr +Ġtax able +Ġcl ustering +Ġ'\ ' +Ġre straint +ec ed +ch ains +ãĢĤ ï¼Ī +_GR APH +Ġfue led +éľ Ģ +H p +å¤ į +T iles +Ġa unque +J C +Ġhost age +ĠE sk +Ġm av +Ġgest ion +Ġb anners +} {$ +.int Value +.' "ĊĊ +_M ATRIX +Ġce ased +ĠG OD +_CAM ERA +.Allow User +tr acked +C ook +b airro +( company +Ġview point +.get Writer +ĠN ets +w ives +Ġ( ))Ċ +example Modal +ĉ child +Ġmyth ology +Ġ// " +_ axes +ib old +.D ark +ĠMax well +Ġg pointer +olic itud +B at +ul ner +bal anced +mail er +Ġcont empor +æīĭ æľº +(" __ +Ġ" )" +re ar +ĠHu ang +] ')Ċ +× © +FT A +ĠCalling Convention +ĠOutput s +P k +.Re ference +lect ual +Ġ) :ĊĊ +Ġbrace let +ug er +ĉ Error +S weet +("/ ");Ċ +h x +Ġun reasonable +Inter preter +Ġlo ft +_product o +Ġsoci etal +.P arser +ĠAd apt +. foo +( where +.F eature +ĠYam aha +g lass +For ge +Ġprohib its +Ġcapac ities +Ġíķ¨ ìĪĺ +Ġper mutation +Ġih m +F ld +el ial +======== ===Ċ +@ Configuration +Ġge ared +ios o +iest a +trans lations +Input Change +Pop ular +ĠPL US +Ġv f +_F ree +b box +Ġcaus al +PI LE +Ġsch ö +Ġiron ic +M ir +. @ +åį Ĺ +Ġè ĩ +R ew +ul ence +fl en +Ġcan Activate +- response +Ġacc ents +ign ored +° F +.Dependency Injection +ĉ point +Ġconting ent +Ġsqu ash +Ġpar ms +ĠC emetery +Ġdelta Time +ĠD OS +Ġvan ished +аÑĢам еÑĤ +ĠD PS +t foot +ĠZ us +_IN STALL +G AN +Ġar b +Ġmunicipal ities +Into Constraints +AutoresizingMask IntoConstraints +, image +_ ignore +Ġdanger ously +quis a +pl uck +Ġhar us +up pe +Http Exception +Br acket +.' 'ĊĊ +ĠT ol +ĠView er +zb ollah +.Code Analysis +ì nh +Ġcorrect amente +.d a +ĠAl ger +× IJ +ba um +ĠPan ther +part icipant +å¿ ħ +-s up +Ġem ulator +Ġf ading +ĠW olver +cre ates +Ġbook ings +.Q uestion +§ è¡Į +Ġstress es +Ġre written +.PI PE +ed es +Ġc bd +": "/ +Ġenh ancements +_s y +B IN +ĠSl ip +Ins pect +ĠW eg +Ġcon gregation +Ġ_ : +_r m +Frame buffer +Ġ'& # +ĠFall out +Is Required +ĠPear son +ĠF ACT +Ġrel ie +ĉ box +ĠShe pherd +ĠWiki Leaks +ĠCollect or +Ġres ized +method Name +Ġevent Type +ĠA then +Des criptors +Ġb ers +- oper +ĠInitial ly +å ¡ +_B TN +ĠĠĠĠĠĠĠĠĠ čĊ +á b +_c ampaign +_w atch +F ord +-date picker +Ġvis c +Ġsat u +_s ms +Ġcont ador +-s vg +ĠDO I +$ args +Ġkn ob +.B OLD +Ġdeb ated +img s +sock opt +tr uth +ĠFe es +Ġh Wnd +_f ood +Ġab ras +Ġnot ions +ĠT od +: create +ĠConf lict +Us uarios +OT OS +Ġm sm +K HTML +([ ( +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠ +Ġ} ] +w izard +Ġm ientras +Ġdata List +Ġemerg es +Äĥ ng +.Read Int +PG A +ILL ISE +I Enumerator +(t uple +Christ mas +Look AndFeel +og enerated +Ġ# ĊĊ +control led +Ġex quisite +Ġa cest +Read Write +G ain +ãĢį ãĢĮ +Ġcopyright ed +Ġdo om +.Table LayoutPanel +ĠD ort +Ġch ili +Ġwer k +ĠEVENT S +ĠBe acon +Ġship ments +Ġse bagai +up on +ut om +.con verter +.Drop Table +={ }Ċ +f ic +~ ĊĊ +Ġlesb ians +_n a +Fore ign +ĉ then +/ ms +Ġor i +get Property +ĉsn printf +hes ion +ãģ ¤ +"} ," +Ġac rylic +P ers +@ Enable +I sl +(C ard +. Stack +L icensed +_G UID +: title +Ġh ust +Ġprincipal Table +an itize +/ embed +Ġens ured +ĠE GL +ÙĪ ر +ĠåĪ Ĩ +/ ,Ċ +Ġfundra iser +Key Name +Ġmarch ed +_VAL UES +ĠSc enario +Ġmet ic +_ass oci +ĠPast or +ĉĉĉĉĉĉĉĉ ĉĉĉĉĉĉĉĉĉĉ +er ate +Ġinv itations +quo ise +Ġbl aming +Ġd aring +UM MY +Ġrich er +em aker +ĠIdent ification +ĠìĿ ¸ +ĠBinding Flags +ch as +Ġresil ient +_p g +Ġre leg +ĠI RA +ST E +Ġtr actor +- loading +ĠPre viously +ĠV acc +/ be +Ġn Ã¥r +Ġurl encode +ĠNor folk +.Re lease +ĠNe utral +ä¸Ń åĽ½ +ĠAr lington +Ġalleg es +ĠW riters +Test er +ĠR ally +Ġc á +ĉ Print +Ġâĩ Ĵ +ĠUser Controller +ĠSeek ing +.V AL +List Node +_ ff +ĠPhill ip +FA CT +Ġc aramel +ĠM ultip +ĠCom pared +ĠSer bia +Ł ³ +Ġrev ive +ĠK anye +Ġver ge +ĠBulg aria +get Body +Ġ| > +ce ph +.DateTime Picker +." ;ĊĊ +ĠT ie +, item +Ġm enn +G as +och a +_v irtual +Ġmaster piece +_se quences +L TE +ĠSub mission +Call er +$ \ +S port +ag us +Constraint Maker +Ġcol oc +Ġw ig +ĠÐ £ +ĉ Array +Look s +ĠGT A +.st eps +atch ewan +_r anges +ext Alignment +ĠBren nan +Ġab straction +uler Angles +.m isc +Ġantib odies +Ġexponent ial +ĠCH ANNEL +exp ense +' y +Ġdetect ives +Ġpur ported +Y STEM +Ġradio active +ĠLat ina +.Enc oding +.T AG +x in +D egree +ur acion +pr ices +ĠRefer entialAction +Ġr arity +Ġp iles +g ende +_project s +_g lobals +.start Time +Ġê µ¬ +SE CTION +_p ublish +F ault +DD L +_p rior +M om +Ġth icker +Ġsequ elize +Ġessential s +str as +in tr +>( () +.man agement +e il +éĹ Ń +A ware +.C ity +ĠAr bit +_D M +_key board +L Object +- webpack +ĠNew port +Ġprincipal Column +leg ant +Ġp allet +Ġfract ure +Ġg mail +.M eta +A bove +.Key Event +j it +_mac ro +_P USH +á» © +/ controller +åĬł è½½ +Ġsuperf icial +exter ity +Ġmens agem +W ind +ist on +.open api +и ÑĢов +ĠSerial izer +uct ive +Ġz ar +Pl aces +.St atic +B a +Ġin advert +ĠIndones ian +_IP V +(h orizontal +Ġget Title +ide press +ĠConsole Color +ip ers +$ out +Ġfest ive +Ġeven ings +.Get Data +uit ka +ĠManual s +uss ed +_M ax +.Ch at +ĠA ircraft += com +FO UND +ap ro +Ġtre asures +_al ive +Ġgad get +ek ing +Button Down +B rowsable +.PER MISSION +P ASSWORD +ĠH ASH +f é +\ TestCase +LO SS +o thers +, J +Ġassh ole +wer k +Ġm ã +. ie +ev il +kont akte +//////////////////////////////////////////////////////////////////////////////// Ċ += sys +ĉ lock +-- ;ĊĊ +_F UN +Fill Color +ó a +pre nd +Ġcompress or +M other +ĠAr cher +.g oto +Ġwür de +Ġbam boo +ï¼ İ +ĠT rees +Ġb umper +Ġsa usage +ĠEl asticsearch +Ġhor izontally +ĠG ul +Im mutable +Ġlos er +Ġabort ed +-d emo +ĠH atch +Ġund e +Ġprocess o +-c all +In come +å ĥ +_ returns +']." ' +(s w +C BS +am ilies +ĠYour self +ĠH olt +.M ON +ৠĩ +ÑĪ е +an on +ĠFont Awesome +produ cer +j r +Ġm au +ĉint er +Ġdish onest +Ġmagn a +ĠCollect ive +Ġvra iment +Ġcho ix +st ay +Ġweld ing +r ising +, min +ĠF ate +g lob +RGB A +Ġdet te +V en +Ġembarrass ment +.DE LETE +greg ar +-re nder +(b ucket +"> ĊĊĊ +.wait Key +Bus y +Ġdifferent iation +ĠC ST +.Con stant +Ġline Number +(m atches +Ġweb socket +Ġbar red +Ġpued es +M ono +C ORE +I ID +ĠĠĠĠ čĊčĊ +Ġpúb lico +lean ing +Ġcleans ing +Ġcr is +ĠDev ils +_SET TING +unt ary +. );Ċ +Ċ ĠĠĠĊ +[ curr +ts y +ĠAlex is +rit el +Ġpet roleum +.pre processing +m atter +For Result +- license +Ġtrav ellers +ĠDispatch er +enn ifer +Ġdigest ive +P ED +hib ition +MAS ConstraintMaker +ĠW att +Ben ef +.set View +d to +TE E +ĠPel osi +_EX TRA +Ġmed als +x hr +fore cast +Ġn argin +oun s +-f ill +_CUR SOR +Ġsuperv ised +Ġtur f +ĠEd gar +POS ITION +Ġcategory Id +â ī +_ ER +ủ a +Sh own +. ll +_POL ICY +(), ' +ĠPre v +ĠString Field +ĉG lobal +ass ed +Through out +o stringstream +.awt extra +Ġslo pes +ĠSe quential +Ġgi orn +Ġz elf +Ġvers atility +lene ck +.c gi +Ġdou bling +ĠBang kok +Ġbu urt +Ġusu ário +st udio +Ġje unes +Ġm uted +Ġ ips +_f raction +&& ( +Ġst unt +'); ?>čĊ +Ġev apor +b able +ĠPR ICE +Ġæ ³ +lu cent +Ġv amp +ĠTechn ician +Ġuniqu eness +M es +ur ban +.param etrize +ĠRe play +S essions +em br +-Americ ans +_PRO XY +Ġp ian +Ġtri e +ĠD estructor +Game State +ĠIM F +ch in +Ġport e +ĠSw al +åŁ İ +Sub string +im ing +/L ibrary +Ġfright ened +w rites +Ġrecurs os +ar Result +_INIT IALIZ +ĠBad ge +_c rc +E ight +ĠDIST INCT +Ġth ro +@ Xml +ĠLegend ary +-t witter +_e asy +Ġ+ ++ +(D ATA +.L ocale +Ġk ä +Ġn urt +Ġcr uis +_ ios +Ġsens ing +_L ine +Ċ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ +pon g +ole on +Ġwild card +çĶ¨æĪ· åIJį +Ġbeg ging +R od +ĠÃ İ +_C ELL +Research ers +. selector +_ ing +Ġaspir ing +Ġimm ortal +Ġy min +_ robot +Ġpl ur +B TC +ĠD ID +Ġpier cing +* u +_DEFIN ED +ĠTh i +ita ire +(m edia +- ons +Ġche fs +Ġ"* . +/ AP +Ġraz or +Ġsearch Data +Ġ= & +Ġ ãĢĤ +Ġm ourn +ting ham +Ġo li +ĠVern on +_R S +ŀ æĢ§ +Ġf ácil +ang en +cel ain +Ġa il +le st +ĠQ COMPARE +g ain +ĠÎ µ +ĠK ob +ĠF ault +_config s +ç»ĵ æŀľ +. + +cal ar +(color s +M ul +_ ART +Ġexperiment ing +erm en +ĠAng lo +.Fixed Single +Se a +Ġc txt +.s lider +C ollapse +G rey +Ġf ld +-pro of +.cap acity +get Parent +ĠCom pliance +Ġburg l +- rec +Ġover written +M U +Ġrout ers +ĉ Model +Ġfantas ies +av ian +_p rec +ĠSc andin +Ġ// < +/o ct +Ġceremon ies +Month s +und y +Ġqu ed +ĠN ou +ĠV ibr +.r gb +Ġcit rus +Ġbr aces +-upper case +get Table +Ġdop o +ĠK err +_CH ILD +- cloud +ĉ Matrix +Ġgard ening +S ing +al most +Require ments +ugu ay +( Property +sub scriber +FA ST +re action +(l p +) })Ċ +` ). +.w allet +_ex change +.Max imum +ĠVer b +âĶ ģ +() < +ï¼Ľ Ċ +RO T +C ARD +ub it +{ @ +_k el +ĠTool tip +My SQL +Main Activity +ar f +Ġm align +Ġse inen +ap ist +Ġ< % +Method Impl +M il +ĠM ick +.de pend +< ID +Ġpredict ive +ĠAP PLICATION +le f +dim ensions +Ġconoc er +/ conf +ĠTr acy +F oto +_rem aining += file +Ġpage Index +ĠPar ish +Ġt exas +ĠM AGIC +ĠH ew +d ifference +Ġalt ura +c um +ĉdata Type +Ġcaracter es +avi ours +ĠV OID +è¿ ij +P UBLIC +B io +ĠstringBy Appending +Parse Exception +ĠS uff +ĠN orton +/d etails +.n ull +>> & +ĉ ok +-l ow +. usuario +n ested +X B +OUR S +.Border Color +Ġb row +ĠÐ ķ +cor r +ĠRed skins +.get Tag +.get Transaction +Ġst igma +hard t +ĠPlayer Prefs +als y +uc son +L anguages +ĠOl ivia +Ġt ac +Ġb li +Ġc aval +Ġconsolid ated +Ġper il +Ġde le +Ġform ulated +Ġhigh ways +.sp awn +== $ +ĠN iet +Ġv eggies +yp o +-r ule +ĠV ie +/e pl +Ġenf ants +string Literal +Ġtou ghest +buy er +Ġcov ariance +Ġil i +ĠSoph ie +ĠB AB +Ġ" ), +ĠU k +current Index +_user data +.code c +ĠPun jab +ĠSN P +l ol +adv ance +Ġcom fy +Json Ignore +Ġfashion able +ĠI CON +Ġor a +ĠP ricing +< num +ĠI RC +ER V +ĠMe in +ĠID ictionary +AD OW +is New +ĠDev on +at l +(request Code +ĉ PreparedStatement +IM PORT +Ġmar ital +_SELECT ED +get Response +ar Down +B V +ib Name +ĠP ATCH +ä än +Ġda ar +ĠFile Mode +Ġm arty +.Spring Application +c ene +amp oline +get Size +Rest art +æķ Ī +.project s +ĠEthi opia +Ġstatus es +T ION +(b g +ĠX unit +Temp orary +ĠEng agement +Ġx f +Ġprox ies +Ġgen esis +Pager Adapter +ĠSl ave +Ġsung lasses +ĠCh loe +Ġko ji +ad em +ĉ JSONObject +Î ³ +Ġh ors +* w +ó r +es ch +Ġcritic ised +z ial +ĠSale m +.Vert ical +ĠR ash +> E +ter ing +/s creens +Ġheight ened +аÑĢ ÑĤ +Author ities +_b box +ün st +.font Size +ĠBO OLEAN +div ide +ĠSlo ven +uc er +Ù Ĵ +st ub +Ġnavig ating +: animated +_N OW +_v ect +} {Ċ +@ ( +Ġtele com +Ġcontract ing +ĠAss ange +Ġextract ing +Ġgr ö +c obra +.D IS +Ġcr ab +Ġtw itch +Ġvert s +Ġreject s +ĉ format +Ġreg eneration +.S ys +s olve +ĉd ialog +sh i +m eter +(b est +valid ators +Ġon wards +Ġg uru +Ġmoder ator +ow ied +ex periment +r ub +Ġm qtt +ĠCa ucas +Ġnational ism +Ġm ange +ĉ ImGui +/ Edit +Ġin h +Ġint ellig +ero kee +ĉ export +Ġdiscrim inate +sub tract +ĠM oodle +ens er +ĠGuid es +R AP +-h ot +_gr p +.p icture +X A +Ġinit View +_Com m +Ġoverd ose +Ġ+ ĊĊ +ĠSil ent +show s +Ġinterpol ate +Form ation +Ġb isc +mark ets +( SC +Z e +ĠNetwork ing +Ġad renal +ĠG uns +ete or +Decl ared +orget own +Ġk arena +/ password +_address es +ITER AL +B uzz +ĠCon way +(c ase +P WD +he iro +( act +** čĊ +());ĊĊ Ċ +Ġan v +Ġ. .ĊĊ +(Menu Item +(m ail +_section s +ĉ net +Ġpl ut +Ġw rench +/ object +ĠI st +ĠV IS +/p ub +al ten +Ġguit ars +Ġantibiot ic +ï¼ ĸ + ¹ +Ġ" +" +form ula +Ġbab es +ĠP rompt +Ġen im +/ player +ĉ ref +Ġby Äĩ +Ġconsum es +ĠH ast +ĠT ao +Ġ' ))Ċ +Ġcl am +Ġthigh s +Ġmot if +Api Operation +ĠW L +get C +ĉf lags +oint ments +Ġeconom ical +need le +x ls +pr actice +ut zer +time ofday +- output +Ġfind ById +ĠBudd y +Ðŀ ÑĤ +Se ven +ĠB ark +Ġenv oy +_al gorithm +åĪ © +Ġball istic +ç§ » +r ades +ĉd oc +rodu cing +ĠE ating +Un mount +/data Tables +_b onus +Ġl itt +pp s +) localObject +per f +ĠHel vetica +sh utdown +/ ml +.t okens +ĠHard core +, row +/b g +Sc aler +âĢĶ as +_log its +âĢĻ int +ĉ App +Imp licit +.F printf +ET O +Ġterr a +Ġpossess ing +.r strip +, ), += yes +ĠStr ipe +? = +ne utral +.g ood +Ġk ennen +ĠS ung +f ault +ystate change +Can adian +',' ".$ +ĠM its +æ nd +ĠSTR UCT +ĠURL WithString +ĠCom pass +Ġ-- ĊĊ +ĠNS LayoutConstraint +| min +-ad just +Ġreb uilt +L IGHT +/ se +-m ount +vp n +valid ated +(Q Object +Ġign ition +ĠCharg ers +RYPT O +]initWith Frame +ĠFl uid +Ġcad re +Ġnomin ations +Ne ill +ĠH ou +Ġcurrent s +_g ene +(in p +Par is +z ÄĻ +ag gregate +Ġass oc +weet ed +err at +âĢĵ ĊĊ +Ġ'/ ',Ċ +fix ture +ĠH ighest +amb ient +Ġch mod +Ġcon te +Ġsens ual +Ġgar ment +z ers +ĠPower ed +dom ains +R eward +i omanip +Ġcock pit +out file +Ġbuilt in +Ġins isting +. vars +zip code +Ġ ���� +f ails +Ġconsolid ation +_ oid +Plan et +Ġ= ", +ĉ el +UIL T +ät z +af ari +ĠMc Cl +Tim eline +Est a +Ġfr am +Y E +Ġcere bral +Of Month +ĠP regn +Ġкл аÑģÑģ +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ +ĠF res +Appro ved +.S pecial +ĠProtest ant +Ġallerg y +_p cm +ĉC opyright +Ġsuper Class +" strconv +ĠMoh amed +Ġ' // +Fore Color +Ar thur +ĠJ ungle +Ġve ins +S ad +Ġback ups +ĠOp inion +û t +Ġinter mitt +ody n +ĠChrist ina +Ġand re +Ġevac uation +pa lette +h orse +ĠRes ident +ĠHass an +.N il +Ġa isle +ĠG rowing +Ġblog info +/s ql +_io ctl +Sc aling +ĠMon ad +_c pp +ĠH utch +ĠApple WebKit +Exp ense +_J OB +Ġpoint less +From Body +ant al +Ġdepict ing +ĠC ELL +Ġref in +ĠC NC +ì¹ ĺ +_dim ensions +ĠS AN +Ġa ft +Ġfoot steps +cc oli +_PH ONE +/m ath +-k ind +ĠMe ans +ich ael +.g una +Ġinaug uration +-dr iving +( delete +Ġtotal Count +_M C +.Ext ension +Com mercial +Ġz Index +< Customer +" g +-sh are +Ġp act +ag ara +ĠS IL +_m odes +ĠM olecular +Ġsystem atically +< G +_s cr +ĠO ro +as ers +Ġb ic +Ġdest roys +PI PE +.Start Position +Ġc ủa +ire z +.B unifu +_F unction +Ġs ü +_f uture +ĠWe alth +ĠNatur ally +æĢ » +_y es +Ġabrupt ly +String Encoding +ĠCGPoint Make +Ġz h +Ġimp erson +Ġpiv otal +ĠSom alia +Ġsegment ation +_AN AL +ĠLogin Component +Cons ult +Ġtr uncated +] ";Ċ +.get Config +Ġintern ship +B aby +ê° ľ +Ġstrengthen ed +_M I +b asket +Ġnicht s +ĠTV s +ĠSh an +ãĤ µ +rac use +.Re LU +/ interfaces +ĠgetItem Count +Ġret iring +Ġspecial s +Ġentity Manager +bel ief +Ġs older +da ughter +ij kl +Ġutil izes +.f ixed +S U +Ġdr astic +Ġh acks +gr und +ĠM U +ĠSt arter +.Com ponents +_m otor +Gold en +Ġl odge +Ġ )); +ĠCor inth +иÑĩ еÑģÑĤво +ón ico +gre SQL +ĠFl uent +Ġmar c +.Load Scene +.Group s +Ġer h +ĠAut umn +St opped +Ġitalian o +Ġmin ions +ĠAssert ions +Ġm ux +B u +Ġ---------------------------------------------------------------- -------------------------------- +ĉ up +read ystatechange +_M eta +Ġcurrent Date +ĠChap man +Und o +Se an +ap r +Ġpar m +_ icons +ĠSt a +á z +Ġsub division +Ġalter ing +P NG +ponent ial +Ġpost gres +ĠB DS +-ex istent +ĠBrad ford +ĠO MX +_W HITE +_PRO GRAM +q c +Ġtypings Slinky +ĠP ics +_M ETA +IT TER +_sub scription +IRON MENT +ĠHy undai +();ĊĊ ĊĊ +ĠØ ³ +Ġj ac +Ġelimin ates +) });Ċ +Ġcomp rend +ĉ insert +_f aces +"> $ +Ġeb ay +Ġcapt ive +pl iant +ĠCalcul ates +ol ta +est ing +_re vision +Ġm ús ++ m +"," "," +WH AT +Ġcompassion ate +h arga +[ random +Ġmod ulo +(s n +Ġoccup ations +//// Ċ +ĉ board +ĠB alk +wi Äħ +ĠW ifi +.Pro file +:m aj +ĉm at +LOCK S +(j Button +Ġ(' $ +M ur +æĮ ī +b ble +Ġf rog +-h ide +Ġbroad caster +ภŀ +ha led +Ġam using +_predict ions +_in tr +Ġe agle +аÑĤ елÑĮ +Ġget List +ps ilon +Ġcharacter ization +AR DS +Ġre location +Ġr ulers +P AY +ĠDef initely +_A ction +Ġclos ures +Ġfact ual +odyn amic +Ġpreca utions +nie j +ĠPart ies +ĠSub aru +Ġcous ins +ar beit +.m oney +gun ta +( and +get item +.Style Priority +Ġsl id +single ton +Ġg arn +ĠP AS +Ġd azz +a ż +Ġbog us +ĠM og +Ġrival ry +is ol +Ġland marks +ñ as +B ern +ĠSach s +Ġ" )ĊĊ +Ġhost ility +_m ex +m ere +M ot +p ictureBox +Def ense +Ġaffid avit +other wise +.d irectory +_ UnityEngine +-b log +.s kin +ph em +Ap ellido +er chant +[ class +Ġw art +." [ +ale ur +/ back +ĠĠĠĠ ĉĠĠĠ +Ġprecip itation +Ġob struction +Ġp Obj +Ġr upt +UCK ET +ay e +æİ Ĵ +g x +Ġe cl +Ġsecre cy +/ Header +ĠLes b +Ġle i +ĠBullet in +Ġgive away +.H ome +_RO OM +" W +Ġcow ork +_ ra +ĠC ycling +ĠP aw +Ġpup il +/ arch +ĠFile Utils +é¦ ĸ +r sp +Ġfreed oms +ĠL ear +}` ). +Ġbow ls +/b lock +_log ging +Ġmeth ane +Ġhorn s +Ġwonder fully +Ġalter ations +Ġex ile +ls en +_p ause +_L ANGUAGE +ĠUS DA +_m ysql +_AM OUNT +ĠL IFE +Ġyoung sters +Ġri ots +[ E +Ġun forgettable +, },Ċ +Dis posed +ĠAss assin +UN G +ĠNew sp +User Service +: aload ++ ', +Ġsett lers +Ġscre ams +Ġincon venience +.R otate +Ġj ars +ĠP uzzle +Ġm est +ars i +ĠSh arma +| ( +.d s +ĠSac red +_e vt +Ġexpress es +Ġh och +ĠD uch +.c alls +th r +ĠShe ffield +.Alert Dialog +Ġrad ically +Ġtr ous +Ġprev ailing +ĠWW II +âĢĻ n +ens ely +ĠY esterday +ĠSir ius +Ġkill ers +ĠF FT +Ġo val +') :čĊ +Ġìłķ ë³´ +our age +ĠCheck box +Work book +.def er +_f loor +Ġc ouncill +Ġnors ke +mo il +ore a +Ġmarket ed +_S UR +x AA +Ġst ained +e ut +ĠM eng +Ġi eee +. extern +eg ie +Ġr app +ĠPy ongyang +' class +M ob +Ġinitial Value +_w ave +Ġj ab +Ġmascul ine +Ġampl ifier +Ġt ty +Path Component +_ xt +ĠG FP +/ sec +ĉdis patch +mark down +ĠS chn +bo le +· · +mouse move +Ġerr Msg +Ġas ign +_m ono +To Selector +ĠZ u +(R ect +ĠError Code +lat in +ang ible +v tk +CG Size +P okemon +Ġclass mates +Ġattract s +ĠT atto +ult an +ol óg +Ġhalt ed +ठ¨ +ĠK art +Ġ ue +_Init Structure +Test Class +ĠAir bnb +_ ", +Ġchar coal +Ġip c +ĠSt retch +.g lide +lates AutoresizingMaskIntoConstraints +Ġpot ion +ITT LE +Ġcount ert +_h d +pre pared +Ad s +ĠV ampire +rob ots +.Create Index +Status Label +Ġt ucked +af ür +U t +Ġswe ater +_F N +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĉ +ata ka +Ġeyeb rows +ac oes +ud en +.LinearLayout Manager +Ġsw ay +Ġmult in +() )))Ċ +ĠNS UInteger +ĠMy Base +Part ner +uts chen +ĠC ater +.setBackground Color +Ġaccompl ishment +_pro blem +.d td +Ġpage Number +Ġj ackets +Ġcro pped +u els +ĠH ep +Ġc apped +* Math +_callback s +Ġpub b +ĠBrun swick +.res pond +[" _ +Ġbed ding +hyth m +O X +(s peed +Ġpestic ides +Ġ---- --- +.Bl ue +Ġnood les +ĠGo es +Ġs aver +o xy +_com pletion +ĠSw inger +Ġget Date +Ġmind ed +int egration +ĠLot us +(st op +(', ');Ċ +Ġflood s +ĠWork flow +Ġerupt ed +Mac ro +ĠSau ce +Ġevent Name +\ Input +Break ing +ĉ when +_p w +IND ER +ĠWell ness +Ġvox el +ĠM ell +ĠM EDIA +SE NS +ĠFund s +ĠM ild +< Array +- this +ump ed +/f w +ĠDb Context +W I +girl s +H OW +'); ?>Ċ +Ġtempt ing +Ġtest ament +Ġb ible +Ġconsult ed +ĠIndex Error +è¨ ĺ +Ġkey pad +izz o +( ok +Ġwhats app +ĠRemote Exception +Ġteam ed +âĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶ âĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶ +» , +Ġget Time +di ag +iss y +Ġh ed +Ġkn ots +j om +Ġfun nel +-m ails +Ġexport ing +ĠV L +ĠK arn +ĠBuddh ism +ĠAll an +_R ADIUS +Ġw ording +ĠFor get +ĠCor ona +ip hy +Ġlim burg +ugg y +ĠUser Repository +im in +(e le +Ġlabel led +ç¤ ¾ +ĠH erman +.q q +Ġ" ));Ċ +ie ber +.Trans late +ry n +Ġdes env +um d +Sim ply +ĉm ode +R pc +ĠVal encia +Ġstaff ers +Ġsel v +ĠSpi ke +Ġdel ic +Ġer u +_D T +J udge +á» ķ +ĠBas in +.m utable +" url +Ġtar iff +ĠSlee ve +Ġfl are +.drop out +Ġbr ides +)) ,čĊ +_con straints +de struct +Out line +Ġdisappe ars +_lock ed +ĠNS LocalizedString +ck e +ĉ null +ad resse +Ġto pping +ĠJ oker +b ishop +но ÑģÑĤÑĮ +and ering +_ amp += time +_S pace +_P ULL +' = +Ġant iqu +Ġc ach +___ ĊĊ +ON ES +о Ñı +Ġun read +.p olicy +oooo oooo +ëŁ ¬ +Ġu sted +ĠRe ce +Ġal lem +ãĥ¼ ãĤ¹ +ĠThought s +ve illance +istr ate +_l ane +Ġfam ed +.Get Name +Ġsmo other +ĠQual ified +az ers +_ geo +F ax +ĠM inds +ĠR aises +Ġtrans cripts +Con versation +Ġremark ed +ëĤ ĺ +d ling +Ġdeploy ing +Ġshared Application +Ġk p +FontAwesome Icon +_d ummy +reib en +ĠJane iro +Direction s +.get Bean +s ass +Ġcommand ers +v ation +error Code +ĠAl loy +.local ized +Ð ij +Ġdish washer +ĠSou p +N u +_D efault +Ġune ven +Ġ/> ";Ċ +-B ased +Ġseam lessly +- null +ĠX C +Ġst ew +(d elay +AT ORS +ĠWhe eler +" H +e ast +. air +âĢľ But +Object Context +success fully +_l and +Ġfold s +_CO ORD +Ġsub po +.get Address +in str +Material s +Ñĥ ÑģÑĤ +de posit +-l ast +_GR AY += find +Ġmut ant +Ġlesb ienne +let cher +RO UGH +ure ka +.c apture +Ġen n +Ġ([ [ +ĠFl u +Ġtask Id +ĠHus sein +.f older +Ġa usterity +ISTR ATION +_ Impl +注 æĦı +Ġdec ree +- chat +Ġimp lication +Ġguess es +ul kan +An alytics +. plus +COM MAND +е ли +» ĊĊ +_S ITE +Ġequal To +Support FragmentManager +ĠRec ording +å®Į æĪIJ +Ġbag gage +Ġpitch ers +ĠE h +o que +ĉc nt +Ġ=> $ +/ foo +IR A +ĠSat ellite +bor ah +Ġ}} "Ċ +ĠEnd s +ĠSpr ay +, param +.Ch rome +* q +th ought +ibr ated +Ġth ieves +Ġbenefici aries +Enter ed +ottes ville +Ġveter in +By ID +qu ipe +um ption +- unit +Execution Context +@ s +ĠG iov +.Tool Tip +_f riend +( attributes +Ġdump ing +ĠJ C +_D OCUMENT +ĠArm our +( insert +.Horizontal Alignment +ĠQ ed +ãģĦ ãģ¾ãģĻ +/g it +ĠY YYY +ĠCard iff +Ġap a +organ ic +ĠWhere as +Ġæ Ŀ +ĠM ia +Ġdemol ition +Ġsc ars +Ġp ai +Ġre tries +Ġr q +ĠDen is +( Utils +Ġallev iate +ĠP IC +id ue +Ġacknowled ging +Ġ// //////////////////////////////// +ç¡® å®ļ +Ä « +\ Json +.b inary +Ġx type +sign als +ĠAp pearance +& r +} s +C i +ĠI llum +por ate +h og +Ġindex Of +\ Command +_par allel +ĠSher lock +í ĥ +Ġ" ")čĊ +//////////////////////////////////////////////////////////////// //////////////////////////////// +Ġcritic ize +ĠSo ap +ĠMatch er +Ġgr illed +* T +Ġad ore +ull ing +Ġjed och +_ref s +lean up +ĠJ AXB +Ġro ses +ĠL iam +size i +Ġget char +Ġtar de +-to oltip +Ġqual ifier +ĠInter mediate +_W indow +ĠMal ta +Dis connect +ew here +Camp o +Ġirr ational +led o +ĠD N +ARG V +Ġout ro +Ġth irteen +Jose ph +M AR +/g l +J ess +ĠPsych iat +Ġpadding Bottom +- loop +/ fonts +_se en +Te ams +React DOM +(m an +(x path +.get SimpleName +>( * +ĠP vt +Ġel ders +Ġp ies +.user Agent +- region +ĠGree ks +(f ragment +st u +Ġcouncil s +Ġst amina +ĠGod dess +è ¥¿ +Ġphilosoph ers +Ġpers one +ĠL ose +ĠCL R +ĠD ocs +Ġso ak +ĠHOLD ER +Ġb ells +hash Code +R ATE +_WE IGHT +in ous +end ra +oph obic +Ġpro se +Ġfin ely +/o auth +(s pace +ad ge +ĠM ama +Ġstring Buffer +Ġst int +Ġmis ma +Ġvill ains +ĠCrime a +Ġdipl oma +Ġпо Ñģл +ĠBe a +(j oin +Ġíķ ´ +CH AT +per ing +ĠC ros +Ġmon keys +Ġpred s +yl a +,, , +Ġvibr ator +ĠN U +åħ Ī +f ant +z et +Ġb ietet +un ft +sw orth +.F low +Ġpsy ched +ĠContin ental +> t +Ġqu ilt +. UP +Ġexpans ive +Dis pose +(l anguage +C aps +_Z ONE +Ġrec ycle +ĠMan aged +current Color +.b roadcast +sign In +.p rom +ll u +ue blo +Ġpunch es +Ġautom at +Ġassign ing +Ġcreate User +ĠAll ied +Ġconduct or +Ĥ ¨ +Ġs addle +Ġd ni +omed ical +-W est +Positive Button +Ġit alic +? [ +(tr igger +Ġele phants +":" "," +Ġcal iber +raft ed +d igits +Ġmar shal +mill iseconds +mark ers +m om +/ place +Ġhol istic +: t +# , +Ġb oto +Ġnause a +ĠSh ooting +ite ch +Ġtext Status +< Class +ĠDes cribe +Ġbuff et +g il +Ġlog its +std call +mod s +ĠSk ull +ĠB are +h ope +ĠIn tr +F air +ĉ pt +Ġacompan h +Ġf kk +_r pc +Inst alled +_ ans +.get Minutes +âĢ¦ "ĊĊ +- thread +Ġpres chool +AIL S +Ġdiff ic +( convert +ĠN ath +ĠDO J +Ġreg imes +Ġenthusi ast +Ġwarrant ies +Ġfasc inated +_b inding +_N ot +oft en +_R W +/m ail +Ġtitle Label +Ġvill agers +ĠJ iang +Ġsw agger +.Row Index +_img s +rap y +VER AGE +. Up +Ġno op +c io +ĉ ST +Ġdecre ment +Ġmagn esium +_ rotate +S it +Ġnieu we +Ġter med +íķ ©ëĭĪëĭ¤ +Ġur g +_t ouch +Ġsw arm +Ġcl ave +th est +ĠL af +H X +ĠH ulk +Ġplaint ext +ĠSof a +get Session +L ed +Ġecosystem s +he i +ĠK ills +Ġhus bands +Ñħ ÑĢан +(d om +_t iles +Nib Name +Ġdon ating +. acc +Ġlifes pan +.b n +_RG CTX +æ ¥ +ans en +Ġmod elling +Layout Params +ĠonChange Text +rs a +- location +.P e +(b us +(s ong +Ġprodu k +ĠSH OULD +ĠC J +Ġs os +ĠHome Controller +.load ed +(D ocument +.s ocial +t iles +Ġl ame += df +.parse Long +Ġpr ac +Ġdet ox +ĠV E +Ġpunt os +Ġdo ctr +Ġan cor +CA PE +Ġc mb +çĦ ¶ +*) " +:// / +Value Type +Ġmort gages +; q +ĠRock ets +s port +UG C +ct s +ãĤ ģ +ie ur +ĠAppe al +(n b +//////////////////////////////////////////////// //////// +IM ATION +ĠC res +ĠMan ip +C ause +at ypes +man ufacturer +# ---------------------------------------------------------------------------- +Ġsp or +es on +Ġpun ched +Ġbook marks +ĠBul k +Complete Listener +ĠTalk ing +ĠEr nest +Ġrub bish +k ills +ĠDE FIN +Ġneighbour ing +ar lo +ĠP CA +ĉm atrix +lo k +Ġat las +ĠG ur +Ġw yn +-n egative +Ġt ul +Ġre lic +ĠV oltage +ĠPre is +ĠJ NICALL +ĠPM ID +ak et +ĉ attr +Ġet iqu +ĠM J +ĠG mail +cl r +_exec ution +éĶ ® +pos itor +. af +N r +Ge orgia +Top ology +Ġperch é +Ġmus lim +Ġepid emi +Ġsab ot +act us +Ġë ĮĢ +ĠIO Error +. est +p refs +ĠKr ish +.Read Key +NAS A +u ção +_D b +umer ator +W ide +(st atement +.end point +.... ..... +Ġ[ * +stream s +m time +P x +at r +Ġt pl +R oman +Ġscen ic +.n z +ĠSe conds +sub menu +Ġìĭ ¤í +_b undle +Ġde ÄŁ +ĠS isters +pre ferences +Ġport a +Ad visor +max Length +ĠG REAT +__ (Ċ +ole st +ĠLabel s +Ġen fer +ĠĠĠĠĠĠ ĊĊ +ĠThe ft +_F ILL +ĠW ise +) application +un ami +> ())Ċ +ADD RESS +B ST +et zt +ĠQ gs +S ense +Exception Handler +ĠCh u +.get OwnProperty +Ġexerc ised +iot ic +ĠRe leases +Ġp interest +ol ie +is oft +Ġsequ encing +Ġpad re +] ));čĊ +(r adius +.m ed +aint ies +.Object Model +Ġem ple +Ġseg uro +St ars +Ġqual itative +lem n +á» ± +> "). +Ġg x +-c ert +ĠAST M +Ġfull name +Ġte lemetry +ĠCamb odia +_ ul +ĠCl are +C USTOM +Q C +ĠUn s +ĠHTTP S +ĠPark inson +ancy box +',' . +T ue +.get Last +Ġab i +Äħ d +A st +ĠEd iting +.Un ity +j mp +Ġm ats +Ġshared Preferences +Capt ain +.page Size +Ġr tl +Ġan meld +Runtime Object +Ġdemand e +(" ; +se ite +-head ed +ĠK ra +ĠF ONT +` \ +Class NotFoundException +. avg +atic al +A j +Ġpermit ting +Pro j +ERR Q +Ġcre ampie +ĠBuy er +-mod ules +ĠSund ays +| `Ċ +Ġday time +Ġ+ ( +Ġgl itch +ĠOper and +Ġtox ins +iny a +D NS +ĠS as +C ake +ĠNation als +.add To +Ġs inking +Ġcompreh ension +Ġsc or +ag ements +Ġt ard +Ġmarch ing +ĠM TV +Ġs ane +Create Info +Ạ¯ +Ġend Index +ĉ layout +ĠåIJ į +S ITE +ĠT HERE +Ġ[ {' +opath ic +Ġtrans mitter +/ body +Ġp und +ĠC losing +Ġset attr +Ġbound ed +At las +sum ing +(t imes +par er +yn om +fe it +Ġf rem +- leg +ĠBr as +> # +Ġì¶ ľëł¥ +ĠIN STANCE +ĠC ouch +_host s +lik elihood +.M arker +ĠM asks +Ġcere al +util ities +Ġelement al +Ġdist orted +in active +c ry +W L +UPPORT ED +.Th rows +/s chema +ser ie +." ', +ĠBened ict +-p icker +ig gs +ĠPir ate +åij¨ æľŁ +ĠTh ema +ĠSouth ampton +Ġarray With +ĠPaul a +Ġpredict or +- Ass +.user id +Ġper i +Ġexagger ated +ur ate +arse ille +ĠCon cent +ĠP ik +Ġ@ _;ĊĊ +Ġform ations +Ġden omin +"/> .Ċ +ended or +Ġpan cre +Ġam t +Ġon Resume +on Delete +ĠB CH +) (" +m ovement +Ġpot assium + čĊčĊ +ĠMah m +} ";ĊĊ +Ġd q +ĠPublish ers +ĠAm pl +ĠDani elle +Ġt ern +èµ · +no ÅĽÄĩ +e in +ĠAsync Storage +un ger +rou w +Ġsc issors +/ assert +.b ucket +/ archive +_M an +Ġint oler +Ġ() => +ĠÐĴ Ñĭ +Ġsa i +.x y +." čĊ +Ġur inary +es ub +IST ICS +ĠÎ º +Ġcompl iments +Ġtypings Japgolly +ih ar +Exp ansion +ĠS erving +_st udents +ĠX BOOLE +( il +Ġì² ĺ +Ġj ó +(t ol +( JS +ĉC G +ĠD RAW +tw ig +Ġo at +_sm ooth +ĠC SL +Ġos ob +Ġens uing +Ġbank er +ĠBack pack +_p ing +Ġwish list += ax +ĉĠĠĠ Ċ +Dis ney +stead y +"> % +Ġproph ets +ĠZ X +Ġminimal ist +.PL AIN +Se attle +. ordinal +ĠPI PE +Ġret orna +Ġjug ador +ĠB ret +ĠâĶ ľ +Ġpl ush +UL ATOR +Sort ing +.grid y +ect omy +_ activ +r ack +Inter active +ĠAntar ctica +Ġv engeance +en so +_k nown +up plier +.Mod ules +ĠConnection State +éļ IJèĹı +@ FindBy +Ġpl acer +\ model +< ()> +.is Successful +-g ood +b z +ĠDr aco +Ass istant +-ex tra +аб лиÑĨ +Ġhyp ocrisy +Ġt st +ĠA gr +$ txt +Ġlog istic +lic ensed +ĠH of +Ġt at +( iv +Ġinto xic +post Id +_st rike +Ġhum iliation +pc odes +" sync +(rec ipe ++ N +rent e +ĉ Client +ycop g +ĠZur ich +ĠPro files +C ountries +Ġp ict +Ġroll out +requ encies +Ġpatch ed +Ġcar tridges +Ġsh ading +J ar +Ġsalv age +ĠTax es +Ġstand by +apor an +E igen +. angular +ĠN ested +äº « +Ġis Visible +ĠDw ight +_BR ANCH +.D elay +Ġk end +Ġfacilit ated +.flat Map +Ġs anta +ĉS end +/m essages +Ġof Type +ĉs wap +# plt +ĠTur ks +N ES +Ġprogress ively +ĠRes idence +ĠT REE +Ġno en +d io +Ġn elle +Ġsog ar +itt i +week ly +Ġambigu ity +_Set tings +W are +.ne o +_D ST +Ġæĸ ¹ +pre p +lob by +@ email +/m ovie +Ġfun kc +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ Ċ +ÂŃ s +Ġguard ians +- pos +Ġconfig uring +ĠC PS +ĠDe us +Ġvidé os +_ empresa +Ġsl apped +< Model +Ġunders cores +U h +.access Token +SET S +ĠS parse +ĠCal d +: path +ĠS ervers += batch +Ġkn itting +Ġx a +Ġsearch Bar +Ġsn ag +Ġinf used +.b am +le ver +Ġtax onomy +Ã İ +Ġatt aching +Ġh ern +_N OP +Click able +(P arse +ĠDynam o +-b uilder +Ġdere g +Ġsc attering +è¿Ľ è¡Į +an zi +ĠShe pard +"> ',Ċ +_X DECREF +ĠBuzz Feed +_M ARGIN +P LOY +.sm all +Ġm imeType +Ġh olog +ĉc amera +li as +Ġsusp ense +ody nam +b au +Ġgrave yard +_n amed +":" ' +Ġ******************************** **************** +Ġgame Over +ĠLENG TH +ĉs creen +Ġdo InBackground +_depend encies +Ġr tc +/ up +_ ROM +H all +Ġdef iciencies +( te +' # +_e quiv +Ġpre order +ĠA xe +ом Ñĥ +.send File +Ġfil t +ĠLim its +ĠCaval iers +.dis count +âĨ IJ +ĠW it +QRST UV +Ġi j +Ġt egen +Ġ: ", +diff iculty +p unkt +ĠEmail s +ch lor +(f un +.U int +ĠSt all +_ verified +u D +File Type +Ġple asures +Ġjud iciary +Ġsh am +ip ur +_PL US +off ers +( foo +_G T +ĉc ore +ENT ION +ĠLib eration +Command Line +_de partment +.A r +_ne ighbor +ĠSub mitted +ĠĊ +Ġdro its +Ġhomosexual s +Ġab duction +ĉw idget +$ headers +ĠD AR +Ġfl a +th reat +Ġlou is +.Get Property +" Just +(f rames +ry o +prof ession +| i +íķ´ ìĦľ +(s v +Ġun recognized +I onic +F ashion +Screen State +ĠIn coming +Not Nil +Ġsync ing +em ie +Ġtherm o +_pro cs +Ġincons istency +rel igious +.m j +Ġperson n +Ġmoment os +or arily +Ġæ Ĭ +_ne urons +Ill ustr +im oto +il ik +ĠW oj +Tr ading +Ġapp are +Ġentre prises +ach at +Ġ ¬ +Ġne igh +BUTTON DOWN +ĠMah er +ag han +-h ash +" f +Ġclient ele +.add Button +ĉ SP +Q i +Ġgr ated +POS ITE +: > +ĠHow ell +ĠCompar ative +ĠIS C +ÂŃ i +O cean +D avis +ĠFil me +W ins +ĠJ IT +oc cer +ĠC orm +ENCH MARK +rch ive +ica ção +Ġm ata +Ġchild birth +ĠOption ally +En s +Ġx http +Ġel ucid +_Osc InitStruct +)) ):Ċ +Ġint uit +ĠDon ate +Ġcorrel ates +> Delete +Ġequ ipe +Ġb oca +Ġinfl atable +er ah +ĠDateTime Kind +Ġcal ves +\ Lib +Ġem lrt +ĠTr ilogy +ĠP anc +ĠD uis +ĠpelÃŃcul a +WAR DS +_DE TECT +-section al +dh cp +For Row +-de struct +ĠPres enter +/s lick +, on +ĠCit adel +logged in +_sub type +Ġsig ue +Ġc uring +ĠFire wall +Ġfluores cence +ĠItal ians +иÑĤ ÑģÑı +.get Style +In Seconds +j ie +-S mith +Ġx link +Ġsub missive +он ÑĤ +arbon ate +ĠF aul +_go als +ĠCommission ers +chart Instance +_POST FIELDS +Ġmed ial +Ġman os +Ġdel t +sv m +.Ap is +ep hy +Ġasym pt +Ġapp Delegate +Ġimpro bable +ck a +sim d +/ Error +. âĢĵ +ĠP TS +de er +Ġs ina +m agnitude +ID ADE +'] }' +Ġmay ores +ĉ comment +/ console +" @ +v olt +.s ell +ĠM acy +Ġmel od +Ġim ágenes +_ch g +Ġin out +ident e +) '),Ċ +d ni +.b lob +Ġtyp ography +Ġe erie +_O ID +pes an +aj an +Ġch opping +Ġbl uff +ad f +_b ases +.Form atter +Ġ\ % +ĠPage Info +Car rier +ĠCal ibration +com o +-b odied +Ġfinanc ier +ĠIN A +. ERR +Ġhood ie +ĠSan ity +gu arded +.opend aylight +ISM ATCH +High lights +ün k +ani em +anger ed +assign ments +Ġregistr ado +ĠU PPER +ampil kan +ash ire +ĠNik ola +ĠC FL +ĠH DC +Ġp oids +ĠIP s +Ġprevent ative +ips oid +if ix +.c amel +.g a +V olumes +- ste +Y ahoo +_s ibling +H ighest +opt group +Ġkvin na +âĢĿ ãĢĤĊĊ +ĠAppl iances +Ġ" >< +') ")Ċ +ht t +ĠIdent ified +Ġpenc ils +Ġmember Id +Ġappend String +.load Data +Ġmock Mvc +Ġj ub +ĠSl ut +ĠTai pei +st att +Pol it +Ġpart ager +Did Change +Incre ases +) }. +ĠB aba +_CL IP +[ unit +Ġк лÑİÑĩ +Ġalc uni +ĠL ola +Ġcl inging +@ PostMapping +(con cat +Ġss id +ĠFa uc +ok it +ĠRecord ed +á lez +($ ('< +.assertIs Not +Ġk ali +V olt +Ġwarm ly +Ġsca res +get ti +füh rt +_d oes +. EMAIL +im ations +Ġspring fox +ĠDec om +arc y +Ġgl itches +ĠM off +ĠV oll +.b etween +Ġcoord en +ĠPart icularly +GB P +Ġsem ble +East ern +_M SB +]) {čĊ +m organ +ĠE VAL +d ere +HO USE +mo ire +ist ique +_l stm +-com mit +yster ious +Ġtw ink +-th umbnails +en ÃŃ +:' ', +Ġblack out +ĠFlo ors +Ġso fas +Ġou i +lesh oot +ĠRa q +- abs +Ġk ra +M ining +sha ft +.set Columns +Cl azz +PRE TTY +.play list +éĸ ¢ +-Sah aran +M ING +ĉ bl +è® ® +j f +DO CKER +hope fully +( ignore +ĠUsers Controller +ĠMitar beiter +ĠL ES +Ham ilton +-m etadata +ĠK K +ikt ig +Ġwoll te +egr ator +] bool +, current +Ġvalue Type +Ġexcav ation +ol and +Ġv erv +/file path +Auth Provider +Ġpro crast +ĉ ULONG +_MEM BERS +Ġup lift +ĠAut onomous +Ġart works +ĠOut reach +Ġp ore +Home page +Dialog Title +ĠGener ating +PAR SE +Ġsem anas +Ġhuman o +JSGlobal Scope +Ġvol te +Ġb ella +(is instance +Ġpl c +\C atalog +Ġeste emed +éĽ · +(s uffix +Ġswe eps +ĉ ORDER +Ġdo ivent +ĠSw arm +ĠComp iled +get Page +AD R +.R ichTextBox +ĠN aming +ag ged +ĠG ANG +r asing +ode led +Ġg ala +ĠJS Name +dd f +Ġill ust +ĠLans ing +[ port +-de ath +Ġdin heiro +ĠE ighth +Ġb ian +st Ã¥ +Ġvers ión +ĠLinear Gradient +ĠHard ing +. *) +ec zy +$ header +Ġv Ã¥r +Un checked +Ġko je +ĠPal adin +() )), +G iving +() })Ċ +Ġd ips +F riendly +Ġport rays +Ġhel ium +Ġinsurg ency +_ex piry +ĠstringByAppending String +Ġa antal +s lope +m ast +.get Integer +Ġ################ ######## +_PIPE LINE +Ġdens ely +Ġmut ating +m idi +ĠSe it +ay ne +NOW LED +ĠDes mond +ĠF Name +ĠN airobi +\ Context +Ġcalc ular +-d en +Ġc ott +] ):čĊ +ĠRecommend ation +ĠRole x +Ġvalidation Result +.p at +Ġn Ãły +ĠRest Client +ĠG PI +ĠAshe ville +ĠO SP +ĠPER MISSION +ÐĶ аÑĤа +/ notification +K night +_W ord +ĠB ender +rank ing +Ġpart ida +_res ervation +Ì Ģ +Ġm Name +Ġget ch +Ġb orr +Ġdilig ent +Disc uss +æŃ£ åľ¨ +ape ake +ion ed +-N azi +.c um +ĠK ron +=$ ('# +/s ingle +Ġerot isch +ĠV ib +Ġrat ified +Ġconcert ed +ĠREG ARD +Ġdo br +.Driver Manager +' r +Port able +ĉs uite +Ġrel aciones +ĠD op +emplo i +DO B +Ġcr umbs +Ġx ls +_App lication +(': ', +Ġ---------------------------------------------------------------- --------Ċ +m se +Ġber k +ĠReturn Value +ĠBel ly +Ġcam ar +ĠPe ek +els ing +Ġnot ifies +ĠTr istan +ĠG AR +em me +ĠElev ated +_C SV +(ch alk +Ġtw enties +ĠSearch Result += search +ĠMix ing +ý t +Ġrecru iter +ĠIDE OGRAPH +ĠA go +( Operation +$ values +Ġworld ly +ĠRosen berg +ĠConfigure Services +>* Ċ +Ġsn ork +_op acity +ĠinitWith NibName +i ado +A AC +Ġ] ). +; z +_par agraph +Ġnos es +stand s +if r +_m E +I raq +.P redicate +ena ire +]] ];Ċ +Ġun idad +Ġretire es +_h ello +Ġmode le +ĠUIT ableViewController +f write +_num ero +_vis ited +Ġrece be +( Notification +Fant astic +_sub menu +ĠP EM +ĠCup ertino +approx imately +class ed +.Read String +Ġdomic ile +_P W +Ġball park +ĠK ale +con tra +_f avorite +/ of +Qu ite +ĠOT A +Ġacceler ometer +did n +| ^ +ĠRohing ya +ivic rm +ann abin +обÑĭ ÑĤи +or ado +') + +Ha unted +, ID +( UIAlertAction +ur v +_b el +ĠMex icans +/ terms +ĠPaint er +Input Label +ĠV inci +ĠRos ie +\ uc +< Menu +Ġcool ant +(current User +_d ual +) "},Ċ +& p +Ġconver ged +Ġrestr ain +ĠYugosl avia += target +Ġimp uls +ds a +Search Tree +Ġh box +ĠImp ress +§ Ãĥ +get FullYear +(d a +ĠY YS +.al ignment +.Get Text +.token ize +ĠOlymp us +Ġmur ky +ore station +Ġdiss atisfaction +ĉT Array +_ kses +.Add Singleton +ĠStart Time +Ġfan atic +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĉ +Ġentity Type +. override +Ġ ------------- +ĠDat agram +f out +(with Id +Ġ# __ +Ł èĥ½ +ek yll +.f riends +ame leon +Ġz ach +.simple Button +ret orno +Ġkon k +/s mall +ĠQuick ly +un read +Don ate +Detail View +Ġdu a +Ġpenetr ated +OM UX +Ġn ir +_p data +"], [" +Ġlow es +Ġdop ing +Ġas ymmetric +Ġneed less +our cem +Ġup ro +ĠGu zzle +af b +Ġsext reffen +-c ollar +Ġcol ossal +Mon key +n ish +Ġhandle Message +Incre ased +* dx +ĠChatt anooga +f org +ĠOr den +Ġsh ri +ĠV and +Ġ" @" +Image Sharp +ĠWild cats +pon ible +.sc enes +Ġpaint ers +ĠPf izer +ĠZ ah +To Local +ĠFl am +Ġé taient +)) ^ +ĠSand box +ĠTR ADE +Ġchrom ium +Ġac claim +Ġpac man +´ t +) reader +M ari +.Dispatch er +.A DMIN +ĠRem ed +Sw eden +Ġoverl ays +. er +Ġp ang +Ġclean ly +aven port +Toy ota +patch es +Ġv tx +ĠE is +cl ado +ĠR itch +RO LS +Ġh ade +Ġconspic uous +Ġdo cks +(j q +ĠPrem iership +ĠBe z +ĠâĦ ĸ +ĠÑĥ Ñģл +_tot als +Ġprov a +ĠC ue +Ġsa úde +ĠGame Controller +IM IZE +, port +ãĢĤ ( +.C decl +Instant iationException +Ġcoll age +ĠIO C +Ġb ais +Ġon Finish +-st ars +set Size +Ġmog ul +Ġdis illusion +Ġche vy +(S chedulers +( IR +_loc s +Ġcann ons +Ġcancell ing +/b us +Ġbuf io +ĠY ours +ĠPik achu +Ġter me +r Ã¥ +f ahren +Ġowner Id +Ġoblig atory +Ġcul p +Ġacid ity +-m ult +ĠBam boo +Ġ' "> +_g s +Ġcomp il +n ard +-ex c +Ġrh yme +Ġbut to +s ays +ant asy +ë ¸ +Ġcitt Ãł +Ġche g +Time String +Ġpos itivity +ĠD abei +Ġw ang +Ġes cre +" c +ĉv ideo +ĠRank ed +.str ings +>> >( +Ġин ÑĤеÑĢ +Ġrest a +[: ,: +Ġrend re +Ġdes er +J os +Ġdis ruptions +Ġоп еÑĢ +s ampling +sup press +Ġcontainer View +ĠSeam less +Ġair y +Ġon load +.Window Manager +ĠPL A +br aco +.set PositiveButton +Ġp du +Ġg si +ĠC li +_gr adients +Ñı д +ĠWh isper +c stdint +Ġl äng +Ġform ulations +én om +ourn emouth +[$ _ +Ġordin arily +.set Username +Ġfacult ies +MIT TED +/ values +Ġwe ir +ĠA pt +M Z +ĉc f +uck en +ĉĉĉĉĉĉĉĉ ĉĉĉĉĉĉĉĉĉĉĉĉ +def ense +[i Var +ĠBusiness Exception +Select ors +(co ordinates +ĠRes ets +ĠDr inks +ole ans +(st ypy +_IO C +.x xx +ĠSl ater +ĠBel ize +Ġ/ ************************************************************************ +add in +_ep isodes +Ġis chem +legal ArgumentException +D anny +Ġp ared +.code haus +ĠAss y +ĉ Rect +â ŀ +.list a +Ġв аÑĪ +Ġv ets +HW ND +ison er +Ġx o +Ġor ally +ĠSt mt +.r nn +ĠD PI +ĠStr ikes +.setViewport View +Ġèĩª åĬ¨çĶŁæĪIJ +Y ELLOW +GL enum +part ners +ĠImp licit +Ġtak o +âĢĻ elle +Ġerm ög +total Count +G il +ĉ work +Ġpr atic +in ati +ab ies +ĠSk inner +Ġspir ited +Ġpancre atic +Ġh df +' em +Ġpsych osis +olic it +Ġ" {" +_at ual +Ġé lect +TE AM +Ġd ak +ĠSW AT +.Fragment Manager +Ġprovision ing +l ifetime +_EXTENSION S +ĠC ASCADE +Ġ! [ +(K P +Ġv em +ĠInterr acial +'] },Ċ +sp acer +_k v +W arehouse +R DD +_f sm +.Stretch Image +, Yes +ĠRefuge e +ĠBr inging +Ġv álido +.inter section +Ġsp ooky +_port al +Ġmo th +ĠZ odiac +ĠSOC IAL +M imeType +'] }} +_Bl ue +Ġbot anical +Ġfr ags +Ġfamil ial +- du +Ġse izing +(block s +.r d +.check NotNull +Ġmis er +Ġmax x +ĠK nee +View Item +Inner HTML +D anger +(( __ +Ġprz ypad +create Url +** , +ĠDecor ating +ATEG Y +?> / +.Design er +hex digest +ĠEvery where +all eries +.TEXT URE +.Block s +z ell +Ġpre ço +S uddenly +input Email +(s ync +.b d +gold en +> '); +ĠDick inson +>> (Ċ +ĠQUE UE +Ġget Column +ĠS AND +.p iece +lic er +Fl utter +Ġget Version +Ġresource Id +og l +ÅĤ aw +.Br anch +ĉ web +Ġfr amerate +PP P +Ġfr ay +C NT +Ġinformat ie +'] čĊčĊ +ne as +Header Code +Ġæ ¸ +Ġtr g +raw types +H onda +Ġmark eter +Ġrequest Data +ĠP g +ĉ not +Ġpage Info +Ġakt uellen +ãģķ ãĤĵ +ĠA MS +push ViewController +ĉ AL +Ġv ests +produ ce +-m ême +ĠRah man +F unny +E Z +_ Valid +Ġsquad ron +Ġl ash +Ġ irm +ias co +ĠPar an +Ġpet ites +ĠDec ay +Ġun initialized +priv ileged +Ġm bedtls +å¤ĩ 注 +Ġ^ . +Ġec static +D etroit +Ġpart en +Ġsou venir +.get Login +моÑĤ ÑĢ +en ção +ĠmÃŃn imo +ĠAccess ed +ri ó +M ic +ĠV ocal +.Set String +Ġmens ajes +åĢ į +Ġattr avers +ĠA ph +Ġ' );čĊ +ünd e +Ġench anted +ĠRoot State +ĠCLOSE D +ĉĉĉĉĉĉĉĉ čĊ +Ġcal iente +or ris +Ġphysic ists +h wnd +_v i +Ġráp ido +Ġcapital ized +ed By +Ġmach ining +Ġhub by +ĠSt acy +.B us +dr ink +H ur +Ġprop ia +Unit Test +Ġmiscon ception +__ ));Ċ +/d c +ĠMay weather +_m C +.create From +ĠQ Painter +rops ych +inn itus +ay as +Ġg eg +(d w +Ġus ado +Ġtrick le +Ġann ihil +ĠP asta +Ġ++ Ċ +(Expected Conditions +.post Value +ic ap +ĠDon etsk +_s oup +-p ublish +ĠP b +ment ions +AC CEPT +.P ull +,âĢĻ âĢĻ +Ġret arded +_AT OM +ĠTermin ator +-c ourt +ĠCLLocation Coordinate +Ġrever ence +ĠS SC +ut ely +ĠW ON +ĠG SL +fre i +.get Longitude +Ġopen FileDialog +.B utter +- important +_M ANY +ĠG ong +âĢľ How +Ġg orge += msg +ĠEz ek +create Command +: checked +Ġinf ographic +.W EST +Dir s +Ġguard a +Ġbeet le +< small +- android +Ġcred itor +ĠM éd +Ġfinal ist +Ġab l +ne v +_inter action +ĠMonter ey +j ah +Ġcand ies +ĠQu incy +èª Ń +Ġbatch Size +ak it +Ġo be +(p ara +Ġexperiment ed +Ġcouncill ors +Ġcl ashed +s qu +-st rokes +ĠG K +ĠEx pires +Ġprosec utions +ĠCreat ures +Ġy ö +x lim +_IM P +Entry Point +ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ +.Default CellStyle +Ġbre ve +ĠBrit ann +Ġsweat y +Ġle th +Ġflash back +per manent +ĠJ DK +_D etails +E uro +p pt +Ġrich TextBox +/ board +Ġtr ance +.c ycle +'); ");Ċ +Ġtox in +_de init +Ġover arching +Ġconfig parser +ĠKaw asaki +.th umb +Ġplay a +ĠJose f ++ _ +Ġzero es +Ġa up +ĠH ari +comm itted +N it +.file Path +ĠDis abilities +man ufact +-al igned +.RE SET +Ġrust y +E y +Ġou sted +cos a +Struct ured +.get D +Ġs ábado +> Loading +_m A +.get Random +bl ings +Ġchees es +tt i +. âĢ¢ +ĠBurg ess +ender it +. ',čĊ +(" "+ +ac b +% p +index ed +_pred icate +nes ia +Ġb ied +ĠC IT +( Pos +_r adi +ä»· æł¼ +B iz +ĠAdoles cent +Ġvi ên +c ycl +_C ancel +Ġcon clusive +Ġappell ate +inform atics +S J +Ġelect ive +role Id +Fetch er +ĉ Command +(" (% +Ġf art +IL A +get Block +A USE +Ġд ан +ĠAr te +Ġnot ifying +Ġge le +.s ame +ĠReg el +ĠBa ÅŁ +.c reation +ĠV N +_comm unity +Ġuns ustainable +SE X +Ġgrid Size +res cia +avers able +(', ')[ +ĠPh elps +á»ķ i +ANCE LED +- IS +.run ners +ĠSt okes +.P rodu +Ġwh ipping +_ac quire +Ġinvestig ación +f ried +.copy With +ĠHard cover +- Se +áŀ¶ áŀ +inv itation +les ai +ĠD orm +ĠÑģпиÑģ ка +Ġconcaten ated +oph il +Ġthink er +/font awesome +ĠLe opard +Ġ"/ ");Ċ +Ġresidual s +ĠMic rowave +Ġconform e +th rop +Ġdis emb +ĠO MG +ĠDisc ipline +ĠAc robat +/re pository +df a +_M ED +buf io +Ġméth ode +_H OLD +ias i +_ legacy +) ččĊ +æ£ Ģ +Get ProcAddress +Ġy ay +ot ence +order id +-t w +Ġdear ly +In coming +/ il +Ġneu rop +uc z +); čččĊ +ĠInnov ative +Ġprof und +ig mat +Selection Mode +re levant +.G O +Ġbru ises +Ġs ach +ode f +Ġre imb +/d esktop +-s pot +und ance +Ent ropy +\ core +Ġsug er +ĠM vc +ĠGN OME +_ind x +ĠYY STYPE +ĠMat lab +ĠC IF +Ġ* )) +Ġproduct List +ĠAl right +ac emark +ÑĤи в +mod ification +int ernational +Ġhom ers +Ġdict s +ĠQ Font +.SQL ite +Ġtransplant ation +ĠMessageBox Button +ĠEl ves +'] ])Ċ +(Q Icon +Ġcin emas +CO ORD +- China +Ġkh ẩu +æĪij çļĦ +Ġskull s +Ġpain staking +f ce +.XR Label +Ġspec ifier +Ġpref erring +/ activity +( Photo +á lt +.l ot +' '. +ann once +.google code +-p df +ĠP oke +_A CL +Ġend owed +dis cover +.om g +Ġwood land +.M agic +Ġvol ont +Not Allowed +Ġch ave +BM W +',' =', +ĠS IX +æĪij 们 +Ġkos her +Ġaspir ation +int l +_ref ptr +'+ Ċ +ment or +.cl ub +Window State +.A RR +Ġz za +Ġmessage Type +.e qu +Th or +Ġin just +Ġg ums +Ġborder Side +//// / +ĠTrans mit +Ġbuf size +Ġh ak +Ġell as +R ANDOM +ĉm c +Ġpe a +ek o +document o +Ġhyster ia +Ġaren as +Ġgun men +Ġm ike +Ġimp unity +atis ation +_Z ero +_COMP ANY +ĠG ors +Ġuse Class +( redis +ĠRUN NING +ĠB air +vel te +Ġ',' . +аÑĤÑĮ ÑģÑı +ö st +encode URIComponent +_re strict +Ġdec als +ĠPed ido +Ġalter cation +Dis plays +ĠApp licants +C US +Text area +ĠAng ola +.f uture +ĠUS HORT +Ġsuppress ing +Ġset zen +AP olynomial +Ġto ch +Ġhall mark +Ġ$ $$ +ĠCHAR SET +.r pm +ĠD ich +---------------- ---- +_p arm +è¿ ĺ +acc iones +h ait +WAR DED +_r outing +ĠN OM +Ġen clave +ĠLot to +ĉf r +complex Content +ĠBall ard +k ube +/w in +.getColumn Model +_RE PLACE +Header Value +Ġest udiantes +Ġap is +Ġb pm +ĠType Name +And Get +rit a +Pl ans +> Note +Ġfet isch +Ġton ed +_g oto +ons ense +Ġm olds +Ġinfiltr ation +ĠGuerr ero +ub bo +ck i +($ (". +_ activities +(ch anges +Ġof App +ĠKe pler +ĠD emp +ĠCont inent +.T icks +ĠUn signed +ĠJah res +Ġfresh men +ĠArch ived +ĠкоÑĤоÑĢ Ñĭй +Ġ' :: +T utorial +C c +Ġtable LayoutPanel +from Json +.level s +_trans ient +Ġendors ing +ĠD IC +la uf +Ġsh red +_E MIT +ific antly +AL A +/ proto +Ġnarrow ing +U tc +Fact ors +Ġsent ient +æŀ IJ +lix ir +ĠC ROSS +met eor +Ġgro in +Ġm db +ĠRot terdam +Ġcom ida +ĠOp Code +ĠDefault Value +Permissions Result +Ġheter ogeneous +Ġm oot +Ġde ceived +-in dependent +ĠObject OutputStream +Ġover power +.d up +Ġl db +Ġdomest ically +Ġbest ellen +Ġlo v +ĠContract ors +Tri angles +Ġfod der +Ġfilm es +ä¼ ģ +Ġrev olver +Startup Script +/ validation +ĠResource Type +i ÅŁ +ĠL az +f ef +Ġlst m +{ * +. attachment +.h its +ew ith +DO G +Al abama +Ġmedium s +.m Context +-c ols +åı ĭ +.not ice +Ġat tn +ĠP acking +ĠL n +_COM PLEX +/ Users +.sav etxt +ĠR ounds +?,?, ?,?, +Ġing l +ĠR OC +_f emale +ĠSt ard +]] ; +Ġwrest lers +Ġtorrent s +Ġsin h + ĊĊ +ë³ µ +s ense +how ever +.Ph ysics +Inf rastructure +ĠSac r +F el +ĠD ISTRIBUT +é ments +ĠValid ates +################################################ ############ +Ġ| / +Ġes l +Ġré seau +ĠB ip +BY TES +_W ATER +Turn ing +EL S +Ġj uxtap +Ġlesb ische +ý ch +( Unknown +Ne o +@ JsonProperty +Ġal umnos +ĠRaq qa +ime i +.get Bounds +.Mouse EventHandler +#### ### +Generic Type +/c ms +Ġturn o +Ġм ин +Ġfolk lore +ĠE vo +Ġconduct ivity +Ġle ben +Ġgear box +-v s +ĠÏ Ĩ +Ġdrink ers +Ġcon exao +ĠTe eth +Ġget Arguments +ĠR AT +ent ious +E duc ++ W +ĠInstitution al +ĠB ord +is Equal +(p wd +Ġign ited +ĠR ousse +Ġimpact ful +ĠM alk +Ġg eral +ĠP ivot +Ġa zt +Ġcsv file +ĠR ope +ĠSOL UTION +ĠArbit rary +Ġlet to +.Mouse Adapter +Ġ} }} +ĠSail or +der a +Put ting +Ġconcentr ates +Ġauth Domain +âĢĿ çļĦ +-f inals +, strlen +Mu on +ĠOrd inary +fire fox +ĠLa TeX +ĠH und +engine ering +/ blue +ed TextBox +(" "); +ĠC DDL +ke pt +ĠGet String +K ir +() =' +ĠO CD +ant ium +$ menu +ĠAppalach ian +Secret ary +ë¥ ĺ +ี ย +Sem antic +Ġ* [ +est one +ung kin +Max Y +-t one +"} ;čĊ +_P art +< Member +tr am +Ġtrans istor +Ġ---------------------------------------------------------------- ----------Ċ +ĠDes de +Ġright ful +ĠCorn el +æ ij +.H OUR +Ġsidel ined +ref errer +m aze +Ġhol ster +Ġcripp led +ĠDate Formatter +oph age +_m D +Ġdes elect +ra ud +ĠPK K +row Data +Ġlock smith +.res ponses +(product Id +_ST MT +Key Type +.Th en +z ee +Ġcr t +ĠGrand ma +@ Resource +Ġbit wise +-c mpr +ãĢĤ www +zeit ig +& display +Cart Item +- No +Ġnum éro +Ġm aur +Ġinst ancia +ĉd t +_n pc +Ġskate board +âĢľ All +ĠCrow d +Ġä n +Ġb raz +ca e +yn et +/p m +/s creen +OPT ARG +ĠV Box +Ġle opard +_g reater +c pt +< dd +Ġmechan ically +osp els +) f +.l wjgl +.get Port +ĠP REF +.Add Transient +pp ard +Ġí ļĮ +Ether net +Ġsal ine +(level s +Ġservice Provider +.A ngle +alt itude +illa ume +Ġs cape +_CAL C +_ quest +ĠDiss ertation +ĠE DM +-C ds +Ġhon orary +st ops +Ġsub dir +ĠV H +ĠChe at +Ġright fully +Q E +.Write Byte +fig ures +enn ie +( DBG +Ġvoks ne +Ġexp ended +UN ICATION +il inx +ĠRec ap +_ verts +Ġtra umat +Ġget Player +Ġverb ess +Ġcultiv ating +Ġiniti ator +Th ông +find First +_per ms +Ġbu c +Ġ""" čĊčĊ +T YPES +object Manager +(Configuration Manager +Ġtim id +Ġsnap chat +Ġcon seg +ĉd istance +_right s +_D es +ĠF lesh +- ver +Ġa fl +fra uen +Ġblas ph +ĠQual ität +ma f +Monitor ing +.D iff +Ġshore line +Ġresponse Body +mem set +< decimal +Smarty HeaderCode +Ġin sets +ĠBinary Tree +amed a +Ġn ihil +ĠN ay +ym ology +ĠW G +Ġt api +ĠInst alled +m aintenance +)} "Ċ +ĠX O +-per iod +s ar +Ġning una +ORM AT +.set PrototypeOf +ĠK b +ĠHen rik +ét ique +ĠLah ore +ĉ Address +Ġmel ts +N y +_adv ance +Ġveloc idad +Ġalum no +Ġsanit izer +Ġph ishing +ĠCom et +Ġch iar +ĉs pec +trim med +(state arr +on nen +Re venue +L ens +Ġcha ired +ĠAss umes +Tr ash +_un set +\ Bridge +Point Size +ĠPol ic +Ġsex uales +ĉd fs +ĠWide String +Ġaccru ed +Y W +_S CHEDULE +Ġk ite +Ġparach ute +[ table +Ġactive ClassName +.Qu ad +Israel i +ĠÅ ĵ +Ġho og +Ġch á»ī +ew ear +Ġtire lessly +set Error +.get Amount +.set Items +ĠM anson +ĠBay esian +_F lag +AC HER +/ original +Ġimm ac +ĠLos ing +' >ĊĊ +L ic +ĠMir age +ĠAssembly FileVersion +Te V +ĠValue EventListener +-s olving +Th o +rou lette +_W P +Ġunint errupted +Ġfield Type +.T yped +Ġam our +Ġmock ery +(v ol +ĠSub committee +ĠR uf +ero x +:UIButtonType Custom +ĠBl ur +Ġwy kon +nc es +ASH BOARD +!! ");Ċ +Ġmurder ers +.d aily +ĠDI AG +j ing +Ġdol phin +Ġl òng +Ġb ö +ĠV ocabulary +.St Object +') "> +Ġz un +Ġscrim mage +tr éal +ĠL ig +[ vi +C ole +Ġfrost ing +.Pl ayers +- translate +Fe els +=\" / +.Butter Knife +Ġ?> ;Ċ +Ġav i +inn ie +.F ailure +Ġsp indle +Configuration Exception +_h op +Ġpos ição +ĠA wait +UIImage PickerController +ĉ day +Ġgen om +C ab +ĠÑĢ езÑĥлÑĮÑĤаÑĤ +OR IGINAL +Ġejac ulation +(t cp +SE COND +Ġton ic +ĠList Box +Ġ ĉĉĊ +() >Ċ +Ġqu atre +ượ ng +with Errors +.M aybe +, âĢ¦ +token Id +_UN DEF +Ġfresh ness +ĠAmend ments +.map box +.C V +(b log +_get time +. quest +s parse +Ġres ale +Ġenthusi astically +ĠProstit utas +W a +C argo +.Parcel able +SENS OR +ĠRy u +La ughs +_N ative +/ pg +yst s +Ġphot oc +ç® Ģ +ado pt +.spec ies +conc iliation +Adjust ed +.Firebase Auth +ut tle +ord ination +Ġm unch +ĠSt ake +.p ing +ank er +(QString Literal +Ġsub script +ĠĠ ĉĊ +ĠM CC +_C md +se xy +i ou +ĠM ANY +Ġn anny +TR AIN +Ġflour ishing +ĠW atches +ĠQ Map +ĠF erm +Ġwas m +ĠA bed +_ UD +ĠGlass es ++ v +Att end +.Ch ain +Ġdec ency +ĠSupplement ary +h unter +-t xt +Ġ" }";Ċ +.set WindowTitle +(" +Ġmasc ara +( Profile +åĬŁ èĥ½ +imit é +Ġwild fires +- ROM +.is On +(group Id +Re pair +accum ulate +Ġ< ", +Ġhand written +Ġach eter +ĠM GM +ĠIr ma +->{ _ +ge e +cr iminal +Ġèĭ¥ è¦ģ +Ġmoment arily +") != +_l it +Ġexpires In +." ). +éķ¿ 度 +Ġfr ække +vl c +Ġor bs +), $ +Ġvent ured +/ >\ +char m +N uitka +eld ig +aton in +W itness +-l at +Ġset Hidden +Ġrelic s +Ġcons ulate +. IGNORE +" After +Ġset Address +Ġbeste ht +Ġ'' )ĊĊ +.x axis +Ġser ão +Ġmis led +_UN IFORM +ĠV IA +inc r +Ġzen ith +Ġvis cosity +Ġthin ly +.get SharedPreferences +.Error Code +"), " +ĠMillion en +Ġ/> )Ċ +Scroll Indicator +-se eking +ĠPOLIT ICO +as ca +_r l +N avig +(full file +Ġsol itude +Ġju ven +Ġhaul ing +ĠMac ros +ĠG ry +Ġexerc itation +ĠATT ACK +Tick Count +Ġr ites +Ġdo e +Particle System +Ġsl u +Window Text +ĠClass Name +Ġsl ander +ĉ Port +j ong +? a +.D ial +âĢĶ at +$obj PHPExcel +Ġso ar +EN N +appe ared +Ġquot id +em achine +Ġn ip +Ġmicro time +ĠAl ma +; ! +---------------------------------------------------------------- -------------------------------- +ĠPass age +Ġdump sters +ĠEx clude +Ġsuggest ive +ĠCircularProgress Indicator +_cl r +Array Type +ILL A +Elapsed Time +Dr iven +Ġresource Name +ĠG arrison +ser ir +-a head +Ġp innacle +ĠEs presso +S parse +Ġass ays +ĠGirl friend +im id +]=' \ +ONGL ONG +Ġportray ing +L ane +Ġb úsqueda +Ġrein forcements +ĠSpread sheet +ĠArray Collection +, arr +light box +ic ana +< " +build ers +K id +ĠMat SnackBar +EX PR +od cast +ĠFound ations +Ġind s +=' ${ +F izz +-function al +(work space +Ġstem med +_p atches +ĠJar vis +READ ING +Ġdisrespect ful +ĠQ Dom +Ġ$ {Ċ +est atus +Re ached +! .ĊĊ +IL T +ĠN DEBUG +ĠCour age +birth date +ĠT ing +Ġutil izado +án chez +Out door +Ġhand guns +Ref Count +É Ļ +rom o +Ġt ts +.S he +ĠP ane +ãĢij, ãĢIJ +ĠIO CTL +/ black +ins cription +Ġbi opsy +ĠTime Interval +.Test Check +ĠGUI Style +ĠCap ability +ĠBeit rag +don nees +T reatment +.back up +Ġsign ings +ĠB oca +dr m +.M AIN +Ġgo ede +ĠMark up +G REE +ĠBase Service +.C reator +Ġj ails +ĠK ahn +Ip Address +ACH I +Ġinhib ited +Ġ@ $_ +ĠAss ass +Ġenvi ado +Hero es +ÐŁ еÑĢ +ĠM aven +.l s +Ġ ive +| RF +Ġresize Mode +Ġrum pe +_attach ments +T U +Ġtact ile +Attempt ing +Ġro bin +y aw +Ġmerc enaries +ĠHab itat +end date +Ġo xy +ĉR andom +oh on +Is Null +ĠValidation Result +ãĥ ļ +um bed +pp v +Ġar p +ich ick +_r nn +ĠT FT +Tex Image +" On +ĠSam pler +top l +Ġj ane +y ling +ĠUN ICODE +Tab Index +< {Ċ +s uspend +uv ian +, application +ол иÑĩеÑģÑĤво +y at +ez ier +ĠCH UNK +ĠAd ler +/ Add +ĠKey Value +Ġspos ób +Sam pling +ch ers +_AM D +R u +.Must Compile +N ation +Ass oc +Man aging +ĠEng l +_G B +Ġsucc inct +Ġdis liked +ĠI ke +Bullet in +_ARCH IVE +Prop osal +Ġjog ging +.C REATED +Ġch ol +è£ ħ +Į ¨ +-p ush +Ġreserv a +core v +è tre +TH R +Ġincompet ence +Ġchar isma +æĦ Ł +Ġ" == +BT N +ĠLoc ator +iv et +('. ')Ċ +Ġfor IndexPath +ô me +Ġcapac it +w aters +ĠWR ONG +ho a +ĠM IPS +Ġem iss +ĠJacqu eline +(c mp +Ġe ens +Le o +.tim ing +CLUS ION +Ġ(" - +åĵ Ī +.k ode +ĠUnd ert +Ġbew ild +ĠEss en +.h d +Ġren egot +Ġm ower +Ġl sp +Ġpen chant +Ġman oe +Ġag li +Ġrec al +ĠOPER ATION +(^ )( +ĠÎ ½ +ĠSc oped +Ġ@ "Ċ += label +[ loc +Int l +ĠN z +table t +.Column Name +Ġscreen Size +DB us +co oked +- registration +âĢľ One +-n on +ĠwiÄĻ c +Ġcost a +.add Tab +. conditions +ĠH ess +MEM ORY +ĠAval anche +() }}Ċ +Ġtri plet +Ġl abyrinth +ĠNode List +ĠNY T +Ġy eni +d ff +.Html Controls +AV IS +/ Math +Ġmem cmp +Ø§Ø ¡ +оÑģ ÑĮ +c rap +(p ages +Ġl xml +ĠQ DateTime +_t cb +Ġopen id +Ġsyn aptic +ĠMD MA +(s lug +igm atic +en or +Ġcr amped +G OP +Ń IJ +.is File +ĠD ifferential +Ġ=" ";Ċ +ĉĉĉ ĠĠĠĠĉ +ĠC ooke +ĉU FUNCTION +Ġpersever ance +Relative Layout +IMPORT ANT +Ġex on +Ġо н +ib ase +(C ONT +n ovation +ä½ ķ +[ sub +Admin Controller +HTTP Header +cre ar +ĠN IR +ĠDrop DownList +Ġval ide +Ġde hydration +. '] +(W IN +Ġ... \ +Ġphotos hop +ĉ Init +_c ou +Ġtime Zone +dar win +rom atic +Navigation ItemSelectedListener +br ates +] --;Ċ +Ġtraged ies +ĠPed iatrics +SM ART +-A PI +ĠMessage Lookup +ĉ vo +Ġprejud ices +Ġm A +U ps +ĠMISS ING +ĉ ad +C ream +ĠT b +ĠMon a +_ ghost +ĉt ypes +Em b +ĠDocument ary +');ĊĊ ĊĊ +Ġl up +_ Reference +ĠB ATCH +Ġintertw ined +< Cell +ĠCab r +n ation +Ġis Connected +.remove Listener +Ġcon g +_t i +ĠSil icone +Ġê²° ê³¼ +ĠW AN +ĠG ibraltar +/ response +ĉp erson +ch ants +V IP +em ergency +Pixel Format +- Am +Ġsouth western +_pl l +if ers +_ON CE +ĠF ayette +.nc bi +_P anel +.Q ual +Ġpol ys +Ġcreate StackNavigator +� t +Ġlay offs +ĠBl anco +Fe at +ĠV imeo +_ch i +_l ifetime +POINT S +, private +Ġunb earable +print ing +Ġc gi +.B ACK +Ġintern s +ĠNew ly +inf eld +( IB +ĠK ata +ĠDef endants +Th r +é¢ Ħ +_V F +FFFF FFFF +Ġdavid jl +Ġbitter ly +S uggestions +.set Cancelable +FIN AL +ason s +_rw lock +_WRAP PER +Ġhapp iest +(row Index +ós ito +TOT YPE +Autom ation +Log File +Ġcons olation +ãĥ Ģ +Ġt êm +Ġpr er +rg yz +ĠG eg +ĉd to +.default Value +ĠK ami +ĠA SE +optim ized +Ġíı ¬ +Ġorigin ates +err Msg +Ġespa ço +(S YS +ĠMc B +d ance +_det ected +Ġfr ü +ĉĉ ĠĠĠĠĉĉ +< Date +(com b +ĠDec ide +\ Field +ĠProp osed +R ib +Ġdis likes +ĠW ien +ĉ Document +Ġtr af +Ġst oria +ĠT ells +') == +C ri +( VALUE +ĠBurn ett +, void +Ġdan h +Ġc cp +Block chain +:"- "`Ċ +IC lient +IS ODE +Iss uer +) }čĊ +, but +ĠU ph +( Sub +Ġtélé phone +ĠonData Change +Ġmarsh aller +-an alytics +, content +Ġdeb acle +_Value Changed +Ġfa una +Ġ# => +Ġf oyer +'util isation +ĠMü ller +ĠFet ish +Ġdefault Manager +Ġback track +B ah +Exp licit +_A SCII +Ġm Activity +(M sg +Ġê² Į +ĠTER MS +ĠAng ie +HS V +ĠMos que +.N ames +íĬ ¼ +rest e +_p arms +Ġgap ing +Ġcro pping +Data Frame +Ġrespons iveness +_ undo +_tr an +. terminate +Ġitalian e +Ġwalk through +Ġattract iveness +д е +_ST S +_ learn +Ġchocol ates +ier archical +-th inking +Ġ ))) +ish ments +.Log f +ĠTM Z +ĠCan ary +fo il +ĠVacc ine +.v x +ĠSur round +Inter mediate +Ġi ov +v ais +'; ";Ċ +ï½ŀ ĊĊ +éĢģ æĸĻ +âĢ¦ it +Se ats +Cl ar +W ars +ĠHutch inson +ĠHas an +! ')ĊĊ +ĠRich ie +che iden +($ (' +Y ork +Ġl ids +Ġal phanumeric +ĠG lock +.sh apes +Ġspark ing +_ epsilon +uplic ated +.dir ty +]) == +ĠìľĦ ì¹ĺ +Ġsc n +Ġ/ **************************************************************** +_PRE VIEW +_H C +ield ing +f gets +ĠAdd ison +Ġproduct Service +- figure +(ret val +z ano +Ġaut ob +ĉs d +_n umer +ĠSet LastError +ĠF ior +ific ance +Unt itled +Ġin field +Ġ{} ));Ċ +Ġsp ac +Ġro okies +(des cribing +ng en +ி à® +.r df +.M utex +Ġkne eling +ĠQ E +set Max +Read Stream +Ġvent as +s ut +cm peq +.WriteAll Text +ĠEx perienced +$ __ +Ġka um +ĠL IS +Ġdocument os +_HE ALTH +icont ains +Ġart isans +OWN ER +Ġblink ed +get Display +Ġto en +Ġrow Num +Ġav ril +Ġinv is +ĠK ear +toBe InTheDocument +ap ur +Ġr acked +ĠMc Master +_ATTR IB +H az +Ġfact ura +/ ts +ĠÑĢаз меÑĢ +Ġz f +Ġshort fall +.f asta +ĠCONST ANT +.man aged +g ems +Shared Pointer +Ġblur ry +b rightness +( components +Ġ... "ĊĊ +SE LL +ĠIllustr ator +.get Channel +Ġtrou vé +yst ers +Ġvo is +ĠLind en +Ġem ojis +Ġb rawl +ĠMS R +ĠE lo +ĠCroat ian +Popup Menu +L ewis +.J WT +Ġaston ished +B ush +(item Id +Ġdet achment +ĠEnc ore +å° Ķ +Ġre kl +Ġcr am +)$ / +.get Host +_re commend +- HT +_cal ibration +Auth enticate +.firebase app +UN IX +ĉC amera +ĠHE AP +I deal +. office +Ġgoof y +(S ymbol +Ġjou er +_part itions +Ġrapid ement +ĠGN UNET +id User +Ġsuperv ise +( Contact +AW N +ãģ ĺ +Ġna am +Ġa ust +åľ¨ 线 +_soft max +Allow Anonymous +amm able +RO UTE +* D +Ġad en +ĠCrist ina +ĠCrist iano +Ġblood stream +sub class +_person a +CH ILD +-k now +Ġnavigation Options +ĠZuk unft +ĠPix ar +Ty ler +Ġunder world +Ġsincer ity +Ġdispens er +Ġk ter +idd ers +.add Node +- checked +Ġke yst +ĠW TO +.sign als +Ġadvent urer +ĠP ang +\ R += pos +Ġdispens aries +ĠClo set +("{ \" +ide on +Ġnécess aire +() "Ċ +_RECE IVED +Ġrésult ats +Ġmod en +ĠIceland ic +; d +. allowed +(new User +Ġmerc iless +.Wait For +Ġday care +ĠCon veyor +нÑĭ м +ĠÑģв о +ĠÐ Ľ +Ñģ ÑĮ +Ġг од +Ġг ода +и ли +а Ñħ +ог да +Ġв о +Ñģк ой +Ġн о +Ñģк ого +ĠбÑĭ л +Ġж е +ен но +Ñĭ м +Ñģки й +ĠбÑĭ ло +п ÑĢ +иÑĩеÑģ к +ĠÑģ ов +Ġи Ñħ +а ÑİÑĤ +Ġг оÑĢ +Ġгод Ñĥ +ел ов +л е +ĠÐ § +м Ñĥ +ов оÑĢ +ĠÐŁ о +иÑĩеÑģ ки +аÑģ ÑĮ +ÑģÑĤв о +Ñī е +ĠÑĥ Ñĩ +ĠÐĿ а +ÑĢ е +ĠÑĩ елов +ĠÑģ об +ÑģÑĤв ен +д Ñĥ +ĠÐ ¯ +Ñĥ л +ÑĢ о +оÑģ Ñģ +ĠÐ ¥ +з а +Ñĥ Ñħ +ка Ñı +Ġб ол +Ġо ни +ĠÐĿ о +ĠбÑĭ ли +ÑĢ од +ĠÑĩелов ек +ĠпÑĢ ин +и Ñİ +ÑĢ Ñı +ÑĢаРº +Ñģки Ñħ +е ÑĨ +ĠÑģ еб +Ñĩ еÑģ +н ей +Ġм еÑģÑĤ +им и +Ġм ог +в лÑı +н ак +оÑĤ ив +ÑģÑĤ Ñĥп +ÑĢаР¶ +ĠÑĩ ем +Ñĥ ÑĪ +н им +Ġи Ñģ +Ġа ÑĢ +Ġн ад +ĠÑĤак же +Ġоб Ñī +Ġоб ÑĢаз +Ġк огда +ĠÑĤ ем +п еÑĢ +ĠбÑĭ ла +ĠÑĢ е +оÑĢ о +Ġк ÑĢ +к ой +ĠкоÑĤоÑĢ Ñĭе +Ġи ÑģÑĤ +нÑĭ ми +ĠÑĤ ого +Ñı н +Ġж из +ĠоÑģ нов +Ġе е +ĠпеÑĢ е +Ġн и +Ġв ой +ĠÑĤ ом +ол ог +ĠÑįÑĤ ом +Ġд е +ĠÑģ ÑĢед +ани и +Ġбол ее +ÑĢÑĥ д +Ġл еÑĤ +ĠÐł оÑģÑģ +ĠпÑĢо из +ĠÑĩ а +Ñĭв а +Ġна Ñģ +Ġо на +Ġе Ñīе +еж дÑĥ +ĠлÑİ Ð´ +ĠпоÑģл е +ÑģÑĤÑĢ о +г ÑĢ +ем Ñĥ +ĠÑģоÑģÑĤ ав +ĠÐ ¨ +ÑģÑĤ оÑı +ÑİÑĤ ÑģÑı +ÑĢÑĥ ж +п ол +и б +Ñĥ з +Ġп л +ÑĢаР´ +ÑĪи Ñħ +ĠÑį ÑĤи +ĠÑįÑĤ ого +к ом +ĠболÑĮ ÑĪ +ĠпÑĢ оÑĤив +ĠоÑĤ но +еÑĤ ÑĮ +Ġг овоÑĢ +Ġо ÑĢг +ĠлÑİ Ð± +еÑĤ а +ĠÐŁ ÑĢи +ĠÑĤ Ñĭ +ал о +Ġм н +ĠпÑĢед ÑģÑĤав +аж е +иÑģ ÑĮ +ĠТ ак +ĠÑı влÑı +ĠпÑĢ оÑģÑĤ +и ж +ĠÑģ м +ни е +ив а +Ġг де +Ġн аз +оÑģ Ñĥд +Ñĭ ÑĪ +ĠÐŀ н +Ġв з +Ġд ейÑģÑĤв +иÑĤелÑĮ но +ел ей +ил ÑģÑı +Ñı в +Ġпо Ñģ +ÑĨ Ñĭ +ĠÑĢ аÑģÑģ +ени Ñİ +ли ÑģÑĮ +Ġо ÑģÑĤ +Ġп он +Ñģ каÑı +ĠвÑĭ Ñģ +в аÑĢ +к ÑĢ +ани з +ĠÐĿ е +оÑģÑĥд аÑĢ +ÑĨ е +Ñĭ ÑĤ +Ñı ÑĤи +Ġв оÑģ +Ġм еждÑĥ +ан ÑĤ +Ñij н +ĠÐŃ ÑĤо +ал ÑģÑı +Ñı Ñī +и ÑĢа +Ġг л +Ġмен Ñı +алÑĮ но +Ñģки е +н Ñĥ +Ñģк ом +ĠÑģÑĤÑĢ ан +ĠÑģв Ñıз +л еÑĤ +ĠÑĤ е +в оÑĢ +в ÑĪ +оÑĤ ов +Ġн ем +Ġна ÑĪ +Ġд аже +м еÑģÑĤ +ĠÑħ оÑĤ +Ġг лав +ĠÑģ каз +ĠоÑĩ енÑĮ +ан ов +ĠпÑĢ ив +Ñģ е +Ġим е +д ен +в еÑģÑĤ +ĠÑĩ аÑģÑĤ +ÑĪ ÑĮ +Ġв н +ÑĪи й +ĠÑĥ д +ÑĤ елÑĮ +ĠÑģеб Ñı +Ġне Ñģк +Ñģл ед +еÑģ п +Ġе мÑĥ +ов ал +ĠиÑģÑĤ оÑĢ +Ġз д +Ġн ик +оÑģ об +Ġвоз мож +и ÑĢÑĥ +Ġм не +Ġн иÑħ +ĠÑĢаз в +и ÑĨи +Ġпо Ñĩ +нак о +Ġод ин +Ġд ом +ĠÑĤ еÑħ +в о +Ġп оп +ĠÑĢ еÑĪ +Ñį ÑĤ +Ġз ам +еÑĢ и +ÑĮ Ñı +ĠÐĹ Ð° +ла ÑģÑĤи +б о +л ÑģÑı +м ан +ÑĢа ÑĦ +ÑĢ ом +ĠÐŀ д +и нÑĭ +ник ов +г а +ÑĢ иÑĤ +ĠÐIJ н +г и +ĠÑģ Ñĥд +оÑĢ он +ÑĢ он +ĠÐļ ак +л екÑģ +б Ñĭ +ÑĢ аÑģ +ĠÑĤ еÑĢ +иÑĤÑĮ ÑģÑı +Ġком анд +ĠÐ ¦ +и ки +ед ин +Ġна Ñħод +Ñı м +ĠгоÑĢ од +и он +л ов +ĠÐŁ еÑĢ +Ġв оп +б оÑĢ +ĠоÑĢг аниз +ÑĩеÑģ ки +н ее +Ġм ного +ли н +оÑĢ ÑĤ +в Ñĭ +ĠÑĢаР¹ +ĠÑģ дел +ож д +ĠÐŁ оÑģ +ĠÑģ ил +Ġж ив +ĠÑģÑĤ аÑĢ +ÑĪи е +ĠÑĢ од +Ñij ÑĤ +м еÑĤ +ĠвÑģ его +п о +и ла +Ġм ол +ĠÐłÐ¾ÑģÑģ ии +ан а +ĠÑģ ÑĥÑīеÑģÑĤв +еÑĢ ÑĪ +Ġжиз ни +Ġв од +Ġн ед +ов аниÑı +ÑĨ ев +С С +ĠС ÑĤ +ĠпÑĢо ÑĨ +ÑĢ ен +Ñĭ ми +з Ñĭ +к ол +ÑĢ оп +ов ан +ĠÑĩеÑĢ ез +ĠÑįÑĤ ой +Ġг оÑģÑĥдаÑĢ +ĠÑĢ ÑĥÑģ +ĠоÑģ об +еÑģÑĤв а +Ġвоп ÑĢоÑģ +и ÑĨ +в ид +ĠÑģ ем +Ġд енÑĮ +ĠпÑĢи з +ĠÑįÑĤ оÑĤ +Ġд еÑĤ +Ġг ÑĢÑĥпп +н ÑĮ +Ġп ок +еÑģÑĤв ен +Ġн ек +д еÑĢж +ĠÑĥÑĩ аÑģÑĤ +ĠÑģоÑģÑĤ оÑı +Ñĭв аеÑĤ +ен еÑĢ +Ñħод иÑĤ +Ñĩ а +ĠÑıвлÑı еÑĤÑģÑı +г оÑĢ +ĠÑĢ Ñĥк +Ġн его +она лÑĮ +Ñĥ в +Ñı Ñģ +Ġа н +ĠоÑĤно ÑĪ +ĠÑģп оÑģоб +ли з +ĠÑģво ей +д о +Ġо каз +иÑĩеÑģк ой +ĠнеÑģк олÑĮко +ĠÐ ĸ +ĠÑĢ ек +ĠнаÑĩ ал +Ġз на +о ÑĦ +Ġм о +Ġж ен +Ġн еп +ĠÐľ оÑģ +Ð ¨ +ел а +Ġв ÑĤоÑĢ +б ÑĢÑı +л аÑģ +ни Ñı +али ÑģÑĮ +ĠкоÑĤоÑĢ ÑĭÑħ +л оÑģÑĮ +ÑĤÑĮ ÑģÑı +и Ñī +ÑĢ еÑĤ +ÑĨ ен +ли в +Ġз ем +Ġн ам +ел о +ни й +н Ñĥл +Ġм оÑĢ +Ñģк им +или ÑģÑĮ +Ġд ол +он ом +ĠÑģеб е +Ġпом оÑī +Ġк ÑĤо +ĠÑģлÑĥÑĩ а +ĠболÑĮ ÑĪе +ĠÑģ ÑĩиÑĤ +Ġз в +в аÑĤ +еÑĤ Ñĭ +ÑĢ еб +ов аÑĤÑĮ +Ġм иÑĢ +ĠпÑĢ е +ĠÑĢ ан +д и +Ġз аÑĤ +Ñĭ Ñĩ +ĠÐĶ ж +еÑĢ ÑĮ +н еÑģ +ĠÐŀ ÑĤ +Ġк ни +л аÑģÑĮ +Ġне обÑħодим +ĠÑ İ +ов а +Ġж ел +он Ñĩ +ĠÐ ® +л ед +Ñĥб ли +Ġли ÑĪÑĮ +ĠпÑĢ об +мен но +Ġпол иÑĤ +ĠÑĥ б +п ÑĢи +Ġл ÑĥÑĩ +ев еÑĢ +ĠÑģÑĤ ал +ĠÐĺ з +Ġд ÑĢ +еÑĢ г +м ин +ÑģÑĤ а +аÑĤелÑĮ но +иÑĩеÑģки Ñħ +Ñı ж +кÑĥ Ñģ +еÑĢ ев +Ġмн ог +Ġиз веÑģÑĤ +ез д +Ġп оказ +Ġи Ñİ +еÑĢ ÑĤ +Ġм аÑĢ +Ġк аÑĢ +ов ой +м Ñĭ +ĠÑĢ Ñĥ +Ġнек оÑĤоÑĢ +ĠÑĥ ÑĤ +ĠпÑĢоÑģÑĤ о +ĠкоÑĤоÑĢ аÑı +ĠÐIJ лекÑģ +ĠÑģов еÑĤ +ĠвÑĢем ени +ки й +ки Ñħ +Ñı л +ĠÑı зÑĭ +ен нÑĭÑħ +в ин +л аг +ĠÐŁÐ¾Ñģ ле +ĠÑĩеловек а +м аÑĤ +ĠÑĤ ÑĢи +ĠÑģл Ñĥж +о ÑĪ +ÑĥÑİ ÑĤ +ĠÑĥ п +к ÑĢа +а ÑĢак +л екÑĤ +ĠÑĨ енÑĤ +ал оÑģÑĮ +е ÑĨи +ĠÑģво Ñİ +Ġк аÑĩ +Ġв ÑģÑĤÑĢ +ĠÑħ оÑĢо +Ñĩ ик +Ġм ед +ĠÑĩа ÑģÑĤÑĮ +ĠкоÑĤоÑĢ ой +Ġв ед +ĠÑĤ ам +к ого +Ñģк ое +ĠлÑİд ей +ĠдÑĢÑĥг иÑħ +г лÑı +ĠÑĢазв иÑĤ +Ġоб лаÑģÑĤи +ĠÑģ Ñĭ +Ġп иÑģ +аÑĢак ÑĤеÑĢ +ек а +ин е +Ġп об +Ġв меÑģÑĤ +ĠпÑĢ иÑĩ +ÑĢ имеÑĢ +ĠÑģво иÑħ +Ġдв а +ани й +ÑıÑĤ елÑĮ +Ñĩ ин +ĠÑĢаР´ +Ġд еÑĢев +ĠÑĪ ÑĤ +еп еÑĢÑĮ +Ñij м +ÑĢ ал +оÑĤ веÑĤ +ĠпÑĢоиз вод +б а +ĠÐĴ о +а ÑİÑī +но Ñģ +но ÑģÑĤ +ĠÑĩа ÑģÑĤи +ĠÐŀд нако +Ġнап ÑĢав +ĠобÑĢаз ом +к в +аÑĢ и +Ġм Ñĥж +ов од +еÑģÑĤв е +ни Ñħ +ĠÑģв ой +ĠÑĤ ÑĢÑĥд +д ан +ег да +ÑįÑĤ омÑĥ +иÑĩеÑģк ого +оÑĩ но +Ġмог ÑĥÑĤ +иÑģ Ñģ +ĠоÑĤ кÑĢÑĭ +Ġоп ÑĢедел +он е +Ġбл аг +Ġв ели +оÑĢо нÑĭ +ĠÑģп еÑĨи +ноÑģÑĤÑĮ Ñİ +ĠÑģов еÑĢÑĪ +ни и +г оÑĤов +ени ем +о Ñİ +ка Ñħ +Ġг ол +Ġп оз +ĠÑĦ ак +Ñĭв ал +ÑĮ е +ĠÐĶ лÑı +Ġпол ож +ĠÑĥ ÑģÑĤанов +ÑĢÑĥ п +ĠÑģÑĤ ол +ĠпÑĢо иÑģ +иÑĢов ан +ĠÑĢаз лиÑĩ +оÑĤвеÑĤ ÑģÑĤв +Ñģ а +ин г +л он +еÑĩ но +н омÑĥ +ĠÑįÑĤи Ñħ +л ей +ĠмаÑĤ еÑĢи +ĠÑģлÑĥÑĩа е +ĠпÑĢод олж +ĠпÑĢоÑĨ еÑģÑģ +и ÑĪ +Ñij ÑĢ +на л +ож е +п од +ог лаÑģ +еÑĢ Ñħ +ÑĢ Ñıд +Ġл ег +обÑĢаР· +ĠÑģво его +Ñij л +Ġз аб +Ġна ÑĢод +ĠÑħ аÑĢакÑĤеÑĢ +ĠÐĵ еÑĢ +ĠпÑĢ им +ĠÑĤÑĢ еб +д ж +ĠÐIJ ÑĢ +ĠÐķ в +Ñĩ аÑģ +ĠÐĿ ик +ĠС ов +ĠÑĥÑģл ов +ÑĤ Ñı +иÑĤ Ñĥ +ни Ñĩ +лÑı еÑĤ +ни ки +ĠÑģоб ÑģÑĤвен +Ġв п +ĠÐļ он +Ġп озв +ĠинÑĤеÑĢ еÑģ +ĠпÑĢоб лем +ĠÑģлед ÑĥÑİÑī +ÑĦ еÑĢ +Ġдв ÑĥÑħ +ов ание +о ев +ĠÑĤ оÑĤ +ÑģÑĤв е +пол ож +Ġде ÑıÑĤелÑĮ +Ġвой нÑĭ +ĠвÑĭÑģ ок +н ем +ол о +об од +ĠÑħоÑĢо ÑĪ +Ġз н +СС Ðł +еÑĪ ÑĮ +ĠÐŁÑĢ о +ĠÑģво и +ол Ñİ +ÑĤ ак +Ġо гÑĢ +Ġвн ÑĥÑĤ +ĠÑĥ пÑĢав +иÑĤ елей +ĠÐĺ н +Ġн иÑĩ +Ġо ÑģÑĤав +Ġи д +в ан +ĠÐĴ Ñģе +ĠÐľ аÑĢ +олÑĮ ÑĪ +Ġдв иж +ĠпÑĢ иÑģ +Ġе Ñij +ĠÑĢ Ñĭ +Ñģ ов +Ġд оÑĢ +иÑĤ еÑĢ +ек ÑĤив +Ñĭв аÑİÑĤ +ĠвÑģ егда +ÑĢÑĥ ÑĪ +Ġм еÑĢ +Ġн еб +ĠпеÑĢ и +ĠÑģо оÑĤвеÑĤÑģÑĤв +Ñģ и +ĠÐľ Ñĭ +к оÑĢ +ĠоÑĤ д +оÑĢ ов +Ġпо ÑģÑĤ +Ġк ÑĥлÑĮÑĤ +ĠпоÑĤ омÑĥ +н ев +Ġб оÑĢ +Ġд ав +ĠвÑģ ем +ил аÑģÑĮ +ĠÑĤ огда +н Ñİ +ÑĢ ез +ĠÑĩ Ñĥв +Ġз ани +ог ÑĢаÑĦ +Ġг олов +ĠмеÑģÑĤ о +ĠÑĢаÑģÑģ каз +ÑĤ ов +Ñĥ ÑĢÑĭ +ÑĨи п +Ñĩ ен +Ġв аж +Ġм ом +Ġв оÑĤ +ĠÑĩ аÑģ +ĠкоÑĤоÑĢ ого +ĠÑįк Ñģп +Ġзд еÑģÑĮ +и ло +л еÑĢ +оÑĢ г +Ñģ ко +ĠпÑĢо ÑĪ +ĠÑģÑĤ оÑĢон +ин Ñĥ +п ÑĥÑģ +ÑĢаР³ +Ġл иÑĩ +Ġм Ñĥз +ĠÑĢ Ñıд +ик ан +н ÑĥÑĤÑĮ +Ñģк ÑĥÑİ +ĠпаÑĢ ÑĤи +Ñĥ лÑı +ÑĥÑĢ г +н его +ÑĪ его +Ġво ен +ÑĢиÑĤ оÑĢ +ĠгоÑĢ ода +м е +ĠÑĥ в +еÑĤ е +веÑĢ ж +ĠнÑĥж но +ĠпÑĢ имеÑĢ +ÑĢаР± +Ġг еÑĢ +ил оÑģÑĮ +Ñĭв аÑĤÑĮ +алÑĮ нÑĭÑħ +ĠаÑĢ м +ĠÑģÑĤ о +ĠÑĨ ел +ез ид +Ġв озд +Ġн азв +ĠÑĥ ÑĢов +ĠÑģÑĤ аÑĤÑĮ +ĠÑĢÑĥк овод +Ш ÐIJ +им о +ÑģÑı Ñĩ +Ġн ей +ĠÑģ илÑĮ +ĠоÑĤ лиÑĩ +ĠÑģоб ой +Ñĥд а +ĠÐŁ еÑĤ +ÑĢем ен +ĠиÑģ Ñģлед +Ñĩ е +Ġд об +Ġи де +Ġп ог +ÑİÑī иÑħ +ĠС Ð¡Ð¡Ðł +ĠÑģ меÑĢ +пÑĢ о +Ġе дин +Ġжен Ñī +ĠÐļ огда +Ð ¥ +ÑĢ ок +Ġн аб +ĠÑħ од +ĠкÑĢ аÑģ +Ġм иÑĢа +Ġав ÑĤоÑĢ +ĠвÑģÑĤÑĢ еÑĩ +ĠвÑĭ ÑģÑĤÑĥп +Ñı Ñħ +л оÑĤ +Ġк ам +аÑĨи Ñİ +ĠÑĪ кол +Ġод ной +Ġи менно +д Ñĭ +л ом +ĠÑģо ÑĨи +еÑĩ ение +ÑĤи ÑĩеÑģки +Ġг ÑĢ +Ġп Ñĥ +ĠÑħоÑĤ Ñı +ÑģÑĤв енно +ÑĦ ÑĦ +ĠÑĥ з +Ñı ÑģÑĮ +ĠÐŀ ни +ĠС ШÐIJ +ĠпÑĢо екÑĤ +ев а +Ġб еÑĢ +Ġм еÑĤ +Ġн им +ов ÑĭÑħ +Ġпо Ñıв +ÑģÑĤоÑı Ñī +ĠÑģказ ал +ÑĪ а +ĠÑĥ г +к он +ей ÑĩаÑģ +алÑĮ ной +алÑĮ ного +ĠÑģÑĤ оÑĢонÑĭ +Ġоб ÑĭÑĩ +ĠпоÑĩ ÑĤи +ĠвмеÑģÑĤ е +ĠÐĶ а +Ġо ÑĦ +Ġгл аз +Ġпл ан +Ġжиз нÑĮ +ĠÑĤак ой +и ем +ли Ñı +оÑĢ а +ĠÐļ аÑĢ +Ġз аÑı +ÑĥÑĤ ÑģÑĤв +Ġзак он +еÑĢ ед +Ġп ло +ĠлÑİд и +Ġпон им +ĠÑĤÑĭ ÑģÑıÑĩ +Ġпод деÑĢж +ÑİÑī ие +иÑĤ елÑı +ĠзаÑĤ ем +Ġок оло +м о +ÑĪ ен +Ġб еÑģ +ĠÑģ оÑĤ +ол ее +п ион +ĠÑĩ лен +Ñĩ ив +Ġв еÑī +аÑĤ ив +Ġв ним +ов олÑĮ +Ġиме еÑĤ +ĠÑĤеÑĢ ÑĢиÑĤоÑĢ +оз Ñı +Ñģ иÑħ +ÑĪ ей +Ġз ан +ĠÑĢаР² +Ġнад о +ĠпÑĢи ÑĪ +Ġдолж нÑĭ +ÑģÑı ÑĤ +ĠÐŁ од +Ġд ек +ев иÑĩ +ÑĨи он +Ġп ÑĢак +ĠÑĥ лиÑĨ +ĠдоÑĢ ог +Ġдолж ен +Ġв ол +Ġг аз +ĠÑĢ ег +Ġг оÑĤов +ĠпоÑĤ ом +ĠдÑĢÑĥг ие +Ġд и +еÑĢ б +Ġза Ñī +ÑĢ аÑĤÑĮ +Ġвид е +иÑĢов аÑĤÑĮ +п а +Ñģ о +Ġо з +Ġо ÑĢ +в ал +Ġк ап +ег од +ĠÑģк оÑĢ +ĠÑģÑĤ ан +Ġмол од +Ġмом енÑĤ +ĠниÑĩ его +ĠпеÑĢи од +ĠÐŀ Ñģ +Ġб ог +Ġв ÑģÑı +ак он +Ġв еÑģÑĮ +Ġин ÑģÑĤ +Ġк ÑĢÑĥп +Ġна ÑĥÑĩ +Ġод но +ĠÑĩ его +иÑĩеÑģки е +ĠÑĤ еб +глÑı д +Ġоб Ñıз +г овоÑĢ +Ġв клÑİÑĩ +ĠиÑģ кÑĥÑģ +ĠÑįк оном +б Ñĥд +и но +Ġд ÑĥÑħ +Ġли ÑĨ +аÑĤ ÑĥÑĢ +ла ÑģÑĤ +ÑıÑĤ ÑģÑı +Ġкон ÑĨ +ĠпеÑĢ ев +Ġзак лÑİÑĩ +ки е +Ñģ он +ĠÑĢаР± +г ÑĥÑģÑĤ +е ÑģÑĤÑĮ +ĠдÑĢÑĥг ой +г ли +д ав +ĠЧ ÑĤо +Ġд ал +ĠÑĢ Ñĥб +ĠÑĤ оже +ĠÑĦ илÑĮ +Ġг енеÑĢ +меÑĢ икан +л еж +ÑĢа Ñħ +Ġне Ñģ +веÑĢ Ñģ +ĠÑĨ веÑĤ +иÑĤ а +Ñı ми +Ġм ал +Ġп ока +аÑĨи он +Ġпод об +ĠÑĤ епеÑĢÑĮ +ан Ñĭ +ен д +к им +ĠÑħ Ñĥд +ĠÑĨ еÑĢ +ел ем +ал аÑģÑĮ +Ġак ÑĤив +б Ñĥ +Ñģ еÑĢ +ÑĪи л +Ġд алÑĮ +ĠÑģам о +ĠÑģв ое +ĠнаÑĩ ина +ĠпÑĢим ен +ĠкоÑĤоÑĢ ое +ĠкаÑĩ еÑģÑĤве +Ñī Ñij +Ġе в +б еÑĢ +лÑİ Ð´ +Ġв аÑģ +ĠзаÑı в +Ġзани м +ĠнаÑģ ел +е ÑģÑı +оз н +Ġв ам +Ġн ев +оÑģÑģ ий +Ġнап иÑģ +Ġник ак +Ġод ного +г е +Ġд ев +Ġд Ñĥм +ÑĢан ÑĨ +Ġдел о +ĠпÑĢ оÑģ +нак ом +ÑģÑĤв ом +Ġав ÑĤом +Ġзад аÑĩ +алÑĮ нÑĭе +ĠÑģÑĤ анов +иÑĩеÑģки й +б и +Ñģ ем +ÑĤ он +ов Ñĭе +ĠÑģ боÑĢ +аÑİÑĤ ÑģÑı +ĠпÑĢав иÑĤелÑĮ +ÑĤ ен +к лад +оÑĢ оÑĤ +ĠпÑĢ ев +Ġоб еÑģп +ĠÑģвÑıз и +ĠÑĩаÑģÑĤ о +ÑĨи оналÑĮ +а Ñİ +ок о +п ад +Ġк аз +ĠÐŁÐµÑĢ в +Ġм аÑģÑģ +алÑĮ нÑĭй +аÑĤ оÑĩно +ĠÐŀ на +Ġд оп +к ами +ÑİÑī ий +ĠÑģл ож +ĠÑģÑĤÑĢ о +ÑģÑĤоÑı н +ĠбÑĥд ÑĥÑĤ +Ġмен ее +ни веÑĢÑģ +Ġод нако +Ñĭв аеÑĤÑģÑı +ĠиÑģÑĤоÑĢ ии +л ег +иÑĤ еÑĤ +ĠпÑĢ Ñıм +иÑĤе ли +Ġим пеÑĢ +Ġкон ÑĨе +Ġл иÑĤеÑĢ +л Ñĭ +ĠÑĢ ез +ив ал +ÑģÑĤв Ñĥ +Ġм еÑģÑı +ĠпÑĢ оÑĤ +Ġпоб ед +ĠпÑĢед лож +ĠÐĶ о +ÑĢаР¹ +ĠÑĢ еж +ĠÑĦ из +ед еÑĢ +оÑĢ Ñĥж +ĠÑģв еÑĤ +ен нÑĭе +олÑĮ кÑĥ +ĠÑģÑĢед и +ĠÑį лекÑĤ +ÑĢ ÑĮ +Ġм а +аÑĤ и +и ей +из м +Ġгл Ñĥб +ĠÑĩ еÑĤÑĭ +ани ем +ĠÑģам ол +Ġа меÑĢикан +л Ñĥ +Ñį н +Ġа д +ĠС ам +Ġп ÑĥÑĤ +и ÑĨии +ĠÑģ оглаÑģ +ĠоÑģоб енно +аÑĢ Ñı +ÑĮ еÑĢ +ĠаÑĢ Ñħ +Ñħ ваÑĤ +Ġгод Ñĭ +ĠÑģÑĤ еп +аÑĤ елÑı +екÑĤ оÑĢ +Ġок онÑĩ +егод нÑı +ĠÑģв обод +ĠÑĢаÑģ полож +ĠÑı в +ли к +ÑĢ еж +ап ад +еÑĩ еÑģ +Ġв ека +ĠÑĤ омÑĥ +ĠоÑĤ дел +Ġнап ÑĢимеÑĢ +ĠÑĢаз ÑĢабоÑĤ +з Ñı +н ÑĥÑĤ +Ñĥ лÑĮ +ĠÐļ оÑĢ +нов а +ÑĢаз Ñĥ +ĠÐĴ ели +на ÑĢод +ĠÑģÑĤ али +ĠпÑĢов од +б е +ĠÑĪ иÑĢ +обÑī е +ÑıÑĤи Ñı +пÑĢ оÑģÑĤ +ĠÐķв ÑĢоп +ан о +н еÑĤ +оÑĩ ÑĮ +Ġм ил +ĠÑĤ ÑĥÑĤ +ĠÑįÑĤ им +ĠоÑĤд елÑĮ +ĠÑĢ оÑģÑģий +Ġна ÑģÑĤоÑıÑī +ĠС о +ĠÑį н +ан к +ĠÑįÑĤ Ñĥ +ÑĢа ÑģÑĤ +Ñı влÑı +ов ого +ок ÑĢаÑĤ +ом ина +ĠкоÑĤоÑĢ ом +в е +Ġк м +ĠÑĥ м +ни ÑĨ +п он +Ñī ик +ĠÐĴ лад +Ġг ÑĢаж +ив аеÑĤ +Ġкак ой +ĠÑħÑĥд ож +Ġназ наÑĩ +Ġпо ÑģÑĤоÑıн +ĠÑı н +л ан +ÑĨи Ñİ +ĠÐķ го +ĠÑģво им +п оÑĢ +ĠÐĴ оÑĤ +Ġв пеÑĢ +ĠÑģ енÑĤ +ĠÑģ иÑĤÑĥ +ĠÐĿик ол +ĠвÑĭ Ñħод +ĠÑģ евеÑĢ +мин иÑģÑĤ +Ġав гÑĥÑģÑĤ +ĠÑħоÑĢоÑĪ о +ĠÑĥ ж +л ам +л ек +оÑı ÑĤ +Ġб ел +Ġв еÑģ +Ġп ам +ол ев +ол нÑı +ÑĢи ÑģÑĤ +Ġп ÑģиÑħ +ĠÑĢ аÑģÑĤ +ĠÑģенÑĤ Ñı +ĠÑģ ейÑĩаÑģ +ĠÑĥÑģлов иÑı +Ñģ ка +Ñĥж д +Ñĥ ÑĢа +ĠÑģ ек +ĠÑį ÑĤа +ĠУ кÑĢа +ĠпÑĢо ÑĦ +ĠÑĢад и +ĠконÑĤ ÑĢ +ĠÑģÑĤÑĢан Ñĭ +ĠÑģиÑģÑĤем Ñĭ +ĠÑĩем пион +ĠÐIJ в +ал л +Ñħ оÑĤ +Ġе ÑīÑij +Ġл ин +ел ен +ов иÑĩ +ĠпÑĢ еж +ен нÑĭй +ив аÑĤÑĮ +ĠоÑĤно Ñģ +ĠпÑĢин им +ĠобеÑģп еÑĩ +ĠÑģов ÑĢемен +г Ñĥ +ĠЧ еÑĢ +ĠвÑģ Ñij +Ġж ÑĥÑĢ +ĠÑĢ еб +ĠÑģм Ñĭ +Ñģл Ñĥж +на ÑĢÑĥж +ĠÑģлов а +ĠÑĥ нивеÑĢÑģ +ĠÐĽ Ñİ +Ġи ÑĤ +д еÑĢ +ĠÑĢ ев +Ġок ÑĤÑı +али ÑģÑĤ +оз мож +ĠпоÑĢ Ñıд +ĠÑıн ваÑĢ +ÑĢанÑĨ Ñĥз +ĠпеÑĢв Ñĭй +ĠпÑĢи Ñħод +ĠÑģдел аÑĤÑĮ +ĠгоÑģÑĥдаÑĢ ÑģÑĤвен +аÑĢ а +ÑĪ ел +Ġм аг +ĠÑģ елÑĮ +Ġдек аб +ĠÑĤак иÑħ +ĠÑĩиÑģ ле +иб олее +ĠÑģ обÑĭÑĤи +ÑĤ ÑĥÑĢ +Ñī ад +Ġн ез +ĠÑĤ ÑĢÑĥ +Ġб оев +ĠÑĤ ÑĢан +ĠÑħ озÑı +Ġзав иÑģ +Ġмин ÑĥÑĤ +Ġоб ÑĢаÑĤ +ĠпÑĢод Ñĥк +еÑĩ ÑĮ +Ġд ив +ĠÑĤ ел +ĠмÑĥз Ñĭ +ĠСов еÑĤ +Ġв лаÑģÑĤи +ĠÑĤ еÑĩение +ĠÑĢезÑĥлÑĮÑĤаÑĤ е +Ð Ļ +в и +аÑĢ д +ки н +ни з +ол и +Ñĩ иÑģ +ĠÐł аз +еÑĩ аÑĤ +Ġп иÑģÑĮ +ĠÑĤе оÑĢ +Ñĥ еÑĤÑģÑı +ĠаÑĢм ии +ĠÑĢаб оÑĩ +Ġд окÑĥменÑĤ +ан Ñģ +к ан +ÑĨи й +Ñĩ еÑĢ +Ġа пÑĢ +Ġо но +ол оÑĤ +ĠбоÑĢ ÑĮ +ĠÐľÐ¾Ñģ кв +еÑģп Ñĥбли +ĠдейÑģÑĤв иÑı +Ñĩ и +кÑĥ ÑĢ +л ог +ÑĪ им +ĠÐij ог +Ġиз б +ĠÑħ оÑĩ +а ÑģÑĤв +ли ва +ол од +ÑģÑĤ ÑĢа +Ġдв оÑĢ +Ġк ÑĢов +ĠоÑĩ еÑĢед +иÑĩеÑģ каÑı +ĠÑĨ ен +он ов +ĠФ ÑĢан +ĠпÑĢ ек +ĠÑĥ вид +ĠоÑĤ каз +ĠÑģ ÑĢазÑĥ +иÑĤелÑĮ н +ĠÑģоÑĤ ÑĢÑĥд +ĠкоÑĤоÑĢ ÑĥÑİ +Ġоб наÑĢÑĥж +Ġпо ÑįÑĤомÑĥ +ÑĪ ÑĤ +Ġо г +м еÑĩ +он д +ÑĢ ей +Ġпо Ñħ +ĠÑĩ иÑĤ +Ġжив оÑĤ +ĠиÑģ клÑİÑĩ +ĠвнÑĥÑĤ ÑĢен +Ġн оÑı +ан дÑĢ +ĠпÑĢ оÑĩ +пол аг +ĠÑĤак ие +ĠпоÑĤ ÑĢеб +ĠпÑĢ езид +ĠпомоÑī ÑĮÑİ +е Ñı +ад ÑĨ +л ев +ĠÐĿ ов +Ġиз д +Ġм аÑģ +ин ов +иÑĤ ÑĥÑĤ +ĠвоÑģ п +ÑĭÑĪ лен +Ġник огда +ĠполÑĥÑĩ ил +ĠÑģказ аÑĤÑĮ +ĠÑģлед ÑĥеÑĤ +ж и +ĠÑĢ ом +бÑĥд ÑĮ +Ġп лаÑĤ +ĠÑģÑĤ аÑĤ +ĠбеÑĢ ег +ĠкоÑĢ аб +ĠобÑĬ ÑıÑģ +ĠÑĨенÑĤ ÑĢ +ни бÑĥдÑĮ +олог ии +ĠÑĥÑĤ веÑĢж +Ġпозв олÑı +Ġм л +ом н +ÑĢа ÑĪ +ÑĢ иÑģ +Ġдом а +Ġкл Ñĥб +Ġпол Ñĥ +ĠпÑĢин ÑĨип +Ġе й +ни л +Ġдв е +Ġз аÑĢ +ĠоÑĤ Ñģ +ĠÑģ оп +Ñĩ аÑģÑĤ +ĠбÑĭ ÑģÑĤÑĢо +ÑĢем енно +ĠгÑĢаж дан +ĠÑģовеÑĢÑĪ енно +ĠÑĤеÑĢÑĢиÑĤоÑĢ ии +ÑĢ Ñĭв +Ġин д +Ġл еÑģ +Ġп еÑģ +ĠÑĤ Ñıж +маÑĤ ÑĢ +Ġм енÑĮ +ĠÑĤе аÑĤ +Ġвой Ñģк +ĠвÑĭ ÑĢаж +Ġм иÑĢов +Ġнем еÑĨ +ĠпÑĢи ÑĢод +вед ениÑı +ĠдоÑģÑĤ аÑĤоÑĩно +Ñħ о +Ġз ÑĢ +ж ен +ĠоÑģ в +Ġн оÑĢм +ла ÑģÑĤÑĮ +ĠнаÑĩ ала +ĠнаÑĩал е +ожд ениÑı +Ġна ÑĨионалÑĮ +Ġвозмож ноÑģÑĤÑĮ +ĠТ о +ĠÑĤ Ñĥ +д еÑĤ +ик е +н еÑĢ +ĠÐľ иÑħ +Ġд нÑı +Ġд ог +оÑĢ ож +Ġпо Ñģк +ĠлÑĥÑĩ ÑĪе +Ġок ÑĢÑĥж +ĠоÑģÑĤ ÑĢов +Ġпо ÑģÑĤÑĢо +ĠÑĢай она +ĠÑĥ Ñģ +Ġп ож +ĠÑĦ ев +аÑĢ ов +ÑĢом е +Ġм ало +Ġо пиÑģ +ĠÑĢ олÑĮ +оÑģÑĤ ав +Ġкап иÑĤ +ĠпÑĢ еÑģÑĤ +ĠÑģам ом +ĠвÑĤоÑĢ ой +Ġпо ÑģÑĤав +пÑĢоÑģÑĤ ÑĢан +б ол +ÑĢи г +ĠÐĴ аÑģ +ĠÑĦ ил +ĠÑį ÑĦÑĦ +Ñģл ов +Ġв лиÑı +ĠбÑĥд ÑĥÑī +Ġоб ÑĢаÑī +ĠпÑĢав о +ĠÑĤак им +им оÑģÑĤи +Ġво обÑīе +Ġкажд Ñĭй +ĠÑĢабоÑĤ Ñĥ +ĠговоÑĢ иÑĤ +ĠÑĦ ÑĢанÑĨÑĥз +ж а +аÑĢ ÑĮ +еÑĢ н +ĠÐĵ оÑĢ +ĠÐļ ом +Ġав и +Ġм аÑı +Ġн аг +ĠÑģ Ñĥм +Ġвн еÑĪ +ĠдÑĢ ев +Ġод на +л ении +ÑĤи ÑĩеÑģ +ĠÑģмÑĭ Ñģл +ĠоÑģ ÑĥÑīеÑģÑĤв +ĠпоÑģк олÑĮкÑĥ +в Ñĭе +нÑı Ñı +ам ен +ÑĢав н +ÑĥлÑı ÑĢ +Ġли бо +Ġдив из +Ġим ени +ĠгÑĢÑĥпп Ñĭ +ĠогÑĢ ани +ĠÑĢай оне +ĠÐŁÐ¾ ÑįÑĤомÑĥ +ĠÑĢазвиÑĤ иÑı +Ñħ а +Ñħ и +ÑĮ и +ĠÐł Ф +ĠС в +з ем +ĠÐľ ин +ĠÐĿ ап +Ġн ав +Ġб лиз +ĠÑĨ елÑĮ +Ġгол оÑģ +ĠпÑĢин Ñı +Ġкон еÑĩно +л ÑĥÑĩ +алÑĮ н +Ġк ÑĢай +ĠÑģÑĤ ало +ĠÑĤак ое +ĠнаÑĩ алÑĮ +иÑĩеÑģк ое +ĠнаÑħод иÑĤÑģÑı +ĠобÑī еÑģÑĤвен +г аÑĢ +Ġна ÑĢ +ĠÑĤ ан +оÑģ оÑĦ +ĠÐĽ ени +ĠÑĤ воÑĢ +ĠдеÑĤ ей +ĠÑģÑĤ ала +аÑĤ елей +ĠдоÑģÑĤ иг +Ġпод гоÑĤов +ĠоÑĤноÑĪ ениÑı +ĠпÑĢедÑģÑĤав лÑı +к Ñģ +к оп +ли ÑĪ +об ÑĢ +ÑĢ об +Ġн ог +ĠÑģ оÑģ +ĠÑĦ ин +ÑĢ ани +ÑİÑī ей +Ġиз ÑĥÑĩ +аннÑĭ Ñħ +ĠÐļ ÑĢоме +Ġод ним +ĠÑģÑĤÑĢ ем +Ġмног ие +ĠобÑĭÑĩ но +ĠÑĩÑĥв ÑģÑĤв +ĠболÑĮÑĪ ин +ĠÑģ егоднÑı +Ġкомп ании +ĠдеÑıÑĤелÑĮ ноÑģÑĤи +п и +ĠÐij Ñĭ +ĠÐŃ ÑĤ +Ġа б +ĠÑģ ол +ĠÑĤ ол +ĠÑĤ ÑĥÑĢ +ĠÑĩ еÑĤ +л анд +ли бо +пÑĢ ин +ÑİÑī им +оÑģÑĤ оÑı +Ġжел ез +ĠиÑģÑĤ оÑĩ +ĠÑĥв ели +Ġпло Ñīад +ĠÑģмеÑĢ ÑĤи +ÐŁ о +д в +ĠÐĺ в +в еÑĩ +ÑĨ ов +Ġк нÑı +ĠÐĵеÑĢ м +ĠÐļ ÑĢаÑģ +Ġвед ÑĮ +ĠиÑİ Ð»Ñı +Ġоп аÑģ +ĠÑģ нова +ĠÑįÑĤ омÑĥ +Ġвоз ник +Ġмног иÑħ +ĠÑĢев олÑİ +еÑģÑĤв енно +в оз +ÑĢ ев +Ġг Ñĥб +Ġн оÑģ +в ÑĪий +на ли +оп аÑģ +ĠвÑģ ей +ĠпÑĢ ом +ад леж +Ġмил ли +ĠÑģам ого +Ġвним ание +Ġна иболее +к л +Ġб и +д аÑĤ +м оÑĢ +ÑĢа Ñĩ +ÑĢ еÑĪ +ĠÐŁ ол +Ġз аÑģ +ад ем +ĠÐĵ лав +Ġк ÑĢÑĥг +ĠÑģеÑĢ д +елÑĮ зÑı +Ġмог ли +ĠпÑĢиз н +Ġг ÑĢаниÑĨ +Ġмин иÑģÑĤ +ĠÑģенÑĤÑı бÑĢÑı +Ð ĸ +ĠÐĿ Ñĥ +в Ñıз +ĠÑĥ ÑģÑĤ +Ġдел а +Ġд еле +ĠиÑİ Ð½Ñı +ĠÑģп оÑĢ +ĠÑģ ÑĩеÑĤ +ĠÑĤ оÑĢг +моÑĤÑĢ Ñı +ĠмеÑģÑĤ е +ий Ñģкой +ноÑģÑĤ ей +ĠпÑĢов ед +ĠавгÑĥÑģÑĤ а +Ġиз обÑĢаж +ĠнеобÑħодим о +ĠоÑĢганиз аÑĨии +ĠÐŀ ÑĢ +д Ñĥм +н ен +ÑĢи к +Ñĩ аÑĤ +ĠÐij еÑĢ +ĠвÑģ Ñİ +Ġк оÑģ +ĠÐľÐ¾Ñģ к +ĠвÑĭ ÑĪе +ĠпÑĢ еп +аннÑĭ е +Ġзам еÑĤ +ĠÑģÑĤ ÑĢÑĥк +Ġдел аÑĤÑĮ +Ġнаб лÑİд +Ġпо ÑģÑĤÑĥп +ĠÑıвлÑı ÑİÑĤÑģÑı +ĠÐIJлекÑģ андÑĢ +Ñİ ÑĢ +к аÑĤ +Ñģ ед +ĠÐij ел +Ġв Ñģп +в ÑĪиÑħ +Ġв лад +Ġв Ñħод +Ġд ней +Ġп Ñĥнк +ĠÑģÑĤ иÑħ +Ġзап ад +ĠмаÑĢ ÑĤа +ĠнаÑĪ ей +ĠогÑĢ ом +Ġпом ог +ĠÑįн еÑĢг +ĠвÑĢем ен +ĠпоÑĩ емÑĥ +ĠÑģов Ñģем +ĠÑıнваÑĢ Ñı +озмож но +ĠкоÑĤоÑĢ Ñĭм +ĠокÑĤÑı бÑĢÑı +ĠпÑĢоÑĦ еÑģÑģ +ĠÑģÑĤеп ени +ĠÐļ и +Ġп а +Ġв ок +Ġг оÑģ +Ġк ан +ав ал +аÑĨи й +ни ÑĨа +ĠÑģÑĤ ав +ĠÑģÑĤ оÑı +ов али +Ġпоп ÑĭÑĤ +ĠпоÑĤ еÑĢ +Ġдолж но +ĠгенеÑĢ ал +ĠÑģоÑģÑĤав е +иÑĢов аниÑı +ĠмаÑĤеÑĢи ал +ÑĪ ли +Ñĭ ÑĤа +Ġб Ñĭв +Ġв ек +ĠÑĢ иÑģ +ĠÑģ ез +ĠÑĦ оÑĤ +аР±Ð¾ÑĤ +ик ов +Ñģк оÑĢ +Ġв аÑĢи +ĠÑģил Ñĭ +ĠÑģм ог +иÑĤ еÑĤа +ник ом +оÑģÑĤ ок +Ñģк омÑĥ +Ñħод ÑıÑī +ÑİÑī его +ĠФ едеÑĢ +Ġназ ад +Ġоп ÑĢед +Ġпол ов +лиÑĪ ком +Ġблаг од +Ġдог овоÑĢ +ĠÑĩелов еÑĩеÑģ +б иÑĤ +б ÑĢе +г еÑĢ +Ġп ал +ли на +ÑģÑĤ еÑĢ +ĠÐŁ ÑĢав +ĠпÑĢ оп +ĠÑĢ ели +енÑĤ ов +Ġгода Ñħ +Ġдолж на +ĠиÑģп олн +ĠÑģлÑĥÑĩ ай +ĠÑģо един +Ġдекаб ÑĢÑı +ĠÑĥÑĩаÑģÑĤ ие +ĠнекоÑĤоÑĢ Ñĭе +ĠпÑĢин адлеж +г л +г од +м иÑĤ +ÑģÑĤ Ñĭ +ÑĤо Ñĩ +Ġн ак +в ÑĪие +ĠмиÑĢ е +Ġм она +оÑģÑĤ оÑĩ +Ġгод ов +акон еÑĨ +ĠнеÑģк олÑĮ +ĠÑĢеÑĪ ение +з в +Ġв д +ел Ñİ +Ġм аÑĪ +ĠÑĤ ой +гли й +ĠмеÑģÑĤ а +ĠÑģÑĤо иÑĤ +алÑĮ нÑĭм +ĠÑĢаз дел +ĠболÑĮÑĪ ой +Ġпол ноÑģÑĤÑĮÑİ +ĠÑĥпÑĢав лениÑı +а ÑĦ +з д +ĠÐľ ож +Ġв еÑĩ +Ġм еÑħ +Ġп еÑĩ +ĠÑģо Ñİ +иÑĩ но +ĠÐŁ ÑĢед +ĠÑĥ меÑĢ +ĠС евеÑĢ +ĠÑĥÑģп еÑħ +ĠапÑĢ елÑı +ĠÑģ лиÑĪком +ĠÐĴ Ñģ +Ġг г +Ġд Ñĥ +ĠС ÑĤа +ĠÑĤ он +ем он +енÑĤ ÑĢ +ÑĥÑģ ка +ĠС ÑĢед +Ġг ÑĢаÑĦ +ĠмеÑĢ е +ĠÑĩ иÑģÑĤ +ÑģÑĤв ие +Ġок ÑĢÑĥг +ĠпÑĢав а +ĠÑĢеб ен +ĠпÑĢеж де +ĠпÑĢиÑĩ ин +Ġнеб олÑĮÑĪ +ĠÑĦил оÑģоÑĦ +Ġвозмож но +ĠинÑģÑĤ иÑĤÑĥÑĤ +ĠпÑĢоиÑģ ÑħодиÑĤ +ĠдейÑģÑĤв иÑĤелÑĮно +ÑĤ ÑĢ +Ñī а +ĠÑĤ а +и да +ÑĤ ож +ĠÐŁ аÑĢ +Ġв за +Ġи Ñģк +ай ÑĤе +ÑģÑĤÑĮ Ñİ +ĠС еÑĢг +ĠиÑĤ ог +ĠпÑĢ ем +ĠпÑĥ ÑĤи +ĠÑģ озн +ĠÑĤ ÑĢад +ÑĢоÑģ ил +ĠвÑĭб оÑĢ +ĠвÑĭÑģ оÑĤ +ĠиÑģп ÑĭÑĤ +ĠноÑı бÑĢÑı +ĠпеÑĢв ой +ĠÑĤак ого +Ġбез опаÑģ +ĠÑģÑĢед ÑģÑĤв +ĠиÑģполÑĮзов аÑĤÑĮ +Ñģ Ñĥ +ĠÐĽ е +ĠÐł е +ом е +ÑĦ оÑĢ +ĠÐł ÑĥÑģ +аÑĢ аÑĤ +кÑĢ еп +олн е +ом еÑĤ +ÑĢаз д +Ġвод Ñĭ +Ġн ими +Ġп озд +ĠÑĤип а +Ġна ÑĢÑĥÑĪ +ĠÑħозÑı й +аж еÑĤÑģÑı +Ġн елÑĮзÑı +ĠоÑĤÑģ ÑĥÑĤÑģÑĤв +ĠÑģоÑģÑĤав лÑı +п л +ĠÐIJ л +кÑĥ п +Ñģ ол +ÑĪ аÑı +Ġб оÑı +Ġв еÑĤ +Ġд ок +ĠÑĢаРº +Ġд еÑĢж +Ġо ÑĢÑĥж +ĠÑģ ами +ĠÑĤеб Ñı +ĠÑĥд аÑĢ +ĠдÑĥÑħ ов +Ġз наком +ĠпÑĢоиз оÑĪ +Ġдвиж ениÑı +ĠобÑī еÑģÑĤва +ĠмеждÑĥ наÑĢод +Ġк в +кв и +м еÑĪ +Ñĥн д +Ġна Ñĥ +ĠÑĤÑĭ Ñģ +еÑĩ ен +ĠÐIJн дÑĢ +ĠвеÑĢ Ñħ +Ġиг ÑĢа +ĠкÑĢ иÑĤ +гоÑĢ од +ĠÑħоÑĤ ел +ĠÐĴлад им +ĠпÑĢи каз +ĠÑĥÑĩ аÑģÑĤв +ĠÑĥдал оÑģÑĮ +ĠС п +в ол +ей н +и ÑĪÑĮ +н аÑĤ +ÑĤ Ñıн +Ñĥ ли +ĠÐij оÑĢ +ĠÐĹ Ð°ÑĤ +Ġк ÑĢÑĭ +Ġк Ñĥп +Ġм оÑī +Ġдв иг +ĠÑĢÑĥ ки +ĠзаÑī иÑĤ +ĠÑĩаÑģ ов +иÑĢов ал +Ġд оволÑĮ +Ġв озвÑĢаÑī +ĠпÑĢеÑģÑĤ Ñĥп +ĠнаÑģел ениÑı +ĠÑģÑĤÑĢо иÑĤелÑĮ +ĠÑĢаÑģ пÑĢоÑģÑĤÑĢан +Ġа л +й ÑĤе +ка л +лÑİ Ð± +м он +ĠÐĹ ÐµÐ¼ +Ġб ан +Ġд еп +ĠÑĨ аÑĢ +Ġмн ож +Ġо ÑĨен +ĠÑģ ÑĨен +аÑģÑĤ еÑĢ +Ġлег ко +Ġвозд ÑĥÑħ +Ġин огда +ĠпаÑĢÑĤи и +ĠиÑģÑģлед ов +ĠпÑĢоÑģÑĤ ÑĢан +ĠÑĢазлиÑĩ нÑĭÑħ +оÑģÑĥдаÑĢ ÑģÑĤвен +Т ÐIJ +ÑĢ ож +ĠС оÑİ +ĠТ ем +Ġд иÑĢ +Ġм ой +ĠÑĢÑĭ н +ен ко +иб ли +нов ÑĮ +ок ой +ÑıÑĤи е +Ġде ÑģÑı +ĠкÑĢ еп +ĠÑģв ид +в еÑģÑĤи +ÑĢи ÑģÑĤи +Ġз олоÑĤ +Ġнов Ñĭе +ĠоÑĤ меÑĤ +ĠоÑĦ иÑĨи +ĠÑģам ÑĭÑħ +ĠгоÑĢод е +ĠкоÑĢ пÑĥÑģ +Ġпов ÑĤоÑĢ +ĠпÑĢив од +ĠпÑĢед меÑĤ +Ġн азвание +нов ÑĢеменно +ĠгоÑģÑĥдаÑĢ ÑģÑĤва +ĠÐĹ Ð´ +ал е +ек о +ÑĪ ла +Ġп аÑĤ +ĠÑģ ид +ав иÑģ +ев ид +ÑĢа лÑı +ÑĤак и +ÑıÑĤ но +ĠпÑĢи б +ĠÑĤÑĢ еÑħ +нÑĥл ÑģÑı +Ġбол ез +ĠоÑĤ меÑĩ +ĠÑģво ем +ниÑĩ ÑĤож +ĠÐľÐ¾Ñģкв е +Ġан глий +ĠвеÑģÑĮ ма +Ġвп олне +Ġпов еÑĢÑħ +ĠкÑĥлÑĮÑĤ ÑĥÑĢ +ĠÑĦев ÑĢалÑı +ĠÑģÑĤанов иÑĤÑģÑı +ак ÑĤ +м аÑĢ +ĠÑģ Ñĥб +ĠÑĦ ÑĥÑĤ +ов аÑı +ов Ñĭм +ÑĢ еÑģÑģ +ÑİÑī аÑı +Ġан ÑĤи +ÑĢе ÑģÑĤÑĮ +Ñĥж ден +ÑĪ ениÑı +Ġиме ÑİÑĤ +Ġкак ие +Ġнов ÑĭÑħ +ĠÑģ ÑĢавн +алÑĮ наÑı +Ġнед оÑģÑĤ +ĠÑĢабоÑĤ а +ĠÑĢабоÑĤ е +ĠнекоÑĤоÑĢ ÑĭÑħ +ĠÑģ ÑĬ +еÑī а +о иÑĤ +ÑĢи д +Ñģ ии +ĠÐł од +Ġм ел +Ġм он +г ÑĢад +еÑĢÑĤ в +ка лÑĮ +ÑĥÑī ен +Ġи мен +Ġк Ñĥда +Ġоп ÑĭÑĤ +ĠÑĢек и +ĠÑĢ оÑģÑĤ +л ений +лен но +ĠÐĹ Ð°Ð¿Ð°Ð´ +Ġв новÑĮ +Ġоб лад +ĠÑģ моÑĤÑĢ +ĠÑĢе ализ +ĠÑĥ ÑģÑĤÑĢой +иÑĩеÑģк ÑĥÑİ +ÑĢиÑģÑĤи ан +ĠавÑĤом об +ĠпÑĢед пÑĢи +ĠдоволÑĮ но +Ġвозмож ноÑģÑĤи +ĠпÑĢак ÑĤиÑĩеÑģки +еÑĢ в +ĠÐļ аз +ĠÐŁ оÑĤ +Ġб ед +Ġд иÑģ +Ġл еж +кÑĢ еÑĤ +ĠÐŃÑĤ оÑĤ +ĠаÑĢ ÑĤи +Ġма ÑĪи +Ġне из +Ġп ÑıÑĤÑĮ +ĠÑģеÑĢ ÑĮ +Ġкон ÑĨа +ĠкÑĢ оме +ĠобÑĬ Ñıв +Ġпов ед +ĠÑģам Ñĭм +еÑĢб ÑĥÑĢг +Ġво оÑĢÑĥж +Ġзд оÑĢов +ĠпÑĢо Ñħод +ĠÑĢаз нÑĭÑħ +ĠобÑĬ един +ĠпеÑĢе Ñħод +ĠÐIJлекÑģ анд +ĠопÑĢед елÑı +ĠинÑĦоÑĢм аÑĨии +ĠÐļ о +в ен +еÑĤ и +ов о +п аÑĢ +Ñģ ен +ÑĤе Ñħ +Ñĩ ай +Ġн из +ĠÑĢ ед +ай ÑĤи +веÑĢ д +ÑĥÑĪ ки +ĠпоÑĢ ÑĤ +ĠÑģл ав +ĠÑĨ ели +ĠÐij олÑĮÑĪ +Ġод ном +ĠпÑĢÑıм о +ĠÑĢай он +ĠÑĥÑģ или +ĠÑĦилÑĮ м +ÑĩиÑģ лен +Ġдоп олн +ĠзÑĢ ениÑı +ĠÐłÐ¾ÑģÑģ ийÑģкой +ÑĦ а +ĠТ е +ÑĤи Ñı +ÑĥÑģ к +Ġб ал +Ġд ÑĥÑĪ +иÑĨ еÑĢ +ом ин +ÑĢеж д +Ġб еÑģп +Ġк ого +Ġкон ÑĦ +ĠÑĢ ода +ĠÑĥ кÑĢа +ен ной +Ġкол иÑĩ +ĠÑĢеж им +ĠÑĢом ан +ĠÑģÑĤ ÑĢаÑħ +ĠÑĤÑĢ еÑĤÑĮ +ĠменÑĮ ÑĪе +Ġнов ого +ĠоÑģнов е +ĠÑģек ÑĢеÑĤ +ĠÑĩеÑĤÑĭ ÑĢе +ĠÑģиÑģÑĤем а +ĠкÑĥлÑĮÑĤ ÑĥÑĢÑĭ +Ñĭ н +в ÑıÑī +к ое +ли ж +о нÑĭ +ÑĤ ин +ÑĪ ем +ÑĮ ев +Ñİ ÑģÑĮ +ĠÐĴ еÑĢ +ĠÐŁ ав +ĠÐŃ ÑĤи +Ġб аÑĢ +Ġе ÑģÑĤ +Ġн оÑĩ +Ġп иÑĪ +Ġп ÑĭÑĤ +веÑĢ г +п ÑĢед +Ġл иÑģÑĤ +ĠÑģп аÑģ +ĠÑĤеб е +ĠТак им +Ġбог аÑĤ +Ġзав од +Ġкни ги +Ġнов Ñĭй +ĠÑĢаз Ñĥм +ĠÑģам ой +ĠденÑĮ ги +Ġмал енÑĮ +ĠпомоÑī и +ĠÑģвид еÑĤ +иÑĩеÑģк им +Ġвоз ÑĢаÑģÑĤ +ĠвÑĭп олнÑı +ĠÑĢеÑĪ ениÑı +ĠпоÑģÑĤоÑıн но +з и +Ġ\ - +б иÑĢ +н иÑĤ +ни Ñİ +оÑĤ а +ÑĪи ÑĢ +ĠÐł аÑģ +Ġк ÑĢа +Ġпо Ñį +ĠÑĤ еп +ÑĥÑĪ ка +Ġж еÑģÑĤ +ĠÑģÑĤ Ñĥд +ĠÑĤеÑħ н +ĠÑĥд ив +ĠÑĦ ÑĢон +Ġник ÑĤо +Ġоз наÑĩ +Ġп олÑĮз +ĠÑĤоÑĩ ки +ĠÑĤоÑĩ но +им оÑģÑĤÑĮ +наÑĩ ала +ĠÐĺв анов +ĠТ епеÑĢÑĮ +Ġвок ÑĢÑĥг +ĠзнаÑĩ иÑĤ +Ġпод пиÑģ +ĠизвеÑģÑĤ но +ĠлиÑĤеÑĢ аÑĤÑĥÑĢ +ĠнеÑģколÑĮ киÑħ +ĠÑĥÑģÑĤанов лен +Ñį ÑĢ +ĠÐĿ и +Ġа ÑĤ +ĠÑı ÑĢ +м ол +ÑĢи й +ÑĪ ее +Ġд ен +ажд Ñĭ +лÑı ÑĤÑĮ +Ġид еÑĤ +Ġк ино +Ġк ÑĥÑĢÑģ +Ġна ÑĪи +Ġод нÑĥ +Ġп ÑĥÑģÑĤ +ĠÑģоÑİ Ð· +ĠÑĤ ела +ĠÑĥ веÑĢ +Ñģк ими +ĠÐĹд еÑģÑĮ +Ġн айÑĤи +ĠÑĢав но +и оналÑĮ +ĠженÑī ин +ĠпÑĢак ÑĤи +ĠÑģол даÑĤ +ĠУкÑĢа инÑĭ +ĠоÑĩеÑĢед ÑĮ +ĠÑģÑĤоÑĢон Ñĥ +ĠÐĴладим иÑĢ +ĠÑĢабоÑĤ аÑĤÑĮ +ĠÑĥÑģловиÑı Ñħ +Ġедин ÑģÑĤвен +ĠпÑĢезид енÑĤ +ĠпÑĢом ÑĭÑĪлен +б ег +б еж +еÑĩ и +л иÑĤ +Ġак ÑĤ +Ġб ÑĥÑĢ +Ġиг ÑĢ +Ġп ÑıÑĤ +ĠÑģ оÑĢ +ез да +ĠпÑĢ ог +ĠÑįÑĤ ап +аÑĤ ели +Ġд оказ +Ġдол го +Ġна ÑĪиÑħ +Ġпов ÑĭÑĪ +ÑģÑĤан ав +ĠÑģлÑĥÑĩ аÑı +ĠÑįкÑģп еÑĢ +ĠдалÑĮ ней +ĠпеÑĢв ого +иÑĢов ание +ĠзнаÑĩ иÑĤелÑĮ +ĠпÑĢиÑģ ÑĥÑĤÑģÑĤв +ÐĹ Ð° +ÑĢи з +Ñĩ ÑĤо +ĠÐļ ол +ĠТ ам +Ġб аÑĤ +Ġк аÑģ +ли во +Ñĩ ива +ĠÐŁÐµÑĢ е +Ġоб ÑĥÑĩ +Ġп ÑĥÑĤÑĮ +аннÑĭ й +вед ен +иÑĢÑĥ еÑĤ +ÑĪ ение +ĠÐĹаÑĤ ем +Ġглаз а +ĠпиÑģ ал +ĠÑģлов о +ĠÑģÑĤ олÑĮ +ĠвеÑĢ оÑıÑĤ +Ġвз глÑıд +Ġпод Ñħод +ĠÑģилÑĮ но +ĠÑĤÑĢан Ñģп +иÑĩеÑģк ом +ĠвпеÑĢ вÑĭе +ĠÑĢабоÑĤ ал +ĠÑĥ ниÑĩÑĤож +ĠÑħ л +б ин +л ок +ми ÑĢ +н ог +Ñģ ел +ĠÐĿ еÑģ +ĠÑĥ да +ĠÑĪ аг +ни ем +ĠÐŁÑĢ им +ĠÑħод е +ив аÑİÑĤ +илÑĮ но +оÑģ ÑĢед +оÑģÑĤ ÑĮÑİ +ÑĢ оÑĤив +ĠÐĽÐµÐ½Ð¸ н +ĠлÑİб ов +ĠмÑĭ Ñģли +ĠÑĢÑıд ом +ĠÑģам ое +Ġв лаÑģÑĤÑĮ +ĠданнÑĭ м +Ġк ÑĢеÑģÑĤÑĮ +Ġпозв ол +ĠÐĿап ÑĢимеÑĢ +ĠÑĩаÑģÑĤ ноÑģÑĤи +а Ñī +Ġа г +Ġо Ñī +г ла +лÑı л +м оÑģ +ÑĢи и +Ñĩ ем +ÑĪ ед +Ñı еÑĤ +ĠÐŁ оÑĩ +ĠÐ¥ оÑĤ +Ġа пп +Ġин ÑĤ +Ġм еÑĩ +Ġмл н +г лав +Ġв ÑĢаг +Ġдол л +Ġн ÑĢав +ĠÑĢе ак +ĠÑĪÑĤ аб +аÑĤ ÑĥÑĢÑĭ +ÑĢа ÑĨии +ÑģÑĤв иÑı +ĠТак же +Ġзем ли +Ġп Ñĥбли +ĠÑģоб ак +ĠвнÑĥÑĤ ÑĢи +ĠÑģво ими +ĠÑģлов ам +ен ноÑģÑĤи +ĠÐĵеÑĢм ании +Ġад миниÑģÑĤ +ĠÑĢаÑģÑģ маÑĤÑĢ +еÑģпÑĥбли ки +ĠоÑĤноÑĪ ении +Ð ® +ĠÐĵ е +ĠÐĽ Ñĥ +ĠЧ ÑĤ +ĠÑģ Ñİ +ен Ñģ +и ÑĨÑĭ +к ам +ÑĢÑĥ ÑĤ +ÑĮ ÑĪе +ĠÐŃ ÑĤа +Ġб Ñĥк +ĠвÑĭ д +Ġж ил +Ġк аб +Ġк ÑĥÑĢ +Ġоб о +б иÑĢа +иÑĤ ай +ÑĢак ÑĤ +Ġд веÑĢ +Ġд ÑĢÑĥз +Ġим ел +Ġмог Ñĥ +аÑĨи ей +ваÑĢ ÑĤи +ĠвеÑĩ еÑĢ +ĠдÑĢÑĥг а +ĠоÑĤ веÑĩ +ĠпÑĢи бÑĭ +ĠÑĤеÑħ ни +Ġна ÑģÑĤÑĥп +ĠÑĢÑĥб лей +ĠÑģимв ол +ĠÑĨеÑĢ ков +ем окÑĢаÑĤ +ĠФÑĢан ÑĨии +Ġнез авиÑģ +Ġнем ного +ĠпеÑĢев од +Ġкомп лекÑģ +ĠпÑĢоблем Ñĭ +Ġблагод аÑĢÑı +ĠимпеÑĢ аÑĤоÑĢ +ĠÑģоÑģÑĤав лÑıеÑĤ +ÑĨ Ñĥ +Ñı Ñĩ +Ġб Ñİ +Ġо ж +ĠÑı Ñģ +г ан +г ен +д ов +ед ÑĮ +е ев +з ии +п оз +ĠÑĢаР¼ +ан ÑĤа +ов Ñĭй +ĠÐĴ ÑĤоÑĢ +Ġа нал +Ġзна Ñİ +ĠÑģил Ñĥ +ĠÑģл аб +ĠÑģ ÑĢок +ĠÑĦ лоÑĤ +вÑĪ иÑģÑĮ +из неÑģ +оÑĤ воÑĢ +ÑĢаб аÑĤ +Ġпод нÑı +ĠпоÑģ ел +ĠпÑĢи ем +ĠÑģ пÑĢав +ĠÑģÑĤÑĢ ел +пÑĢин им +ĠÑģÑĤÑĢан е +ĠÑĤем пеÑĢ +Ġвоз ника +ĠÑĥÑĤвеÑĢж д +ĠговоÑĢ иÑĤÑĮ +ĠполÑĥÑĩ иÑĤÑĮ +ĠпÑĢимеÑĢ но +ĠФедеÑĢ аÑĨии +ĠпÑĢед оÑģÑĤав +б ÑĢ +з е +Ñį к +ĠÑģ Ñĥ +нÑİ Ñİ +ÑĤ ан +Ġне е +к лон +оп иÑģ +ÑİÑī ее +ĠÐĴ еÑĢÑħ +Ġб ÑĢаÑĤ +Ġдв Ñĥм +ĠÑģÑĥд ÑĮ +оÑĤ ÑĢеб +Ġим еÑĤÑĮ +ĠÑĢе ÑĪил +д ейÑģÑĤв +еÑĩ аниÑı +Ġза ÑģÑĤав +ĠзаÑıв ил +Ġком иÑģÑģ +ĠÑĢаз ÑĢеÑĪ +ĠавÑĤом аÑĤ +ĠговоÑĢ ил +ĠпÑĢоÑĤив ника +Ġод новÑĢеменно +ĠТ Ñĭ +и кÑĥ +ка ÑĢ +к ÑĥÑİ +ÑĤ ÑĢа +ĠвÑĭ н +ĠÑģÑĭ н +еÑī ен +л ена +н иÑĤÑĮ +Ġли ÑĨа +ĠÑĤ ÑĢав +ĠÑħ ÑĢам +ĠÑıзÑĭ к +ÑĢов ан +ÑĮÑİ ÑĤеÑĢ +ĠÐľ еждÑĥ +ĠбÑĥд ÑĤо +Ġнап ÑĢÑı +ĠдÑĢÑĥг им +Ġм аÑģÑĤеÑĢ +ĠобÑıз ан +Ġо ÑģÑĤанов +ĠпÑĢед лаг +ĠпÑĢек ÑĢаÑģ +ĠÑģк олÑĮко +Ġназ Ñĭваем +ĠÑģÑĢед ÑģÑĤва +Ġполож ение +ĠÐĽ а +Ġг е +в иÑģ +к аж +оÑĤ Ñĭ +ÑĢÑĥ Ñģ +ĠÐľ ак +Ġв ов +Ġм оз +еÑħ ал +мÑĭ Ñģл +ов еÑĢ +оп ол +ĠÐIJ меÑĢ +Ġдол г +ĠмоÑĢ Ñı +Ġна Ñĥк +Ġн емÑĥ +ĠÑĥ ÑĩиÑĤ +об ÑĢеÑĤ +ÑĥÑİÑī иÑħ +Ñħ ÑĢани +ĠÐŀÑģ нов +ĠТ огда +Ġпов од +ĠпоÑĢ аж +Ġб изнеÑģ +Ġпо ÑıвлÑı +Ġкажд ого +Ġк ажеÑĤÑģÑı +ÑģÑĤоÑı ÑĤелÑĮ +ĠиÑģÑģлед ованиÑı +Ñģ м +ĠÐĽ и +ĠÐľ о +ай н +в иж +ен н +ин ÑĤ +ли и +Ñĩ ÑijÑĤ +ĠÐľ оÑĢ +ĠÐĿ еÑĤ +ĠÐŀ ÑĤе +Ġк оп +ĠÑģ ад +ĠÑĤ ай +из ма +и она +иÑĤ оÑĢ +ой ÑĤи +ÑĪ иÑģÑĮ +Ġпо ÑįÑĤ +Ñı еÑĤÑģÑı +ĠЧÑĤ обÑĭ +Ġвза им +ĠиÑģ Ñħод +Ġнов ой +Ġоб вин +ĠпÑĢо Ñıв +ĠÑģоÑģ ед +ĠÑĨелÑĮ Ñİ +ĠÐľÐ¾Ñģ ков +ĠвмеÑģÑĤ о +ĠнаÑĪ его +ĠÑĨеÑĢ кви +ов аÑĤелÑĮ +ĠдÑĢÑĥг ими +ĠÑģамол еÑĤ +ĠоÑģнов ном +ĠÑħ ÑĢиÑģÑĤиан +еÑģÑĤвен ной +ĠпозволÑı еÑĤ +С Ðļ +ж Ñĥ +Ñĭ к +ĠÐIJ к +еж н +з оÑĢ +Ñĥм а +ÑĮ ÑĤе +ĠÐľ не +Ġа на +ĠÑģ иг +ĠÑģ Ñĥп +ĠÑĩ Ñĥд +ĠÑį по +ак ов +ан да +аÑĤ ов +ваÑĢ д +ем аÑĤ +ен ÑĨи +ив но +Ñĥ ÑģÑĤи +Ġг ÑĢÑĥз +Ġиг ÑĢÑĭ +Ġпод ÑĤ +Ġпол е +Ġп ÑıÑĤи +ĠÑģ олн +оÑģ лав +ÑĢоп ей +Ġпог иб +ĠÑĢан ее +ĠÑĪиÑĢ ок +Ġак адем +Ġмед иÑĨи +ĠнаÑĢ ода +ĠпеÑĢв ÑĭÑħ +ĠпÑĢед ел +од ейÑģÑĤв +Ġкоманд Ñĭ +Ġн аконеÑĨ +ĠпÑĢав ило +ĠдейÑģÑĤв ий +ĠÑĢаз говоÑĢ +Ġизмен ениÑı +ĠÑģÑĥÑīеÑģÑĤв ÑĥеÑĤ +ĠбезопаÑģ ноÑģÑĤи +ĠпÑĢоизвод ÑģÑĤва +н д +Ġм Ñĥ +б ил +в ел +г он +и лÑı +и ÑĨа +иÑī а +ÑĢÑĭ ÑĤ +Ñĥг а +ĠÐij аÑĢ +ĠÐĿ ад +Ġа лÑĮ +Ġб Ñĥм +Ġк аÑĤ +Ġл ог +ĠÑģ нÑı +ĠÑĤ оп +ол еÑĤ +оÑĢ од +ÑĤоÑĢ а +ĠÑĢ оли +ĠÑĥб ий +ен нÑĭм +оз наÑĩ +Ñģол ÑİÑĤ +ĠпеÑĢ еÑģ +ĠÑĢади о +ĠÑĦоÑĢм Ñĭ +ĠÑħ олод +алÑĮ ное +ĠÐķвÑĢоп Ñĭ +ĠТ олÑĮко +ĠдалÑĮ ÑĪе +ĠоÑĦ иÑĨеÑĢ +ĠÑģеÑĢÑĮ ез +Ġкон кÑĢеÑĤ +ĠÑįÑĦÑĦ екÑĤив +ĠвоÑģ ÑģÑĤанов +ĠÑģоÑģÑĤоÑı нии +ĠÐļ а +ĠÐŁ Ñĥ +Ġб о +Ġп ÑĮ +ан н +еÑĢ е +и ÑĨе +й ÑĤи +ли м +ом б +ÑĢ ин +Ñı ли +ĠÐĺ Ñģп +ĠÐĺ ÑģÑĤ +ĠÑģ ок +б ÑĥÑĢг +вÑĪ ей +вÑĪ им +ина л +ни ÑĨÑĭ +ĠÐľÐ¸Ñħ а +Ġз нак +Ġпл оÑĤ +ĠÑĢаз м +ĠÑĢ еÑĩÑĮ +ĠÑģÑĤ ен +ĠÑģам Ñĭй +ĠÑĤ елеÑĦ +ĠÑĩеÑĤÑĭ ÑĢ +иÑĤ елем +Ġмн ениÑİ +ĠÑĢан ÑĮÑĪе +Ñĥбли ков +ĠпÑĢед Ñģед +ĠназнаÑĩ ен +ĠпÑĢедÑģÑĤав лÑıеÑĤ +ÑĢ Ñİ +Ġа Ñį +б ой +в ой +ÑĪ ин +Ġи бо +ĠмÑĭ ÑĪ +ĠÑĦ иг +ев ой +л леÑĢ +наÑĩ е +оп ÑĢи +Ġбл ок +Ġна ÑģÑĤ +ĠпÑĢи д +ĠпÑĢ ож +ĠÑģл ÑĭÑĪ +ĠÑĤ еÑģÑĤ +ĠÑĥÑĩ ен +ĠÑĦак ÑĤ +ÑĢиÑĤ ан +ĠаÑĢ еÑģÑĤ +ĠлÑİб ой +ĠÑĤÑĢÑĥ да +Ġвой Ñģка +Ġдал еко +ĠинÑģÑĤ ÑĢÑĥ +ĠпоÑģ вÑıÑī +ĠÑģдел ал +ĠÑĥвели Ñĩ +ĠÑĦÑĥÑĤ бол +ожд ение +ĠвопÑĢоÑģ Ñĭ +Ġглав нÑĭм +ĠмиÑĢов ой +ĠÑģоÑģÑĤ оиÑĤ +наÑĩ алÑĮно +Ġкомп ÑĮÑİÑĤеÑĢ +ĠÐŁÑĢим еÑĩаниÑı +ĠоÑĤвеÑĤ ÑģÑĤвен +Ñħ Ñĥ +Ñı г +Ñij Ñħ +ĠÐĺ Ñģ +ан г +оÑĢ д +ÑĢÑĥ Ñĩ +Ñĩ ей +ĠÐł им +Ġк ил +Ġм ик +Ġоб Ñģ +ид еÑĢ +ĠÐĺ ван +ĠСÑĤ аÑĢ +Ġв озв +ĠоÑī ÑĥÑī +ав аÑĤÑĮ +ан Ñģов +вÑĪ его +оÑģ лед +ÑģÑĤÑĢ ел +ĠЦ енÑĤÑĢ +Ġлин ии +Ġпок Ñĥп +ĠÑĤÑıж ел +ĠÑĥлиÑĨ а +ĠÑĨел ом +ĠÑĪкол Ñĭ +ĠÑıзÑĭ ка +адÑĨ аÑĤÑĮ +ен ного +ĠдÑĢÑĥг ом +Ġком наÑĤ +ĠоÑĤкÑĢÑĭ ÑĤ +Ġпон ÑıÑĤÑĮ +ĠÑĢаз вед +ĠÑģоб иÑĢа +ĠÑĤÑĢÑĥд но +ĠмеÑħ аниз +ĠÑģлÑĥÑĩаÑı Ñħ +ĠÑįлекÑĤ ÑĢо +аÑĤелÑĮ ÑģÑĤв +ĠкÑĢеÑģÑĤÑĮ Ñıн +ĠпÑĢиÑĪ лоÑģÑĮ +ĠÑĢазвиÑĤ ие +Ġоб ÑģÑĤоÑıÑĤелÑĮ +ĠобÑĢаз ованиÑı +з н +ĠÐIJ ÑĦ +ĠÑģ Ñħ +иг а +ик Ñģ +ĠÐĵ оÑģ +ĠÐĵ ÑĢи +ĠÐľ ал +ĠÑĢ еп +ÑĤ елÑı +Ġв олн +ĠмоÑĢ е +Ġп лен +ĠÑģ ÑĦеÑĢ +ĠÑĥб еж +ĠÑĥÑĩ еб +Ġнеп ÑĢи +ĠпÑĢе им +еÑĩ ениÑı +из аÑĨии +ĠговоÑĢ Ñı +Ġза ÑħваÑĤ +ĠпеÑĢв Ñĭе +ĠÑģво емÑĥ +ĠÑģÑĤÑĢÑĥк ÑĤÑĥ +ĠкоÑĤоÑĢ омÑĥ +ĠÑĢабоÑĤ аеÑĤ +ĠиÑģкÑĥÑģ ÑģÑĤва +ĠнаÑģÑĤоÑıÑī ее +Ġоп Ñĥбликов +ĠÑģвидеÑĤ елÑĮ +оÑģÑĢед ÑģÑĤвенно +ĠдеÑıÑĤелÑĮ ноÑģÑĤÑĮ +ĠоÑĤноÑģ иÑĤелÑĮно +С Ðł +Ñĭ л +ĠÑģ н +ĠÑį п +ад и +ад Ñĭ +ан ÑĮ +аÑĤ Ñĭ +в еÑģ +п иÑĤ +ÑĥÑĩ и +ĠÐķ Ñīе +ĠÐļ Ñĥб +ĠмÑĭ Ñģ +Ġп ап +ĠÑĥ гÑĢ +ĠÑĦ он +ĠÑħ им +аз до +в аÑĤÑĮ +да ли +ив ид +и ÑĨиÑı +ÑĥÑģÑĤ Ñı +Ñĩ ина +ĠÐĶ миÑĤ +ĠÑģк аж +ж енеÑĢ +ÑĥÑİÑĤ ÑģÑı +ĠЧеÑĢ ез +Ġв ÑģÑĤÑĥп +Ġдав но +Ġком мÑĥ +ĠкоÑĢ оÑĤ +ĠоÑģв об +ĠпÑĢ еÑģÑģ +ĠÑĢ едак +еÑī ениÑı +ĠвпеÑĢ ед +ĠвÑģÑĤÑĢ еÑĤ +Ġзак онÑĩ +Ġк ваÑĢÑĤи +ĠмеÑĤ ÑĢов +ĠпеÑĢв ÑĥÑİ +Ġпод Ñĩин +ĠпÑĢи лож +ĠÑģкоÑĢ ее +вед ение +ин Ñģкого +ĠконÑĦ лик +ĠпеÑĢед аÑĩ +ĠÑģиÑĤÑĥ аÑĨии +ĠÑģпеÑĨи алиÑģÑĤ +ĠпÑĢавиÑĤелÑĮ ÑģÑĤва +д Ñı +ĠÐľ а +ĠÐŀ к +ĠÐł Ñĥ +ĠТ а +ил л +л Ñĥж +ÑĤи к +ÑĤ ÑģÑı +Ġав ÑĤ +веÑĢ ÑĤ +ем ÑģÑı +или з +пÑĢ оÑĩ +ĠÐĶ ÑĢÑĥг +ĠХоÑĤ Ñı +Ġкни г +Ġмо ей +Ġоб оÑĢ +ĠÑģÑĤ ад +ĠÑħ ÑĢан +ĠÑĩ ÑĥÑĤÑĮ +ĠÑıÑģ но +ж ение +иÑĨи он +пÑĥÑģ ка +Ñĥв ÑģÑĤв +Ġоп ÑıÑĤÑĮ +ĠпиÑĪ еÑĤ +ĠÑĢаз но +ĠÑĤеаÑĤ ÑĢ +аÑĤелÑĮ н +еп енно +ÑģÑĤÑĢо ен +ĠÐĺ менно +ĠгÑĢÑĥпп а +ĠдоÑģÑĤ иж +ĠпеÑĢв Ñĭм +ĠÑĤоÑĢг ов +ĠдеÑĢев нÑı +Ġк аÑĤегоÑĢ +ĠÑįкÑģпеÑĢ им +ĠпÑĢед полаг +ĠÑģоÑģÑĤоÑı ние +Ġнев озможно +ĠÑģооÑĤвеÑĤÑģÑĤв ии +Ġнеп оÑģÑĢедÑģÑĤвенно +ÑĢ д +Ñĥ Ñı +Ñį й +Ñį л +Ġп и +ĠÑİ Ð¶ +в иÑĤ +ж ал +ÑĢÑĥ б +Ñı ÑİÑĤ +ĠÐļ ÑĢÑĭ +Ġб ой +б ÑĢоÑģ +ин ой +кÑĥ да +мен ÑĮ +ов ед +ог ла +п оÑĢÑĤ +ÑıÑĤи й +Ġж иÑĤÑĮ +Ġзна л +Ġкл еÑĤ +ĠмаÑĢ ÑĪ +Ġож ид +из вод +иÑģÑĤ ов +оÑĦ еÑģÑģ +ÑĢа ÑģÑĤа +ĠаÑĢÑħ иÑĤ +Ġвд ÑĢÑĥг +ĠдвÑĥм Ñı +Ġна лиÑĩ +ĠоÑĢг ан +Ġо ÑħÑĢан +ĠпеÑĢ еп +ĠпÑĢ иÑģÑĤ +ĠÑģай ÑĤе +ĠÑĦоÑĢм е +ÑİÑīиÑħ ÑģÑı +ĠС оглаÑģ +ĠпеÑĢ Ñģон +ĠÑĢаз ÑĢÑĥÑĪ +ĠÑĢам каÑħ +ĠÑĥÑĢов нÑı +Ġаб ÑģолÑİÑĤ +ĠваÑĢи анÑĤ +Ġж иÑĤелей +ĠобÑĢаз ов +ĠÑĢаÑģ ÑģÑĤоÑı +аÑĨи оналÑĮ +ĠнеÑģ моÑĤÑĢÑı +ĠÑĦин анÑģов +ĠнапÑĢав лен +ĠÑ ī +ÐĿ Ðĺ +ÑĦ е +ÑĦ ÑĤ +Ñij в +ĠÐĺ м +ĠС Ñĥ +ĠЮ ж +Ġе д +ÐŁ еÑĤ +в ей +ок Ñģ +ÑĤи е +ÑĨ ем +ĠÐIJ лÑĮ +ĠÐĿ аÑĢ +Ġз ал +ĠÑģ ÑĥÑī +ĠÑĤ оÑĢ +кÑĢÑĭ ÑĤ +ÑĢ еÑģÑĤ +ĠÐĴ едÑĮ +ĠÐŀ дин +ĠÐŁÐµÑĤ ÑĢ +Ġа ÑĤак +Ġпо иÑģ +ĠÑģам а +ĠÑģоб ÑĢ +ĠÑĤ ело +л ениÑİ +ÑģÑĤв ии +Ġдо Ñħод +Ġзам еÑĩ +Ġзем ле +Ġзна еÑĤ +Ġпоз же +ĠÑģв еÑĢÑħ +ĠÑģÑĤ ÑĢаÑĪ +ĠÑĤак аÑı +ÑĤелÑĮ но +ÑĩеÑģ кой +ĠСов еÑĤа +ĠвÑĭÑģ каз +Ġголов Ñĥ +Ġдел аеÑĤ +Ġзав еÑĢÑĪ +ив аеÑĤÑģÑı +ĠговоÑĢ ÑıÑĤ +ĠгоÑĢ аздо +ĠдÑĢÑĥг ого +Ġпоп ÑĥлÑıÑĢ +ĠÑģов меÑģÑĤ +ĠÑģозд аниÑı +ĠÑĤÑĢанÑģп оÑĢÑĤ +оÑģлед ÑģÑĤвии +Ġдополн иÑĤелÑĮ +г н +Ñĭ д +ĠÐij о +ĠÐĺ Ñħ +ĠЧ а +аÑĤ е +д он +ж ив +лÑı ÑĢ +н аз +оÑĩ н +пÑĢ е +Ñī ен +ĠÐij Ñĥд +ĠÐĴ ол +ĠÐĵ ен +ĠТ ÑĥÑĢ +ĠЧ ем +Ġг ип +Ġк ож +Ġл ож +г ÑĢан +д елÑĮ +кÑĢ аÑģ +п олн +ÑģÑĤ ей +ÑĤи на +ÑĨ ами +Ñĩ инÑĭ +ĠС лед +Ġни же +ĠÑĥж аÑģ +ам енÑĤ +оÑģ нов +ĠСоÑİ Ð·Ð° +Ġкак им +ĠобÑĬ ем +ĠÑĢе алÑĮ +ĠÑģ огла +ĠÑĥÑģл Ñĥг +анд аÑĢÑĤ +ибли оÑĤ +лÑı еÑĤÑģÑı +п ÑĢедел +пÑĢоÑĩ ем +Ġзн амен +ĠоÑĩ евид +ĠпомоÑī ÑĮ +ĠпÑĢав ил +ĠÑĢели ги +ĠÑĤеоÑĢ ии +ĠÑĥÑĢов не +Ġев ÑĢопей +ĠоÑĤлиÑĩ ие +ĠÑģ наÑĩала +ĠÑĤелеÑĦ он +Ġдвиж ение +Ġдолл аÑĢов +Ġкоманд иÑĢ +ĠпÑĢоиÑģ Ñħод +ĠÑĢаÑģ полаг +ов аÑĤелÑĮно +Ġмнож еÑģÑĤво +ĠпоÑģлед ние +Ðŀ ÐĴ +ĠÐIJ д +ĠÐĶ е +ĠÐĶ и +з ов +ог а +он ÑĮ +оÑĢ и +Ñĥ ем +ĠÐĴ ал +ĠÐĿ ек +Ġг аÑĢ +Ġг иб +Ġд ли +Ġд ни +Ġж ал +Ġп ад +ĠÑĢ еÑģ +ени л +оÑĩ ен +Ñĭв аÑı +ĠÐļ ажд +Ġд аÑĤÑĮ +Ġд лин +Ġд ÑĢÑĥж +Ġне Ñĥд +Ġп лем +ĠÑĢе ÑĪи +ĠÑģл ÑĥÑĪ +ĠÑģ ÑĢаж +анд ид +иÑĢов а +ÑĤеÑĢ еÑģ +ĠÐIJн гли +Ġглав е +Ġдеп ÑĥÑĤ +Ġзв езд +Ġкол он +ĠпеÑĢ еж +ĠÑģам Ñĭе +ĠÑĥ кÑĢеп +ĠÐľÐ¾Ñģк вÑĭ +ĠвоÑģп иÑĤ +Ġвп еÑĩаÑĤ +ĠнаÑĩ али +Ġпод ÑĢаз +ĠжÑĥÑĢ нали +ĠиÑģÑĤоÑĢ иÑı +ĠпÑĢоекÑĤ а +ĠÑĢÑĥÑģ Ñģкой +ĠживоÑĤ нÑĭÑħ +Ġзнамен иÑĤ +Ġкомп аниÑı +ĠопеÑĢ аÑĨии +ĠÑĢаÑģÑģ моÑĤÑĢ +ĠпÑĢогÑĢамм Ñĭ +ĠзнаÑĩ иÑĤелÑĮно +ĠÑĥнивеÑĢÑģ иÑĤеÑĤа +Ðŀ ÐĿ +Ñĩ Ñĥ +ĠС к +ад а +аÑĤ ÑĢ +д аÑĢ +к еÑĢ +о ÑĨи +ÑĢи п +Ñģ ад +ÑĦ он +Ñĩ ез +ĠÑĢ ей +ан но +а ÑģÑĤи +веÑĢ Ñħ +коÑĢ е +ни ÑģÑĤ +ов ое +ок ол +ол го +она л +оÑģÑĤ о +оÑĩ ки +ÑĨи ей +ĠÐĶж он +Ġг ÑĢом +Ġд ÑĢам +Ġжиз н +Ġн оÑĩÑĮ +ĠоÑĤ еÑĨ +ĠоÑĤ ÑĨа +Ġп аÑĢÑĤ +Ġп лав +ĠÑĤ еле +ĠÑħоÑĤ ÑĮ +ĠÑı пон +иÑĦ ика +Ġден ег +ĠжÑĥÑĢ на +Ġим ели +Ġи наÑĩе +Ġмаг аз +ĠмаÑĪ ин +Ġмог ла +ĠоÑĤ ÑĢаж +ĠпеÑĢ еÑĪ +ĠÑĩ еÑģÑĤÑĮ +ĠÐĿикол а +ĠÐłÐ¾ÑģÑģ иÑı +Ġанал ог +ĠвÑģ коÑĢе +ĠнаÑĩ ало +ĠÑĢаÑģ Ñħод +ĠÑĦÑĢон ÑĤа +ĠÑĨенÑĤ ÑĢа +ĠженÑī инÑĭ +Ġкил омеÑĤ +ĠмеÑģÑı ÑĨев +Ġмона ÑģÑĤÑĭ +ĠÑģообÑī ил +ĠСоглаÑģ но +Ġвозд ейÑģÑĤв +ĠинÑģÑĤÑĢÑĥ менÑĤ +ĠболÑĮÑĪин ÑģÑĤво +ÐIJ Т +С Т +в л +з ÑĢ +ÑĪ Ñĥ +аж а +н ин +ÑĢ ег +ÑģÑĤ о +ÑĤ ÑĢи +Ñĥ ÑĢÑĥ +ĠÐĽÑİ Ð± +ĠÐĿ аÑĩ +ĠÑģ иÑħ +ан ее +в али +им ен +к олÑĮ +п ÑĥÑģÑĤ +Ġб ÑĢиг +Ġб ÑĢон +ĠвÑĭ иг +Ġк оÑģÑĤ +ĠлиÑĨ о +ĠпÑĢ ок +ĠÑĩа Ñīе +н аждÑĭ +Ñģ моÑĤÑĢ +ÑĪ еÑģÑĤв +Ġвид ов +Ġде ÑģÑıÑĤ +ĠиÑģ Ñĩез +ĠлÑİб ви +ĠпеÑĢ ен +Ġпол ез +Ġпол ка +ĠÑģем ÑĮе +ĠÑģем ÑĮи +ĠÑĩиÑģ ла +ĠÑıзÑĭ ке +л ением +ÑĩеÑģки Ñħ +Ñıж ении +Ġана лиз +ĠбеÑĢег Ñĥ +Ġпод ÑĢоб +ĠпÑĢин Ñıл +ĠÑĢеж иÑģÑģ +ĠÑģмеÑĢ ÑĤÑĮ +ĠÑģмÑĭÑģл е +ĠÑĤан ков +ĠÑįÑĦÑĦ екÑĤ +ĠÐļон еÑĩно +Ġдивиз ии +Ġзаб олев +Ġп олÑĮзов +ĠÑĢÑĥÑģ ÑģкиÑħ +ĠÑģо ÑħÑĢани +ĠознаÑĩ аеÑĤ +ĠÑĢелиги оз +ĠÑģоглаÑģ но +ĠÑĢеволÑİ ÑĨии +ĠзавиÑģ имоÑģÑĤи +п е +ĠÑĤ Ñİ +ай ÑĤ +ÑĨ еп +ÑĮ ми +ĠÐĺ ÑĤа +ĠÐĽ иÑĤ +ĠÐľ аÑĤ +Ġп ÑĤи +ĠÑģ ни +ĠÑĦ иÑĢ +аÑı ÑģÑĮ +к ÑĢов +ож ид +оÑĩ ка +пеÑĢ е +п лаÑĤ +Ñģо ÑĨи +ÑĪÑĤ аб +ÑĬ екÑĤ +ĠСв ÑıÑĤ +Ġв кÑĥÑģ +Ġдом е +Ġм оÑģÑĤ +Ġп алÑĮ +ĠÑģв ÑıÑĤ +ĠÑĤ Ñĥда +ивид Ñĥ +ÑĥÑİÑī ие +Ġб ÑĢаÑĤÑĮ +Ġвид ел +ĠоÑĢ ден +ĠпеÑĢ ег +Ġпол аг +ĠпÑĢоÑĪ л +ĠÑģк лон +ĠÑĤвоÑĢ Ñĩ +ĠÐĴеÑĢÑħ ов +Ġзам еÑģÑĤ +Ġк андид +Ġкон кÑĥÑĢ +Ġпам ÑıÑĤи +ĠпеÑĢв ом +Ġпол ков +ĠполÑĮз Ñĥ +ĠÑĦилÑĮ ма +ĠÑĩаÑģÑĤÑĮ Ñİ +Ġб иблиоÑĤ +Ġин женеÑĢ +Ġоб ознаÑĩ +ĠÑģиÑģÑĤем Ñĥ +Ġкон ÑģÑĤÑĢÑĥк +ĠÑĤеÑħн олог +ĠпоÑģÑĤ епенно +ĠÐŁ а +Ġм м +г ÑĢа +з ин +ик о +м ед +н ок +п оÑĩ +ĠX IX +ĠÐĴ ен +Ġб иÑĤ +Ġг ен +Ġз им +Ġм оÑģ +ĠÑĢÑĭ б +ни ÑĨи +ов ав +ÑĢод е +ÑĢ Ñĭва +ÑģÑĤ ал +ĠÐĶ аже +ĠÐķ ÑģÑĤÑĮ +ĠÐļи ев +ĠбÑĥк в +Ġд аеÑĤ +ĠдеÑĤ и +ĠкнÑı з +Ġм акÑģ +Ġо ÑħоÑĤ +ĠпÑĢ еÑģ +ĠÑĢаз а +ĠÑģ мож +ĠÑģÑĥд а +ĠÑĦоÑĤ о +ĠÑĩ ÑĢез +ж ениÑı +з апад +но ÑģÑĤÑĢ +ов леÑĤ +о ÑħÑĢан +п еÑĩаÑĤ +Ñĩик ов +ĠÐĴ меÑģÑĤ +Ġаг енÑĤ +ĠбÑĥм аг +Ġзап аÑģ +Ġиг ÑĢок +Ġкак ое +Ġмож ем +ĠмÑĭÑģ лÑĮ +Ġнад еж +ĠнаÑĥ ки +ĠоÑĤ ÑĢÑıд +Ġпам ÑıÑĤ +Ġпл ани +Ġпо езд +Ġпо Ñħод +ĠÑĢез ко +ĠÑĤÑĥÑĢ ни +ĠÑĥ менÑĮ +оÑĤоÑĢ Ñĭе +ÑİÑīие ÑģÑı +ĠÐķвÑĢоп е +ĠÐŁÑĢ езид +ĠгоÑģ под +ĠдеÑģÑı ÑĤи +Ġкажд ой +ĠкаÑĢ ÑĮеÑĢ +ĠмÑĥж Ñĩин +ĠобоÑĢ Ñĥд +ĠпÑĢоиÑģ Ñħ +ĠÑģп окой +Ġапп аÑĢаÑĤ +ĠвлиÑı ние +Ġникак иÑħ +ĠогÑĢани Ñĩ +ĠпоÑģ моÑĤÑĢ +ĠпÑĢиз нак +ĠÑĥÑĢов енÑĮ +овлеÑĤ воÑĢ +ĠдиÑĢ екÑĤоÑĢ +Ġоказ алÑģÑı +ĠпÑģиÑħ олог +ĠÑģÑĤ андаÑĢÑĤ +ĠÑĦоÑĤ огÑĢаÑĦ +ĠпÑĢоизоÑĪ ло +Ġмного ÑĩиÑģлен +ĠобÑıз аÑĤелÑĮно +ÑĦ и +ĠТ Ñĥ +б ел +д оÑĢ +еÑģ к +иÑĩ н +к ак +к еÑĤ +л ез +л оÑĢ +н од +п ÑĥÑĤ +Ñħ оз +ÑĪ ло +ĠÐļ ÑĤо +ĠС еÑĢ +Ġк иÑģ +Ġл аг +Ġл ек +Ġп иÑī +ĠÑĨ ик +вÑĪ аÑı +д аÑĤÑĮ +ов ÑĥÑİ +ÑĢем Ñı +Ñĥм ан +Ġб ÑĢоÑģ +ĠвеÑī и +ĠоÑĤ кÑĢ +ĠÑģ ело +ĠÑĥÑĤ ÑĢа +аÑİÑī иÑħ +един е +ог ÑĢад +олÑĮ ÑĪе +ÑģÑĤÑĢ еб +ĠÐľÐ¾Ð¶ но +ĠСÑĢед и +Ġвой не +ĠвÑĭ ÑĪел +ĠиÑĤог е +ĠкÑĢ еÑģÑĤ +Ġна лог +Ġпож ал +ĠÑģк оÑĢо +ĠÑħоÑĩ еÑĤ +Ġво енно +ĠдоÑĢог и +Ġи ноÑģÑĤÑĢ +Ġмод ели +ĠможеÑĤ е +ĠпÑĢеп од +ĠÑģевеÑĢ о +ĠÑģлÑĥж бÑĭ +ĠÑĥÑĩ ÑĢежд +ĠÐļон ÑģÑĤан +ĠÐĿикол ай +ĠобÑĬÑıÑģ нÑı +ĠпÑĢев ÑĢаÑī +ĠÑĢебен ка +ĠÑģозд аÑĤÑĮ +ĠÑĦÑĥнкÑĨи и +ĠнаÑĩина еÑĤ +ĠполÑĥÑĩ или +ĠнаÑģÑĤ олÑĮко +ĠÑĢазлиÑĩ нÑĭе +ĠÑģледÑĥÑİÑī ий +ĠпÑĢеим ÑĥÑīеÑģÑĤв +ĠпÑĢоиз ведениÑı +ĠпÑĢавиÑĤелÑĮ ÑģÑĤво +оÑģÑĥдаÑĢÑģÑĤвен ного +Ðķ Ðł +ĠÐIJ б +ĠÐľ и +ĠÐ¥ а +ĠШ ÑĤ +Ġн Ñĥ +б ан +до Ñħ +з на +к оÑģ +ÑĢи ÑĨ +ÑĢи Ñı +Ñģ иÑı +ÑĤ ал +ÑĤ ÑĢо +Ñī ие +Ñī ий +Ñĭ не +ĠÐĴ ик +ĠÐĴ оз +ĠÐĶ он +ĠÐľ он +ĠТ ом +Ġв ел +Ġоб е +ĠÑģ ож +ТÐIJ СС +в ели +ков а +к ÑĢаÑĤ +од но +Ñģ каз +ÑĤ еÑģÑĮ +ĠÐŀÑĤе Ñĩ +Ġб лиж +Ġб омб +Ġк аÑĤа +Ġм ной +Ġо ÑĢÑĥд +ĠÑģ еÑģÑĤ +ĠÑĤÑĢÑĥ б +ĠÑħ ваÑĤ +алÑĮ Ñıн +ен наÑı +н ениÑı +ног ие +ой Ñĩив +ÑıÑĤÑĮ ÑģÑı +Ġваж но +ĠвÑģем и +Ġкак иÑħ +ĠлÑİб им +Ġпол оÑģ +ĠпÑĥÑĤ ем +ĠÑģвÑıз ÑĮ +ов Ñģкий +ĠСеÑĢг ей +ĠСÑĤа лин +ĠклаÑģÑģ а +ĠмаÑĪи нÑĭ +Ġна Ñģлед +Ġпол ном +ĠÑĢек лам +ĠÑĦак ÑĤоÑĢ +ĠÑĩлен ов +ĠболÑĮÑĪ ое +Ġво еннÑĭÑħ +ĠнапиÑģ ал +ĠпÑĢо ÑıвлÑı +ĠÑģобÑĭÑĤи й +ĠÑģобÑĭÑĤи Ñı +ĠÑĤоваÑĢ иÑī +ĠнедоÑģÑĤ аÑĤ +ĠÑģам оÑģÑĤоÑı +ĠоÑĤноÑĪ ение +аÑĢ Ñħ +г ип +к ÑĢо +п ал +п ан +п ий +ÑĢ оÑĢ +ĠÐĵ ол +ĠÐĶ ав +ĠÐļ ÑĥÑĢ +ĠÐľ ай +ĠÐľ ед +Ġан г +Ġм иÑĦ +Ġмо и +Ġо ке +ĠÑģ ин +ĠÑģ на +ем ÑĭÑħ +оÑĢ ÑĥÑģ +ÑıÑī иÑħ +Ġв ида +Ġвид Ñĥ +Ġв ÑĢаÑĩ +ĠвÑĭ ÑıÑģ +Ġг ÑĢÑĥд +Ġев ÑĢе +Ġм аÑĤÑĮ +ĠпÑĢ он +ĠÑĥ лÑĥÑĩ +ĠÑĥ Ñħод +ĠÑħл еб +аÑĤ ÑĥÑĢа +о един +олÑĮ но +ÑĢед иÑĤ +Ñĥ Ñģлов +ÑĥÑİÑī ий +Ñĩа ÑģÑĤÑĮ +ĠÐijоÑĢ иÑģ +Ġблаг о +Ġвед ÑĥÑī +Ġвов Ñģе +ĠвÑĭ дел +Ġкни ге +Ġл идеÑĢ +ĠлÑİд Ñıм +Ġм оÑĤив +ĠобÑī ем +Ġпок ол +Ġп ÑĢазд +ĠÑĢек ом +ĠÑģп екÑĤ +ĠÑģÑĤ ÑĢад +ĠÑĪ еÑģÑĤÑĮ +елов ек +нÑĥÑĤÑĮ ÑģÑı +ĠÐľÐ¸Ñħа ил +ĠбоÑĢÑĮ бÑĭ +ĠглÑĥб ок +ĠдÑĢÑĥг ое +Ġзани ма +Ġизб ÑĢан +Ġи ÑģÑĤÑĢеб +Ġкол лег +ĠлÑİд ÑĮми +Ġоб лаÑģÑĤ +Ġповод Ñĥ +Ġпод ÑĩеÑĢ +ĠпÑĢов ин +ĠÑĢаз нÑĭе +ĠÑģозд ан +ĠÑģп ÑĥÑģÑĤÑı +ĠÑģÑĤан еÑĤ +ĠÑģÑĤаÑĤÑĮ и +ов Ñģкого +пÑĢ оÑĦеÑģÑģ +Ġвоз глав +ĠиÑģÑĤоÑĢ иÑİ +Ġпоз иÑĨии +ĠпÑĢин ÑıÑĤÑĮ +ĠкоÑĤоÑĢ Ñĭми +Ġназ ÑĭваÑİÑĤ +ĠпÑĢоÑĨеÑģÑģ е +ĠÑĢÑĥÑģ Ñģкого +ĠжÑĥÑĢнали ÑģÑĤ +ĠоÑĤноÑĪ ений +ĠÑĩеловек ом +ĠиÑģполÑĮзов аниÑı +п Ñĭ +Ñģ Ñģ +ĠÐĵ а +ĠÐŀ Ñĩ +ĠС и +ĠÐŃ ÑĢ +Ġв а +ĠÑĦ ÑĢ +з еÑĢ +ин д +ки п +к об +Ñģ ом +ÑĦ ин +Ñī аÑı +ÑĮ Ñıн +ĠÐĴ аÑĪ +ĠÐľ ен +ĠТ ÑĢо +Ġд ип +Ġиз м +Ġм оÑı +Ġм ÑıÑģ +ĠÑĥз н +ĠÑĩ Ñĥж +пÑĥÑģ к +ÑĢов а +ĠÐľ акÑģ +ĠЯ пон +Ġб ÑĢак +ĠбÑĥд Ñĥ +Ġв ÑĢед +Ġком Ñĥ +Ġнед о +Ġпол к +Ġпо ÑıÑģ +ĠпÑĢ оÑĢ +Ġп ÑĭÑĤа +ĠÑĥб ед +ĠÑĩаÑģ а +ив ÑĪий +ÑĤ елей +Ñĭв али +ĠÐľÐ¾Ð¶ еÑĤ +ĠÐŁÐ¾ÑĤ ом +Ġв еÑģÑĤи +Ġвой на +Ġв ÑĢоде +ĠвÑģ емÑĥ +Ġзн аÑĤÑĮ +Ġп лаÑģÑĤ +ĠпоÑħ ож +ĠÑģ ÑĦоÑĢм +ĠÐľÐ¸Ð½ иÑģÑĤ +ĠÐŁÐ¾Ñĩ емÑĥ +Ġвозд ÑĥÑĪ +ĠвÑĭ ÑģÑĤав +ĠзадаÑĩ и +ĠмеÑģÑı ÑĨа +Ġне ожид +ĠпоÑģ ÑĢед +ĠпÑĢиÑĩ ем +ĠÑĢег ион +ĠÑĥвеÑĢ ен +ĠÐĴели кой +ĠболÑĮÑĪ ÑĥÑİ +Ġоб оÑĢонÑĭ +ĠÑģиÑģÑĤем е +ĠÑģÑĤан ÑĨии +ĠÑģÑĤ олÑĮко +ĠÑĥп оÑĤÑĢеб +ĠвÑĢемен ем +ĠоÑģÑĤ аеÑĤÑģÑı +Ġпо ÑģÑĤанов +ĠпоÑģлед ний +ĠпÑĢоÑĦеÑģÑģ оÑĢ +ĠÐł еÑģпÑĥблики +ĠпÑĢезид енÑĤа +ĠÑĤÑĢеб ованиÑı +ĠпÑĢедÑģÑĤав лен +Ñĭ Ñģ +Ġл ÑĮ +ĠÑģ ÑĢ +в ез +в ÑĭÑħ +м ов +ÑĥÑģ а +Ñĩ ал +ĠÐIJÑĢ м +ĠÐij ез +ĠÐľ ан +ĠС ан +ĠС ем +Ġв не +Ġз ло +Ġз Ñĥб +Ġл ев +Ġл од +Ġп иÑĤ +ĠÑĢ им +ĠÑĢ оз +ĠÑģ им +ĠÑģ ÑĥÑĤ +ĠÑĤ во +аг ог +да ÑİÑĤ +иÑĨ ей +к нÑĥл +лÑı ÑİÑĤ +ĠÐŀÑģ об +ĠгеÑĢ о +Ġкл ад +ĠкÑĢа Ñı +ĠÑģ омн +ĠÑģÑħ ем +ĠÑģÑĭ на +де ÑģÑıÑĤ +ÑĦеÑĢ ен +ĠбÑĥд ем +Ġвол оÑģ +Ġк иÑĤай +Ġнам еÑĢ +ĠобÑī ей +Ġпло Ñħо +ĠÑģк лад +ĠÑĥгÑĢ оз +ĠÑĥÑĩ ени +ĠÑĦ едеÑĢ +ĠÑĦоÑĢм Ñĥ +алÑĮ нÑĥÑİ +лам енÑĤ +ÑģÑĤв ÑĥеÑĤ +ĠÐĴÑĤоÑĢ ой +ĠÐŁÐµÑĢв Ñĭй +ĠÐŁÐµÑĤ ÑĢов +ĠвÑĭ глÑıд +ĠдоÑģÑĤ ав +Ġзад еÑĢж +ĠкÑĢай не +ĠокÑĢÑĥг а +ĠпÑĢед ÑĥÑģ +ÑĩеÑģ кого +ĠвÑĢем ена +ĠимпеÑĢ ии +ĠмедиÑĨи н +ĠпÑĢив лек +ĠÑģÑĩиÑĤ аеÑĤ +ĠÑįнеÑĢг ии +пÑĢо извод +ĠаÑĢÑĤи ллеÑĢ +ĠвеÑĢ нÑĥлÑģÑı +ĠвеÑĢоÑıÑĤ но +ĠмÑĥзÑĭ калÑĮ +ĠпÑĢиÑģ оедин +ĠинÑĦоÑĢм аÑĨиÑİ +ĠÑĥд овлеÑĤвоÑĢ +Ñģлед оваÑĤелÑĮ +ĠповеÑĢÑħ ноÑģÑĤи +ĠиÑģклÑİÑĩ иÑĤелÑĮно +ĠнеобÑħодим оÑģÑĤи +ÐIJ ÐĿ +Ñģ в +Ġо в +б ал +г ин +ж еÑĤ +ил е +н ам +ÑĤ аÑĢ +ĠÐĵ аÑĢ +ĠÐĵ ÑĢе +ĠÐł об +ĠÐł ом +Ġд аÑĢ +Ġд аÑĤ +Ġм ан +Ġп ил +ĠÑĤ ал +ĠÑħ ол +ĠÑį мо +анк ÑĤ +во ен +иÑģÑĤ Ñĭ +ки ва +мен а +ниÑĨ Ñĥ +ÑĢ оÑģÑĤ +ÑģÑĤ ÑĢи +ÑĤ воÑĢ +ÑĤе ли +ÑİÑī ÑĥÑİ +ĠбÑİ Ð´Ð¶ +Ġиде и +Ġм алÑĮ +Ġн ами +ĠÑĢаз д +ĠÑĢÑĥ кÑĥ +ĠÑģв ÑıÑī +ĠÑģем ÑĮ +ĠÑģ еÑĤи +ĠÑĥд об +ĠÑħоÑĩ Ñĥ +ни ÑĨип +ой деÑĤ +ÑĥÑģÑĤи л +Ġвз ÑıÑĤÑĮ +Ġдом ой +Ġж еÑĢÑĤв +Ġзем лÑİ +ĠкÑĢов и +ĠпÑĥÑĤ еÑĪ +ĠÑĢÑĥ каÑħ +ĠÑĨвеÑĤ а +вÑĪиÑħ ÑģÑı +л екÑĤив +опол ож +Ġдип лом +Ġкомп оз +ĠлÑİбов ÑĮ +ĠпеÑĢ еÑģÑĤ +ĠпиÑģÑĮ мо +ĠÑĢе ÑĦоÑĢм +ĠболÑĮÑĪ им +ĠвклÑİÑĩ аÑı +ĠженÑī ина +ĠконÑĤÑĢ ол +Ġоб лаÑģÑĤÑĮ +ĠоÑĢг анов +ĠпÑĢев ÑĢаÑĤ +ĠпÑĢиÑĢод Ñĭ +ĠÑģбоÑĢ ной +ĠÑģÑĤÑĢан аÑħ +Ġвним аниÑı +ĠкаÑģ аеÑĤÑģÑı +ĠлиÑĩ ноÑģÑĤи +ĠпиÑģ аÑĤелÑĮ +ĠпÑĢи обÑĢеÑĤ +ĠпÑĢоÑĨеÑģÑģ а +ĠÑģообÑī аеÑĤ +ĠÑģÑĤÑĢÑĥк ÑĤÑĥÑĢ +ĠÐĽÐµÐ½Ð¸Ð½ гÑĢад +ĠÐĿек оÑĤоÑĢÑĭе +ĠнаÑħод ÑıÑĤÑģÑı +ĠоÑĤноÑģ иÑĤÑģÑı +ĠпеÑĢег овоÑĢ +ĠÑģоÑģÑĤоÑı ниÑı +иÑĤелÑĮ ноÑģÑĤи +ĠпÑĢиÑħод иÑĤÑģÑı +ĠнапÑĢав лении +ĠÑħÑĥдож еÑģÑĤвен +ĠиÑģполÑĮз ÑĥеÑĤÑģÑı +ĠÐŀÑĤеÑĩ еÑģÑĤвенной +ÐIJ н +Ðĺ н +в Ñĥ +Ñħ в +ĠÐŃ Ð½ +ĠÑĢ Ñı +б ез +д ем +д ÑĢа +еÑĢ Ñĭ +з ан +н ож +п ло +Ñģ ам +ÑĤÑı г +ÑĨ аÑĢ +ĠÐĺ лÑĮ +ĠÐľ иÑĢ +ĠТ ол +Ġб еж +Ġг ал +Ġк ад +Ġм ÑĥÑģ +Ġни ж +Ġп ан +ĠÑĨ иÑĦ +ĠÑİ Ð³Ð¾ +б еÑĢг +иÑĤ аÑĢ +ÑĨ енÑĤ +Ġа ÑĤом +ĠдÑĥ ÑĪи +Ġн еÑĢв +ĠÑĢ еÑĩи +ĠÑĢÑı да +ĠÑģ ила +ав каз +аÑģÑģ аж +гÑĢ еÑģÑģ +ÑģÑĤ аÑĤи +ĠС анкÑĤ +Ġвиде о +ĠвÑĭ ÑĢаз +Ġдал ее +Ġзем лÑı +ĠмеÑģÑı ÑĨ +Ġпол но +ĠÑĢак еÑĤ +ĠÑģп ÑĢоÑģ +ĠÑĤак ом +ĠÑįк ÑĢан +ив ÑĪиÑģÑĮ +наз наÑĩ +об оÑĢоÑĤ +ÑģÑĤвен н +ĠÐIJнгли и +ĠС ейÑĩаÑģ +ĠбаÑĤ алÑĮ +ĠвÑĭп ÑĥÑģк +ĠвÑĭÑģок о +ĠдÑĢÑĥз ÑĮÑı +Ġзав оев +ĠмоÑģ ков +ĠпаÑĢÑĤи й +ĠÑĢаÑģ поÑĢ +ĠÑģеÑĢд ÑĨе +ĠзавиÑģ иÑĤ +ĠиÑĤ алÑĮÑıн +ĠмÑĥ ниÑĨип +ĠпоÑĢÑıд ке +ĠÑĢÑĥÑģ Ñģкий +ĠÑģлов ами +ĠÑģÑĤоÑĢон е +ĠÑģÑĤÑĢ аÑĤег +ĠÐĺванов иÑĩ +ĠÐĿеÑģ моÑĤÑĢÑı +ĠдейÑģÑĤв ие +Ġинд ивидÑĥ +ĠпÑĢоÑĤив оÑĢ +ĠÑģеÑĢ едине +ĠÑģиÑĤÑĥ аÑĨиÑı +Ġназв анием +ĠнаÑħод илÑģÑı +ĠогÑĢани Ñĩен +ĠподÑĢаз дел +ĠÐIJлекÑģанд ÑĢа +ĠпÑĢед назнаÑĩ +ĠпÑĢоÑĤ Ñıжении +ÐĴ ÐĶ +Ðľ Ðĺ +ĠÑĤ Ñī +ав ÑĢ +ед а +л аж +ÑĢи л +ÑĤ ай +ÑĪ ев +ĠÐĴ ид +ĠÐĺ ли +ĠÐļ ам +ĠÐĿ аÑģ +ĠÐĿ ÑĮÑİ +ĠÐŁ ом +ĠТ еÑĢ +Ġб ег +Ġг он +Ġк аÑĦ +ĠÑģ ÑĥÑħ +ĠÑĤ иÑĤ +б олÑĮ +в олÑİ +г ÑĢÑĥз +ож да +п олÑĮ +Ñħ озÑı +ÑĨ веÑĤ +ĠÐij лаг +ĠаÑĢ ми +Ġб еÑģÑģ +Ġвод Ñĥ +Ġзап ÑĢ +ĠкоÑĢ ÑĢ +ĠÑģÑĭ гÑĢ +ĠÑĩеÑĢ ÑĤ +ĠÑıв но +ай лов +ÑĢи енÑĤ +ÑĢиз иÑģ +ÑĤеÑħ ни +ĠÐŁÐµÑĢ ед +ĠвÑģ лед +Ġд емон +Ġд овеÑĢ +Ġзав ед +Ġи ниÑĨи +ĠиÑģÑĤ ин +Ġмо его +Ġнав еÑĢ +Ġнов ое +ĠоÑĤ ÑĩеÑĤ +ĠпеÑĢв о +ĠпоÑĢ од +ĠпоÑĤ ок +ĠÑģо ÑĩеÑĤ +ĠÑĥлиÑĨ е +ĠÑĦÑĢ онÑĤ +ед агог +ин Ñģкой +лож иÑĤÑĮ +ов Ñģкой +ĠÐĴаÑģ или +ĠÐĴаÑģ илÑĮ +ĠÐľ ногие +Ġб ÑĢиÑĤан +Ġб ÑĭваеÑĤ +ĠвеÑĢ Ñģии +Ġвид еÑĤÑĮ +ĠконÑĨ ов +ĠобÑī его +ĠпиÑģÑĮ ма +ĠпÑĢав да +ĠпÑĢод аж +ĠÑģов еÑĤа +ĠÑĨенÑĤ ÑĢе +ĠÑĪиÑĢ око +Ġком менÑĤ +ĠкоÑĢпÑĥÑģ а +ĠмаÑĤ емаÑĤ +ĠпÑĢинÑı ÑĤо +ĠÑĢабоÑĩ иÑħ +ĠÑĢод илÑģÑı +ĠÑĥп омина +ĠвозÑĢаÑģÑĤ е +ĠподÑĤ веÑĢж +ĠполÑĥÑĩ ила +ĠпÑĢивод иÑĤ +ĠÑģоп ÑĢоÑĤив +аÑĤелÑĮ ÑģÑĤва +Ġдолж ноÑģÑĤÑĮ +Ġкол лекÑĤив +Ġмилли онов +Ġоказ алоÑģÑĮ +ĠоÑĤделÑĮ нÑĭÑħ +Ġполож ениÑı +ĠлиÑĤеÑĢ аÑĤÑĥÑĢÑĭ +ĠÑĥнивеÑĢÑģ иÑĤеÑĤ +ĠÑįкÑģпеÑĢим енÑĤ +Ðł ÐIJ +Ðł Ðŀ +з о +Ñģ Ñİ +Ñİ Ð½ +ĠÐij и +Ġб Ñĥ +Ġе ж +Ġк г +д ев +д ом +ж еÑĢ +ж им +ом а +оÑĤ е +п аÑĤ +п ел +ÑĤ ол +ÑĨ ел +Ñī иÑĤ +ĠÐľ ол +ĠФ ед +Ġб аб +Ġб аÑĪ +Ġг ÑĢÑĥ +Ġин ÑĦ +Ġо Ñģл +ĠÑģÑĭ ÑĢ +аÑĤ аÑĢ +г лаÑģ +з наÑĩ +оп еÑĢ +Ñĥк ов +Ñĩ ика +Ñĭд ÑĥÑī +ĠÐĽ онд +ĠÐŀ лим +Ġвек е +Ġв низ +Ġди ал +Ġж ена +Ġж или +ĠпÑĢ иÑĤ +ĠÑģ еле +ĠÑģм еÑĪ +ĠÑģ ним +ĠÑĤÑĢ ÑijÑħ +ĠÑĥб иÑĤ +ĠÑĥ ÑĩеÑĤ +аÑİÑī ий +вÑĭ Ñĩай +г оваÑĢ +ов ало +ÑħозÑı й +Ġв оÑĢоÑĤ +Ġглав а +Ġев ÑĢей +Ġз абоÑĤ +Ġиз меÑĢ +Ġмог ло +Ġне обÑĭ +Ġпод оз +ĠÑģв еÑĤа +ĠÑģем ей +ĠÑģп оÑĢÑĤ +аÑĤ елем +еÑī ение +ин Ñģкий +ник ами +ĠÐĴик ÑĤоÑĢ +Ġближ ай +ĠзаÑīиÑĤ Ñĭ +ĠкÑĢаÑģ ив +Ġп аÑģÑģаж +ĠÑĢеÑģ ÑĥÑĢÑģ +ĠÑģвÑıз ан +ĠÑĤÑĭÑģÑıÑĩ и +ĠÑĩаÑģÑĤ ей +еÑĢн аÑĤоÑĢ +ÑģÑĤв овал +Ñĥжд ениÑı +ĠболÑĮ ÑĪие +Ġиз гоÑĤов +ĠнаÑĢод ов +ĠоконÑĩ ил +ĠоÑĤвеÑĤ ил +ĠпоÑĤ енÑĨи +ĠÑģÑĩиÑĤ аÑĤÑĮ +Ġказ алоÑģÑĮ +ĠоÑģнов нÑĭÑħ +ĠполиÑĤ ики +ĠпÑĢе обÑĢаз +ÐŁÐµÑĤ еÑĢбÑĥÑĢг +ĠпÑĢедлож ил +ĠпÑĢед полож +ĠÑģовеÑĤ Ñģкий +ĠÑģоÑĤÑĢÑĥд ниÑĩ +ÑģÑĤанав лива +Ġназ ÑĭваеÑĤÑģÑı +ĠÑĢаÑģполож ен +ĠÑĢезÑĥлÑĮÑĤаÑĤ Ñĭ +ĠÑĩемпион аÑĤа +ĠоÑĢганиз аÑĨиÑı +ĠÑħаÑĢакÑĤеÑĢ иÑģÑĤ +Ġвзаим одейÑģÑĤв +Ġвп оÑģледÑģÑĤвии +Ðķ ÐĿ +ĠÐļ Ñĥ +Ġг а +Ġп е +Ðļ ом +аÑĢ к +иÑĤ м +н еп +он и +Ñģ ид +Ñģ Ñĥд +ÑĤ ек +Ñĥд ÑĢ +ÑĪ ÑĥÑİ +ĠÐĽ ев +ĠÐŁÑĢ е +ĠУ же +Ġб ок +Ġе ди +Ġз еÑĢ +Ġк оÑĤ +Ġне ÑĦ +ĠÑģ аÑħ +аÑĢ ий +г ÑĢам +ем Ñĭе +иÑĨи Ñİ +к ими +лаг а +оÑĢ иÑı +ÑģÑĤ ой +ÑĦ иÑĨи +ĠÐĺ ÑĤак +Ġав ÑĤо +ĠкоÑģ м +ĠÑģ екÑģ +ĠÑģ ела +ĠÑį кип +ен ное +ÑģÑıÑĤ ÑģÑı +ÑĤ елем +ĠÐIJн ÑĤон +ĠÐij олее +ĠÐł абоÑĤ +Ġвид но +ĠгÑĥб еÑĢ +ĠклÑĥб а +Ġнов ÑĥÑİ +ĠÑĢ аÑģÑĤв +ĠÑģо Ñĩин +ĠÑģÑĥд еб +ĠÑĤак ÑĥÑİ +ĠÑĤеп ло +ĠÑĤÑĢан Ñģ +алÑĮ ном +веÑģÑĤ но +вÑĪие ÑģÑı +д аеÑĤÑģÑı +ĠÐŁÐ¾Ñģ лед +ĠбоÑĢÑĮ бе +Ġзн аниÑı +ĠконÑĨ еп +ĠмеÑģÑĤ аÑħ +ĠнеÑĥд аÑĩ +Ġо ÑĢиенÑĤ +ĠоÑĢÑĥж иÑı +Ġпам ÑıÑĤÑĮ +ĠÑģез она +ĠÑģлов но +ĠÑĤеаÑĤ ÑĢа +Ñģк олÑĮко +Ñģп екÑĤив +ĠболÑĮÑĪ аÑı +Ġвоен ной +ĠвÑĤоÑĢ ого +Ġглав ное +Ġком анда +Ġкоманд Ñĥ +ĠмаÑģ ÑĪÑĤаб +ĠоÑģÑĤÑĢов а +ĠоÑĤмеÑĤ ил +ĠпÑĢоÑĤ еÑģÑĤ +ĠÑĢаÑģÑģ ÑĩиÑĤ +ĠÑĨеÑĢков ÑĮ +ĠÑĩелов еÑĩ +ĠÐľÐ¸Ñħ айлов +ĠаÑĢÑħиÑĤ екÑĤ +ĠкаÑĩ еÑģÑĤва +ĠконÑĤÑĢ олÑĮ +ĠпÑĢед ÑĭдÑĥÑī +ĠÑģ ведениÑı +ĠÑģкоÑĢ оÑģÑĤÑĮ +ĠмакÑģ ималÑĮ +ĠнаÑĩалÑĮ ник +ĠÑĤÑĢад иÑĨион +ĠСовеÑĤ Ñģкого +г оÑģÑĥдаÑĢÑģÑĤвенного +ÐĴ ÐIJ +Ðļ ÐIJ +Ñĩ ÑĮ +Ñĭ ÑĢ +Ñį м +ĠÐij а +ĠÐij Ñĥ +ĠÐļ ÐŁ +ĠÐł а +ĠС а +ĠЦ Ðļ +Ġд л +ам а +в иг +г ÑĢе +еÑĢ о +ж ан +из Ñĥ +н ап +н оÑĢ +од н +ÑĢ ек +Ñģ ин +Ñħ ан +Ñħ ов +Ñī ей +Ñĭ Ñģк +ĠÐijÑĭ л +ĠÐĵ иÑĤ +ĠÐļ ан +ĠТ ÑĥÑĤ +ĠЦ еÑĢ +Ġд оÑĩ +Ġл ок +Ġл оÑĪ +Ġн еж +ав но +б лаг +вÑĪ ее +гоÑĢ ÑĮ +еÑĢ еж +еÑĢ ов +им Ñĥм +о ноÑģ +о ÑĨен +ĠÐļаÑĢ л +Ġг оÑģÑĤ +Ġд оÑĩÑĮ +Ġк оÑĢм +Ġк ÑĢаÑĤ +Ġм лад +Ġна ÑĪе +Ġног и +Ġоб еÑī +Ġпл од +ĠпÑĮ еÑģ +ĠÑĥп оÑĢ +е еÑĤÑģÑı +еÑģÑĤв Ñĥ +иÑĢÑĥ ÑİÑĤ +к оÑģÑĤÑĮ +пиÑģ ан +ĠаÑĢм иÑı +ĠаÑĤ моÑģ +ĠбÑĭ ÑģÑĤÑĢ +Ġвой нÑĥ +ĠдÑĥм аÑİ +ĠзаÑģ ед +ĠинÑĤ ел +Ġкан ал +Ġнап ад +ĠоÑĤ ÑĢиÑĨ +ĠÑĢед ко +ĠÑģеÑĢ ии +ĠÑĪкол е +адÑĨ аÑĤи +вÑĪий ÑģÑı +коб ÑĢиÑĤ +ĠÐľÐ¾Ñģкв Ñĥ +Ġбоев ÑĭÑħ +ĠвÑĭд елÑı +ĠдеÑģÑı ÑĤÑĮ +Ġдок ÑĤоÑĢ +ĠкоÑĢ олÑı +Ġк ÑĢизиÑģ +Ġмн ение +ĠпÑĢив ед +ĠпÑĢиÑĪ ел +ĠÑĢаÑģ ÑĩеÑĤ +ĠболÑĮÑĪ ей +ĠболÑĮ ÑĪиÑħ +ĠобÑĢаÑĤ но +ĠпоÑĢÑıд ка +ĠÑĤеÑħ ники +ĠÑĤÑĢеб ÑĥеÑĤ +ĠÑĥÑģпеÑĪ но +ĠÑĩеÑĤÑĭÑĢ еÑħ +ĠÑĩÑĥв ÑģÑĤва +ĠÑĩÑĥв ÑģÑĤво +ĠÑįлекÑĤ ÑĢи +оÑģÑĤоÑĩ ной +ĠоÑģнов ной +ĠпÑĢоблем а +ĠÑģÑĤÑĢел ков +Ġоказ алиÑģÑĮ +ĠоÑĤноÑĪ ениÑİ +ĠÐĴели кобÑĢиÑĤ +ĠпеÑĢ ÑģпекÑĤив +ĠнапÑĢав лениÑı +ĠобÑĢаз ование +ĠÑĢÑĥковод ÑģÑĤвом +ĠпÑĢедÑģÑĤав иÑĤелÑĮ +ĠгоÑģÑĥдаÑĢÑģÑĤвен ной +ÐĶ а +ÐĿ Ðŀ +б л +п Ñĥ +ĠÐŀ п +Ġо ÑĨ +ÐĻ оÑĢ +ÐŁ ÑĢи +ÐŁÑĢ о +и Ñīе +ол е +оÑİ Ð· +ÑĢи Ñħ +ÑĢо ÑĪ +ÑģÑĤ е +ÑĦ ил +ÑĪ ки +ĠÐij ол +ĠÐĶ ал +ĠÐł иÑģ +ĠС ÑĤо +ĠС Ñĥд +ĠТ ÑĢи +Ġл аÑĤ +Ġл ед +Ġн ен +ĠÑĥ ме +ĠÑħ оÑĢ +ĠÑįк Ñģ +ан ÑĤи +д ена +и наÑı +ли ÑģÑĤ +лÑİ Ð´Ð° +ÑĢаж д +ÑĢоÑģ л +Ñĩ его +Ñĩ иÑģÑĤ +ÑĮ нÑĭе +ÑijÑĤ ÑģÑı +Ġвз Ñıл +Ġг ÑĢан +Ġед ва +Ġид ÑĤи +ĠпаÑĢ а +ĠÑģай ÑĤ +ĠÑģво Ñij +ĠÑģ Ñħод +ĠÑĤÑİ ÑĢÑĮ +ĠÑįп из +оÑĩ нÑĭй +ÑĢов ал +Ñģов еÑĤ +Ñģп екÑĤ +ĠÐIJв ÑĤоÑĢ +Ġг ваÑĢд +ĠгоÑĢ ÑıÑĩ +ĠзаÑī иÑī +Ġкни га +Ġкни гÑĥ +ĠлиÑĩ но +ĠмеÑĤ ал +Ġог онÑĮ +Ġпон Ñıл +ĠпоÑģ еÑĤ +ĠÑģеÑĢ еб +ĠÑĦоÑĢм а +ив аниÑı +огÑĢам м +оÑģÑĤок е +пиÑģ коп +ÑĤен анÑĤ +ÑİÑīий ÑģÑı +ĠÐĺÑĤа лии +ĠÐĽÐµÐ½Ð¸ на +Ġмод елÑĮ +ĠнаÑĥÑĩ но +ĠпеÑĢв ое +Ġпод ним +Ġпом оÑĩÑĮ +ĠпÑĢин еÑģ +ĠÑĢ егиÑģÑĤ +ĠÑģÑĩиÑĤ ал +ĠÑĤал анÑĤ +ĠÑĥвид ел +вед ений +ĠÐĴ пÑĢоÑĩем +ĠакÑĤив но +Ġглав нÑĭй +ĠкапиÑĤ ан +ĠкÑĢай ней +ĠмеÑĢ опÑĢи +Ġоб ÑĢабоÑĤ +ĠплоÑīад и +Ġпод веÑĢг +ĠпÑĢед поÑĩ +ĠÑģпÑĢав ед +ĠÑģÑĥб ÑĬекÑĤ +ĠÑĥвид еÑĤÑĮ +ĠÐĴ озможно +Ġвоен ного +ĠговоÑĢ или +Ġд емокÑĢаÑĤ +ĠобÑī еÑģÑĤво +ĠобÑĬекÑĤ ов +ĠпоÑģÑĤÑĢо ен +ĠпÑĢи гоÑĤов +ĠпÑĢо ÑħодиÑĤ +ĠÑģозд ание +ĠÑĩеловек Ñĥ +ÑģÑĤанав лив +ĠабÑģолÑİÑĤ но +ĠговоÑĢ иÑĤÑģÑı +ĠпÑĢав илÑĮно +ĠÑģледÑĥÑİÑī ие +ĠÐļонÑģÑĤан ÑĤин +Ġоказ ÑĭваеÑĤÑģÑı +ĠпÑĢедпÑĢи ÑıÑĤиÑı +пÑĢоÑĦеÑģÑģ ионалÑĮ +ĠпÑĢедÑģÑĤав лениÑı +ĠпÑĢомÑĭÑĪлен ноÑģÑĤи +Ðĺ ÐĿ +ĠÐ¥ о +ĠÑħ в +б еÑģ +в ок +к оÑĤ +л аз +нÑĥ в +п ов +п ом +ÑĢ еп +ÑĦ иÑĢ +Ñħ ал +Ñĩ но +Ñı ла +ĠÐĺн д +ĠÐŀ ÑģÑĤ +Ġж ид +Ġм еж +б еÑĢÑĤ +еÑĢ Ñĭв +к нов +лÑĥ аÑĤ +оз на +ол иÑĤ +оÑģÑĤ н +оÑĤ но +ÑĢоÑģ Ñģ +ÑĮ нÑĭй +Ġвод о +Ġзв он +Ġиде Ñı +Ġмл ÑĢд +Ġо ÑĢиг +ализ м +аннÑĭ м +ĠвеÑĤ еÑĢ +Ġвид им +Ġв лаÑģÑĤ +Ġзам ен +Ġкак аÑı +Ġкак ÑĥÑİ +Ġкон еÑĨ +ĠпоÑģ Ñijл +ĠпÑĥнк ÑĤ +ĠÑĢаÑģ ÑĪи +ĠÑĥÑģл ÑĭÑĪ +ĠÑĥ ÑģÑĤÑĥп +ĠÑĥÑĩ или +ĠÑĩ инов +ней ÑĪиÑħ +ĠавÑĤоÑĢ а +ĠаÑĢÑĤи ÑģÑĤ +Ġдан ном +ĠзадаÑĩ а +Ġзап ÑĢеÑĤ +Ġзд аниÑı +Ġкак ого +Ġкомп он +Ġнаг ÑĢад +ĠпеÑĢв аÑı +ĠпиÑģ аÑĤÑĮ +Ġпод вод +ĠпÑĢив ÑĭÑĩ +ĠÑģÑĤаÑĤ ÑĥÑģ +ĠÑģÑĤÑĢ ого +ĠÑĤеÑĢ мин +ĠÑĤÑĢ енеÑĢ +ĠÑĥг олов +ĠС егоднÑı +Ġболез ни +ĠиÑģп олнÑı +ĠкоÑĢаб лÑı +ĠкÑĢÑĥп нÑĭÑħ +ĠоÑģнов ан +Ġпозд нее +ĠÑģвобод Ñĭ +ĠÑĥд оволÑĮ +еÑĤ иÑĩеÑģки +Ġникак ого +Ġоб ÑģÑĤанов +ĠоÑĩевид но +ĠпеÑĢÑģон аж +ĠÑĢ еÑģпÑĥбли +Ġвозника еÑĤ +ĠинÑģÑĤиÑĤÑĥÑĤ а +ĠнекоÑĤоÑĢ ое +ĠобÑĢаз ован +ĠоконÑĩ аниÑı +Ġповед ениÑı +ĠÑģелÑĮ Ñģкого +ĠÑįлеменÑĤ ов +ĠдалÑĮней ÑĪем +ĠÑĥÑĩаÑģÑĤ ников +ĠÑĩемпион аÑĤе +ĠÐIJлекÑģанд ÑĢов +ĠеÑģÑĤ еÑģÑĤвенно +ĠоÑģоб енноÑģÑĤи +ĠÐĵ оÑģÑĥдаÑĢÑģÑĤвен +ĠиÑģÑģледов аний +е ÑĦ +Ñı ÑĢ +ĠÐł о +ĠÑĦ и +б ÑĢÑĮ +г ов +дж и +ма Ñħ +н оз +п ла +ÑĢ ел +Ñĩ ан +Ñī иÑħ +ĠÐĴ аÑĢ +ĠÐļ аÑĤ +ĠÐľ ил +ĠÐŁ ан +ĠÐ¥ аÑĢ +Ġв ал +Ġм ай +Ġн Ñĭн +Ġп ик +ĠÑĢ ем +ĠÑĥÑĩ Ñij +ĠÑĨ еп +ĠÑĪ аÑĢ +ам еÑĤ +в лек +еÑģ но +еÑĤ ий +иÑĤ ел +меÑĢ ÑĤ +оÑĢо ÑĪ +пÑĢ ом +ÑĢаÑĩ н +Ñģл ав +Ñĥж да +ÑĩеÑģ к +Ñī его +ĠÐijог а +ĠÐĽÐµ он +Ġв ода +ĠгÑĢ оз +Ġд иÑģк +Ġк олÑĮ +Ġмоз г +Ġп аÑĨи +Ġпод ÑĬ +ĠÑĤ ÑĢаг +ĠÑĨик л +ĠÑĩ еÑģÑĤ +ĠÑĪÑĤ ÑĥÑĢ +е евиÑĩ +еÑĢ ÑĪил +иÑģ лав +иÑģÑĤ ан +н ение +ник ам +ов ала +ов Ñĭми +оÑĩ ник +Ñĥг олÑĮ +Ġвз глÑı +Ġвод ой +Ġдом аÑĪ +ĠмаÑĤ Ñĩе +Ġнем ед +Ġне ÑĩÑĤо +ĠпÑĥ ÑģÑĤÑĮ +ĠÑĢели г +ĠÑģÑĤ аÑĢÑĤ +ĠÑģ ÑĩаÑģÑĤ +ĠÑģÑİ Ð¶ÐµÑĤ +ĠÑĩиÑģÑĤ о +Ñĭв аниÑı +ĠÐŁÑĢав да +Ġдок лад +Ġкажд ом +ĠкаÑĢÑĤ ин +ĠнаÑĩ аÑĤÑĮ +Ġнед ели +Ġоб оÑĢон +ĠоÑĤ кÑĥда +Ġпол ной +ĠпÑĢед Ñĥп +ĠпÑĢи гла +ĠÑĢеÑĪи ли +ĠÑģиг нал +ĠÑģлÑĥж бÑĥ +ĠÑģок ÑĢаÑī +ĠÑģо оÑĢÑĥж +ĠÑģоп ÑĢов +ин ÑĤеÑĢеÑģ +ĠвеÑī еÑģÑĤв +Ġе пиÑģкоп +Ġзакон од +ĠкоÑĢ олев +ĠминиÑģÑĤ ÑĢ +Ġмом енÑĤа +ĠобÑĬекÑĤ а +Ġп едагог +ĠпоÑĢÑıд ок +ĠпÑĢиÑģÑĤ Ñĥп +ĠÑģказ ала +ĠÑģлÑĥÑĩа ев +ĠÑģоÑģÑĤав а +ĠÑģп ÑĢоÑģил +омин аниÑı +Ġвоз ÑĢаÑģÑĤа +ĠвÑĭн Ñĥжден +ĠконÑĤ ÑĢакÑĤ +Ġнап омина +ĠокÑĢÑĥж аÑİÑī +ĠÑĢеком енд +ĠÑĢ ождениÑı +ĠÑģлÑĥÑĩай но +ĠÐĿ аÑĨионалÑĮ +ĠвоÑģ пÑĢиним +Ġдолж ноÑģÑĤи +ĠпÑĥÑĤеÑĪ еÑģÑĤв +ĠнаÑĩина еÑĤÑģÑı +Ġнемед ленно +ĠÑĢазно обÑĢаз +ĠÑĥÑĩаÑģÑĤв овал +ĠÑĦак ÑĤиÑĩеÑģки +ĠгоÑģÑĥдаÑĢ ÑģÑĤво +ĠоÑĢганиз ован +ĠоконÑĩ аÑĤелÑĮно +ĠпÑĢоизвод ÑģÑĤво +ĠпÑĢедÑģÑĤав иÑĤелей +ÐIJ ÑĢ +Ðľ Ñĭ +ĠÐĵ Ñĥ +ĠÐŁ Ðŀ +ĠС е +ĠТ ÐIJ +ĠТ и +ĠÐŃ Ð´ +ĠÐŃ Ð¹ +Ġб а +Ġм г +ĠÑĦ а +Ðļ ак +Ðļ оÑĢ +ав ÑĪ +б аÑĢ +б ек +б ÑĢа +д ÑĥÑĤ +м ай +м ал +нÑı ÑĤ +ой н +п ед +ÑĢ оз +Ñģ ек +Ñģ ла +ÑĤ еÑģ +ÑĤ ой +Ñĥд и +ÑĥÑħ а +Ñħ им +Ñĩ ев +Ñĩ ка +Ñĩ ки +Ñī им +ĠС ен +ĠС об +Ġл аб +Ġл ей +Ġн ож +Ġп иÑĢ +ĠÑģ ан +ĠÑģ кÑĥ +ĠÑĪ Ñĥм +аÑī иÑħ +г елÑĮ +д нев +ем Ñĭй +илÑĮ м +ин ам +ман а +ни ÑĨе +ÑĢаж а +ĠÐľÐ°ÑĢ к +ĠÐŁÐ¾Ñģ к +ĠС лов +ĠТÐIJ СС +ĠмеÑĢ Ñĭ +Ġн Ñĭне +Ġод еж +ĠÑģп еÑĨ +ĠÑģÑĤ ек +ĠÑĤоÑĢ ж +ĠÑĨ елÑı +ĠÑĩем Ñĥ +аÑĩ ива +ев нов +ен ÑģÑĤв +ив ÑĪиÑħ +ноÑģ иÑĤ +оÑģ лов +Ñĩен ко +Ñijн нÑĭÑħ +ĠÐĹем ли +ĠÐŁÐ°ÑĢ иж +Ġвз ÑĢÑĭв +Ġв клад +Ġзак ÑĢÑĭ +ĠмаÑĤ еÑĢ +Ġмик ÑĢо +ĠоÑĤд ÑĭÑħ +ĠпаÑĤ ÑĢи +Ġпод Ñĥм +Ġпок ин +ĠпоÑģ ад +ĠпÑĢе од +ĠпÑĢ оÑģÑĮ +ĠÑģож ал +ĠÑĤиÑĤ Ñĥл +ĠÑĦлоÑĤ а +ĠÑĪÑĤаб а +еÑĢед ко +еÑģÑĤв ом +леÑĤ ний +ĠÐIJндÑĢ ей +ĠÐĺн огда +ĠÐļажд Ñĭй +Ġв ÑħодиÑĤ +Ġдан ной +ĠданнÑĭ й +ĠиÑģп ÑĢав +Ġод номÑĥ +ĠпÑĢоÑĨ ед +ĠÑĢаÑģ ÑĪиÑĢ +ĠÑģеÑĢ виÑģ +ĠÑģлÑĥж ил +ĠÑĩлен ом +ен ноÑģÑĤÑĮ +ив аÑĤÑĮÑģÑı +иÑĢÑĥ еÑĤÑģÑı +окÑĢаÑĤ но +ĠзамеÑĤ ил +ĠпеÑĢи ода +ĠÑĢаÑģÑĤв оÑĢ +ÑģÑĤвен нÑĭÑħ +ĠобÑĬ екÑĤив +ĠпÑĢи говоÑĢ +ĠÑģамол еÑĤа +ĠÑģпокой но +ĠÑįкÑģп лÑĥаÑĤ +ĠÑįлекÑĤ ÑĢон +ĠÐŁÐµÑĤ еÑĢбÑĥÑĢг +ĠÐŁÐ¾Ñģк олÑĮкÑĥ +ĠбиблиоÑĤ ек +Ġна ÑģколÑĮко +ĠнеболÑĮÑĪ ой +ĠоÑģнов ании +ĠполÑĥÑĩ ениÑı +ĠпоÑıв илиÑģÑĮ +ĠÑħаÑĢакÑĤеÑĢ а +ĠÑĩÑĢез вÑĭÑĩай +ĠавÑĤомоб илÑĮ +ĠпÑĢовед ениÑı +ĠÑĥÑģÑĤÑĢой ÑģÑĤва +ĠиноÑģÑĤÑĢ аннÑĭÑħ +ĠпÑĢедÑģÑĤав иÑĤÑĮ +ĠÑģобÑģÑĤвен ной +ĠÑģовÑĢемен ной +ĠполиÑĤ иÑĩеÑģкой +ĠиÑģполÑĮзов ание +ĠÑģÑĤÑĢоиÑĤелÑĮ ÑģÑĤво +ĠÐ Ļ +ÐIJ Ðł +ÐĴ С +Т Ðŀ +з Ñĥ +н ÑĤ +о Ñĥ +ÑĨ о +Ñī и +Ñij з +ĠÐIJ з +ĠÐĺ ÑĢ +ĠÐľ е +ĠÐł Ñĭ +ĠÑħ а +г ал +ем ÑĮ +ик ÑĤ +и ÑĢи +иÑĨ Ñĥ +м еÑħ +о ин +п еÑĤ +ÑĢ еÑģ +Ñģ оÑĢ +ÑĤ им +ÑĤ ок +ÑĥÑĢ е +ÑĪ ка +ĠÐij ен +ĠÐij ож +ĠС ин +Ġд оÑģ +Ġк ÑĥÑģ +Ġм еÑĪ +Ġм ое +Ġне Ñij +Ġп еÑħ +ĠÑģÑĤ а +ĠÑĥ лÑĭ +ак еÑĤ +вÑĪ ÑĥÑİ +д ÑĢÑĥг +ез ап +енÑĮ Ñİ +ид ÑĢо +оп ÑĭÑĤ +оÑĩ ек +п ÑĢоÑģ +Ñģл ÑĥÑĪ +ÑĮ наÑı +ĠÐIJ зии +ĠÐļ али +ĠÐŁ ока +ĠÐł аÑģÑģ +ĠС олн +Ġб аÑģÑģ +Ġв оÑģÑĤ +Ġг ÑĢам +Ġмо иÑħ +ĠнаÑĪ а +Ġнеп ÑĢ +Ġп олÑĮ +ĠпÑĢ еб +ĠÑĦ ами +ĠÑĨ аÑĢÑı +й ÑĤеÑģÑĮ +оп ÑĢов +ÑĢаÑĤ ив +ÑģкоÑĢ е +ÑģÑĤ иÑĤÑĥ +ÑĥÑİÑī им +ĠÐŀÑĢ ден +ĠÐŀÑĩ енÑĮ +Ġв веÑĢÑħ +Ġвд олÑĮ +ĠгеÑĢ оÑı +Ġиде ал +Ġкон еÑĩ +Ġнак аз +Ġпоп ад +ĠÑĢазв е +ĠÑĢÑĥб еж +ĠÑģÑĤиÑħ и +ĠÑĪкол Ñĥ +ÑĢож ден +ĠÐĴ ÑģкоÑĢе +ĠÐľÐ¾Ñģк ва +Ġвз ÑĢоÑģл +ĠвоÑģ пÑĢи +ĠгÑĢ еÑĩеÑģ +Ġдел аÑİÑĤ +ĠдоÑĢог е +ĠдÑĢÑĥг ÑĥÑİ +Ġзак она +Ġзд ание +Ġзем елÑĮ +Ġкли енÑĤ +Ġк ÑĢедиÑĤ +ĠмеÑħ ани +Ġна ÑģÑĤÑĢо +Ġнед елÑİ +Ġоб ÑģлÑĥж +ĠоÑĢÑĥж ие +ĠоÑĤдел а +ĠпÑĢи обÑĢ +ĠпÑĢоÑĪ ло +ĠÑģ ÑĩаÑģÑĤÑĮ +ĠÑĩеÑĤ веÑĢ +нод оÑĢож +ÑĢаÑĤ ивно +ÑĭваÑİÑĤ ÑģÑı +ĠÐĿ аконеÑĨ +ĠбÑĥдÑĥÑī ем +ĠвÑģÑĤÑĢеÑĩ а +ĠвÑĭп ÑĥÑģка +ĠвÑĭÑģок ой +ĠгоÑĢод ов +ĠгÑĢаниÑĨ Ñĭ +ĠдеÑĢев не +ĠдеÑĢев ни +ĠпеÑĢеп иÑģ +ĠпÑĢав ила +ĠпÑĢав илÑĮ +ĠпÑĢек ÑĢаÑī +ĠпÑĢоÑĪ лом +ĠпÑĥбли ка +ĠÑĢег ÑĥлÑıÑĢ +ĠÑĢÑĥÑģ Ñģкие +ĠÑģÑĩиÑĤ аÑİÑĤ +ĠÑĦак ÑĥлÑĮÑĤ +иÑĤелÑĮ ной +иÑĤелÑĮ нÑĭй +ĠаÑĤмоÑģ ÑĦеÑĢ +ĠвÑĭз ÑĭваеÑĤ +Ġглав ного +ĠгÑĥбеÑĢ нии +Ġком иÑĤеÑĤа +Ġмед ленно +Ġна обоÑĢоÑĤ +ĠопеÑĢ аÑĤив +ĠпÑĢид еÑĤÑģÑı +ĠпÑĢоÑĪл ого +ĠÑģозн аниÑı +ĠеÑģÑĤ еÑģÑĤвен +ĠоÑĤно ÑģÑıÑĤÑģÑı +ĠпоÑģел ениÑı +ĠпÑĢиним аÑĤÑĮ +ĠÑģовеÑĤ ÑģкиÑħ +ĠÑģовеÑĤ Ñģкой +ĠÑģÑĢавн ениÑİ +ĠÑģÑĩиÑĤ аеÑĤÑģÑı +ĠÑħозÑıй ÑģÑĤва +ĠгоÑģÑĥдаÑĢ ÑģÑĤв +ĠдоÑģÑĤиж ениÑı +Ġнеожид анно +ĠопÑĢедел иÑĤÑĮ +ĠоÑĤÑģÑĥÑĤÑģÑĤв ие +ĠпÑĢоÑĤивоÑĢ еÑĩ +ĠÑĥпÑĢав ление +ĠвпеÑĩаÑĤ ление +ĠзаклÑİÑĩ аеÑĤÑģÑı +ĠпÑĢоÑĤив ополож +ĠÑģамоÑģÑĤоÑı ÑĤелÑĮно +ĠÑģооÑĤвеÑĤÑģÑĤв енно +ĠÐIJ Ñħ +ĠÐĽ о +ĠÐľ Ñĥ +ĠÐł С +ĠÐł и +ĠÑĤ в +ж аÑĤ +ин и +лÑĮ н +лÑİ Ñģ +м ел +од и +ÑĢ ой +ÑĢÑı Ñģ +ÑĤ оп +ÑĤ Ñıж +Ñĥж е +ÑĨи н +ÑĨ ом +ĠÐij ал +ĠÐķв г +ĠÐĸ ен +ĠÐľ еÑĢ +ĠТ аÑĢ +Ġж ан +Ġк Ñĥб +Ġл ад +Ġли ÑĪ +Ġма е +Ġоб а +Ġоб л +ĠÑĩ ел +ĠÑĪ ел +ам ÑıÑĤ +б иÑĤÑĮ +б ÑĢан +дв иж +ез де +еÑģÑĤ ÑĢ +иб иÑĢ +ки на +кÑĢ еÑģ +кÑĢÑĭ л +н нÑĭе +ÑĢ аÑĤа +ÑģÑĤ он +ĠÐĶ ело +ĠÐķ каÑĤ +ĠÐĺз ÑĢа +Ġа ÑģÑĤÑĢ +Ġбаз е +Ġвз ÑıÑĤ +ĠвÑĭ Ñıв +Ġг ÑĢад +Ġд ожд +Ġзв ÑĥÑĩ +ĠмаÑĤ Ñĩ +ĠÑģв еж +ĠÑģл ÑĥÑħ +ĠÑģн ег +ĠÑı деÑĢ +ен нÑĥÑİ +ив ÑĪие +каз ан +ом нил +ÑĥÑĪ кин +ĠÐĵ енеÑĢ +ĠÐĵлав а +ĠвоÑģ ÑģÑĤ +Ġвп лоÑĤ +ĠвÑĭ год +ĠвÑĭ ÑĪла +Ġгаз еÑĤ +ĠдÑĢÑĥг Ñĥ +Ġкаб ин +Ġнен ав +ĠноÑĩ ÑĮÑİ +Ġо ÑĦоÑĢм +ĠпеÑģ ни +ĠÑģем ÑĮÑı +ĠÑģп ÑĢаÑĪ +ĠÑĥд еÑĢж +ĠÑĦиг ÑĥÑĢ +ĠÑĪ еÑģÑĤи +вÑĪей ÑģÑı +из аÑĨиÑı +пеÑĢ вÑĭÑħ +ÑĩеÑģки й +ĠÐłÐ¾ÑģÑģ иÑİ +ĠЯпон ии +ĠдвоÑĢ Ñıн +Ġзав ода +ĠпÑĢи боÑĢ +ĠпÑĢон ик +ĠÑģозд ал +ĠÑģÑĤаÑĤÑĮ е +ĠÑģÑĥп ÑĢÑĥг +ĠÑįкÑģп ед +ĠÑįпиз од +иÑĤелÑı ми +ĠÐIJлекÑģ ей +ĠÐļÑĢаÑģ ной +ĠвоздÑĥÑħ а +Ġдобав ил +ĠдоÑģÑĤ оин +Ġнед авно +ĠплоÑīад ÑĮ +ĠпоÑĢÑĤ ÑĢеÑĤ +ĠпÑĢем ÑĮеÑĢ +ĠÑĢег иона +иÑĤелÑĮ нÑĭе +ĠболÑĮÑĪ ого +ĠвÑģп омина +Ġдиплом аÑĤ +Ġназв аниÑı +ĠобÑĥÑĩ ениÑı +ĠоÑģнов нÑĭе +ĠпÑĢог ÑĢеÑģÑģ +ĠÑģоÑĢ евнов +ĠиниÑĨи аÑĤив +ĠинÑĤеÑĢеÑģ ов +ĠнаÑģел ение +Ġоказ алаÑģÑĮ +ĠоÑģнов аниÑı +ĠоÑģÑĤ алÑĮнÑĭе +Ġповед ение +ĠпоÑģлед ниÑħ +ĠпоÑģÑĤав лен +ĠÑģожал ениÑİ +ĠÑģообÑī ениÑı +ĠÐĴеÑĢÑħов ного +ĠнаÑĩалÑĮ ника +ĠпÑĢед пÑĢиним +ĠÑĢеволÑİ ÑĨион +ĠÑģпеÑĨи алÑĮно +ĠÑĩÑĢезвÑĭÑĩай но +ĠÑģÑĤÑĢоиÑĤелÑĮ ÑģÑĤва +ĠÑģÑĥÑīеÑģÑĤв ованиÑı +дейÑģÑĤв иÑĤелÑĮноÑģÑĤи +ÐĴ Ðŀ +Ðł е +м б +Ñī Ñĥ +ĠÐķ е +ĠУ ÑĢ +ĠÐ¥ Ñĥ +ĠЧ е +ĠЯ н +Ġа Ñģ +ад ÑĮ +б ле +б ÑĭÑĤ +ел л +еÑģ а +л еп +м аз +м Ñĥн +не ÑĨ +п аÑģ +ÑģÑĭ п +ÑĤ ей +Ñĥ ка +ÑĦ ей +ÑĨ ам +ĠÐķ мÑĥ +ĠÐĽ еÑĤ +ĠÐŀ но +ĠС им +Ġк ем +Ġм Ñıг +ĠÑģ ел +ĠÑģ еÑĤ +ĠÑĥ Ñģи +ĠÑĨ ив +ĠÑĪ ÑĥÑĤ +аÑĢ ии +д вин +ев ÑĭÑħ +ели л +ик ой +м еÑĤа +ми ÑĢа +н нÑĭй +оÑĢ ÑĤа +п оÑģÑĤ +Ñģ мен +ÑĥÑĤ ÑģÑı +ÑĨи ÑģÑĤ +Ñĩ ики +ĠÐĶ алÑĮ +ĠÐľ аÑĢÑĤ +ĠÐĿад о +ĠФ или +ĠалÑĮ б +Ġа ÑĢаб +Ġво ин +Ġв оÑģÑĮ +Ġдел Ñĥ +Ġз веÑĢ +Ġид ей +Ġкам п +Ġкон Ñģ +Ġм иÑģÑģ +ĠпаÑĢ Ñĥ +ĠпÑĢ еÑĤ +ĠÑĤон н +ĠÑĤÑĢ ев +ĠÑĪ еÑģÑĤ +ĠÑĪÑĤ аÑĤ +ĠÑİ ÑĢид +аÑİÑī ие +вид им +иÑĢÑĥ ем +лож ил +пÑĢ ежн +Ñīик ов +ÑİÑī ими +Ġак ÑĤеÑĢ +Ġвед ом +Ġглав Ñĭ +ĠгоÑĢ из +Ġдоб ÑĢо +Ġзан Ñıл +Ġзан ÑıÑĤ +ĠмаÑĢ ÑĤе +Ġмоз га +Ġнаб оÑĢ +ĠнаÑĪ ем +Ġне одн +ĠнÑĭн еÑĪ +Ġоб ман +Ġо пÑĢав +ĠоÑĤ дал +Ġпов еÑĢ +Ġпод ав +Ġпод аÑĢ +ĠÑģил ой +ĠÑģлаб о +ĠÑģоб иÑĢ +ĠÑģÑĦеÑĢ е +ĠÑĥлиÑĨ Ñĭ +ĠÑĨ елей +ĠÑĪкол а +ĠÑįпо Ñħи +авал еÑĢ +Ñĩ ÑĥвÑģÑĤв +ĠÐĴмеÑģÑĤ е +ĠÐĵÑĢи гоÑĢ +Ġгаз еÑĤÑĭ +ĠдÑĢÑĥз ей +ĠжÑĥÑĢ нал +Ġиг ÑĢаÑĤÑĮ +ĠиÑģк аÑĤÑĮ +Ġназв ал +ĠоÑĢ дена +ĠоÑĤ ÑģÑĤÑĥп +ĠпÑĢиÑĪ ли +ĠÑĢез еÑĢв +ĠÑģез оне +ĠÑģеÑĢд ÑĨа +лож ениÑı +ÑĥÑī еÑģÑĤво +ĠÐŀлим пий +ĠЧ еловек +ĠвÑģÑĤÑĢеÑĩ и +Ġжел ание +Ġжив опиÑģ +ĠжÑĥÑĢна ла +Ġиме еÑĤÑģÑı +ĠконÑĨ еÑĢÑĤ +ĠоÑģÑĤ алÑģÑı +Ġпоб еÑĢеж +Ġпожал Ñĥй +Ġпон ÑıÑĤиÑı +ĠÑģвÑıз ано +ĠÑģпоÑĢ ÑĤив +ĠÑģÑĤÑĥд енÑĤ +ĠÑĥÑģлов ий +ĠÑĨив илиз +иÑĤелÑĮ нÑĭÑħ +нап ÑĢимеÑĢ +пÑĢежн емÑĥ +ĠÐľÐ¸Ð½Ð¸ÑģÑĤ еÑĢ +ĠвопÑĢоÑģ ов +Ġим ÑĥÑīеÑģÑĤв +ĠкаÑĤа ÑģÑĤÑĢо +ĠплаÑĤ ÑĦоÑĢм +ĠполÑĥÑĩ аеÑĤ +ĠпоÑıв илÑģÑı +ĠпÑĢов еÑģÑĤи +ĠÑĢод ÑģÑĤвен +ĠÑģем ейÑģÑĤв +ĠÑģкоÑĢ оÑģÑĤи +ĠпÑĢав оÑģлав +ĠÑĢаÑģÑģказ ал +ĠÑģовмеÑģÑĤ но +ĠÑģÑĤиÑħ оÑĤвоÑĢ +ĠÑĤÑī аÑĤелÑĮно +ĠÑįконом ики +ĠвнÑĥÑĤÑĢен ниÑħ +Ġзаним аÑĤÑĮÑģÑı +ĠкиломеÑĤ ÑĢов +ĠколиÑĩ еÑģÑĤва +ĠподгоÑĤов ки +Ġпоказ ÑĭваеÑĤ +ĠпÑĢимен ениÑı +ĠÑĢеализ аÑĨии +ĠÑĢоÑģÑģий Ñģкий +ĠÑģодеÑĢж ание +ĠинÑĦоÑĢм аÑĨион +ĠобеÑģпеÑĩ ениÑı +ĠпÑĢиÑħод илоÑģÑĮ +ĠпÑĢедÑģÑĤав ление +ĠобÑģÑĤоÑıÑĤелÑĮ ÑģÑĤва +ĠадминиÑģÑĤ ÑĢаÑĤивно +ж д +ĠÐľ Ðŀ +Ġз л +б аÑĤ +в ÑĮÑİ +г ад +д об +ез ж +ей м +иÑĤ и +иÑı Ñħ +ла Ñĩ +л Ñĥг +м об +м ÑĥÑĢ +оÑĩ к +ÑĢаР¿ +Ñĥн ÑĤ +ÑĥÑģ ÑĮ +ÑĥÑĩ а +ÑĦ из +Ñħ аÑĢ +ÑĪ Ñijл +Ñĭ ÑĪе +ĠÐij ÑĥÑĢ +ĠÐĴ ам +ĠÐĴ иÑĤ +Ġб ли +Ġг им +Ġд еб +Ġд из +Ġд ÑĭÑħ +Ġм иÑĤ +Ġм ÑĥÑĩ +Ġн Ñijм +Ġп аÑģ +Ġп ой +ĠÑĢ оÑģ +ĠÑĪ аÑħ +ĠÑįк з +б лиз +в ÑĤоÑĢ +гÑĢ ом +м онÑĤ +об ед +оÑĪ ел +ÑĢал е +ÑĢ ева +ÑĤи ки +ÑĤ инг +ÑĤ ÑĢоп +ÑĦ икÑģ +Ñħ ÑĢон +ÑĨ еÑģÑģ +ÑĩиÑģ л +ÑıÑī ие +ĠÐIJÑĦ ÑĢи +ĠÐĴ илÑĮ +ĠÐĿов о +ĠСп аÑģ +Ġвод е +Ġво ев +Ġвоз б +ĠвÑĭ да +ĠгеÑĢ ÑĨ +Ġкни ж +ĠÑģп ÑĥÑĤ +ĠÑģÑİ Ð´Ð° +ĠÑĤеп л +ĠÑĦ онд +ĠÑĩÑĤ об +з акон +за ÑīиÑĤ +иÑĤ еÑģÑĮ +ми ÑĢал +неÑģ ен +оÑĩ ной +п оÑģоб +ÑĢед оÑĤ +ĠXV III +ĠÐĿаÑĢ од +ĠавÑĤ об +ĠдвеÑĢ ÑĮ +ĠконÑĨ Ñĥ +Ġлаб оÑĢ +Ġнеб еÑģ +Ġнов Ñĭм +ĠнÑĥж нÑĭ +Ġоке ан +Ġо ÑģÑĤÑĢо +ĠоÑĤ ÑĢаÑģ +ĠпеÑĢ ек +ĠпÑĥ лем +ĠÑĢоÑģÑĤ а +ĠÑģÑĢед Ñĭ +олог иÑı +о обÑĢаз +ÑģÑĤ оÑĢон +Ñĥли ÑĢов +ÑĥÑİÑī его +ÑĩеÑģки е +Ñĩ еÑģÑĤво +ĠÐŁÑĢ имеÑĢ +ĠбÑĥд ÑĥÑĩи +ĠбÑİдж еÑĤ +Ġвн езап +ĠвÑĤоÑĢ ом +Ġголов Ñĭ +ĠдиÑĢ екÑĤ +Ġзак ÑĢÑĭÑĤ +Ġимен ем +Ġкол лек +Ġмаг ниÑĤ +Ġмед алÑĮ +Ġнеб олÑĮ +Ġнем ало +ĠоÑĤ ÑģÑĤав +ĠпÑĢиз на +ĠÑģмож еÑĤ +ĠÑĤеÑĢ ÑĢоÑĢ +ĠÑĥзн аÑĤÑĮ +ĠÑıзÑĭ ков +ĠÑıнваÑĢ е +иÑĢов али +Ñĥжд ение +ĠÐĶмиÑĤ ÑĢий +ĠÐłÐ¾Ð´ илÑģÑı +ĠавгÑĥÑģÑĤ е +Ġдан ного +Ġдекаб ÑĢе +Ġмолод ой +ĠпаÑĢÑĤ неÑĢ +Ġпол иÑĨии +ĠпÑĢиÑĩ ине +иÑĤелÑĮ нÑĭм +иÑĩеÑģк ими +ĠÐŀÑģоб енно +Ġави аÑĨион +Ġакадем ии +ĠинÑĤеÑĢ неÑĤ +ĠиÑģÑĤоÑĩ ник +ĠкомиÑģÑģ ии +ĠобÑī еÑģÑĤве +ĠоÑģÑĤ алоÑģÑĮ +ĠпÑĢепод ав +ĠпÑĢив еÑģÑĤи +ĠÑģенÑĤÑı бÑĢе +ĠÑģоÑģ ÑĢедоÑĤ +ĠÑħоÑĤел оÑģÑĮ +ĠÑħÑĥдож ник +ĠÑįлеменÑĤ Ñĭ +аÑĤелÑĮ ÑģÑĤво +ĠбÑĥкв алÑĮно +ĠлабоÑĢ аÑĤоÑĢ +Ġполож ении +ĠпоÑģлед нее +ĠинÑĦоÑĢм аÑĨиÑı +ĠмаÑĤеÑĢиал ов +ĠпоÑģлед него +ĠпоÑıвлÑı еÑĤÑģÑı +ĠÑĢоÑģÑģий ÑģкиÑħ +миниÑģÑĤ ÑĢаÑĤив +Ġзаболев аниÑı +ĠоÑĢганиз аÑĨий +ĠнаÑĨионалÑĮ ной +ĠпÑĢеÑģÑĤÑĥп лениÑı +ĠпÑĢедÑģÑĤав иÑĤели +ĠÑģÑĥÑīеÑģÑĤв ование +в ÑĢ +д ÑĮ +ÑĦ Ñĥ +Ñİ Ð¼ +Ñij ж +! .. +ĠÐĺ о +ĠÐĽ ÑĮ +ĠФ е +Ф Ð¡Ðł +б ен +в аÑı +в из +г иб +г ол +дÑĥ ÑĪ +ей ÑĪ +з Ñĭв +иÑħ о +кÑĥ л +л Ñijн +м ÑĥÑĤ +но Ñİ +оÑģ к +Ñģ об +Ñģп е +ÑĤ ем +ÑĦ ан +Ñı ÑĤÑĭ +ĠÐĴÑĭ Ñģ +ĠÐĶ ев +ĠÐļ ал +ĠÐļ иÑĤ +ĠТ им +ĠЧ еÑħ +Ġа ÑĢг +Ġв ин +Ġж аÑĢ +Ġоп Ñĭ +ĠÑĢ оÑĤ +ĠÑģ оз +аÑĤ ом +аÑĤÑĮ Ñı +ен Ñģк +енÑĮ е +пад а +п ÑĢов +ÑĢи ка +ÑģеÑĢ в +Ñģ она +ÑĤи нÑĭ +ÑĦ елÑĮ +Ñĩ нÑĭÑħ +ÑĪи ÑģÑĤ +ÑĮ нÑĭÑħ +ÑıÑī ий +ĠÐķ гип +ĠÐĺн ÑģÑĤ +ĠÐļаÑĢ а +ĠÐľ аÑĢи +ĠÐŁ олÑĮ +ĠÐł оÑģÑĤ +Ġави а +Ġм еÑĤа +Ġм ÑĥдÑĢ +ĠмÑĭ Ñģл +ĠоÑģÑĤ а +ĠпÑĤи ÑĨ +ĠÑĢек а +ĠÑĢ еÑģÑĤ +ĠÑģÑĥ ÑĤи +ĠÑĤем Ñĥ +вед ом +кÑĥ лÑĮÑĤ +лиÑĩ но +оÑĩ нÑĭе +оÑıÑĤ но +ĠÐĴÑģ его +ĠÐĵе оÑĢг +ĠÐĵоÑĢ од +ĠÐĶал ее +ĠÐłÐ¡ Ð¤Ð¡Ðł +ĠаÑĢÑħ ив +ĠвеÑī ей +Ġвид иÑĤ +Ġдев ÑĥÑĪ +Ġзна ли +Ġиг ÑĢал +ĠкаÑĦ ед +ĠкнÑı зÑı +Ġлеж иÑĤ +Ġлек аÑĢ +Ġна ÑĢÑıд +Ġнов аÑı +Ġоп ÑĭÑĤа +Ġпо иÑģк +Ġпом еÑī +Ġпоп ал +ĠпоÑĢ ÑĥÑĩ +ĠÑĢан ен +ĠÑģмеÑĢ ÑĤ +ĠÑĥп ÑĢаж +ĠÑĥÑĤ ÑĢом +ĠÑįÑĤ ими +вÑĤоÑĢ ÑĭÑħ +ий Ñģкий +к олÑĮко +ÑĥÑģÑĤ иÑĤÑĮ +ĠÐijлаг од +ĠÐľÐ°ÐºÑģ им +ĠÐŁÐ°Ð² лов +ĠбеÑģ кон +Ġби олог +Ġвид ели +ĠвÑĭз ван +Ġглаз аÑħ +ĠгоÑĤов Ñĭ +ĠгÑĢÑĥпп е +ĠгÑĢÑĥпп Ñĥ +ĠдÑĥм аÑĤÑĮ +ĠзапиÑģ и +Ġзв ание +ĠкиÑģ лоÑĤ +ĠлÑĥÑĩ ÑĪиÑħ +ĠмаÑĪи на +Ġназв ан +ĠпаÑĢÑĤи Ñı +Ġпобед Ñĥ +ĠÑĢом ана +ĠÑģам омÑĥ +ĠÑģил ами +ĠÑģов ÑĢем +ĠÑĤак ими +ĠÑĥÑģпеÑħ а +ĠÑĩиÑģ лен +ĠÐIJмеÑĢ ики +Ġави аÑĨии +ĠвÑĭÑĢаж ен +Ġглаз ами +ĠкаÑĢ ÑĤинÑĭ +Ġком иÑĤеÑĤ +Ġн еÑĢедко +Ġод наждÑĭ +ĠпеÑĢен оÑģ +ĠпоÑħ оÑĢон +ĠпÑĢиб лиз +ĠÑĢебен ок +ĠÑģдел али +ĠÑģпекÑĤ ак +ĠÑıв лениÑı +из иÑĢован +ÑģÑĤвен нÑĭй +ĠÐĿа иболее +ĠСевеÑĢ ной +ĠвÑĭÑģÑĤÑĥп ал +ĠгенеÑĢ ала +Ġдв адÑĨаÑĤÑĮ +ĠконÑĦлик ÑĤ +Ġподоб нÑĭÑħ +ĠподÑĢоб но +Ġполов ине +ĠÑĢаÑģÑĤ ений +ĠÑģвой ÑģÑĤва +ĠÑģодеÑĢж иÑĤ +ĠÑĤÑĢад иÑĨии +Ġвозник нов +ĠизвеÑģÑĤ нÑĭй +ĠкаÑĤегоÑĢ ии +ĠпаÑĢ ламенÑĤ +ĠподдеÑĢж кÑĥ +ĠпоÑıв илаÑģÑĮ +ĠпÑĢекÑĢаÑģ но +ĠпÑĢогÑĢам ма +ĠпÑĢодолж ал +ĠÑĢаÑģ пÑĢедел +ĠÑĦилоÑģоÑĦ ии +ĠÑĦÑĥÑĤбол иÑģÑĤ +ĠвÑĭполн ениÑı +ĠгÑĥб еÑĢнаÑĤоÑĢ +ĠиÑģполÑĮз ÑĥÑİÑĤ +ĠнаÑħод илиÑģÑĮ +ĠÑĢ еÑģпÑĥблики +ĠÑģоÑĨи алÑĮной +ĠÑĤеÑħн ологии +ĠÑĥÑģÑĤанов иÑĤÑĮ +ĠизобÑĢаж ениÑı +ĠÑģовÑĢем еннÑĭÑħ +ĠÑģоÑĤÑĢÑĥд ников +ĠÑģпоÑģоб ноÑģÑĤÑĮ +ĠпÑĢедÑģÑĤавлÑı ÑİÑĤ +ĠпÑĢоÑģÑĤÑĢан ÑģÑĤво +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан ен +ĠÐĴеликобÑĢиÑĤ ании +ĠпÑĢеимÑĥÑīеÑģÑĤв енно +Ðĵ Ðŀ +Ðĺ Т +С о +з м +ĠÐĶ Ñĥ +ĠУ Ñĩ +ĠЧ Ñĥ +ĠШ а +ĠÑĥ Ñī +ĠÑı й +ĠÑı к +ак Ñĥ +б ÑĥÑĢ +в иÑĩ +дж а +дÑĢ о +ен е +еÑĢ Ñı +ид Ñĭ +иж Ñĥ +к ог +л еÑģ +лÑĮ п +мÑı н +н ад +ÑĢ еÑĩ +Ñģ им +Ñģ ке +ÑĤи й +Ñĩ аÑı +Ñĩ ел +ÑĪ ал +ÑĪ ив +ÑijÑĢ ÑĤ +ĠÐĴ ÐĴС +ĠÐĶ ан +ĠÐĶ ом +ĠÐļ ап +ĠÐŀ лÑĮ +ĠÐł ад +ĠС ол +ĠТ оÑĤ +Ġб ож +Ġб оÑİ +Ġк ин +ĠоÑĤ ÑĤ +Ġп еÑĤ +ĠÑĤ еÑĩ +ĠÑĪ ла +ĠÑĪ ли +ĠÑİ Ð½Ð¾ +алÑĮ д +аÑĩ ен +в ÑĢаÑĤ +еÑĢ ом +еÑģ ÑģÑĭ +ий Ñģк +иÑĨи й +л еÑĢа +ов ом +ом Ñıн +ÑģÑĤ аÑĢ +ĠÐijÑĭ ло +ĠÐĵ ÑĢÑĥз +ĠС веÑĤ +Ġбог а +Ġвид Ñĭ +ĠгоÑĢ Ñĭ +ĠиÑİ Ð½Ðµ +Ġкв ад +Ġм иÑĢÑĥ +ĠноÑĩ и +ĠоÑģ ад +ĠпÑĢ оз +ĠÑģÑĤ аб +ĠÑģÑĤ ак +ĠÑĥз на +ĠÑĦ оне +ĠÑıÑĢ ко +г олов +елÑĮ но +еÑĤ еÑģÑĮ +иÑģÑĤ оÑĢ +клÑİÑĩ а +ол нил +оÑĩ нÑĭÑħ +пол иÑĤ +ÑĢаÑĤ ил +ÑĢо ÑĪен +ÑĨ енÑĤÑĢ +Ñĩа ÑģÑĤи +ĠÐŁÐµÑĤ ÑĢа +ĠаÑį ÑĢод +ĠаÑį ÑĢоп +ĠвÑĭ ÑĢоÑģ +Ġгол Ñĥб +Ġг оÑģÑĤи +Ġзна ем +Ġим ела +ĠиÑģп ан +ĠкнÑıз ÑĮ +Ġм еÑĢÑĤв +Ġоб мен +ĠоÑĨ ени +ĠпеÑĢ еÑĩ +Ġпож аÑĢ +ĠпÑĢив л +ĠÑĢÑĥк ой +ĠÑģам аÑı +ĠÑģаÑħ аÑĢ +ĠÑģез он +ĠÑģÑĤоÑı л +ĠÑħв оÑģÑĤ +ĠÑĩлен Ñĭ +ĠÑıк обÑĭ +вей ÑĨаÑĢ +еÑĢб айд +ноÑģÑĤ ÑıÑħ +н Ñģкого +Ñģп оÑģоб +Ñħв аÑĩен +ĠÐIJк адем +ĠФили пп +ĠапÑĢ еле +Ġвза имо +Ġвид имо +ĠвоÑģ емÑĮ +ĠвплоÑĤ ÑĮ +ĠвÑĭÑħод а +ĠгеÑĢ ман +ĠлÑİб ого +ĠмеÑĤод Ñĭ +Ġнеп ÑĢав +Ġоб оÑĢоÑĤ +Ġодин ак +ĠпаÑĢ алл +ĠпÑĢибÑĭ л +ĠÑĢÑĥк ами +ĠÑģкÑĥ лÑĮп +ĠÑģлÑĥж иÑĤ +ĠÑģпоÑĢ ÑĤа +ĠÑĤекÑģÑĤ а +ĠÑĤÑĢ еÑĤий +ĠÑĤÑıж ело +ĠÑĦоÑĢм Ñĥл +ков Ñģкий +ожд ении +ÑģÑĤÑĢой ки +ÑĤелÑĮ нÑĭй +ĠвеÑĩеÑĢ ом +Ġвлад елÑĮ +Ġвозв ÑĢаÑĤ +Ġзаг овоÑĢ +Ġк авалеÑĢ +ĠмеÑģÑĤ нÑĭÑħ +Ġмин имÑĥм +ĠмÑĥж ÑĩинÑĭ +Ġназв аÑĤÑĮ +ĠнаÑĥÑĩ нÑĭÑħ +Ġникак ой +ĠокÑĤÑı бÑĢе +ĠпоÑģÑĤ ÑĢад +ĠпÑĢед ваÑĢ +ĠпÑĢеÑģ лед +ĠпÑĢиÑĢод е +ĠÑģвой ÑģÑĤв +ĠÑĥÑĩаÑģÑĤ иÑı +д емокÑĢаÑĤ +ĠбÑĥдÑĥÑī его +ĠвеÑī еÑģÑĤва +ĠвклÑİÑĩ аеÑĤ +ĠдоговоÑĢ а +Ġзаним аеÑĤ +ĠинÑĤеÑĢ вÑĮÑİ +Ġкон ÑĦеÑĢен +ĠнаÑĩал аÑģÑĮ +ĠоÑĤмеÑĤ иÑĤÑĮ +ĠпаÑĢÑĤи зан +ĠпеÑĢедаÑĩ и +ĠпиÑģ аÑĤелÑı +Ġпоз наком +ĠÑģиÑĤÑĥ аÑĨиÑİ +ĠвеÑĢ нÑĥÑĤÑĮÑģÑı +ĠдокÑĥменÑĤ Ñĭ +ĠобнаÑĢÑĥж ил +ĠоÑĢганиз ма +ĠпÑĢовин ÑĨии +ĠпÑĢодÑĥк ÑĤов +ĠпÑĢодÑĥк ÑĨии +ĠÑĢегÑĥлÑıÑĢ но +ĠÑģамолеÑĤ ов +ĠÑģоÑĨи алÑĮно +ĠÑģÑĤÑĢÑĥкÑĤÑĥ ÑĢÑĭ +ĠÑĤÑĢеб ÑĥеÑĤÑģÑı +ĠÐľÐµÐ¶Ð´Ñĥ наÑĢод +ĠÐĿикола евиÑĩ +ĠвÑģлед ÑģÑĤвие +ĠдокÑĥменÑĤ ов +ĠлиÑĤеÑĢаÑĤÑĥÑĢ е +ĠÑģоб ÑģÑĤвенно +ĠпÑĢедлож ение +ĠпÑĢедлож ениÑı +ĠпÑĢинадлеж иÑĤ +ĠÑĢÑĥковод ÑģÑĤво +ĠпÑĢоÑģÑĤÑĢан ÑģÑĤва +Ðļ Ðŀ +ÐĿ Ðļ +д ÑĨ +н Ñģ +о Ñħ +Ñij д +Ñij Ñģ +ĠÐļ л +ĠФ а +ĠÑģ ÑĨ +в аж +де Ñı +д ол +ев о +иб о +оÑĤ о +оÑĩ е +п иÑĪ +п ÑıÑĤ +ÑĢи б +Ñģ ан +Ñģ оÑĤ +ÑĤи ÑĢ +Ñħ ож +ÑĨ еÑĢ +ÑĪ ек +ĠÐĵ де +ĠÐĸ ан +ĠÐļ иÑĢ +ĠС Ð¡Ðł +ĠС ал +ĠТ оÑĢ +Ġв из +Ġп ен +ĠÑģ ал +ĠÑĤ аб +ĠÑĤÑĢ е +ĠÑĥ ма +ĠÑĦ еÑĢ +ĠÑĦ оÑĢ +Ðļ ÑĢаÑģ +а еÑĪÑĮ +ам еÑĢ +д аеÑĤ +д алÑĮ +иÑĢÑĥ Ñģ +иÑĤ ал +иÑĤ ов +л иÑĤÑĮ +м елÑĮ +меÑĩ а +ми на +н наÑı +олÑĮ ÑĦ +онÑĤ ÑĢ +оÑĩ кÑĥ +п ÑģиÑħ +ÑĢи ÑĨа +Ñģл ам +Ñģ ÑĩиÑĤ +ÑģÑĭ ла +ÑĤен Ñģ +ÑĤи ка +ÑĥÑĤ ин +Ñĩ еÑĢа +ÑĮ нÑĥÑİ +ĠÐĹ Ð½Ð°Ñĩ +ĠÐŁ аÑĢи +ĠСоÑİ Ð· +ĠСÑĤ еп +ĠгоÑĢ д +Ġд обÑĭ +Ġзв Ñĥк +Ġиг ÑĢÑĥ +ĠиÑİ Ð»Ðµ +Ġк ÑĢÑĥж +Ġли ÑĨе +Ġм имо +ĠнаÑĪ Ñĥ +Ġоб иÑĤ +Ġпло Ñħ +ĠÑģв од +ĠÑģем и +ĠÑģеÑĢ и +ĠÑĤеÑĢ п +ĠÑĥв аж +ĠÑĦ ина +адÑĨ аÑĤ +ани ей +иг анÑĤ +лож ен +олн ен +онÑĩ ил +п ÑĥÑīен +Ñģ маÑĤÑĢ +ÑģÑĤÑĢ еÑĩ +ĠÐĺнд ии +ĠÐļаз аÑħ +ĠÐľ ного +ĠакÑĤ ÑijÑĢ +Ġа нали +ĠбÑĥÑĢ жÑĥ +Ġвек ов +ĠвÑĭ йÑĤи +ĠгеÑĢ ой +Ġдом ов +Ġжив еÑĤ +Ġзак ан +Ġзам Ñĥж +Ġизб еж +ĠлиÑĨ ом +ĠлÑİб иÑĤ +ĠмÑĥз ей +ĠнаÑĪ ел +Ġнеп од +ĠоÑģоб о +ĠоÑģ озн +Ġо ÑģÑĤан +ĠоÑģÑĤ аÑĤ +Ġпол еÑĤ +ĠпÑĢо иг +ĠÑĢÑĭн ка +ĠÑĢÑĭн ке +ĠÑģам им +ĠÑģк воз +ĠÑģоб оÑĢ +ĠÑģоÑĤ ни +ĠÑģÑĤ енÑĭ +ĠÑĤÑĢи дÑĨ +ĠÑįÑĤап е +еÑģп онд +ив ÑĪего +нÑĥ лиÑģÑĮ +Ñģов еÑĢÑĪ +ÑĥлÑĮ ман +ĠÐŁÐ°ÑĢи же +ĠÐŁÐ¾ÑĤ омÑĥ +Ġа ÑģпекÑĤ +Ġблиз ко +Ġбоев ой +ĠбÑĭв ÑĪий +ĠдÑĢÑĥг аÑı +ĠевÑĢе ев +Ġзак ÑĢеп +Ġизд ели +Ġкол Ñħоз +ĠкоÑĢ олÑĮ +ĠноÑı бÑĢе +ĠопиÑģ ан +ĠоÑĤкÑĢÑĭ л +Ġпобед Ñĭ +Ġпод лин +ĠпоÑħ оже +ĠпÑĢев оÑģ +ĠпÑĢев ÑĭÑĪ +ĠпÑĢив еÑĤ +ĠпÑĢок ÑĥÑĢ +ĠÑĢем онÑĤ +ĠÑģвÑıÑī ен +ĠÑģлав Ñıн +ĠÑģлож но +ĠÑģÑĭгÑĢ ал +ĠÑĥкÑĢа ин +ĠÑĦилÑĮ ме +вÑĪего ÑģÑı +ий Ñģкого +лож ение +ноÑģÑĤ ÑĢан +ов анием +оÑĢг аниз +ĠÐĺÑģÑĤ оÑĢиÑı +ĠУкÑĢа ине +Ġанали за +Ġвоен нÑĭе +ĠвÑģÑĤÑĥп ил +ĠвÑĭп ÑĥÑīен +Ġглав нÑĭÑħ +ĠглÑĥб око +ĠдеÑĢев Ñıн +ĠзаÑĢ анее +ĠконÑĤ акÑĤ +ĠкоÑĢаб лÑĮ +Ġмолод ÑĭÑħ +ĠмÑĥж Ñĩина +ĠналиÑĩ ие +Ġоб оÑģнов +Ġоб ÑĥÑģлов +ĠоÑģв обод +ĠоÑģÑĤав ил +Ġподоб но +Ġпон ÑıÑĤие +Ġпон ÑıÑĤно +ĠпопÑĭÑĤ ки +ĠпÑĢимеÑĢ Ñĥ +ĠпÑĢоÑĤив о +ĠпÑĭÑĤ алÑģÑı +ĠÑģÑĤаÑĤ иÑģÑĤ +ĠÑĤоваÑĢ ов +ĠÑĦев ÑĢале +ĠÑįкÑģп еÑĢÑĤ +видим омÑĥ +ĠÐĺнÑģÑĤ иÑĤÑĥÑĤ +ĠвопÑĢоÑģ ам +ĠгоÑĢиз онÑĤ +Ġдобав иÑĤÑĮ +Ġизмен иÑĤÑĮ +ĠконÑĤÑĢ олÑı +ĠкоÑĢаб лей +ĠмеÑħаниз м +ĠминиÑģÑĤ еÑĢ +Ġоблад аеÑĤ +ĠопеÑĢ аÑĤоÑĢ +Ġо пиÑģание +ĠоÑĢганиз м +Ġпоказ аÑĤÑĮ +ĠпÑĢиним ал +ĠпÑĢи ÑħодиÑĤ +ĠÑĢабоÑĤ аÑİÑĤ +ĠÑģозд ании +ĠÑģозн ание +ĠÑĩаÑģÑĤ иÑĩно +иÑĤелÑĮ ного +ĠавÑĤоÑĢ иÑĤеÑĤ +ĠиÑģкÑĥÑģ ÑģÑĤво +ĠкаÑĤаÑģÑĤÑĢо ÑĦ +ĠобÑĬÑıÑģ ниÑĤÑĮ +ĠоÑĤделÑĮ нÑĭе +ĠпÑĢоÑĨеÑģÑģ ов +ĠÑĢод иÑĤелей +ĠÑģообÑī ение +иÑĤелÑĮ ноÑģÑĤÑĮ +ĠгоÑĢод Ñģкого +ĠиÑģполÑĮз Ñĥем +ĠоÑĤлиÑĩ аеÑĤÑģÑı +ĠпÑĢилож ениÑı +ĠÑĢазÑĢабоÑĤ ки +ĠÑģÑĤанов ÑıÑĤÑģÑı +ĠÑĥ ÑģÑĤанавлив +ĠзамеÑģÑĤ иÑĤелÑĮ +ĠпоÑģлед ÑģÑĤвиÑı +ĠÑģпоÑģоб ноÑģÑĤи +ĠÑģÑĥÑīеÑģÑĤв енно +ĠиÑģполÑĮз ÑĥÑİÑĤÑģÑı +ĠнедоÑģÑĤ аÑĤоÑĩно +ĠполиÑĤ иÑĩеÑģкиÑħ +ĠнеобÑħодим оÑģÑĤÑĮ +ĠпÑĢоиÑģÑħ ождениÑı +ĠгоÑģÑĥдаÑĢÑģÑĤвен нÑĭй +ĠгоÑģÑĥдаÑĢÑģÑĤвен нÑĭÑħ +ÐIJ ÐĽ +ÐĴ о +Ðķ ÐĽ +ÐĽ ÐIJ +ÐĿ ÐIJ +Ðł Ðķ +Ñĩ к +ÑĪ н +ĠÐĶ Ñį +ĠÐŁ е +ĠС ÐŁ +бÑĭ л +в ай +в Ñģе +д ив +ин к +кÑĥ ÑĤ +лÑı н +м ил +ÑĢÑĥ н +Ñģ ил +Ñĥз Ñĭ +Ñĥн г +ÑĨ иÑĤ +Ñį лÑĮ +Ñį ÑĦÑĦ +ĠÐľ аг +ĠÐľ Ñĥз +ĠÐĿ аÑĪ +ĠÐĿ иж +ĠÐŁ ал +ĠÐŁ оз +ĠС ÐľÐĺ +Ġб ак +Ġв ÑĢа +Ġдв Ñĥ +Ġд еÑĢ +Ġд ов +Ġим и +Ġк ÑĢи +Ġмо Ñİ +ĠÑģм е +ĠÑĩ ай +ĠÑį ми +аж ен +а ÑģÑĤÑĮ +б лок +в олÑĮ +д енÑĤ +еÑĢ ин +им ÑģÑı +иÑĢÑĥ Ñı +иÑĤ ив +ов еÑĤ +о Ñħод +п лан +пÑĢ оÑī +ÑĢ аÑģÑģ +ÑĢÑĥ еÑĤ +Ñģ елÑĮ +ÑĤ ÑĢан +ÑĨи кл +ÑĪи на +ÑĭÑĩ но +ĠÐļÑĢÑĭ м +ĠÐĽÑİ Ð´Ð¸ +ĠÐŁ оÑģÑĤ +ĠСÑĤ ан +ĠСÑĤ ÑĢа +ĠТ ÑĢÑĥд +ĠЧ аÑģÑĤ +ĠЧ лен +Ġва ÑĪи +Ġгл Ñĥп +ĠгÑĢ еÑħ +ĠгÑĢ Ñıз +Ġда ÑİÑĤ +Ġж енÑĭ +Ġз ÑĢиÑĤ +Ġиг ÑĢе +Ġмед и +Ġог нÑı +Ġок на +Ġоп оÑĢ +ĠÑģ мен +ĠÑĥг ол +ĠÑĥда Ñĩ +ĠÑĥлÑĭ б +ĠÑĥ ÑĤоÑĩ +ĠÑħ Ñĥже +веÑĢ ÑģÑĤ +еÑĢи ал +ив али +ими ÑĢа +леÑĤ ел +леÑĤ иÑı +олÑĮ Ñģк +оÑģÑģ иÑı +ÑĢез ан +ÑģÑĤ Ñıми +ÑĮ ного +Ñį лекÑĤ +ĠÐIJÑĢм ии +ĠÐľÐ°ÑĢ иÑı +ĠÐłÐ¾Ð¼ ан +ĠÐ¥ оÑĢоÑĪ +ĠЮж ной +ĠаÑĢми Ñİ +ĠбаÑĤ аÑĢ +ĠбеÑģ ед +Ġб ÑĢаÑĤа +ĠваÑĪ ей +Ġвед еÑĤ +Ġв инов +Ġвоз ле +ĠвÑĢаг а +Ġг идÑĢо +Ġден еж +ĠдÑĥм ал +Ġзад Ñĥм +Ġзап аÑħ +Ġза Ñĩем +Ġзна ÑİÑĤ +Ġкак ом +ĠлеÑĤ ом +Ġли ÑĪен +ĠлÑİб ом +ĠмаÑģÑģ Ñĭ +Ġн аÑĤÑĥÑĢ +ĠнаÑĪ ли +Ġобо иÑħ +Ġоз еÑĢа +Ġок кÑĥп +Ġплан е +Ġпон ÑıÑĤ +Ġпо ÑĪел +ĠÑģв еÑĤе +ĠÑĤ веÑĢд +аÑĨион н +иÑĢов ки +м ÑĭÑĪлен +оÑĩ ного +ÑĢаж ден +Ñįк оном +ÑİÑīей ÑģÑı +ĠÐĵоÑģ под +ĠÐŁÐµÑĢв аÑı +ĠÐŁÐ¾Ð¼ имо +ĠÐŁ ÑĥÑĪкин +Ġголов е +ĠдиÑģ ÑĨип +ĠдоÑĩ еÑĢи +Ġж иÑĤели +ĠзаÑģ лÑĥж +Ġизм ени +ĠмаÑĪ инÑĥ +ĠоÑĢг анÑĭ +Ġпок ÑĢов +ĠпоÑĤ еÑĢи +ĠпÑĢем ии +ĠпÑĢеп ÑıÑĤ +ĠпÑĢив Ñĭк +ĠпÑĢин ÑıÑĤ +ĠÑģмог ли +ĠÑģозд ав +ĠÑģÑĤÑĢан Ñĥ +ĠÑĥп омÑıн +ĠÑĥÑģÑĤ ÑĢан +ĠÑħоÑĤ ели +ĠÑĩиÑĤ аÑĤÑĮ +огÑĢаÑĦ ии +ÑĤелÑĮ нÑĭе +ĠÐĴаÑģили й +ĠÐĺÑģп ании +ĠСÑĤа лина +ĠС ÑĥÑīеÑģÑĤв +ĠЧем пион +ĠбÑĥдÑĥÑī ее +ĠбÑĭÑģÑĤÑĢ ее +ĠвÑĭ ÑħодиÑĤ +Ġглав ной +Ġголов ой +Ġдев ÑĥÑĪка +ĠкаÑĢ ÑĤина +Ġквад ÑĢаÑĤ +ĠнаÑĩ инаÑı +Ġнеиз беж +ĠобÑĬÑıв ил +ĠоÑĢиг ина +ĠпиÑĤ аниÑı +Ġпов оÑĢоÑĤ +Ġпоказ ал +ĠпÑĢеÑģÑĤ ол +ĠпÑĢизн ан +ĠпÑĢинÑı ли +ĠпÑĢодÑĥк ÑĤ +ĠпÑĢоÑģÑĤ ой +ĠÑģвÑıз анÑĭ +ĠÑħоÑĩ еÑĤÑģÑı +ÑĤиÑĩеÑģ кой +ĠÐŁÑĢед ÑģÑĤав +Ġвнезап но +ĠвойÑģк ами +ĠвÑĭглÑıд иÑĤ +Ġдоб иÑĤÑĮÑģÑı +Ġкомп аний +ĠминиÑģÑĤ ÑĢа +ĠнаÑĩал оÑģÑĮ +ĠнаÑĩина ÑİÑĤ +ĠобÑĬÑıв лен +ĠпамÑıÑĤ ник +Ġподоб нÑĭе +ĠподÑĤ веÑĢд +ĠпоÑģÑĤÑĥп ил +ĠпÑĢакÑĤи ке +ĠпÑĢиÑĩин ой +ĠÑĢаÑģпоÑĢ Ñıж +ĠÑģмоÑĤÑĢ еÑĤÑĮ +ĠÑģовеÑĢÑĪ ен +ĠÑģообÑī или +еÑģпонд енÑĤ +ÑĤиÑĩеÑģ кого +ĠÐĴлад имиÑĢа +ĠаÑĢеÑģÑĤ ован +Ġзаним алÑģÑı +Ġкоманд иÑĢа +ĠмаÑĤеÑĢи ала +ĠнаÑĢÑĥÑĪ ениÑı +ĠоÑĤдел ениÑı +ĠподдеÑĢж ки +Ġполков ник +ĠпоÑģлед ней +ĠпоÑģÑĤав иÑĤÑĮ +ĠпÑĢав лениÑı +ĠÑģледÑĥÑİÑī ем +ĠÑĥÑģÑĤанов ки +ĠÐľÐ¾Ñģков Ñģкой +ĠимпеÑĢаÑĤоÑĢ а +ĠобеÑģпеÑĩ иÑĤÑĮ +ĠоÑĤпÑĢав илÑģÑı +ĠпÑĢедÑĥÑģ моÑĤÑĢ +ĠÑģÑĥÑīеÑģÑĤв ÑĥÑİÑĤ +ĠболÑĮÑĪин ÑģÑĤва +ĠболÑĮÑĪин ÑģÑĤве +ĠиÑģклÑİÑĩ ением +ĠопÑĥбликов ан +ĠамеÑĢикан Ñģкий +Ġжелез нодоÑĢож +ĠпÑĢедназнаÑĩ ен +ĠпÑĢедÑģед аÑĤелÑĮ +ĠоÑĤвеÑĤÑģÑĤвен ноÑģÑĤÑĮ +Ðĺ з +м м +ÑĢ Ñħ +Ñħ л +ÑĨ к +ĠÐij е +ĠÐij ÑĢ +ĠÐĴ п +ĠШ Ñĥ +ĠÐŃ Ð» +Ġи л +ĠÑĤ и +Ðł ÑĥÑģ +ÐŃ ÑĤо +ав ÑĤ +б оÑĤ +б ÑĢи +ж ил +з иÑı +и ан +иг ÑĢ +иÑģ Ñı +иÑĤ ÑĢ +к ад +ли Ñģ +лÑı ÑĤ +на ÑĢ +ол л +п ав +п ев +Ñģ ев +Ñģ кÑĥ +Ñĥн е +ÑĦ иÑĨ +Ñħ Ñĥд +ĠÐĴ ан +ĠÐĴ оп +ĠÐĴ оÑģ +ĠÐļ Ñĥз +ĠÐĿ ам +ĠÐĿ ем +ĠФ ил +ĠФ ин +Ġб ÑĢа +Ġв аг +Ġк ип +Ġк ое +Ġл ик +Ġл ов +Ġн ег +Ġо жи +Ġп Ñĥб +ĠÑĤ ен +аз аÑĢ +ан ÑĤÑĭ +б или +г ÑĢаÑĦ +дв иг +ед ии +еÑĢ ÑĪи +еÑģ ли +ин га +иÑı ми +ков о +кол о +л еÑĤа +лин г +мен Ñı +меÑĤ ÑĢ +пиÑģ ÑĮ +п ÑĢаÑĪ +ÑĢад и +ÑĢÑı да +Ñģп оÑĢ +ÑģÑĤ ÑĢÑĥ +ÑĤ ека +ÑĤеÑĢ н +Ñĥй ÑĤе +Ñıз ан +ĠÐĶж оÑĢ +ĠÐĶ оÑģÑĤ +ĠÐł азв +ĠЯ ков +Ġб анд +Ġб анк +Ġб ого +Ġбол и +Ġб оÑĢÑĤ +Ġв иÑĨе +ĠвоÑģ Ñħ +ĠгоÑĢ е +Ġд али +ĠдÑĥ ÑĪе +Ġил лÑİ +ĠлеÑģ а +ĠмÑĥж а +Ġоб ез +Ġоб Ñīе +Ġод ни +Ġп иÑĤа +Ġпл еÑĩ +ĠÑĢек е +ĠÑĢ иÑģк +ĠÑģл ез +ĠÑģ олÑĮ +ĠÑģ ÑĩÑijÑĤ +ĠÑĤ ÑĢÑĥп +ĠÑĥ ÑĢок +ĠÑĦ Ñĥнд +ĠÑĨ аÑĢÑĮ +ĠÑĪ вед +ÐĹ Ð¾Ð»Ð¾ÑĤ +ак ÑĤив +ан дал +веÑĢ ен +еÑģ анÑĤ +еÑĩ ной +еÑĪÑĮ ÑģÑı +иÑĤ еÑĤе +оп олÑĮ +ÑĢав ни +Ñģ елен +Ñįн еÑĢг +ĠÐĴ оÑĢон +ĠÐļ иÑĤай +ĠÐļÑĥб ка +ĠÐŁÐ°Ð² ел +ĠТак ие +Ġбан ка +Ġбли же +Ġгол од +Ġдел ал +Ġизб ав +Ġкол еб +ĠкÑĢов ÑĮ +Ġлин иÑı +ĠмаÑģÑģ а +Ġмг нов +Ġнак оп +Ġо ÑħваÑĤ +Ġп акеÑĤ +ĠÑģв ÑĭÑĪе +ĠÑģозд а +ĠÑģоп еÑĢ +ĠÑģÑĤ иле +ĠÑģÑĥд ов +ĠÑĥ езда +ĠÑĥ ÑģÑĤÑĢа +ĠÑĦ анÑĤа +ĠÑħоÑĤ ÑıÑĤ +ĠÑĨел Ñĭй +ĠÑĨелÑı Ñħ +ков ник +ÑĨи онал +ĠÐĵиÑĤ леÑĢ +ĠÐļ авказ +Ġанг лиÑĩ +ĠваÑĪ его +ĠвеÑĢ ÑģиÑı +ĠвÑĭÑģоÑĤ е +ĠгÑĢам оÑĤ +ĠгÑĢÑĥз ов +Ġд иÑģÑĤан +ĠдоÑĢог Ñĥ +ĠдÑĢам аÑĤ +ĠжеÑģÑĤ ок +Ġжизн ÑĮÑİ +ĠигÑĢа еÑĤ +ĠконÑĤ ек +ĠкÑĢаÑģ но +Ġлик вид +Ġнаг ÑĢÑĥз +ĠпиÑģÑĮ ме +ĠпÑĢав ом +ĠÑĢеÑĪ иÑĤÑĮ +ĠÑĤен ден +ĠÑĥÑģили Ñı +ĠÑĦин анÑģ +ĠÑħоÑĤ иÑĤе +ĠÑįкип аж +елен ной +ив аÑİÑĤÑģÑı +ĠÐijел оÑĢÑĥÑģ +ĠÐļоÑĢ олев +ĠÐĿикол аÑı +ĠС наÑĩала +ĠавÑĤоб ÑĥÑģ +ĠвоÑģ кÑĢеÑģ +Ġиз обÑĢеÑĤ +ĠкапиÑĤ ал +ĠкÑĢÑĥп нÑĭе +ĠмалÑĮ Ñĩик +ĠнапиÑģ ан +ĠоÑĤкÑĢÑĭ ÑĤо +ĠпеÑĢев оз +ĠпÑĢеод ол +ĠпÑĢиз ван +ĠпÑĢиÑĩ инÑĭ +ĠÑĢеÑĪ ений +ĠÑģамол ÑijÑĤ +ĠÑģÑĢед ней +ĠÑģÑĢед нем +ĠÑģÑĤеп енÑĮ +амеÑĢ икан +ÑĢабаÑĤ Ñĭва +Ñĩив аеÑĤÑģÑı +ĠаÑĢг ÑĥменÑĤ +ĠиÑģкÑĥÑģ ÑģÑĤв +Ġнап ÑĢоÑĤив +ĠопеÑĢ аÑĨий +ĠопеÑĢ аÑĨиÑı +ĠоÑģÑĤ алиÑģÑĮ +ĠоÑĦиÑĨеÑĢ ов +ĠпаÑģÑģаж иÑĢ +Ġпоним аеÑĤ +ĠпоÑĩ ÑĥвÑģÑĤв +ĠпÑĢедел аÑħ +ĠпÑĢиказ ал +ĠпÑĭÑĤ аеÑĤÑģÑı +ĠÑĢазвиÑĤ ии +ĠÑĢаÑģÑĤ ениÑı +ĠÑĢедак ÑĤоÑĢ +ĠÑģов еÑĢÑĪил +ĠÑģпоÑģоб ом +ĠÑģÑĩаÑģÑĤ лив +ĠÐijлагод аÑĢÑı +ĠвÑĭполнÑı ÑĤÑĮ +ĠизвеÑģÑĤ нÑĭÑħ +Ġизмен ений +ĠинÑĤеÑĢеÑģ но +ĠиÑģпÑĭÑĤ аниÑı +ĠмаÑĤеÑĢиал Ñĭ +ĠмÑĥÑģ ÑĥлÑĮман +ĠоÑģÑĤ алÑĮнÑĭÑħ +Ġпокол ениÑı +ĠпоÑĢаж ение +ĠпÑĢиним аеÑĤ +ĠпÑĢоÑĨ енÑĤов +ĠÑģвÑıз аннÑĭе +ĠÑģлÑĥÑĩ илоÑģÑĮ +ĠÑģпоÑģоб ÑģÑĤв +ĠÑģÑĤо имоÑģÑĤÑĮ +ĠÑĦÑĥнд аменÑĤ +ĠнаблÑİд ениÑı +ĠпоÑģмоÑĤÑĢ еÑĤÑĮ +ĠÑĢаÑģÑģÑĤоÑı нии +ĠÑĢеалÑĮ ноÑģÑĤи +ĠÑģоÑĨи алÑĮнÑĭÑħ +ĠÑĥÑĩÑĢежд ениÑı +ĠÑįмо ÑĨионалÑĮ +ĠдейÑģÑĤв оваÑĤÑĮ +ĠмакÑģималÑĮ но +ĠнапÑĢав ление +ĠопÑĢедел ениÑı +ĠÑĢезÑĥлÑĮÑĤаÑĤ ов +Ġнеодн окÑĢаÑĤно +ĠпÑĢоиз ведений +ĠпÑĢоÑģÑĤÑĢан ÑģÑĤве +ĠÑģовÑĢемен ного +ĠÑĥнивеÑĢÑģ иÑĤеÑĤе +ĠÑĩеловеÑĩ еÑģÑĤва +ĠÑģооÑĤвеÑĤÑģÑĤв ÑĥеÑĤ +ĠÑĩеловеÑĩеÑģ кого +Ðļ а +Ðł Ðĺ +е и +л Ñij +п Ñģ +ÑĦ ÑĢ +Ñİ Ðº +ĠÐIJ й +ĠÐŁ и +Ġв ÑĬ +Ġе Ñİ +б Ñĥк +в ил +в оÑģ +ев ÑĢ +ж иÑĤ +з аÑĢ +и аÑĤ +и ев +иÑĩ ÑĮ +ки ÑĢ +л аб +л Ñĥн +м ой +оÑĩ и +п ин +п оÑģ +ÑĢ им +Ñĩ ек +Ñĩ кÑĥ +Ñī ее +Ñī ÑĥÑİ +ÑĮ еÑĤ +ĠÐĴ ин +ĠÐĶ аÑĢ +ĠÐĶж а +ĠÐĶж о +ĠÐĺ иÑģ +ĠÐļ аÑģ +ĠÐļ еÑĢ +ĠС ев +ĠФ еÑĢ +ĠЦ аÑĢ +Ġби о +Ġд Ñĥб +Ġз ел +Ġз он +Ġм ÑıÑĩ +ĠÑģ ей +ĠÑģо Ñĩ +ĠÑĦ аз +аÑĢ иÑı +б елÑĮ +биÑĤ Ñĭ +би Ñīе +б ÑĢаÑģ +в еÑīа +вод а +в ÑĢаÑī +еж де +ем ой +ен иÑĤ +еÑģ ед +еÑĤ иÑı +еÑĪ ен +ид оÑĢ +иÑģÑĤ а +иÑĤ ан +кÑĥÑĢ Ñģ +лиÑĨ а +лÑı нд +на ÑģÑĤ +ни ке +ним а +ов ка +ог ен +оÑĤ ип +пÑĢ Ñıм +Ñģ веÑĤ +ÑģеÑĢ д +ÑĤ еле +ÑĤо на +ÑĥÑģ ов +Ñĩ аÑĤÑĮ +ÑĪ иÑĤÑĮ +Ñĭва Ñİ +ĠÐļ оÑģÑĤ +ĠÐŀ лег +ĠСам о +ĠЮ ÑĢий +Ġдв ое +Ġдоб ÑĢ +Ġид ÑĥÑĤ +Ġк ÑĢик +Ġм или +Ġнад е +Ġнеб о +Ġпоз н +Ġпол и +ĠÑģ еÑĤÑĮ +ĠÑģ низ +ĠÑģ ÑĥÑĤÑĮ +ĠÑĦ лаг +аж ива +аÑĢ аÑĤа +ем ого +еÑħ али +иÑĩ нÑĭй +н еÑģÑĤи +оÑģÑĤ ей +под об +Ñģ егда +ÑģÑĤ ÑĢад +ÑĪÑĤ ейн +Ñī ение +Ñı ÑİÑĤÑģÑı +ĠÐĺм пеÑĢ +ĠÐŁÐ¾Ð· же +ĠбÑĢон з +Ġво ÑĪли +ĠвÑĭ ÑĪли +ĠдвеÑĢ и +Ġжив ÑĥÑĤ +ĠзаÑĢ Ñıд +Ġиг ÑĢаÑħ +Ġкам еÑĢ +ĠнаÑĪ им +Ġн евеÑĢ +ĠнÑĥж ен +ĠнÑĥж на +Ġоб нов +Ġоп поз +ĠоÑģл аб +ĠпоÑį ÑĤа +ĠÑĢÑĭн ок +ĠÑģво Ñijм +ĠÑģÑĤÑĢ ой +ĠÑģÑĥм ел +ĠÑģÑĥм мÑĥ +ĠÑĤ аÑĤаÑĢ +ĠÑĤ еÑģно +ĠÑĥз нал +ĠÑĥ ÑģкоÑĢ +ĠÑĥ ÑģÑĤÑĢо +ĠÑĩеÑĤ ко +ĠÑĩиÑĤ ал +ĠÑį волÑİ +ализ ма +алÑĮ ник +вÑĪим ÑģÑı +глÑı дел +инг ÑĤон +ин ÑģÑĤво +ни лоÑģÑĮ +нÑĥл аÑģÑĮ +омн иÑĤÑĮ +оÑģÑĤоÑĩ н +ÑıÑīиÑħ ÑģÑı +ĠÐĶ ейÑģÑĤв +ĠÐļÑĢаÑģ но +ĠÐŀб ÑĭÑĩно +ĠÐłÐ¾Ð± еÑĢÑĤ +Ġбан ков +Ġвозв ÑĭÑĪ +ĠвÑģÑı ком +Ġг иганÑĤ +ĠговоÑĢ Ñİ +Ġди амеÑĤ +ĠдоÑĢог а +ĠзадаÑĩ Ñĥ +ĠиÑģк ÑĢен +ĠкоÑģÑĤ Ñİм +ĠмеÑĤ алл +ĠмÑĥзÑĭ ки +ĠоÑĨен ки +ĠоÑĪиб ки +Ġпом имо +ĠпÑĢиÑĪ ла +ĠпÑĢов Ñijл +ĠпÑĢ ойÑĤи +ĠпÑĥнк ÑĤа +ĠÑĢежим а +ĠÑĢек оÑĢд +ĠÑģлов ом +ĠÑģов пад +ĠÑģолн ÑĨе +ĠÑģпеÑĨи ÑĦ +ĠÑģÑĤаÑĤ ей +ĠÑģÑĤаÑĤÑĮ Ñı +ĠÑģÑĥдÑĮ ба +ĠÑĤеоÑĢ иÑı +кÑĥлÑĮÑĤ ÑĥÑĢ +леÑĤ него +омн енно +ÑĤиÑĢов ал +ÑİÑīего ÑģÑı +ĠÐIJмеÑĢ ике +ĠÐŀд наждÑĭ +ĠбÑĭв ÑĪего +ĠвлиÑı ниÑı +ĠвнеÑĪ ней +Ġвоен нÑĭй +Ġво обÑĢаж +ĠвопÑĢоÑģ а +ĠголоÑģ ов +Ġдивиз иÑı +Ġзан ÑıÑĤиÑı +Ġизд аниÑı +Ġин веÑģÑĤи +ĠкаÑĢÑĮеÑĢ Ñĥ +Ġкоманд е +Ġл еÑĩениÑı +Ġнег аÑĤив +Ġпол иÑĨей +ĠполÑĥÑĩ ив +ĠÑĢаÑģÑģ лед +ĠÑģлÑĥж иÑĤÑĮ +ĠÑģÑĤан ÑĨиÑı +ĠÑģÑĤаÑĢ ÑĪий +ĠÑĨенÑĤ ÑĢом +ÑģÑĤвен нÑĭе +ÑħозÑıй ÑģÑĤв +ĠаÑģÑĤÑĢ оном +ĠзаклÑİÑĩ ен +ĠздоÑĢов ÑĮÑı +Ġизбеж аÑĤÑĮ +ĠкаÑĩ еÑģÑĤво +Ġклад биÑīе +ĠмеÑģÑĤ ного +ĠнавеÑĢ ное +ĠнапиÑģ аÑĤÑĮ +ĠоÑīÑĥÑī ение +Ġпомог аеÑĤ +Ġпоним аÑĤÑĮ +Ġпоп ÑĢоÑģил +ĠпоÑģÑĤав ил +ĠпÑĢоÑĤ окол +ĠÑģпоÑģоб нÑĭ +олог иÑĩеÑģк +ĠÐļазаÑħ ÑģÑĤан +ĠгоÑĢод Ñģкой +ĠнезавиÑģ им +ĠпÑĢогÑĢамм Ñĥ +ĠÑģвÑıз аннÑĭÑħ +ĠÑģледÑĥÑİÑī ее +ĠÑģледÑĥÑİÑī им +ĠÑģоÑħÑĢан иÑĤÑĮ +ĠÑħÑĥдож ника +ĠÐľÐ¸Ñħайлов иÑĩ +ĠвнÑĥÑĤÑĢен ней +ĠнезавиÑģ имо +ĠоÑĤноÑĪениÑı Ñħ +ĠоÑĦиÑĨи алÑĮно +ĠполÑĥÑĩ аеÑĤÑģÑı +ĠпÑĢодолж аеÑĤ +ĠÑĢабоÑĤ ников +ĠÑĢазÑĢабоÑĤ ан +ĠÑĢоÑģÑģий Ñģкой +ĠÑģоедин ениÑı +ĠÑĥÑģÑĤÑĢой ÑģÑĤво +ĠÐijолÑĮÑĪ инÑģÑĤво +ĠÐľÐ¾Ñģков Ñģкого +ĠÐŀлимпий ÑģкиÑħ +Ġкон ÑģÑĤÑĢÑĥкÑĤоÑĢ +ĠобÑıзан ноÑģÑĤи +ĠпоÑģÑĢед ÑģÑĤвом +ĠпÑĢедпÑĢи ÑıÑĤий +ĠÑĤемпеÑĢ аÑĤÑĥÑĢа +ĠвоÑģп оминаниÑı +ĠединÑģÑĤвен нÑĭй +ĠопÑĢеделÑı еÑĤÑģÑı +ĠÑģпеÑĨиалиÑģÑĤ ов +ĠÑĩеловеÑĩеÑģ кой +ĠавÑĤомаÑĤ иÑĩеÑģки +ĠадминиÑģÑĤ ÑĢаÑĨии +ĠполÑĮзоваÑĤ елей +ĠпÑĢоизвод иÑĤелÑĮ +ĠÑģлед оваÑĤелÑĮно +ĠÑģобÑģÑĤвен ноÑģÑĤи +ĠоÑģÑĥÑīеÑģÑĤв лÑıеÑĤÑģÑı +ĠоÑĤвеÑĤÑģÑĤвен ноÑģÑĤи +ÐIJ С +Ðķ Т +Ðĺ ÐĶ +Ðļ о +Ðł У +й д +ÑĦ о +Ñĩ Ñij +ĠÐIJ м +ĠÐĴ з +ĠÐĵ о +С еÑĢ +Ч ÑĤо +б ли +г ÑĢÑĭ +ем а +еп ÑĤ +з ен +иÑģ л +ли л +л ли +н иÑģ +нÑı к +п ÑĢÑĭ +ÑĢ ог +ÑĢ оÑĤ +Ñģл Ñĥ +ÑĤи л +ÑĤ иÑģ +ÑĤ Ñĭй +Ñį ÑĤо +ĠÐIJÑĢ Ñħ +ĠÐij Ñĥл +ĠÐĹ Ð½Ð° +ĠÐļ од +ĠÐĿ ев +ĠÐŀ ÐŀÐĿ +ĠÐł ан +ĠС Ñĭн +ĠТ ÑĢе +ĠШ аÑĢ +Ġб аÑģ +Ġк ÑĥÑħ +ĠÑĢ еÑĨ +ĠÑĢ ок +ĠÑĢ ÑĥÑĩ +ĠÑį Ñģк +в иÑģÑĤ +д ани +ел ез +зем п +иÑĤа е +иÑī ен +л айн +лаÑĤ Ñĭ +лен д +од оÑĢ +ок Ñĥп +оÑĢ ан +п ÑĥлÑĮ +ÑĢаÑī а +ÑĨен з +ÑĨ кий +Ñĩ нÑĭй +ÑĪ емÑĥ +Ñī ина +ÑĮ ной +ĠXV II +ĠÐIJн аÑĤ +ĠÐĴ пеÑĢ +ĠÐĴ Ñģем +ĠÐļÐŁ СС +ĠÐļом п +ĠÐľÐµÐ½ Ñı +ĠÐŀд на +ĠÐłÑĥÑģ и +ĠУ илÑĮ +ĠаÑĢÑħ е +Ġв ижÑĥ +Ġвн ед +Ġгаз а +ĠдÑĥÑĪ а +ĠдÑĥÑĪ Ñĥ +Ġи ÑģÑĤи +Ġк ÑĢÑĥÑĤ +Ġл еÑģÑĤ +ĠмÑıÑģ о +ĠоÑĦ иÑģ +Ġп аÑģÑĤ +ĠпоÑĩ ÑĤ +ĠпÑĢ ол +ĠÑģÑĤ им +ĠÑģÑĤ Ñĥп +ĠÑĦ ÑĢаз +д оÑĢож +ед жеÑĢ +енÑĤ ин +ив аем +кл аÑģÑģ +наÑĩ ал +нев но +ниÑĨ ей +нов ид +н Ñģкий +пÑĥлÑĮ Ñģ +ÑģÑĤ ÑĢан +ĠÐĵеÑĢ ой +ĠÐĵ овоÑĢ +ĠÐĹем ле +ĠÐļ иÑĤае +ĠÐŁÐ¾Ð´ об +ĠÐŁÑĥ ÑģÑĤÑĮ +ĠТак ое +Ġал ког +Ġвал ÑİÑĤ +ĠвеÑĢ но +ĠвеÑģ ел +ĠвÑĭз ов +ĠгеÑĢо и +Ġзд ÑĢав +Ġимен а +ĠкаÑĢÑĤ Ñĭ +ĠкоÑĢ он +Ġлег Ñĩе +Ġмол иÑĤ +Ġм оÑĤоÑĢ +Ġоб лег +Ġоб ÑĪиÑĢ +ĠобÑī ее +ĠоÑģ обÑĭ +ĠоÑĤ боÑĢ +ĠоÑĤ ÑĩаÑı +Ġпа ÑĢад +ĠпеÑĢ ее +Ġпил оÑĤ +Ġпл ана +Ġпок ÑĢÑĭ +Ġпо ÑģÑĭл +ĠпÑĢед ÑĬ +ĠпÑģиÑħ о +ĠÑģк ÑĢÑĭÑĤ +ĠÑģÑĢед е +ĠÑģÑĤ вол +ĠÑģÑĤол б +ĠÑģÑĨен е +ĠÑģÑĭ нов +ĠÑĤип ов +ĠÑĤÑĢ ени +ĠÑĥ ника +ĠÑĥ ÑģÑĤав +ĠÑħÑĢам а +ĠÑĩеÑĢ ÑĤÑĭ +ĠÑĪ колÑĮ +ĠÑįпо ÑħÑĥ +ев Ñģкий +еÑĢÑĭв но +иÑĤелÑı м +ланд ии +ноÑģ иÑĤÑĮ +ов аний +ов ÑģкаÑı +ÑĢаж дан +ÑĦа ÑĪиÑģÑĤ +ĠÐĴоп ÑĢоÑģ +ĠÐļ ÑģÑĤаÑĤи +ĠÐŁÐµÑĢв ой +ĠÐŁÐµÑĢв Ñĭе +ĠÐŁÑĢ оÑģÑĤо +ĠÐłÐ°Ð±Ð¾ÑĤ а +ĠаÑģ ÑģоÑĨи +ĠвоÑĢоÑĤ а +Ġв оÑģÑĤок +ĠвÑĭб ÑĢан +ĠвÑĭ деÑĢж +Ġдв аждÑĭ +Ġдоб ÑĢов +ĠдÑĥм аеÑĤ +Ġзак онÑĭ +ĠзаÑĤ ÑĢаÑĤ +ĠзаÑı влÑı +Ġзна еÑĤе +Ġзн аний +Ġкажд аÑı +Ġком меÑĢ +ĠминÑĥÑĤ Ñĥ +ĠминÑĥÑĤ Ñĭ +Ġмног ом +Ġнед елÑĮ +ĠоÑģнов Ñĥ +ĠоÑĤдÑĭÑħ а +Ġпок лон +Ġпол нÑĭй +ĠпоÑģл ан +ĠпоÑĤеÑĢ Ñı +ĠпÑĢи дÑĥм +ĠпÑĢов ел +ĠпÑĢоп аг +ĠпÑĢоÑĪ ли +ĠпÑĢÑıм ой +ĠÑģдел ан +ĠÑģек Ñĥнд +ĠÑģквоз ÑĮ +ĠÑģлÑĭÑĪ ал +ĠÑģмÑĭ Ñģла +ĠÑģоб ÑĢан +ĠÑģÑĤад ии +ĠÑģÑĤÑĢ елÑĮ +ĠÑĤÑĢÑĥд ом +ĠÑĤÑĥ ÑĢиÑģÑĤ +ĠÑĥг одно +ĠÑĥÑĩ аÑģÑĤи +ĠÑĥÑĩен Ñĭе +ĠÑįк земп +алÑĮ нÑĭми +аÑĢд иÑĢов +ноÑģÑĤ Ñıми +нÑĥ вÑĪиÑģÑĮ +ÑĢаг менÑĤ +ÑĢиÑģÑĤ алл +ĠбÑĢиг адÑĭ +ĠвоздÑĥÑħ е +ĠвÑģÑı кого +ĠвÑĭбоÑĢ аÑħ +ĠвÑĭдел ен +ĠгоÑĢода Ñħ +Ġиде олог +ĠклаÑģÑģ ов +ĠнаÑĩал ом +ĠнеÑģ ÑĩаÑģÑĤ +ĠподÑĥм ал +Ġпоз иÑĨиÑİ +ĠпопÑĭÑĤ ка +ĠпÑĢибÑĭ ли +ĠпÑĢив ело +ĠпÑĢог ноз +ĠпÑĥлем еÑĤ +ĠÑĢазд ÑĢаж +ĠÑĢеак ÑĨии +ĠÑģвобод Ñĥ +ĠÑģеÑĢеб ÑĢÑı +ĠÑģилÑĮ нее +ĠÑģов окÑĥп +ĠÑĥника лÑĮ +ĠÑĥÑĩаÑģÑĤ ок +ĠÑĥÑĩили Ñīе +ĠÑĦÑĥнкÑĨи й +ĠÑĩеÑĤÑĭÑĢ ÑijÑħ +емон ÑģÑĤÑĢи +иÑĢов ании +иÑĦика ÑĨии +ков Ñģкого +Ñİ ÑĤиÑĢовал +ĠаÑįÑĢод ÑĢом +ĠбаÑĤалÑĮ он +Ġвели кого +ĠвÑĭÑģÑĤÑĥп ил +ĠгÑĢаж дани +Ġназ Ñĭвали +ĠнемеÑĨ киÑħ +ĠоÑģÑĤав иÑĤÑĮ +ĠоÑĤвеÑĩ аеÑĤ +ĠоÑĤкÑĢÑĭ ÑĤиÑı +Ġполном оÑĩ +Ġполов инÑĭ +ĠпоÑģвÑıÑī ен +ĠпÑĢоблем Ñĥ +ĠпÑĢоÑĨ еÑģÑģÑĭ +ĠÑĢазвиÑĤ иÑİ +ĠÑĢазÑĢÑĥÑĪ ен +ĠÑĢеÑģÑĥÑĢÑģ ов +ĠÑĢод иÑĤели +ĠÑģобÑĢ аниÑı +ĠÑģомн ениÑı +ĠÑģÑĥÑīеÑģÑĤв Ñĥ +ĠÑĥÑĩаÑģÑĤ ник +еÑģÑĤвен ник +ĠÐĿеÑģ колÑĮко +ĠвÑĭÑģÑĤÑĥп аеÑĤ +ĠзаÑıв ление +ĠкоммÑĥ ниÑģÑĤ +ĠмеÑģÑĤ ноÑģÑĤи +ĠопÑĢедел Ñijн +ĠоÑĤказ алÑģÑı +ĠоÑĤпÑĢав лен +ĠпÑĢовод иÑĤÑĮ +ĠÑģозд аваÑĤÑĮ +ĠÑģпоÑĢÑĤ Ñģмен +ĠÐĴаÑģилÑĮ евиÑĩ +ĠиÑģполÑĮз ÑĥеÑĤ +ĠиÑģÑĤоÑĩ ников +ĠназнаÑĩ ениÑı +Ġнеиз веÑģÑĤно +ĠпÑĢимен ение +ĠÑģовеÑĤ Ñģкого +ĠÑģодеÑĢж аниÑı +ĠÑģÑĤÑĢем ление +ĠÑĤвоÑĢÑĩ еÑģÑĤва +ĠÑĤеÑĢÑĢиÑĤоÑĢ иÑİ +ĠвÑģÑĤÑĢеÑĩ аеÑĤÑģÑı +ĠвÑĭÑģÑĤÑĥп лениÑı +ĠнаÑģÑĤÑĥп ление +ĠповеÑĢÑħ ноÑģÑĤÑĮ +ĠподгоÑĤов лен +ĠÑĢоÑģÑģий Ñģкого +ĠÑģобÑģÑĤвен нÑĭÑħ +ĠамеÑĢикан ÑģкиÑħ +ĠÑĢаÑģÑģказ ÑĭваеÑĤ +ĠÑĢÑĥковод иÑĤелÑĮ +ĠÑģобÑģÑĤвен ного +ад миниÑģÑĤÑĢаÑĤив +ĠÐIJлекÑģандÑĢов иÑĩ +ĠмеждÑĥнаÑĢод нÑĭÑħ +ĠнаÑĨионалÑĮ ного +ĠобÑīеÑģÑĤвен ного +ĠпеÑĢво наÑĩалÑĮно +ĠÑģооÑĤвеÑĤÑģÑĤв ÑĥÑİÑī +ĠиÑģполÑĮзов анием +ÐIJ ÐĹ +ÐĶ ж +Ðĺ Ñģ +ÐĿ Ðł +Ðŀ Ðł +Ðŀ н +п ÑĤ +ÑĢ н +Ñı к +Ġ" « +ĠÐIJ ÐĿ +ĠÐĹ Ð² +ĠФ ÑĢ +ĠЧ и +ĠÐŃ Ðº +ĠÑĥ л +ав а +аз м +б ив +в еÑī +д иÑģ +е еÑĤ +ж да +з он +ин ÑĦ +иÑģ а +иÑģ п +к ле +к ли +ли п +м аг +о ид +оп а +п ил +ÑĢе ÑĨ +ÑĢи ÑĦ +ÑĢÑı н +Ñĩ ок +ÑĪ еÑĢ +ÑĪ ко +Ñī ем +Ñįн д +Ñij зд +ĠÐIJн г +ĠÐĴ еÑģ +ĠÐĵ ал +ĠÐĸ ив +ĠÐĹ Ð°Ðº +ĠÐĽ ÑĥÑĩ +ĠÐľ ик +ĠÐľ ÑĥÑĢ +ĠÐĿ оÑĢ +ĠÐł ай +ĠÐł еÑĪ +ĠÐł иÑĩ +ĠС ав +ĠС аÑĢ +ĠС ил +ĠТ ай +ĠТ ан +ĠТ ÑĢÑĥ +ĠÐ¥ ан +ĠÐ¥ ÑĢи +ĠЧ аÑĢ +Ġа Ñĥд +ĠбÑĭ ÑĤ +Ġд ÑĥÑĢ +Ġл ав +Ġм иг +Ġн ан +ĠÑĤ об +ĠÑĦ аÑĢ +Ðķ Ñģли +СÐļ ÐĴÐIJ +ав од +аÑĤ ел +ег ка +ек ан +ж ига +ков ÑĮ +лÑĮÑĤ ÑĢ +ни кÑĥ +ож еÑĤ +п лав +Ñĥб ий +Ñĥд ил +ÑĥÑĢ га +ÑĦоÑĢ д +ÑĦ оÑĢÑĤ +Ñħ аÑĤÑĮ +Ñĩ нÑĭе +ĠÐIJн на +ĠÐĴ оÑģÑĤ +ĠÐĺ ÑĢан +ĠÐŁ лаÑĤ +ĠÐŁÑĢ ин +ĠС лав +ĠС мол +ĠЯ ÑĢоÑģ +Ġбаз Ñĭ +Ġв доÑħ +Ġвз оÑĢ +Ġв меÑĪ +ĠвÑĭз в +Ġгл аг +Ġди аг +ĠдÑĥÑħ а +Ġж ени +Ġзаб Ñĭ +Ġз але +ĠзаÑĤ о +Ġиде Ñİ +Ġк али +Ġкож и +Ġк ÑĥÑģÑĤ +Ġоб еÑĢ +Ġоб Ñĭк +ĠоÑĤ еÑĩ +ĠÑĢан о +ĠÑĢ иÑĤм +ĠÑĢÑĥ ко +ĠÑģв ин +ĠÑģ инÑĤ +ĠÑĤ веÑĢ +ĠÑĤем а +ĠÑĤем Ñĭ +ĠÑĤ иÑħо +ĠÑĤÑĢ оп +ĠÑĥ езд +ĠÑĦ еÑģÑĤ +ĠÑħл оп +ĠÑĨ енÑĭ +ĠÑĩаÑģ Ñĭ +Ðĺн ÑĤеÑĢ +беж ал +вÑĪ емÑĥ +г ÑĢÑĥпп +дав ал +дв ига +еÑħ аÑĤÑĮ +ион еÑĢ +иÑĢÑĥ ÑĢг +иÑģ лен +н Ñģкой +омеÑĤ ÑĢ +п ÑĢазд +Ñģ озна +ÑĤÑıн ÑĥÑĤ +ÑĦ илÑĮм +Ñħод ил +ĠÐļиÑĤ аÑı +ĠÐŀÑĤ веÑĤ +ĠÐŀ ÑĦиÑĨи +ĠÐŁÐµÑĢ во +ĠÐłÐ°Ð· Ñĥм +ĠТак ой +Ġбл еÑģÑĤ +Ġвоп ло +Ġгип оÑĤ +ĠдвоÑĢ е +Ġдел ам +Ġдел ом +Ġзаб ил +Ġзаг ад +Ġкв аÑĢÑĤ +Ġкол еÑģ +ĠлÑİб ил +ĠмаÑģ ла +ĠмÑĥз еÑı +ĠнÑĥж да +ĠобÑĬ Ñijм +Ġпок оÑĢ +Ġпом нÑİ +Ġпо ÑĪли +ĠÑĢаÑģÑģ е +ĠÑģами Ñħ +ĠÑģекÑģ Ñĥ +ĠÑģек Ñĥн +ĠÑģк ÑĢип +ĠÑģ оÑģÑĥд +ĠÑģÑĤÑĢ оÑı +ĠÑģÑĥп еÑĢ +ĠÑĤ Ñĥман +ĠÑĥбеж д +ĠÑĥÑģп ел +ĠÑĦиÑĢ мÑĭ +ĠÑĩеÑĢ еп +ĠÑĪÑĤ ÑĢаÑĦ +веÑĢж ен +геÑĢ ман +деÑĢж ан +егод но +ив ание +мÑĥ ниÑģÑĤ +п оÑĤÑĢеб +ÑĢеж ден +ÑĢез аÑĤÑĮ +Ñģ оÑģÑĤоÑı +ĠÐľÐŀ СÐļÐĴÐIJ +ĠÐĿап оле +ĠÐŁÑĢ ежде +ĠÐ¥ÑĢи ÑģÑĤа +ĠалÑĮб ом +ĠбеÑĢег а +ĠбоÑĢÑĮ ба +ĠбоÑĢÑĮ бÑĥ +Ġв оÑģÑĤоÑĩ +ĠвÑģÑı кий +ĠвÑĤоÑĢ аÑı +ĠвÑħод ÑıÑĤ +ĠвÑĭн Ñĥжд +ĠвÑĭÑģ ÑĪей +ĠгеÑĢÑĨ ог +ĠдеÑĢж ав +Ġзав ÑĤÑĢа +Ġзвезд Ñĭ +ĠзолоÑĤ о +ĠиÑĤог ам +ĠконÑĤ ак +Ġмн ениÑı +Ġмного е +Ġмона ÑĢÑħ +Ġнайд ен +Ġнем ÑĨев +Ġник ого +ĠоÑĤ веÑĢг +ĠоÑĤлиÑĩ а +ĠпеÑĩ аÑĤи +Ġподоз ÑĢ +Ġпол ное +Ġпоп ÑĢоб +ĠпÑĢед ан +ĠÑĢаз веÑĢ +ĠÑĢаз ÑĢÑıд +ĠÑĢежим е +ĠÑģвеÑĢÑħ Ñĥ +ĠÑģл егка +ĠÑģна ÑĢÑıд +ĠÑģоÑĨи ал +ĠÑģÑĤÑĢан а +ĠÑĥÑĩен ÑĭÑħ +ĠÑĦÑĢон ÑĤе +ĠÑĩаÑģÑĤи ÑĨ +глÑıд Ñĭва +еÑĢб ÑĥÑĢга +н адÑĨаÑĤÑĮ +ÑĢабоÑĤ ал +Ñģ ÑĥÑīеÑģÑĤв +ÑĤелÑĮ наÑı +ĠСвÑıÑĤ ого +ĠЯÑĢоÑģ лав +ĠаÑĥд иÑĤоÑĢ +ĠболÑĮÑĪ ев +ĠвÑĭиг ÑĢал +Ġге огÑĢаÑĦ +ĠдÑĢев ниÑħ +Ġжел аниÑı +ĠзамеÑĤ но +Ġиме ÑİÑĤÑģÑı +Ġкажд омÑĥ +ĠкаÑĢÑĤ инÑĥ +ĠмаÑĢÑĪ ÑĢÑĥÑĤ +ĠмеÑĤод ов +ĠмоÑĢ Ñģкой +Ġнам ного +ĠобÑĭк нов +ĠоÑģÑĤ оÑĢож +ĠоÑģÑĤÑĢов е +ĠоÑĤкÑĢÑĭ ÑĤÑĭ +ĠоÑĤлиÑĩ но +Ġплан еÑĤÑĭ +Ġпоним ал +Ġпоним аÑİ +ĠпÑĢиÑĩ ина +ĠÑĢабоÑĤ ой +ĠÑĢайона Ñħ +ĠÑĢÑĥÑģ Ñģком +ĠÑģелÑĮ Ñģко +ĠÑģказ ано +ĠÑĥпÑĢав лÑı +ĠÑıвлÑı лÑģÑı +ĠÐIJкадем ии +ĠÐĹапад ной +ĠÐĿикола ев +ĠÐĿов гоÑĢод +ĠанглиÑĩ ан +Ġблагод аÑĢ +ĠвлиÑı нием +ĠвÑĭÑģок ого +Ġжелез ной +ĠизвеÑģÑĤ ен +ĠизÑĥÑĩ ениÑı +ĠинÑĤеÑĢеÑģ Ñĭ +ĠинÑĤеÑĢ ÑĦей +Ġкандид аÑĤ +ĠнÑĢав иÑĤÑģÑı +ĠпеÑĢепиÑģ и +ĠподпиÑģ ал +ĠподпиÑģ ан +ĠполиÑĤ ика +ĠполÑĥÑĩ аÑİÑĤ +ĠпÑĢазд ник +ĠпÑĢед Ñģказ +ĠпÑĢоекÑĤ ов +ĠÑĢабоÑĩ его +ĠÑĢеÑģÑĤ оÑĢан +ĠÑģпоÑģоб ен +ĠÑģÑĢед него +ĠÑģÑĤол кнов +ĠÑģÑĥÑī ноÑģÑĤи +ĠÑĤоÑĢгов ли +ĠÑĤоÑĢж еÑģÑĤв +ĠÑĤÑĢеб овал +ĠÑĥÑģÑĤ ойÑĩив +ĠÑĦ ÑĢагменÑĤ +ĠÐŁÑĢезид енÑĤ +ĠвÑĭÑĢаж ение +Ġдвиг аÑĤелÑı +ĠдейÑģÑĤв ÑĥеÑĤ +ĠдепÑĥÑĤ аÑĤов +ĠдиÑĢекÑĤ оÑĢа +ĠинÑĤел лекÑĤ +ĠиÑģÑĤоÑĩ ника +ĠнаÑĢод ного +ĠопаÑģ ноÑģÑĤи +ĠоÑĤдел ение +ĠпиÑģ аÑĤелей +Ġпоним ание +ĠпоÑĢаж ениÑı +ĠпÑĢогÑĢамм е +ĠпÑĢодолж ил +ĠÑĢег ионалÑĮ +ĠавÑĤомоб илÑı +ĠколиÑĩ еÑģÑĤве +ĠобÑĥÑģлов лен +ĠпеÑĢеговоÑĢ Ñĭ +ĠпоÑĤÑĢеб овал +ĠпÑĢедÑģÑĤав ил +ĠÑģоÑģÑĤавлÑı ÑİÑĤ +ĠÑĤемпеÑĢ аÑĤÑĥÑĢ +ĠÑĩÑĥвÑģÑĤв овал +ĠвоздейÑģÑĤв иÑı +ĠвÑģÑĤÑĢеÑĩ аÑİÑĤÑģÑı +ĠизобÑĢаж ение +ĠиÑģполÑĮзов ал +ĠконÑģÑĤÑĢÑĥк ÑĨии +ĠопÑĢедел ение +ĠпÑĢедÑģÑĤавлÑı л +ĠÑĢÑĥковод ÑģÑĤва +ĠÑģобÑģÑĤвен нÑĭе +ĠÑĦÑĢанÑĨÑĥз Ñģкий +Ġвозмож ноÑģÑĤей +ĠиÑģÑģлед ование +ĠобоÑĢÑĥд ованиÑı +ĠпÑĢедÑģед аÑĤелÑı +ĠÑĦоÑĢм иÑĢованиÑı +ĠÑģопÑĢоÑĤив ление +Ġзаконод аÑĤелÑĮÑģÑĤв +ĠÑģелÑĮÑģко ÑħозÑıйÑģÑĤв +Ðij а +ÐĶ Ðł +ÐĶ о +ÐĽ Ðŀ +Ðľ е +ÐŁ а +С п +ĠÐIJ Ñģ +ĠÐĵ ÑĢ +ĠÐĻ о +ĠФ Ñĥ +Ġа п +Ġг н +Ġк Ñĥ +Ġп Ñĭ +ÐĴ Ñģе +ай л +аÑģ а +б Ñĥл +во и +г Ñĥб +д ам +д ок +й дÑı +к ÑĢÑĥ +л од +лÑĮ Ñı +л ÑijÑĤ +н ки +н но +оÑģ а +п оÑĤ +Ñģ ÑĥÑĢ +ÑĤ ел +Ñĥм е +Ñĥм Ñĭ +ÑĥÑĪ к +Ñħ оÑĢ +Ñĩ ие +Ñĩ ил +Ñī еÑĤ +ÑĮ ем +Ñİ Ð´Ð° +ĠÐij ай +ĠÐij аÑĤ +ĠÐij ÑĢа +ĠÐij ÑĢÑİ +ĠÐĵ ог +ĠÐĵ од +ĠÐĶ ва +ĠÐļ оÑģ +ĠÐļ ÑĢа +ĠÐĽ аÑĤ +ĠÐĽ ен +ĠÐĽ еÑģ +ĠÐĽ ин +ĠÐĿ Ñĥж +ĠÐŁ аÑĤ +ĠÐŁ иÑģ +ĠÐŁ ло +ĠÐł ей +ĠÐł оз +ĠÐŃ Ð»ÑĮ +Ġб ÑĥÑĤ +Ġд ам +Ġд ед +Ġд Ñĭм +Ġл еÑĩ +ĠоÑĢ к +Ġп ÑĥÑĪ +ĠÑĦ аб +ÐĻоÑĢ к +ан на +б ÑĢон +г енÑĤ +г ÑĢÑĥж +д ина +еб но +ев из +ен дÑĥ +еÑĪ ев +еÑī ал +ж ела +ин ки +иÑĢ ÑĤÑĥ +каж Ñĥ +лов а +лÑı ми +неп ÑĢ +н еÑĢа +н нÑĭÑħ +ож ен +п ÑĤом +Ñģк ов +ÑģÑĤ оÑĢ +ÑĤ елÑİ +Ñĥл ов +ÑĥÑĩ ен +Ñĩ нÑĭм +ÑıÑī ей +ĠÐŀд но +ĠÐŀ ÑģÑĤа +ĠÐŀÑĤе ÑĨ +ĠСÑĤ ав +ĠУ каз +ĠФ ÑĢид +ĠÐ¥ аÑĢÑĮ +Ġа лÑĮÑĤ +ĠбоÑı Ñħ +ĠваÑĪ е +ĠвеÑī ÑĮ +Ġвол и +Ġв ÑĢÑıд +Ġгл аÑģ +Ġг нев +ĠгÑĢ об +Ġд нем +Ġз онÑĭ +Ġиме Ñı +ĠкаÑĢ а +Ġкли н +ĠкнÑı ж +Ġкод а +Ġм ама +ĠмÑĭÑĪ ÑĨ +Ġоб ед +Ġоб ид +Ġок ÑĢа +ĠÑĢеÑĪ а +ĠÑģл еп +ĠÑģн аб +ĠÑģп иÑĢ +ĠÑĤ анк +ĠÑĤ кан +ĠÑĤ оÑĢм +ĠÑĤ ÑĢак +ĠÑĨиÑĦ ÑĢ +ĠÑįн еÑĢ +ĠÑį ÑĦиÑĢ +ан Ñĥне +вед Ñijн +вок аÑĤ +ек ÑĨии +енд аÑĢ +з елен +иÑĩ нÑĭе +неÑģ ли +Ñĥ пÑĢав +ÑĥÑģÑĤ им +ÑİÑī емÑĥ +ÑıÑī его +ĠÐĵен ÑĢи +ĠÐĹ Ð°ÐºÐ¾Ð½ +ĠÐĺв ана +ĠÐĿов Ñĭй +ĠÐŁ ÑĥÑĤин +ĠÐ¥ ÑĢиÑģÑĤ +ĠЧа ÑģÑĤÑĮ +Ġал гоÑĢ +ĠаÑĢ мÑıн +Ġв иÑĢÑĥÑģ +Ġвол нÑĭ +Ġв пÑĢав +Ġв ÑĩеÑĢа +Ġдек оÑĢ +Ġеди но +Ġж даÑĤÑĮ +Ġжел Ñĥд +Ġи Ñģлам +ĠмаÑģ ло +Ġмон еÑĤ +Ġна ÑģÑĤа +ĠнаÑĥ ка +Ġнем ÑĨÑĭ +Ġнов ом +Ġоб Ñħод +ĠобÑī ий +ĠобÑī им +Ġов лад +Ġоп ÑĤим +ĠоÑĤ ÑĢÑĭв +Ġпал аÑĤ +ĠпеÑģ ен +Ġпоб еж +Ġпок ой +ĠпоÑĢ ой +Ġпо ÑģÑĤа +ĠпÑĢ озв +ĠпÑĢо Ñīе +ĠÑĢиÑģ Ñĥн +ĠÑģиг на +ĠÑģÑĥÑĤ ок +ĠÑĤел ег +ĠÑĥÑģÑĤ ал +ĠÑĪÑĤ аÑĤа +ĠÑįÑģк ад +вÑĪаÑı ÑģÑı +ий ÑģкиÑħ +он ÑıÑĤно +оп олÑĥÑĩ +ÑĢаÑĤ иÑĤÑĮ +ÑĢев олÑİ +ÑĤи калÑĮ +Ñĭв ание +ÑİÑīаÑı ÑģÑı +ĠÐIJнаÑĤ ол +ĠÐĴмеÑģÑĤ о +ĠÐŁÑĢи Ñĩем +ĠСевеÑĢ о +Ġа гÑĢеÑģÑģ +ĠбаÑģÑģ ей +ĠвеÑĩ еÑĢа +ĠвÑĤоÑĢ ое +ĠвÑĭÑģоÑĤ Ñĭ +ĠгеÑĢ оев +Ġгиб ели +Ġголов а +ĠдеÑĢев о +Ġдли ной +ĠзаÑģ лÑĥг +Ġкан ала +ĠклеÑĤ ки +ĠконÑĤ ин +ĠкÑĥп иÑĤÑĮ +ĠлÑĥÑĩ ÑĪим +Ġмед али +ĠмеÑĤод а +ĠнаÑĢ коÑĤ +ĠнаÑģ или +Ġник омÑĥ +ĠоÑĤ клон +ĠоÑĤÑĤ Ñĥда +ĠпаÑĤ ÑĢон +Ġплан еÑĤ +Ġпозд но +ĠпоиÑģ ка +ĠпоÑį зии +ĠпÑĢиб ли +ĠпÑĢож ив +ĠпÑĢоÑĪ ел +ĠÑģобак и +ĠÑĤеаÑĤ ÑĢе +ĠÑĥдоб но +ĠÑĥд оÑģÑĤо +ĠÑĥказ ан +ĠÑĨвеÑĤ ов +вед ении +г оÑģÑĥдаÑĢ +еÑĢн аÑĤив +онÑĩ алÑģÑı +полож ен +ÑĢабоÑĤ ан +ÑĢи ÑĢован +ÑĤал кива +ÑĤелÑĮ ной +ÑĤелÑĮ нÑĭÑħ +ÑĥÑģлов но +ĠÐĺн ÑĤеÑĢеÑģ +ĠХаÑĢÑĮ ков +ĠавÑĤоÑĢ ов +Ġад вокаÑĤ +ĠвÑģÑĤÑĢеÑĩ е +ĠгваÑĢд ей +ĠгипоÑĤ ез +Ġдоп ÑĥÑģка +ĠдÑĢÑĥг омÑĥ +Ġзакон ов +Ġзак оном +Ġзаним ал +Ġизд ание +ĠкомнаÑĤ е +ĠкоÑĢаб ли +ĠнаÑĥÑĩ ной +ĠнепÑĢи ÑıÑĤ +ĠобÑī ениÑı +ĠобÑĬекÑĤ Ñĭ +ĠоÑĢден ом +ĠоÑģ Ñĥжден +ĠпеÑĢеÑĪ Ñijл +Ġпод клÑİÑĩ +Ġпол ного +ĠполÑĥÑĩ ен +ĠпÑĢи глаÑģ +ĠпÑĥнк ÑĤов +ĠÑĢегиÑģÑĤ ÑĢ +ĠÑĢелиг ии +ĠÑģим пÑĤом +ĠÑģказ али +ĠÑģоб еÑģед +ĠÑģоб ÑĢаÑĤÑĮ +ĠÑģÑĤаб илÑĮ +ĠÑģÑĩаÑģÑĤÑĮ е +ĠÑģÑĩиÑĤ али +ĠÑĥÑĢов нем +ĠÑĦÑĥнкÑĨи Ñı +ĠÑĨеÑĢ емон +ĠÑıв ление +алÑĮ ноÑģÑĤи +иÑĩеÑģк омÑĥ +ÑĢабоÑĤ аÑĤÑĮ +ÑĤелÑĮ ного +ÑĤеÑĢ ÑĢиÑĤоÑĢ +ÑĤиÑĩеÑģки е +Ñħ ождениÑı +ĠÐIJз еÑĢбайд +ĠÐŁÐµÑĤÑĢов иÑĩ +ĠÐł еÑģпÑĥбли +Ġблаг оÑĢод +ĠвооÑĢÑĥж ен +ĠзадеÑĢж ан +ĠконеÑĩ ном +Ġмилли она +Ġнав Ñģегда +Ġненав иÑģÑĤ +ĠобÑĥÑĩ ение +ĠоÑĤделÑĮ но +ĠпеÑĢед аÑĤÑĮ +ĠполÑĥÑĩ аÑĤÑĮ +ĠпÑĢеп аÑĢаÑĤ +ĠпÑĢизн аÑĤÑĮ +ĠпÑĢиÑĩин ам +ĠпÑĢодÑĥк ÑĤÑĭ +ĠÑĢабоÑĤ али +ĠÑģеÑĢÑĮез но +ĠÑģÑĢед ÑģÑĤво +Ġза инÑĤеÑĢеÑģ +Ġизмен ение +ĠиÑģполÑĮз ÑĥÑı +ĠкомплекÑģ а +Ġкомпон енÑĤ +Ġлей ÑĤенанÑĤ +Ġнеизбеж но +ĠноÑĢм алÑĮно +ĠобнаÑĢÑĥж ен +ĠопаÑģ ноÑģÑĤÑĮ +ĠоÑĩеÑĢед ной +Ġпом еÑīениÑı +ĠпоÑıв лениÑı +ĠпÑĢиÑģ поÑģоб +ĠÑģемейÑģÑĤв а +ĠÑģоÑģÑĤоÑı ниÑİ +ĠÑĥказ ÑĭваеÑĤ +ĠÑĥÑģÑĤÑĢой ÑģÑĤв +Ġанглий Ñģкий +ĠбеÑģкон еÑĩно +ĠвоÑģп олÑĮзов +ĠвÑĭполн ение +Ġиз наÑĩалÑĮно +ĠнаÑħод илаÑģÑĮ +ĠнепÑĢ еÑĢÑĭвно +ĠпÑĢедлаг аеÑĤ +ĠпÑĢедÑĥÑģ маÑĤÑĢ +ĠÑĢазÑĥм ееÑĤÑģÑı +ĠÑĢаÑģÑģÑĤоÑı ние +ĠÑģоÑģÑĤоÑı лаÑģÑĮ +ĠÑĤеÑħнолог ий +ĠÑħаÑĢакÑĤеÑĢ из +ĠалÑĮÑĤ еÑĢнаÑĤив +Ġвним аÑĤелÑĮно +ĠконÑĦеÑĢен ÑĨии +ĠнеобÑħодим Ñĭе +ĠоÑĢганиз аÑĤоÑĢ +ĠÑĢаÑģÑģказ Ñĭвал +ĠамеÑĢикан Ñģкой +ĠединÑģÑĤвен нÑĭм +ĠобÑīеÑģÑĤвен нÑĭÑħ +ĠполÑĮзов аÑĤÑĮÑģÑı +ĠÑģоÑĢевнов аниÑı +ĠÑģÑĢавн иÑĤелÑĮно +ĠподÑĢаздел ениÑı +ĠпÑĢодолж иÑĤелÑĮн +ĠÑįконом иÑĩеÑģкой +ĠвзаимодейÑģÑĤв иÑı +ĠмногоÑĩиÑģлен нÑĭе +ĠпоÑģлед оваÑĤелÑĮно +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан ение +» ; +ÐIJ д +ÐĶ е +Ðĺ Ðļ +Ðļ ÐŁ +ÐĽ Ðĺ +ÐŁ Ðļ +ÐŃ Ð¡ +н г +Ñĭ ж +ĠÐĶ Ñİ +ĠÐľ Ñį +ĠÐĿ ÐIJ +ĠÐĿ Ðļ +ĠС С +ĠС м +ĠУ м +ĠШ и +ĠЮ ÑĢ +ĠÑĢ о +ĠÑİ Ð³ +Ðij ел +Ðļ аÑĢ +аÑģ к +б ед +б ог +б ож +б он +в ое +в оÑĤ +в Ñĭй +г оÑĤ +да Ñĩ +еÑĢ Ñģ +ж ев +з ел +иÑĤ Ñĭ +иÑĩ а +л аÑĢ +л оп +л Ñĭй +м ак +м аÑĪ +м ей +м ÑĭÑĪ +ÑĢÑĭ м +Ñģ еÑĤ +Ñģ ок +ÑĤа Ñī +Ñī ин +ĠÐIJ ли +ĠÐij аб +ĠÐĴ ÑģÑı +ĠÐĴÑģ Ñij +ĠÐĵ ÑĢа +ĠÐĶ об +ĠÐļ ÑĢи +ĠÐľ ÐĴÐĶ +ĠÐľ ад +ĠÐľ ел +ĠÐľ Ñĥж +ĠÐŁ оп +ĠС ид +ĠС ÑĤе +ĠСÑĤ ÑĢ +ĠÐ¥ оÑĢ +Ġв еб +Ġж иÑĢ +Ġз ла +Ġк иÑĢ +Ġл ам +Ġл ап +Ġл Ñĥк +Ġм об +Ġм ÑıÑĤ +Ġн ел +Ġоб Ñĭ +Ġп ев +ĠÑģ ен +ĠÑģ ом +ĠÑģ он +ĠÑĤ аÑĢ +ĠÑĥв л +ĠÑĦ ен +ĠÑħ ок +ĠÑĩ ÑijÑĢ +ĠÑİ Ð³Ðµ +али н +али ÑĦ +аÑģÑģ и +д ели +ев Ñĭе +ек ов +ж аÑĤÑĮ +из нÑĮ +иÑĤ ик +й деÑĤ +к нÑĥÑĤ +к оÑĢм +лан г +лев о +н иÑĤе +н нÑĥÑİ +ол ен +олÑĮ д +ом ен +пл од +ÑĢи на +ÑģÑİ Ð´Ð° +ÑĤеÑĢ и +Ñĥ ÑĢов +ÑĥÑī иÑħ +Ñĩ ной +ÑĪ ний +ĠÐIJн ÑĤи +ĠÐĵ али +ĠÐŁ лан +ĠФ лоÑĢ +Ġак кÑĥ +ĠвеÑĢ Ñģ +Ġв ÑĢаж +Ġев ÑĢо +Ġз оне +Ġлеж а +Ġм ани +Ġмо им +Ġог не +ĠпаÑĢ к +ĠпеÑĢ Ñģ +Ġп иÑĤÑĮ +ĠпиÑī и +Ġп лÑİÑģ +ĠÑĢ иÑĤÑĥ +ĠÑģÑĤ оÑĢ +ĠÑģÑĤ ÑĢа +ĠÑĤа ин +ĠÑĤем и +ĠÑĤÑĢ он +ĠÑĥÑĤ ÑĢо +вод иÑĤ +ен ном +кол еп +об нов +оÑģÑĤ но +ÑģкоÑĢ б +Ñģп оÑĢÑĤ +ÑĤÑı бÑĢÑĮ +ÑĥÑģÑĤ ав +ÑĥÑĩ иÑĤÑĮ +Ñī ениÑı +ĠÐĺ гоÑĢÑĮ +ĠÐŀб ÑĢаз +ĠÐŀд ним +ĠÐŁÐ¾Ð» иÑĤ +ĠÐŁ ÑĥÑĪки +ĠÐł анее +Ġа ÑĤаки +ĠаÑĤак Ñĥ +Ġв езде +Ġв еÑĩно +Ġв ÑģÑĤал +ĠгÑĢÑĥд и +Ġдел ег +Ġд инам +Ġжен ой +Ġжив ÑĭÑħ +ĠзаÑĢ Ñĥб +Ġкам ен +Ġкам нÑı +ĠкоÑĢ ол +ĠмаÑĢ ки +Ġмин еÑĢ +Ġод ино +ĠоÑĤ мен +ĠпеÑģ нÑı +Ġплан Ñĭ +ĠÑģлÑĥÑĪ а +ĠÑģоÑİ Ð·Ð° +ĠÑģÑĤ илÑĮ +ĠÑģÑĥÑĤ ки +ĠÑĤоÑĩ кÑĥ +ĠÑĥ еÑħал +ĠÑĥ миÑĢа +ĠÑħ ÑĢани +в оÑģÑĤок +д оволÑĮ +наÑĩ але +ов ании +ÑĢажд Ñijн +ÑĢов аÑĤÑĮ +Ñģв обод +ÑģÑĤв ием +ÑĦ ÑĥнкÑĨи +Ñĩ еÑģÑĤва +ÑİÑīим ÑģÑı +ĠÐĽÐµÐ¾Ð½ ид +ĠÐŁÐµÑĢв Ñĭм +ĠакÑĤ ÑĢиÑģ +ĠбÑĢиг ад +ĠбÑĥдеÑĤ е +ĠбÑĥмаг и +Ġвз ÑĢÑĭва +ĠвоÑģÑĮ ми +ĠвÑĭб оÑĢа +Ġгаз еÑĤа +ĠголоÑģ а +ĠгÑĢаÑĦ ик +Ġдав аÑĤÑĮ +Ġдел али +Ġдеп аÑĢÑĤ +Ġд еÑģанÑĤ +ĠдеÑĤ али +ĠзапиÑģ ÑĮ +ĠзаÑĤ ÑĢÑĥд +ĠзаÑī иÑĤÑĥ +Ġин ÑĤенÑģ +ĠкоÑģ моÑģ +Ġнак лон +Ġнеж ели +ĠобÑĢаз а +ĠоÑĢÑĥд ий +ĠоÑĤвеÑĤ а +ĠоÑĤно ÑģÑı +ĠоÑĤ ÑĢÑıда +Ġпод виг +Ġпод ÑĢÑıд +Ġпол еÑĤа +ĠпоÑģл ал +ĠпÑĢиз Ñĭв +ĠпÑĢиÑģ во +ĠпÑĢоÑĪ ла +ĠÑģеÑĢÑĮ Ñijз +ĠÑģкаж ем +ĠÑģобак а +ĠÑģÑĤаÑĢ ÑĭÑħ +ĠÑģÑĤим Ñĥл +ĠÑĥÑģлÑĥг и +иÑĢÑĥ ÑİÑĤÑģÑı +миниÑģÑĤ ÑĢ +ов аÑĤÑĮÑģÑı +огÑĢаÑĦ иÑı +ожд еÑģÑĤв +оп оÑģÑĤав +ÑģÑĤав лен +ÑģÑĤÑĢой ка +ĠÐijолÑĮÑĪ ой +ĠÐĴпеÑĢ вÑĭе +ĠÐŁÑĢезид и +ĠÐŁÑĥÑĪки на +ĠбеÑģп лаÑĤ +ĠбизнеÑģ а +Ġвели кий +ĠвопÑĢоÑģ Ñĥ +Ġв пÑĢоÑĩем +ĠвÑĭб оÑĢов +ĠвÑĭб ÑĢаÑĤÑĮ +ĠгÑĢÑĥпп ой +Ġим пÑĥлÑĮÑģ +Ġкон ÑģеÑĢв +Ġмагаз ин +Ġназ Ñĭвал +Ġналог ов +ĠоÑĤ веÑĢÑģÑĤ +ĠоÑĤвеÑĩ ал +ĠпеÑĢев ед +Ġпов ÑĢежд +Ġпог ибли +Ġпокин Ñĥл +Ġполез но +ĠполÑĥ оÑģÑĤ +Ġпом ожеÑĤ +ĠпоÑģÑijл ок +ĠпÑĢи еÑħал +ĠпÑĢиз нал +ĠпÑĢи ÑıÑĤно +ĠÑģбоÑĢ ник +ĠÑģбоÑĢ нÑĥÑİ +ĠÑģвÑıз ана +ĠÑģмоÑĤÑĢ ел +ĠÑģозд аеÑĤ +ĠÑģÑĤоÑĢ она +ĠÑĤаин ÑģÑĤв +ĠÑĤел евид +ĠÑĥÑĩ иÑĤелÑĮ +ĠÑĦанÑĤа ÑģÑĤ +ĠÑĦен омен +ĠÑħваÑĤ аеÑĤ +оÑĨи алиÑģÑĤ +пÑĢ огÑĢамм +ÑģÑĤвен нÑĭм +ĠÐŀÑģнов нÑĭе +Ġдав ление +Ġеж егодно +ĠизвеÑģÑĤ нÑĭ +Ġи ноÑģÑĤÑĢан +Ġкон ÑģÑĤиÑĤÑĥ +Ġк ÑĢиÑģÑĤалл +ĠкÑĥлÑĮÑĤ ÑĥÑĢа +ĠлиÑĩ ноÑģÑĤÑĮ +ĠнапÑĢав лÑı +ĠнапÑĢÑı жен +Ġнев озмож +ĠнемеÑĨ кий +ĠогÑĢом ное +ĠоÑģнов нÑĭм +ĠоÑĤкÑĢÑĭ ÑĤие +Ġпозвол иÑĤ +Ġпоказ али +ĠпÑĢедмеÑĤ Ñĭ +ĠпÑĢивед ен +ĠпÑĢинÑĨип е +ĠпÑĢовеÑĢ ки +ĠпÑĭÑĤа лиÑģÑĮ +ĠÑĢазвед ки +ĠÑĢаÑģÑģказ а +ĠÑģиÑģÑĤем ой +ĠÑĥбий ÑģÑĤва +иÑĤелÑĮ ÑģÑĤво +пол ковник +Ġвели колеп +Ġдвиг аÑĤелÑĮ +ĠимÑĥÑīеÑģÑĤв а +ĠконÑĦлик ÑĤа +ĠмонаÑģÑĤÑĭ ÑĢÑı +ĠнаÑģÑĤоÑıÑī ий +ĠобÑĢабоÑĤ ки +ĠоÑģÑĤав алÑģÑı +ĠпозволÑı ÑİÑĤ +ĠпÑĢедмеÑĤ ов +ĠпÑĢопаг анд +ĠÑģвое обÑĢаз +ĠÑģекÑĢеÑĤ аÑĢÑĮ +ĠÑģкоÑĢ оÑģÑĤÑĮÑİ +ĠÑģлож ноÑģÑĤи +ĠÑģоÑģÑĤав лен +ĠÑģоÑģÑĤоÑı лÑģÑı +ĠÑģÑĤÑĥд енÑĤов +ĠÑĥÑĤвеÑĢж дал +ĠÑĩÑĥвÑģÑĤв ÑĥеÑĤ +ĠаÑĢÑħиÑĤ екÑĤоÑĢ +ĠзаклÑİÑĩ ениÑı +ĠнеÑģ омненно +ĠоÑĢигина лÑĮн +ĠоÑĤказ аÑĤÑĮÑģÑı +ĠпоÑıвлÑı ÑİÑĤÑģÑı +ĠпÑĢоиÑģ ÑħодÑıÑī +ĠÑĢазÑĢеÑĪ ениÑı +ĠÑĢаÑģÑģказ аÑĤÑĮ +ĠÑĢеÑĪ иÑĤелÑĮно +ĠÑģÑĢедÑģÑĤв ами +ĠÑĥÑĤвеÑĢжд аеÑĤ +ĠÑįкÑģпед иÑĨии +ĠгÑĢаждан Ñģкой +Ġдеб ÑİÑĤиÑĢовал +ĠмеÑĢопÑĢи ÑıÑĤиÑı +ĠопÑĥбликов ал +ĠпÑĢоÑĤив оÑģÑĤоÑı +ĠÑĢаÑģполож енÑĭ +ĠÑĤемпеÑĢ аÑĤÑĥÑĢÑĭ +ĠÑĨивилиз аÑĨии +ĠобÑīеÑģÑĤвен ной +ĠпÑĢоиз ведение +ĠÑĢÑĥковод иÑĤелÑı +Ġкоманд ованием +ĠпÑĢоÑĦеÑģÑģ ионалÑĮ +ĠÑĢаÑģÑģмаÑĤÑĢ иваÑĤÑĮ +ĠмеждÑĥнаÑĢод ного +Ðĵ У +Ðĺ ÐĻ +Ðĺ С +ÐĽ е +Ðľ ÐIJ +в з +н к +о и +Ñģ н +Ñij г +? .. +ĠÐĵ и +ĠÐĶ ÑĢ +ĠÐĺ л +ĠФ и +Ġл е +Ðĵ оÑĢ +Ðļ он +Ч еÑĢ +б ай +б Ñĥн +г ÑĥÑĢ +д еÑģ +д лÑı +ед и +еÑĨ к +ж иÑĢ +з ал +ид е +ин ÑĮ +ка Ñģ +ла Ñħ +л ой +лÑı Ñħ +м од +ол а +оÑĤ ÑĮ +Ñģ аÑĢ +ÑĤ ам +ÑĤи и +ÑĤ ÑĢÑĥ +Ñijн н +Ñij ÑĤа +ĠÐĶ Ñĥб +ĠÐķ ÑīÑij +ĠÐļ ла +ĠÐļ оÑĤ +ĠÐĽ Ñĥк +ĠÐľ ой +ĠÐĿ иÑĩ +ĠÐŀб Ñī +ĠÐŁ ап +ĠÐŁ ен +ĠÐł оÑģ +Ġб ил +Ġб ÑĥÑħ +Ġи еÑĢ +Ġк аÑĪ +Ġл об +Ġм ак +Ġм ам +Ġм ем +Ġп еÑī +Ġп ла +Ġп ле +ĠÑģк ÑĢ +ĠÑĨ иÑĤ +ĠÑī иÑĤ +ĠÑį пи +ал ей +ал ог +аÑĢ Ñħи +б лÑİд +в ига +дел а +д обÑĢ +д Ñĭва +ед иÑı +ек Ñĥл +елÑĮ н +ем аÑı +ени н +еÑģ ен +зв он +зÑĢ ел +ид ов +ка ли +к лик +ком п +леж а +ни на +нÑİ Ð´ÑĮ +нÑı ÑĤÑĮ +об ÑĢа +ов но +ол ин +оÑģ иÑĦ +оÑģÑģ е +о ÑħоÑĤ +Ñģ оÑİз +ÑģÑĤ аÑĤ +ÑģÑĤ ен +ÑģÑĤ ÑıÑħ +ÑĤ ана +ÑĤ ÑĢÑĥд +ÑĤ ÑĢÑıÑģ +ÑĤÑĥ ÑĢÑĭ +ÑĦ еÑģÑĤ +Ñħод Ñı +Ñī инÑĭ +ÑĮ ное +ÑįÑĤ аж +ÑİÑī ем +Ñıз ÑĭÑĩ +ĠÐijог Ñĥ +ĠÐĶ ани +ĠÐĶ енÑĮ +ĠÐľ ало +ĠÐŀ каз +ĠÐŁ ÑĢем +ĠС ÑĤив +ĠаÑĢÑħ и +ĠвеÑĢ Ñĥ +Ġг ÑĢаб +Ġг ÑĢеб +Ġд еÑĤÑĮ +Ġеж ед +Ġко ÑĦе +ĠкÑĢ ей +ĠкÑĢ ив +Ġм иÑģÑĤ +Ġм ноÑİ +Ġнав Ñĭ +Ġнеп о +Ġок но +Ġп енÑģ +Ġп иÑģÑĤ +ĠпÑĢ еÑĢ +ĠпÑĮ Ñıн +ĠÑģ кал +ĠÑģм ел +ĠÑģнÑı ÑĤ +ĠÑģп ин +ĠÑĤем п +ĠÑĥ йÑĤи +ĠÑĦ анÑĤ +ĠÑĦиз и +ĠÑħод Ñĥ +ĠÑħ ÑĢон +ĠÑĨ ена +ĠÑıй ÑĨа +ĠÑı Ñīик +алÑĮ Ñģк +беÑĢ еж +воÑĢ оÑĤ +гÑĢан ÑĤ +ез жал +еÑĤ елÑĮ +к онÑĤÑĢ +к оÑģÑĤи +лÑĮ ной +ноÑģ ил +овиÑĩ а +оп иÑģÑĮ +оÑģÑĤ ÑĢо +оÑĩ наÑı +ÑĢаз Ñĥм +ÑĢа ÑĨиÑı +ÑĢ еÑĩен +ÑģÑĤв ий +ÑģÑĤ оиÑĤ +ÑĤеÑĢ ап +ÑĤÑıн Ñĥл +ÑĥÑĢе аÑĤ +Ñħ оÑĢон +Ñĩ елов +ĠÐĶж ейм +ĠÐĺн ÑĤеÑĢ +ĠÐľÐ°ÑĢ ии +ĠÐĿаÑģ ел +ĠÐĿÑĥж но +ĠÐŁ иÑĤеÑĢ +ĠÐŁ обед +ĠСем ен +ĠТак аÑı +ĠУ пÑĢав +ĠУ ÑĩаÑģÑĤ +ĠЧаÑģÑĤ о +Ġак ÑĨии +Ġак ÑĨий +ĠбеÑĢ еÑĤ +ĠбÑĥÑĤ Ñĭл +Ġв иÑĢÑĤÑĥ +Ġгаз ов +Ġдоб ÑĢа +Ġза ÑħоÑĤ +Ġизб иÑĢ +Ġкол ен +ĠкоÑĢ об +Ġлег ен +ĠлÑİб ое +ĠмаÑĤ Ñĩа +ĠмеÑĤ ÑĢо +ĠмеÑĩ ÑĤа +ĠмиÑĢ ом +Ġназ Ñĭв +ĠниÑĩ ем +Ġобе иÑħ +Ġоб ÑĢÑıд +ĠобÑī ин +Ġод еÑĢж +Ġоп иÑĢа +ĠпоÑģÑĤ Ñĥ +Ġпо ÑĩиÑĤ +ĠпÑĢи Ñijм +ĠÑĢаз об +ĠÑĢод ов +ĠÑģеÑĢ ий +ĠÑģид ел +ĠÑģÑĢед Ñĥ +ĠÑģÑĤ оÑıÑĤ +ĠÑģÑĨ енÑĭ +ĠÑĤай нÑĭ +ĠÑĤоб ой +ĠÑĤоÑĩ ка +ĠÑĪ оÑģÑģе +аÑİÑī его +вод иÑĤÑĮ +вÑĪее ÑģÑı +з наком +ий ÑģкаÑı +иÑĢов ав +опÑĢи ÑıÑĤ +пÑĢ оÑĤив +Ñģов еÑĤа +Ñģ опÑĢов +ÑģÑĤав ка +ÑģÑĤÑĥп ал +ÑĨикл оп +ÑĩеÑģ каÑı +ÑĩеÑģ кое +ÑİÑīее ÑģÑı +ĠÐijеÑĢ лин +ĠÐĵÑĢе ÑĨии +ĠÐĶжоÑĢ дж +ĠÐĶмиÑĤ ÑĢи +ĠÐĶÑĢÑĥг ие +ĠÐĹнаÑĩ иÑĤ +ĠÐŁÐµÑĢв ое +ĠÐŁÐ¾Ð»ÑĮ ÑĪи +ĠÐłÐ¸Ñĩ аÑĢд +ĠСо един +ĠУилÑĮ Ñıм +ĠХоÑĢоÑĪ о +Ġб ÑĭваÑİÑĤ +Ġваж нÑĭм +Ġваж нÑĭÑħ +ĠвеÑĢÑħ ов +ĠдеÑĢев а +ĠдеÑĤÑĮ ми +Ġдиал ог +Ġедин иÑĨ +ĠздÑĢав о +Ġинд екÑģ +Ġкад ÑĢов +Ġкажд ое +Ġкажд ÑĥÑİ +Ġкажд Ñĭм +Ġкам енÑĮ +ĠкоÑĢ поÑĢ +Ġк ÑģÑĤаÑĤи +ĠлÑĥÑĩ ÑĪий +ĠмоÑĢ алÑĮ +ĠнаÑĢÑıд Ñĥ +ĠобÑģ Ñĥжд +Ġоке ана +ĠоÑĢÑĥд иÑı +ĠоÑĤ кÑĢов +ĠоÑĤ нÑİдÑĮ +ĠоÑħÑĢан Ñĭ +ĠплаÑĤ еж +Ġпон ÑĢав +ĠпÑĢав ой +ĠпÑĢиÑĤ ок +ĠпÑĢов ал +ĠпÑĢов оз +ĠпÑĢоÑĩ иÑħ +ĠÑĢак еÑĤÑĭ +ĠÑģевеÑĢ е +ĠÑģеÑģÑĤ ÑĢа +ĠÑģинÑĤ ез +ĠÑģлÑĥж бе +ĠÑģлÑĥÑĩа и +ĠÑģоб лÑİд +ĠÑģоб ÑĢал +ĠÑģ окÑĢаÑĤ +ĠÑģÑĤак ан +ĠÑģÑĤаÑĤÑĮ Ñİ +ĠÑģÑĤоÑı ли +ĠÑģÑĥдÑĮ бÑĭ +ĠÑĤÑĢев ог +ĠÑĥÑĩ ениÑı +ĠÑĥÑĩ илÑģÑı +ĠÑĦанÑĤ аз +ĠÑħ иÑĢÑĥÑĢг +ĠÑħозÑı ин +ĠÑĨаÑĢ ÑģÑĤв +ĠÑĩеÑģÑĤ но +ĠÑıзÑĭ ком +деÑĢж ива +езид енÑĤ +оÑģÑĤ анов +ĠÐĵ оÑģÑĥдаÑĢ +ĠÐĽÐ¾Ð½Ð´ оне +ĠУ нивеÑĢÑģ +ĠвпеÑĢед и +ĠвÑĭз ваÑĤÑĮ +ĠвÑĭÑĢаз ил +ĠвÑĭÑģок ий +ĠвÑĭÑģок иÑħ +ĠгÑĢаниÑĨ Ñĥ +Ġдев ÑĥÑĪки +ĠдеÑĢев ÑĮÑı +Ġдиал екÑĤ +Ġзав еÑĢÑĪи +ĠзаÑĢ плаÑĤ +ĠинÑĤел ли +ĠиÑģÑĤоÑĢ ик +ĠкомнаÑĤ Ñĥ +ĠконÑĨ енÑĤ +Ġмолод еж +ĠналиÑĩ ии +ĠоÑĤкÑĢÑĭ ÑĤÑĮ +Ġпобед ил +Ġпов еÑģÑĤв +Ġпоз иÑĨиÑı +ĠпоÑĤеÑĢ Ñıл +ĠпÑĢоÑĨ енÑĤ +ĠÑĢазв ива +ĠÑĢазмеÑĢ е +ĠÑĢай онов +ĠÑģозд ана +ĠÑģÑĤол иÑĨÑĭ +ĠÑģÑĤÑĢан но +ĠÑģÑĤÑĢаÑħ ов +ĠÑĤел евиз +ĠÑĥбеж ден +ĠÑĥÑģлÑĭÑĪ ал +ĠÑĥÑĩиÑĤ елÑı +ĠÑħоÑĢо ÑĪий +аÑĤелÑĮ нÑĭÑħ +воÑĢ аÑĩива +имен ован +иÑĤелÑĮ ное +ÑģÑĤвен ной +ÑĥголÑĮ ник +ĠÐļÑĢаÑģ ного +Ġапп аÑĢаÑĤа +Ġвоз обнов +ĠвÑģÑĤÑĢеÑĤ ил +Ġдав лениÑı +ĠзамеÑĤ иÑĤÑĮ +ĠздоÑĢов ÑĮе +Ġкамп ании +Ġкомп лекÑĤ +ĠкÑĢеп оÑģÑĤи +Ġмен еджеÑĢ +ĠмÑĭÑĪ лениÑı +ĠнаÑĩ алиÑģÑĮ +Ġнеиз веÑģÑĤ +ĠопиÑģ аниÑı +ĠоÑĤмеÑĩ аеÑĤ +ĠоÑĤпÑĢав лÑı +Ġплани ÑĢов +Ġпод ÑħодиÑĤ +ĠпÑĢед пÑĢин +ĠпÑĢовод ил +ĠÑģвобод но +ĠÑģобÑĢ ание +ĠÑģодеÑĢж аÑĤ +ĠÑģÑĤол еÑĤиÑı +ĠÑĤÑĢеÑĤÑĮ его +ĠÑĨен ноÑģÑĤи +ĠÑĩиÑĤ аÑĤелÑı +лей ÑĤенанÑĤ +ÑģоÑĨи алиÑģÑĤ +ÑģÑĤвен ного +ĠÐĺмпеÑĢ аÑĤоÑĢ +ĠÐĿаÑģел ение +ĠÐł езÑĥлÑĮÑĤаÑĤ +ĠСовеÑĤ Ñģкой +Ġвозника ÑİÑĤ +ĠвÑĭполн иÑĤÑĮ +ĠвÑĭÑĢаж ениÑı +Ġежед невно +ĠобÑĢаÑĤ илÑģÑı +Ġоказ аÑĤÑĮÑģÑı +Ġподоб ного +Ġпоним аниÑı +ĠпоÑģлед ним +ĠÑģледÑĥÑİÑī иÑħ +ĠÑģпеÑĨи ализ +ĠÑģÑĤо имоÑģÑĤи +ĠÑģÑĤÑĢÑĥкÑĤÑĥ ÑĢа +ĠÑĦакÑĥлÑĮÑĤ еÑĤ +олог иÑĩеÑģки +ÑģопÑĢов ожда +ĠÐijелоÑĢÑĥÑģ Ñģии +ĠвооÑĢÑĥж ение +ĠзаклÑİÑĩ ение +Ġнапомина еÑĤ +ĠнаÑģÑĤоÑıÑī его +ĠопÑĢеделÑı еÑĤ +ĠоÑģÑĤав алоÑģÑĮ +ĠоÑģÑĤав аÑĤÑĮÑģÑı +ĠподÑĩеÑĢ кнÑĥл +ĠпÑĢилож ение +ĠпÑĢоиз веден +ĠÑĢазлиÑĩ нÑĭми +ĠÑģелÑĮ ÑģовеÑĤа +ĠÑģогла ÑĪение +ĠÑģогла ÑĪениÑı +ĠÑģпÑĢавед лив +ĠÑĤÑĢанÑģп оÑĢÑĤа +ĠÑĦоÑĤогÑĢаÑĦ ии +ĠобÑĬедин ениÑı +ĠогÑĢаниÑĩ ениÑı +ĠÑģоÑĨи алÑĮного +ĠÑģпеÑĨи алÑĮнÑĭÑħ +ĠÑĨенÑĤÑĢ алÑĮной +ĠÐŀд новÑĢеменно +ĠзнаÑĩиÑĤелÑĮ ной +ĠиÑģполÑĮзов али +ĠиÑģÑĤоÑĢ иÑĩеÑģкиÑħ +Ġкоманд ование +ĠпеÑĢе именован +ĠпÑĢоизвод ÑģÑĤве +ĠÑģвидеÑĤелÑĮ ÑģÑĤв +ĠамеÑĢикан Ñģкого +ĠобÑģÑĤоÑıÑĤелÑĮ ÑģÑĤв +ĠпÑĢоÑĦеÑģÑģионалÑĮ но +оÑĨиалиÑģÑĤ иÑĩеÑģкого +ÐIJ Ðļ +ÐIJ л +Ðĵ ÐIJ +Ðĺ Ðĺ +Ðļ С +Ðľ а +ÐĿ о +Ðŀ Ðļ +ÐŁ Ðŀ +С и +Т е +Ñij к +ĠÐĹ ÐIJ +ĠÐĹ Ð¾ +ĠÐŀ л +ĠТ ÑĢ +ĠУ Ñģ +ĠÐ¥ и +ĠÑĤ к +ĠÑĤ Ñı +ÐIJТ Ðŀ +ÐIJ лÑĮ +ÐĴ ол +Ðĵ аз +Ðľ аÑĢ +ÐŁ од +ТÐIJ Ðł +б ав +б аÑģ +г ло +д ад +д ва +д ой +ен г +ен ÑĨ +еÑģ н +ж аÑĢ +з им +к ап +к ÑĢе +к ÑĢи +л ай +л еб +л еÑĩ +л об +м ад +м аÑģ +н ÑĮÑİ +од е +п иÑĩ +Ñģ ал +ÑĤ аÑı +ÑĤи п +ÑĤ ка +ÑĦ ен +ÑĦ ÑĢи +Ñħ ол +ÑĪ ав +ÑĪ кÑĥ +ÑĮ ба +Ñİ ÑĢо +Ñı не +Ñı ÑĤа +ĠÐij аÑĪ +ĠÐij об +ĠÐĶ оÑĢ +ĠÐĹ Ð°Ñĩ +ĠÐĺ гÑĢ +ĠÐĺ еÑĢ +ĠÐļ аб +ĠÐļ оз +ĠÐļ ÑĢо +ĠÐĽ ив +ĠÐľ иÑĪ +ĠÐŀ ÑĢг +ĠÐŁ аÑģ +ĠÐŁ иÑĢ +ĠÐł аб +ĠÐł Ñıд +ĠС иб +ĠС оÑĦ +ĠТ ал +ĠÐ¥ Ñĥд +Ġв аÑĢ +Ġзв Ñĥ +Ġиз о +Ġк иÑĪ +Ġк оз +Ġл ак +Ġл им +Ġн еÑĢ +ĠоÑģ и +ĠпÑĢ Ñı +ĠÑĢ об +ĠÑĢ Ñĥд +ÐļоÑĢ ÑĢ +аж но +ап аз +аÑĢ да +аÑģÑģ а +бег а +б ÑĢеÑĤ +ваÑĢ и +гл Ñĥб +г ÑĢав +дÑĢ ом +ев Ñĭм +ей ÑĤи +ек ом +екÑģ Ñĥ +ив аÑı +ина ÑĢ +к анÑĤ +лен н +нÑĭ не +нÑı ка +од ин +ом аÑĤ +оÑĢ иÑĤ +оÑĩ еÑĤ +п али +п екÑĤ +п леÑĤ +п ода +пÑĢ од +ÑĢÑĥг а +ÑĢÑĥ ÑĪи +ÑĤ ÑĢен +Ñĥ ÑĤоÑĩ +ÑĥÑħ ов +ÑĥÑĩ но +ÑĦ еÑĢа +Ñħож Ñĥ +Ñĩ еÑģÑĤ +Ñĩ иÑĤÑĮ +Ñĩ нÑĥÑİ +Ñī ика +Ñī ими +ÑĮ еÑĢа +ÑĮ нÑĭм +ĠÐIJд ам +ĠÐij елÑĮ +ĠÐij олÑĮ +ĠÐijÑĭ ли +ĠÐĴен е +ĠÐĵ ÑĢан +ĠÐķ дин +ĠÐļ ÑĢем +ĠÐĽ иÑĪÑĮ +ĠÐľ алÑĮ +ĠÐŁ озд +ĠÐŁ оли +ĠÐŁ оÑĢÑĤ +ĠС пиÑģ +ĠСÑĤ ÑĢо +ĠЦ веÑĤ +ĠвеÑĢ ÑĤ +ĠвеÑĢ Ñĭ +Ġв ино +Ġвоз м +Ġде ÑıÑĤ +Ġд нев +Ġж еÑĢÑĤ +Ġи кон +Ġи ной +ĠкаÑģ а +Ġк аÑģÑģ +Ġоб ол +Ġов оÑī +ĠоÑģ на +Ġпл оÑģ +Ġпод о +Ġпол а +ĠпÑĢ ез +ĠÑĢек Ñĥ +ĠÑĢÑıд е +ĠÑģид Ñı +ĠÑģк оÑĤ +ĠÑģни ж +ĠÑĥ дел +ĠÑĥп ал +ĠÑĥ ÑĪел +ал еко +г енеÑĢ +гн аÑĤÑĮ +гоÑĢ ел +гÑĢ ани +ед инÑĭ +еÑĢÑĮ ез +еÑĨ кий +изм ом +иÑĦ иÑĨи +к нÑĥÑĤÑĮ +кÑĢÑĭ ÑĤÑĮ +лÑı ÑĤоÑĢ +н еÑĤÑģÑı +нов еÑģ +н олог +но ÑģÑıÑĤ +об лад +ом ним +п амÑıÑĤ +ÑģÑĤ аеÑĤ +ÑĨ кого +Ñĩ ение +ĠÐĴал еÑĢ +ĠÐĴ ÑĢемÑı +ĠÐĶ лина +ĠÐĺо анн +ĠÐĺ оÑģиÑĦ +ĠÐĿик ÑĤо +ĠСи ÑĢии +ĠТÑĢ еÑĤÑĮ +ĠбоÑĢ ÑĤÑĥ +ĠбÑĢон е +ĠбÑĭ ÑĤиÑı +Ġва ÑĪиÑħ +Ġвз Ñıли +Ġвид ом +Ġгип еÑĢ +ĠгÑĢÑĥ бо +Ġдал ек +Ġдв оÑĢа +ĠдеÑĤ Ñıм +Ġжив ой +Ġзв Ñijзд +Ġз ениÑĤ +ĠзеÑĢ ка +Ġид енÑĤ +ĠинÑĤ ег +ĠинÑĦ ÑĢа +Ġказ ни +ĠкаÑĢ ÑĤе +ĠкÑĥп ил +ĠкÑĥÑĢÑģ а +Ġл евой +Ġлин иÑİ +ĠлÑİб лÑİ +ĠлÑİб Ñĭе +ĠмеÑģÑĤ Ñĥ +ĠмÑĥж ик +Ġнаб лÑİ +Ġна ÑĢÑĥж +Ġниз ко +ĠноÑĢм Ñĭ +ĠноÑģ ил +ĠноÑģ иÑĤ +Ġоб зоÑĢ +Ġоб лик +ĠобÑģ Ñĥж +ĠобÑī иÑħ +Ġоз еÑĢо +ĠоÑĤ ÑĢав +ĠоÑĤ Ñħод +ĠпеÑħ оÑĤ +Ġпов ел +Ġп ойÑĤи +ĠпоÑĢ ог +ĠÑĢав ен +ĠÑģам ÑĥÑİ +ĠÑģнÑı ÑĤÑĮ +ĠÑģоб оÑİ +ĠÑģов еÑī +ĠÑģоÑĢ ок +ĠÑģпиÑĢ ÑĤ +ĠÑģÑĢ ока +ĠÑģÑĬ езд +ĠÑģÑĭ ном +ĠÑĤк ани +ĠÑĦак ÑĤÑĭ +ĠÑĦ ланг +ĠÑĨ енно +ан Ñģкой +ен нÑĭми +иÑĢов ка +Ñģк олÑĮз +ÑģÑĤав лÑı +ÑģÑĤÑĢад а +ÑģÑĤÑĢ елÑı +Ñħод иÑĤÑĮ +ÑĩаÑģÑĤ ÑĥÑİ +ĠÐIJв ÑģÑĤÑĢа +ĠÐijол гаÑĢ +ĠÐij олÑĮÑĪе +ĠÐĴо обÑīе +ĠÐĵеÑĢ ман +ĠÐĽÐ¾Ð½Ð´ он +ĠÐľÐ°ÑĢÑĤ ин +ĠСиб иÑĢи +ĠСпиÑģ ок +ĠТÑĥÑĢ ÑĨии +ĠаÑĢми ей +Ġбоев Ñĭе +Ġвин ÑĤов +ĠволоÑģ Ñĭ +ĠвÑĢаг ов +ĠвÑĭд вин +Ġгаз еÑĤе +Ġге олог +Ġдев ÑıÑĤÑĮ +Ġди апаз +Ġзавод е +Ġзап ÑĥÑģк +ĠкаÑĢ ман +ĠкиÑĢ пиÑĩ +Ġкли маÑĤ +ĠлиÑģÑĤ ÑĮÑı +ĠмаÑĤ Ñĩей +ĠмиÑĤ ÑĢоп +ĠмÑĥзÑĭ кÑĥ +Ġна имен +ĠнаÑĢод Ñĥ +Ġнез наÑĩ +Ġобвин Ñı +Ġодеж дÑĭ +ĠоÑģ моÑĤÑĢ +ĠоÑĤказ а +Ġо ÑĪибка +ĠоÑĪиб ок +ĠпеÑĢе Ñĥл +Ġпог ÑĢÑĥж +ĠпоÑģ олÑĮ +ĠпÑĢиз ÑijÑĢ +ĠпÑĢоÑģ ил +ĠпÑĢоÑĩ им +ĠÑĢиÑĤÑĥ ал +ĠÑģвеÑĤ ло +ĠÑģвÑıз ей +ĠÑģмог ÑĥÑĤ +ĠÑģом нев +ĠÑģоÑĩеÑĤ а +ĠÑģÑĤаÑĢ ик +ĠÑģÑĤаÑĢ Ñĭй +ĠÑģÑĤÑĢаÑħ а +ĠÑĤвеÑĢ до +ĠÑĤоÑĢм оз +ĠÑĥ ÑħодиÑĤ +ĠÑĥÑĩеÑĤ ом +ĠÑĦиз ики +ĠÑĦи лÑĮÑĤÑĢ +в оÑģÑĤоÑĩн +ев Ñģкого +ивÑĪий ÑģÑı +ивÑĪиÑħ ÑģÑı +но ÑĪениÑı +оп ÑĢедел +пÑĢаÑĪ ива +ÑĪеÑģÑĤв иÑı +ĠÐķвг ений +ĠÐľÐ¸Ñħа ила +ĠÐŀк онÑĩил +ĠÐŁÐ¾Ð·Ð´ нее +ĠÐłÐ¾ÑģÑģ ией +ĠЦеÑĢ ковÑĮ +Ġболез нÑĮ +ĠболÑĮ нÑĭÑħ +ĠвеÑĢ нÑĥÑĤÑĮ +ĠвеÑĢÑħ ней +ĠвлаÑģÑĤ ей +Ġвол оÑģÑĤи +ĠвÑĭÑģ ÑĪего +ĠдеÑĢж аÑĤÑĮ +ĠдеÑģÑıÑĤ ки +ĠдеÑĤ ÑģÑĤва +ĠдоÑģÑĤ иÑĩÑĮ +ĠдоÑģÑĤÑĥп а +ĠжÑĥÑĢна ле +Ġкабин еÑĤ +ĠкоÑĢ идоÑĢ +ĠкÑĢÑĥп ней +ĠлиÑĩ ного +ĠменÑĮ ÑĪей +ĠмеÑģÑĤ нÑĭе +Ġмол екÑĥл +ĠнаÑħод иÑĤ +ĠоÑģоб ого +ĠпаÑĤÑĢи оÑĤ +ĠпеÑĢед ал +ĠпеÑĢ ейÑĤи +Ġплани ÑĢÑĥ +ĠповÑĤоÑĢ Ñı +ĠповÑĭÑĪ ен +Ġпог овоÑĢ +ĠполÑĥÑĩ ал +Ġпоп аÑģÑĤÑĮ +ĠпÑĢедел Ñĭ +ĠÑĢаз гÑĢом +ĠÑĢегион е +ĠÑĢей ÑĤинг +ĠÑģдел ано +ĠÑģк андал +ĠÑģобÑĭÑĤи е +ĠÑģолдаÑĤ Ñĭ +ĠÑģÑĤÑĢаÑĪ но +ĠÑĤел екан +ĠÑĤÑĥÑĢни ÑĢа +ĠÑĥÑĩаÑģÑĤ ка +ĠÑĦилÑĮм ов +ĠÑĦÑĥÑĤ болÑĮ +ĠÑĨели ком +ĠÑįкз амен +иÑĤелÑĮ наÑı +ÑģÑĤв оваÑĤÑĮ +ÑģÑĤÑĢÑĥк ÑĤÑĥÑĢ +ÑĤиÑĩеÑģки Ñħ +ĠÐĴаÑģилÑĮ ев +ĠалгоÑĢ иÑĤм +ĠвеÑĢÑĤ олеÑĤ +ĠвÑĭполн ен +Ġдв адÑĨаÑĤи +Ġдвиж ении +Ġзапад ной +ĠзапÑĢ еÑīен +Ġза ÑħваÑĩен +Ġза ÑĩаÑģÑĤÑĥÑİ +Ġкли енÑĤов +ĠкомиÑģÑģ аÑĢ +ĠкÑĥлÑĮÑĤÑĥÑĢ е +Ġмин ималÑĮ +ĠмÑĥзÑĭ канÑĤ +ĠнапиÑģ ано +Ġнед алеко +ĠнемеÑĨ кой +ĠоÑģÑĤ алаÑģÑĮ +ĠоÑģÑĤ аÑİÑĤÑģÑı +ĠоÑģÑĤÑĢов ов +ĠоÑĤвеÑĤ иÑĤÑĮ +ĠпеÑĢеÑħод а +Ġподоб ное +Ġподоз ÑĢев +ĠполиÑĤ ике +ĠполиÑĤ икÑĥ +ĠпÑĢинÑĨип Ñĭ +ĠпÑĢин ÑıÑĤиÑı +ĠпÑĢоÑģ пекÑĤ +ĠпÑĥб лиÑĩно +ĠÑĢабоÑĤ ала +ĠÑĢазлиÑĩ иÑı +ĠÑĢежиÑģÑģ еÑĢ +ĠÑĢежиÑģÑģ ÑijÑĢ +ĠÑģеÑĢ единÑĭ +ĠÑģодеÑĢж аÑī +ĠÑģозд аниÑİ +ĠÑģоÑģÑĤав ил +ĠÑģÑĥÑīеÑģÑĤв а +ĠÑĥпомÑıн ÑĥÑĤ +ĠÑĦакÑĤоÑĢ ов +ĠÑįволÑİ ÑĨии +иÑĢов аннÑĭе +ĠÐĴ оÑģÑĤоÑĩной +ĠÐĴÑģ еленной +ĠбаÑĤалÑĮ она +Ġвозглав ил +Ġвозмож нÑĭм +ĠвоÑģÑģÑĤ аниÑı +ĠмаленÑĮ кий +Ġнаг ÑĢажден +Ġнаказ аниÑı +ĠнаÑĢÑĥÑĪ ение +ĠнекоÑĤоÑĢ Ñĭм +ĠобÑĢаÑī ение +ĠобÑĢаÑī ениÑı +ĠобÑģлÑĥж ива +Ġодинак ово +ĠоконÑĩ ании +ĠповÑĭÑĪ ение +ĠпоÑģел ение +ĠпоÑĤенÑĨи ал +ĠпоÑıв ление +ĠпÑĢедел ами +ĠпÑĢедлож ен +ĠпÑĢовеÑĢ иÑĤÑĮ +ĠÑĢаÑģполаг а +ĠÑģлед овало +ĠÑģовеÑĤ Ñģкие +ĠÑĥÑģÑĤанов ил +ĠÑĥÑĩаÑģÑĤ ники +ĠÑĩемпион аÑĤ +ÑĢеволÑİ ÑĨион +ĠÐŁÐµÑĤеÑĢбÑĥÑĢг е +ĠÐŁÑĢезиди Ñĥма +Ġбез ÑĥÑģловно +Ġзаним аеÑĤÑģÑı +ĠизвеÑģÑĤ ного +ĠиÑģполн ение +ĠиÑģполн ениÑı +ĠобнаÑĢÑĥж или +ĠокÑĢÑĥжаÑİÑī ей +ĠоÑĤлиÑĩ аÑİÑĤÑģÑı +ĠподгоÑĤов ке +ĠполÑĥÑĩ илоÑģÑĮ +ĠпÑĢодолж аÑĤÑĮ +ĠпÑĢоÑĦеÑģÑģ оÑĢа +ĠпÑĢоÑıв лениÑı +ĠпÑģиÑħ ологии +ĠÑĢазÑĢабоÑĤ ке +ĠÑĢазÑĢеÑĪ ение +ĠÑģоглаÑģ илÑģÑı +ĠÑģоÑĤÑĢÑĥд ники +ĠÑĦиз иÑĩеÑģкой +ĠÑħÑĥдож ников +ÑĢаÑģ пÑĢоÑģÑĤÑĢан +Ġанглий Ñģкого +ĠвнÑĥÑĤÑĢен него +ĠевÑĢопей ÑģкиÑħ +ĠиÑģполн иÑĤелÑĮ +ĠнаÑģÑĤÑĥп лениÑı +ĠнаÑĩалÑĮ ником +ĠнепÑĢав илÑĮно +ĠобеÑģп еÑĩение +ĠпеÑĢеговоÑĢ ов +ĠпÑĢезиденÑĤ ом +ĠпÑĢоиÑģÑħод ило +ĠÑĢезÑĥлÑĮÑĤаÑĤ ам +ĠÑĢезÑĥлÑĮÑĤаÑĤ ом +ĠÑĥдив иÑĤелÑĮно +ĠÐĴп оÑģледÑģÑĤвии +ĠÐľÐ¸Ð½Ð¸ÑģÑĤеÑĢ ÑģÑĤва +ĠобеÑģпеÑĩ иваеÑĤ +ĠподдеÑĢж иваÑĤÑĮ +ĠпоÑĩÑĥвÑģÑĤв овал +ĠпÑĢедполаг аеÑĤ +ĠÑģоÑģÑĢедоÑĤ оÑĩен +ĠÑĦÑĢанÑĨÑĥз Ñģкого +ĠÑįкÑģплÑĥаÑĤ аÑĨии +ĠиÑģполÑĮзов ании +ĠÑħаÑĢакÑĤеÑĢиÑģÑĤ ик +ĠмногоÑĩиÑģлен нÑĭÑħ +ĠпÑĢедваÑĢ иÑĤелÑĮно +ĠпÑĢедÑģÑĤавлÑı еÑĤÑģÑı +ĠпÑĢиблиз иÑĤелÑĮно +ĠÑħаÑĢакÑĤеÑĢиÑģÑĤ ики +ĠÑįконом иÑĩеÑģкого +ĠÑģвидеÑĤелÑĮ ÑģÑĤвÑĥеÑĤ +Ìģ ÑĤ +ÐĶ ÐIJ +Ðľ С +Ðľ о +ÐĿ Ñĥ +ÐŁ У +Ðł а +д з +ÑĢ Ñij +Ñį Ñģ +Ñı Ñı +ĠÐIJ ÑĤ +ĠÐij л +ĠÐķ С +ĠÐķ ÑĢ +ĠУ з +ĠÑĩ Ñĥ +ĠÑį в +Ðij еÑĢ +ÐĴ оÑģ +ÐĶ он +Ðķ ÐĿÐĺ +ÐŁ аÑĢ +ÐŁÑĢ е +Т ак +ав и +а ев +б ак +в иÑĢ +в ов +г ÑĢи +г Ñĥл +д ак +д ей +д ÑĢи +еÑĢ к +еÑĤ ÑĤ +иг и +им а +иÑĢ к +й ÑģÑı +ки в +ко ÑĪ +л Ñĭе +м еÑģ +ме Ñı +нÑĮ е +нÑı л +ов Ñĭ +ож а +оз а +оÑĦ ÑĦ +п еÑĪ +п иÑĢ +п лÑİ +п Ñĥл +Ñģ Ñģе +ÑĤ аÑģ +ÑĤа Ñħ +ÑĤ ÑĢе +Ñĥ на +Ñĥ ÑįÑĢ +ÑĦ иг +ÑĦ ик +ÑĪ аÑħ +... > +ĠÐIJ на +ĠÐij ак +ĠÐĴ ой +ĠÐĵ ан +ĠÐĵ он +ĠÐĹ Ð¸Ð¼ +ĠÐļ Ñĥп +ĠÐľ аÑħ +ĠÐľ ог +ĠÐŀб а +ĠÐł ам +ĠС ад +ĠТ иÑħ +ĠФ аÑĢ +ĠÐ¥ ол +ĠШ еÑĢ +ĠШ иÑĢ +ĠЮ го +Ġа гÑĢ +ĠаÑĢ ÑĤ +Ġб оÑĤ +Ġв ли +Ġд Ñıд +Ġе же +Ġе зд +Ġк ал +Ġод н +ĠпÑĢ а +ĠÑħ ан +ĠÑĩ ÑĮи +ĠÑĪ еÑĢ +ĠÑį ÑģÑĤ +аÑİ ÑģÑĮ +в енÑĤ +в озд +в ÑijÑĢÑĤ +ик ом +иÑģÑĤ о +й дем +моÑĢ ÑĦ +н инг +н нÑĭм +обÑī а +оÑĩ ил +пл Ñĭв +ÑĢан Ñģ +ÑĢед и +Ñģк оп +Ñģл ан +ÑģÑĤ Ñıм +Ñģ ÑĩеÑĤ +ÑĤеÑĢ а +Ñĥн ов +ÑĥÑĪ кÑĥ +ÑĥÑī ие +ÑĥÑī ий +ÑĦ екÑĤ +ÑĨи ал +Ñĩ ков +Ñĩ наÑı +ÑĬ езд +Ñı ков +ĠÐij ело +ĠÐĴ еÑģÑĮ +ĠÐĶ воÑĢ +ĠÐĹ Ð½Ð°Ð¼ +ĠÐļ ÑĢÑĥп +ĠÐŁÑĢ об +ĠУ меÑĢ +ĠФ оÑĢм +Ġаб ÑģÑĤ +Ġак ÑĤÑĥ +Ġб алл +Ġв ами +ĠваÑĪ а +Ġв ина +Ġв лÑİб +Ġв ожд +Ġв ÑĢÑĥÑĩ +Ġгл об +Ġдв ен +Ġдв ой +Ġд икÑĤ +Ġд ина +Ġд иÑģÑģ +Ġдол Ñİ +Ġзам Ñĭ +Ġзн аÑĤ +Ġз наÑı +Ġид ÑijÑĤ +Ġк ÑĢем +ĠлеÑģ Ñĥ +Ġм аÑģÑĤ +Ġмин и +Ġмо ем +Ġмо но +Ġна Ñģл +Ġод об +Ġпап а +ĠпаÑĢ Ñĭ +Ġпол Ñİ +Ġп Ñģев +ĠÑĢе аг +ĠÑĢей Ñģ +ĠÑĢÑĥ ка +ĠÑĢÑĭ бÑĭ +ĠÑģл оÑı +ĠÑģм еÑħ +ĠÑģп оÑģ +ĠÑģÑĤ Ñĭд +ĠÑģÑĬ ем +ĠÑĤÑĢ ое +ĠÑĥм ел +ĠÑĥ ÑĢож +ĠÑħол м +ĠÑĨ аÑĢи +ĠÑį лиÑĤ +ÐĹ Ð°Ð¿Ð°Ð´ +аÑİÑī ее +биÑĢ ал +близ и +в ание +вÑĪ ими +вÑıз ан +д ение +енÑĮ ко +ив ÑĪей +иÑģк оп +иÑģÑĤ Ñĭе +иÑĩ нÑĭм +иÑĩ нÑĭÑħ +леÑĢ ов +май оÑĢ +моÑĤ ÑĢи +нÑĥÑĤ ÑĢи +пÑĢоÑī а +ÑģÑĤ ÑĢем +ÑĤ ÑĢакÑĤ +ÑĥÑģ али +ÑĨион н +ÑĬ един +Ñijн нÑĭе +Ñijн нÑĭй +Ġ< ...> +ĠÐIJв ÑģÑĤÑĢ +ĠÐIJндÑĢ е +ĠÐĵеÑĢ оÑı +ĠÐĵ олов +ĠÐĸ Ñĥков +ĠÐĽÐµÑĤ ом +ĠÐĿаÑĩ ал +ĠÐŁÐ¾Ñĩ ÑĤи +ĠÐłÐ°Ð·Ð² е +ĠбÑĥм аж +Ġвед ÑĥÑĤ +ĠвÑĢа Ñĩа +ĠгÑĢ ани +ĠгÑĢаÑĦ а +Ġза лив +Ġзим ой +Ġиз дан +Ġиз лÑĥÑĩ +Ġим ело +Ġинд ей +Ġкв анÑĤ +Ġкон кÑĥ +Ġк оÑģÑĤи +Ġмай оÑĢ +ĠмаÑģÑģ Ñĥ +Ġмо емÑĥ +ĠмÑıÑĤ еж +ĠнаÑĥ ке +ĠнеÑĦ ÑĤи +Ġобл ак +Ġоказ а +ĠоÑĤ зÑĭв +ĠпеÑĢ ел +ĠпоÑĢ аз +ĠпÑĢин ÑĨ +ĠпÑĢи оÑĢ +ĠпÑĥÑĤ ей +ĠпÑĥÑĤ Ñijм +ĠÑĢаз оÑĢ +ĠÑĢаÑģ кÑĢ +ĠÑĢ аÑģÑĤи +ĠÑĢек он +ĠÑĢ овно +ĠÑģай ÑĤа +ĠÑģем ÑĮÑİ +ĠÑģид иÑĤ +ĠÑģк ÑĢом +ĠÑģп аÑĤÑĮ +ĠÑģÑĤол к +ĠÑģÑĥм ма +ĠÑģÑħем а +ĠÑĤел еÑģ +ĠÑĤем но +ĠÑĤон ко +ĠÑĤ ÑĢемÑı +ĠÑĥгÑĢ ож +ĠÑĥд аÑĢа +ĠÑĥÑī еÑĢб +ĠÑħлеб а +ĠÑĩеÑĢ но +ĠÑĩÑĥд еÑģ +ĠÑĪÑĤÑĥÑĢ м +в олÑĮно +гла ÑĪен +дав аÑĤÑĮ +и алÑĮно +ий Ñģкие +й Ñģкого +лен нÑĭе +лен нÑĭй +леÑĤ ней +лÑĮ Ñģкий +ов Ñģком +омеÑĢ но +Ñģ иÑģÑĤем +ÑĥлÑı ÑĨии +ÑħваÑĤ ил +Ñĩа ÑģÑĤÑĮÑİ +ÑĩеÑģ ким +ÑĩиÑĤ Ñĭва +ÑĬ екÑĤив +ĠÐŀÑĤ ÑģÑİда +ĠÐłÐ¾ÑģÑĤ ов +ĠСолн ÑĨа +ĠЦеÑĢ кви +ĠавÑĤоÑĢ Ñĭ +ĠбÑĢаÑĤÑĮ Ñı +Ġб ÑĢоÑģил +Ġваж ное +Ġв близи +ĠвеÑģ ной +ĠвÑĭвод Ñĥ +ĠгÑĢом ко +Ġдв оÑĢов +Ġдина ÑģÑĤ +Ġза ÑĦикÑģ +Ġзв аниÑı +Ġзн ание +Ġкак ими +ĠклеÑĤ ок +ĠлÑĥÑĩ ÑĪие +Ġмаг иÑģÑĤ +ĠмаÑĪ ине +Ġмел киÑħ +Ġмног им +Ġмоб илÑĮ +ĠмолиÑĤ в +ĠмÑĥзÑĭ ка +Ġнад пиÑģ +ĠнаÑģ ÑĩиÑĤ +ĠнаÑĩал Ñĥ +ĠнеобÑĭ Ñĩ +ĠномеÑĢ а +Ġн омина +ĠобеÑī ал +Ġок ÑĢеÑģÑĤ +ĠопаÑģ но +ĠоÑģ енÑĮÑİ +ĠоÑģнов а +ĠоÑģнов Ñĭ +ĠоÑĤÑģ Ñİда +Ġплем ен +Ġпог ÑĢеб +Ġпол нÑĥÑİ +ĠпÑĢед оÑĤ +ĠпÑĢиÑĪ ло +ĠпÑĢог Ñĥл +ĠпÑĢ олеÑĤ +ĠпÑĢол ив +ĠÑĢеÑĪ аÑĤÑĮ +ĠÑģл оваÑĢ +ĠÑģолн ÑĨа +ĠÑģо оÑĤно +ĠÑģÑĤаÑĢ ой +ĠÑģÑĤаÑĢ Ñĭе +ĠÑģÑĩиÑĤ аÑİ +ĠÑĤеоÑĢ еÑĤ +ĠÑĥÑģили й +ĠÑĥÑĩ ение +ĠÑħод иÑĤÑĮ +ан Ñģкого +аÑĤелÑĮ нÑĭ +иÑĤелÑĮ нÑĭ +на ÑģÑĤоÑıÑī +опÑĢов од +ÑĢаг оÑĨен +ÑĤелÑĮ нÑĥÑİ +ÑĤелÑĮ нÑĭм +ĠÐĴоÑģÑĤ ока +ĠÐĹнам ени +ĠФед оÑĢов +ĠбеÑģп око +ĠбÑĢаÑĤÑĮ ев +ĠбÑĥÑĢжÑĥ аз +ĠвклÑİÑĩ ен +ĠвлаÑģÑĤÑĮ Ñİ +ĠвоÑģÑĤ оÑĢг +ĠвÑĭÑģок ие +ĠгаÑĢ анÑĤи +ĠглÑĥб ине +ĠгÑĢаниÑĨ е +ĠдепÑĥÑĤ аÑĤ +ĠдÑĢев ней +ĠзадаÑĩ ей +ĠзаÑģлÑĥг и +ĠигÑĢок ов +ĠконкÑĥÑĢ Ñģ +ĠмаÑģÑĤ еÑĢа +Ġмон иÑĤоÑĢ +Ġнаб лÑİда +ĠнаÑĩ алÑģÑı +ĠнаÑĩина л +ĠобÑĢаÑī ен +ĠоÑĢÑĥж ием +ĠоÑĤ обÑĢаж +ĠоÑĩеÑĢед и +ĠпаÑĨи енÑĤ +ĠпеÑĢеÑģ ек +Ġпов еÑģÑĤи +Ġпоз иÑĨий +ĠпÑĢеÑĤ енд +ĠпÑĢибÑĭ лÑĮ +ĠпÑĢив ели +ĠпÑĢоÑģ лав +ĠпÑĢоÑıв ил +ĠÑĢабоÑĩ ие +ĠÑĢазд елÑı +ĠÑĢазмеÑĢ а +ĠÑĢаз нÑĭми +ĠÑĢаÑģÑħод Ñĭ +ĠÑĢеак ÑĨиÑı +ĠÑĢе алÑĮно +ĠÑĢÑĥÑģ Ñģким +ĠÑģлож нÑĭÑħ +ĠÑģмоÑĤÑĢ иÑĤ +ĠÑģоедин Ñı +ĠÑģоÑģÑĤоÑı л +ĠÑģпоÑģ обÑĭ +ĠÑģÑĤаÑĢ ого +ĠÑģÑĤол иÑĨе +ĠÑĤекÑģÑĤ ов +ĠÑĤÑĢеÑĤÑĮ ей +ĠÑĥÑģпеÑħ ом +ĠÑĥ ÑģÑĤÑĢоен +ĠÑĥÑĩаÑģÑĤ ке +ĠÑĦÑĥнкÑĨи Ñİ +ĠÑįкип ажа +ĠÑįнеÑĢг иÑİ +ĠÑįнеÑĢг иÑı +ĠÑıв лений +иÑĢов аниÑİ +ÑĢ ождениÑı +ÑģÑĤÑĢÑĥк ÑĨии +ÑĤиÑĩеÑģ каÑı +ÑĤиÑĩеÑģки й +Ñħ ождение +ĠÐĴели кого +ĠÐĺеÑĢ ÑĥÑģали +ĠÐĺнÑĤеÑĢ неÑĤ +Ġвлад ениÑı +Ġдел аеÑĤÑģÑı +ĠдеÑĢев ÑĮев +ĠзаконÑĩ ил +ĠкваÑĢÑĤи ÑĢе +Ġкоманд ой +Ġмагаз ина +Ġмилли аÑĢд +Ġмолод ого +Ġназ ÑĭваеÑĤ +ĠнаÑĢод нÑĭÑħ +Ġнед оволÑĮ +ĠноÑĢм аÑĤив +Ġоблад аÑİÑĤ +ĠогÑĢом нÑĭй +ĠоÑģÑĤ аÑĤÑĮÑģÑı +ĠоÑīÑĥÑī ениÑı +ĠпеÑĢед аеÑĤ +Ġподлин но +Ġполож иÑĤÑĮ +ĠпомоÑī ник +ĠпÑĢевÑĢаÑī а +ĠпÑĢе облад +ĠпÑĢизнак и +ĠпÑĢодолж а +ĠпÑĢодÑĥк ÑĤа +ĠпÑĢоÑħод ил +ĠÑĢазмеÑĢ ов +ĠÑĢаз ÑĢабаÑĤ +ĠÑĢеÑĪ ением +ĠÑģÑĤÑĢаниÑĨ Ñĭ +ĠÑĤÑĢидÑĨ аÑĤÑĮ +ĠÑĥбий ÑģÑĤво +ĠÑĥÑĩаÑģÑĤи ем +ĠÑħÑĢан ениÑı +ĠÑĨен ноÑģÑĤÑĮ +ĠÑĩиÑĤ аÑĤелÑĮ +иÑĢов аннÑĭÑħ +ÑģÑĤÑĢо иÑĤелÑĮ +ÑģÑĤÑĥп ление +ĠÐIJвÑģÑĤÑĢа лии +ĠСÑĤан иÑģлав +Ġвозмож нÑĭÑħ +ĠвÑģпомина л +ĠвÑģп омниÑĤÑĮ +ĠвÑĭнÑĥжд енÑĭ +ĠдоÑģÑĤиг аеÑĤ +ĠдÑĢамаÑĤ ÑĥÑĢг +ĠизвеÑģÑĤ нÑĭе +ĠизмеÑĢ ениÑı +ĠинÑĤеÑĢÑĦей Ñģ +ĠиÑģÑĤоÑĩ ники +Ġкомп анией +ĠконÑĤин енÑĤ +ĠконÑĨеп ÑĨии +ĠмонаÑģÑĤÑĭ ÑĢÑĮ +ĠнаблÑİд аÑĤÑĮ +Ġнаг ÑĢаждÑijн +Ġнапад ениÑı +ĠнеболÑĮ ÑĪие +ĠнемеÑĨ кого +Ġобвин ениÑı +ĠоÑģÑĤан еÑĤÑģÑı +ĠпеÑĢев оÑĢоÑĤ +ĠпобеÑĢеж ÑĮе +ĠподдеÑĢж ке +ĠпоÑģлед нем +ĠпоÑģмоÑĤÑĢ ел +ĠпоÑģÑĤÑĢо иÑĤÑĮ +ĠпоÑıв илоÑģÑĮ +ĠпÑĢек ÑĢаÑĤил +ĠпÑĢиоÑĢ иÑĤеÑĤ +ĠпÑĢод оволÑĮ +ĠÑģвÑıÑīен ник +ĠÑģледÑĥÑİÑī ей +ĠÑģоÑĤÑĢÑĥд ник +ĠÑģÑĤÑĢÑĥкÑĤÑĥ ÑĢÑĥ +ĠÑĥпÑĢав лÑıÑĤÑĮ +ĠÑĥÑĤвеÑĢж ден +ĠÑĦоÑĢм алÑĮно +наÑģÑĤоÑıÑī емÑĥ +Ñģлед ованиÑı +Ñģо оÑĤвеÑĤÑģÑĤв +ĠÐłÐ°Ð·Ñĥм ееÑĤÑģÑı +ĠÐłÐ°Ñģ положен +ĠСÑĥÑīеÑģÑĤв ÑĥеÑĤ +ĠакÑĤив ноÑģÑĤи +ĠакÑĤив ноÑģÑĤÑĮ +ĠаÑĢÑĤиллеÑĢ ии +ĠбиблиоÑĤ ека +Ġблаг ополÑĥÑĩ +ĠвÑĭÑıÑģ нилоÑģÑĮ +ĠговоÑĢ илоÑģÑĮ +ĠиÑģÑĤоÑĩ ником +ĠнапÑĢÑı жениÑı +ĠпеÑĢÑģонаж ей +ĠподÑĤвеÑĢд ил +ĠпÑĢеб ÑĭваниÑı +ĠпÑĢинадлеж а +ĠпÑĢовед ение +ĠÑĢеалÑĮ ноÑģÑĤÑĮ +ĠÑģледÑĥÑİÑī его +ĠÑĤвоÑĢÑĩ еÑģÑĤво +ĠÑĤеÑĢÑĢиÑĤоÑĢ иÑı +ĠÑĤÑĢеб ований +ĠÑĦÑĥнкÑĨи онал +ÑģовеÑĢÑĪ енÑģÑĤв +ĠаÑĢÑħиÑĤекÑĤ ÑĥÑĢÑĭ +ĠвоздейÑģÑĤв ие +ĠиÑģполÑĮзов ан +ĠнеобÑħодим Ñĭм +ĠнеÑģколÑĮ кими +Ġо ÑģÑĤанавлива +ĠпÑĢедпÑĢи ÑıÑĤие +ĠÑĢаÑģполож ена +ĠÑģобÑģÑĤвен нÑĭй +ĠÑģозн аÑĤелÑĮно +ĠÑģпеÑĨиалиÑģÑĤ Ñĭ +ĠÑģпеÑĨи алÑĮнÑĭе +ĠÑģÑĦоÑĢм иÑĢован +ĠÑĤеÑħни ÑĩеÑģкиÑħ +ĠÑĦÑĢанÑĨÑĥз Ñģкой +ĠобоÑĢÑĥд ование +ĠопÑĢедел енной +ĠопÑĢедел еннÑĭе +ĠопÑĢедел еннÑĭÑħ +ĠоÑģвоб ождениÑı +ĠполиÑĤ иÑĩеÑģкие +ĠполиÑĤ иÑĩеÑģкий +ĠполÑĮзоваÑĤ елÑĮ +ĠпÑĢедÑģÑĤавлен Ñĭ +ĠдеÑıÑĤелÑĮ ноÑģÑĤÑĮÑİ +ĠкоÑĢÑĢ еÑģпонденÑĤ +ĠполиÑĤ иÑĩеÑģкого +ĠпÑĢигоÑĤов лениÑı +ĠдополниÑĤелÑĮ нÑĭе +ĠпÑĢомÑĭÑĪлен ноÑģÑĤÑĮ +ĠÐĵоÑģÑĥдаÑĢÑģÑĤвен ной +ĠпÑĢавиÑĤелÑĮ ÑģÑĤвенн +Ìģ ÑĢ +ÐIJ ÑĤ +Ðĺ Я +Ðļ Ðĺ +Ðļ Ñĥ +ÐĽ а +ÐĽ и +ÐĽ Ñĥ +Ðľ Ðŀ +Ðŀ ÐŁ +Т а +Ð¥ а +Ð¥ о +е о +з л +з ÑĮ +н ÑĨ +Ñħ ÑĤ +ĠÐķ Ñij +ĠÐĹ Ðµ +ĠЦ и +ĠЯ ÑĢ +Ġа з +ĠÑĢ а +ĠÑĨ и +Ðľ ан +аб Ñĭ +аг а +б аÑħ +б од +в еж +г аÑģ +г ÑĢо +еб н +ег а +ж дÑĭ +з аж +з ол +к Ñģа +к ÑĤо +ли Ñİ +л ÑĭÑħ +лÑı п +он г +оÑĢ е +п ен +п лÑĭ +ÑĢи Ñĩ +Ñģ иÑĢ +ÑĤ ки +ÑĥÑĤ а +ÑĥÑĪ а +Ñĥ Ñįл +Ñĩ аÑĢ +Ñĩ ий +Ñĩ Ñĥк +ÑĪ ан +ue en +ĠÐij еÑģ +ĠÐij иÑĢ +ĠÐĴ ед +ĠÐĴ од +ĠÐĶ же +ĠÐĶ ок +ĠÐĺ Ñģа +ĠÐļ ле +ĠÐļ оп +ĠÐĽ ей +ĠÐľ ÑĥÑģ +ĠÐĿ ав +ĠÐŁ еÑģ +ĠÐŁ оÑĢ +ĠÐŁ ÑĢа +ĠÐł ев +ĠÐł ед +ĠÐł Ñĥд +ĠÐ¥ ал +Ġв иÑģ +Ġде Ñı +Ġм ÑĥÑĤ +ĠÑģ не +ĠÑĤ ок +ĠÑĤ Ñĥп +ĠÑĦ ан +ĠÑħ иÑī +ĠÑĨ еÑħ +ĠÑĩ еÑĪ +ĠÑĪ аб +ĠÑĪ оÑĥ +Ðľ оÑģк +ÐŁ ÑĢав +бÑĭ ÑĤÑĮ +вед Ñĥ +г али +г лад +гл ÑĥÑĪ +гн ан +г нÑĥÑĤ +гоÑĢ а +д елÑı +дин г +д ова +д олÑĮ +еб ед +елÑĮ ÑĤ +ем ое +еÑģÑģ и +еÑĤ он +жи да +зн ав +ил ей +или и +илÑĮ Ñı +иÑģ ка +к иÑģл +к оÑģÑĤ +кÑĢ оÑĤ +ов иÑī +оÑĢ ог +п ала +пол з +пÑĢÑĭ г +п Ñĥга +п ÑĭÑĤа +ÑĢил л +ÑĢ ода +Ñģ елÑı +Ñģл аб +ÑģÑĤ ол +ÑĤ еÑģÑĤ +ÑĤи ÑĢа +ÑĤ ÑĢом +Ñĩ лен +ÑıÑī аÑı +ÑıÑī им +ĠÐĵоÑĢ ÑĮ +ĠÐĶ ени +ĠÐĹаÑĤ о +ĠÐĺ ÑĢак +ĠÐľ еÑģÑĤ +ĠÐłÐ¸Ð¼ е +ĠС коÑĢ +ĠФ ÑĢей +ĠЦ елÑĮ +ĠбÑĥд ÑĮ +Ġб ÑĥлÑĮ +Ġвой н +Ġвол е +Ġвол к +Ġгл ÑĥÑħ +Ġг ÑĢиб +Ġг ÑĥÑģÑĤ +Ġд абÑĭ +ĠдÑĥÑħ е +Ġж дал +Ġж ела +Ġзн ам +ĠкÑĢа е +ĠлеÑĤ а +Ġли ги +Ġм елÑĮ +Ġна иб +Ġнев Ñĭ +Ġнов о +Ġок он +ĠоÑģ во +ĠпиÑī Ñĥ +Ġпл иÑĤ +ĠпоÑĢ а +ĠÑĢаз Ñĥ +ĠÑĢ елÑĮ +ĠÑĢÑĥ ке +ĠÑģ екÑĤ +ĠÑģл ой +ĠÑģнÑı л +ĠÑĤ вой +ĠÑĤол Ñī +ĠÑĥ ÑģÑĤÑĮ +ĠÑĦ икÑģ +ĠÑĦ или +ĠÑĦ оÑĢÑĤ +ĠÑĦ ÑĢак +ĠÑĨ иÑĢк +Ðľ олод +аÑĤ ÑĥÑĢÑĥ +аÑİÑī аÑı +боÑĢ од +вл еÑĩÑĮ +вод ÑıÑĤ +дев ÑıÑĤ +ев ого +ед елÑĮ +ед лив +еÑĩ нÑĭй +ив ÑĪаÑı +илÑĮ Ñģк +иÑģÑĤ ой +иÑģÑĤ ом +иÑģÑĤ Ñĭй +лив Ñĭй +моб ил +нов иÑĩ +ноÑģÑĤ н +н Ñģком +оÑĤÑĮ ÑģÑı +оÑĩ нÑĭм +пиÑģ ал +пÑĢ еÑģÑģ +ÑĢ аÑĤоÑĢ +ÑģÑĤ аÑĤÑĮ +Ñĥл кан +ĠÐĶÑį вид +ĠÐĹаÑĩ ем +ĠÐĹем лÑı +ĠÐļак ие +ĠÐļ амен +ĠÐļиев е +ĠÐļ ÑĢеÑģÑĤ +ĠÐľÐ°Ð¹ кл +ĠÐŀ коло +ĠÐŀÑĢ лов +ĠСозд а +ĠФед оÑĢ +ĠаÑĢм ий +ĠбаÑĢ он +Ġбел ÑĭÑħ +Ġбог ов +Ġбол оÑĤ +Ġваг он +ĠвеÑĤ ÑĢа +Ġвиз иÑĤ +Ġд лина +ĠдоÑĢ ож +Ġжал об +Ġзаб ол +Ġзаб Ñĭл +Ġиме ем +Ġкан он +ĠкоÑĢ ов +ĠкÑĢов а +Ġлев ом +Ġли беÑĢ +Ġлод ки +ĠлоÑĪ ад +ĠлÑİб ÑıÑĤ +Ġман еÑĢ +Ġмог ил +Ġм ÑĢаÑĩн +ĠмÑıг ко +Ġнев ид +Ġоб ÑĢеÑĤ +Ġог нем +Ġод ниÑħ +ĠоÑĤ ÑĨом +Ġпи ÑĢам +Ġпод оÑĪ +Ġпо ÑĩеÑĤ +ĠпÑĤи ÑĨÑĭ +Ġп ÑĥÑĪки +ĠпÑĮеÑģ Ñĭ +ĠÑĢеб Ñijн +ĠÑģлед Ñĭ +ĠÑģÑĢок и +ĠÑģÑĤ ена +ĠÑģÑĤ илÑı +ĠÑģÑĥм мÑĭ +ĠÑģÑĦеÑĢ Ñĭ +ĠÑĤан ка +ĠÑĤоÑĩ ек +ĠÑĥб иÑĤÑĮ +ĠÑĥлиÑĨ Ñĥ +ĠÑĦ инал +ĠÑĦон да +ĠÑħоÑĤ им +ĠÑĨик ла +ĠÑĩиÑģ лÑĥ +ĠÑİж ной +ан ализ +в ÑĢемен +вÑĪÑĥÑİ ÑģÑı +вÑıз Ñĭва +да ÑİÑĤÑģÑı +еÑĩ ного +ин Ñģком +иÑĨи енÑĤ +каз аÑĤÑĮ +кÑĢÑĭ ÑĤие +лÑı ÑĤÑĮÑģÑı +мÑĭÑģл ен +на Ñģлед +ов аниÑİ +пиÑģ Ñĭва +под виж +ÑĢаз вед +ÑĤиÑĩеÑģ к +ÑĤÑıг ива +ÑĦин анÑģ +ÑĩеÑģ ком +Ñĩив аÑĤÑĮ +ĠÐIJв гÑĥÑģÑĤ +ĠÐIJÑĦÑĢи ки +ĠÐĴо енно +ĠÐĴÑĤоÑĢ аÑı +ĠÐĵÑĢÑĥз ии +ĠÐļи ÑĢилл +ĠÐļом анд +ĠÐľÐµÐ´ алÑĮ +ĠÐĿиÑĩ его +ĠÐŀÑģÑĤ ÑĢов +ĠÐŁ олÑĮÑĪе +ĠСеÑĢг еÑı +Ġваж нÑĭе +Ġвели ко +ĠвеÑĢ иÑĤÑĮ +ĠвÑĢаж еÑģ +ĠвÑģе обÑī +ĠвÑģÑı киÑħ +ĠвÑĤоÑĢ ÑĥÑİ +ĠвÑĤоÑĢ Ñĭм +ĠвÑĭбоÑĢ Ñĭ +ĠвÑĭÑģ ÑĪиÑħ +ĠгаÑĢ низ +Ġгол ода +ĠгоÑĢод Ñĥ +ĠгоÑģÑĤ ей +ĠгÑĢан аÑĤ +ĠгÑĢом ад +Ġдолг ое +ĠдоÑĢ ого +ĠзапÑĢ еÑī +Ġзд аний +ĠигÑĢ ока +ĠизÑĥÑĩ ал +Ġин веÑģÑĤ +ĠиÑģÑĤи нÑĭ +ĠиÑģÑħод Ñı +Ġкод екÑģ +Ġкол лед +ĠкÑĢеп ко +ĠкÑĢиÑĤ ик +Ġлаг еÑĢÑĮ +Ġлаг еÑĢÑı +ĠлиÑĩ ной +ĠмаÑĢÑĪ ÑĢÑĥ +ĠмеÑģÑĤ ом +Ġнад ежн +ĠнаÑĪ емÑĥ +Ġне Ñĩего +Ġниж ней +Ġоб мена +ĠокÑĢÑĥг е +ĠоÑģоб ое +ĠоÑģоб ой +ĠоÑĤд аÑĤÑĮ +ĠпаÑĢ лам +ĠпеÑĢв ен +ĠподнÑı л +Ġпозв он +Ġпол нÑĭм +ĠпоÑģл Ñĥж +ĠпÑĢем иÑı +ĠпÑĢиÑģ ÑĥÑī +ĠпÑĢоÑģ иÑĤ +ĠпÑĢоÑĤ ек +ĠпÑĥнк ÑĤÑĭ +ĠÑĢад ика +ĠÑĢаз ÑĢÑĭв +ĠÑĢеб ÑıÑĤа +ĠÑĢеÑĪи ла +ĠÑĢоман е +ĠÑĢ оÑģÑģиÑı +ĠÑģ екÑĤоÑĢ +ĠÑģкаж еÑĤ +ĠÑģлÑĥж ба +ĠÑģок ÑĢов +ĠÑģп аÑģÑĤи +ĠÑģпекÑĤ ÑĢ +ĠÑģÑĤаÑĢ ÑĪе +ĠÑģÑĥд иÑĤÑĮ +ĠÑĤеоÑĢ иÑİ +ĠÑĤоваÑĢ а +ĠÑĥдал ен +ĠÑĥказ ал +ĠÑĥменÑĮ ÑĪ +ĠÑĥп ÑĢазд +ĠÑĥÑģÑĤ ÑĢем +ĠÑĩаÑģÑĤ оÑĤ +ĠÑĪаб лон +ĠÑĪаÑħ маÑĤ +ĠÑıзÑĭ каÑħ +алиÑĦ ика +ек ÑĤиÑĢов +еп иÑģкоп +ивÑĪие ÑģÑı +иÑĩ ноÑģÑĤÑĮ +лÑĮ Ñģкого +неÑģ ениÑı +ÑĢабоÑĤ ка +Ñĩелов еÑĩ +ÑįнеÑĢг еÑĤ +ĠÐijолÑĮÑĪ аÑı +ĠÐĴ оÑģÑĤоке +ĠÐĵиÑĤ леÑĢа +ĠÐĵлав ное +ĠСк олÑĮко +ĠСлед ÑĥеÑĤ +ĠФин лÑıнд +ĠШ вейÑĨаÑĢ +ĠавÑĤ оном +ĠавÑĤоÑĢ ом +ĠбеÑĢег ов +Ġбож еÑģÑĤв +ĠболÑĮÑĪ ом +ĠбÑİдж еÑĤа +ĠгваÑĢд ии +ĠгоÑĢод ом +ĠдеÑĤ ÑģÑĤве +ĠдиамеÑĤ ÑĢ +Ġдок ÑĤоÑĢа +ĠдоÑĢог ой +ĠзаклÑİÑĩ а +ĠзапиÑģ ан +Ġзап овед +Ġзап ÑĥÑģка +ĠзаÑħоÑĤ ел +ĠзолоÑĤ ой +ĠзÑĢ иÑĤелÑĮ +Ġизм енил +ĠкаÑĩ еÑģÑĤв +ĠкомнаÑĤ Ñĭ +ĠкоÑĢÑĢ екÑĤ +ĠкÑĢизиÑģ а +ĠкÑĢиÑĤ ики +Ġмолод Ñĭе +ĠмоÑĢ ÑģкиÑħ +Ġнадеж дÑĭ +Ġнез акон +Ġоб ÑģÑĤÑĢел +ĠокÑĢÑĥж ен +ĠоÑĢк еÑģÑĤÑĢ +ĠоÑģÑĤаÑĤ ки +ĠоÑĤ ÑĩаÑģÑĤи +ĠоÑĨен иÑĤÑĮ +Ġпад ениÑı +ĠпаÑģ поÑĢÑĤ +ĠплаÑģÑĤ ин +Ġподав лÑı +Ġпод ÑĢоÑģÑĤ +ĠпоиÑģ каÑħ +ĠпоÑģеÑĤ ил +ĠпÑĢинÑı ÑĤÑĭ +ĠпÑĢи ÑĢода +ĠпÑĢов ели +ĠпÑĢодаж и +ĠпÑĢоÑģÑĤ Ñĭм +ĠпÑĢоÑĪло е +ĠÑĢабоÑĩ ий +ĠÑĢад оÑģÑĤи +ĠÑĢад оÑģÑĤÑĮ +ĠÑĢежиÑģÑģ Ñij +ĠÑĢ езÑĥлÑĮÑĤ +ĠÑĢеÑĦоÑĢм Ñĭ +ĠÑĢеÑĪ ениÑİ +ĠÑģилÑĮ нÑĭй +ĠÑģмеÑĢÑĤÑĮ Ñİ +ĠÑģо обÑĢаж +ĠÑģÑĤÑĢо иÑĤÑĮ +ĠÑĤеÑħни кÑĥ +ĠÑĤоп лива +ĠÑĤÑĥÑĢни ÑĢе +ĠÑĥкÑĢа ÑĪен +ĠÑĥÑĩ иÑĤÑĮÑģÑı +ĠÑħоÑĢо ÑĪие +ĠÑĩеÑĤ веÑĢÑĤ +ĠÑĩÑĥд овиÑī +ĠÑįкÑģп оÑĢÑĤ +алÑĮ ноÑģÑĤÑĮ +еделÑĮ ник +иÑĤеÑĢ аÑĤÑĥÑĢ +иÑĦика ÑĨиÑı +омин ание +ообÑĢаз но +ÑģÑĤвен наÑı +ÑģÑĤÑĢой ÑģÑĤв +ÑĤеÑħ нолог +ÑĦÑĥнкÑĨи он +Ñħ аÑĢакÑĤеÑĢ +ĠÐĵеÑĢм аниÑı +ĠÐĺÑģÑĤ оÑĩник +ĠÐĿ азвание +ĠСов ÑĢемен +Ġакадем ик +ĠболÑĮÑĪ ими +ĠбоÑĢ оÑĤÑĮÑģÑı +Ġвозник ла +ĠвÑĢем енно +ĠвÑģп омнил +ĠдеÑģÑıÑĤ ков +Ġдивиз ион +Ġдоказ аÑĤÑĮ +ĠдоÑģÑĤ овеÑĢ +ĠдÑĥÑħов ной +ĠживопиÑģ и +ĠзавеÑĢÑĪ ен +ĠзаклÑİÑĩ ил +Ġзамен иÑĤÑĮ +ĠзаÑĢ егиÑģÑĤ +ĠизÑĥÑĩ ение +ĠкапиÑĤ ала +ĠкваÑĢÑĤи ÑĢÑĥ +ĠкваÑĢÑĤи ÑĢÑĭ +Ġкон гÑĢеÑģÑģ +ĠкÑĢеп оÑģÑĤÑĮ +Ġназ ÑĭваÑĤÑĮ +Ġнак анÑĥне +ĠнаÑĢод ной +Ġна ÑģÑĤÑĢоен +ĠоблаÑģÑĤ ÑıÑħ +ĠобÑĬÑıÑģ нил +ĠогÑĢом нÑĭе +ĠоÑģÑĤав лен +ĠоÑĤпÑĢав ил +ĠоÑĤÑģÑĤав кÑĥ +ĠпеÑĢее Ñħал +ĠпеÑĢеп ÑĢав +Ġпозн аниÑı +ĠполÑĥÑĩ аем +ĠпÑĢакÑĤи ки +ĠпÑĢед меÑĤа +ĠпÑĢибли жа +ĠпÑĢоз ÑĢаÑĩн +ĠпÑĢоÑħод ÑıÑĤ +ĠÑĢабоÑĤ ник +ĠÑĢаÑģÑħод ов +ĠÑģамол еÑĤÑĭ +ĠÑģевеÑĢ ной +ĠÑģни жение +ĠÑģообÑī ила +ĠÑģÑĢаж ениÑı +ĠÑģÑĥÑī еÑģÑĤво +ĠÑģÑĥÑī ноÑģÑĤÑĮ +ĠÑĤÑĢад иÑĨиÑı +ĠÑĥдоÑģÑĤо ен +ĠÑįлеменÑĤ а +д емонÑģÑĤÑĢи +иÑĢов аннÑĭй +иÑĢов аÑĤÑĮÑģÑı +пÑĢ езиденÑĤ +ÑĦиÑĨи ÑĢован +ÑįÑĦÑĦ иÑĨиенÑĤ +ĠÐĿе обÑħодим +ĠЧемпион аÑĤ +ĠбеÑģплаÑĤ но +ĠваÑĢианÑĤ ов +ĠгÑĢаждани н +ĠдейÑģÑĤвиÑı Ñħ +ĠдиÑģÑĨип лин +ĠдокÑĥменÑĤ а +Ġзакан Ñĩива +ĠзаÑģед ании +ĠзаÑģÑĤав иÑĤÑĮ +ĠзаÑıв лениÑı +ĠизвеÑģÑĤ ной +ĠинÑģÑĤиÑĤÑĥÑĤ е +ĠиÑģкÑĥÑģ ÑģÑĤве +ĠиÑģпÑĭÑĤ аний +ĠкоммÑĥ ника +ĠмаÑĤемаÑĤ ик +Ġмнож еÑģÑĤва +ĠнавеÑĢ нÑıка +ĠнеболÑĮ ÑĪиÑħ +ĠоÑģнов ного +ĠповÑĭÑĪ ениÑı +Ġпозвол ило +Ġпоказ аниÑı +ĠполÑĥÑĩ ение +ĠпÑĢизн ание +ĠпÑĢоизоÑĪ ла +ĠпÑĢоÑĨеÑģÑģ оÑĢ +ĠÑĢег ÑĥлиÑĢов +ĠÑĢеÑģпÑĥбли к +ĠÑĢÑĥковод ил +ĠÑģелÑĮ ÑģовеÑĤ +ĠÑģк онÑĩалÑģÑı +ĠÑģлед ÑģÑĤвие +ĠÑģоÑİз ников +ĠÑģÑĤÑĢем иÑĤÑģÑı +ĠÑĤÑĢÑĥд ноÑģÑĤи +ĠÑĥÑģÑĤанов ка +ĠÑħозÑıй ÑģÑĤво +ĠÑįкземп лÑıÑĢ +оÑħÑĢан иÑĤелÑĮ +ĠаÑģÑģоÑĨи аÑĨии +ĠбиблиоÑĤек и +Ġвозглав лÑıл +ĠизгоÑĤов лен +Ġкоманд иÑĢов +Ġкомпоз иÑĤоÑĢ +ĠкÑĢÑĥп нейÑĪиÑħ +ĠлиÑĤеÑĢ аÑĤÑĥÑĢа +ĠнаÑħод иÑĤÑĮÑģÑı +ĠобÑĢаÑĤ иÑĤÑĮÑģÑı +ĠогÑĢани Ñĩива +ĠоÑĤÑģÑĥÑĤÑģÑĤв иÑı +ĠпаÑĢлам енÑĤа +ĠпаÑģÑģаж иÑĢов +ĠпеÑĢеÑĩ иÑģлен +Ġпоказ аÑĤелÑĮ +Ġпоказ ÑĭваÑİÑĤ +ĠпÑĢедÑĥп ÑĢежд +ĠпÑĢовод иÑĤÑģÑı +ĠпÑĥблика ÑĨии +ĠÑĢезÑĥлÑĮÑĤ аÑĤа +ĠÑģоÑģÑĤавлÑı ла +ĠÑĤеÑħнолог иÑı +ĠÑĥпÑĢаж нениÑı +ĠÑĦиз иÑĩеÑģкиÑħ +ĠÑįÑĦÑĦекÑĤив но +ĠÐŀÑĦиÑĨи алÑĮнÑĭй +ĠавÑĤомоб илей +ĠвозвÑĢаÑī ениÑı +Ġзаболев аний +ĠколиÑĩ еÑģÑĤвом +ĠпоÑĤÑĢеб ноÑģÑĤи +ĠпоÑĤÑĢеб ноÑģÑĤÑĮ +ĠпÑĢимен ÑıеÑĤÑģÑı +ĠпÑĢоÑıвлÑı еÑĤÑģÑı +ĠÑģобÑģÑĤвен нÑĥÑİ +ĠÑģпÑĢавед ливо +ĠÑĥпомина еÑĤÑģÑı +ĠÑĥÑĤвеÑĢжд ение +ĠÑĥÑĩаÑģÑĤв оваÑĤÑĮ +ĠвозвÑĢаÑī аеÑĤÑģÑı +ĠвоÑģÑģÑĤанов иÑĤÑĮ +ĠинÑģÑĤÑĢÑĥменÑĤ ов +ĠиÑģÑĤоÑĢ иÑĩеÑģкой +ĠнаÑĨионалÑĮ нÑĭÑħ +ĠпеÑĢиод иÑĩеÑģки +ĠпÑĢедполож иÑĤÑĮ +ĠпÑĢедÑĥÑģмоÑĤÑĢ ен +ĠÑģÑĥÑīеÑģÑĤв оваÑĤÑĮ +ĠÑĥдоволÑĮ ÑģÑĤвие +ĠÑĦоÑĢм иÑĢование +ĠÐĶейÑģÑĤв иÑĤелÑĮно +Ġвозникнов ениÑı +ĠмеждÑĥнаÑĢод ной +ĠнезавиÑģ имоÑģÑĤи +ĠпÑĢедÑģед аÑĤелем +ĠпÑĢинÑĨип иалÑĮно +ĠпÑĢоиÑģÑħ ождение +ĠÑĢÑĥковод иÑĤелей +ĠÑģопÑĢоÑĤив лениÑı +ĠÑįконом иÑĩеÑģкиÑħ +ĠвоÑģполÑĮзов аÑĤÑĮÑģÑı +ĠÑģооÑĤвеÑĤÑģÑĤв ÑĥÑİÑīие +ĠÑįкÑģпеÑĢименÑĤ алÑĮн +Ìģ й +ÐIJ Ðľ +Ðij ÐIJ +Ðij о +Ðĵ Ðij +Ðĵ ÑĢ +ÐĶ и +Ðķ ÐĴ +Ðķ ÐĻ +Ðķ в +Ðĺ ÐĹ +ÐĽ Ñİ +ÐĿ и +Ðŀ ÐĻ +ÐŁ ÐIJ +С Ðķ +С а +Т Ðĺ +Т С +Т о +Т Ñĭ +г г +д Ñİ +и о +к ÑĤ +ÑĢ к +ÑĢ ÑĤ +ÑĮ м +ÑĮ Ñij +Ñį д +ĠÐŀ г +ĠС л +ĠУ Ðļ +ĠШ е +ĠÐŃ Ð¼ +ĠÑĦ Ñĥ +Ðļ ол +ÐŁ ол +Ðł аз +ай ÑĪ +б ÑĢо +б Ñĭв +в не +в Ñijл +г ам +г де +дÑĢ е +еб ÑĢ +ег и +ел ÑĤ +ж ин +ив о +иÑĩ е +к ва +к ла +к Ñģи +л ак +л Ñĥб +л Ñĥп +лÑı ж +на Ñħ +н ÑĮÑı +ом о +оп и +оÑģ е +оÑĤ Ñĥ +п ÑĥÑĢ +Ñģ иÑģ +ÑĦ им +Ñĩ ак +Ñĩ иÑħ +ÑĪ ке +ÑĪ не +Ñī ев +ÑĮ Ñıв +Ñį ÑģÑĤ +ĠÐIJÑĦ г +ĠÐij аÑģ +ĠÐij аÑħ +ĠÐij он +ĠÐĵ ей +ĠÐĵ ÑĥÑĢ +ĠÐĶ еÑĢ +ĠÐķ ÑģÑĤ +ĠÐĸ ил +ĠÐĺ ме +ĠÐļ ей +ĠÐĽ оÑĢ +ĠÐĽ оÑģ +ĠÐĽÑİ Ð´ +ĠÐľ иÑĤ +ĠÐľ од +ĠÐŁ ик +ĠÐŁ ÑıÑĤ +ĠÐł ез +ĠÐłÑĭ б +ĠС аÑħ +ĠС иÑĢ +ĠТ еÑħ +ĠТ ип +ĠТ ÑĢа +ĠÐ¥ еÑĢ +ĠШ ве +ĠÐŃ Ð´Ñĥ +Ġб аг +Ġб ÑĢÑİ +Ġв ан +Ġз ай +Ġл ид +Ġл иÑĤ +Ġл Ñijг +Ġм аÑħ +ĠÑģ ед +ĠÑģ ка +ĠÑģ Ñĥл +ĠÑĤ Ñıг +ĠÑĩ ин +ĠÑĩ Ñijм +ав еÑĤ +ад аÑĩ +аж да +ан Ñģк +б омб +б ÑĢав +б ÑĢод +в алÑĮ +вид Ñĥ +г ами +гиб а +да Ñĩа +д воÑĢ +д ева +д икÑĤ +д иÑĤе +д лин +ел ли +ем Ñĭм +ен ок +еÑģÑģ а +еÑĪ но +ил ов +им еÑĤ +л ева +маÑĢ к +меÑĢ з +ни га +об оÑĢ +ок ÑĥÑģ +ол ик +он Ñģк +оп аÑĤ +оп ÑĢо +п олÑı +пÑĢ еÑĤ +пÑĢ ÑıÑĤ +ÑĢа ли +ÑĢан д +ÑĢек и +Ñģам о +Ñģ илÑĮ +Ñģ инÑĤ +ÑģÑĤи г +ÑģÑĤ ов +ÑģÑĤ ÑģÑı +ÑĤа ли +ÑĤ алÑĮ +ÑĤ ÑĢон +ÑĤÑĢо ÑĦ +ÑĤÑĥ ÑĢа +Ñĥз еÑĢ +ÑĥÑĢ ÑģÑĭ +ÑĦ алÑĮ +Ñĩин Ñĥ +Ñĩ ник +ÑĪ ими +Ñİ ÑģеÑĢ +ÑıÑĤи и +ĠÐij ÑĢаÑĤ +ĠÐĶж ек +ĠÐĶ ÑĢев +ĠÐķ лиз +ĠÐĺ гÑĢа +ĠÐĿ ÐIJТÐŀ +ĠÐŀ пеÑĢ +ĠÐŁÑĢ од +ĠÐł ади +ĠÐł еÑĩÑĮ +ĠС еÑĢб +ĠС илÑĮ +ĠСÑĤ ол +ĠÐŃÑĤ им +Ġа ним +Ġбаз Ñĥ +Ġбо еп +ĠбÑİ ÑĢо +Ġвн Ñĥк +Ġв олÑİ +Ġг ÑĥлÑı +Ġд аÑĤа +Ġд олÑı +Ġж деÑĤ +Ġжен Ñĥ +Ġзаб л +Ġим ев +Ġин Ñģп +Ġин ÑĨи +ĠкÑĢ еÑģ +Ġнеб е +Ġног Ñĥ +Ġоб ла +ĠпоÑĢ Ñĥ +ĠпоÑģ в +ĠÑĢаз Ñĭ +ĠÑĢе ал +ĠÑĢеж е +ĠÑĢÑĭ ба +ĠÑģ анк +ĠÑģ еÑĢж +ĠÑģил е +ĠÑģ ине +ĠÑģм ÑĥÑĤ +ĠÑģ оли +ĠÑģÑĥд е +ĠÑĤ ени +ĠÑĥг ла +ĠÑĦиÑĢ м +ĠÑĦ олÑĮ +ĠÑħ ÑĢеб +ĠÑĪ анÑģ +ĠÑĪÑĤ Ñĥк +ĠÑı дÑĢа +ай неÑĢ +ва ива +вÑıÑī ен +гелÑĮ м +д еÑĪев +еÑģÑĤ но +еÑģÑĤ ÑĢа +еÑĩ нÑĭе +еÑĪ ива +ик ами +иона л +иÑĩ ной +й Ñģкий +лекÑĤ Ñĥ +лиÑĩ еÑģ +лÑı ÑĨии +меÑħ ан +н енно +нок ом +овав ÑĪ +олог и +оÑĢг ан +оÑģÑĤ еп +оÑĩ ное +пом ни +пÑĢо из +ÑĢип аÑģ +Ñģид Ñģк +ÑĤ веÑĢж +ÑĥÑģÑĤ ÑĢи +ÑĦелÑĮ д +ÑĦ инал +ÑĩиÑĤ ал +ÑĪиÑħ ÑģÑı +ĠÐĴÑĭ боÑĢ +ĠÐĶж она +ĠÐĶ непÑĢ +ĠÐķ лена +ĠÐĸ изнÑĮ +ĠÐļаÑĢ ла +ĠÐļ ÑĢиÑģÑĤ +ĠÐļÑĢÑĭ ма +ĠÐĽÑĮ вов +ĠÐĿик иÑĤ +ĠÐĿ овой +ĠÐŁÐ°Ð² ла +ĠФ илÑĮм +ĠФÑĢан к +ĠФ ÑĢанÑĨ +ĠÐ¥Ñĥд ож +Ġанг ел +Ġа ÑĢиÑģÑĤ +Ġбал еÑĤ +Ġбел Ñĭе +Ġбел Ñĭй +ĠбеÑĢ ем +Ġбил еÑĤ +ĠбиÑĤ ве +ĠбиÑĤ вÑĭ +ĠбÑĢак а +Ġвнед ÑĢ +Ġвод оÑĢ +Ġво ÑĪел +Ġво ÑĪла +Ġв ÑĢаÑīа +ĠвÑĭ ÑĪло +Ġгод ом +ĠгÑĢÑıз н +Ġдвиг а +Ġдел аÑħ +ĠдоÑĩ еÑĢ +ĠдÑĢам а +Ġзаб ав +Ġзам ед +Ġзам ок +ĠкаÑĢ ÑĤо +ĠкаÑĤ ол +ĠкÑĢÑĥг а +Ġлим он +Ġлож ки +ĠлÑİб ÑĥÑİ +ĠлÑİб ÑĭÑħ +Ġмал ÑĭÑĪ +Ġмел ко +ĠмеÑĤ ÑĢа +Ġмол оÑĤ +Ġмол Ñĩа +ĠмоÑĢ оз +ĠмÑĭÑĪ ÑĨÑĭ +Ġнап иÑĤ +Ġнек ий +ĠниÑĩ ÑĤо +ĠобÑī аÑı +ĠобÑī ие +Ġок ÑĢаÑģ +Ġоп ÑĢоÑģ +ĠоÑĤ ÑĢаз +ĠоÑĤ ÑĤен +ĠоÑĩ ков +ĠпеÑĢ еÑĢ +ĠпеÑī еÑĢ +Ġпог ло +ĠпоÑĢ ÑĤÑĥ +Ġпо ÑĪла +ĠÑĢÑĭ ÑĨаÑĢ +ĠÑģал он +ĠÑģила Ñħ +ĠÑģл ева +ĠÑģÑĤол а +ĠÑģÑĥд но +ĠÑĥÑģп ев +ĠÑħод ил +ĠÑĩеÑĢ ед +ĠÑĪ пион +ĠÑİ ÑĢиÑģÑĤ +ĠÑı блок +ад олго +анд ÑĥÑİÑī +ан Ñģкий +биÑĢ аÑĤÑĮ +ваÑĢÑĤи ÑĢ +веÑģÑĤ нÑĭ +дел аÑĤÑĮ +деÑĢж ав +еÑģÑĤ ник +еÑĨ кого +ик аÑĤоÑĢ +ин ÑģкаÑı +меÑĤ ÑĢов +н адÑĨаÑĤ +ов алÑģÑı +ов ÑģкиÑħ +огÑĢаÑĦ и +п ÑĥÑģÑĤил +ÑĢаÑģÑģ Ñĥд +ÑĢемен н +Ñģек ÑĢеÑĤ +ÑĤелÑı ми +ÑĤеÑħ ник +ÑĤÑıн ÑĥÑĤÑĮ +ÑĥÑģÑĤи ли +ÑĪед ÑĪий +ÑĮеÑĤ нам +ĠÐIJндÑĢ еÑı +ĠÐIJÑĦг ани +ĠÐij ÑĢиÑĤан +ĠÐĶжейм Ñģ +ĠÐĶÑĢÑĥг ой +ĠÐŀÑĩ евид +ĠÐŁÑĢо екÑĤ +ĠÐŁÑĢ оÑĤив +ĠС иÑģÑĤем +ĠСолн ÑĨе +ĠСп оÑģоб +ĠСп ÑĥÑģÑĤÑı +ĠСÑĤ аÑĤÑĮÑı +ĠШве ÑĨии +ĠÐŃдÑĥ аÑĢд +Ġак ÑĨенÑĤ +Ġбал анÑģ +ĠбÑĭв ÑĪиÑħ +ĠвнÑĥÑĤ ÑĢÑĮ +Ġво инов +Ġвой Ñģко +ĠвÑģÑı кой +Ġв Ñĥлкан +ĠвÑĭз вал +ĠвÑĭÑĢаж а +ĠвÑĭÑģоÑĤ а +ĠвÑĭÑģоÑĤ Ñĥ +Ġгиб елÑĮ +Ġглаг ол +ĠглÑĥб ин +Ġгод ами +ĠгÑĢÑĥз ин +ĠдвоÑĢ еÑĨ +ĠдвоÑĢ ÑĨа +ĠдоÑģÑĤ аÑĤ +Ġж иÑĤелÑĮ +Ġза лива +Ġзан Ñıла +Ġзан ÑıÑĤÑĮ +Ġзап лаÑĤ +ĠзаÑī иÑĤе +Ġзв езда +Ġзв Ñĥков +Ġзд ании +Ġзна еÑĪÑĮ +ĠзолоÑĤ а +ĠигÑĢа ÑİÑĤ +Ġим поÑĢÑĤ +Ġком мÑĥн +ĠлоÑĪ ади +Ġман евÑĢ +Ġмел кие +ĠмеÑģÑĤ оÑĢ +ĠмÑĭÑģл ей +Ġнов Ñĭми +Ġног ами +ĠобÑĢаз Ñĭ +Ġодин ок +ĠоÑĢг ани +ĠоÑĨени в +ĠоÑĨен ка +ĠпаÑĢ енÑĮ +ĠпаÑĢÑĤи Ñİ +ĠпеÑĩ алÑĮ +Ġпл анов +Ġпобед а +ĠподÑĬ ем +Ġпо един +Ġп ойдеÑĤ +ĠполÑĥÑĩ а +ĠпоÑĩиÑĤ а +ĠпÑĢав дÑĥ +ĠпÑĢив ез +ĠпÑĢием а +ĠпÑĢи йÑĤи +ĠпÑĢим еÑĤ +ĠпÑĢо езд +ĠпÑĢоÑĩ ие +ĠÑĢазм ÑĭÑĪ +ĠÑĢаз обÑĢ +ĠÑĢеÑĪ аеÑĤ +ĠÑĢод ной +ĠÑģлед ов +ĠÑģм енил +ĠÑģмог ла +ĠÑģоб оÑĢа +ĠÑģпиÑģ ке +ĠÑģпÑĢав а +ĠÑģ ÑĢавни +ĠÑģÑĢ оÑĩно +ĠÑģÑĤан ÑĥÑĤ +ĠÑģÑĤоÑı ла +ĠÑģÑĥдÑĮ бÑĥ +ĠÑģ ÑĥÑģÑĤав +ĠÑģÑĩиÑĤ аÑı +ĠÑĤоваÑĢ Ñĭ +ĠÑĤоÑĩ нее +ĠÑĤÑĢев ож +ĠÑĤÑĥÑĢни ÑĢ +ĠÑĥÑĩен Ñĭй +ĠÑĦайл ов +ĠÑĦиг ÑĥÑĢÑĭ +ĠÑĦили ал +ĠÑħоÑĤ ела +ĠÑħоÑĩ еÑĪÑĮ +ĠÑĩаÑģÑĤ ÑıÑħ +ĠÑĩÑĤ ениÑı +аÑĨион но +виж ениÑı +вод иÑĤÑģÑı +ел лекÑĤÑĥ +иÑĢован Ñĭ +иÑģп овед +н адÑĨаÑĤи +пÑĢав лен +пÑĥÑģÑĤ иÑĤÑĮ +ÑĤелÑĮ ное +ÑħодÑıÑī иÑħ +ÑħоÑĢон ен +ĠÐĴоÑĢон еж +ĠÐĵенеÑĢ ал +ĠÐĵлав нÑĭй +ĠÐĵоÑģпод ÑĮ +ĠÐĶав айÑĤе +ĠÐĶоÑģÑĤ оев +ĠÐĺзÑĢа илÑı +ĠÐłÑĥÑģ Ñģкой +ĠФÑĢан ÑĨиÑı +ĠбаÑģÑģ ейн +Ġблиз киÑħ +ĠвдоÑħ нов +ĠведÑĥÑī иÑħ +ĠвзглÑı дÑĭ +ĠвклÑİÑĩ ал +ĠвнеÑĪ ниÑħ +Ġвоен нÑĥÑİ +Ġвоен нÑĭм +Ġв оÑģÑĤоке +ĠвÑħод или +ĠвÑĭÑģок им +ĠвÑĭ ÑģÑĤÑĢел +ĠвÑĭÑħод ил +ĠдеÑĤ алей +ĠдиÑģÑģ еÑĢÑĤ +ĠдоÑģÑĤ ойн +ĠдÑĭÑħ ание +Ġедин ого +ĠжеÑģÑĤ око +Ġзад ание +Ġзад аниÑı +Ġиздели Ñı +ĠинÑģÑĤ инк +ĠкаÑĢÑĮеÑĢ Ñĭ +ĠкаÑĤ алог +Ġкин емаÑĤ +Ġкли енÑĤа +Ġколлег и +Ġком ÑĦоÑĢÑĤ +Ġко оÑĢдин +ĠкÑĢÑĥп нÑĭй +Ġл еÑĩение +ĠлоÑĪад ей +ĠмеÑħани к +Ġмног ими +Ġмолод Ñĭм +ĠмоменÑĤ Ñĭ +Ġнек огда +Ġобез ÑĮÑıн +ĠобÑĢаз ÑĨа +ĠобÑĬ ÑıвлÑı +ĠодеÑĢж ал +ĠоÑģÑĤав ив +ĠоÑĤмеÑĩ ал +ĠоÑĤÑĢаÑģ ли +ĠпаÑĢ оÑħод +ĠпеÑĢеж ив +ĠплаÑĤ иÑĤÑĮ +ĠподÑħод а +ĠпоиÑģ ков +Ġполаг ал +Ġпол ÑĤоÑĢа +ĠпÑĢедÑĬ Ñıв +ĠпÑĢиб лиж +ĠпÑĢимен Ñı +ĠпÑĢимеÑĢ е +ĠпÑĢинÑı ла +ĠпÑĢиÑĢод Ñĥ +ĠпÑĢоекÑĤ Ñĭ +ĠпÑĢ ойдеÑĤ +ĠпÑĢоÑģÑĤ ÑĭÑħ +ĠÑĢабоÑĩ ей +ĠÑĢазмеÑĢ Ñĭ +ĠÑĢазÑĢеÑĪ а +ĠÑĢаÑģÑĪи ÑĢÑı +ĠÑĢеÑģ ÑĥÑĢÑģÑĭ +ĠÑģвÑıÑĤ ого +ĠÑģеÑĢж анÑĤ +ĠÑģилÑĮ нÑĭм +ĠÑģозд али +ĠÑģозд анÑĭ +ĠÑģообÑī ал +ĠÑģпÑĥÑĤ ник +ĠÑģÑĢед нев +ĠÑģ ÑĩаÑģÑĤÑĮÑİ +ĠÑģÑĩаÑģÑĤÑĮ Ñı +ĠÑĤÑĢеб ÑĥÑİÑĤ +ĠÑĤÑĢеÑĤÑĮ ем +ĠÑĥвид ели +ĠÑĥд аеÑĤÑģÑı +ĠÑĥда ÑģÑĤÑģÑı +ĠÑĥÑģлов но +ĠÑĥÑĩеб ник +ĠÑħоÑĢоÑĪ им +ĠÑĩаÑģÑĤ нÑĭÑħ +ĠÑĩеÑĤ вÑijÑĢÑĤ +на ÑĨионал +ÑĤиÑĩеÑģ кое +ÑĥÑģÑĤ ойÑĩив +ĠÐIJлекÑģ еев +ĠÐIJ меÑĢикан +ĠÐĴеÑĢ оÑıÑĤно +ĠÐĺз веÑģÑĤно +ĠÐļон ÑģÑĤиÑĤÑĥ +ĠÐ¥ аÑĢакÑĤеÑĢ +ĠаÑĢÑħе олог +ĠболÑĮ ного +ĠваÑĢи анÑĤа +ĠваÑĢи анÑĤÑĭ +ĠвзÑĢоÑģл ÑĭÑħ +ĠвозвÑĢаÑī а +ĠвозвÑĭÑĪ ен +ĠвопÑĢоÑģ ом +ĠвÑĭ глÑıдел +ĠвÑĭдел иÑĤÑĮ +ĠвÑĭп олнил +ĠгоÑģпод ин +ĠдинаÑģÑĤ ии +Ġдоп ÑĥÑģÑĤим +ĠдÑĢÑĥзÑĮÑı ми +ĠживоÑĤ нÑĭе +Ġзавоев ал +Ġзапад нÑĭÑħ +ĠзаÑīиÑĤ ник +ĠзÑĢиÑĤ елей +ĠкапиÑĤ ана +ĠкомиÑģÑģ иÑı +Ġкомп аниÑİ +ĠмиÑĢов ого +ĠмоÑī ноÑģÑĤи +ĠнаÑĥÑĩ ного +ĠоблаÑģÑĤ ей +Ġок ажеÑĤÑģÑı +ĠоÑĤкÑĢÑĭÑĤÑĭ м +ĠпиÑģÑĤ олеÑĤ +Ġпокин ÑĥÑĤÑĮ +Ġполов ина +Ġполов инÑĥ +Ġпоним аÑİÑĤ +Ġпопад аеÑĤ +ĠпоÑģвÑıÑī Ñijн +ĠпÑĢакÑĤи ка +ĠпÑĢедпоÑĩ ÑĤ +ĠпÑĢим иÑĤив +ĠпÑĢовед ен +ĠпÑĢоиг ÑĢал +ĠпÑĭÑĤа ÑİÑĤÑģÑı +ĠÑĢаз новид +ĠÑĢаÑģÑĪи ÑĢен +ĠÑĢе алÑĮной +ĠÑĢод илаÑģÑĮ +ĠÑģамо Ñĥбий +ĠÑģ ведений +ĠÑģовеÑĤ ник +ĠÑģоедин ен +ĠÑģозн ании +ĠÑģоп оÑģÑĤав +ĠÑģпоÑģоб ов +ĠÑģÑĤаÑĢ ÑĪего +ĠÑģÑĥбÑĬекÑĤ а +ĠÑĤÑĢени ÑĢов +ĠÑĥказ аниÑı +ĠÑĥÑĩаÑģÑĤ ков +ĠÑĥÑĩени ков +из иÑĢоваÑĤÑĮ +ĠÐĴаÑĪ ингÑĤон +ĠÐĴилÑĮ гелÑĮм +ĠÐŁÐµÑĤÑĢ огÑĢад +ĠÐŁÐ¾Ñģлед ний +ĠагенÑĤ ÑģÑĤва +ĠагенÑĤ ÑģÑĤво +Ġбоеп ÑĢипаÑģ +ĠвоÑģÑģÑĤ ание +ĠвÑĭÑģÑĤÑĥп аÑĤÑĮ +ĠдоÑģÑĤиг нÑĥÑĤ +ĠживоÑĤ ного +ĠизобÑĢаж ен +Ġим ÑĥÑīеÑģÑĤво +ĠконкÑĥÑĢ енÑĤ +Ġнаказ ание +ĠопиÑģ ÑĭваеÑĤ +ĠоÑģÑĤоÑĢож но +ĠпеÑĢевед ен +ĠпеÑĢе ÑħодиÑĤ +ĠпобеÑĢеж ÑĮÑı +ĠпопÑĭÑĤ алÑģÑı +ĠпÑĢевоÑģ Ñħод +ĠпÑĢед ÑģÑĤоиÑĤ +ĠпÑĢизнак ов +ĠпÑĢимен ÑıÑĤÑĮ +ĠпÑĢиним али +ĠпÑĢиним аÑİÑĤ +ĠпÑĢиÑģво ено +ĠпÑĢоизоÑĪ ел +ĠпÑĢоÑĤив ник +ĠпÑĢоÑħод или +ĠÑĢазговоÑĢ а +ĠÑĢаÑģÑģÑĩиÑĤ ан +ĠÑĢ аÑĨионалÑĮ +ĠÑĢеволÑİ ÑĨиÑı +ĠÑģоÑĩин ениÑı +ĠÑĤелевиз оÑĢ +ĠÑĥвелиÑĩ иÑĤÑĮ +ĠÑĥÑĩиÑĤ ÑĭваÑĤÑĮ +ĠÑĨенно ÑģÑĤей +ÐŁÐµÑĤеÑĢбÑĥÑĢг е +алиÑģÑĤ иÑĩеÑģк +ĠÐIJÑĦгани ÑģÑĤан +ĠÐĴладим иÑĢов +Ġанглий Ñģком +ĠаÑĢиÑģÑĤ окÑĢаÑĤ +ĠвооÑĢÑĥж ениÑı +ĠвоÑģпÑĢи ÑıÑĤиÑı +ĠгоÑĤов ноÑģÑĤи +ĠдиÑĢекÑĤоÑĢ ом +ĠзавеÑĢÑĪ ениÑı +ĠзаÑģÑĤав лÑıеÑĤ +ĠкомандиÑĢ ом +Ġкоманд овал +ĠкÑĢиÑĤ иÑĩеÑģки +ĠмеÑĤал лиÑĩеÑģ +ĠназнаÑĩ ение +ĠнапÑĢÑı жение +ĠнаÑģÑĤÑĢо ение +Ġнеп ÑĢеменно +ĠоÑĤкÑĢов енно +ĠоÑĤÑģÑĥÑĤÑģÑĤв ии +ĠпеÑĢевод Ñĩик +ĠподгоÑĤов кÑĥ +ĠпÑĢодолж али +ĠпÑĢодолж аÑİÑĤ +ĠпÑĢоиÑģÑħод ÑıÑĤ +ĠÑĢаÑģÑģÑĤоÑı ниÑı +ĠÑĢеÑģпÑĥбли ка +ĠÑģобиÑĢа еÑĤÑģÑı +ĠÑģообÑī еÑģÑĤва +ĠÑģоÑģÑĤавлÑı ли +ĠÑģоÑģÑĤавлÑı ло +ĠÑģоÑħÑĢан ениÑı +ĠÑĥвелиÑĩ ение +ĠÑĥниÑĩÑĤож иÑĤÑĮ +ĠÑĥÑĩÑĢежд ений +ноком андÑĥÑİÑī +ĠÐķÑģÑĤ еÑģÑĤвенно +ĠЦенÑĤÑĢ алÑĮной +ĠаÑĢÑħи епиÑģкоп +ĠвеÑĢоÑıÑĤ ноÑģÑĤÑĮ +ĠдоÑģÑĤоин ÑģÑĤва +ĠиÑģÑĤÑĢеб иÑĤелÑĮ +Ġко ÑįÑĦÑĦиÑĨиенÑĤ +ĠлабоÑĢаÑĤоÑĢ ии +ĠмеÑĢопÑĢи ÑıÑĤий +ĠнаблÑİд аеÑĤÑģÑı +ĠнеобÑħодим ÑĭÑħ +ĠоÑĢганиз аÑĨиÑİ +ĠоÑĤÑģÑĥÑĤÑģÑĤв ÑĥеÑĤ +ĠпаÑĢалл елÑĮно +Ġпон еделÑĮник +ĠпÑĢиÑģÑĥÑĤÑģÑĤв ие +ĠпÑĢоизвод иÑĤÑĮ +ĠпÑĥÑĤеÑĪеÑģÑĤв иÑı +ĠÑĢазв иваеÑĤÑģÑı +ĠÑĢазобÑĢ аÑĤÑĮÑģÑı +ĠÑĢазÑĢабоÑĤ Ñĩик +ĠÑĢегиÑģÑĤ ÑĢаÑĨии +ĠÑģовÑĢемен ном +ĠÑģовÑĢемен нÑĭе +ĠÑĤÑĢадиÑĨион но +ĠÑĥ ÑģÑĤанавлива +ĠÑĥÑģÑĤановлен о +ĠÑĥÑģÑĤановлен Ñĭ +ĠÑĩиÑģлен ноÑģÑĤÑĮ +ĠвоÑģÑģÑĤанов лен +ĠзамеÑģÑĤ иÑĤелем +ĠкинемаÑĤ огÑĢаÑĦ +Ġкоманд ованиÑı +ĠобÑıз аÑĤелÑĮÑģÑĤв +ĠоÑĢганиз оваÑĤÑĮ +Ġполож иÑĤелÑĮно +ĠпÑĢедоÑģÑĤав лен +ĠпÑĢоизвод иÑĤÑģÑı +ĠÑĢаÑģполож ение +ĠÑĢаÑģÑģмаÑĤÑĢ ивал +ĠÑģпоÑģоб ÑģÑĤвÑĥеÑĤ +ĠÑĤоÑĢж еÑģÑĤвенно +ĠÑĩеловеÑĩеÑģ киÑħ +ĠСлед оваÑĤелÑĮно +Ġдоказ аÑĤелÑĮÑģÑĤв +ĠзаинÑĤеÑĢеÑģ ован +ĠнезавиÑģ имоÑģÑĤÑĮ +ĠÑįÑĦÑĦекÑĤив ноÑģÑĤÑĮ +ĠвоÑģÑģÑĤанов лениÑı +Ġдоказ аÑĤелÑĮÑģÑĤва +ĠпÑĢоÑĤивополож но +ĠÑģоÑĤÑĢÑĥдниÑĩ еÑģÑĤва +ĠпÑĢедпÑĢиним аÑĤелÑĮ +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан ениÑı +ĠÑģооÑĤвеÑĤÑģÑĤв ÑĥÑİÑīиÑħ +! » +ÐIJ ÐŁ +Ðij Ðł +Ðķ Ðľ +Ðĺ ÐĽ +Ðŀ ÐĶ +Ðŀ Ðľ +Ðŀ Ðŀ +Ðŀ С +Ðŀ ÑĢ +ÐŁ С +ÐŁ Ñĥ +Ðł о +С ÐŁ +С в +С е +С Ñĥ +Т Ðł +Ф ÐIJ +б н +е Ñİ +Ñį п +". [ +l um +s ia +Ġ« " +ĠÐĿ Ðķ +ĠÐŀ ÐIJ +ĠÐ¥ ÑĢ +ĠЦ е +Ġз о +Ġк а +Ġл а +ĠÑĦ е +ĠÑħ Ñĥ +ÐĹ Ð°Ð¿ +ÐĽ ÑĥÑĩ +ÐĿ ик +Ðł аÑģ +СÐļ ÐIJ +аÑĢ Ñĭ +б ÑĥÑģ +д же +д ик +д не +д но +дÑĥ л +ев ÑĪ +ег ÑĢ +ез и +еÑĩ н +ж ей +ж ÑĥÑĢ +з ой +ид н +из о +иÑĦ ÑĢ +ка Ñĩ +к од +лÑĮ ÑĨ +м еÑī +м ог +м оÑī +н дÑĢ +н ка +нÑı н +н ÑijÑģ +ов Ñĥ +ов ÑĮ +оÑĢ Ñĭ +п ак +п ле +ÑĢ оÑĩ +ÑĢÑĭ е +ÑĢÑĭ н +Ñģ ей +Ñģ ло +Ñģл Ñĭ +Ñģ ни +Ñģ Ñģа +Ñģ Ñģи +Ñģ Ñĥн +ÑĤ еÑĤ +ÑĤи Ñĩ +Ñĥм б +ÑĦ аÑĢ +ÑĦ аÑĤ +ÑĦ еÑĤ +ÑĦ оÑģ +Ñħ ай +Ñħ еÑĢ +Ñħ ин +ÑĨÑĭ н +Ñĩ Ñĥж +ÑĬ ем +ÑĬ ÑıÑģ +ÑĮ ÑİÑĤ +Ñİ Ð»ÑĮ +Ñıз в +Ñı на +Ñı ÑĤо +t ive +ĠÐIJн д +ĠÐIJн ÑĤ +ĠÐIJÑĢ ÑĤ +ĠÐij аз +ĠÐij ÑĢе +ĠÐĶ еп +ĠÐĶ еÑĤ +ĠÐĶ ик +ĠÐķ лÑĮ +ĠÐĺ бо +ĠÐļ ÐĵÐij +ĠÐļ ем +ĠÐĽ ад +ĠÐĽ аÑĢ +ĠÐĽ ег +ĠÐľ ÐĺÐĶ +ĠÐĿ ед +ĠÐŀ ÐŀÐŀ +ĠС Ñĥп +ĠУ Ñģп +ĠÐ¥ ай +ĠÐ¥ од +ĠÐ¥ ÑĢÑĥ +ĠЦ ел +ĠШ ел +Ġб ен +Ġб иÑĢ +Ġб ом +Ġб ÑĢе +Ġге о +Ġг еÑĤ +Ġг лÑı +Ġд иÑĦ +Ġд ÑĭÑĢ +Ġе дÑĭ +Ġк Ñĥз +ĠоÑĢ б +Ġп аÑħ +Ġп ей +Ġп еÑĪ +ĠÑģ ап +ĠÑģ аÑĤ +ĠÑģ ег +ĠÑģ иÑĢ +ĠÑģ мÑı +ĠÑĥ ни +ĠÑĩ ек +ĠÑį го +ĠÑįк в +ÐŁ ÑĢед +ад об +аÑĢ еÑĤ +аÑĦ ÑĢи +аÑĪ ÑİÑĤ +б ÑĢаÑĤ +б ÑİÑĢо +в ала +ваÑĤ о +вед Ñı +г ина +г нал +д ана +дв ое +ев аÑı +ег ии +енÑĮ Ñı +еÑħ ав +ж иÑĤÑĮ +и аÑĤÑĢ +иб еÑĢ +им ое +им Ñĭй +ин ка +ип ед +иÑĨи н +к аÑĤÑĮ +кл оÑĢ +коÑĢ ÑĢ +коÑģ м +кÑĢ Ñĭв +л анÑĤ +ли вÑĭ +ли не +ло Ñħо +м иÑģÑģ +ниÑĩ н +н ное +н ной +нÑĥ ла +нÑĥ ли +ов еÑĨ +ов ки +озд а +ол ом +она ÑĢ +оÑĤ еÑĩ +оÑĩ аÑĢ +п лоÑĤ +пол и +пÑĢ об +ÑĢам а +ÑĢ ван +ÑĢи ан +ÑĢÑĥ ÑģÑĤ +Ñģл ÑĭÑĪ +Ñģн еж +Ñģп иÑĢ +ÑģÑİ Ð´Ñĥ +ÑĤив н +Ñĥм ев +ÑĥÑģ Ñģк +Ñħ ана +ÑħоÑĤ Ñı +Ñĩ ное +ÑĪ ков +ÑĪ кой +Ñīад ÑĮ +Ñī ики +ÑĭÑĪ ев +ÑĮ ном +ĠÐIJв ÑģÑĤ +ĠÐIJн нÑĭ +ĠÐij анк +ĠÐij лок +ĠÐijÑĭ ла +ĠÐĴ алÑĮ +ĠÐĶ ела +ĠÐĶ ома +ĠÐķ гоÑĢ +ĠÐĺн ди +ĠÐļ лин +ĠÐļ олÑĮ +ĠÐľ аÑĤÑĮ +ĠÐĿÐļ ÐĴÐĶ +ĠÐĿа ÑĪи +ĠÐŁÐ°Ð² л +ĠÐŁÑĢ еÑģ +ĠÐŁÑĢ оÑĪ +ĠÐł ейн +ĠÐłÐ¸Ð¼ а +ĠС миÑĤ +ĠФ оÑĤо +Ġбаз а +Ġбл ог +ĠвеÑĢ е +Ġг ÑĢÑıд +Ġд ала +Ġд аÑģÑĤ +Ġда ÑijÑĤ +Ġд омÑĥ +Ġе гип +Ġжан ÑĢ +Ġж ила +Ġзл об +ĠкаÑĦ е +Ġкож а +Ġкож Ñĥ +ĠкÑĢа Ñİ +ĠлеÑĤ о +Ġмен Ñİ +Ġмол Ñĩ +ĠмÑıÑģ а +Ġнеб а +Ġоб оз +Ġоб ой +ĠоÑĦ иÑĨ +Ġпи Ñīе +ĠпÑĢ ой +ĠÑĢ оÑĤÑĭ +ĠÑĢ Ñĥга +ĠÑģк ÑĢÑĭ +ĠÑģ оÑĢÑĤ +ĠÑģÑĤ ой +ĠÑģÑĤ оп +ĠÑģÑĤ Ñĥл +ĠÑģÑĥÑħ о +ĠÑģÑĬ Ñijм +ĠÑĤем е +ĠÑĤ ÑĢаÑĤ +ĠÑĤÑĢ ен +ĠÑĥб ил +ĠÑĥ боÑĢ +ĠÑĥг лÑĥ +ĠÑĥг од +ĠÑĥ ÑħÑĥд +ĠÑĦ ÑĢан +ĠÑĨ или +ĠÑĩÑĥд о +ÐĻоÑĢ ке +ак ÑĤик +беÑģ ед +бин аÑĤ +благ о +б ÑĢаÑĤÑĮ +веÑĢ га +в еÑĪен +вол ок +гÑĢам м +дав аÑı +д ание +д аниÑı +дÑĥ ÑĪев +ей неÑĢ +ем ник +еÑĢ ина +еÑĢ низ +з авод +ий Ñģко +им ÑģÑĤв +иÑĨ кий +каж еÑĤ +к евиÑĩ +ков ÑĭÑħ +кол он +к оÑĤоÑĢ +лÑĮ нÑĭе +лÑĮ нÑĭй +лÑİб ов +м енÑĤа +м еÑģÑĤи +меÑĪ ал +н ений +неÑģ ла +ноÑģ им +н ÑģкаÑı +н Ñģкие +об ода +ов еÑĢÑĪ +ож дал +онÑĤ ан +опиÑģ и +оÑĢи ал +оÑĩ нÑĥÑİ +па ÑģÑĤÑĮ +ÑĢиб ÑĥÑĤ +ÑĢ Ñģкий +ÑģÑĤ ÑĢаÑħ +ÑģÑĭ Ñīен +ÑĤаÑī ил +ÑĤив но +Ñĥж ели +ÑĥÑİÑī ей +Ñĩ ениÑı +Ñĩ еÑģÑĤв +ÑĪие ÑģÑı +ĠÐIJ ÑĢиÑģÑĤ +ĠÐIJÑĢ ÑĤÑĥÑĢ +ĠÐijог ом +ĠÐĴ ажно +ĠÐĺиÑģ ÑĥÑģ +ĠÐĽÑĥÑĩ ÑĪе +ĠÐľ еÑĤод +ĠÐĿав еÑĢ +ĠÐĿов аÑı +ĠÐĿов оÑģ +ĠÐŀлÑĮ га +ĠÐŁÐ¾Ð¿ ов +ĠÐł Ñıзан +ĠС ÑĢазÑĥ +ĠСÑĤаÑĢ о +ĠТе аÑĤÑĢ +ĠТ оÑĩно +ĠТÑĢÑĥ да +Ġбан ки +ĠбаÑĪ ни +Ġвел ел +Ġвели к +Ġвел оÑģ +ĠвеÑģ ом +Ġвид ÑıÑĤ +Ġв оÑĢон +ĠвÑĭ ÑģÑĤÑĢ +ĠвÑĭ ÑĩиÑģ +ĠгоÑĢ аÑħ +Ġдав ал +Ġдли нÑĭ +ĠдÑĥÑĪ ев +Ġе ÑħаÑĤÑĮ +Ġзв Ñĥка +ĠзвÑĥ ки +Ġз елен +Ġзна ла +Ġиг ÑĢов +Ġиз дал +Ġказ ак +Ġказ аÑĩ +Ġкам ни +ĠкаÑĢÑĤ Ñĥ +ĠкÑĢов о +ĠлаÑĤ ин +Ġлеж ал +Ġлин ей +Ġлин ий +Ġмал ÑĭÑħ +ĠмоÑģÑĤ а +ĠмÑĥз ее +Ġнад ел +Ġоб лаÑĩ +Ġоб оÑģÑĤ +ĠобÑī ÑĥÑİ +ĠоÑĩ еÑĢк +ĠпаÑĢ ка +ĠпаÑĢ ÑĥÑģ +ĠпеÑģ нÑİ +ĠпиÑģ ем +ĠпиÑĪ ÑĥÑĤ +Ġпл оÑģк +Ġпов ли +Ġпов ÑĭÑģ +Ġпог од +Ġпон иж +ĠпоÑĤ ÑĢÑı +ĠпÑĢи ÑıÑĤ +ĠпÑĢоÑģ в +ĠпÑĢоÑĪ Ñĥ +ĠÑĢаз ÑĢе +ĠÑĢан га +ĠÑĢоб оÑĤ +ĠÑĢ ожда +ĠÑģв адÑĮ +ĠÑģеÑĢ иÑı +ĠÑģкаж Ñĥ +ĠÑģÑĤен е +ĠÑģÑĥд на +ĠÑģÑĥ ÑĢов +ĠÑģÑħем Ñĭ +ĠÑģÑĨен Ñĥ +ĠÑĤоÑĩ ке +ĠÑĤÑĢан з +ĠÑĤÑİ ÑĢем +ĠÑĤÑıж Ñijл +ĠÑĥв ажа +ĠÑĥзн ав +ĠÑĥме еÑĤ +ĠÑĥ ÑĢавн +ĠÑĦан аÑĤ +ĠÑĦ окÑĥÑģ +ĠÑħÑĥ ÑĤоÑĢ +ĠÑĨел ое +ĠÑĩ лена +ĠÑįв акÑĥ +ĠÑįÑĤап а +ĠÑİно ÑĪе +ĠÑıзÑĭ ки +б ÑĢоÑģил +в алиÑģÑĮ +гал ÑĤеÑĢ +дин ами +ев Ñģкой +еж ÑĥÑĤоÑĩ +ибиÑĢ Ñģк +из аÑĨиÑİ +илÑĮ ник +ин ÑĦоÑĢм +иÑģÑĤ ами +каж иÑĤе +лен нÑĭÑħ +лиÑĩ нÑĭе +наÑĩал Ñĥ +ней ÑĪие +ников а +ноÑģÑĤ Ñıм +ов Ñģкое +омн иÑĤе +ом оÑĩен +оÑĤ ланд +пиÑģ аÑĤÑĮ +пÑĢазд н +пÑĢо екÑĤ +ÑĢег Ñĥли +ÑĢ Ñģкого +ÑĢÑĥÑģ Ñģки +Ñģ вÑıÑīен +ÑģлÑĥж бе +Ñģ оглаÑģ +ÑģÑĤ ÑĢаÑģÑĤ +ÑģÑĤÑĢеÑĩ Ñĥ +ÑĨион еÑĢ +Ñĩив аеÑĤ +ÑıÑīие ÑģÑı +ĠÐIJÑĢÑħ анг +ĠÐIJÑĦÑĢи ке +ĠÐĴ ÑħодиÑĤ +ĠÐĵен ÑĢиÑħ +ĠÐĶок ÑĤоÑĢ +ĠÐķвÑĢоп Ñĥ +ĠÐĹапад а +ĠÐĹапад е +ĠÐĺо анна +ĠÐļол Ñĥмб +ĠÐļом иÑģÑģ +ĠÐĿ елÑĮзÑı +ĠСвÑıÑĤ ой +ĠСев аÑģÑĤ +ĠУказ ом +Ġан ÑĤÑĢоп +ĠаÑĢ омаÑĤ +Ġбеж аÑĤÑĮ +Ġбел ого +Ġбол гаÑĢ +ĠбÑĥд еÑĪÑĮ +Ġваж нÑĥÑİ +Ġваж нÑĭй +Ġв веден +Ġв веÑģÑĤи +ĠвеÑĢÑģ иÑİ +Ġвид иÑĤе +ĠвÑĢаÑĩ ей +ĠвÑĭб ÑĢал +ĠвÑĭвод Ñĭ +ĠвÑĭз Ñĭва +ĠвÑĭп лаÑĤ +ĠгаÑĢ мон +Ġдав али +ĠдиÑģ кÑĥÑģ +Ġдоб ÑĢод +Ġдоп ÑĢоÑģ +Ġзакон Ñĥ +ĠзакÑĢÑĭ л +ĠзвÑĥÑĩ иÑĤ +Ġзем ной +Ġзнак ов +Ġкам еÑĢÑĭ +ĠколÑĮ ÑĨо +ĠкÑĢаÑĤ ко +ĠкÑĢ иÑĤеÑĢ +Ġлид еÑĢа +ĠлиÑĩ нÑĭÑħ +ĠмаÑĢ кеÑĤ +ĠмаÑĤÑĩ аÑħ +Ġмож еÑĪÑĮ +ĠнаÑĢ ком +Ġнов омÑĥ +ĠобÑī инÑĭ +Ġод еждÑĥ +Ġон лайн +ĠопиÑģ ал +ĠопÑĭ ÑĤом +ĠоÑĢг ана +ĠоÑģоб Ñĭй +ĠоÑģобÑĭ Ñħ +ĠоÑĤ пÑĥÑģк +ĠоÑĨен кÑĥ +Ġп аÑģÑģив +Ġпей заж +ĠпеÑħ оÑĤÑĭ +ĠпеÑĩ аÑĤа +ĠплоÑĤ но +Ġпод леж +Ġпо езда +Ġпом еÑģÑĤ +Ġпон Ñıли +Ġпоп али +ĠпоÑģл ÑĥÑĪ +ĠпоÑĤ ока +ĠпоÑħ вал +ĠпоÑħож и +ĠпÑĢем иÑİ +ĠпÑĢи ÑĨел +ĠпÑĢиÑĩ Ñijм +ĠпÑĢок аÑĤ +ĠпÑĢоп оÑĢ +ĠпÑģев до +ĠÑĢаз вод +ĠÑĢаз нÑĭм +ĠÑĢазÑĥм а +ĠÑĢай онÑĭ +ĠÑĢан ниÑħ +ĠÑĢаÑģÑĤ еÑĤ +ĠÑĢеÑĪ ено +ĠÑģам Ñĭми +ĠÑģаÑħ аÑĢа +ĠÑģеÑģÑĤ ÑĢÑĭ +ĠÑģлÑĥж аÑĤ +ĠÑģогла ÑĪ +ĠÑģÑĤав иÑĤ +ĠÑģÑĤек ло +ĠÑģÑĤиÑħ ов +ĠÑģÑĤ олов +ĠÑģÑĤол ом +ĠÑģÑĤÑĢ еÑģÑģ +ĠÑģÑĤÑĥд ии +ĠÑĤеÑĢ ÑıеÑĤ +ĠÑĤоÑĢ пед +ĠÑĤоÑĤ ÑĩаÑģ +ĠÑĤÑİÑĢÑĮ мÑĭ +ĠÑĥÑģи лен +ĠÑĥÑĤ веÑĢд +ĠÑĦак ÑĤов +ĠÑĦоÑĢм аÑĤ +ĠÑįнеÑĢ го +аÑĦÑĢи кан +виж ение +еÑģÑĤвен н +иÑĢ екÑĤоÑĢ +иÑĩ ноÑģÑĤи +поз иÑĤив +Ñĭв алоÑģÑĮ +ÑİÑīим иÑģÑı +ĠÐIJвÑģÑĤ ÑĢии +ĠÐIJлÑĮ беÑĢÑĤ +ĠÐIJндÑĢ еев +ĠÐijеÑĢ лине +ĠÐĴели кий +ĠÐĵеоÑĢг ий +ĠÐŁÐ»Ð¾ ÑīадÑĮ +ĠÐłÐ°ÑģÑģ каз +ĠÐłÐµÑĪ ение +ĠСиÑģÑĤем а +ĠСпаÑģ ибо +ĠакÑĤÑĢиÑģ а +ĠаÑĤ ÑĢибÑĥÑĤ +ĠболÑĮÑĪ ее +ĠбÑĢиг ада +Ġвед ениÑı +Ġвели ким +Ġвели киÑħ +Ġвели кой +Ġв наÑĩале +ĠвÑĭÑģок аÑı +ĠвÑĭÑģок ÑĥÑİ +ĠвÑĭÑģоÑĤ ой +Ġглав наÑı +Ġглав нÑĭе +ĠголоÑģ ом +Ġдев оÑĩка +ĠдоÑħод ов +Ġжени лÑģÑı +ĠженÑī инÑĥ +Ġзагад оÑĩ +Ġзан ÑıÑĤий +Ġиме ÑİÑīиÑħ +ĠимпеÑĢ аÑĤ +Ġинд ийÑģк +ĠкоÑĢаб ле +ĠкÑĢаÑģив о +ĠкÑĢей ÑģеÑĢ +Ġла ÑĥÑĢеаÑĤ +ĠлидеÑĢ ов +ĠлÑİбов ÑĮÑİ +ĠмеÑģÑĤ ной +Ġмилли он +Ġмод елей +ĠнамеÑĢ ен +ĠнаÑģ еком +Ġнеп лоÑħо +ĠобÑĢаÑĤ ил +ĠобÑĭÑĩ нÑĭÑħ +ĠобÑıз анÑĭ +Ġожид аÑĤÑĮ +Ġоз наком +ĠоÑģна Ñīен +ĠоÑģнов ал +ĠоÑģнов ой +ĠоÑĦиÑĨ еÑĢа +ĠпаÑĢ аÑĪÑİÑĤ +ĠпеÑĢед ан +ĠподнÑı ÑĤÑĮ +Ġпод оÑĪел +ĠподÑĩин Ñı +Ġпоезд ки +ĠполиÑĤ ик +Ġполож ил +Ġпом ниÑĤÑĮ +Ġпон адоб +ĠпоÑĢаж ен +ĠпоÑıÑģ нил +ĠпÑĢивÑĭÑĩ н +ĠпÑĢимеÑĢ а +ĠпÑĢимеÑĢ Ñĭ +ĠпÑĢоекÑĤ Ñĥ +ĠпÑĢоÑģÑĤ оÑĢ +ĠпÑĭÑĤ аÑıÑģÑĮ +ĠÑĢабоÑĤ аÑħ +ĠÑĢаз ниÑĨа +ĠÑĢаз оÑĩаÑĢ +ĠÑĢаÑģ пада +ĠÑĢоÑģÑģиÑı н +ĠÑĢÑĥÑģ ÑģкаÑı +ĠÑģдел ала +ĠÑģег менÑĤ +ĠÑģилÑĮ ное +ĠÑģлож нÑĭе +ĠÑģлÑĥÑĪ аÑĤÑĮ +ĠÑģмож еÑĤе +ĠÑģÑĤад ион +ĠÑģÑĭнов ей +ĠÑĤеÑħ ника +ĠÑĥÑģили ва +ĠÑĥÑģлов ии +ĠÑĥÑĩаÑģÑĤ ки +ĠÑĥÑĩеб нÑĭÑħ +ĠÑĥÑĩили Ñīа +ĠÑĦами лии +ĠÑħваÑĤ ало +ĠÑĨили ндÑĢ +ĠÑĩлен ами +ĠÑĪÑĤÑĥÑĢ мов +ализ аÑĨии +аÑĨион ной +вид еÑĤелÑĮ +волÑİ ÑĨион +клÑİÑĩ ениÑı +миниÑģÑĤ ÑĢа +ожд аеÑĤÑģÑı +полн ение +пÑģиÑħ олог +ÑģÑĤав лÑıÑĤÑĮ +ÑģÑĤвен ное +ĠÐIJнаÑĤол ий +ĠÐĵÑĢигоÑĢ ий +ĠÐĿаполе он +ĠÐŀÑĩевид но +ĠÐŁÐ°Ð²Ð»Ð¾Ð² иÑĩ +ĠУÑĩаÑģÑĤ ник +ĠбаÑģÑģей на +ĠбеÑģÑģ меÑĢÑĤ +Ġбого Ñģлов +Ġвин огÑĢад +ĠвнеÑĪ него +ĠвоÑģпиÑĤ ан +ĠвÑĭз ÑĭваÑİÑĤ +ĠвÑĭÑģказ ал +ĠговоÑĢ ила +ĠгÑĢад ÑĥÑģов +Ġдвиж ений +Ġдобав лен +ĠдоÑģÑĤÑĥп нÑĭ +ĠзаконÑĩ ен +ĠзаÑīиÑī аÑĤÑĮ +ĠизвеÑģÑĤ на +ĠиÑģкÑĢен не +ĠлекаÑĢ ÑģÑĤв +ĠмаÑģÑģ овой +ĠменÑı еÑĤÑģÑı +ĠнаблÑİ Ð´Ð°Ð» +Ġнаиб олÑĮÑĪ +ĠнаÑģÑĤÑĥп ил +ĠнемеÑĨ кие +Ġожид аниÑı +ĠопеÑĢ аÑĨиÑİ +ĠоÑģнов наÑı +ĠпеÑĢевод е +ĠпеÑĢеÑĥл ок +ĠпеÑĢÑģ онал +Ġпогиб ÑĪиÑħ +Ġпод веÑĢга +ĠподÑĥм аÑĤÑĮ +ĠподÑĩин ен +ĠпоÑģлед ов +ĠпÑĢавил ам +ĠпÑĢакÑĤи кÑĥ +ĠпÑĢив Ñıзан +ĠпÑĢовод иÑĤ +ĠпÑĢод ÑİÑģеÑĢ +ĠпÑĢоиз неÑģ +ĠпÑĢоп овед +ĠпÑĢоÑģÑĮ бой +ĠÑĢав новеÑģ +ĠÑģвой ÑģÑĤво +ĠÑģекÑĢеÑĤ аÑĢ +ĠÑģелÑĮ Ñģкое +ĠÑģозд авал +ĠÑģоÑģÑĤоÑı ла +ĠÑģÑĤабилÑĮ н +ĠÑģÑĤÑĢаниÑĨ е +ĠÑĦолÑĮ клоÑĢ +ĠÑħоÑĢоÑĪ его +ĠÑĩеловек е +ĠÑįкÑģпеÑĢ ÑĤи +говаÑĢ ивал +иÑĢован ной +клад ÑĭваÑĤÑĮ +оÑħÑĢан ениÑı +ĠÐķкаÑĤ еÑĢина +ĠÐĺеÑĢÑĥÑģали м +ĠÐĺнÑģÑĤиÑĤÑĥÑĤ а +ĠÐĺнÑĤеÑĢеÑģ но +ĠСевеÑĢ ного +ĠСеÑĢг еевиÑĩ +ĠФинлÑıнд ии +Ġблаг оÑģлов +Ġблаг оÑĤвоÑĢ +ĠбÑĥÑħ галÑĤеÑĢ +Ġведом ÑģÑĤва +ĠвелоÑģ ипед +ĠвеÑĢ нÑĥлиÑģÑĮ +Ġв оÑģÑĤоÑĩной +ĠгоÑĢод ÑģкиÑħ +Ġдвиг аÑĤÑĮÑģÑı +ĠдейÑģÑĤв ием +ĠдейÑģÑĤв ÑĥÑİÑĤ +ĠзаÑģед аниÑı +ĠизвеÑģÑĤ нÑĭм +ĠиÑģпÑĭÑĤ Ñĭвал +ĠконкÑĢеÑĤ но +ĠконÑĤ ейнеÑĢ +Ġмгнов енно +ĠминиÑģÑĤ ÑĢов +Ġнав ÑģÑĤÑĢеÑĩÑĥ +ĠнаÑģÑĤоÑıÑī им +Ġнеиз менно +ĠобÑĬедин ен +ĠоÑĤделÑĮ нÑĭй +ĠоÑĤÑĢаж ение +ĠпеÑĢÑģон ажа +ĠполÑĥÑĩ иÑĤÑģÑı +ĠпоÑģлед нÑİÑİ +ĠпоÑģлед нÑıÑı +ĠпоÑģÑĤÑĢо ена +ĠпоÑħоÑĢон ен +ĠпÑĢедмеÑĤ ом +ĠпÑĢедÑĥп ÑĢед +ĠпÑĢизн авал +ĠпÑĢоблем ой +ĠÑĢазвиÑĤ ием +ĠÑĢеком ендÑĥ +ĠÑģкÑĥлÑĮп ÑĤÑĥÑĢ +ĠÑģлед ÑģÑĤвиÑı +ĠÑģовеÑĢÑĪ иÑĤÑĮ +ĠÑģообÑī ении +ĠÑģоÑģÑĤав ила +ĠÑģÑĤÑĢаÑĤег ии +ĠÑĤеÑĢÑĢоÑĢ иÑģÑĤ +ĠÑĩиÑĤ аÑĤелей +иÑģÑĤ иÑĩеÑģкой +Ñģлед ование +ÑĥпÑĢав лениÑı +ĠÐĿеобÑħодим о +Ġвзаимо оÑĤно +ĠвнÑĥÑĤÑĢен ние +Ġвоенно ÑģлÑĥж +ĠвоÑģпиÑĤ аниÑı +ĠдоÑģÑĤиж ение +Ġзаним алиÑģÑĮ +ĠиниÑĨиаÑĤив е +ĠкиломеÑĤ ÑĢаÑħ +ĠконкÑĢеÑĤ нÑĭÑħ +ĠнаÑħод илоÑģÑĮ +ĠневеÑĢ оÑıÑĤно +ĠобнаÑĢÑĥж иÑĤÑĮ +ĠобÑģÑĤанов ке +ĠобÑģ ÑĥждениÑı +ĠобÑĬÑıÑģ нение +ĠобÑĬÑıÑģ нениÑı +ĠоÑģÑĤав алиÑģÑĮ +ĠоÑģÑĤанов иÑĤÑĮ +ĠпаÑĢамеÑĤ ÑĢов +ĠподÑĢаз Ñĥмев +ĠпожалÑĥй ÑģÑĤа +ĠпоÑģÑĤÑĢо ениÑı +ĠпÑĢилож ений +ĠпÑĢиобÑĢеÑĤ ен +ĠпÑĢоизвод ил +ĠÑĢаÑģÑĪиÑĢ ение +ĠÑĢеализ ован +ĠÑĢоÑģÑģий Ñģкие +ĠÑģобеÑģед ник +ĠÑģоглаÑģ ован +ĠÑģодеÑĢж иÑĤÑģÑı +ĠÑģоедин ение +ĠÑģоедин ений +ĠÑģооÑĢÑĥж ениÑı +ĠÑģоÑģÑĤоÑı лоÑģÑĮ +ĠÑģоÑĨи алÑĮнÑĭе +ĠÑĥÑĤвеÑĢж даÑİÑĤ +ĠÐĿовоÑģ ибиÑĢÑģк +Ġбомб аÑĢдиÑĢов +ĠвоÑģкÑĢеÑģ енÑĮе +ĠвпеÑĩаÑĤ лениÑı +ĠдеÑģÑıÑĤи леÑĤиÑı +ĠдобÑĢов олÑĮно +ĠобÑĬÑıÑģнÑı еÑĤÑģÑı +ĠобÑĭкнов енно +ĠподдеÑĢж ивал +ĠпоÑģлед ÑĥÑİÑīие +ĠпÑĢиÑģÑĥÑĤÑģÑĤв ии +ĠпÑĢодолж ение +ĠпÑĥÑĤеÑĪеÑģÑĤв ие +ĠÑģобÑģÑĤвен нÑĭм +ĠÑģопÑĢов ождал +ĠÑĤÑĢебованиÑı м +ĠÑĥÑģÑĤанов лена +ĠÑĥÑĩаÑģÑĤв овали +ĠÐľÐ¸Ð½Ð¸ÑģÑĤеÑĢ ÑģÑĤво +ĠамеÑĢикан Ñģкие +ĠбезопаÑģ ноÑģÑĤÑĮ +ĠгоÑģÑĥдаÑĢ ÑģÑĤвом +ĠминиÑģÑĤеÑĢ ÑģÑĤва +ĠоÑĢиенÑĤ иÑĢован +ĠоÑģобенно ÑģÑĤей +ĠоÑĤÑĢиÑĨ аÑĤелÑĮно +ĠподдеÑĢж иваеÑĤ +ĠпÑĢеим ÑĥÑīеÑģÑĤво +ĠпÑĢеобÑĢаз ован +ĠпÑĢеÑģÑĤÑĥп ление +ĠпÑĢиÑģÑĥÑĤÑģÑĤв ÑĥеÑĤ +ĠÑĢаÑģпоÑĢÑıж ение +ĠÑĩеловеÑĩ еÑģÑĤво +ĠÐŁÐµÑĢво наÑĩалÑĮно +ĠиÑģÑģледов аÑĤели +ĠиÑģÑĤоÑĢ иÑĩеÑģкого +ĠоÑģÑĥÑīеÑģÑĤв лениÑı +ĠÑģÑĤÑĢоиÑĤелÑĮ ÑģÑĤве +ĠÑįÑĦÑĦекÑĤив ноÑģÑĤи +ĠдополниÑĤелÑĮ нÑĭÑħ +ĠиÑģполÑĮзов алиÑģÑĮ +ĠиÑģполÑĮзов аÑĤÑĮÑģÑı +ĠмÑĥниÑĨип алÑĮного +ĠобÑģÑĤоÑıÑĤелÑĮ ÑģÑĤво +ĠпÑĢавиÑĤелÑĮ ÑģÑĤвом +ĠгоÑģÑĥдаÑĢÑģÑĤвен нÑĭе +ĠзаÑĢегиÑģÑĤ ÑĢиÑĢован +ĠобÑģÑĤоÑıÑĤелÑĮÑģÑĤва Ñħ +» : +Ìģ д +Ìģ н +ÐIJ ÐĶ +ÐIJ в +Ðij ÑĢ +ÐĹ Ð² +Ðĺ ÐIJ +ÐĽ Ðķ +ÐĿ Ðķ +Ðŀ ÐĹ +Ðŀ Ñģ +Ðł и +Т Ðķ +Т У +Ч Ðķ +в Ñģ +Ñĥ Ñį +ÑĦ Ñĭ +ÑĨ з +Ñĩ о +Ñį ÑĪ +t is +ĠÐIJ г +ĠÐĴ С +ĠÐĶ з +ĠÐķ л +ĠÐĸ Ñĥ +ĠÐĽ Ñı +ĠÐŀ Ðij +ĠÐŀ С +ĠС Ðŀ +ĠÐ¥ е +ĠÐ¥ Ñį +Ġв в +Ġк н +ĠÑħ о +Ðij аÑĢ +Ðĵ оÑģ +Ðĺ нд +Ðľ иÑĢ +Т ÑĥÑĢ +аб Ñĥ +аÑĪ к +б ей +б еÑĤ +б ок +да Ñİ +д оÑģ +д Ñĥк +д Ñĥн +д ÑĥÑĢ +ед н +ем и +еп л +ж ав +з ÑĢа +иÑĢ о +иÑĩ и +к оз +кÑĥ ÑĪ +ла Ñı +ли г +лÑĭ к +лÑĮ з +м аÑĩ +м Ñģк +м ÑĥÑİ +нÑı в +о иÑħ +о но +оÑĤ н +п еÑģ +п оп +п ÑĢа +ÑģÑĤ Ñĥ +ÑĤ ÑĤи +ÑĤ Ñĥп +Ñĥ ла +ÑĦ ÑĢа +ÑĦ ÑĥÑĢ +ÑĦ ÑİÑĢ +Ñħ ен +Ñĩ им +Ñĩ ке +Ñĩ ко +ÑĪ еÑĤ +Ñī ел +ÑĮ ей +ÑĮ ко +ÑİÑī е +Ñij ÑģÑĤ +ĠÐIJ га +ĠÐij ан +ĠÐij ей +ĠÐij ÑĢи +ĠÐĴ ÐļÐŁ +ĠÐĴ ил +ĠÐĵ ÑĢо +ĠÐĵ ÑĥÑģ +ĠÐĶ ÐĿÐļ +ĠÐĶ ем +ĠÐĶи а +ĠÐĶ оп +ĠÐĶ Ñĥм +ĠÐļ ен +ĠÐļ ип +ĠÐļ ÑĢе +ĠÐļ ÑĥÑĤ +ĠÐĽ Ñĥг +ĠÐľ ей +ĠÐľ еÑħ +ĠÐľÐ¾ и +ĠÐľ оÑı +ĠÐĿ аб +ĠÐŀÐIJ Ðŀ +ĠÐŁ ÐĴÐŀ +ĠÐŁ ÐłÐŀ +ĠÐŁ ак +ĠÐŁ иÑĤ +ĠÐł ÐIJÐĿ +ĠÐł ÐĺÐIJ +ĠÐ¡ÐŁ б +ĠС оÑĢ +ĠФ он +ĠФ оÑĢ +ĠФ Ñijд +ĠÐ¥ аб +ĠШ аÑħ +ĠШ ек +ĠÐŃ ÐºÑģ +ĠÐŃ Ð¼Ð¸ +ĠÐŃ ÑĤÑĥ +Ġа ÑģÑģ +Ġбо и +Ġг ад +Ġг иÑĤ +Ġд еж +Ġд не +Ġко ÑĪ +Ġк Ñĥл +Ġл оз +Ġл Ñĭж +Ġл ÑijÑĤ +Ġм еб +Ġн аÑĤ +Ġн иг +Ġоп ÑĤ +ĠÑĢе ÑĦ +ĠÑĢ Ñĥж +ĠÑĢ Ñĥм +ĠÑĤ ÑĢа +ĠÑĥ пÑĢ +ĠÑĥ ÑĤи +ĠÑĦ аÑģ +ĠÑħ иÑĤ +ĠÑĩ аÑĪ +ĠÑĪ ок +ĠÑİ Ð³Ñĥ +ĠÑİж н +У кÑĢа +У ÑĢал +аб еÑĤ +ал еÑĤ +ал ов +ам ан +ам ин +ани к +аÑĤÑĮ е +аÑĩ ев +б анк +б еÑĢи +в илл +в лад +вл еÑĩ +в ого +вод Ñı +гÑĢ еÑĪ +ден н +дж ел +д олж +дÑĢ ев +ев од +ени к +ж елÑĤ +ж ива +зв ÑĥÑĩ +из ме +им Ñĭе +каÑĢ ÑĤ +ки нÑĥ +к ÑĨиÑı +лаз н +л ани +лен Ñĭ +ли ги +м алÑĮ +м ели +нÑı ми +ов на +ок ом +оÑĢ ги +оÑĢ Ñıд +п иÑĢа +пло ÑĪ +ÑĢа ин +ÑĢез а +ÑĢен д +ÑĢ еÑĩÑĮ +ÑĢи лÑĮ +ÑĢ инг +ÑĢож а +ÑĢ оÑĩн +ÑĤи кÑĥ +ÑĤ ова +ÑĤоÑĢ Ñĭ +ÑĤ ÑĢав +ÑĤÑĥ зи +ÑĦе од +ÑĩеÑĢ п +Ñĩив о +Ñĩ ном +Ñī емÑĥ +ĠÐij илл +ĠÐij лиж +ĠÐij ÑĢаз +ĠÐij ÑĢон +ĠÐĵ лаз +ĠÐĸ ена +ĠÐĺ ТÐIJÐł +ĠÐļоÑĢ н +ĠÐĽÑĥ нÑĭ +ĠÐľ ама +ĠÐľÐ°ÑĢ Ñģ +ĠÐľ аÑģÑģ +ĠÐľÑį ÑĢи +ĠÐŁ аÑĢа +ĠÐŁ олÑı +ĠÐŁÑĢ оÑĦ +ĠС аÑĢа +ĠС енÑĤ +ĠС обÑĢ +ĠСÑĤ аÑĤ +ĠТ веÑĢ +ĠТ еле +ĠÐ¥ ÑĢам +ĠЧеÑĢ н +Ġад ап +Ġб окÑģ +ĠбоÑı ÑĢ +ĠваÑĪ Ñĥ +ĠвеÑĢ ÑĪ +Ġв инÑĤ +ĠгеÑĢ б +Ġгиб к +Ġг ÑĢав +Ġдан о +Ġди ÑĢи +Ġд ÑĢак +Ġд ÑĮÑıв +Ġз она +Ġиме Ñİ +Ġи ÑīеÑĤ +Ġк аÑģÑĤ +Ġком б +Ġк ÑĢед +ĠкÑĢ им +Ġлам п +Ġл ени +Ġл енÑĤ +Ġл инг +ĠлиÑĨ Ñĥ +Ġл оÑĢд +Ġл Ñĥка +ĠнÑĥж д +ĠоÑĢ еÑħ +ĠоÑĤ ÑĨÑĥ +ĠоÑĩ аг +Ġпл ак +Ġп лаÑĩ +Ġпо оÑī +Ġп Ñĥга +Ġп ÑĥзÑĭ +ĠпÑĭ лÑĮ +ĠÑĢа Ñĥн +ĠÑĢÑıд Ñĥ +ĠÑĢÑıд Ñĭ +ĠÑģ едÑĮ +ĠÑģм еÑģ +ĠÑģÑĥд Ñı +ĠÑĤ ока +ĠÑĤол к +ĠÑĤÑĢÑĥ Ñģ +ĠÑĥ лÑĮÑĤ +ĠÑĥ Ñıзв +ĠÑĦ ÑĢÑĥк +ĠÑħ иÑĤÑĢ +ĠÑħ ÑĢаб +ĠÑĨеп и +ĠÑĩеÑĢ в +ĠÑĪ иÑĢи +ĠÑĪ кÑĥÑĢ +ĠÑĪ лÑıп +ĠÑı год +ÐĶ инам +Ðļ огда +аб елÑĮ +ав ÑĤÑĢа +анд еÑĢ +анов о +аÑĢи ев +аÑĢ ник +аÑģ лÑĥж +аÑĤ елÑİ +аÑĤоÑĢ а +вед ев +вез ли +веÑĢ нÑĥ +геÑĢ Ñģк +гоÑĤ ав +ек ваÑĤ +екÑĤ ÑĥÑĢ +ен ков +ен ÑĨев +еÑģÑĤи ж +еÑĩеÑģ к +еÑĩ наÑı +з авиÑģ +ива лÑı +ин ÑĤеÑĢ +иÑģÑĤ ÑĭÑħ +иÑĤ елÑİ +иÑĨи ей +иÑĩ наÑı +иÑĪÑĮ ÑģÑı +каж ем +каз ал +ков ой +лев ÑĭÑħ +леÑĤ ие +лÑĮ ник +лÑİ Ð¼Ð¸Ð½ +меÑĢ ÑĤÑĮ +меÑĪ ан +м олод +м оÑĤоÑĢ +ним аÑı +ном оÑĢ +н Ñģким +н ÑģкиÑħ +ож ден +пеÑĢ ед +ÑĢаб ан +ÑĢ Ñĭвал +Ñģ ажен +Ñģп ÑĢав +ÑģÑĤ ого +Ñģ ÑĥлÑĮÑĤ +ÑĤ аÑĨии +Ñħл ажд +Ñī енко +ÑįÑģÑĤ еÑĤ +ĠÐijел аÑĢ +ĠÐijлаг о +ĠÐĵ ÑĢÑĥпп +ĠÐĶав ид +ĠÐĶени Ñģ +ĠÐĶ олго +ĠÐĶÑĥм аÑİ +ĠÐĺлÑĮ иÑĩ +ĠÐĺÑģÑĤ оÑĢ +ĠÐļак ой +ĠÐļл аÑģÑģ +ĠÐļ нига +ĠÐĽÑİ Ð´Ð¾Ð² +ĠÐľÐ¾ÑĢ оз +ĠÐŀб ÑīаÑı +ĠÐŀÑĤ дел +ĠСам аÑĢ +ĠСам ое +ĠСам Ñĭй +ĠС аÑĢаÑĤ +ĠСлов о +ĠСÑĤо иÑĤ +ĠТ аÑĤаÑĢ +ĠТ аÑĤÑĮÑı +ĠТом аÑģ +ĠФÑĢей д +ĠаÑĢ енд +ĠаÑĢм ей +Ġбеж ал +Ġбл ока +Ġб ÑĢенд +ĠбÑĥк вÑĭ +Ġвели Ñĩ +Ġвз леÑĤ +Ġвой ÑĤи +Ġвол на +Ġво ÑĪÑijл +ĠвÑħод а +Ġгал еÑĢ +ĠгаÑĢ ан +ĠглÑı дÑı +ĠгÑĢÑĥд ÑĮ +Ġдеб ÑİÑĤ +Ġдеж ÑĥÑĢ +ĠдеÑĢж а +Ġдли нÑĥ +Ġд овод +Ġдол га +ĠевÑĢе и +Ġжел ал +Ġзаб Ñĭв +Ġзнак и +ĠиÑģ кал +Ġкан ад +ĠклÑĥб е +Ġко али +Ġкол од +ĠкÑĢÑĭ ла +ĠкÑĥл ак +ĠкÑĥÑĢ ÑģÑĭ +Ġлод ка +ĠлÑİб Ñĭм +ĠлÑİд ÑıÑħ +Ġмин ÑĥÑģ +Ġна ÑĨии +Ġней ÑĢо +Ġнек ое +Ġнеп ÑĢо +ĠнеÑģ еÑĤ +Ġниг де +ĠопеÑĢ Ñĭ +ĠоÑĤ неÑģ +ĠоÑĤ ÑĨов +ĠоÑĩ иÑģÑĤ +ĠпиÑĢ аÑĤ +ĠплаÑĤ Ñĭ +Ġпод ал +Ġпок оÑı +Ġпол ем +Ġпол кÑĥ +Ġпол оÑĤ +ĠполÑİ Ñģ +ĠпоÑģ об +ĠпоÑģ ол +ĠпÑĥÑģÑĤ о +ĠпÑĥÑģÑĤ Ñĭ +ĠпÑıÑĤ на +ĠÑĢав нÑĭ +ĠÑĢам ки +ĠÑĢеб ÑıÑĤ +ĠÑĢез он +ĠÑĢеп ÑĥÑĤ +ĠÑģбоÑĢ а +ĠÑģвеж е +ĠÑģеÑĢ иÑİ +ĠÑģлав Ñĭ +ĠÑģоÑĤ ен +ĠÑģÑĤол е +ĠÑģÑĥд ом +ĠÑģ ÑĦеÑĢа +ĠÑģÑħем е +ĠÑģÑĩеÑĤ а +ĠÑĤай но +ĠÑĤан ки +ĠÑĤел ом +ĠÑĤеÑĢ ап +ĠÑĥд елÑı +ĠÑĥз лов +ĠÑĥ клон +ĠÑĥпÑĢ ек +ĠÑĦаб ÑĢи +ĠÑĦаÑģ ад +ĠÑĦиз ик +ĠÑħок ке +ĠÑĨиÑĤ аÑĤ +ĠÑįÑĤ аже +ÐĵоÑģ под +ÐĶинам о +Ðļом анд +Ðł оÑģÑģиÑı +УкÑĢа ин +ав ÑĪего +ал иÑĤеÑĤ +бег аеÑĤ +гаÑĢ мон +двин Ñĥл +екÑģÑĥ ал +ен Ñģкий +ималÑĮ н +иÑĤ аÑĨии +клад ки +ком анд +коÑĢ поÑĢ +леÑĤ нÑıÑı +мен ÑıÑİÑĤ +моб илÑĮ +пад аÑİÑĤ +п омина +пÑĢав ил +ÑĢаÑī ива +ÑĢовеÑĢ г +Ñģк оÑĩил +ÑģÑĤÑĥп ив +ÑģÑĤÑĥп ил +ÑģÑĤÑĥп иÑĤ +Ñĥжд ено +Ñĥк ÑĢаин +ÑĥÑĩ ение +ĠÐijÑĥд ÑĥÑĩи +ĠÐĴ оÑģÑĤок +ĠÐĵе оÑĢги +ĠÐķгип ÑĤа +ĠÐĺиÑģ ÑĥÑģа +ĠСв обод +ĠСÑĢед не +ĠСÑĤе ÑĦан +ĠСÑĤив ен +Ġав аÑĢий +Ġбанд иÑĤ +ĠбÑĢаÑĤ ом +ĠбÑĥÑĢжÑĥ а +Ġв екÑĤоÑĢ +ĠвеÑĢ ÑĤол +ĠвзоÑĢ ва +Ġвоев од +ĠвпÑĢав е +ĠвÑħод ил +ĠвÑĭб иÑĢа +Ġгим наз +ĠгоÑģ пиÑĤ +ĠгоÑģÑĤ ин +ĠгоÑĤов а +ĠдеÑĢев е +ĠдеÑĤ алÑĮ +Ġдиз айн +Ġдлин но +ĠдоÑģÑĤ ой +Ġжел аеÑĤ +Ġжелез а +ĠжеÑĢÑĤв Ñĥ +ĠжеÑĢÑĤ вÑĭ +ĠжеÑģÑĤ ко +Ġжиз нен +ĠзабÑĭ ÑĤÑĮ +Ġз аново +Ġзан Ñıли +Ġзапад е +ĠигÑĢа ли +Ġин вали +ĠклаÑģÑģ е +Ġколон н +ĠколÑĮ ÑĨа +Ġком Ñģом +Ġко опеÑĢ +ĠкÑĢаÑĤ еÑĢ +ĠкÑĢов ÑĮÑİ +Ġлаг еÑĢе +Ġлег ион +Ġлег киÑħ +Ġлек ÑĨии +ĠлиÑĩ нÑĭй +Ġлоз Ñĥнг +ĠлоÑĪ адÑĮ +ĠмаÑĤ ÑĢоÑģ +Ġмел оди +Ġмен ÑıÑĤÑĮ +ĠмиÑģÑģ ии +ĠмиÑģÑĤ еÑĢ +ĠмиÑĤ инг +Ġмол ока +Ġнаб ÑĢал +Ġнад зоÑĢ +ĠнаÑĢод Ñĭ +Ġнед виж +Ġнем ног +Ġоблак а +ĠобÑĢаз Ñĥ +Ġодно им +Ġожи дал +Ġо ÑģкоÑĢб +ĠоÑĤ клик +ĠоÑĨен ке +Ġпад аеÑĤ +ĠпеÑĩ аÑĤÑĮ +ĠпиÑģ али +Ġпл аÑĤÑĮе +Ġпов Ñģед +ĠполоÑģ Ñĭ +Ġпоп ада +ĠпоÑĢод Ñĭ +ĠпоÑĢÑĤ ал +ĠпоÑħод а +ĠпÑĢеÑĤ ен +ĠпÑĢив ел +ĠпÑĢи деÑĤ +ĠÑĢав нин +ĠÑĢаз бил +ĠÑĢаз боÑĢ +ĠÑĢелÑĮ еÑĦ +ĠÑĢеÑĨ епÑĤ +ĠÑĢод инÑĥ +ĠÑĢÑĥÑģ Ñģко +ĠÑģвÑıÑĤ ÑĭÑħ +ĠÑģлов аÑħ +ĠÑģним ал +ĠÑģÑģÑĭл ки +ĠÑģÑĤ ÑĢаÑģÑĤ +ĠÑģÑĤÑĢ елÑı +ĠÑģÑĥдÑĮ бе +ĠÑģÑĨен аÑĢ +ĠÑĤак омÑĥ +ĠÑĤекÑģÑĤ е +ĠÑĤÑĢеÑĤÑĮ е +ĠÑĤÑĢÑĥд ов +ĠÑĤÑĥ алеÑĤ +ĠÑĤÑİÑĢÑĮ ме +ĠÑĥгÑĢоз Ñĭ +ĠÑĥдив лÑı +ĠÑĥм ение +ĠÑĥмеÑĢ ла +ĠÑĥпоÑĢ но +ĠÑĥÑģп ели +ĠÑĦина ле +ĠÑĦоÑĢм ой +ĠÑĨел ого +ĠÑĩеÑĢ нÑĭй +ĠÑĩÑĤ ение +ĠÑįкÑĢан е +ĠÑıв илÑģÑı +ÐĹолоÑĤ ой +бÑĢаÑģ Ñĭва +веÑĢд лов +вÑĪим иÑģÑı +ев ÑĢопей +ен Ñģкого +закон од +ив алиÑģÑĮ +иÑĢов ала +иÑĤ екÑĤÑĥÑĢ +к ваÑĢÑĤиÑĢ +коÑĢ олев +мей ÑģÑĤеÑĢ +меÑģÑĤ иÑĤÑĮ +ознаÑĩ но +ÑĢеÑģÑĤÑĮ Ñıн +ÑģлÑĥÑĪ ива +Ñģов меÑģÑĤ +ÑģÑĤав иÑĤÑĮ +ÑħодÑıÑī ие +ÑħÑĢани ли +ĠÐIJлекÑģ еÑı +ĠÐIJÑĢм ении +ĠÐĵ ÑĢаждан +ĠÐķвÑĢоп ей +ĠÐĺзÑĢа илÑĮ +ĠÐŁÑĢед Ñģед +ĠÐŁÑĢоÑĦ илÑĮ +ĠÐłÐ°Ð±Ð¾ÑĤ ал +ĠУкÑĢа ина +ĠФÑijд оÑĢов +ĠаккÑĥ ÑĢаÑĤ +Ġба ÑĢабан +Ġби огÑĢаÑĦ +ĠбÑĢа ÑĥзеÑĢ +ĠвиÑĢÑĤÑĥ ал +ĠвклÑİÑĩ ил +ĠвнеÑĪ ним +Ġвов ÑĢемÑı +Ġвоен ное +Ġвоен ном +Ġвоп ÑĢеки +ĠвÑģÑĤÑĢеÑĩ Ñĥ +ĠвÑĤоÑĢ ник +ĠвÑĭ двига +ĠвÑĭзв ало +ĠвÑĭÑıв лен +Ġдав айÑĤе +ĠданнÑĭ ми +ĠдеÑģÑıÑĤ ка +Ġдивиз ий +Ġднев ник +ĠдовеÑĢ ие +ĠдÑĢев ние +Ġзал ожен +Ġзам кнÑĥÑĤ +ĠзапиÑģ ал +ĠзапÑĢ еÑīа +Ġзап ÑĥÑīен +ĠзаÑĢÑĥб еж +ĠзаÑīиÑī ен +Ġиздели й +Ġиме ÑİÑīие +ĠиÑģклÑİÑĩ а +ĠиÑģÑĤин но +ĠкваÑĢÑĤ ал +ĠкиÑģлоÑĤ Ñĭ +Ġколон ии +Ġкомп енÑģ +ĠкÑĢаÑģ нÑĭй +ĠкÑĢаÑģ оÑĤÑĭ +ĠмаÑĤеÑĢ ÑĮÑİ +ĠмеÑĤод ом +Ġмили ÑĨии +ĠминеÑĢ ал +Ġмон опол +Ġназв али +ĠнаÑģили Ñı +Ġна ÑģÑĭÑīен +ĠнаÑĥÑĩ нÑĭе +Ġневид им +Ġнед олго +Ġненав ид +ĠнеÑĢв ной +Ġоблад ал +ĠобоÑĢон Ñĥ +ĠобÑĭÑĩ ной +ĠобÑĭÑĩ нÑĭм +ĠоÑĤмеÑĩ ен +ĠоÑĤ неÑģÑĤи +ĠоÑĤÑĢаж ен +ĠоÑĦиÑĨеÑĢ Ñĭ +ĠоÑħоÑĤ ник +Ġпад ение +ĠпеÑĢв Ñĭми +ĠпеÑĢел ом +ĠпеÑĢеÑĪ ли +Ġплем ени +Ġпомог ал +ĠпопÑĭÑĤ кÑĥ +ĠпоÑģÑijл ка +ĠпÑĢ еÑģÑĤиж +ĠпÑĢид воÑĢ +ĠпÑĢи клад +ĠпÑĢоекÑĤ е +ĠпÑĢок лÑıÑĤ +ĠпÑĢоÑģÑĤ Ñĭе +ĠпÑıÑĤ ниÑĨÑĥ +ĠÑĢаздел е +ĠÑĢазм еÑīа +ĠÑĢазÑĢÑĥÑĪ а +ĠÑĢаÑģÑģ лаб +ĠÑĢеак ÑĤив +ĠÑĢеÑĦ лекÑģ +ĠÑĢеÑĪ ении +ĠÑĢÑĥбеж ом +ĠÑģв обода +ĠÑģдел аеÑĤ +ĠÑģекÑĥн дÑĥ +ĠÑģем инаÑĢ +ĠÑģен аÑĤоÑĢ +ĠÑģеÑĢи ала +ĠÑģилÑĮ нÑĭе +ĠÑģкÑĢом но +ĠÑģоб лазн +ĠÑģпоÑģоб а +ĠÑģÑĢед ниÑħ +ĠÑģÑģÑĭл кой +ĠÑģÑĤав иÑĤÑĮ +ĠÑĤ еÑĩениÑı +ĠÑĥказ аÑĤÑĮ +ĠÑĥÑĩаÑģÑĤ ии +ĠÑħолод но +ĠÑħоÑĢоÑĪ ее +ĠÑĨаÑĢ ÑģÑĤво +ĠÑĨенÑĤ ÑĢов +ĠÑĩеÑĤ веÑĢг +ĠÑĪ вейÑĨаÑĢ +аÑĤелÑĮ нÑĭй +говаÑĢ ива +дав алиÑģÑĮ +иÑĤелÑĮ нÑĥÑİ +кон ÑĦеÑĢен +ÑĤелÑĮ ÑģÑĤво +ÑĭÑĪлен ник +ĠÐijолÑĮÑĪ ого +ĠÐļаз алоÑģÑĮ +ĠÐľÐµÐ´ ведев +ĠСмол енÑģк +ĠТол ÑģÑĤого +ĠабÑģÑĤ ÑĢакÑĤ +Ġанал иÑĤик +ĠаÑįÑĢоп оÑĢÑĤ +ĠбезопаÑģ н +Ġболез ней +Ġведом ÑģÑĤв +Ġвели ÑĩинÑĭ +ĠвклÑİÑĩ аÑİÑĤ +Ġвли ÑıÑĤелÑĮ +Ġвоз веден +Ġвозник ли +ĠвÑģÑı ÑĩеÑģки +ĠвÑĭÑĢаз иÑĤÑĮ +ĠвÑĭÑıÑģ ниÑĤÑĮ +ĠгиÑĤ леÑĢов +ĠгÑĢаниÑĨ ей +Ġдиапаз он +Ġедин ÑģÑĤво +ĠживоÑĤ ное +Ġжид коÑģÑĤи +Ġзав еÑĢÑĪил +ĠзадÑĥм Ñĭва +Ġзап олнен +ĠзаÑģÑĤав ил +ĠзнаÑĩ ений +Ġиде алÑĮно +Ġизд аÑĤелÑĮ +ĠинÑģÑĤинк ÑĤ +ĠконкÑĥ ÑĢен +ĠконкÑĥÑĢ Ñģа +ĠконÑģ ÑĥлÑĮÑĤ +ĠкÑĢÑĥп ного +Ġлинг виÑģÑĤ +ĠмакÑģ имÑĥм +ĠмалÑĮ Ñĩика +ĠмедиÑĨи нÑĭ +Ġмод еÑĢниз +Ġмолодеж и +ĠмоÑī ноÑģÑĤÑĮ +Ġнап олнен +ĠнапÑĢав ил +ĠнапÑĢÑı мÑĥÑİ +ĠобÑĢаз ÑĥÑİÑĤ +ĠобÑĢаз ÑĨов +ĠобÑĢаÑĤ иÑĤÑĮ +ĠобÑĬекÑĤ ом +ĠогÑĢом ной +Ġоп ÑĢовеÑĢг +ĠоÑĢган ами +ĠоÑĢиг инал +ĠоÑģнов ана +ĠоÑĤвеÑĩ аÑĤÑĮ +ĠоÑĤмеÑĩ аÑİÑĤ +ĠпаÑĢамеÑĤ ÑĢ +ĠпаÑĤÑĢи аÑĢÑħ +ĠпаÑĨи енÑĤа +ĠпеÑĢев ода +ĠпеÑĢедаÑĩ е +ĠпеÑĢек лÑİÑĩ +ĠподнÑı лÑģÑı +Ġпозвон ил +ĠполÑĥÑĩ али +ĠпоÑĤеÑĢ пел +ĠпÑĢивл еÑĩÑĮ +ĠпÑĢи гоÑĢод +ĠпÑĢимеÑĢ ов +ĠпÑĢинÑĨип Ñĥ +ĠпÑĢиÑģ воен +ĠпÑĢиÑħод ил +ĠпÑĢиÑħод ÑıÑĤ +ĠпÑĢовод им +ĠпÑĢоиз вел +ĠпÑĢоиз вол +ĠпÑĢоÑĤ оÑĤип +ĠпÑĢоÑĨ енÑĤа +ĠпÑģиÑħ иаÑĤÑĢ +ĠÑĢазмеÑĢ ом +ĠÑĢаÑģÑģказ Ñĭ +ĠÑĢаÑģ ÑģÑĤÑĢел +ĠÑĢегион ов +ĠÑĢедак ÑĨии +ĠÑģеÑĢд еÑĩно +ĠÑģобиÑĢ аÑĤÑĮ +ĠÑģоглаÑģ иÑı +ĠÑģодеÑĢж ал +ĠÑģокÑĢаÑī ен +ĠÑģокÑĢов иÑī +ĠÑģпаÑģ ениÑı +ĠÑģÑĤаÑĢ алÑģÑı +ĠÑģÑĤÑĢан ами +ĠÑģÑĨен аÑĢий +ĠÑĤелег ÑĢам +ĠÑĤелеÑĦон Ñĥ +ĠÑĤоÑĩ ноÑģÑĤи +ĠÑĤÑĢаг едии +ĠÑħозÑıй ÑģÑĤв +ĠÑħолод ной +ĠÑĩеÑĤвеÑĢ ÑĤÑĮ +ĠÑįн ÑĨиклоп +ĠÑıвлÑı лиÑģÑĮ +гоÑĤав лива +еÑģÑĤ еÑģÑĤвен +ком мÑĥниÑģÑĤ +лани ÑĢован +ÑģÑĤанов лен +ÑĤелÑĮ ноÑģÑĤÑĮ +ĠÐIJÑĢÑħанг елÑĮ +ĠÐĺÑģп олÑĮзов +ĠСовеÑĤ Ñģкий +ĠвеÑĢ ÑĤикалÑĮ +ĠвладелÑĮ ÑĨа +ĠвÑĭполнÑı еÑĤ +Ġдвиж ением +Ġдемон ÑģÑĤÑĢа +ĠдиÑģÑĤан ÑĨии +ĠдÑĢев ноÑģÑĤи +Ġзавед ениÑı +ĠзакÑĢеп лен +ĠинÑģп екÑĤоÑĢ +ĠинÑĤеÑĢеÑģ аÑħ +ĠинÑĤеÑĢ пÑĢеÑĤ +Ġкандид аÑĤа +Ġкв алиÑĦика +ĠконÑĤек ÑģÑĤе +ĠлибеÑĢ алÑĮн +Ġлог иÑĩеÑģки +ĠмаленÑĮ кие +ĠмаÑĢкеÑĤ инг +ĠмеÑħаниз ма +Ġмог ÑĥÑīеÑģÑĤв +ĠнамеÑĢ ениÑı +ĠнаÑģÑĤоÑıÑī ей +ĠнеболÑĮÑĪ ое +Ġнезакон но +Ġнеп онÑıÑĤно +ĠобознаÑĩ ен +ĠобоÑģнов ан +ĠобÑĬÑıÑģнÑı еÑĤ +Ġоппоз иÑĨии +ĠопÑĢед елил +ĠопÑĤ ималÑĮн +ĠоÑĢганиз ме +ĠоÑģÑĤ алÑĮное +ĠпамÑıÑĤ ника +ĠпаÑĢалл елÑĮ +ĠпаÑĢамеÑĤ ÑĢÑĭ +ĠпеÑĢеÑģ елен +Ġпозвол иÑĤÑĮ +Ġпокол ение +Ġпом еÑīение +Ġпо ÑģÑĤÑĢойки +ĠпÑĢевÑĭÑĪ аеÑĤ +ĠпÑĢед елÑĮно +ĠпÑĢед ÑģÑĤоÑıÑī +ĠпÑĢиглаÑģ ил +ĠпÑĢинÑĨип ов +ĠпÑĢоÑĤек аеÑĤ +ĠÑģообÑī ений +ĠÑģÑĢеднев ек +ĠÑģÑĢед ÑģÑĤвом +ĠÑģÑĤÑĢад аниÑı +ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢ е +ĠÑĤаланÑĤ лив +ĠÑĤелекан ал +ĠÑĤÑĢанÑģ ÑĦоÑĢм +ĠÑĥвели Ñĩива +ĠÑĥниÑĩÑĤож ен +ĠÑĥпÑĢав лÑıем +ĠÑĩемпион ом +ÐŁÐµÑĤ еÑĢбÑĥÑĢга +аÑģлÑĥж еннÑĭй +благ опÑĢиÑıÑĤ +инÑĤ еллекÑĤÑĥ +ÑĢабаÑĤ ÑĭваÑĤÑĮ +ĠÐIJлекÑģ еевиÑĩ +ĠÐļазаÑħÑģÑĤан а +ĠÐŁÑĢезид енÑĤа +ĠСÑĤалин гÑĢад +ĠвнÑĥÑĤÑĢен ний +ĠвÑģпомина еÑĤ +ĠдемокÑĢаÑĤ ии +ĠзнамениÑĤ Ñĭй +Ġизбав иÑĤÑĮÑģÑı +ĠиÑģклÑİÑĩ ениÑı +Ġкандид аÑĤов +Ġкомпоз иÑĨии +Ġликвид аÑĨии +ĠнаблÑİд ение +ĠназÑĭваем Ñĭе +ĠназÑĭваем Ñĭй +ĠнаÑģел ÑijннÑĭÑħ +ĠнаÑģÑĤÑĢо ениÑı +ĠнедоÑģÑĤаÑĤ оÑĩ +ĠобоÑĢÑĥд ован +ĠокÑĢÑĥж аÑİÑīиÑħ +ĠоÑģвоб ожден +ĠоÑĤмеÑĩ аеÑĤÑģÑı +ĠпоÑģÑĤоÑıн ной +ĠпÑĢеодол еÑĤÑĮ +ĠпÑĢовед ении +ĠпÑĢо екÑĤиÑĢов +ĠÑĢазÑĢабоÑĤ ка +ĠÑĢаÑģÑĪиÑĢ ениÑı +ĠÑģвобод ного +ĠÑģпÑĢаÑĪ иваеÑĤ +ĠÑģÑĤÑĢелков ой +ĠÑĤвоÑĢÑĩ еÑģÑĤве +ĠÑĥвелиÑĩ ениÑı +ĠÑĥголов ного +ĠÑĥдив иÑĤелÑĮн +ĠÑĥкÑĢеп лениÑı +ĠÑĦакÑĥлÑĮÑĤ еÑĤа +ĠÑĦинанÑģов ÑĭÑħ +ĠÐIJзеÑĢбайд жан +ĠвооÑĢÑĥж еннÑĭÑħ +ĠвÑĭÑģÑĤÑĥп ление +ĠгÑĢÑĥпп иÑĢовки +ĠгÑĥбеÑĢнаÑĤоÑĢ а +ĠдалÑĮней ÑĪего +ĠевÑĢопей Ñģкой +ĠжÑĥÑĢналиÑģÑĤ ам +ĠзавиÑģ имоÑģÑĤÑĮ +ĠзамеÑģÑĤ иÑĤелÑı +ĠизвеÑģÑĤ ноÑģÑĤÑĮ +ĠинÑģÑĤÑĢÑĥменÑĤ Ñĭ +ĠинÑĦоÑĢм аÑĨией +Ġкомпон енÑĤов +ĠмедиÑĨин Ñģкой +ĠобÑĬедин ение +Ġоказ ÑĭваÑİÑĤÑģÑı +ĠоÑĢганиз овал +ĠоÑģÑĥÑīеÑģÑĤв иÑĤÑĮ +ĠпеÑĢеж иваниÑı +ĠпоÑģлед ÑģÑĤвий +ĠпоÑģлед ÑĥÑİÑīиÑħ +ĠпоÑģÑĤоÑıн ного +ĠпÑĢигоÑĤов лен +ĠпÑĢинадлеж аÑĤ +ĠÑĢаÑģполож ено +ĠÑĢелигиоз нÑĭÑħ +ĠÑģобÑģÑĤвен ник +ĠÑģобÑģÑĤвен ное +ĠÑģпеÑĨи алÑĮной +ĠÑģпеÑĨи алÑĮнÑĭй +ĠÑģÑĤÑĢелков ого +ĠÑĥÑĤвеÑĢжд ениÑı +ĠÑĦиз иÑĩеÑģкого +ĠÑĦÑĢанÑĨÑĥз ÑģкиÑħ +ĠÑĩиÑģлен ноÑģÑĤи +ĠÑĩÑĥвÑģÑĤв оваÑĤÑĮ +ĠÐĴладимиÑĢов иÑĩ +ĠблагополÑĥÑĩ но +Ġзаконод аÑĤелÑĮ +ĠзаÑĦикÑģ иÑĢован +ĠзнаÑĩиÑĤелÑĮ ное +ĠиÑģкÑĥÑģ ÑģÑĤвенно +ĠклаÑģÑģ иÑĩеÑģкой +ĠобÑıзан ноÑģÑĤей +ĠопÑĢедел еннÑĭм +ĠоÑģвоб ождение +Ġпод полковник +ĠпÑĢавоÑģлав ной +ĠпÑĢевÑĢаÑī аеÑĤÑģÑı +ĠпÑĢеимÑĥÑīеÑģÑĤв а +ĠпÑĢеÑģÑĤÑĥп лений +ĠпÑĢодолж аеÑĤÑģÑı +ĠÑģпеÑĨи алÑĮного +ĠÑģÑĤолкнов ениÑı +ĠÑģÑĤÑĢем иÑĤелÑĮно +ĠÑģÑĥÑīеÑģÑĤв овало +ĠÑĤеоÑĢ еÑĤиÑĩеÑģки +ĠÑĥ ÑģовеÑĢÑĪенÑģÑĤв +ĠадминиÑģÑĤ ÑĢаÑĤоÑĢ +ĠиÑģÑģледов аÑĤелÑĮ +ĠопÑĢедел енного +ĠпÑĢедполож ение +ĠпÑĢедÑģÑĤав иÑĤелÑı +ĠпÑĢоÑĤив опоÑģÑĤав +ĠÑĢÑĥковод иÑĤелем +ĠÑģвидеÑĤелÑĮ ÑģÑĤва +ĠÑģобÑģÑĤвен ноÑģÑĤÑĮ +ĠÑģоÑĢевнованиÑı Ñħ +ĠбомбаÑĢдиÑĢов Ñīик +ĠвзаимодейÑģÑĤв ие +ĠиÑģÑģледов аÑĤелей +ĠÑģпÑĢаведлив оÑģÑĤи +ĠÑħÑĥдож еÑģÑĤвенной +ĠгоÑģÑĥдаÑĢÑģÑĤвен ном +ĠздÑĢаво оÑħÑĢанениÑı +ĠпÑĢедÑģÑĤав иÑĤелÑıми +ĠÑģпеÑĨиализ иÑĢован +ĠÑĥÑģовеÑĢÑĪенÑģÑĤв ова +Ìģ л +ÐIJ к +Ðĵ Ðĺ +ÐĶ Ðŀ +ÐĹ Ð´ +Ðĺ Ðľ +Ðļ Ðł +ÐĿ Ðĵ +Ðŀ ÐĽ +Ðŀ Т +Ðŀ к +ÐŁ ÐŁ +ÐŁ Ðł +Ðł Ðļ +С У +ж н +ÑĢ в +Ñģ ÑĢ +ÑĤ Ñģ +ÑĮ б +Ñİ Ð· +t us +ĠÐij Ñį +ĠÐĴ Ñı +ĠÐĵ У +ĠÐķ й +ĠÐł Ðļ +ĠУ ж +ĠЮ л +Ġа м +Ġд ж +ĠÑģ з +ĠÑį ÑĢ +Ðij ал +ÐĴ еÑĢ +Ðĵ еÑĢ +Ðĵ ол +Ðľ ед +ÐĿ еÑĤ +ÐŁ ок +С ам +СÑĤ ÑĢ +ад к +ад ÑĤ +ай к +ай Ñģ +ал Ñĭ +б аÑĪ +б лÑı +б оÑı +в ад +в еÑĨ +в Ñĭм +г аз +г ай +г ей +г Ñĥн +д ай +д зи +ев ÑĤ +ен к +еÑĢ Ñĥ +к ай +ка ÑĦ +л ки +л Ñĥк +л Ñĭм +лÑİ Ð· +на Ñģ +ни г +н ÑĥÑĢ +об о +ок ÑĢ +оп е +пÑĢ Ñı +ÑĢи о +ÑĢ Ñģк +ÑĢÑĭ Ñħ +ÑĢ ÑıÑĤ +Ñģ Ñĥб +ÑĤ ав +ÑĤ Ñĥн +ÑĤÑĥ ÑĪ +ÑĤ ÑİÑĢ +ÑĥÑī а +ÑĦ аб +Ñħ ам +Ñħ аÑĤ +ÑĪ аÑĤ +ÑĪ иÑĤ +Ñī Ñijн +Ñĭ па +ÑĮÑı к +Ñıн ÑĮ +ÑijÑĤ ÑĢ +ĠPl a +ĠXX I +ĠÐIJ ÑĢг +ĠÐIJ ÑģÑģ +ĠÐij аг +ĠÐij ед +ĠÐij ек +ĠÐij ой +ĠÐĵ аб +ĠÐĵ аз +ĠÐĵ Ñĥб +ĠÐĶ ве +ĠÐĶ еб +ĠÐĶ ей +ĠÐĹ Ð°Ñħ +ĠÐĺн г +ĠÐļ ад +ĠÐļ ай +ĠÐļ им +ĠÐļ ли +ĠÐĽ ип +ĠÐĽÑĥ и +ĠÐľ аÑĪ +ĠÐľÐ¸ Ðĵ +ĠÐľ ÑĥÑħ +ĠÐĿ аÑĤ +ĠÐŁ ле +ĠÐŁ ож +ĠÐł еж +ĠС ок +ĠС оÑĩ +ĠС Ñĥм +ĠС ÑĥÑĢ +ĠТ еб +ĠТ иÑĤ +ĠУ ол +ĠÐ¥ ам +ĠЦ ен +ĠЧ ай +ĠШ ам +ĠШ ан +ĠШ ев +ĠÐŃ Ð»Ð¸ +Ġв ен +Ġв ÑĢÑĥ +Ġд но +Ġд Ñĥг +Ġе дÑĥ +Ġз ов +Ġи дÑĥ +Ġи Ñĥд +Ġк ов +Ġк ÑĥÑĩ +Ġл аз +Ġм ÑįÑĢ +Ġп Ñĭл +ĠÑĢ еÑĩ +ĠÑģ ÑĩÑij +ĠÑģ ÑįÑĢ +ĠÑĥ ÑĪи +ĠÑĦ Ñĥн +ĠÑĪ ап +ĠÑĪ ин +ĠÑĪ ло +ĠÑī ек +ĠÑį ÑĢÑĭ +ĠÑı зв +ÐķÐĿÐĺ Ðķ +Ðķ каÑĤ +ÐŁÐµÑĢ е +С оÑİз +аб ил +ав ил +а ева +ак ии +ал ле +ан ÑĮе +аÑĢ ка +аÑĢ ÑĤи +а ÑĥÑįÑĢ +аÑĪ ин +б оÑĤа +боÑĤ Ñĥ +в ела +веÑĢ н +веÑĢ ÑĮ +в ина +в олн +вÑĪ ем +г аÑĢд +гл аз +г ода +гоÑĢ е +г ÑĢии +гÑĢÑĭ з +д еÑĢа +дж еÑĢ +ди оз +дол г +д ÑĢÑĥж +ег аÑĤ +ед ÑĢо +ез но +ей Ñģк +елÑĮ е +ени м +жд Ñijн +ж нÑĭй +з ван +зел Ñij +зи аÑĤ +з иÑĢа +з ова +иб еÑĤ +ива Ñİ +иг он +иг ÑĢа +из мÑĥ +ин ок +к елÑĮ +к ÑĢÑĥÑĤ +лад и +лиз м +ли нÑĭ +лог и +лÑĮ но +лÑĮ ÑĨа +м аÑģÑģ +м она +м ÑĥдÑĢ +мÑĭ ка +н оÑĢм +н ÑĤеÑĢ +н ÑĤон +обÑĭ ÑĤ +од аÑĢ +од об +ож де +олÑĮ н +он им +оп ÑĥÑĤ +оÑĢ об +оÑĦ ил +оÑĦ он +оÑĩ ке +п алÑĮ +п аÑĢÑĤ +пÑĢ Ñıж +ÑĢаб о +ÑĢ алÑĮ +ÑĢ вал +ÑĢи он +Ñģк ак +Ñģ меÑĪ +Ñģ озн +ÑģÑĤ ин +ÑģÑĭ па +ÑĤ ого +ÑĤоÑĢ ж +ÑĤ ÑĢак +Ñĥг Ñĥб +ÑĥÑĪ ек +ÑĦ акÑĤ +Ñħ ÑĢом +ÑĨи ан +ÑĨ кой +ÑĨ ком +ÑĩеÑĢ к +ÑĪед ÑĪ +ÑĪ кин +ÑĪ ней +Ñı лÑģÑı +t ress +ĠÐIJ Ð¡Ð¡Ðł +ĠÐij ала +ĠÐij еÑĢн +ĠÐij ÑĢод +ĠÐĴаÑĪ е +ĠÐĵ ÑĢаÑĦ +ĠÐĵ ÑĢин +ĠÐĶж еÑĢ +ĠÐĺлÑĮ Ñı +ĠÐļ ана +ĠÐļ Ñĥда +ĠÐĽÐ°ÑĤ в +ĠÐľ елÑĮ +ĠÐŁ ÑĢоÑģ +ĠÐŁ ÑĮеÑĢ +ĠÐŁ ÑijÑĤÑĢ +ĠÐłÐļ ÐļÐIJ +ĠСам а +ĠС боÑĢ +ĠС ело +ĠФ ÑĢед +ĠÐ¥Ñĥ ан +ĠЧ елÑı +ĠЧ иÑĤа +ĠЯ влÑı +Ġак ÑĤа +Ġбог и +ĠбÑĥд д +Ġб ÑĥнÑĤ +ĠбÑĭ ÑģÑĤ +ĠвеÑĢ а +ĠвеÑģ а +Ġв оÑģÑģ +ĠвÑģ ев +Ġгим н +Ġг оÑĢм +ĠгÑĢ ек +ĠгÑĢ еÑĩ +Ġд ики +Ġдол и +Ġжен е +Ġжив Ñĥ +Ġзай м +Ġз ала +ĠзÑĥб Ñĭ +ĠиÑģк ÑĢ +ĠкиÑģ л +Ġкон Ñĩ +ĠкоÑĢ Ñĭ +Ġк ÑĢаÑħ +ĠкÑĥ ÑĢи +Ġл аÑģк +Ġли ге +ĠлÑĮ да +Ġм илÑĮ +ĠмÑĥ ки +Ġна ÑĨи +ĠоÑĤ вл +Ġпл ам +ĠпÑĢ Ñĥд +ĠпÑĥ лÑĮ +Ġп Ñĩел +ĠÑĢ енÑĤ +ĠÑģ анÑĤ +ĠÑģв оÑı +ĠÑģ его +ĠÑģк ÑĥÑĩ +ĠÑģл Ñĥг +ĠÑģп ал +ĠÑģ ÑģоÑĢ +ĠÑģÑĭ нÑĥ +ĠÑĤво и +ĠÑĤем н +ĠÑĤип Ñĭ +ĠÑĤ ÑĢам +ĠÑĥд ав +ĠÑĥ лиÑĩ +ĠÑĥ ÑĪли +ĠÑĦеÑĢ м +ĠÑħа оÑģ +ĠÑħ ода +ĠÑĨен е +ĠÑĨен Ñĥ +ĠÑĨеп ÑĮ +ĠÑĩеÑĢ н +ĠÑĪаÑħ ÑĤ +ĠÑĪ каÑĦ +ĠÑĪ лем +ĠÑįми г +ĠÑįÑĤ но +ĠÑı дÑĢо +ÐĶ оÑĢог +Ðĺ ÑģÑĤоÑĢ +ÐŀÑģ нов +С евеÑĢ +Сп аÑĢÑĤ +СÑĤ ÑĢел +аг еÑģÑĤ +азв ан +анÑĤ ов +аÑĤоÑĢ Ñĭ +б олÑĮÑĪ +вез ÑĤи +в лаÑģÑĤ +вод ил +гол оÑģ +д анов +д инал +ек ÑĨиÑı +енн иÑģ +ен ÑĨии +еÑĨ кой +зв езд +ив наÑı +ив нÑĭе +ин аÑĤÑĮ +иÑĢ аÑĤÑĮ +иÑĩ нев +ков иÑĩ +ков Ñĭе +ков Ñĭм +к огда +кÑĢ еÑģÑĤ +кÑĥÑĤ Ñģк +лаж ен +лев ой +лÑĮ нÑĭÑħ +мен Ñıл +меÑĢ но +мÑĭÑĪ лÑı +нал ог +неÑģ Ñijн +не ÑĨов +н ного +н нÑĭми +нод аÑĢ +но ÑĪен +ов омÑĥ +он нÑĭй +он нÑĭÑħ +оÑģÑĤ ан +оÑģÑĤ аÑĤ +оÑĤ дел +оÑĩ кой +п лаÑģÑĤ +поз на +поÑĢ Ñıд +ÑĢа ÑģÑĤи +ÑĢ ваÑĤÑĮ +ÑĢоÑģ ла +ÑĢÑĥ ÑĪил +ÑĢÑĥÑĪ ки +Ñģ еÑĩен +ÑģлÑĥж б +ÑģлÑĭÑĪ а +ÑģÑĤвÑĥ Ñı +ÑĤ елен +ÑĤий Ñģк +ÑĥлÑıÑĢ н +ÑĥÑĢг ан +ÑĥÑĩ аÑģÑĤ +ÑĥÑī его +ÑĦиз ик +ÑĦиÑĨ иÑĤ +ÑĦÑİÑĢ еÑĢ +Ñħод ÑıÑĤ +Ñħ оÑĢоÑĪ +ÑĨ енно +Ñĩ еÑĢед +ÑĪÑĤ адÑĤ +ĠÐĴÑı ÑĩеÑģ +ĠÐĵаÑĢ ÑĢи +ĠÐĵ оÑĤов +ĠÐĹ ÐµÐ»ÐµÐ½ +ĠÐĹем лÑİ +ĠÐĺ наÑĩе +ĠÐļ иÑĢов +ĠÐĽ ебед +ĠÐľÐ°ÑĢ кÑģ +ĠÐľÑĥз ей +ĠÐľÑĥÑħ ам +ĠÐĿа Ñħод +ĠÐĿик ак +ĠÐŀб лад +ĠÐłÑıд ом +ĠСен аÑĤ +ĠСлов а +ĠСп еÑĨи +ĠУ ÑĤÑĢом +ĠÐŃ Ð»ÐµÐºÑĤ +ĠÐŃ ÑģÑĤон +Ġанг ло +Ġан Ñģам +Ġа поÑģÑĤ +ĠаÑĢ биÑĤ +Ġбез Ñĥм +Ġбел ой +ĠбеÑĢ ÑĥÑĤ +Ġб еÑĤон +Ġбл еÑģк +Ġбом бÑĭ +ĠбÑİ ÑĢок +ĠваÑĪ им +Ġв видÑĥ +ĠвеÑĢ ил +ĠвеÑĢ иÑĤ +ĠвеÑĢ ÑģÑĤ +Ġвз ÑıÑĤÑĭ +Ġвид нÑĭ +ĠвкÑĥÑģ Ñĥ +Ġвлад е +Ġвниз Ñĥ +Ġвод Ñıн +ĠвоÑģÑĮ м +Ġв ÑĢажд +ĠвÑĢа Ñĩи +ĠвÑĭ езд +ĠвÑĭ кÑĥп +ĠвÑĭ леÑĤ +Ġг иÑĤаÑĢ +Ġдожд ÑĮ +ĠдÑĥ ÑĢак +Ġезд ил +Ġжел аÑı +Ġжел ÑĤо +Ġжен аÑĤ +Ġжили Ñī +Ġзам ка +Ġзов ÑĥÑĤ +ĠзÑĢ ели +Ġиз вин +Ġиз лиÑĪ +ĠкаÑĢ ÑĤа +ĠкаÑĤ еÑĢ +ĠкоÑĢ ни +ĠкÑĢÑĥг Ñĥ +ĠкÑĥÑģ ок +Ġлаз еÑĢ +Ġлеж аÑĤ +Ġл иÑĤов +ĠлÑİб аÑı +ĠмаÑĢ кÑģ +ĠмаÑĢ ок +ĠмаÑģ он +Ġмел оÑĩ +Ġмона Ñħ +ĠмÑĥж ем +ĠнаÑĩ ав +Ġнеж ел +Ġнел ег +ĠнеÑĦ ÑĤÑĮ +ĠнÑĥж дÑĭ +ĠоÑģл ож +ĠоÑĤÑģ ек +ĠпеÑĢ еÑĨ +Ġплод Ñĭ +Ġпоб ег +Ġпов ез +Ġпов оÑĢ +Ġпод аÑĩ +Ġпож ел +Ġпоз оÑĢ +Ġпол ей +Ġпол ÑijÑĤ +ĠпоÑĢ Ñĭв +ĠпоÑģ еÑī +ĠпоÑģ ла +ĠпÑĢед о +ĠÑĢав на +ĠÑĢазв л +ĠÑĢÑĥк ав +ĠÑģз ади +ĠÑģк олÑĮ +ĠÑģлав а +ĠÑģлов Ñĥ +ĠÑģлÑĥÑħ и +ĠÑģмен Ñĥ +ĠÑģм еÑģÑĮ +ĠÑģни жа +ĠÑģп лав +ĠÑģп ÑĢÑıÑĤ +ĠÑģп ÑĥÑģк +ĠÑģÑĤ еÑĢе +ĠÑģÑĤ ÑĢаж +ĠÑģÑĤÑĢ ог +ĠÑģÑĥд ÑĮÑı +ĠÑģÑĩеÑĤ е +ĠÑģÑĩиÑĤ а +ĠÑĤаÑĢ иÑĦ +ĠÑĤеÑĢ ми +ĠÑĤÑĢав м +ĠÑĤ ÑĢакÑĤ +ĠÑĤÑĢÑĥд Ñĭ +ĠÑĤÑıг оÑĤ +ĠÑĥг лов +ĠÑĥг лом +ĠÑĥг олÑĮ +ĠÑĥдаÑĢ Ñĭ +ĠÑĥп олн +ĠÑĥ пÑĢоÑī +ĠÑĥÑħод а +ĠÑĥÑĩ енÑĭ +ĠÑĥÑĩеÑĤ а +ĠÑĦак ÑĤа +ĠÑĦиÑĢ ма +ĠÑĦÑĢаз а +ĠÑħим ии +ĠÑĨвеÑĤ Ñĭ +ĠÑĨел ÑĥÑİ +ĠÑĨиÑĦ ÑĢÑĭ +ĠÑĩаÑģÑĤ Ñĭ +ĠÑĩ еÑģÑĤи +ĠÑĩиÑģ ел +ĠÑĪаг ом +ĠÑĪиÑĢ оÑĤ +ÐIJÑĤ ланÑĤ +ÐŁÐ¾Ðº ÑĢов +аж ÑĥÑĤÑģÑı +ам енÑĤа +аÑĤоÑĢ ов +биÑĢа еÑĤ +б ÑĭваÑĤÑĮ +ваÑĢ иÑĤÑĮ +вед енÑĭ +виз ион +вÑĪ емÑģÑı +г оÑģлав +д аннÑĭÑħ +езж аеÑĤ +ен бÑĥÑĢг +ендаÑĢ н +ен Ñģкой +еÑĩаÑĤ ан +ж иваÑĤÑĮ +зÑĢ ениÑı +ина ÑĨии +ки дÑĭва +ков аÑĤÑĮ +кÑĢаÑģ ив +ланд Ñģк +лим пий +лиÑĩ наÑı +лож енÑĭ +лож или +лож иÑĤе +лÑı ÑİÑĤÑģÑı +меÑĤ алл +меÑĪ аÑĤÑĮ +ней ÑĪим +ноÑĢ веж +ноÑģ или +об оÑĢон +оваÑĢ иÑī +ов Ñģким +ог овоÑĢ +одеÑĢж а +ожд аеÑĤ +оÑĢи енÑĤ +пад аеÑĤ +пад аÑĤÑĮ +пÑĢин ÑıÑĤ +пÑĢов од +ÑĢаз лиÑĩ +ÑĢ ÑĭваеÑĤ +ÑģеÑĢд еÑĩ +Ñģлед ов +ÑģлÑĥж ен +ÑģлÑĥж ив +ÑģÑĤав им +ÑģÑĤоÑı ло +ÑģÑĤÑĢеÑĩ а +ÑĤоп лен +ÑĤоÑĩ наÑı +Ñĥк овод +ÑĦаб ÑĢик +ÑįÑĦÑĦ екÑĤ +ÑİÑīÑĥÑİ ÑģÑı +ĠÐĴид имо +ĠÐĴо оÑĢÑĥж +ĠÐĴ оÑģÑĤоÑĩ +ĠÐĶалÑĮ ÑĪе +ĠÐķгип еÑĤ +ĠÐķлиз ав +ĠÐļажд аÑı +ĠÐļан адÑĭ +ĠÐĽÑİб овÑĮ +ĠÐľ аÑģÑĤеÑĢ +ĠÐĿаÑĤ алÑĮ +ĠÐĿаÑĩ ало +ĠÐĿ ового +ĠÐŀлим пи +ĠÐŀÑĤ кÑĢÑĭÑĤ +ĠÐŁÐ°ÑĢиж а +ĠÐŁÐ¾Ð±ÐµÐ´ Ñĭ +ĠÐŁÑĢав ил +ĠСкоÑĢ ее +ĠСо ÑĨиал +ĠСÑĤеп ан +ĠÐ¥ÑĢÑĥ Ñīев +ĠаÑĢ ÑĤеÑĢи +ĠбаÑĢ ÑĮеÑĢ +ĠбеÑģед Ñĭ +ĠбеÑģ пол +Ġбой ÑĨов +ĠваÑĢ ваÑĢ +ĠвеÑĢ нÑĥл +ĠвеÑģ ело +ĠвлиÑı еÑĤ +ĠвнеÑĪ не +Ġвоен аÑĩ +Ġвоз ÑĢаж +Ġвок зал +Ġв олÑĮно +ĠвоÑģ ÑģÑĤа +ĠвÑģÑı кое +ĠвÑĭб ÑĢоÑģ +ĠвÑĭÑģ ÑĪее +Ġглав ой +ĠгоÑĢм он +ĠгоÑĢ нÑĭÑħ +Ġдан ное +Ġдев ÑıÑĤи +Ġдел ами +ĠдеÑĢж ал +ĠдеÑĢж иÑĤ +Ġд олÑĮÑĪе +ĠдоÑģÑĤ ал +ĠдоÑħод а +Ġедин ой +Ġзан ÑıÑĤÑĭ +ĠзаÑĤ воÑĢ +Ġзем лей +ĠизмеÑĢ Ñı +ĠинÑĤ ÑĢиг +Ġкак омÑĥ +Ġкам ней +Ġкап ÑĥÑģÑĤ +ĠкаÑĢ ÑĤоÑĩ +Ġкли ник +Ġкниг аÑħ +Ġкол еÑģа +ĠконÑģ Ñĥл +ĠконÑĤ ÑĥÑĢ +ĠкÑĢÑĥг ов +ĠлеÑĤ ниÑħ +ĠлеÑĤ Ñĩик +ĠлиÑģÑĤ ов +ĠлиÑĨ ами +ĠлиÑĩ нÑĭе +ĠлиÑĩ нÑĭм +ĠлÑİб иÑĤÑĮ +ĠмаÑģ лом +ĠмеÑĪ аеÑĤ +Ġмик ÑĢоÑģ +Ġмод еÑĢн +Ġмол око +Ġнакоп и +ĠнаÑĩ неÑĤ +ĠнаÑĪ ими +Ġней ÑĢон +ĠнеÑĥд об +ĠноÑģ иÑĤÑĮ +ĠобÑĬем а +Ġоказ ал +Ġоп лаÑĤÑĭ +ĠоÑģобÑĭ м +ĠоÑĤвеÑĤ Ñĭ +ĠоÑĤно Ñģи +ĠоÑĤ ÑĢиÑĨа +ĠоÑĤÑĢÑıд Ñĭ +Ġо Ñħлажд +ĠоÑħоÑĤ но +ĠоÑĨ енил +ĠоÑĪиб кÑĥ +Ġпал аÑĤÑĭ +Ġплод ов +Ġпод боÑĢ +ĠподнÑı ÑĤ +Ġпо еÑħал +Ġпоз ади +ĠпоиÑģ ки +Ġпок ÑĢÑĭÑĤ +ĠпокÑĥп а +Ġпол наÑı +Ġпом еÑīа +Ġпоп ала +Ġпо ÑģÑĤиг +ĠпÑĢав аÑħ +ĠпÑĢиб Ñĭв +ĠпÑĢив ил +ĠпÑĢи год +ĠпÑĢин Ñıв +ĠпÑĢод ав +ĠпÑĢож ил +ĠпÑĢоп ал +ĠпÑĢоÑĩ иÑĤ +ĠпÑĢоÑĪ Ñijл +ĠпÑĢÑıм Ñĭм +ĠÑĢаз биÑĢ +ĠÑĢаз биÑĤ +ĠÑĢаз маÑħ +ĠÑĢаÑģ кол +ĠÑĢаÑģ ÑĩÑijÑĤ +ĠÑĢ аÑĨион +ĠÑĢим лÑıн +ĠÑĢиÑģ Ñĥнк +ĠÑģвÑıÑĤ ой +ĠÑģдел ав +ĠÑģдел ки +ĠÑģевеÑĢ Ñĥ +ĠÑģеÑĢи ал +ĠÑģид ели +ĠÑģид еÑĤÑĮ +ĠÑģлÑĥÑĩа Ñİ +ĠÑģлÑĥÑĪ ал +ĠÑģоз Ñĭва +ĠÑģп иной +ĠÑģп ÑĥÑģка +ĠÑģÑĢед не +ĠÑģÑĤав ил +ĠÑģÑĤек ла +ĠÑģÑĤоÑı ÑĤÑĮ +ĠÑģÑĤÑĥд ен +ĠÑģÑĩÑij ÑĤом +ĠÑģÑĬ езда +ĠÑĤекÑģÑĤ Ñĭ +ĠÑĤеÑģÑĤ ов +ĠÑĤÑĢи бÑĥн +ĠÑĤÑİÑĢÑĮ мÑĥ +ĠÑĥгÑĢоз Ñĥ +ĠÑĥдаÑĢ ил +ĠÑĥд аÑĢов +ĠÑĥда Ñĩно +ĠÑĥжаÑģ но +ĠÑĥзна еÑĤ +ĠÑĥз нали +ĠÑĥÑģпеÑħ и +ĠÑĥÑģп око +ĠÑĦиг ÑĥÑĢа +ĠÑĦилÑĮ мÑĭ +ĠÑĦÑĥн ÑĤов +ĠÑħваÑĤ иÑĤ +ĠÑĩиÑģ лом +ĠÑĩиÑģÑĤ ой +ĠÑĩиÑĤ аеÑĤ +ĠÑįмо ÑĨии +Ðŀк ÑĤÑıбÑĢÑĮ +СпаÑĢÑĤ ак +агеÑģÑĤ ан +вед ениÑİ +в оÑģÑĤоке +ивал енÑĤ +ив ноÑģÑĤÑĮ +иÑĢов Ñīик +каз ание +конÑĤÑĢ ол +маÑĤ емаÑĤ +м еÑīение +ноÑģ иÑĤÑģÑı +но ÑĪение +омин аÑĤÑĮ +опÑĢо екÑĤ +оÑģ поÑģоб +пла Ñĩива +пÑĢав иÑĤÑĮ +ÑĢаз номÑĥ +Ñģ одеÑĢжа +ÑģÑĤав лÑıл +ÑģÑĤав ÑĮÑĤе +ÑģÑĤан ÑĨии +ÑģÑĤоÑı ние +ÑħваÑĤ иÑĤÑĮ +ÑħодÑıÑī ий +Ñĩ еловек +Ñĭв алиÑģÑĮ +ĠÐIJмеÑĢ ика +ĠÐĴалеÑĢ ий +ĠÐĴаÑģили Ñı +ĠÐĴен гÑĢии +ĠÐĴ ÑģÑĤÑĢеÑĩа +ĠÐĴ ÑĮеÑĤнам +ĠÐĶмиÑĤ ÑĢиÑı +ĠÐķкаÑĤ еÑĢи +ĠÐĺÑģп олÑĮз +ĠÐĿаÑĩ инаÑı +ĠÐĿов оÑģÑĤи +ĠÐŀÑĢг аниз +ĠÐŀÑģнов ан +ĠÐŁÐ¾Ð´Ð¾Ð± но +ĠÐŁÑĢод олж +ĠÐŁÑĢо ÑĨеÑģÑģ +ĠТол ÑģÑĤой +ĠФÑĢан ÑĨиÑİ +ĠФÑĢид ÑĢиÑħ +ĠЧелÑı бин +Ġад миÑĢал +ĠалÑĮб ома +ĠапоÑģÑĤ ол +ĠбаÑĤаÑĢ еи +ĠбÑĢоÑģ иÑĤÑĮ +ĠвзглÑı да +Ġвинов аÑĤ +ĠвлÑİб лен +ĠвнеÑĪ ний +ĠвÑħод ила +ĠвÑĭ веден +ĠвÑĭ веÑģÑĤи +ĠвÑĭÑģок ом +Ġглав нÑĥÑİ +ĠглÑĥб инÑĥ +ĠглÑĥб инÑĭ +ĠдевÑĥÑĪ ек +ĠдеÑĢев нÑİ +Ġде ÑĦиÑĨиÑĤ +Ġдинам ик +Ġдлин нÑĭе +Ġедин иÑĨÑĭ +ĠженÑī ине +Ġзакон ам +ĠзамеÑĤ нÑĭ +Ġзан ÑıÑĤие +ĠзаÑıв ила +ĠзаÑıв или +ĠзÑĢиÑĤ елÑı +ĠигÑĢок ом +ĠизÑĥÑĩ аÑĤÑĮ +Ġимен ова +ĠкаÑĢÑĤ ине +ĠкаÑĦед ÑĢÑĭ +ĠкваÑĢÑĤи ÑĢ +ĠкоÑĢоÑĤ ко +ĠкÑĢиÑĤ ика +ĠлиÑģÑĤ ÑĮев +ĠлÑĥÑĩ ÑĪего +ĠлÑİб опÑĭÑĤ +ĠмаÑĤеÑĢ ии +ĠмеÑģÑĤ ами +ĠмеÑĤал ла +ĠмеÑĤа ÑĦоÑĢ +ĠмеÑĤод ик +ĠмоменÑĤ Ñĥ +ĠнаÑĢод ом +ĠнаÑģл ажд +ĠнаÑĥÑĩ нÑĭй +ĠнаÑħод ÑıÑĤ +ĠнаÑĨи она +Ġнез амеÑĤ +Ġнепод ал +Ġнов оÑģÑĤи +ĠобÑī ение +Ġоказ аÑĤÑĮ +ĠоÑĤкÑĢ Ñĭва +ĠоÑĤкÑĢÑĭ ли +ĠоÑĤкÑĢÑĭ ÑĤа +ĠпалÑĮ ÑĨев +ĠпеÑĢеÑĪ ел +ĠпиÑĤ ание +Ġпоб Ñĭвал +Ġпов ÑģÑİдÑĥ +ĠподаÑĢ ок +Ġпоказ ан +Ġпол года +Ġпол игон +Ġпол иÑĨиÑı +ĠполÑĥÑĩ иÑĤ +ĠпомеÑī ик +Ġпон ÑıÑĤий +ĠпоÑģв ÑıÑĤи +ĠпоÑģÑĤ ели +ĠпÑĢед ков +ĠпÑĢив ела +ĠпÑĢив еÑĢж +ĠпÑĢи деÑĢж +ĠпÑĢиз вал +ĠпÑĢиказ Ñĥ +ĠпÑĢод аже +ĠпÑĥбли кÑĥ +ĠÑĢаÑģ кÑĢÑĭÑĤ +ĠÑĢаÑģ пÑĢед +ĠÑĢаÑģ ÑĨвеÑĤ +ĠÑĢеклам Ñĭ +ĠÑģан иÑĤаÑĢ +ĠÑģекÑĥн дÑĭ +ĠÑģиг аÑĢеÑĤ +ĠÑģигна ла +ĠÑģин дÑĢом +ĠÑģин ÑħÑĢон +ĠÑģлед иÑĤÑĮ +ĠÑģлож нее +ĠÑģлож ной +ĠÑģлож нÑĭм +ĠÑģозд аÑİÑĤ +ĠÑģоÑģÑĤоÑı ÑĤ +ĠÑģпаÑģ ибо +ĠÑģÑĢед ний +ĠÑģÑĢед нÑıÑı +ĠÑģÑĤак ана +ĠÑģÑĤаÑĢ ÑĪим +ĠÑģÑĤаÑĢ ÑĪин +ĠÑģÑĤол иÑĨÑĥ +ĠÑģÑĤол иÑĩн +ĠÑģÑĤÑĢад ал +ĠÑģÑĤÑĥп енÑĮ +ĠÑģÑĥб боÑĤÑĥ +ĠÑģÑĥпÑĢÑĥг а +ĠÑģÑĭнов ÑĮÑı +ĠÑĤÑĢакÑĤ аÑĤ +ĠÑĤÑĢен еÑĢа +ĠÑĤÑıжел Ñĭе +ĠÑĤÑıжел ÑĭÑħ +ĠÑĤÑıж еÑģÑĤи +ĠÑĥбед иÑĤÑĮ +ĠÑĥвеÑĢ енÑĭ +ĠÑĥдив лен +ĠÑĥÑģÑĤÑĥп ил +ĠÑĦакÑĤоÑĢ Ñĭ +ĠÑĦами лиÑı +ĠÑħозÑı ина +ĠÑħоÑĢоÑĪ ей +ĠÑħÑĢан иÑĤÑĮ +ĠÑĩаÑģÑĤи ÑĨÑĭ +ĠÑĩаÑģÑĤ Ñıми +ĠÑĪиÑĢок ий +ĠÑĪиÑĢок ое +ĠÑĪиÑĢ окой +ĠÑįк ÑģÑĤÑĢем +ÐķкаÑĤ еÑĢин +ализ аÑĨиÑı +ализ ован +аÑĤелÑĮ нÑĭм +вен геÑĢÑģк +вл еÑĩение +гÑĢани Ñĩен +д ÑĢагоÑĨен +еÑĢин бÑĥÑĢг +ивÑĪего ÑģÑı +илиз ован +инд ÑĥÑģÑĤÑĢи +коÑĢ иÑĩнев +ниÑĩ еÑģÑĤво +подвиж нÑĭ +ÑĢ ождение +ÑģмаÑĤÑĢ ива +ÑģмоÑĤÑĢ еÑĤÑĮ +ÑĥÑīеÑģÑĤв лÑı +ĠÐijолгаÑĢ ии +ĠÐijÑĢаз илии +ĠÐĴал енÑĤин +ĠÐĴÑıÑĩеÑģ лав +ĠÐĵеÑĢм аниÑİ +ĠÐļоманд иÑĢ +ĠÐļомп аниÑı +ĠÐļÑĥз неÑĨов +ĠÐĿавеÑĢ ное +ĠÐĿап омним +ĠÐŀÑģнов наÑı +ĠÐŀÑģнов ной +ĠÐŁÑĢимеÑĢ но +ĠСÑĤеп анов +ĠбеÑģп окой +ĠбеÑģп оÑĢÑıд +Ġболез нен +ĠболÑĮ ниÑĨе +ĠболÑĮ ниÑĨÑĭ +ĠбÑİÑĢок ÑĢаÑĤ +Ġв ведение +ĠвеÑī еÑģÑĤво +ĠвзглÑıд ом +Ġвод иÑĤелÑĮ +ĠвоздÑĥÑĪ но +Ġвозник ло +ĠвÑĭб иÑĢаÑĤÑĮ +ĠвÑĭÑģÑĤав ка +ĠвÑĭÑģÑĤав ки +ĠвÑĭÑħод иÑĤÑĮ +Ġгал акÑĤик +ĠгаÑĢниз он +ĠглÑĥб окой +ĠгÑĢан диоз +ĠгÑĢÑĥзов ик +ĠдеÑıÑĤ елей +ĠдомаÑĪ ниÑħ +ĠженÑīин ой +ĠзамеÑĩ аеÑĤ +Ġзанима ÑİÑĤ +ĠзаÑħваÑĤ ил +ĠзаÑīиÑĤ иÑĤÑĮ +Ġзнаком ÑĭÑħ +ĠизÑĥÑĩ ениÑİ +ĠинÑĤеÑĢ вал +ĠинÑĤеÑĢеÑģ а +ĠиÑģклÑİÑĩ ен +ĠиÑģполн ен +ĠиÑģп олнил +Ġкал ендаÑĢ +ĠкиÑģл оÑĢод +Ġком бинаÑĤ +ĠкоммÑĥ низ +ĠконÑĤ ÑĢаÑģÑĤ +ĠкоÑĢоÑĤ кий +ĠкÑĢеп оÑģÑĤн +ĠкÑĥлÑĮÑĤ ÑĥÑĢÑĥ +ĠмÑĥж еÑģÑĤво +ĠмÑĭÑĪ ление +ĠнагÑĢÑĥз ки +ĠназнаÑĩ ил +ĠнаÑħод ÑıÑģÑĮ +Ġна ÑĨионал +ĠнаÑĩ инаÑĤÑĮ +Ġнеожид ан +ĠобознаÑĩ а +ĠознаÑĩ ало +Ġоказ Ñĭвал +ĠоÑģÑĤав или +ĠоÑģÑĤа ÑijÑĤÑģÑı +ĠоÑĦоÑĢм лен +ĠпаÑĢад окÑģ +ĠпеÑĢеÑģÑĤ ал +Ġподав лен +Ġпоказ ано +Ġпомог аÑİÑĤ +ĠпоÑĤеÑĢ Ñıли +ĠпоÑıв иÑĤÑģÑı +ĠпÑĢе емник +ĠпÑĢимеÑĢ ом +ĠпÑĢи ноÑģиÑĤ +ĠпÑĢинÑĨип а +ĠпÑĢин ÑıÑĤие +ĠпÑĢиобÑĢ ел +ĠпÑĢовод ÑıÑĤ +ĠпÑĢод вига +ĠпÑĢокÑĥÑĢ оÑĢ +ĠпÑĢоÑģÑĤ ого +ĠÑĢаздел ен +ĠÑĢаÑģ позна +ĠÑĢаÑģ ÑģÑĤÑĢой +ĠÑĢаÑģÑĤ ение +ĠÑĢе алÑĮнÑĭÑħ +ĠÑĢебен ком +ĠÑĢод иÑĤелÑĮ +ĠÑģанÑĤ имеÑĤ +ĠÑģ деÑĢжива +ĠÑģобÑĭÑĤи ÑıÑħ +ĠÑģоглаÑģ ие +ĠÑģ одейÑģÑĤв +ĠÑģоÑĨи олог +ĠÑģпоÑģоб на +ĠÑģÑĤÑĢелÑĮ бÑĭ +ĠÑĤоÑĢгов ле +ĠÑĤоÑĢг овÑĭÑħ +ĠÑĤÑĢенеÑĢ ом +ĠÑĤÑĢидÑĨ аÑĤи +ĠÑĥказ Ñĭвал +ĠÑĥÑģловиÑı м +ĠÑĥÑģÑĤанов и +ĠÑĦÑĥнкÑĨи он +ĠÑĩÑĥв ÑģÑĤвом +ĠÑįми гÑĢанÑĤ +ĠÑıвлÑı лаÑģÑĮ +дÑĢагоÑĨен н +пÑĢоÑģÑĤ ÑĢани +ÑĢоÑģÑģ ийÑģко +ÑĤеÑĢÑĢиÑĤоÑĢ и +Ñĥ ÑģÑĤÑĢойÑģÑĤв +ĠÐIJндÑĢ еевиÑĩ +ĠÐĵеÑĢм анией +ĠÐŁÐ¾Ñģлед ние +ĠШвейÑĨаÑĢ ии +ĠаÑĥдиÑĤоÑĢ ии +ĠбизнеÑģ мен +ĠбогаÑĤ ÑģÑĤва +ĠбогаÑĤ ÑģÑĤво +ĠвеÑĢ нÑĥлаÑģÑĮ +ĠвоздÑĥÑĪ нÑĭÑħ +ĠвÑģев озмож +ĠвÑģÑĤÑĢеÑĤ иÑĤÑĮ +ĠвÑĭглÑıд еÑĤÑĮ +ĠгенеÑĢ аÑĤоÑĢ +Ġдемон ÑģÑĤÑĢи +Ġдоп ÑĥÑģÑĤиÑĤÑĮ +ĠдоÑģÑĤав лен +ĠдÑĥÑħов ного +ĠзаÑħваÑĤ иÑĤÑĮ +ĠизлÑĥÑĩ ениÑı +ĠкаÑĤегоÑĢ иÑı +Ġколеб аниÑı +ĠконÑĨеп ÑĨиÑı +ĠкÑĥлÑĮÑĤÑĥÑĢ но +Ġлег ендаÑĢн +ĠмаленÑĮ киÑħ +Ġнап еÑĩаÑĤан +Ġнапомина л +ĠнаÑģÑĤ ойÑĩив +ĠнаÑģÑĤÑĥп аеÑĤ +ĠнаÑĥÑĩ иÑĤÑĮÑģÑı +ĠнеболÑĮÑĪ аÑı +ĠнеболÑĮÑĪ им +ĠненавиÑģÑĤ ÑĮ +ĠнепÑĢи ÑıÑĤно +ĠобеÑģпеÑĩ ен +ĠобеÑģпеÑĩ ив +Ġоказ ÑĭваеÑĤ +ĠокÑĢÑĥж ениÑı +ĠопÑĢеделÑı л +ĠоÑģнов ание +ĠоÑģнов аний +ĠоÑĤкÑĢ ÑĭваеÑĤ +ĠоÑĤпÑĢав иÑĤÑĮ +ĠпеÑĢеÑģ моÑĤÑĢ +ĠпиÑģÑĮ менно +ĠплаÑĤÑĦоÑĢм Ñĭ +ĠплоÑģк оÑģÑĤи +Ġпов ÑĢежден +ĠподдеÑĢж ка +Ġполов иной +ĠпоÑģÑĤав или +ĠпÑĢедпоÑĩ иÑĤ +ĠпÑĢеоблад а +ĠпÑĢеод олев +ĠпÑĢизн аниÑı +ĠпÑĢимен ÑıÑİÑĤ +ĠпÑĢи пиÑģÑĭва +ĠпÑĢиÑĢод нÑĭÑħ +ĠпÑĢоÑĦеÑģÑģ ии +ĠпÑĢоÑĨед ÑĥÑĢÑĭ +ĠпÑĥбли ÑĨиÑģÑĤ +ĠÑĢазвед Ñĩик +ĠÑĢазвеÑĢ нÑĥл +ĠÑĢазлиÑĩ нÑĭм +ĠÑĢайон ного +ĠÑĢаÑģ ÑģÑĤÑĢелÑı +ĠÑĢе алÑĮного +ĠÑĢежиÑģÑģÑij ÑĢа +ĠÑģекÑĢеÑĤ аÑĢÑı +ĠÑģеÑĢÑĮез нÑĭе +ĠÑģиÑĤÑĥаÑĨиÑı Ñħ +ĠÑģкÑĥлÑĮп ÑĤоÑĢ +ĠÑģлед оваÑĤÑĮ +ĠÑģобиÑĢ алÑģÑı +ĠÑģодеÑĢж аÑĤÑĮ +ĠÑģоÑģÑĤав или +ĠÑģоÑģÑĤав иÑĤÑĮ +ĠÑģоÑģÑĤавлÑı л +ĠÑģоÑĩин ений +ĠÑģпекÑĤак лÑı +ĠÑģпеÑĨ ÑģлÑĥжб +ĠÑģпоÑģоб ами +ĠÑģпÑĢаÑĪ ивал +ĠÑģÑĥбÑĬекÑĤ ов +ĠÑĤоваÑĢиÑī ей +ĠÑĥдав алоÑģÑĮ +ĠÑĥказ ÑĭваÑİÑĤ +ĠÑĥлÑĥÑĩ ÑĪениÑı +ĠÑħозÑıй ÑģÑĤве +ĠÑĨеÑĢемон ии +ĠÑįконом ике +ĠÑįмиг ÑĢаÑĨии +говаÑĢ иваÑĤÑĮ +иÑĢован ного +иÑģÑĤ иÑĩеÑģкаÑı +овеÑĢÑĪ енÑģÑĤв +ĠÐľÐ¾Ñģков Ñģкий +ĠÐŁÐµÑĤ еÑĢбÑĥÑĢга +ĠÐłÐµÑģпÑĥбли ка +ĠСоб ÑģÑĤвенно +ĠУпÑĢав ление +ĠамеÑĢикан ÑĨÑĭ +Ġаналог иÑĩно +Ġанглий Ñģкой +ĠвнÑĥÑĤÑĢен ним +ĠвоÑģпиÑĤ ание +ĠвоÑģпÑĢи ÑıÑĤие +ĠвÑĭÑĢаз иÑĤелÑĮ +ĠгоÑģпод ÑģÑĤвÑĥ +ĠгоÑĤов ноÑģÑĤÑĮ +Ġдвиг аÑĤелей +ĠдейÑģÑĤв овал +Ġзанима ÑİÑĤÑģÑı +ĠинÑĤелли ген +ĠинÑĤенÑģ ивно +ĠиÑģполн ении +ĠкаÑĤаÑģÑĤÑĢоÑĦ Ñĭ +ĠкомпÑĮÑİÑĤеÑĢ а +ĠмаÑĤемаÑĤ ики +ĠмиллиаÑĢд ов +ĠминималÑĮ но +ĠмиÑĤÑĢоп олиÑĤ +ĠнедоÑģÑĤаÑĤ ки +ĠнедоÑģÑĤаÑĤ ок +ĠнекоÑĤоÑĢ Ñĭми +ĠнеобÑħодим а +ĠоблаÑģÑĤ ного +ĠобнаÑĢÑĥж енÑĭ +ĠобÑĢаÑī аеÑĤÑģÑı +ĠобÑĢаÑī аÑĤÑĮÑģÑı +ĠобÑĬекÑĤив но +ĠопеÑĢаÑĤив но +ĠоÑģÑĤав алаÑģÑĮ +ĠоÑĤеÑĩ еÑģÑĤвен +ĠоÑĤказ алиÑģÑĮ +ĠоÑĤноÑģ иÑĤÑĮÑģÑı +ĠподгоÑĤов ка +Ġпоказ алоÑģÑĮ +Ġпоказ аÑĤели +Ġполков ника +ĠполÑĥоÑģÑĤ ÑĢов +ĠполÑĥÑĩ еннÑĭе +ĠполÑĮз ÑĥÑİÑĤÑģÑı +ĠпÑĢедлож или +ĠпÑĢедлож иÑĤÑĮ +ĠпÑĢедÑĭдÑĥÑī иÑħ +ĠпÑĢек ÑĢаÑĤиÑĤÑĮ +ĠпÑĢепод авал +ĠпÑĢиобÑĢ еÑģÑĤи +ĠпÑĢодолж иÑĤÑĮ +ĠпÑĢоизвод иÑĤ +ĠпÑĢоÑıв ление +ĠÑĢазÑĢабоÑĤ ал +ĠÑĢазÑĢабоÑĤ кÑĥ +ĠÑĢелигиоз но +ĠÑģообÑī алоÑģÑĮ +ĠÑģоÑħÑĢан ение +ĠÑĤеÑĢÑĢиÑĤоÑĢ ий +ĠÑĤÑĢеб ование +ĠÑĥпÑĢав лении +ĠÑĥÑģÑĤанов или +ĠÑĥÑĤвеÑĢжд аÑĤÑĮ +ĠÑħаÑĢакÑĤеÑĢ но +ĠÑĩинов ников +ĠÑįкв иваленÑĤ +ĠÑįÑĦÑĦекÑĤив нÑĭ +бомб аÑĢдиÑĢов +ĠÐĹ Ð°ÑģлÑĥженнÑĭй +ĠСоедин еннÑĭÑħ +ĠУнивеÑĢÑģ иÑĤеÑĤ +ĠамеÑĢикан ÑĨев +ĠвозвÑĢаÑī ении +Ġедин ÑģÑĤвенно +ĠжÑĥÑĢналиÑģÑĤ ов +ĠинÑģÑĤÑĢÑĥ менÑĤа +ĠкаÑĩ еÑģÑĤвенно +ĠконÑģÑĤÑĢÑĥк ÑĤив +ĠкоÑģм иÑĩеÑģкиÑħ +ĠкÑĥлÑĮÑĤÑĥÑĢ ного +ĠмаÑĤеÑĢи алÑĮно +ĠмедиÑĨин ÑģкиÑħ +ĠмоÑģков Ñģкого +ĠмÑĥниÑĨип алÑĮн +ĠнÑĢав ÑģÑĤвенно +ĠоÑģÑĤанов илÑģÑı +ĠоÑĦиÑĨи алÑĮном +ĠоÑĦиÑĨи алÑĮнÑĭй +ĠпланиÑĢÑĥ еÑĤÑģÑı +ĠповÑĢежд ениÑı +ĠпопÑĢоб оваÑĤÑĮ +ĠпÑĢедполаг ал +ĠпÑĢедпÑĢиним а +ĠпÑĢимен ÑıÑİÑĤÑģÑı +ĠпÑĢиобÑĢеÑĤ аеÑĤ +ĠпÑĢогÑĢамм иÑģÑĤ +ĠÑĢаÑģпÑĢедел ен +ĠÑĢаÑģÑģмоÑĤÑĢ еÑĤÑĮ +ĠÑĢеализ оваÑĤÑĮ +ĠÑĢÑĥковод ÑģÑĤвÑĥ +ĠÑģегоднÑı ÑĪний +ĠÑģовÑĢемен ник +ĠÑģообÑĢаж ениÑı +ĠÑģоÑħÑĢани лиÑģÑĮ +ĠÑģÑĤоÑĢон ников +ĠÑĤемпеÑĢаÑĤÑĥÑĢ е +ĠÑĤÑĢе ÑĥголÑĮник +ĠÑĥвеÑĢен ноÑģÑĤÑĮ +ĠÑĥполн омоÑĩен +ĠÑĥпÑĢав лением +пÑĢоÑĦеÑģÑģ ионал +ĠÐķкаÑĤ еÑĢинбÑĥÑĢг +ĠÐĿаÑĨионалÑĮ ной +ĠЦенÑĤÑĢ алÑĮного +ĠвоенаÑĩ алÑĮник +ĠгенеÑĢ алÑĮного +ĠгÑĢаждан Ñģкого +ĠдепаÑĢÑĤ аменÑĤа +ĠединÑģÑĤвен ной +ĠеÑģÑĤеÑģÑĤвен нÑĭм +Ġзакон опÑĢоекÑĤ +Ġзап ланиÑĢован +ĠзнаÑĩиÑĤелÑĮ нÑĭе +ĠизгоÑĤов лениÑı +ĠиÑģÑĤоÑĢ иÑĩеÑģкий +Ġнаимен ование +ĠобÑģлÑĥж иваниÑı +ĠопÑĢедел еннÑĭй +ĠоÑĢганиз аÑĨией +Ġпознаком илÑģÑı +ĠпÑĢедоÑģÑĤав иÑĤÑĮ +ĠпÑĢедполаг аем +ĠпÑĢедÑģÑĤав лена +ĠпÑĢедÑģÑĤавлÑı ли +ĠпÑĢедÑģÑĤавлÑı ÑĤÑĮ +ĠÑĢаÑģпоÑĢ Ñıжении +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан Ñı +ĠÑĢекоменд аÑĨии +ĠÑģовокÑĥп ноÑģÑĤÑĮ +ĠÑĥÑģÑĤанов лениÑı +ĠÑĦедеÑĢ алÑĮного +ĠÑįкÑģпеÑĢим енÑĤа +ĠÐĿаÑĨионалÑĮ ного +ĠÐŁÑĢав иÑĤелÑĮÑģÑĤво +Ġзакан ÑĩиваеÑĤÑģÑı +ĠобÑıз аÑĤелÑĮÑģÑĤва +ĠподÑĢаздел ений +ĠпÑĢедÑģÑĤав лений +ĠÑĢазÑĢабоÑĤ Ñĩиков +ĠÑĢаÑģполаг аеÑĤÑģÑı +ĠÑĢаÑģÑģлед ование +ĠÑĢаÑģÑģлед ованиÑı +ĠÑĢекомендÑĥ еÑĤÑģÑı +ĠÑĢодÑģÑĤвен ников +ĠÑģвидеÑĤелÑĮ ÑģÑĤво +ĠÑģпеÑĨи алÑĮноÑģÑĤи +ĠÑģÑĥÑīеÑģÑĤв овании +ĠÑĥвели ÑĩиваеÑĤÑģÑı +ĠÑĥдоволÑĮ ÑģÑĤвием +ĠблагоÑĤвоÑĢ иÑĤелÑĮ +ĠвоÑģÑģÑĤанов ление +ĠконÑĤÑĢол иÑĢоваÑĤÑĮ +ĠÑģамо ÑĥпÑĢавлениÑı +ĠÑģооÑĤвеÑĤÑģÑĤв овал +ĠÑģоÑĤÑĢÑĥдниÑĩ еÑģÑĤво +Ġглав нокомандÑĥÑİÑī +ĠпÑĢаво оÑħÑĢаниÑĤелÑĮ +ĠÑģвидеÑĤелÑĮÑģÑĤв ÑĥÑİÑĤ +ĠÑħаÑĢакÑĤеÑĢиз ÑĥеÑĤÑģÑı +ĠÑħÑĥдожеÑģÑĤвен ного +Ðĵ оÑģÑĥдаÑĢÑģÑĤвенного +ÑģледоваÑĤелÑĮ ноÑģÑĤÑĮ +Ìģ в +Ðij У +Ðij Ñĥ +ÐĴ Ðĺ +Ðĸ ÐĶ +Ðļ Ðij +Ðļ Т +ÐĽ о +Ðľ Ðļ +ÐŁ ÐĽ +Ðł Ðĵ +С Я +Т ÐŁ +Ð¥ ÐĽ +Ц Ðĺ +Ч е +г Ñĩ +н з +п ÑĮ +ÑĢ Ñį +ÑĤ в +ÑĤ ÑĤ +ÑĦ л +Ñĩ н +ÑĬ Ñı +Ñij й +d ol +ĠÐIJ п +ĠÐĴ а +ĠÐĴ н +ĠÐĵ Ðļ +ĠС Ðļ +ĠТ ÐĴ +ĠФ Ñij +ĠШ о +ĠÐŃ Ñģ +ĠЯ к +ĠÑģ е +ĠÑĪ в +ÐĴ оÑĤ +Ðĵ ам +Ðľ оÑĢ +ÐĿ ÐŀÐĴ +ÐŁ оÑģ +Т еÑħ +Ф ил +аг и +ад е +ад ж +аз и +а лÑı +а ÑĥÑĤ +б ад +б иб +в аг +в ик +во Ñİ +вÑĭ Ñģ +г иÑĢ +г иÑĤ +г ÑĥÑĤ +д иÑı +д ÑĨа +д ÑĭÑĪ +еб а +еп о +ж ек +ж Ñijн +з жа +з ло +зÑĭ к +им н +й дÑĥ +к ен +л ÑĥÑĪ +лÑĮ ÑĦ +м еж +м ÑĥÑģ +н га +н ез +н ек +ни в +н кÑĥ +н оÑĤ +н ÑĨа +н ÑijÑĢ +ок е +ол Ñĩ +оÑĢ к +оÑģ н +оÑĤ ÑĤ +п аÑĪ +п ек +п им +Ñģл е +Ñģ оÑģ +Ñģп а +ÑĤ ÑĭÑħ +Ñĥк ÑĤ +ÑĥÑħ о +ÑĦ аг +ÑĦ иÑģ +Ñħ он +Ñĩ ÑĥÑĢ +Ñĩ ÑijÑĢ +ÑĪ аÑĢ +ÑĪ ов +Ñī еп +ÑĮ но +Ñį нÑĮ +ÑİÑĢ к +Ñı Ñīе +ÑijÑĢ д +pol i +tt le +ĠÐIJ бÑĥ +ĠÐij оÑģ +ĠÐij Ñĥк +ĠÐij ÑĥÑĤ +ĠÐĴ еÑĩ +ĠÐĴ иÑĢ +ĠÐĵ лÑĥ +ĠÐĵ Ñĥд +ĠÐĶ ай +ĠÐĶ ÑĢа +ĠÐĶ Ñĥн +ĠÐĸ ÑĥÑĢ +ĠÐļ ок +ĠÐļ Ñĥн +ĠÐĽ ав +ĠÐĽ еÑĢ +ĠÐĽ ид +ĠÐĽ иÑģ +ĠÐĽ ог +ĠÐĽ ом +ĠÐĽ Ñĥн +ĠÐľ аÑģ +ĠÐĿ аг +ĠÐĿ ей +ĠÐŀб е +ĠÐŀб о +ĠÐŁ ÐłÐĺ +ĠÐŁ еÑĩ +ĠÐŁ ил +ĠÐł ен +ĠÐł ок +ĠÐł оÑĤ +ĠС аÑĪ +ĠС ел +ĠС иг +ĠФ ак +ĠÐ¥ ей +ĠЦ ез +ĠЧ ÑijÑĢ +Ġа но +Ġв иÑĤ +Ġв оÑĢ +Ġг ÑĢи +Ġг Ñĥм +Ġг ÑĥÑģ +Ġд ез +Ġз ÑĢÑı +Ġкл е +Ġл еп +Ġл жи +Ġоб н +Ġп ÑĭÑĪ +ĠÑģп и +ĠÑģ Ñĥк +ĠÑģÑİ Ð¶ +ĠÑĤ ез +ĠÑĤÑĭ л +Ðķ дин +Ðŀ Ñģка +С иÑĤи +Сп еÑĨ +ав иÑĪ +ад им +ал Ñĥй +ани м +ан Ñģа +аÑĢ ин +б аÑģÑģ +б лиж +бод ÑĢ +бол е +б ÑĢал +б ÑĮеÑĤ +ваÑĢ ÑĨ +веÑĢ б +в ÑĢед +гÑĢ еб +гÑĢ ев +да ÑģÑĤ +д еÑĤÑĮ +дж ин +ди аг +д оÑģÑĤ +ев оÑģ +ед ов +ед он +еж но +ел еÑĤ +ен ка +енÑĮ ÑĪ +еÑĩ еÑĢ +ж ана +ж нÑĭе +з вал +з ÑĢев +из ем +ика л +ил ев +иÑĢ но +иÑĩ нÑĭ +йд ÑijÑĤ +й ÑĨев +ка ла +к аÑĤа +ки но +кл Ñĥб +кол е +ком а +кÑĢ иÑĤ +кÑĢ ой +лем а +л енÑĤ +л иÑĤа +лÑİ Ð´Ð¾ +м аÑĢа +м ени +мон г +м онд +м Ñĥнд +н деÑĢ +ней ÑĪ +нов о +н ÑĢав +н ÑĤов +н ÑĨев +ов ÑĨÑĭ +ог ов +ож ан +оз еÑĦ +ок ов +ол ок +оÑĤ еÑĢ +п ани +паÑĢ Ñħ +п аÑĤи +п око +пол е +поÑĩ ÑĤ +ÑĢ ека +ÑĢи ÑĨÑĭ +Ñģ вÑıз +Ñģл ал +Ñģ меÑı +Ñģ олÑĮ +Ñģ ÑĢед +Ñģ Ñģон +ÑģÑĤÑĢ е +Ñģ ÑĦеÑĢ +ÑĤ ами +ÑĤоÑĢ и +ÑĤ ÑĢаÑĤ +Ñĥж ин +ÑĥÑĩ ал +ÑĥÑĪ ке +ÑĦ акÑģ +ÑĦ ÑĢаз +ÑĨи на +Ñĩа ев +Ñĩ кой +ÑĪ елÑĮ +ÑĪи нÑĭ +ÑĪ ние +ĠÐIJл ла +ĠÐIJлÑĮ б +ĠÐij акÑĥ +ĠÐij ого +ĠÐijÑĥл г +ĠÐĴ еÑĢа +ĠÐĴ олÑĮ +ĠÐĵ алл +ĠÐĵоÑĢ б +ĠÐĵ ÑĢоз +ĠÐĶ еÑĤи +ĠÐĶж ей +ĠÐĶ обÑĢ +ĠÐĶ Ñĥма +ĠÐĺ деÑı +ĠÐļаз а +ĠÐļ анÑĤ +ĠÐļ ÑĢон +ĠÐĽ иги +ĠÐľ екÑģ +ĠÐľÐ¾ иÑģ +ĠÐĿаÑĪ а +ĠÐĿик о +ĠÐĿоÑĢ в +ĠÐŀп ÑĭÑĤ +ĠÐŀÑĤ ÑĤо +ĠÐŁ оÑĢо +ĠÐŁ ÑĢак +ĠÐł ÑĥмÑĭ +ĠÐłÑĥÑģ ÑĮ +ĠСв ое +ĠС оÑĩи +ĠУ ÑĩиÑĤ +ĠФÑĢ Ñįн +ĠЧа Ñīе +ĠÐŃ ÑĢик +ĠЯ зÑĭк +Ġа Ñĥди +ĠаÑį ÑĢо +Ġб ело +Ġб лÑİд +Ġб ÑĢал +Ġб ÑĢед +Ġв ела +Ġвз Ñıв +Ġвид Ñı +Ġвн ÑĥÑĪ +Ġвов л +Ġвоз ÑĮ +Ġв олÑı +Ġвп ад +Ġв ÑĢаÑī +Ġгип о +ĠгоÑģ п +Ġд аÑĤÑĭ +ĠдÑĢ об +Ġж дÑĥÑĤ +Ġза Ñħв +Ġзон Ñĥ +ĠиÑģ ка +Ġкад ÑĢ +Ġк иÑģÑĤ +Ġкон Ñı +ĠлеÑģ о +Ġлож ÑĮ +Ġл ома +Ġм еÑĤе +Ġм окÑĢ +Ġм онÑĤ +Ġм оÑĤо +Ġм оÑĩе +ĠмоÑī ÑĮ +Ġм ÑĢам +Ġм ÑĥлÑĮ +Ġне ÑıÑģ +Ġоб иж +Ġоб ог +Ġоб Ñĥв +Ġоп ÑĥÑħ +ĠоÑĤ об +Ġп иво +ĠпиÑĪ Ñĥ +Ġп лÑıж +ĠпÑĥÑĤ а +ĠÑĢей д +ĠÑĢÑĭ бÑĥ +ĠÑģад Ñĥ +ĠÑģеÑĢ о +ĠÑģ еÑģÑģ +ĠÑģк он +ĠÑģл ад +ĠÑģм ол +ĠÑģо ÑĥÑģ +ĠÑģп еÑĪ +ĠÑģÑĥм м +ĠÑģÑħ ож +ĠÑĤв оÑı +ĠÑĤ енÑĮ +ĠÑĤип Ñĥ +ĠÑĤÑĢ ой +ĠÑĤÑĥÑĢ е +ĠÑĤ ÑİÑĢк +ĠÑĥ глÑı +ĠÑĥз ел +ĠÑĥз ла +ĠÑĥÑģп е +ĠÑĥ ÑģÑĤа +ĠÑĥ ÑĪла +ĠÑĦ алÑĮ +ĠÑħ вал +ĠÑħ ÑĢом +ĠÑĨаÑĢ е +ĠÑĩ ине +ĠÑĪаг а +ĠÑĪаг и +ĠÑĪ иÑĦÑĢ +ĠÑĪ кал +ĠÑįк зо +ĠÑįп ид +ĠÑįпо Ñħ +ĠÑįÑĤ аж +ĠÑįÑĤ ни +ĠÑį ÑĪел +ÐŀÑģка ÑĢ +ÐŁÐ¾Ñģ ле +ав ÑĤоÑĢ +ав ÑĪий +аем ÑĭÑħ +аков Ñĭ +акÑģ им +анд ии +ани ÑģÑĤ +аÑĤив н +без Ñĥм +беÑĢ ал +бил ей +б Ñĭвал +в аниÑı +вед ем +г нали +гÑĢÑĥж а +г Ñĥман +дад ÑĥÑĤ +д айÑĤе +дв ойн +дÑĥм ал +евиÑĩ а +ег ÑĢад +ел оÑģÑĮ +енд еÑĢ +ен ÑĨиÑı +еÑģÑĤ оÑĩ +еÑĤÑĮ иÑħ +еÑħ ваÑĤ +еÑĪ аÑĤÑĮ +зв аÑĤÑĮ +зд ÑĢав +ив нÑĭй +иг ÑĥÑĢа +ил леÑĢ +иÑĢов к +иÑģ пан +иÑģÑĤ аÑı +иÑģÑĤ ин +кам еÑĢ +ки нÑĥл +ков Ñĭй +кÑĥ лÑıÑĢ +лев аÑı +лев Ñĭе +лей Ñģк +лог ии +лог ом +лÑı дно +лÑı ÑĨиÑı +м анов +мил ли +м оÑĢож +н Ñģкое +он ной +он нÑĭе +оÑģ коп +пад еÑĤ +п еÑĩен +поÑģ ле +ÑĢаз иÑĤ +ÑĢаÑģ но +ÑĢоÑģ ли +ÑĢо ÑħоÑĤ +ÑĢÑı жен +Ñģен ал +ÑģÑĤ Ñĥди +ÑĤ аÑĨиÑı +ÑĤеÑĢ пе +ÑĤол ÑģÑĤ +ÑĤÑĢан Ñģ +ÑĤÑĢ ога +ÑĤÑĭ ÑģÑıÑĩ +Ñĥв ели +Ñħ анов +ÑħоÑĢ ад +Ñĩ аÑĢов +ÑĩаÑĤ Ñĭй +Ñĩик ом +ÑĩиÑĤ ÑģÑı +Ñĩ ного +ÑĪен ко +ÑĪий ÑģÑı +Ñī еÑģÑĤв +Ñīие ÑģÑı +Ñıн ник +ĠÐij ибли +ĠÐijÑĢа Ñĥн +ĠÐĴ олод +ĠÐĴ Ñģлед +ĠÐĶ еÑĢев +ĠÐĶоб ÑĢо +ĠÐĸ елез +ĠÐĹ Ð¾Ð»Ð¾ÑĤ +ĠÐļаз ан +ĠÐļи ева +ĠÐļÑĢÑĭ мÑĥ +ĠÐļÑĥб ок +ĠÐľÐµÑģÑĤ о +ĠÐľÐ¸Ð½ Ñģк +ĠÐľÐ¾Ð½ ÑĤе +ĠÐŀб ÑĢаÑĤ +ĠÐŀп ÑıÑĤÑĮ +ĠÐŁ амÑıÑĤ +ĠÐŁ олÑĮÑĪ +ĠÐŁÑĢав о +ĠÐŁÑĢо из +ĠС ибиÑĢ +ĠСк оÑĢо +ĠСк оÑĤÑĤ +ĠСоб оÑĢ +ĠСÑĤа ли +ĠСÑĥ воÑĢ +ĠУ лиÑĨа +ĠФÑij доÑĢ +ĠЧеÑħ ов +Ġави ак +Ġак ÑĤов +Ġан ÑĤен +Ġан ÑĤиÑģ +ĠаÑĤ леÑĤ +ĠбаÑĪ нÑı +ĠваÑĪ ем +Ġв двое +ĠвеÑĤ ви +Ġвз Ñıла +Ġвол ей +Ġволн Ñĥ +Ġвол ок +Ġв оÑĢов +ĠвÑĢед а +ĠвÑģп ÑĭÑħ +ĠвÑĭ вел +ĠвÑĭ дал +ĠвÑĭп ад +ĠвÑĭ ÑĤеÑģ +Ġглав Ñĥ +ĠдиÑĢи ж +ĠдиÑģ ка +Ġдом ик +ĠдÑĥÑħ ом +Ġе паÑĢÑħ +Ġжан ÑĢа +Ġж дали +Ġжени Ñħ +Ġзаб оÑĢ +Ġзам еÑĢ +ĠзаÑĢ Ñıж +ĠзеÑĢ но +Ġиг ноÑĢ +Ġказ аÑħ +ĠкиÑĪ еÑĩ +ĠкоÑģÑĤ ÑĢ +ĠкÑĢа ев +ĠкÑĥп ол +ĠкÑĥÑĢÑģ е +Ġлаг еÑĢ +ĠлиÑĨ ам +Ġли ÑĪил +Ġлод ок +Ġмал ой +Ġм ÑĥлÑĮÑĤ +ĠмÑĥÑģ оÑĢ +Ġнад еÑı +Ġнам ек +ĠнаÑĪ ла +Ġнез ам +ĠнеÑĦ ÑĤе +Ġно ÑģÑıÑĤ +Ġоб еда +Ġоб обÑī +Ġоб ÑĢÑĭв +Ġоб ÑĭÑģк +Ġог нев +ĠоÑģ ени +ĠоÑĤ ваÑĢ +ĠоÑĤ ÑģÑĤа +ĠоÑĤ ÑĩÑijÑĤ +ĠпаÑĢ ке +Ġпл еÑĩи +Ġпог он +Ġпол ки +ĠпоÑĢ ок +ĠпоÑĢ оÑħ +ĠпоÑĢ ÑĤа +ĠпоÑģÑĤ Ñĭ +ĠпоÑĩ ве +ĠпоÑĩ вÑĭ +Ġпо ÑĪло +ĠпоÑıв и +ĠпÑĢав е +ĠпÑĤи ÑĨа +ĠÑĢаÑģ па +ĠÑĢÑĥб лÑı +ĠÑĢÑĥм Ñĭн +ĠÑĢÑıд ов +ĠÑģал аÑĤ +ĠÑģамо Ñĥ +ĠÑģе анÑģ +ĠÑģеÑĢ ÑĤи +ĠÑģеÑĤ ей +ĠÑģк веÑĢ +ĠÑģк оÑĤа +ĠÑģлав Ñĥ +ĠÑģм аÑĢÑĤ +ĠÑģм ело +ĠÑģмеÑģ и +ĠÑģниз Ñĥ +ĠÑģпаÑģ а +ĠÑģп ине +ĠÑģп инÑĥ +ĠÑģпоÑĢ Ñĭ +ĠÑģÑĢед а +ĠÑģÑĤ ÑĢÑĥн +ĠÑģÑĥд ей +ĠÑģÑĥд ÑĮи +ĠÑģÑĨ ена +ĠÑģÑĩеÑĤ Ñĥ +ĠÑĤам ож +ĠÑĤво ей +ĠÑĤв ÑijÑĢд +ĠÑĤез иÑģ +ĠÑĤеп ла +ĠÑĤеÑĢ мо +ĠÑĤи ÑĢаж +ĠÑĤи ÑĢан +ĠÑĤкан ÑĮ +ĠÑĤол ка +ĠÑĤол па +ĠÑĤол пÑĭ +ĠÑĤоп оÑĢ +ĠÑĤÑĢав Ñĭ +ĠÑĤÑĢ аÑģÑģ +ĠÑĤÑĢÑĥ бÑĭ +ĠÑĥг лÑĥб +ĠÑĥд оÑģÑĤ +ĠÑĥм олÑĩ +ĠÑĥ ÑģеÑĢд +ĠÑĥÑģÑĤ аÑĢ +ĠÑĥÑģÑĤÑĮ Ñı +ĠÑĦайл Ñĭ +ĠÑĦак ÑĤÑĥ +ĠÑĦÑĢаз Ñĭ +ĠÑĨел Ñĭе +ĠÑĨел ÑĭÑħ +ĠÑĨен ой +ĠÑĩеÑĪ Ñģк +ĠÑĩиÑģ ли +ĠÑĩÑĥж ой +ĠÑĪаг ов +ĠÑĪÑĤ аÑĤе +ак адем +аÑĤоÑĢ ии +бег аÑĤÑĮ +беж аÑĤÑĮ +в еÑĪива +во оÑĢÑĥж +вÑıз аÑĤÑĮ +глÑı нÑĥл +дÑĥм Ñĭва +ем оÑģÑĤÑĮ +енд анÑĤ +енÑĮ кий +запад е +зд оÑĢов +ив алÑģÑı +ий Ñģким +иÑĢов кÑĥ +иÑĤ ивно +иÑĩ ного +клÑİÑĩ ен +кнов ен +кол еба +кÑĢов ен +лен наÑı +леÑĤ еÑĤÑĮ +лив аÑĤÑĮ +лива ÑİÑĤ +моÑĤÑĢ им +на ÑĨиÑģÑĤ +ней ÑĪий +ним аеÑĤ +ноÑģÑĤ но +нÑĥÑĤ ÑĢен +об лаÑģÑĤ +ов Ñģкие +оналÑĮ д +оÑĢон не +оÑĩ ками +пиÑĪ иÑĤе +пол лон +пÑĢ евоÑģ +пÑĥÑģÑĤ ив +ÑģеÑĢ ваÑĤ +ÑģлÑĥж ба +ÑģлÑĥж еб +Ñģп еÑĪно +ÑģÑĤав ил +ÑģÑĤоÑı ÑĤÑĮ +ÑģÑĤÑĢа ли +ÑģÑĤÑĢо ил +ÑģÑĭп аÑĤÑĮ +ÑĤеÑĢ пим +ÑĤеÑĢ ÑĢоÑĢ +ÑĤ олÑĮко +ÑĤоÑĩ нÑĭе +ÑĨенÑĤ ÑĢи +ÑĩеÑģ кÑĥÑİ +Ñĩ еÑģÑĤве +ÑĩеÑģÑĤ еÑĢ +Ñĩ ноÑģÑĤÑĮ +ÑĪед ÑĪие +ÑĪед ÑĪиÑħ +ÑĪин ÑģÑĤв +ÑıÑīий ÑģÑı +Ñijн ного +ĠÐIJнгли Ñİ +ĠÐijел ого +ĠÐijоÑĢиÑģ а +ĠÐĴаÑĢ ÑĪав +ĠÐĴеÑĢÑħ не +ĠÐĵÑĢÑĥпп а +ĠÐĽÐ°ÑĤв ии +ĠÐľÐ°ÑĢ гаÑĢ +ĠÐľÐ°ÑĤ еÑĢи +ĠÐľÐ¾Ð» дав +ĠÐŀÑģ енÑĮÑİ +ĠÐŁÑĥ ÑĤина +ĠÐłÐµÐ² олÑİ +ĠЧаÑĢ лÑĮз +Ġав аÑĢии +ĠадÑĢеÑģ Ñĥ +ĠбаÑģ кеÑĤ +Ġбел ков +Ġбен зин +ĠболÑĮ но +Ġб ÑĢоÑĪен +ĠбÑĭв ало +ĠбÑĭв ÑĪей +Ġвид ела +Ġвой ной +ĠвоÑģп ал +ĠвÑģÑı кие +ĠвÑĭвод а +ĠвÑĭ йдеÑĤ +ĠвÑĭÑħод е +ĠвÑĭÑıÑģ нÑı +Ġге омеÑĤ +ĠдаÑĤ Ñĩик +ĠдвоÑĢ ÑĨе +Ġде ÑĦекÑĤ +ĠдиÑĦ ÑĦеÑĢ +Ġдоб Ñĭва +ĠдоÑħод Ñĭ +ĠдÑĢак он +ĠдÑĢев не +ĠдÑĥм али +ĠдÑĥм аÑİÑĤ +ĠдÑĮÑıв ол +Ġжел аем +ĠзапаÑģ Ñĭ +ĠзаÑī иÑĤа +ĠзаÑī иÑīа +Ġиз гнан +Ġизмен Ñı +Ġкажд Ñĭе +Ġкл авиÑĪ +ĠклÑĥб ом +Ġкноп кÑĥ +ĠкнÑıз ей +Ġкон ÑĤоÑĢ +ĠкоÑģÑĤ ей +ĠкÑĢи Ñĩал +ĠкÑĢÑĭ лÑĮÑı +ĠкÑĥÑĢ оÑĢÑĤ +ĠлÑĥÑĩ ÑĪее +ĠлÑijÑĤ Ñĩик +Ġмал ейÑĪ +ĠмаÑģÑģ ой +ĠмеÑģÑı ÑĨÑĭ +ĠмеÑĩ ÑĤал +ĠмонÑĤ аж +ĠмÑĢам оÑĢ +ĠмÑĥзÑĭ ке +ĠмÑĥлÑĮ ÑĤи +Ġнав еÑĢÑħ +ĠнавÑĭ ки +Ġналог а +ĠнаÑĢÑĥж Ñĥ +Ġна ÑģÑĤав +Ġнед еле +Ġниз кой +Ġни кÑĥда +ĠобÑĢаÑī а +Ġоб ÑĢÑĥÑĪи +Ġодеж да +ĠоÑĢÑĥд ие +ĠоÑģв еÑīа +ĠоÑģ озна +ĠоÑģ Ñĥжда +ĠоÑħÑĢан е +ĠпалÑĮ ÑĨÑĭ +ĠпаÑĤ енÑĤ +ĠпеÑĩ ени +ĠпиÑģ ала +ĠплоÑģ ко +Ġпод аÑĤÑĮ +Ġпод вал +Ġпод веÑģ +Ġпод зем +Ġпож аÑĢа +ĠполоÑģ а +Ġпоп ÑĢоÑģ +ĠпоÑĤ еÑĢÑĮ +ĠпоÑĩ ÑĤов +ĠпоÑįÑĤ ов +ĠпÑĢием Ñĭ +ĠпÑĢиÑĪ Ñijл +ĠпÑĢод ел +ĠпÑĢоÑĢ ок +ĠпÑĢоÑĢ Ñĭв +ĠпÑĢ оÑĩно +ĠпÑĢ Ñĥжин +ĠÑĢади ÑĥÑģ +ĠÑĢег ÑĥлÑı +ĠÑĢеп лик +ĠÑĢоÑģÑĤ ом +ĠÑģим паÑĤ +ĠÑģказ ки +ĠÑģк елеÑĤ +ĠÑģкÑĢип ÑĤ +ĠÑģлÑĥж еб +ĠÑģ новид +ĠÑģобак Ñĥ +ĠÑģовеÑĤ Ñĥ +ĠÑģов еÑĤÑĭ +ĠÑģоÑĢ ока +ĠÑģÑĤав ÑıÑĤ +ĠÑģÑĤаÑĢ Ñĭм +ĠÑģÑĤвол а +ĠÑģÑĤо ило +ĠÑģÑĤ оÑĢож +ĠÑģÑĤÑĢо ил +ĠÑģÑİж еÑĤа +ĠÑĤан ÑĨев +ĠÑĤ енниÑģ +ĠÑĤкан ей +ĠÑĤоп лив +ĠÑĤÑĢав мÑĭ +ĠÑĤÑĢеÑĤÑĮ Ñı +ĠÑĥвид ев +ĠÑĥгÑĢоз а +ĠÑĥкÑĢа ÑĪа +ĠÑĥлиÑĨ аÑħ +ĠÑĥÑĩени к +ĠÑĥÑıзв им +ĠÑĦиз ико +ĠÑĦина ла +ĠÑĦонд ов +ĠÑĦоÑĢм аÑħ +ĠÑħод или +ĠÑħÑĢон ик +ĠÑĨ еннÑĭÑħ +ĠÑĩеÑĢ ной +ĠÑįкÑĢан а +ĠÑįÑĪел он +ĠÑİ Ð½Ð¾ÑģÑĤи +ÐĹолоÑĤ аÑı +ÐļÑĢаÑģ нÑĭй +Фил оÑģоÑĦ +авÑĤ оном +бак ÑĤеÑĢи +бел оÑĢÑĥÑģ +веÑĢÑĤ Ñĭва +вод ÑıÑĤÑģÑı +говоÑĢ ил +гÑĢам маÑĤ +двин ÑĥÑĤÑĮ +деÑĢж аÑĤÑĮ +дÑĥм айÑĤе +еÑĤ иÑĩеÑģк +из иÑĢÑĥеÑĤ +каз аниÑı +кÑĢ ÑĭваеÑĤ +ли беÑĢал +моÑĢож ен +неÑģ ение +н омеÑĢно +обÑĢаж ен +овал аÑģÑĮ +ов алиÑģÑĮ +оÑģÑĤ оÑĢож +помина Ñİ +пÑĢо ÑĨеÑģÑģ +пÑĥÑģк аÑĤÑĮ +пÑĥÑģка ÑİÑĤ +п ÑĥÑģÑĤили +ÑĢад оÑģÑĤн +Ñģел ение +ÑģлÑĥÑĪ аÑĤÑĮ +ÑģÑĤеÑĢ оид +ÑģÑĤÑĢа ива +ÑģÑĤÑĥп аÑİÑĤ +ÑĤиÑĢов ан +ÑĤÑĢ еÑĤÑĮиÑħ +Ñĭв аÑĤÑĮÑģÑı +ĠÐIJÑĢиÑģÑĤ оÑĤ +ĠÐĴеÑĩ еÑĢом +ĠÐĵеоÑĢг иÑı +ĠÐĵлав нÑĭм +ĠÐĵоÑģ пода +ĠÐļали нин +ĠÐļали ÑĦоÑĢ +ĠÐļом иÑĤеÑĤ +ĠÐĽÐµÑĢ монÑĤ +ĠÐĽÐ¾Ð¼ оноÑģ +ĠÐľÐ°Ðº едон +ĠÐľÐ¸Ð½Ð¸ÑģÑĤ ÑĢ +ĠÐĿаÑĤалÑĮ Ñı +ĠÐĿе Ñĥжели +ĠÐĿик огда +ĠÐŀк ÑĤÑıбÑĢÑĮ +ĠÐŁ онÑıÑĤно +ĠÐŁÑĢин ÑĨип +ĠÐłÐ¾Ð¼ анов +ĠÐł Ñĥковод +ĠÐłÑĥмÑĭ нии +ĠСовеÑĤ ов +ĠСок олов +ĠТаÑĤÑĮÑı на +ĠÐ¥ÑĢиÑģÑĤ оÑģ +ĠÐŃлекÑĤ ÑĢо +ĠЮ гоÑģлав +ĠЯков лев +ĠагÑĢ егаÑĤ +Ġад екваÑĤ +Ġбел оÑĢÑĥÑģ +Ġбоев ого +ĠболÑĮ ной +ĠбÑĥдÑĥÑī ей +ĠбÑĥдÑĥÑī иÑħ +Ġвзаим но +Ġвзаим оÑģ +ĠвÑĭд елил +ĠвÑĭз вали +ĠвÑĭÑħод ÑıÑĤ +ĠгеÑĢÑĨ ога +Ġгим наÑģÑĤ +ĠглÑĥб ина +ĠговоÑĢ им +ĠгоÑĢ ожан +ĠгÑĢаниÑĨ а +Ġдев оÑĩки +ĠдевÑĥÑĪ кÑĥ +ĠдеÑĤ ÑģкиÑħ +ĠдеÑĤ Ñģкой +Ġдиаг ноз +Ġдоб илÑģÑı +Ġдоказ ал +Ġдоп ÑĥÑīен +ĠдÑĭÑħ аниÑı +Ġедин иÑĨа +Ġжен Ñģкой +Ġзав ÑĤÑĢак +Ġза имÑģÑĤв +ĠзакÑĢÑĭ ÑĤÑĭ +Ġзап олнÑı +Ġза ÑĢабоÑĤ +ĠзаÑħв аÑĤа +ĠзаÑīиÑĤ ил +ĠзаÑıвлÑı л +ĠзеÑĢка ло +Ġизмен ен +Ġиме ÑİÑīим +Ġинд ивид +Ġказ аков +ĠкаÑĢÑĮеÑĢ е +Ġкол окол +Ġком едии +Ġкомп акÑĤ +Ġкон веÑĢÑĤ +ĠкÑĢиÑĤ икÑĥ +ĠкÑĢÑĥп ной +ĠкÑĢÑĥп нÑĭм +ĠлиÑĤов Ñģк +Ġли ÑĪениÑı +ĠмиÑĦ олог +Ġмлад ÑĪий +ĠнагÑĢад Ñĭ +Ġнаг ÑĢева +Ġнадеж да +Ġнаде ÑİÑģÑĮ +Ġнад пиÑģÑĮ +ĠназнаÑĩ а +Ġнам еÑĢев +Ġнан еÑģÑĤи +ĠнаÑĢÑĥÑĪ ен +ĠнаÑĥÑĩ нÑĭм +Ġна Ñħодим +ĠнемеÑĨ ко +ĠномеÑĢ ом +ĠобÑĢаз еÑĨ +ĠобÑĢаз ÑĨÑĭ +Ġоб ÑĢеÑĩен +ĠобÑĭÑĩ нÑĭе +ĠобÑĭÑĩ нÑĭй +Ġож еÑģÑĤоÑĩ +Ġоказ Ñĭва +ĠопиÑģ аÑĤÑĮ +ĠоÑģв еÑīен +ĠоÑĤвеÑĩ аÑİ +ĠоÑĤлиÑĩ иÑı +Ġпа ÑĢазиÑĤ +ĠпаÑĢÑĤ нÑijÑĢ +ĠпеÑĢв омÑĥ +ĠпеÑĢед ел +ĠпеÑĢеж ил +ĠпеÑĢеÑĪ ла +ĠпиÑĢам ид +ĠпиÑģÑĮ мен +Ġплан еÑĤе +Ġплем ена +Ġповез ло +Ġпов еÑģÑĤÑĮ +ĠподаÑĢ ил +Ġпод кÑĢеп +Ġподним а +ĠподÑĬ езд +Ġпозд ней +ĠпокÑĢÑĭ ÑĤÑĭ +Ġпом еÑīен +ĠпопÑĭÑĤ ке +ĠпопÑĭÑĤ ок +ĠпоÑĢÑĥÑĩ ил +ĠпоÑģ еÑīал +ĠпоÑħ иÑīен +ĠпÑĢеÑĢ Ñĭва +ĠпÑĢиз Ñĭва +ĠпÑĢиказ а +ĠпÑĢиÑģÑĤ ав +ĠпÑĢиÑħод а +ĠпÑĢод аÑĤÑĮ +ĠпÑĢоÑģ веÑĤ +ĠпÑĢоÑģ иÑĤÑĮ +ĠпÑĢоÑĩ его +ĠÑĢазвиÑĤ Ñĭ +ĠÑĢаздел а +ĠÑĢазм нож +ĠÑĢаз ного +ĠÑĢан него +ĠÑĢаÑģ пÑĢав +ĠÑĢаÑģÑģ веÑĤ +ĠÑĢаÑģÑģе Ñıн +ĠÑĢаÑģÑĤ еÑĢÑı +ĠÑĢаÑģÑĩеÑĤ а +ĠÑĢеак ÑĨиÑİ +ĠÑĢебен кÑĥ +ĠÑĢелиг иÑı +ĠÑĢеп ÑĢеÑģÑģ +ĠÑĢÑĭб олов +ĠÑģбоÑĢ наÑı +ĠÑģвобод е +ĠÑģеÑĢвеÑĢ а +ĠÑģеÑĢвиÑģ а +ĠÑģеÑĢеб ÑĢо +ĠÑģилÑĮ ной +ĠÑģилÑĮ нÑĭÑħ +ĠÑģлÑĭÑĪ аÑĤÑĮ +ĠÑģним аÑĤÑĮ +ĠÑģоб лÑİда +ĠÑģов еÑģÑĤи +ĠÑģогла ÑĪа +ĠÑģозд ано +ĠÑģÑĤал кив +ĠÑģÑĤаÑĤ ÑĥÑģа +ĠÑģÑĤÑĢан ой +ĠÑģÑĤÑĢа ÑģÑĤи +ĠÑģÑĤÑĥп ени +ĠÑģÑĥÑħ опÑĥÑĤ +ĠÑĤаблиÑĨ Ñĭ +ĠÑĤеÑĢ мина +ĠÑĤеÑħни ке +ĠÑĤÑĢак ÑĤоÑĢ +ĠÑĤÑıжел ой +ĠÑĤÑıжел Ñĭм +ĠÑĥбий ÑģÑĤв +ĠÑĥгÑĢоз ой +ĠÑĥкÑĢеп лÑı +ĠÑĥмеÑĢ еÑĤÑĮ +ĠÑĥпÑĢоÑī ен +ĠÑĥÑģлов ие +ĠÑĥÑģпеÑħ ов +ĠÑĥÑĤоÑĩ нил +ĠÑĦеÑĢ менÑĤ +ĠÑĦил олог +ĠÑĦÑĢонÑĤ ов +ĠÑĦÑĥÑĤбол Ñĥ +ĠÑħоÑĢоÑĪ аÑı +ĠÑĨаÑĢ ÑģÑĤва +ĠÑĩаÑģÑĤ ной +ĠÑĩеÑĤвеÑĢ о +ĠÑĪиÑĢок им +ĠÑĪиÑĢок ом +ĠÑĪ оÑĤланд +ĠÑįпид еми +ĠÑįÑĦÑĦекÑĤ а +аÑĢÑĤ аменÑĤ +аÑĤелÑĮ нÑĭе +аÑĤ иÑĩеÑģки +аÑĨион нÑĭе +биб лейÑģк +биÑĢа еÑĤÑģÑı +благ одаÑĢ +вÑĢаÑī ение +говоÑĢ иÑĤÑĮ +диаг ноÑģÑĤ +идеÑĢ ланд +из веÑģÑĤнÑĭ +инд ивидÑĥ +кон ÑģÑĥлÑĮÑĤ +омин аний +пеÑĢ ÑģидÑģк +ÑģÑĤав лÑıеÑĤ +ÑģÑĤÑĢо ении +ÑģÑĤÑĢÑĥк ÑĨиÑı +Ñģ Ñĥждение +ÑĤелÑĮ нÑĭми +ÑĤелÑĮ ÑģÑĤва +ÑħодÑıÑī его +ÑįлекÑĤ ÑĢон +ĠÐijÑĢиÑĤан Ñģк +ĠÐijÑĥлг аков +ĠÐĵлав ного +ĠÐĵоÑĢÑĮ кого +ĠÐĶ агеÑģÑĤан +ĠÐĺÑĢ ландии +ĠÐļом иÑĤеÑĤа +ĠÐļÑĢаÑģно ÑıÑĢ +ĠÐĿоÑĢв егии +ĠÐŁÐ°Ð¼ÑıÑĤ ник +ĠÐŁÑĢоб лема +ĠÐŁÑĢо извод +ĠС веÑĢдлов +ĠЯвлÑı еÑĤÑģÑı +ĠакÑĤив ное +Ġалког олÑĮ +ĠболÑĮ ниÑĨÑĥ +ĠвзглÑıд ов +ĠвклÑİÑĩ иÑĤÑĮ +Ġвозмож нÑĭ +ĠвоÑģ пÑĢоиз +ĠвÑģем иÑĢно +ĠвÑĭдвин Ñĥл +ĠвÑĭз ÑĭваÑĤÑĮ +ĠвÑĭполнÑı л +ĠвÑĭп ÑĥÑģÑĤил +ĠвÑĭÑģÑĤав ке +ĠгÑĢаждан е +ĠгÑĢÑĥпп ами +Ġденеж нÑĭÑħ +ĠденÑĮ гами +ĠдеÑĤ екÑĤив +Ġдиз айнеÑĢ +ĠдоÑģÑĤиг ли +ĠдÑĢев него +Ġедин ÑģÑĤва +ĠепиÑģкоп а +Ġжен Ñģкого +Ġжид коÑģÑĤÑĮ +Ġжизн енно +Ġзаб ÑĭваÑĤÑĮ +Ġзаказ Ñĩик +ĠзамеÑĤ или +Ġзан ÑıÑĤÑĮÑģÑı +ĠзнаÑĩ ении +ĠинÑĨи денÑĤ +ĠиÑģполнÑı л +ĠиÑģÑĤоÑĢ ией +ĠкаÑĢ динал +Ġкомпоз иÑĤ +ĠконÑĤек ÑģÑĤ +ĠкÑĢаÑģ ного +ĠкÑĢим инал +ĠкÑĢиÑĤ иков +ĠлеÑģÑĤ ниÑĨе +ĠлÑİб иÑĤелÑĮ +ĠмаÑģÑĤеÑĢ ов +ĠмеÑĤал лов +Ġмилли онÑĭ +Ġмнож еÑģÑĤв +Ġмон ÑĥменÑĤ +ĠмоÑĢ алÑĮно +ĠмоÑĢ Ñģкого +Ġнаг лÑıдно +ĠнапиÑģ ана +Ġнап омнил +ĠнаÑĢкоÑĤ ик +ĠнаÑģлед иÑı +ĠнеобÑĭ Ñĩай +ĠобÑĢаз ÑĥеÑĤ +ĠобÑī аÑĤÑĮÑģÑı +ĠобÑĬÑıÑģнÑı л +ĠобÑĭÑĩ ного +ĠогÑĢом нÑĥÑİ +ĠоÑĢден ами +ĠоÑĢиенÑĤ иÑĢ +ĠоÑģвобод и +ĠоÑģнов ное +ĠоÑģÑĤÑĢов аÑħ +ĠоÑĤкÑĢÑĭÑĤ ой +ĠоÑĤкÑĢÑĭ ÑĤом +ĠоÑĤобÑĢаж а +ĠоÑĤÑĢаж аеÑĤ +ĠоÑħваÑĤ Ñĭва +ĠпеÑĢем еÑīа +ĠпеÑĢеÑĩ енÑĮ +ĠплоÑīад ÑĮÑİ +Ġподоб ной +Ġпозвол ил +ĠпокÑĥп аÑĤÑĮ +ĠполÑĥÑĩ ило +Ġпомог аÑĤÑĮ +Ġпоним али +ĠпоÑģлÑĥж ил +ĠпоÑģÑĤÑĢо ил +ĠпÑĢе Ñĥвели +ĠпÑĢивод ÑıÑĤ +ĠпÑĢидвоÑĢ н +ĠпÑĢин еÑģÑĤи +ĠпÑĢоÑģ моÑĤÑĢ +ĠпÑĢоÑĦ ÑģоÑİз +ĠпÑĢоÑĨед ÑĥÑĢ +ĠпÑĢоÑĨеÑģÑģ Ñĥ +ĠÑĢад оÑģÑĤно +ĠÑĢазлиÑĩ ие +ĠÑĢазм еÑīен +ĠÑĢазÑĢе ÑĪил +ĠÑĢаÑģкÑĢ Ñĭва +ĠÑĢегиона Ñħ +ĠÑĢÑĥÑģ Ñģкими +ĠÑģамол ÑijÑĤа +ĠÑģвÑıÑī енно +ĠÑģилÑĮ ного +ĠÑģимв олов +ĠÑģимвол ом +ĠÑģклад Ñĭва +ĠÑģлаб оÑģÑĤÑĮ +ĠÑģмаÑĢÑĤ ÑĦон +ĠÑģоглаÑģ нÑĭ +ĠÑģомн ений +ĠÑģообÑī иÑĤÑĮ +ĠÑģоÑħÑĢани л +ĠÑģпÑĢоÑģ иÑĤÑĮ +ĠÑģÑĢавн иÑĤÑĮ +ĠÑģÑĢаж ение +ĠÑģÑĢаж ении +ĠÑģÑĤоÑĢон ой +ĠÑģÑĤÑĢо ениÑı +ĠÑģÑĦоÑĢм Ñĥли +ĠÑģÑħод ÑģÑĤво +ĠÑģÑĨен аÑĢиÑı +ĠÑĤанков ой +ĠÑĤелег ÑĢаÑĦ +ĠÑĤелеÑĦ она +ĠÑĤоваÑĢ иÑīа +ĠÑĤоваÑĢиÑī и +ĠÑĥвели Ñĩен +ĠÑĥвеÑĢ енно +ĠÑĥкÑĢеп лен +ĠÑĥмеÑĢ енно +ĠÑĥÑģÑĤÑĢо иÑĤÑĮ +ĠÑĥÑĤвеÑĢд ил +ĠÑĥÑĩиÑĤ ÑĭваÑı +ĠÑĩÑĥвÑģÑĤв ÑĥÑİ +ÐĽ иÑĤеÑĢаÑĤÑĥÑĢ +аÑĤелÑĮ ного +веÑĢ ÑĤикалÑĮ +клад ÑĭваÑİÑĤ +монг олÑĮÑģк +пÑĢазд ниÑĩн +пÑĢевоÑģ Ñħод +пÑĥÑģка еÑĤÑģÑı +ÑģовмеÑģÑĤ им +ÑįнеÑĢгеÑĤ иÑĩ +ĠÐĿаполе она +ĠÐŀказ алоÑģÑĮ +ĠÐŁÐ¾ ÑħоÑĢонен +ĠÐŁÑĢав иÑĤелÑĮ +ĠЮгоÑģлав ии +ĠаÑĤмоÑģÑĦеÑĢ Ñĥ +ĠаÑĤмоÑģÑĦеÑĢ Ñĭ +ĠаÑįÑĢоп оÑĢÑĤа +Ġближай ÑĪее +Ġближай ÑĪие +Ġваж нейÑĪиÑħ +Ġвид имоÑģÑĤи +Ġвозмож нÑĭе +ĠвÑĢажд ебно +ĠвÑĭÑģказ Ñĭва +ĠвÑĭÑģÑĤÑĥп аÑİÑĤ +Ġгол ландÑģк +Ġдав лением +ĠдиамеÑĤ ÑĢом +ĠдобÑĢ аÑĤÑĮÑģÑı +Ġзакон омеÑĢ +ĠзаÑħваÑĤ или +Ġиде ологии +Ġколлек ÑĨии +Ġкон ÑģеÑĢваÑĤ +ĠконÑĤÑĢол ем +ĠконÑĦ игÑĥÑĢа +ĠкÑĢеÑģÑĤÑĮ Ñıне +ĠкÑĥÑģÑĤ аÑĢник +ĠмаленÑĮ каÑı +ĠмаленÑĮ кой +Ġмгнов ение +ĠмеÑħаниз мÑĭ +ĠминиÑģÑĤ ÑĢом +Ġмолод оÑģÑĤи +ĠмонаÑģÑĤÑĭ ÑĢе +ĠмоÑī ноÑģÑĤÑĮÑİ +ĠнаÑģеком ÑĭÑħ +ĠнаÑģлед ник +ĠнаÑģÑĤав ник +Ġна ÑģÑĤÑĢойки +ĠнеболÑĮÑĪ ÑĥÑİ +ĠнезамеÑĤ но +ĠнекоÑĤоÑĢ ой +Ġне опÑĢедел +ĠнÑĥж даеÑĤÑģÑı +Ġодин аковÑĭ +ĠоÑģвоб ожда +ĠоÑģÑĤав лÑıеÑĤ +ĠоÑģÑĤанов ил +ĠоÑĤвеÑĢÑģÑĤ ие +ĠоÑĤделÑĮ ной +ĠоÑĤÑĩеÑĤ ливо +ĠпаÑĨи енÑĤов +ĠпеÑĢен еÑģен +Ġплем Ñıнник +ĠплоÑĤ ноÑģÑĤÑĮ +Ġподвод нÑĭÑħ +ĠподдеÑĢж ал +Ġпозвол или +Ġпокол ений +ĠполÑĥ ÑĦинал +ĠпомеÑī ении +ĠпоÑģÑĢед ник +ĠпоÑģÑĤÑĢо енÑĭ +ĠпоÑģÑĤÑĥп аеÑĤ +ĠпоÑģÑĤÑĥп аÑĤÑĮ +ĠпÑĢедлаг ал +ĠпÑĢед ÑĪеÑģÑĤв +ĠпÑĢедÑĬ ÑıвлÑı +ĠпÑĢигла ÑĪен +ĠпÑĢимен иÑĤÑĮ +ĠпÑĢовод ник +ĠпÑĢожив ало +ĠпÑĢолеÑĤ аÑĢи +ĠпÑıÑĤÑĮ деÑģÑıÑĤ +ĠÑĢадика лÑĮн +ĠÑĢазв иваÑĤÑĮ +ĠÑĢаздел иÑĤÑĮ +ĠÑĢаÑģÑģказ ов +ĠÑĢег ламенÑĤ +ĠÑģвобод ной +ĠÑģвой ÑģÑĤвен +ĠÑģовеÑĢÑĪ аÑĤÑĮ +ĠÑģовеÑĤ ÑģкаÑı +ĠÑģовеÑĤ Ñģкое +ĠÑģозд аеÑĤÑģÑı +ĠÑģообÑī еÑģÑĤв +ĠÑģоÑħÑĢан ÑıÑĤÑĮ +ĠÑģоÑĩеÑĤ ание +ĠÑģоÑĩеÑĤ ании +ĠÑģпÑĥÑĤ ников +ĠÑģÑĢавн ениÑı +ĠÑģÑĤÑĢаниÑĨ аÑħ +ĠÑģÑĤÑĢем илÑģÑı +ĠÑģÑĩиÑĤ алоÑģÑĮ +ĠÑģÑĩиÑĤ аÑĤÑĮÑģÑı +ĠÑĤенден ÑĨии +ĠÑĤенден ÑĨиÑı +ĠÑĥбед иÑĤÑĮÑģÑı +ĠÑĥбежд ениÑı +ĠÑĥголов ное +ĠÑĥказ аннÑĭÑħ +ĠÑĥмолÑĩ аниÑİ +ĠÑĥникалÑĮ но +ĠÑĥÑģÑĤÑĢа ивал +ĠÑĦеÑģÑĤ ивалÑı +ĠÑĦиз иÑĩеÑģки +ĠÑĦилоÑģоÑĦ иÑı +ĠÑĩÑĢез меÑĢно +ĠÑįкÑģпеÑĢÑĤ ов +гоÑģÑĥдаÑĢ ÑģÑĤв +гÑĥб еÑĢнаÑĤоÑĢ +иÑģÑĤ иÑĩеÑģкий +иÑģÑĤ иÑĩеÑģкиÑħ +оÑģ ÑĥÑīеÑģÑĤвлÑı +пÑĢом ежÑĥÑĤоÑĩ +ÑģÑĥÑīеÑģÑĤв ова +ĠÐĵоÑģÑĥдаÑĢ ÑģÑĤв +ĠÐĶоÑģÑĤ аÑĤоÑĩно +ĠÐļ олиÑĩеÑģÑĤво +ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢад е +ĠÐľÐ¾Ñģков Ñģком +ĠÐłÐµÐ·ÑĥлÑĮÑĤаÑĤ Ñĭ +ĠавÑĤомоб или +Ġанглий ÑģкиÑħ +ĠвÑĭполн ении +Ġдвен адÑĨаÑĤÑĮ +ĠдейÑģÑĤвиÑı ми +ĠдиÑĢекÑĤ оÑĢов +ĠдиÑĦÑĦеÑĢ енÑĨи +Ġдополн ение +ĠзаÑĢÑĥбеж нÑĭÑħ +ĠинÑĤеÑĢеÑģ ÑĥеÑĤ +ĠиÑģпÑĭÑĤ ÑĭваеÑĤ +ĠколиÑĩ еÑģÑĤвÑĥ +ĠкомпоненÑĤ Ñĭ +ĠконÑģÑĤиÑĤÑĥ ÑĨи +ĠлиÑĤеÑĢ аÑĤÑĥÑĢÑĥ +ĠменÑĮ ÑĪинÑģÑĤв +ĠмеÑħаниз мов +ĠмÑĥзÑĭкалÑĮ но +ĠнаблÑİд ений +ĠназÑĭваем ой +ĠназÑĭваем ÑĭÑħ +ĠназÑĭваÑİÑĤ ÑģÑı +ĠнапÑĢавлен Ñĭ +ĠнаÑģел ением +ĠнеболÑĮÑĪ ого +ĠнедоÑģÑĤаÑĤ ка +ĠнеобÑħодим Ñĭ +ĠобÑĢаз ÑĥеÑĤÑģÑı +Ġодн ознаÑĩно +ĠопÑĢеделÑı ÑĤÑĮ +ĠопÑĢеделÑı ÑİÑĤ +ĠоÑģнов аÑĤелÑĮ +ĠоÑĤделÑĮ ного +ĠпамÑıÑĤ ников +Ġплани ÑĢовал +Ġпобед иÑĤелÑĮ +ĠпоговоÑĢ иÑĤÑĮ +ĠподгоÑĤов ил +ĠподÑĢоÑģÑĤ ков +Ġпоказ аÑĤÑĮÑģÑı +ĠполномоÑĩ ий +ĠполномоÑĩ иÑı +ĠполÑĥÑĩ еннÑĭÑħ +ĠполÑĮз ÑĥеÑĤÑģÑı +ĠпоÑģÑĤоÑıн нÑĭм +ĠпÑĢедлаг аÑİÑĤ +ĠпÑĢедпÑĢин Ñıл +ĠпÑĢед ÑģÑĤоÑıло +ĠпÑĢедÑĬÑıв лен +ĠпÑĢекÑĢаÑģ нÑĭй +ĠпÑĢеÑģÑĤÑĥп ник +ĠпÑĢи оÑģÑĤанов +ĠпÑĢоблем ами +ĠпÑĢовод ÑıÑĤÑģÑı +ĠпÑĢоиз веÑģÑĤи +ĠпÑĢоиз ойдеÑĤ +ĠпÑĢоÑĤеÑģÑĤ анÑĤ +ĠÑĢазм еÑīениÑı +ĠÑĢазÑĢÑĥÑĪ ениÑı +ĠÑĢаÑģÑģмоÑĤÑĢ ен +ĠÑģлед ÑģÑĤвием +ĠÑģобиÑĢа лиÑģÑĮ +ĠÑģообÑī аеÑĤÑģÑı +ĠÑģооÑĢÑĥж ений +ĠÑģоÑģÑĢедоÑĤ оÑĩ +ĠÑģоÑĨи ализма +ĠÑģпÑĢав иÑĤÑĮÑģÑı +ĠÑģÑĤанов илÑģÑı +ĠÑĦинанÑģ овой +ĠÑĦоÑĤогÑĢаÑĦ иÑı +ĠÑħаÑĢакÑĤеÑĢ нÑĭ +ĠÑħим иÑĩеÑģкиÑħ +ĠÑįлеменÑĤ ами +ÑĤеÑħни ÑĩеÑģкий +ĠÐļонÑģÑĤиÑĤÑĥ ÑĨии +ĠÐŀкÑĤÑıбÑĢÑĮ Ñģкой +ĠболÑĮÑĪев иков +ĠвозвÑĢаÑī ение +ĠвообÑĢаж ение +ĠвÑģÑĤÑĢеÑĤ иÑĤÑĮÑģÑı +ĠвÑĭÑģÑĤÑĥп лений +ĠгенеÑĢ алÑĮнÑĭй +ĠголоÑģ ованиÑı +ĠгоÑģÑĥдаÑĢ ÑģÑĤве +ĠгÑĢаждан ÑģкиÑħ +ĠдейÑģÑĤв овали +ĠдепаÑĢÑĤ аменÑĤ +ĠдиÑģÑģеÑĢÑĤ аÑĨиÑİ +ĠдоÑģÑĤоин ÑģÑĤво +Ġзаболев ание +ĠзаимÑģÑĤв ован +ĠзнамениÑĤ ого +Ġкоманд ÑĥÑİÑīий +ĠкоммеÑĢ ÑĩеÑģки +ĠконкÑĢеÑĤ ного +ĠконÑģÑĤÑĢÑĥк ÑĨиÑı +ĠмеÑħани ÑĩеÑģки +Ġмног окÑĢаÑĤно +ĠмогÑĥÑīеÑģÑĤв ен +ĠнапÑĢав лений +ĠнапÑĢав лениÑİ +ĠнаÑħод ÑıÑīиÑħÑģÑı +ĠнеобÑħодим ое +ĠобеÑģпеÑĩ ивал +ĠобознаÑĩ ениÑı +ĠобÑī еÑģÑĤвенно +ĠогÑĢаниÑĩ ений +ĠоÑģоб енноÑģÑĤÑĮ +ĠоÑģÑĥÑīеÑģÑĤв лен +ĠоÑģÑĥÑīеÑģÑĤв лÑıл +ĠоÑĤпÑĢав илиÑģÑĮ +ĠоÑĤпÑĢав иÑĤÑĮÑģÑı +ĠоÑĦиÑĨи алÑĮной +ĠоÑĦиÑĨи алÑĮнÑĭм +ĠоÑĦиÑĨи алÑĮнÑĭÑħ +ĠпеÑĢÑģпекÑĤив Ñĭ +ĠподгоÑĤов иÑĤÑĮ +ĠподÑĢоб ноÑģÑĤи +ĠподÑĤвеÑĢж ден +ĠполÑĥоÑģÑĤ ÑĢова +ĠполÑĮзов алÑģÑı +ĠпоÑĤÑĢеб лениÑı +ĠпоÑĤÑĢеб ÑĥеÑĤÑģÑı +ĠпÑĢедоÑģÑĤав ил +ĠпÑĢедÑģÑĤавлÑı Ñİ +ĠпÑĢимен ением +ĠпÑĢовод илиÑģÑĮ +ĠпÑĢоÑĤив ников +ĠпÑĢоÑĤив ником +ĠÑĢазв иваÑĤÑĮÑģÑı +ĠÑģамоÑĥбий ÑģÑĤв +ĠÑģовÑĢемен нÑĭй +ĠÑģодеÑĢж анием +ĠÑģооÑĤно ÑĪение +ĠÑģÑĤанов илиÑģÑĮ +ĠÑĤеÑħни ÑĩеÑģкие +ĠÑĤÑĢебовал оÑģÑĮ +ĠÑĥниÑĩÑĤож ение +ĠÑĥниÑĩÑĤож ениÑı +ĠÑĦÑĢанÑĨÑĥз Ñģким +ĠÑįлекÑĤÑĢон ной +полож иÑĤелÑĮно +Ñģ ÑģледоваÑĤелÑĮ +ĠÐIJзеÑĢбайд жана +ĠÐĿаÑĨионалÑĮ нÑĭй +ĠамеÑĢикан ÑģкаÑı +ĠвоÑģпÑĢиним аÑĤÑĮ +ĠвÑĭÑģказ ÑĭваниÑı +ĠединÑģÑĤвен наÑı +ĠединÑģÑĤвен ное +ĠзамеÑĩ аÑĤелÑĮно +ĠзнаÑĩиÑĤелÑĮ нÑĥÑİ +ĠиÑģÑĤоÑĢ иÑĩеÑģкие +ĠиÑģÑĤÑĢеб иÑĤелей +ĠквалиÑĦика ÑĨии +Ġкоманд ÑĥÑİÑīего +ĠнаÑĨионалÑĮ нÑĭй +ĠобÑīеÑģÑĤвен нÑĭй +ĠокÑĢеÑģÑĤ ноÑģÑĤÑıÑħ +ĠоÑģÑĥÑīеÑģÑĤв лÑıÑĤÑĮ +ĠполиÑĤ иÑĩеÑģкаÑı +ĠполиÑĤ иÑĩеÑģким +ĠполиÑĤ иÑĩеÑģкÑĥÑİ +ĠполÑĮзов алиÑģÑĮ +ĠпопÑĥлÑıÑĢ ноÑģÑĤÑĮ +ĠпоÑĤенÑĨи алÑĮно +ĠпоÑĤÑĢеб иÑĤелей +ĠпоÑĤÑĢеб ноÑģÑĤей +ĠпÑĢиÑģпоÑģоб лен +ĠпÑĢоизвод ÑģÑĤвÑĥ +ĠпÑĢоиÑģ ÑĪеÑģÑĤвиÑı +ĠпÑĢомÑĭÑĪлен нÑĭÑħ +ĠпÑĢоÑĤивоÑĢеÑĩ иÑı +ĠÑĢаÑģÑģказ ÑĭваÑĤÑĮ +ĠÑĢаÑģÑģмоÑĤÑĢ ениÑı +ĠÑĢеволÑİÑĨион еÑĢ +ĠÑģоÑĢевнов аний +ĠÑģÑĥÑīеÑģÑĤв овали +ĠÑģÑĥÑīеÑģÑĤв ÑĥÑİÑīиÑħ +ĠÑĤеÑħни ÑĩеÑģкого +ĠÑĤÑĢанÑģпоÑĢÑĤ нÑĭÑħ +ĠÑĥдовлеÑĤвоÑĢ ен +ĠÑĥдоволÑĮ ÑģÑĤвиÑı +ĠÑħÑĢиÑģÑĤиан ÑģÑĤва +ĠÑįкÑģплÑĥаÑĤ аÑĨиÑİ +ĠÑįмоÑĨионалÑĮ но +ĠблагодаÑĢ ноÑģÑĤÑĮ +Ġдополн иÑĤелÑĮно +ĠиндивидÑĥ алÑĮно +ĠинÑĦÑĢа ÑģÑĤÑĢÑĥкÑĤÑĥÑĢ +ĠиÑģполÑĮзов алÑģÑı +ĠмеждÑĥнаÑĢод ном +ĠмеждÑĥнаÑĢод нÑĭм +ĠмÑĥниÑĨип алиÑĤеÑĤ +ĠнезнаÑĩ иÑĤелÑĮнÑĭ +ĠподÑĢазÑĥмев аеÑĤ +ĠподÑĤвеÑĢж дение +ĠпÑĢавиÑĤелÑĮ ÑģÑĤвÑĥ +ĠпÑĢеподав аÑĤелÑĮ +ĠпÑĢиÑģÑĥÑĤÑģÑĤв овал +ĠÑĢаÑģполож еннÑĭй +ĠÑĢаÑģполож еннÑĭÑħ +ĠÑĢаÑģпÑĢедел ение +ĠÑĢаÑģпÑĢедел ениÑı +ĠÑģÑĤиÑħоÑĤвоÑĢ ение +ĠÑģÑĤиÑħоÑĤвоÑĢ ениÑı +демонÑģÑĤÑĢи ÑĢовал +ĠÐľÐµÐ¶Ð´ÑĥнаÑĢод ного +ĠвоенноÑģлÑĥж аÑīиÑħ +ĠпÑĢеобÑĢаз ованиÑı +ĠпÑĥÑĤеÑĪ еÑģÑĤвенник +ĠÐĵоÑģÑĥдаÑĢÑģÑĤвен нÑĭй +ĠкапиÑĤ алиÑģÑĤиÑĩеÑģк +пÑĢоÑĦеÑģÑģионалÑĮ нÑĭÑħ +ÑģледоваÑĤелÑĮ ноÑģÑĤи +ĠÐ ¹ +Ìģ м +Ìģ Ñģ +Ðij и +Ðķ ÐĶ +Ðĺ Ðł +Ðļ У +ÐĽ Я +Ðľ Ф +ÐĿ С +ÐŁ Ðĺ +Ðł ÐĶ +Ðł С +Т ÑĢ +У Ðł +Ф ÐĹ +Ф Ðļ +Ч С +ÐŃ Ðº +д д +м ÑĬ +ÑĤ Ñĩ +Ñİ ÑĪ +d or +e au +e ck +e pt +h ur +t um +» ". +ĠÐķ Ñģ +ĠÐĸ и +ĠÐĺ ÑĤ +ĠÐļ ÐIJ +ĠÐļ Ñį +ĠÐŀ Т +ĠС ÐIJ +ĠÐŃ Ð² +Ġд Ñĭ +Ġп Ñı +ĠÑĤ ÑĮ +ÐIJ ÐĿÐĺ +Ðij ез +Ðij оÑĢ +ÐĴ ÐIJТ +ÐĴ аÑĢ +ÐĶ еÑĤ +ÐĶ лÑı +Ðĺ ÑģÑĤ +Ðļ ÐŀÐĴ +Ðľ ал +Ðľ не +ÐĿÐIJ Я +ÐĿÐĺ Ðļ +ÐĿ аÑĪ +Ðŀ СТ +Ðł оÑģ +ТÐŀ Ðł +Т ай +Т ам +Т еÑĢ +Т ÑĢи +Ф ин +ап п +аÑĢ м +аÑĤ ÑĤ +б иÑģ +б ло +б ÑĥÑĤ +в ак +в аÑģ +г аÑĤ +г ел +г из +г ии +г иÑı +г ни +г ÑĥÑģ +д иÑĢ +д ни +д оÑĤ +ев Ñĥ +ек Ñĥ +ем о +еÑĢ п +ж ки +ж но +ж ог +ж оÑĥ +з ак +з ий +ив н +ид ж +й ÑĨÑĭ +к ей +к лÑı +кÑĥ б +к Ñĥн +л ал +ле ÑĨ +лÑĮ д +лÑİ Ðº +лÑı Ñı +л Ñijв +м Ñĥж +н аг +н да +н ÑĨÑĭ +нÑı ж +н Ñijм +н Ñijн +об е +о ем +ом п +оÑĢ Ñĥ +п еÑħ +п ог +ÑĢ ва +ÑĢÑĭ ÑĪ +Ñģп и +Ñģ ÑĥÑĤ +ÑģÑĭ ÑĤ +Ñģ Ñijл +ÑĤ аг +ÑĤ ез +ÑĤ иÑĤ +ÑĤÑĭ ÑĢ +Ñĥж н +Ñĥн ÑĮ +ÑĥÑģ Ñĭ +ÑĥÑħ и +ÑĦ ав +ÑĦ ал +ÑĦ ÑĢо +Ñħ ва +Ñħ ÑĤа +Ñħ Ñĥн +ÑĨа Ñħ +ÑĨи д +ÑĪ еб +ÑĪ ок +Ñī еÑĢ +ÑĬ Ñıв +Ñĭ га +Ñĭл к +ÑĭÑħ а +ÑĭÑĪ к +Ñįл л +Ñıд Ñĥ +Ñıз а +Ñıн Ñģ +Ñıн Ñĥ +ÑijÑĤ н +m ber +ĠÐIJ кÑģ +ĠÐIJк ÑĤ +ĠÐij еÑĤ +ĠÐij иÑĤ +ĠÐij ÑĥÑħ +ĠÐij ÑĥÑĪ +ĠÐĴ ÐľÐ¤ +ĠÐĵ ай +ĠÐĵ ам +ĠÐĵ иб +ĠÐĵ оÑĤ +ĠÐĶ ед +ĠÐĶ ен +ĠÐĶ ÑĥÑĪ +ĠÐĸ ак +ĠÐĹ Ñĥб +ĠÐĺз д +ĠÐĺ мÑı +ĠÐļ ÐĿÐł +ĠÐļ аÑĪ +ĠÐļ ин +ĠÐļ об +ĠÐļ оÑĪ +ĠÐĽ ам +ĠÐĽ ан +ĠÐĽ ед +ĠÐĽ из +ĠÐĽ ок +ĠÐľ ÐĵУ +ĠÐľ ЧС +ĠÐľ ам +ĠÐľ аÑı +ĠÐľ еж +ĠÐľ еÑĤ +ĠÐľ еÑĩ +ĠÐľ Ñİн +ĠÐĿ ÐĺÐĺ +ĠÐĿ еб +ĠÐĿ иÑĨ +ĠÐŀÑĢ д +ĠÐŁ ек +ĠÐŁ ин +ĠÐŁ ла +ĠÐŁ ог +ĠÐł ав +ĠÐł аÑĦ +ĠÐł ег +ĠÐł ог +ĠС аб +ĠС ай +ĠС ей +ĠС он +ĠС оÑģ +ĠТ ек +ĠТ ок +ĠТ он +ĠУ ил +ĠУ Ñĩа +ĠФ ÐłÐĵ +ĠФ ÑĢа +ĠÐ¥ аÑģ +ĠÐ¥ оÑĩ +ĠЦ ÐłÐ£ +ĠЧ ан +ĠЧ Ñĥд +ĠШ оÑĤ +ĠÐŃй н +ĠÐŃÑĢ н +ĠЮ ÑĢÑĮ +Ġг ом +Ġд ай +Ġд аÑĩ +Ġди а +Ġд ÑĭÑĪ +Ġж ад +Ġж ÑĥÑĤ +Ġз ол +Ġи ко +Ġк еÑĢ +Ġк оÑĩ +Ġк ÑĢÑĥ +ĠкÑĢ Ñİ +Ġк Ñĥк +Ġм аз +Ġм оÑĤ +Ġмо Ñij +Ġм ÑĥÑħ +Ġне Ñĥ +ĠоÑĤ з +Ġп ÑĥÑĩ +ĠÑĢ ÑĤа +ĠÑĢ ÑĤÑĥ +ĠÑĢ ÑĭÑĩ +ĠÑģ ев +ĠÑģ ми +ĠÑĤ ÑĥÑĩ +ĠÑĥ кÑĢ +ĠÑĥ кÑģ +ĠÑĥ ÑĤе +ĠÑĥ Ñħо +ĠÑĩ аÑı +ĠÑĩ еÑģ +ĠÑĩ еÑħ +ĠÑĪ еÑĦ +ĠÑĪ ип +ĠÑĪ па +ĠÑĪ ÑĢи +ĠÑį мб +ĠÑįÑĤ н +ÐĿ ово +СÐļ ÐĺÐĻ +СÑĤ аÑĢ +Т иÑħо +Я пон +ад зе +ал ен +ан ÑĤе +ан ÑĮÑı +аÑĤ ай +беÑĢ н +б иÑĤа +б ÑĢов +вед ÑĮ +веÑĤ в +в или +в илÑĮ +вÑĭ ÑĪе +г алÑĮ +г ваÑĢ +г ели +геÑĢ о +ги ей +гон Ñı +гÑĢ об +даÑĢ м +да ÑijÑĤ +д енÑĮ +д нÑıÑı +д оÑĢа +дÑĢ об +дÑĥ ва +ев ÑĥÑİ +ед еÑĤ +еж ÑĥÑĤ +езд Ñĭ +еле ÑĨ +ел ла +ел ло +елÑĮ д +ен еб +еÑĢ ва +еÑĢ ÑĨа +еÑĤ ии +еÑĤ ÑĤи +еÑī ин +ж наÑı +иж Ñģк +из ÑĢа +ил ла +ил ÑĥÑĩ +илÑĮ д +им иÑĢ +иÑĤ ие +иÑĩ ен +иÑĩ на +иÑī ев +кан ÑĨ +ка ÑĢа +к еÑĢа +к лав +к лин +к мен +коÑĢ д +к ÑĤоÑĢ +лег а +леÑĤ к +лов о +лÑĮ ÑĨÑĭ +лÑİ ÑģÑĮ +м анд +меÑĢ Ñģ +мол в +н аÑĤа +ни Ñĩа +ов иÑĨ +ож ил +ол ей +ом он +оÑĩ еÑĢ +оÑĪ Ñijл +оÑī ен +паÑĢ к +п елÑĮ +п енÑģ +п инг +пи ÑĢи +пиÑģ и +пол о +п оÑĢо +пÑĢи з +ÑĢам п +ÑĢан ÑĤ +ÑĢе ал +ÑĢ елÑĮ +ÑĢ ена +ÑĢÑĮ мÑı +Ñģ айÑĤ +Ñģ ион +Ñģк ан +Ñģ ман +ÑģÑĤи л +ÑģÑĥÑĢ д +ÑĤай м +ÑĤи ва +ÑĤи зм +ÑĤи лÑĮ +ÑĤ иÑģÑĮ +ÑĤи Ñħи +ÑĤоÑĢ г +ÑĤ ÑĢал +ÑĤÑĢ еп +ÑĤ ÑĤеÑĢ +ÑĤÑĭ ка +Ñĥд иÑĤ +ÑĥлÑĮ ÑĦ +ÑĥÑĩ аÑı +ÑĥÑĩ еб +ÑĥÑī аÑı +ÑĥÑī ее +ÑĦил д +Ñħ аÑĢд +Ñħ лад +ÑĨев а +ÑĩаÑĤ к +Ñĩ ева +Ñĩ ÑĤен +ÑĪа ÑĦÑĤ +ÑĪ нÑıÑı +Ñĭ ган +ÑĭÑģ ок +ÑĮ его +Ñįк Ñģп +ÑıÑī ее +ÑıÑī ÑĥÑİ +ÑijÑģÑĤ к +ĠÐIJÑĢ Ñħи +ĠÐij алÑĮ +ĠÐij еÑĢг +ĠÐĴа ÑĪи +ĠÐĴ еÑģÑĤ +ĠÐĴ ÑģеÑĢ +ĠÐĵ енн +ĠÐĵ илÑĮ +ĠÐĵ ÑĢом +ĠÐĶж ен +ĠÐĶж им +ĠÐĶ ÑĥмÑĭ +ĠÐķв ÑĢо +ĠÐĸ ела +ĠÐļ алÑĮ +ĠÐļ инг +ĠÐļип ÑĢ +ĠÐļ ÑĢÑĥг +ĠÐļ ÑĥÑĢÑģ +ĠÐĽ иÑģÑĤ +ĠÐľÐ°Ñģ л +ĠÐľ ÑĥÑĢа +ĠÐĿи же +ĠÐĿ Ñĭне +ĠÐĿ ÑĮÑİÑĤ +ĠÐŀд ни +ĠÐŀ мÑģк +ĠÐŀÑģ ип +ĠÐŁÐ°Ð¿ а +ĠÐŁÐµÑĢ Ñĥ +ĠÐŁÑĢ ив +ĠÐŁÑĢ ок +ĠÐŁ ÑģиÑħ +ĠÐł аÑģÑĤ +ĠÐł ожд +ĠС айÑĤ +ĠС алÑĮ +ĠС лÑĥж +ĠС миÑĢ +ĠС оло +ĠСÑĤ ен +ĠСÑĥд Ñı +ĠС ÑĩиÑĤ +ĠТ ÑĢеб +ĠТ ÑĢеÑĤ +ĠУ ÑģÑĤÑĮ +ĠЦ аÑĢÑĮ +ĠЦ енÑĤ +ĠЧ его +ĠЧ иÑģÑĤ +ĠШ еÑģÑĤ +ĠЮ ÑĢиÑı +Ġаз оÑĤ +Ġан ек +Ġа Ñģпи +ĠбиÑĢ ж +Ġв изÑĥ +Ġв инÑĥ +Ġв инÑĭ +ĠвÑģ ад +ĠвÑģп л +Ġгаз о +ĠгоÑĢ Ñİ +ĠгÑĥб Ñĭ +Ġд ало +Ġд еÑĤа +Ġж ÑĢеÑĨ +Ġид ее +Ġиз ол +Ġков ÑĢ +Ġко ем +Ġкон ÑĮ +ĠкÑĢÑĭ Ñģ +Ġк ÑĥлÑĮ +ĠкÑĥп а +ĠкÑĥп е +Ġл анд +Ġл онд +ĠлÑĥÑĩ и +Ġм аÑĢÑĤ +Ġм ега +Ġм еÑĢа +ĠмеÑĤ ÑĢ +Ġмин Ñĥ +ĠмÑĭ ÑĪи +Ġнап ÑĢ +Ġоп ол +ĠоÑĤ оÑĢ +ĠоÑī ÑĥÑĤ +Ġпап Ñĭ +ĠпаÑĢ е +Ġпла ÑĨ +Ġпл ей +Ġпол з +Ġпо об +ĠпоÑĢ Ñĭ +ĠпÑĭ ли +ĠÑģад а +ĠÑģ кÑĥп +ĠÑģл ом +ĠÑģл он +ĠÑģ оло +ĠÑģоÑģ н +ĠÑģп ло +ĠÑģÑĤ аж +ĠÑģÑĤ еÑģ +ĠÑģ ÑĥеÑĤ +ĠÑģÑĥ ÑĪе +ĠÑģÑĬ ед +ĠÑĤаб л +ĠÑĤв ое +ĠÑĥж ин +ĠÑĥз оÑĢ +ĠÑĥ ÑĢод +ĠÑĥ ÑĤом +ĠÑĥÑĩ ил +ĠÑĦоÑĢ Ñģ +ĠÑħл оÑĢ +ĠÑĨаÑĢ Ñİ +ĠÑİ Ð¼Ð¾ÑĢ +ĠÑı дов +ÐĹв езд +Ðļ ÑĥлÑĮÑĤ +С ибиÑĢ +адаÑĩ а +ак ова +анда ÑĪ +аÑĢ нÑĭÑħ +бег ал +беÑĢ га +беÑĢ ем +биÑĢа Ñı +в алÑĮд +вез ен +вен ÑĨи +вод им +вÑıз ки +г возд +гелÑĮ Ñģ +д еÑĢев +дин ав +еб ÑĢÑıн +ем лем +енд Ñĥм +енÑĮ ка +еÑĢ ман +еÑģÑĤ ин +еÑĤ ики +ж елез +ж ивал +иаÑĤ ÑİÑĢ +ивал е +ив алÑĮ +ид енÑĤ +из биÑĢ +из мен +имв ол +иÑĨи зм +й ÑģкаÑı +каз ав +ков ан +коÑĢ ен +лев Ñĭм +леÑĤ иÑİ +лив Ñĭм +лог ов +лож ив +лÑĮ мен +лÑĮ ÑĨев +лÑİ ÑģÑĤÑĢ +лÑı ÑĢов +маÑĢ ин +менÑĮ ÑĪ +мин ÑĥÑĤ +мо емÑĥ +мол ек +н амен +нд екÑģ +ним ал +нов ой +нов ÑĭÑħ +об еÑīа +обÑĭÑĤ н +о иÑĤÑģÑı +ок оло +оÑĢÑĥж и +оÑĨи кл +оÑĩ айÑĪ +оÑĩ ном +оÑıÑĤ ÑģÑı +па ÑĢад +паÑĤ ÑĢи +пл азм +пол иÑģ +ÑĢав нÑı +ÑĢаÑī ен +ÑĢилÑĮ и +ÑĢоÑģ ло +ÑĢоÑģÑĤ Ñĥ +Ñģ бÑĥÑĢг +Ñģк ÑĢом +Ñģл аÑĤÑĮ +Ñģ меÑĢÑĤ +ÑģÑĤ нÑĭе +ÑģÑĤ ÑĢий +ÑĤ веÑĢд +ÑĤек ÑģÑĤ +ÑĥÑĩ или +ÑĦав иÑĤ +ÑĦ едеÑĢ +ÑĦик аÑĤ +ÑĦÑĦ екÑĤ +ÑħÑĥд ож +ÑĩаÑĤ Ñĭе +Ñĩ еÑģÑĤи +Ñĩин ой +Ñĩ нÑĭми +ÑĪ колÑĮ +Ñīий ÑģÑı +ÑĮ евиÑĩ +ÑĮ нÑĭми +ÑıÑī ими +ĠÐIJб дÑĥл +ĠÐIJб ÑĢам +ĠÐIJл лаÑħ +ĠÐIJÑĢ ÑĤем +ĠÐĴ адим +ĠÐĴ дÑĢÑĥг +ĠÐĴ енеÑĢ +ĠÐĵол Ñĥб +ĠÐĶ обав +ĠÐĺлÑĮ ин +ĠÐĺÑĢан а +ĠÐĺ ÑĢина +ĠÐļак аÑı +ĠÐļ онÑĤÑĢ +ĠÐĽ азаÑĢ +ĠÐľÐ°Ðº аÑĢ +ĠÐľ олод +ĠÐľÑĥз Ñĭк +ĠÐĿ овÑĭе +ĠÐŀд еÑģÑģ +ĠÐŀд ной +ĠÐŁÐµÑĢ Ñģи +ĠÐŁÐµÑĤ еÑĢ +ĠÐŁ Ñģков +ĠСим он +ĠСлав Ñĭ +ĠС олов +ĠСÑĥп еÑĢ +ĠТек ÑģÑĤ +ĠТим оÑĦ +ĠТок ио +ĠТ ÑĢамп +ĠУз бек +ĠЧеÑĢ но +Ġа зиаÑĤ +ĠаÑĥди о +Ġб еÑĪен +ĠбиÑĤ ва +Ġб лÑİда +Ġб лÑİдо +ĠбÑĢоÑģ а +Ġб Ñĭвал +Ġвз доÑħ +Ġвожд Ñı +ĠвÑģп ом +ĠвÑģÑİ Ð´Ñĥ +ĠвÑĤоÑĢ г +ĠвÑĭ жив +Ġгом оÑģ +ĠгоÑĢ ло +ĠгÑĢÑĥ нÑĤ +Ġдив ан +Ġдом аÑħ +Ġдом ом +ĠдоÑģ ка +ĠдÑĢам Ñĭ +ĠдÑĥÑĪ ой +Ġжиз не +Ġжил ÑĭÑħ +Ġж илÑĮÑı +Ġж ÑijÑģÑĤк +Ġзав еÑĤ +Ġзак аÑĤ +Ġзал ог +Ġзан Ñıв +Ġза ÑĢаж +Ġза ÑĢаз +Ġзв али +ĠзеÑĢ на +ĠзнаÑĤ н +Ġин жен +ĠиÑģп ол +ĠиÑģп Ñĥг +Ġкв али +Ġк лаÑģÑĤ +ĠкоÑĩ ев +ĠкÑĢÑĭ лÑĮ +ĠкÑĥÑģ ки +ĠкÑĥÑħ не +Ġлев Ñĭй +ĠлеÑģ аÑħ +ĠлеÑģ ов +ĠлиÑģÑĤ а +Ġлож но +Ġл опаÑĤ +ĠлÑĮ гоÑĤ +Ġмак ÑĢо +Ġмеди а +ĠмеÑĩ ÑĤÑĭ +Ġмо ÑĪен +Ġнад об +Ġна леÑĤ +ĠнаÑĢ еÑĩ +Ġнеж но +ĠнеÑĢ аз +ĠнеÑģ ÑĥÑĤ +Ġног аÑħ +ĠноÑĢм а +Ġоб лом +Ġоп лаÑĤ +Ġоп пон +ĠоÑģл еп +Ġпал Ñĥб +ĠплаÑĤ о +Ġплем Ñı +ĠплеÑĩ о +Ġпод ел +Ġпо иÑģÑĤ +ĠполÑı Ñħ +Ġпом еÑħ +Ġпоп еÑĢ +ĠпоÑĤ оп +ĠпоÑį мÑĭ +ĠпÑĢав Ñĥ +ĠпÑĢед ÑĪ +ĠпÑĢоÑĩ ÑĤ +ĠпÑĢ Ñĭга +ĠпÑı ÑĤеÑĢ +ĠÑĢаб ов +ĠÑĢели з +ĠÑĢ емон +ĠÑĢе ÑĦеÑĢ +ĠÑĢеÑĪ ен +ĠÑĢиÑģ ка +ĠÑĢÑĭÑĩ аг +ĠÑģап ог +ĠÑģаÑĤ иÑĢ +ĠÑģво ев +ĠÑģ двиг +ĠÑģедÑĮ м +ĠÑģен аÑĤ +ĠÑģлез Ñĭ +ĠÑģлов е +ĠÑģл оев +ĠÑģлÑĥж и +ĠÑģмен Ñĭ +ĠÑģмÑı гÑĩ +ĠÑģоб ÑĢа +ĠÑģÑĤаÑĢ о +ĠÑģÑĤ аÑĨи +ĠÑģÑĤен Ñĥ +ĠÑģÑĥÑħ ой +ĠÑģÑĦеÑĢ Ñĥ +ĠÑģÑħ емÑĥ +ĠÑģÑĭ гÑĢа +ĠÑģÑĭÑĢ ÑĮÑı +ĠÑĤай нÑĥ +ĠÑĤеÑģÑĤ а +ĠÑĤол ÑģÑĤ +ĠÑĤÑĢеб Ñĥ +ĠÑĤÑĢ еÑĤи +ĠÑĤÑĥп ик +ĠÑĥбий ÑĨ +ĠÑĥб или +ĠÑĥбиÑĤ Ñĭ +ĠÑĥв лек +ĠÑĥда лÑı +ĠÑĥ клад +ĠÑĥкÑģ ÑĥÑģ +ĠÑĥлÑĭ ба +ĠÑĥÑĢок и +ĠÑĥÑģл ож +ĠÑĥÑĤ опи +ĠÑĦ ÑĢазÑĥ +ĠÑħим ик +ĠÑħод иÑĤ +ĠÑħÑĢам е +ĠÑĩеÑĢ ÑĤа +ĠÑĪаÑĢ ик +ĠÑĪ аÑģÑģи +ĠÑĪÑĢи ÑĦÑĤ +ÐIJн джел +ÐĴаÑĢ ÑĪав +ÐľÐ¾Ñģк ва +Ðŀб ÑĬекÑĤ +ав ÑĪиÑģÑĮ +али ÑģÑĤа +аннÑĭ ми +ап лива +аÑģÑģ оÑĨи +биÑĢа ем +гваÑĢ де +гÑĢÑĥж ен +д аннÑĭе +да ÑijÑĤÑģÑı +движ ен +деÑĢж иÑĤ +ен беÑĢг +запад Ñĥ +из аÑĤоÑĢ +илÑĮ нÑĭй +ин ÑĤенÑģ +иÑĨион н +к авказ +коÑģ мон +кÑĢа ÑĪен +кÑĢÑĭ ÑĤиÑı +лад иÑĤÑĮ +лен ной +лен нÑĭм +леÑĤ ним +леÑĤ нÑİÑİ +лоÑĢ ода +лÑĮ ÑģкаÑı +лÑĮ Ñģкой +май оÑĢа +м акÑģим +меÑĤ ÑĢиÑĩ +н адлеж +наÑĢÑĥж и +нен Ñĥжн +одоÑĢ ог +ожд ени +ож ение +онÑĩ иÑĤÑĮ +оÑĤе аÑĤÑĢ +оÑĩ нÑĭми +пÑĢав да +пÑĢав ка +ÑĢаг ива +ÑĢод олж +ÑĢом иÑģÑģ +Ñģ ажива +Ñģ илÑĮно +Ñģлав Ñıн +Ñģона ла +ÑģÑĤав ив +ÑģÑĤÑĥп аÑı +ÑģÑĩиÑĤ ал +ÑĤеÑĢ еÑĤÑĮ +ÑĤол ков +ÑĤоÑĩ нÑĭÑħ +ÑĨенз ÑĥÑĢ +ÑĩеÑĤ веÑĢ +Ñĩик ами +ÑĪ ников +ĠÐIJнг лиÑı +ĠÐIJ ÑģÑĤÑĢаÑħ +ĠÐijал ÑĤий +ĠÐijибли и +ĠÐĴеÑģ ной +ĠÐĴлад ив +ĠÐĴ нÑĥÑĤÑĢи +ĠÐĴоз ник +ĠÐĴÑģем иÑĢ +ĠÐĵог олÑı +ĠÐĶон еÑĨк +ĠÐķвÑĢоп а +ĠÐķгип ÑĤе +ĠÐķÑģ енин +ĠÐĹ Ð°Ð´Ð°Ñĩа +ĠÐĹв ездÑĭ +ĠÐĺз веÑģÑĤ +ĠÐļаз ани +ĠÐļом мÑĥн +ĠÐļоÑĢ олÑĮ +ĠÐĿаÑĢ ÑıдÑĥ +ĠÐĿÑĮÑİÑĤ он +ĠÐŁÐ¾Ð» ÑĤав +ĠÐŁÐ¾Ñĩ ÑijÑĤн +ĠÐŁÑĢин им +ĠÐŁÑĢи ÑĢод +ĠÐłÐ°Ð· меÑĢ +ĠÐłÐ°Ð½ ÑĮÑĪе +ĠÐłÐµÐ¶ иÑģÑģ +ĠС оÑģÑĤав +ĠТÑĢеÑĤ ий +ĠТÑĢÑĥд но +ĠШÑĤ аÑĤов +ĠÐŃд ваÑĢд +Ġаб ÑģÑĥÑĢд +Ġаг енÑĤа +ĠаккÑĥ мÑĥ +Ġанал иÑĤ +Ġано ним +ĠаÑĢ ендÑĥ +ĠаÑĢеÑģÑĤ а +Ġбак ÑĤеÑĢ +Ġбал еÑĤа +Ġбоев ик +Ġбо иÑĤÑģÑı +ĠбÑĥлÑĮ он +Ġваж нее +Ġваж ной +ĠваÑĪ емÑĥ +Ġвели ка +ĠвеÑĢ нее +ĠвеÑĢ ÑĪин +Ġвлад ел +Ġвн еÑģÑĤи +Ġвоев ал +Ġвоз наг +ĠвоÑģÑħ иÑī +ĠвÑĢаг ом +ĠвÑĢем Ñijн +ĠвÑĭбоÑĢ е +ĠвÑĭ еÑħал +ĠвÑĭÑģ ÑĪим +ĠвÑĭ ÑıвлÑı +ĠглÑĥб же +Ġдан наÑı +Ġдел аем +ĠдобÑĭ Ñĩи +Ġдолг ие +Ġдол ине +ĠдоÑĢ оже +ĠдÑĢÑĥж ин +Ġеди нÑĭй +Ġжелез о +Ġжелез Ñĭ +Ġжив ого +Ġзаб ÑĢал +Ġзавод Ñĭ +Ġзад ней +ĠзвÑĥÑĩ ал +Ġзел ено +ĠизÑĥÑĩ ен +ĠиÑģÑĤи на +ĠиÑģÑĤ инÑĥ +ĠиÑĤог ов +ĠкамеÑĢ Ñĥ +Ġкап елÑĮ +ĠкнÑıз ÑĮÑı +Ġкол ени +Ġкомп еÑĤ +ĠкоÑĢ енÑĮ +ĠкоÑĢ зин +ĠкоÑĢ олÑİ +ĠкÑĢÑĥг ом +Ġлев ого +Ġлег енд +Ġлег кой +ĠлиÑĩ ное +ĠлиÑĩ ном +Ġлог ики +ĠлÑĥÑĩ ÑĪей +ĠлÑĥÑĩ ÑĪÑĥÑİ +ĠлÑİб омÑĥ +Ġмал ого +ĠмаÑĢÑĪ ал +ĠмаÑģÑģ аж +ĠмаÑĪи но +Ġмеб елÑĮ +Ġмик ÑĢоб +Ġмод ÑĥлÑĮ +Ġмод ÑĥлÑı +Ġмон еÑĤÑĭ +ĠмоÑĢ али +ĠмоÑĤив Ñĭ +ĠмоÑī нÑĭй +ĠмоÑī нÑĭм +Ġнаб оÑĢа +Ġназ Ñĭва +ĠнаÑģ ÑĩеÑĤ +ĠнаÑĩ нÑĥÑĤ +Ġнев еÑģÑĤ +ĠниÑĩ ÑĤож +Ġнов ейÑĪ +ĠноÑģ или +ĠобÑĢаз е +ĠокÑĢа ин +Ġоп ÑĥÑģка +ĠоÑĢ аÑĤоÑĢ +ĠоÑģоб ÑĥÑİ +ĠоÑģоб Ñĭе +ĠоÑĤз Ñĭва +ĠоÑĤлиÑĩ и +ĠоÑĩ иÑīен +ĠпалÑĮ ÑĨа +Ġп ионеÑĢ +ĠплоÑħ ой +ĠподаÑĩ и +Ġпод ÑĢÑĭв +Ġпоказ а +Ġпон Ñıла +Ġпоп ÑĥлÑı +ĠпоÑģÑĤ аÑĢ +ĠпоÑĤ ÑĢÑıÑģ +ĠпÑĢав дÑĭ +ĠпÑĢав Ñĭй +ĠпÑĢ енеб +ĠпÑĢив аÑĤ +ĠпÑĢин Ñĥд +ĠпÑĢиÑĤ ом +ĠпÑĢод ал +ĠпÑĢод ан +ĠÑĢав нÑĭÑħ +ĠÑĢазв ал +ĠÑĢазв ил +ĠÑĢазм еÑī +ĠÑĢаз ÑĢез +ĠÑĢаз ÑĬÑıÑģ +ĠÑĢан енÑĭ +ĠÑĢан ней +ĠÑĢег Ñĥли +ĠÑĢиÑģ ков +ĠÑĢод ине +ĠÑĢÑĥбеж е +ĠÑģвеÑĤ ом +ĠÑģев еÑĢа +ĠÑģем ена +ĠÑģемÑĮ ей +ĠÑģлÑĭÑĪ иÑĤ +ĠÑģ моÑĤÑĢи +ĠÑģов Ñħоз +ĠÑģообÑī а +ĠÑģоÑĤ воÑĢ +ĠÑģп еÑĢва +ĠÑģÑĤаÑĢ ин +ĠÑģÑĤена Ñħ +ĠÑģÑĤиÑħ ий +ĠÑģÑĥл ÑĤан +ĠÑģÑĥм ели +ĠÑģÑĥÑĢов о +ĠÑģÑĬ езде +ĠÑĤеÑĢ акÑĤ +ĠÑĤÑĢ еÑīин +ĠÑĤÑĢи ждÑĭ +ĠÑĤÑĢÑĥб кÑĥ +ĠÑĤÑĭÑģÑıÑĩ Ñĥ +ĠÑĥвид им +ĠÑĥв олен +ĠÑĥпоÑĢ Ñıд +ĠÑĥÑĤоÑĩ нÑı +ĠÑĥÑĩеб но +ĠÑĥÑĩ еÑģÑĤÑĮ +ĠÑĥÑĩÑij нÑĭй +ĠÑĦеÑĢ меÑĢ +ĠÑħиÑī ник +ĠÑħозÑı ев +ĠÑħок кей +ĠÑħÑĢам ов +ĠÑĨел оÑģÑĤ +ĠÑĨиÑĦ ÑĢов +ĠÑĩеÑĢ нÑĭе +ĠÑĩеÑĢÑĤ еж +ĠÑĩеÑģ нок +ĠÑĪиÑĢи на +ĠÑĪкол аÑħ +ĠÑįмо ÑĨий +ĠÑįн ÑĤÑĥзи +ĠÑıдов иÑĤ +Ðĵаз пÑĢом +ÐĺÑģÑĤ оÑĢиÑı +ÐļÑĥлÑĮÑĤ ÑĥÑĢ +ад миÑĢал +апп аÑĢаÑĤ +аÑĤай ÑģÑĤв +без опаÑģ +биÑĢ алÑģÑı +бÑĢ аÑĤÑĮÑģÑı +виÑĤ амин +воÑģÑĤок Ñĥ +вÑĢаÑĤ иÑĤÑĮ +доÑħ нÑĥÑĤÑĮ +из аÑĨией +иÑĢов ана +иÑĢÑĥ ÑİÑīиÑħ +иÑģÑĤ Ñģкой +каз ÑĭваÑİ +канÑĨ леÑĢ +коÑĢм иÑĤÑĮ +кÑĢÑĥ Ñĩива +лив оÑģÑĤÑĮ +менÑĤ алÑĮ +ми гÑĢанÑĤ +моÑĢ Ñģкой +ниÑĩ еÑģÑĤв +нов Ñģкий +овав ÑĪий +ов аннÑĭе +ов аннÑĭй +ов аннÑĭÑħ +оÑĦеÑģÑģ оÑĢ +пиÑģ аниÑı +полн иÑĤÑĮ +пÑĥÑģка еÑĤ +ÑĢаÑģÑĤ аеÑĤ +ÑĢеб ован +ÑĢег ÑĥлÑıÑĢ +ÑĢен бÑĥÑĢг +Ñģел ении +ÑģмоÑĤÑĢ ел +ÑģÑĤавлÑı Ñı +ÑģÑĤÑĢ аÑĤег +ÑģÑĤÑĢо иÑĤÑĮ +ÑģÑĤÑĢой кÑĥ +ÑģÑĤÑĥп лен +ÑĤаÑģ кива +ÑĤол кнÑĥл +ÑĦил оÑģоÑĦ +ÑħодÑıÑī ее +ÑħодÑıÑī ей +ÑĩаÑģÑĤ лив +ÑĩеÑĤ веÑĢÑĤ +ÑĪед ÑĪего +ĠÐIJмеÑĢ икÑĥ +ĠÐijелÑĮ гии +ĠÐijолÑĮÑĪ ое +ĠÐĴик ÑĤоÑĢа +ĠÐĵовоÑĢ ÑıÑĤ +ĠÐĵÑĢи гоÑĢÑĮ +ĠÐĶеÑĢев нÑı +ĠÐĶ оговоÑĢ +ĠÐķвг ениÑı +ĠÐĸен Ñīина +ĠÐĺзÑĢа иле +ĠÐļавказ а +ĠÐļ ажеÑĤÑģÑı +ĠÐļап иÑĤан +ĠÐľÐ¾Ð» оÑĤов +ĠÐľÐ¾ÑĢоз ов +ĠÐŁÐ¾Ð»ÑĥÑĩ ил +ĠÐŁÑĢем ÑĮеÑĢ +ĠÐłÑĥÑģ Ñģкий +ĠСаÑĢаÑĤ ов +ĠСмиÑĢ нов +ĠСол омон +ĠСÑĢед ней +ĠСÑĢед нÑıÑı +ĠУкÑĢа инÑĥ +ĠÐŃн гелÑĮÑģ +ĠÐŃÑģÑĤон ии +Ġаг енÑĤов +Ġал ÑĦавиÑĤ +Ġанек доÑĤ +ĠаÑģпекÑĤ Ñĭ +Ġбаб ÑĥÑĪка +ĠбогаÑĤ ÑĭÑħ +ĠведÑĥÑī ий +ĠвеÑĢÑĪ ине +ĠвеÑĢ ÑĪинÑĭ +ĠвнеÑĪ ние +Ġвоен наÑı +ĠвозвÑĭÑĪ а +ĠвойÑģк ам +ĠвопÑĢоÑģ е +ĠвоÑģÑĤок Ñĥ +ĠвÑģ еÑĢÑĮез +ĠвÑĤоÑĢ иÑĩн +ĠвÑĭÑģок ое +ĠгоÑģ пода +Ġделег аÑĤ +Ġдеп ÑĢеÑģÑģ +ĠдеÑĤ Ñģкий +Ġдлин нÑĭй +ĠдовеÑĢ иÑı +Ġдов еÑģÑĤи +ĠдоÑĩеÑĢ ÑĮÑİ +ĠдÑĥмаеÑĤ е +ĠдÑĥÑħов ен +ĠепаÑĢÑħ ии +ĠжелÑĥд ка +ĠзавеÑĢÑĪ а +ĠзавиÑģ ÑıÑĤ +Ġзавод ов +Ġзад аний +ĠзакÑĢÑĭ ÑĤÑĮ +Ġзамен ен +ĠзапиÑģ ей +ĠзаÑĤÑĢаÑĤ Ñĭ +ĠздоÑĢов о +ĠзолоÑĤ ом +ĠзолоÑĤ Ñĭе +Ġиз нÑĥÑĤÑĢи +Ġиз обÑĢаз +Ġиме ÑİÑīий +Ġинвали д +ĠиÑģк ажен +Ġканал ов +ĠклаÑģÑĤ еÑĢ +Ġколон нÑĭ +Ġком наÑĤа +ĠкÑĢаÑģ ной +ĠкÑĢиÑĤ ике +Ġлеген да +ĠлидеÑĢ ом +ĠмиÑĢов оз +ĠмиÑĢов ÑĭÑħ +ĠмÑĥж Ñģкой +ĠнагÑĢад Ñĥ +Ġнад еждÑĥ +Ġнад олго +Ġназв ана +Ġнайд енÑĭ +ĠналиÑĩ иÑı +Ġнам еÑĩен +Ġнан еÑģен +Ġнап олнÑı +ĠнаÑĢÑĥж но +ĠнаÑģили е +ĠневеÑĢ но +ĠобоÑĢон е +Ġожид аем +ĠоÑĢган аÑħ +ĠоÑģад ков +ĠоÑĤдал ен +ĠоÑĤноÑģÑı Ñī +ĠоÑĤÑĢÑıд ов +ĠпеÑĢев ал +ĠпеÑĢе езд +ĠпеÑĢ еÑĢÑĭв +ĠпеÑĢиод Ñĭ +Ġпож еÑĢÑĤв +Ġпозв оно +Ġпозд ÑĢав +ĠпокÑĥп ки +ĠпоÑĢаз ил +ĠпоÑģ овеÑĤ +ĠпоÑģÑĢед и +ĠпоÑĤеÑĢ Ñıн +ĠпÑĢав ого +ĠпÑĢеб Ñĭва +ĠпÑĢевÑĭÑĪ а +ĠпÑĢиб ÑĢеж +ĠпÑĢигла ÑĪ +ĠпÑĢиÑģ лал +ĠпÑĢиÑģÑĥÑī и +ĠпÑĢиÑĩ аÑģÑĤ +ĠпÑĢиÑĩ инÑĥ +ĠпÑĢов ела +ĠпÑĢодаж Ñĥ +ĠпÑĢоп ÑĥÑģк +ĠпÑĢоÑģÑĮ бе +ĠпÑĢоÑĦ илÑĮ +ĠпÑĢо Ñħлад +ĠпÑĢÑıм ого +ĠпÑĥбли ки +ĠпÑĥлем ÑijÑĤ +ĠÑĢабоÑĩ им +ĠÑĢаз биÑĢа +ĠÑĢаз ÑĢÑĥÑĪи +ĠÑĢаз ÑĢÑĭва +ĠÑĢан ениÑı +ĠÑĢанен ÑĭÑħ +ĠÑĢеак ÑĤоÑĢ +ĠÑĢебÑijн ка +ĠÑĢемон ÑĤа +ĠÑĢенÑĤ ген +ĠÑĢиÑģÑĥн ка +ĠÑĢиÑģÑĥн ок +ĠÑĢÑĥÑģ ÑģкÑĥÑİ +ĠÑģанк ÑĨии +ĠÑģдел анÑĭ +ĠÑģекÑĤ оÑĢа +ĠÑģигнал Ñĭ +ĠÑģловаÑĢ ÑĮ +ĠÑģлож нÑĭй +ĠÑģлÑĥж или +ĠÑģлÑĭÑĪ али +ĠÑģмоÑĤÑĢ ÑıÑĤ +ĠÑģнаб жен +ĠÑģним аеÑĤ +ĠÑģовеÑĢÑĪ а +ĠÑģоглаÑģ и +ĠÑģоз еÑĢÑĨа +ĠÑģокÑĢаÑī а +ĠÑģоÑģед ей +ĠÑģоÑħÑĢан Ñı +ĠÑģÑĢед ние +ĠÑģÑĤан ÑĨий +ĠÑģÑĤан ÑĨиÑİ +ĠÑģÑĥ веÑĢен +ĠÑģ ÑħваÑĤил +ĠÑģÑĭгÑĢ ала +ĠÑģÑĭгÑĢ аÑĤÑĮ +ĠÑĤаблиÑĨ е +ĠÑĤеÑĢап ии +ĠÑĤеÑĩ ении +ĠÑĤÑĢеÑĤÑĮ им +ĠÑĤÑĭÑģÑıÑĩ ел +ĠÑĥвид ела +ĠÑĥдал иÑĤÑĮ +ĠÑĥказ ано +ĠÑĥменÑĮ ÑĪа +ĠÑĥмиÑĢа еÑĤ +ĠÑĥÑĢов ней +ĠÑĥÑģÑĤÑĢо ил +ĠÑĥÑĤ ÑĢаÑĤил +ĠÑĥÑĤÑĢа Ñĩен +ĠÑĥÑĩени ка +ĠÑĥÑĩен ого +ĠÑĦаб ÑĢика +ĠÑĦалÑĮ ÑĪив +ĠÑĦикÑģ иÑĢÑĥ +ĠÑĦилÑĮма Ñħ +ĠÑĦоÑĢм аÑĤе +ĠÑħваÑĤ ило +ĠÑħоÑĢо ÑĪиÑħ +ĠÑĩаÑģÑĤ оÑĤÑĭ +ĠÑĩеÑĢ ного +ĠÑĪиÑĢ иной +ÐIJнджел еÑģ +аÑĤелÑĮ ной +аÑĨион нÑĭй +аÑĨион нÑĭÑħ +вÑĢаÑī ениÑı +дав аÑĤÑĮÑģÑı +из иÑĢовал +илиз аÑĨии +инÑĤенÑģ ив +иÑĦ икаÑĤоÑĢ +казан ное +клад Ñĭвал +мен ÑıеÑĤÑģÑı +мÑĭÑģл енно +ноÑģ иÑĤелÑı +нÑĥÑĤÑĢен не +поз иÑĨион +пÑĢедел ен +ÑĤиÑĩеÑģ ком +ÑĤÑıг иваеÑĤ +ĠÐIJÑģÑĤÑĢаÑħ ан +ĠÐĵоÑĢб аÑĩев +ĠÐļон гÑĢеÑģÑģ +ĠÐĿап ÑĢоÑĤив +ĠСÑĢед изем +ĠÐ¥ ÑĢиÑģÑĤиан +ĠÐ¥Ñĥдож ник +Ġавиак омп +Ġав ÑģÑĤÑĢали +Ġакадем иÑİ +ĠакÑĤив ной +ĠакÑĤив нÑĭÑħ +ĠблеÑģÑĤ ÑıÑīе +Ġблиз оÑģÑĤи +ĠболÑĮÑĪ его +ĠбÑĭÑģÑĤÑĢ ого +ĠваÑĢи анÑĤе +Ġв ведениÑı +Ġвели Ñĩина +ĠвклÑİÑĩ аÑĤÑĮ +Ġвлад елеÑĨ +Ġвлад ение +ĠвлаÑģÑĤ Ñıми +Ġвозб Ñĥжда +ĠвопÑĢоÑģ аÑħ +ĠвÑģÑĤÑĥп иÑĤÑĮ +ĠвÑĭдвин ÑĥÑĤ +ĠвÑĭдеÑĢж ал +Ġгимназ ии +ĠгоÑĤов иÑĤÑĮ +Ġдвиж еÑĤÑģÑı +Ġдолж ноÑģÑĤ +ĠдоÑģÑĤиг ал +ĠдоÑģÑĤиг ла +ĠдоÑģÑĤой но +Ġжелез нÑĭÑħ +Ġзад ейÑģÑĤв +ĠзаклÑİÑĩ Ñijн +Ġзап омнил +ĠзапÑĢеÑĤ ил +ĠзаÑĢÑĥб ежн +Ġзнаком Ñĭй +ĠинвеÑģÑĤ оÑĢ +Ġинжен еÑĢа +ĠиÑģÑĤоÑĢ ики +ĠиÑģÑĤоÑĢ ико +ĠиÑģÑĩез аеÑĤ +Ġкабин еÑĤа +Ġкабин еÑĤе +ĠкаÑĢ андаÑĪ +ĠкомÑģом ол +ĠконÑĤак ÑĤÑĭ +ĠкоÑĢоÑĤ кие +ĠкоÑĢоÑĤ кое +ĠкÑĢÑĥп нÑĭми +Ġланд ÑĪаÑĦÑĤ +Ġлонд онÑģк +Ġмагаз ине +ĠмаÑģÑģ овÑĭÑħ +Ġмем оÑĢиал +ĠмеÑĤод ами +Ġмин иаÑĤÑİÑĢ +ĠмоÑĤ оÑĨикл +ĠмÑĥдÑĢ оÑģÑĤÑĮ +ĠмÑĥж Ñģкого +Ġнакоп лен +ĠнапиÑģ анÑĭ +ĠнаÑĢод нÑĭй +Ġнев олÑĮно +ĠнемеÑĨ ком +ĠнеобÑĭ Ñĩно +ĠнеÑģ ÑĩаÑģÑĤÑĮ +Ġобнов лен +Ġобой ÑĤиÑģÑĮ +ĠобÑģÑĥж дал +ĠобÑĬÑıв или +ĠогÑĢом нÑĭм +Ġоппон енÑĤ +ĠопÑĢав дан +ĠоÑģ мÑĭÑģлен +ĠоÑģнов нÑĥÑİ +ĠоÑģнов Ñĭва +ĠоÑģÑĤав лÑıл +ĠоÑĤвеÑĤ ила +ĠоÑĤказ Ñĭва +ĠоÑĤкÑĢÑĭÑĤ Ñĭй +ĠоÑĤкÑĢÑĭÑĤ ÑĭÑħ +ĠоÑĤмеÑĤ или +ĠоÑĩиÑģÑĤ иÑĤÑĮ +ĠпалÑĮ ÑĨами +ĠпаÑĢÑĤ неÑĢа +ĠпеÑĢедаÑĩ а +ĠпеÑĢед ней +ĠпеÑĢ еÑħваÑĤ +ĠпиÑģ аÑĤели +ĠплаÑĨ даÑĢм +ĠплоÑīад ке +ĠплоÑīад ки +ĠповеÑĢ иÑĤÑĮ +ĠповеÑĢ нÑĥл +ĠповÑĤоÑĢ ил +ĠповÑĤоÑĢ но +ĠповÑĭÑģ иÑĤÑĮ +ĠпогÑĢÑĥж ен +Ġподоб нÑĭй +Ġподоб нÑĭм +ĠподÑħод ил +ĠпоиÑģÑĤ ине +Ġпоказ ала +Ġполаг аеÑĤ +Ġполаг аÑĤÑĮ +Ġполаг аÑİÑĤ +Ġполож ено +Ġпо наÑĩалÑĥ +Ġпооб еÑīал +Ġпопад аÑİÑĤ +Ġпоп ÑĢоÑģÑĤÑĥ +ĠпоÑģвÑıÑĤи л +ĠпоÑģÑĤав ки +ĠпоÑĤеÑĢ пев +ĠпоÑĤеÑĢ ÑıÑĤÑĮ +ĠпоÑĤÑĢÑı Ñģен +ĠпÑĢибоÑĢ ов +ĠпÑĢивед еÑĤ +ĠпÑĢивод ил +ĠпÑĢивÑĭк ли +ĠпÑĢидÑĥм ал +ĠпÑĢи еÑħали +ĠпÑĢинеÑģ ли +ĠпÑĢиÑĢод ой +ĠпÑĢоблем е +ĠпÑĢовеÑĢ ка +ĠпÑĢовеÑĢ кÑĥ +ĠпÑĢом ежÑĥÑĤ +ĠпÑĢоп ÑĥÑģка +ĠпÑĢоÑģÑĤ ейÑĪ +ĠпÑĢоÑĤеÑģÑĤ а +ĠпÑĢоÑĩ иÑĤал +ĠÑĢад оÑģÑĤÑĮÑİ +ĠÑĢазÑĢеÑĪ ен +ĠÑĢаÑģпоÑĢ Ñıд +ĠÑĢаÑģÑģ кажÑĥ +ĠÑĢе алÑĮнÑĭе +ĠÑĢÑĥк опиÑģи +ĠÑģелÑĮ Ñģкий +ĠÑģелÑĮ Ñģком +ĠÑģигна лов +ĠÑģимпÑĤом Ñĭ +ĠÑģиÑģÑĤем аÑħ +ĠÑģиÑĤÑĥ аÑĨий +ĠÑģмоÑĤÑĢ ели +ĠÑģнаÑĢÑıд ов +ĠÑģни жениÑı +ĠÑģобÑĢ ании +ĠÑģоглаÑģ ен +ĠÑģомн ение +ĠÑģоÑģед ниÑħ +ĠÑģоÑģÑĤав иÑĤ +ĠÑģоÑħÑĢан Ñıл +ĠÑģпеÑĨиÑĦ иÑĩ +ĠÑģпÑĢоÑģ ила +ĠÑģÑĤоÑĢон ам +ĠÑģÑĤÑĢаниÑĨ а +ĠÑģÑĤÑĢаÑģÑĤ но +ĠÑģÑĤÑĢо ение +ĠÑģÑĤÑĥденÑĤ Ñĭ +ĠÑģ ÑĥждениÑı +ĠÑģÑĩиÑĤ алÑģÑı +ĠÑĤелеÑģ коп +ĠÑĤÑĢад иÑĨий +ĠÑĤÑĥÑĢиÑģÑĤ ов +ĠÑĥбий ÑģÑĤве +ĠÑĥваж ение +ĠÑĥвелиÑĩ ил +ĠÑĥдеÑĢж аÑĤÑĮ +ĠÑĥлÑĥÑĩ ÑĪиÑĤÑĮ +ĠÑĥÑģи лениÑı +ĠÑĥÑģлÑĭÑĪ аÑĤÑĮ +ĠÑĥÑĩаÑģÑĤ каÑħ +ĠÑĥÑĩиÑĤ елей +ĠÑĦизи олог +ĠÑĨеÑĢков но +ĠÑĩеÑĤвеÑĢ ÑĤи +ĠÑĩеÑĤÑĭ ÑĢÑĮмÑı +ĠÑĩинов ник +ĠÑįкÑģп ÑĢеÑģÑģ +ĠÑįнеÑĢ гией +ĠÑįÑĤн огÑĢаÑĦ +ĠÑıвлÑı лоÑģÑĮ +ĠÑıпон ÑģкиÑħ +ĠÑıпон Ñģкой +ÐļÑĢаÑģ нодаÑĢ +ÐĿ аÑĨионалÑĮ +еÑĢбайд жан +изÑĢа илÑĮÑģк +иÑĢов алиÑģÑĮ +иÑĢован наÑı +клад ÑĭваеÑĤ +коÑģмон авÑĤ +пÑĢав едлив +Ñģ видеÑĤелÑĮ +ÑģÑĤÑĢÑĥк ÑĤÑĥÑĢÑĭ +ÑĨионалÑĮ но +ĠÐĴлад иÑģлав +ĠÐĴÑģеÑĢ оÑģÑģий +ĠÐķкаÑĤеÑĢи нÑĭ +ĠÐĿаÑĩ алÑĮник +ĠÐŀÑģÑĤ алÑĮнÑĭе +ĠÐŁÐ¾Ð»Ð¸ÑĤ бÑİÑĢо +ĠÐŁÑĢав оÑģлав +ĠÐŁÑĢ оÑĦеÑģÑģоÑĢ +ĠСовеÑĤ Ñģком +ĠШоÑĤ ландии +ĠавÑĤ одоÑĢог +ĠаккÑĥÑĢаÑĤ но +ĠанглиÑĩан е +Ġби огÑĢаÑĦии +ĠвлиÑıÑĤелÑĮ н +Ġвозб Ñĥжден +ĠвозвÑĢаÑī ен +ĠвопÑĢоÑģ ами +ĠвоÑģÑĤоÑĩ нÑĭÑħ +ĠвÑģ еленной +ĠвÑĤоÑĢ жениÑı +ĠвÑĭÑģÑĤÑĥп али +ĠвÑĭÑģÑĤÑĥп или +ĠвÑĭÑģÑĤÑĥп иÑĤÑĮ +Ġголов ного +ĠдепÑĥÑĤ аÑĤом +Ġдивиз иона +Ġдобав лÑıеÑĤ +ĠзадеÑĢж ива +ĠзаклÑİÑĩ иÑĤÑĮ +ĠзапÑĢеÑī ено +ĠзаÑģед ание +ĠзаÑģÑĤав лÑıл +ĠзаÑĤ ÑĢагива +ĠзаÑħваÑĤ Ñĭва +ĠизвеÑģÑĤ наÑı +ĠинвеÑģÑĤи ÑĨи +ĠиÑģполÑĮз ÑĥÑİ +ĠиÑģпÑĢав иÑĤÑĮ +ĠкаÑĢÑĤо ÑĦелÑĮ +Ġкин оÑĤеаÑĤÑĢ +ĠкиÑģ лоÑĢода +ĠкиÑĤай Ñģкой +Ġколеб аний +ĠкооÑĢдин аÑĤ +ĠлиÑĤеÑĢ аÑĤоÑĢ +ĠмаÑģÑģ ового +ĠмеÑģÑĤ ноÑģÑĤÑĮ +Ġмилли аÑĢда +ĠмиÑĦ ологии +ĠнаблÑİд аем +Ġнапад ение +ĠнапиÑģ аниÑı +ĠнапÑĢав иÑĤÑĮ +ĠнаÑĢÑĥÑĪ ений +ĠнаÑģÑĤа ивал +ĠнеболÑĮÑĪ ом +ĠнегаÑĤив но +Ġобвин ение +ĠобÑī еÑģÑĤвом +ĠобÑĬÑıвлен о +ĠогÑĢом ного +Ġодноим Ñijнн +Ġоказ ÑĭваÑĤÑĮ +ĠоккÑĥп аÑĨии +ĠокÑĢÑĥж ение +ĠопÑĢедел ен +ĠоÑĤвеÑĢÑģÑĤ иÑı +ĠоÑĤноÑģ илÑģÑı +ĠоÑĤ ождеÑģÑĤв +ĠоÑĤпÑĢав или +ĠпаÑĢамеÑĤ ÑĢа +ĠпеÑĢв обÑĭÑĤн +ĠпеÑĢев еÑģÑĤи +ĠпеÑĢек ÑĢеÑģÑĤ +ĠпеÑĢ Ñģонала +Ġплани ÑĢÑĥеÑĤ +ĠповÑĤоÑĢ иÑĤÑĮ +Ġпод веÑĢжен +Ġпоказ Ñĭвал +ĠпомеÑī ений +ĠпомоÑī ника +Ġпоним ании +ĠпоÑģÑĤÑĢад ав +ĠпоÑģÑĤÑĢад ал +ĠпоÑģÑĤÑĢо ено +ĠпоÑģÑĤÑĥп иÑĤÑĮ +ĠпÑĢав иÑĤелÑı +ĠпÑĢав ление +ĠпÑĢазд ника +ĠпÑĢеÑģÑĤÑĥп но +ĠпÑĢивлек ал +ĠпÑĢимен Ñıем +ĠпÑĢиÑģÑĤÑĥп ил +ĠпÑĢоблем ам +ĠпÑĢовод или +ĠпÑĢогÑĢеÑģÑģ а +ĠпÑĢод аваÑĤÑĮ +ĠпÑĢоиз ойÑĤи +ĠпÑĢоизоÑĪ ли +ĠпÑĢоÑĤив ном +ĠпÑĢоÑħод ила +ĠпÑĢоÑħод иÑĤÑĮ +ĠпÑĢоÑĩиÑĤ аÑĤÑĮ +ĠÑĢабоÑĤ ника +ĠÑĢабоÑĤ ники +ĠÑĢазговоÑĢ Ñĭ +ĠÑģамолÑijÑĤ ов +ĠÑģведениÑı м +ĠÑģвобод ное +ĠÑģвобод нÑĭм +ĠÑģвÑıз ÑĭваеÑĤ +ĠÑģледÑĥÑİÑī ÑĥÑİ +ĠÑģоблÑİд аÑĤÑĮ +ĠÑģобÑĢа лиÑģÑĮ +ĠÑģозд аннÑĭй +ĠÑģоÑģÑĤоÑı ний +ĠÑģпекÑĤак лÑĮ +ĠÑģÑĢавн ении +ĠÑģÑĤаÑĢ алиÑģÑĮ +ĠÑģÑĤаÑĨи онаÑĢ +ĠÑģÑĤеÑĢе оÑĤип +ĠÑģÑĤÑĢем ÑıÑĤÑģÑı +ĠÑģÑĨенаÑĢ иÑģÑĤ +ĠÑģÑĩиÑĤ аÑİÑĤÑģÑı +ĠÑĤоÑĩ ноÑģÑĤÑĮÑİ +ĠÑĤÑĢеб овали +ĠÑĤÑĢеб оваÑĤÑĮ +ĠÑĥкÑĢа ÑĪениÑı +ĠÑĥнивеÑĢÑģ ал +ĠÑĥниÑĩÑĤож ил +ĠÑĥпÑĢазд нен +ĠÑĥÑģÑĤойÑĩив о +ĠÑĥÑĩаÑģÑĤв ÑĥеÑĤ +ĠÑĥÑĩаÑģÑĤ ника +ĠÑĦедеÑĢ аÑĨии +ĠÑĦоÑĢÑģ иÑĢова +ĠÑĦÑĢанÑĨÑĥз ов +ĠÑĩемпион ов +ĠÑįконом ика +ĠÑįконом иÑģÑĤ +ĠÑįнÑĤÑĥзи азм +аÑĢÑħ иÑĤекÑĤÑĥÑĢ +иÑģÑĤ иÑĩеÑģкие +коÑĢпоÑĢ аÑĤив +молек ÑĥлÑıÑĢн +ÑĢабаÑĤ ÑĭваÑİÑĤ +ÑĦоÑĢм иÑĢован +ĠÐĶмиÑĤÑĢи евиÑĩ +ĠÐĺз наÑĩалÑĮно +ĠÐŁÐ¾ÑģÑĤ епенно +ĠСо оÑĤвеÑĤÑģÑĤв +ĠСÑĥÑīеÑģÑĤв ÑĥÑİÑĤ +ĠУпÑĢав лениÑı +ĠУÑĩа ÑģÑĤвовал +ĠФак ÑĤиÑĩеÑģки +ĠавÑĤомоб иле +ĠагÑĢеÑģÑģ ивно +Ġанглий Ñģким +ĠаÑĢÑħиÑĤекÑĤ ÑĥÑĢ +ĠбÑĢиÑĤан Ñģкой +ĠвнÑĥÑĤÑĢен нее +ĠвоздÑĥÑĪ ного +Ġвозник нÑĥÑĤÑĮ +Ġвопло Ñīение +ĠвÑģÑĤÑĢеÑĤ илÑģÑı +ĠвÑģÑĤÑĥп лениÑı +ĠгÑĢаждани на +ĠгÑĢеÑĩеÑģ кого +ĠдалÑĮней ÑĪее +ĠдокÑĥменÑĤ аÑħ +ĠдоÑģÑĤоин ÑģÑĤв +Ġжел аÑĤелÑĮно +Ġзавед ÑĥÑİÑīий +ĠзаклÑİÑĩ ении +Ġизмени лоÑģÑĮ +Ġизол иÑĢован +ĠинвеÑģÑĤи ÑĨий +Ġин ÑģÑĤÑĢÑĥкÑĨии +ĠиÑģÑĤоÑĩника Ñħ +Ġколлек ÑĤива +Ġкомп ÑĢомиÑģÑģ +ĠконкÑĢеÑĤ ной +ĠконкÑĢеÑĤ нÑĭе +ĠконÑĦлик ÑĤов +ĠкоопеÑĢ аÑĤив +ĠкоÑĢпоÑĢ аÑĨии +ĠкÑĥлÑĮÑĤÑĥÑĢ нÑĭÑħ +ĠмаÑģÑĤеÑĢ ÑģÑĤво +ĠмоÑģков ÑģкиÑħ +ĠнеобÑĭÑĩай но +Ġнеподал екÑĥ +ĠобÑģÑĤанов ка +ĠобÑģÑĤанов ки +ĠобÑģ Ñĥждение +ĠоÑģвобод иÑĤÑĮ +ĠоÑģнов анием +Ġо ÑģÑĤанавлив +ĠоÑĤноÑģ илиÑģÑĮ +ĠпеÑĢед аваÑĤÑĮ +ĠподдеÑĢж аÑĤÑĮ +ĠподдеÑĢж кой +Ġподел иÑĤÑĮÑģÑı +ĠподÑĩеÑĢ кива +Ġпоказ аÑĤелÑı +ĠпомоÑī ником +ĠпопÑĥлÑıÑĢ нÑĭÑħ +ĠпопÑĭÑĤ аÑĤÑĮÑģÑı +ĠпоÑģлед овал +ĠпоÑģолÑĮ ÑģÑĤва +ĠпоÑıв лением +ĠпÑĢевÑĢаÑĤ иÑĤÑĮ +ĠпÑĢедлаг аем +ĠпÑĢимен ении +ĠпÑĢодолж ала +ĠпÑĢоиз ведÑijн +ĠпÑĢоиÑģÑħод ил +ĠпÑģиÑħ иÑĩеÑģки +ĠпÑıÑĤ надÑĨаÑĤÑĮ +ĠÑĢаздел ение +ĠÑĢаÑģÑģказ ала +ĠÑĢаÑģÑģказ Ñĭва +ĠÑĢаÑģÑģмоÑĤÑĢ им +ĠÑĢаÑģÑģÑĤÑĢелÑı н +ĠÑĢеÑĦеÑĢ ендÑĥм +ĠÑĢод иÑĤелÑıми +ĠÑĢоÑģÑģий ÑģкаÑı +ĠÑĢоÑģÑģий Ñģком +ĠÑģвойÑģÑĤв ами +ĠÑģвÑıÑīен ника +ĠÑģеÑĢÑĤи ÑĦикаÑĤ +ĠÑģмеÑĢ ÑĤелÑĮно +ĠÑģобиÑĢа ÑİÑĤÑģÑı +ĠÑģовеÑĢÑĪ ениÑı +ĠÑģовмеÑģÑĤ ной +ĠÑģокÑĢаÑī ение +ĠÑģообÑī еÑģÑĤво +ĠÑģоÑĤÑĢÑĥд ника +ĠÑģоÑĨи алÑĮнÑĭм +ĠÑĤвоÑĢ ÑĩеÑģкой +ĠÑĤÑĢÑĥд ÑıÑīиÑħÑģÑı +ĠÑĥкÑĢа инÑģкий +ĠÑĥкÑĢаин ÑģкиÑħ +ĠÑĥÑĩÑĢежд ение +ĠÑĦиз иÑĩеÑģкие +ĠÑĦинанÑģов Ñĭе +ĠÑħод аÑĤайÑģÑĤв +ĠÑįÑģкад ÑĢилÑĮи +емонÑģÑĤÑĢи ÑĢов +олог иÑĩеÑģкой +Ñģледов аÑĤели +ÑħаÑĢакÑĤеÑĢ изÑĥ +ĠÐIJÑĢÑħангелÑĮ Ñģк +ĠÐĴладив оÑģÑĤок +ĠÐĵÑĢаждан Ñģкой +ĠÐĵÑĢигоÑĢÑĮ евиÑĩ +ĠÐŀказ ÑĭваеÑĤÑģÑı +ĠавиаÑĨион ной +ĠаккÑĥмÑĥ лÑıÑĤоÑĢ +ĠвеÑĢоÑıÑĤ ноÑģÑĤи +ĠвеÑĢÑĤикалÑĮ но +ĠвоÑģпÑĢиним ал +ĠвоÑģ пÑĢоизвод +ĠгваÑĢдей Ñģкой +Ġген еÑĤиÑĩеÑģки +ĠгомоÑģ екÑģÑĥал +ĠгоÑģÑĥдаÑĢ ÑģÑĤвÑĥ +ĠдейÑģÑĤв ÑĥÑİÑīиÑħ +ĠзаконÑĩ илаÑģÑĮ +ĠзаÑģлÑĥж еннÑĭй +ĠизобÑĢаж ений +ĠинÑĤелли генÑĤ +ĠиÑģÑĤÑĢеб иÑĤелÑı +ĠиÑĤалÑĮÑıн Ñģкий +ĠкапиÑĤ ализма +ĠкомменÑĤ аÑĢии +ĠкоммÑĥниÑģÑĤ ов +ĠконÑģеÑĢваÑĤ ив +ĠминиÑģÑĤеÑĢ ÑģÑĤв +ĠнаблÑİд аÑĤелÑĮ +ĠобнаÑĢÑĥж ениÑı +ĠобÑĢазов аниÑİ +ĠобÑıзан ноÑģÑĤÑĮ +ĠогÑĢаниÑĩ ение +ĠоккÑĥп иÑĢован +ĠоÑĤкÑĢ ÑĭваеÑĤÑģÑı +ĠоÑĤÑģÑĥÑĤÑģÑĤв ием +ĠоÑĤÑģÑĥÑĤÑģÑĤв ÑĥÑİÑĤ +Ġподним аеÑĤÑģÑı +Ġпоказ аÑĤелей +ĠпоÑģеÑĤ иÑĤелей +ĠпоÑĤÑĢеб иÑĤелÑĮ +ĠпÑĢевÑĢаÑĤ илÑģÑı +ĠпÑĢедлож ений +ĠпÑĢедназнаÑĩ а +ĠпÑĢедÑĭдÑĥÑī его +ĠпÑĢепÑıÑĤ ÑģÑĤвиÑı +ĠпÑĢинадлеж ал +ĠпÑĢоиз волÑĮно +ĠпÑĢоиÑģÑħод или +ĠпÑĢоÑĤивоÑĢ еÑĩи +ĠпÑĢоÑĦеÑģÑģоÑĢ ом +ĠÑĢаÑģÑģмаÑĤÑĢ ива +ĠÑĢаÑģÑģ ÑĥждениÑı +ĠÑĢелигиоз ной +ĠÑĢодÑģÑĤвен ник +ĠÑģвоеобÑĢаз но +ĠÑģобÑģÑĤвен ном +ĠÑģовÑĢемен нÑĭм +ĠÑģоглаÑģ иÑĤÑĮÑģÑı +ĠÑģоÑħÑĢан ÑıеÑĤÑģÑı +ĠÑģпеÑĨи алиÑģÑĤа +ĠÑģпоÑĢÑĤÑģмен ов +ĠÑģÑĦоÑĢм иÑĢовал +ĠÑĤеÑħни ÑĩеÑģкой +ĠÑĥкÑĢа инÑģкого +ĠÑĥÑĩаÑģÑĤ никами +ĠÑĦÑĢанÑĨÑĥз Ñģком +ĠÑįкземп лÑıÑĢов +ĠÑİÑĢид иÑĩеÑģкиÑħ +обÑĢаз оваÑĤелÑĮ +ĠÐĵенеÑĢ алÑĮного +ĠÐĶоÑģÑĤоев Ñģкого +ĠÐŁÑĢедÑģед аÑĤелÑĮ +ĠФедеÑĢ алÑĮного +ĠбеÑĢем енноÑģÑĤи +Ġбиолог иÑĩеÑģки +Ġвозмож ноÑģÑĤÑĮÑİ +ĠвоÑģп оминаний +ĠеÑģÑĤеÑģÑĤвен нÑĭÑħ +ĠзнаÑĩиÑĤелÑĮ нÑĭм +Ġизд аÑĤелÑĮÑģÑĤво +ĠизобÑĢаж ением +ĠиÑģполÑĮзов анÑĭ +ĠиÑģÑģледов ании +ĠкоммÑĥника ÑĨии +ĠконÑĨенÑĤ ÑĢаÑĨии +ĠкоÑģм иÑĩеÑģкого +ĠлиÑĤеÑĢаÑĤÑĥÑĢ ной +ĠлиÑĤеÑĢаÑĤÑĥÑĢ нÑĭÑħ +ĠмедиÑĨин Ñģкого +ĠнапÑĢавлениÑı Ñħ +ĠнедоволÑĮ ÑģÑĤво +ĠобÑĢазов анием +ĠобÑīеÑģÑĤвен нÑĭе +ĠопÑĢедел енное +ĠопÑĢедел енном +ĠоÑģÑĤанов иÑĤÑĮÑģÑı +ĠоÑģÑĥÑīеÑģÑĤв лÑıеÑĤ +ĠоÑĤказ ÑĭваеÑĤÑģÑı +ĠоÑĤпÑĢав лÑıеÑĤÑģÑı +ĠподдеÑĢж иваÑİÑĤ +ĠпоÑģледов аÑĤел +ĠпÑĢедÑģÑĤавлÑı ла +ĠпÑĢинÑĥд иÑĤелÑĮн +ĠпÑĢовоз глаÑĪен +ĠÑĢазнообÑĢаз ие +ĠÑĢаÑģполож ениÑı +ĠÑĢаÑģÑģмоÑĤÑĢ ение +ĠÑĢаÑģÑģÑĩиÑĤ ÑĭваÑĤÑĮ +ĠÑĢÑĥковод иÑĤели +ĠÑģвоев ÑĢеменно +ĠÑģобÑģÑĤвен номÑĥ +ĠÑģобÑģÑĤвен нÑĭми +ĠÑģооÑĤвеÑĤÑģÑĤв ие +ĠÑģпоÑģоб ноÑģÑĤей +ĠÑģпоÑģоб ноÑģÑĤÑĮÑİ +ĠÑģÑĥÑīеÑģÑĤв овала +ĠÑĤеÑģÑĤ иÑĢованиÑı +ĠÑĥнивеÑĢÑģ алÑĮно +ĠÑĥпоÑĤÑĢеб ление +ĠÑĥÑģÑĤанов ление +ĠÑħÑĢиÑģÑĤиан Ñģкой +ĠÑħÑĢиÑģÑĤиан ÑģÑĤво +ĠÑĨенÑĤÑĢ алÑĮного +ĠÑĩеловеÑĩеÑģ кие +ĠÑĩеловеÑĩеÑģ кий +ÐIJд миниÑģÑĤÑĢаÑĤив +коÑĢÑĢ еÑģпонденÑĤ +ĠÐĺÑģполÑĮзов ание +ĠÐľÐµÐ¶Ð´ÑĥнаÑĢод ной +ĠÐľÐµÐ¶Ð´ÑĥнаÑĢод нÑĭй +ĠÐŁÑĢавиÑĤелÑĮ ÑģÑĤва +Ġвозникнов ение +ĠгоÑĢизонÑĤ алÑĮно +ĠинÑĤеллиген ÑĨии +ĠиÑģÑģледов аÑĤелÑı +ĠкаÑĤегоÑĢ иÑĩеÑģки +ĠклаÑģÑģ иÑĦикаÑĨии +ĠлиÑĤеÑĢаÑĤÑĥÑĢ ного +ĠмеждÑĥнаÑĢод нÑĭй +ĠмÑĥниÑĨип алÑĮнÑĭÑħ +ĠнезнаÑĩ иÑĤелÑĮно +ĠоÑģÑĥÑīеÑģÑĤв ление +ĠоÑĤеÑĩ еÑģÑĤвенной +ĠпоÑģÑĤанов ление +ĠпÑĢавиÑĤелÑĮ ÑģÑĤве +ĠпÑĢедоÑģÑĤав лÑıеÑĤ +ĠпÑĢедоÑĤ вÑĢаÑĤиÑĤÑĮ +ĠпÑĢедполож ениÑı +ĠпÑĢедÑĥÑģмаÑĤÑĢ ива +ĠпÑĢеÑģлед ованиÑı +ĠпÑĢиÑģоедин илÑģÑı +ĠпÑĢоизведениÑı Ñħ +ĠÑĢазнообÑĢаз нÑĭе +ĠÑĢазнообÑĢаз нÑĭÑħ +ĠÑĢегионалÑĮ ного +ĠÑĢегÑĥлиÑĢов аниÑı +ĠÑĢекон ÑģÑĤÑĢÑĥкÑĨии +ĠÑģооÑĤвеÑĤÑģÑĤв ÑĥÑİÑĤ +ĠÑģпоÑģоб ÑģÑĤвовал +ĠÑģÑĤÑĢаÑĤег иÑĩеÑģки +ĠÑĦанÑĤаÑģÑĤ иÑĩеÑģки +ĠÑįконом иÑĩеÑģкие +ĠÑįкÑģпеÑĢим енÑĤов +ĠÑįнеÑĢг еÑĤиÑĩеÑģки +ĠСооÑĤвеÑĤÑģÑĤв енно +ĠинÑĦÑĢа ÑģÑĤÑĢÑĥкÑĤÑĥÑĢÑĭ +ĠобÑīеÑģÑĤвен ноÑģÑĤи +ĠпÑĢедполаг алоÑģÑĮ +ĠпÑĢедÑģÑĤав иÑĤелем +ĠпÑĢедÑĪ еÑģÑĤвенник +ĠпÑĢинадлеж ноÑģÑĤи +ĠпÑĢинадлеж ноÑģÑĤÑĮ +ĠпÑĢоÑĤивополож нÑĭ +ĠÑĥдовлеÑĤвоÑĢ ениÑı +ĠÑĦинанÑģ иÑĢованиÑı +ĠÑħаÑĢакÑĤеÑĢиÑģÑĤ ика +ĠÑħÑĥдожеÑģÑĤвен нÑĭй +ĠÑħÑĥдожеÑģÑĤвен нÑĭÑħ +ĠÐĵоÑģÑĥдаÑĢÑģÑĤвен наÑı +ĠгоÑģÑĥдаÑĢÑģÑĤвен нÑĭм +ĠжелезнодоÑĢож ной +ĠпÑĢедÑĥÑģмаÑĤÑĢ иваеÑĤ +ĠпÑĢод емонÑģÑĤÑĢиÑĢов +ĠÑĢаÑģÑģмаÑĤÑĢ иваеÑĤÑģÑı +ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑī ей +ĠÑģооÑĤвеÑĤÑģÑĤв ÑĥÑİÑīий +ĠÑĥÑģÑĤанавлив аеÑĤÑģÑı +ÐIJдминиÑģÑĤÑĢаÑĤив нÑĭй +пÑĢогÑĢамм иÑĢованиÑı +пÑĢоÑĦеÑģÑģионалÑĮ ной +ÑĢаÑģпÑĢоÑģÑĤÑĢан ÑıеÑĤÑģÑı +ÑģооÑĤвеÑĤÑģÑĤв ÑĥÑİÑīего +Ìģ з +Ìģ к +ÐIJ ÐĻ +ÐIJ ÑĦ +ÐIJ Ñį +Ðij Ðŀ +ÐĴ ÑĤ +Ðĵ Ñĥ +ÐĶ Ðķ +ÐĶ Ðĺ +Ðķ С +ÐĹ ÐIJ +Ðĺ Ðķ +Ðľ ÐŁ +Ðľ У +Ðŀ Ðij +Ðŀ Ðĵ +Ðł Ñĥ +С Ðĺ +С Ðľ +С ÐĿ +С Ðŀ +Т Ðij +Т ÐĴ +Т Ðļ +Т и +Ф Ðĺ +б б +д Ñį +ÑĢ ÑĢ +ÑĤ Ñij +Ñħ Ñį +Ñĩ ÑĤ +Ñĭ б +g ri +l au +n ch +p lo +t ig +v iv +ĠÐIJ Ðļ +ĠÐĶ в +ĠÐĺ Т +ĠÐļ н +ĠÐļ ÑĢ +ĠÐŀ в +ĠÐŀ ÑĦ +ĠÐł Ñİ +ĠТ Ñİ +ĠÐ¥ Ð¥ +ĠЮ н +ĠЮ п +ĠЯ Ñģ +Ġе м +ĠÑĤ Ñij +ĠÑĥ Ñħ +Ìģ лÑĮ +Ðij ог +Ðij Ñĥд +Ðij ÑĭÑĤ +ÐĴ оз +ÐĶ ом +Ðķ СТ +Ðĸ ен +Ðļ ÐŀÐĿ +Ðļ аз +Ðļ ам +Ðļ ÑĤо +Ðļ ÑĥÑĢ +ÐĽÑİ Ð± +Ðľ ак +Ðľ еÑĢ +Ðľ ил +Ðľ ин +Ðľ он +ÐĿ ÑĮÑİ +ÐŁ ал +ÐŁ ов +Ðł од +С ТÐIJ +С ан +С ов +С Ñĥд +Ч аÑģ +Ч еÑĤ +ад ÑĬ +а ик +ай б +ан ж +аÑĤ о +б ла +б лÑİ +б ÑĢÑĥ +б ÑĢÑĭ +в аÑĪ +в ек +в ив +вÑĭ к +в ÑĮе +г ид +г ил +дж о +дж Ñĥ +д иÑĤ +д ÑĢÑĥ +ед ж +еÑĤ к +еÑħ а +еÑī е +ж ем +ж из +ж ка +з ил +з иÑĤ +з Ñĥб +з ÑĥÑĢ +иг е +ин Ñı +иÑĤ к +к ож +ко Ñİ +лÑĭ б +н ан +не ÑĦ +н ке +н Ñĥд +нÑı Ñħ +об а +оÑĢ в +оÑĢ ж +о Ñħа +п ай +п ей +п еÑĩ +п ик +п лÑı +ÑĢ ма +ÑĢÑĥ м +ÑĢ Ñıз +Ñģ аÑģ +Ñģ во +Ñģ иÑĤ +ÑģÑĥ а +Ñģ Ñĥл +ÑĤ аб +ÑĤи д +ÑĤÑĥ л +ÑĤ ÑĥÑģ +Ñĥд Ñĥ +Ñĥз е +Ñĥм ÑĦ +Ñĥп а +ÑĥÑĢ о +ÑĦ ак +Ñĩ иÑĪ +Ñĩ нÑĭ +Ñĩ Ñĥг +Ñī иÑĨ +Ñĭ нÑĮ +Ñį кÑģ +Ñİ ÑģÑĤ +ĠBl a +ĠTr u +Ġe pi +fl ib +sol u +t ire +tr ic +ul at +ĠÐIJб д +ĠÐIJ ла +ĠÐIJн н +ĠÐIJÑĢ к +ĠÐij ад +ĠÐij ег +ĠÐij Ñĥн +ĠÐĴ ÐľÐ¡ +ĠÐĴ ай +ĠÐĴ ок +ĠÐĴ оÑĢ +ĠÐĴ Ñģп +ĠÐĴÑģ Ñİ +ĠÐĵ ав +ĠÐĵ аг +ĠÐĵ ил +ĠÐĶ СС +ĠÐĶ ел +ĠÐĶж и +ĠÐĶ иÑģ +ĠÐĶ ÑĥÑĢ +ĠÐĶ ÑĥÑħ +ĠÐĶ Ñįн +ĠÐķ ди +ĠÐĸ иÑĢ +ĠÐĹ Ð°ÑĢ +ĠÐĺ де +ĠÐĺ ог +ĠÐļ аÑĩ +ĠÐļ нÑı +ĠÐļ ÑĢÑĥ +ĠÐļ Ñĥк +ĠÐļ Ñĥл +ĠÐĽ ай +ĠÐĽ аÑģ +ĠÐĽ об +ĠÐľ аз +ĠÐľ ÑıÑģ +ĠÐĿ ÐĽÐŀ +ĠÐĿ ил +ĠÐŀ ле +ĠÐŁ ел +ĠÐŁ ов +ĠÐŁ оÑı +ĠÐł еп +ĠÐłÐ¸ о +ĠС ÐĿÐĵ +ĠС ак +ĠС ло +ĠС ме +ĠС оÑĤ +ĠС Ñĥл +ĠС Ñįм +ĠТ аÑĤ +ĠТ ен +ĠТ иÑĢ +ĠТ оп +ĠУ оÑĢ +ĠФ из +ĠФ ÑĢи +ĠÐ¥ им +ĠЧ ап +ĠЧ еÑĩ +ĠЧ иÑģ +ĠШ Ñĥм +Ġв еж +Ġд на +Ġза Ñħ +Ġи бн +Ġи ди +Ġиз ÑĬ +ĠлÑİ Ðº +Ġл Ñıг +Ġм Ñģк +Ġм Ñĥд +Ġоз в +Ġок ÑĤ +Ġп ак +Ġп ел +ĠÑĢÑĭ ж +ĠÑģÑĤ и +ĠÑĥ вÑĭ +ĠÑĦ Ñİз +ĠÑĩ ей +ĠÑĩ ип +ĠÑĩ ÑĮÑı +ĠÑĪ ан +ĠÑĪ еÑİ +ĠÑİ Ð³Ð° +ĠÑİ Ð½Ð¸ +ĠÑı иÑĨ +ÐIJÑį ÑĢо +Ðĵ лав +ÐĶон Ñĥ +ÐĹ Ð½Ð°Ðº +Ðŀб Ñīе +Ðł оÑģÑģ +С коÑĢ +С лав +Ð¥ илл +ав ÑĤо +ад еб +алÑĮ ÑĤ +ан гл +ани н +ан оÑģ +а ÑĢаб +аÑĢ ен +аÑĢ но +аÑĢ од +аÑĩ Ñijв +аÑĪ ка +аÑī ие +ба ев +б аÑĢд +б аÑģÑĤ +б еÑģÑģ +бо ев +б оÑĢо +бÑĭ ли +вел л +в елÑĮ +г геÑĢ +г ейм +г еÑĢа +г иги +г неÑĤ +г нÑĥл +г ÑĢÑĥб +д аем +д аÑĤа +дв ой +де ÑģÑı +д еÑĪÑĮ +д иÑĢа +ев ка +ев ое +ез нÑĭ +ели Ñı +ем ÑĥÑİ +ен дÑĭ +ен ев +ен на +ен не +ен ÑĨа +еÑĢ ба +еÑĢж а +еÑĢ ÑĤа +еÑĢ ÑĤÑĥ +еÑĢ ÑĤÑĭ +еÑĤ иÑĤ +еÑĤ ÑĤа +е Ñħод +еÑĩ ка +е ÑİÑģÑĮ +ж ден +ж еÑĩÑĮ +з елÑĮ +и ана +ид зе +ин Ñģк +иÑĢÑĥ Ñİ +иÑģ лÑı +иÑģÑģ и +иÑĩ ка +каж и +кв ей +к лей +к онÑĤ +кÑĢ ом +к ÑĢÑĥг +кÑĥ ла +леÑĤ Ñĭ +л еÑĩи +лог а +лож к +лÑıÑĤ в +мÑĥ ÑĢа +н емÑĥ +н еÑĤе +ниÑĩ ÑĮ +ног и +об ÑĬÑı +ов ик +ов ин +ов оз +оз еÑĢ +ой дÑı +ок иÑģ +ок ко +ол им +ол иÑĩ +ом оÑī +он иÑı +оп ла +оп оÑĤ +оÑĢ ом +оÑĦ еÑĢ +оÑĪ ен +па Ñĥк +п ека +пеÑĢ Ñģ +п ина +пиÑĪ Ñĥ +пл ак +п лем +пл еÑĩ +пл иÑĤ +плÑĭ л +пол Ñĥ +п оÑĤе +пп еÑĢ +пÑĢ ез +ÑĢ ала +ÑĢан а +ÑĢез в +ÑĢип ÑĤ +ÑĢи ÑıÑĤ +ÑĢов к +ÑĢо ен +ÑĢ ока +Ñģ аÑĢа +Ñģ вои +Ñģв ÑıÑĤ +Ñģ еÑĢб +Ñģ инг +Ñģл ад +Ñģл еж +Ñģп еÑĨ +ÑģÑĤ но +ÑģÑĤ ом +ÑģÑĤ ÑĢÑĭ +Ñģ ÑĨен +Ñģ ÑĩÑijÑĤ +ÑĤ авÑĢ +ÑĤ аÑĢа +ÑĤ епл +ÑĤоÑĩ н +ÑĤÑıн Ñĥ +Ñĥб еÑĢ +Ñĥд аÑĢ +Ñĥд ив +Ñĥм ов +Ñĥнк ÑĤ +ÑĥÑĢ ин +ÑĥÑħ ин +ÑĥÑĩ ик +ÑĥÑĩ ил +ÑĥÑįл л +Ñĥ ÑįлÑĮ +ÑĦ айл +ÑĦ ÑĦеÑĢ +Ñħ иÑĤÑĢ +ÑĨ елÑĮ +ÑĨ ким +ÑĩаÑģ а +Ñĩ ÑĥÑĤÑĮ +ÑĪ аÑĤÑĮ +ÑĪи ÑĦÑĢ +ÑĪ нее +ÑĪÑĤ ам +ÑĪÑĤ аÑĤ +ÑĭÑģ ла +Ñıн ин +ÑıÑī ен +sh ing +ĠÐIJв ÑĤо +ĠÐIJл ма +ĠÐIJ мÑĥÑĢ +ĠÐIJÑĦ ин +ĠÐij аÑĢÑĤ +ĠÐij еÑĢÑĤ +ĠÐij ÑĢÑıн +ĠÐijÑĭ ÑĤÑĮ +ĠÐĴол г +ĠÐĴ ÑĢаÑĩ +ĠÐĴÑģ ев +ĠÐĵеÑĢ ÑĨ +ĠÐĵ леб +ĠÐĶж ан +ĠÐķ ÑĦим +ĠÐĺÑĤ ог +ĠÐļ ала +ĠÐļ ÑĢай +ĠÐļ ÑĢиÑģ +ĠÐļ ÑĢиÑĤ +ĠÐļ Ñĥли +ĠÐĽ инд +ĠÐĽÑĮ ва +ĠÐľÐ°Ð¹ к +ĠÐľÐ°Ðº к +ĠÐľ иÑĢа +ĠÐŁÐ°ÑĢ к +ĠÐŁÐ¾Ð» Ñĥ +ĠÐŁÐ¾ ÑįÑĤ +ĠÐŁ ÑĢÑĥÑģ +ĠСв ой +ĠСем и +ĠСÑĤ ал +ĠСÑĤ Ñįн +ĠС ÑĥÑħо +ĠТ адж +ĠТ аÑĪк +ĠТ воÑĢ +ĠТеб е +ĠТ ÑĢен +ĠТ ÑĥÑĢг +ĠУ Ð¡Ð¡Ðł +ĠУ лÑĮÑı +ĠУ Ñĩен +ĠХол м +ĠЧ еÑĤÑĭ +ĠЮж но +ĠЯ коб +ĠЯÑģ но +Ġа боÑĢ +Ġаг иÑĤ +Ġан гл +Ġбед а +Ġбез д +Ġбог Ñĥ +Ġб ÑĢÑĥÑģ +ĠбÑĭ ÑĤа +Ġв акÑĥ +ĠвеÑĢ Ñİ +Ġв лаж +Ġв ÑĢаÑĤ +ĠвÑģ Ñijм +Ġг екÑĤ +Ġг лад +Ġг лин +ĠгоÑĢ а +ĠгоÑĢ Ñĥ +Ġг ÑĢÑĥб +Ġдан ÑĮ +ĠдаÑĤ Ñĥ +Ġд ико +ĠдÑĥм Ñĭ +ĠдÑıд Ñı +Ġе деÑĤ +Ġе Ñħал +Ġж алÑĮ +Ġж илÑĮ +Ġзим Ñĥ +Ġиз бÑĭ +Ġиз ÑĢа +Ġиз Ñĥм +Ġиз ÑıÑī +Ġин ÑĤÑĥ +Ġк иÑĤа +Ġкли Ñĩ +Ġк ÑĢан +ĠкÑĢ он +Ġк ÑĢоÑĪ +ĠкÑĥÑĩ Ñĥ +Ġмед а +Ġм екÑģ +ĠмеÑĢ Ñĥ +ĠмоÑĢ Ñİ +ĠмоÑģ к +Ġне иÑģ +Ġног а +ĠноÑģ а +Ġно ÑĥÑĤ +Ġн ÑĥлÑı +Ġо гоÑĢ +Ġод еÑĤ +Ġоз аб +Ġоз еÑĢ +Ġоз ÑijÑĢ +Ġок не +ĠоÑĩ ка +ĠоÑĩ ки +ĠпиÑģ а +Ġпла Ñī +Ġпоп а +ĠпоÑĩ в +Ġп ÑĪен +ĠÑĢад Ñĭ +ĠÑĢаз н +ĠÑĢод е +ĠÑĢод Ñĥ +ĠÑĢ олÑı +ĠÑĢ оÑĤа +ĠÑģам Ñĥ +ĠÑģ бил +ĠÑģв еÑĢ +ĠÑģ енÑģ +ĠÑģеÑĢ Ñĭ +ĠÑģк об +ĠÑģ лиÑı +ĠÑģл ои +ĠÑģов м +ĠÑģол е +ĠÑģ ÑĢав +ĠÑģÑĤ Ñĥк +ĠÑĤел Ñĥ +ĠÑĤеÑĢ м +ĠÑĤ ÑĢап +ĠÑĤ ÑĢаÑĦ +ĠÑĤÑĢ ек +ĠÑĤÑĢ еп +ĠÑĤÑĢ еÑĤ +ĠÑĤÑĢ ог +ĠÑĤÑĥп о +ĠÑĤ ÑĥÑĢа +ĠÑĤÑĭ лÑĥ +ĠÑĤÑij пл +ĠÑĥз ко +ĠÑĥÑĩ ÑijÑĤ +ĠÑĥ ÑĪÑijл +ĠÑĦ аÑĢа +ĠÑĦ лоÑĢ +ĠÑĦ она +ĠÑĪ айб +ĠÑĪ аÑĢа +ĠÑĪиÑĢ е +ĠÑİж но +ĠÑİ ÑģÑĤи +ĠÑıй ÑĨо +ĠÑı Ñĩей +ÐijеÑĢ ег +ÐĴ еÑĩеÑĢ +ÐĹап иÑģ +ÐĹ ÐµÐ½Ð¸ÑĤ +ÐĺÑģ кÑĥÑģ +ÐŁ амÑıÑĤ +ÐŁ обед +Ðł анее +С овеÑĤ +Ц енÑĤÑĢ +аг енÑĤ +аг ниÑĤ +адÑĬ ÑİÑĤ +анг ел +анов а +аÑĢ нÑĭе +аÑģÑĤ ов +аÑĤ ник +б ивал +б олее +болÑĮ н +бÑĭ ÑĤие +вед ÑĥÑĤ +веÑĢ ÑĪи +веÑģ ел +виж но +вол оÑĩ +вÑıз ал +гали и +г нÑĥÑĤÑĮ +гÑĢ Ñĭва +ев аÑĤÑĮ +ег аÑĤÑĮ +енÑĮ ки +еÑĢн Ñģк +еÑĤ ÑĢов +еÑĨи ан +з абоÑĤ +и аÑĤÑĥÑĢ +из аÑĨи +из даÑĤ +или ÑģÑĤ +им пеÑĢ +инÑĥ ли +ин ÑĨев +иÑĢÑĥ ÑİÑī +иÑĩ нÑĥÑİ +йд иÑĤе +ков ал +ков аÑı +кол оÑĤ +коÑĢ ей +лаг еÑĢ +лев од +леÑĤ ий +лив аÑı +лив Ñĥд +лив Ñĭе +лим пи +лÑĮ наÑı +лÑĮ Ñīик +лÑı ÑĨиÑİ +маÑĪ ин +меÑĤ ил +неÑģ ло +ни гов +ника Ñħ +ов ÑĨев +ов Ñĭва +окой н +окÑģ ид +оп олÑı +пий Ñģк +пи она +пиÑĤ ан +ÑĢак ÑĤа +ÑĢаÑĤ ак +ÑĢез ал +ÑĢ ение +Ñģад ил +Ñģ беÑĢг +Ñģо обÑī +Ñģп иÑĢа +ÑģÑĤ ало +ÑģÑĤÑĢ аÑĤ +ÑģÑĤÑĢ иÑĤ +ÑģÑĭ пал +ÑĤелÑı м +ÑĤон ов +ÑĤ ÑĢезв +ÑĤÑıж ел +Ñĥд иÑĤÑĮ +ÑĥÑĪ кой +ÑĦ ÑĢанÑĨ +ÑĩаÑģ ов +Ñĩе ÑģÑĤÑĮ +ÑĩиÑģÑĤ о +ÑĪ него +ÑīиÑħ ÑģÑı +Ñĭва ÑİÑī +ÑĮÑı нов +e ather +ĠÐIJ наÑģÑĤ +ĠÐIJнг ел +ĠÐijел Ñĭй +ĠÐijож ÑĮе +ĠÐij ÑĢеÑģÑĤ +ĠÐĴой на +ĠÐĴ ÑĩеÑĢа +ĠÐĴÑĭ Ñħод +ĠÐĶ ании +ĠÐĶжон Ñģ +ĠÐķв ÑĢоÑģ +ĠÐĹ Ð°Ð²ÐµÑĤ +ĠÐĺ нÑĭми +ĠÐĺÑģа ак +ĠÐĺÑģп ан +ĠÐĺÑģÑĤ ин +ĠÐļак им +ĠÐļак ое +ĠÐļнÑı зÑĮ +ĠÐļ оÑĤоÑĢ +ĠÐļÑĥб ке +ĠÐĽÐ¸ÑĤ вÑĭ +ĠÐľÐ°ÑĢ ин +ĠÐľÐ°ÑĢ ка +ĠÐľÐ¸Ð» ан +ĠÐĿад еж +ĠÐĿиж не +ĠÐŀÑĢг ан +ĠÐŀÑģ ман +ĠÐŀÑģоб о +ĠÐŁÐ°Ð» аÑĤ +ĠÐŁÐ¾Ð¼ нÑİ +ĠÐŁÐ¾ÑĢ ÑĤÑĥ +ĠÐŁ Ñĥбли +ĠÐłÐ°Ð´Ð¸ о +ĠСам аÑı +ĠСам Ñĭе +ĠСам Ñĭм +ĠС анÑĤа +ĠС нова +ĠСоÑİ Ð·Ðµ +ĠТаÑĢ аÑģ +ĠТ ÑĢанÑģ +ĠФоÑĢм а +ĠЧиÑģ ло +ĠШÑĤ аÑĤÑĭ +ĠÐŃÑĤ ого +Ġаб баÑĤ +Ġав анг +Ġак ÑĨиÑı +Ġал маз +Ġал ÑĤаÑĢ +ĠаÑĤак а +Ġбаг аж +Ġбан ке +ĠбаÑĢ ан +Ġбел ка +Ġбел Ñĭм +ĠбеÑĢ ез +Ġблаг а +Ġбл едн +Ġбог ом +Ġбол ÑĤа +ĠбоÑĢ ол +ĠбÑĢак е +ĠбÑĢаÑĤ Ñĥ +ĠбÑĭ ÑĤие +Ġв вода +Ġвед ÑijÑĤ +Ġвек аÑħ +ĠвеÑģ нÑĭ +Ġвз вод +ĠвиÑģ ел +Ġво инÑĭ +ĠвÑĢаг и +ĠвÑĭ воз +ĠвÑĭ дан +ĠвÑĭ неÑģ +ĠвÑĭ ноÑģ +ĠвÑĭп ал +Ġгн езд +ĠгоÑĢ но +ĠгÑĢÑıз ÑĮ +Ġг Ñĥман +ĠгÑĥÑģÑĤ о +Ġдав ай +Ġдв оиÑħ +Ġдев иÑĨ +Ġдел аÑİ +Ġдел аÑı +Ġд еÑĪев +Ġдог ад +Ġдожд Ñı +Ġдол ги +Ġдом ен +Ġдо ноÑģ +Ġдо ÑĪли +Ġжал ко +Ġжив ое +Ġжив Ñĭе +Ġжив Ñĭм +Ġжив ÑijÑĤ +Ġзав ал +ĠзаÑģ ел +Ġза ÑģÑĤÑĢ +Ġзв ено +Ġзнак а +ĠзÑĥб ов +ĠигÑĢ ой +Ġиде ей +Ġиди оÑĤ +Ġиз олÑı +Ġиз ÑĭÑģк +Ġико нÑĭ +Ġин нов +ĠинÑĦ ек +ĠиÑĤог и +Ġкад еÑĤ +Ġказ нÑĮ +Ġк ибеÑĢ +Ġк лÑıÑĤв +ĠкнÑıз Ñİ +Ġкол оÑģ +Ġком еÑĤ +Ġкон во +Ġкон Ñĩа +Ġко оÑĢд +Ġкоп ии +ĠкоÑĢ не +ĠкоÑĢ нÑı +ĠкÑĢÑĥ ÑĤо +ĠкÑĢÑĭ ло +ĠкÑĥз ов +Ġлад но +Ġли ÑĨен +Ġлов ко +Ġлож ка +ĠлÑĥÑĩ ей +ĠмаÑģ ки +ĠмаÑģÑģ е +ĠмоÑĢ ем +ĠнаÑģ оÑģ +ĠнаÑĥ кÑĥ +Ġнед ав +ĠноÑĩ ам +Ġоб ÑĢел +ĠобÑĭ Ñĩа +Ġод еÑĤÑĭ +Ġод обÑĢ +ĠопеÑĢ е +ĠопÑĭ ÑĤе +Ġо ÑģкоÑĢ +ĠоÑĤ дан +ĠоÑĤ озв +ĠоÑħоÑĤ Ñĭ +ĠоÑĩ иÑīа +Ġпал ео +Ġпал еÑĨ +ĠпалÑĮ м +ĠпаÑĢ нÑı +ĠпаÑĤ ÑĢÑĥ +ĠпеÑĢ еб +ĠпеÑĢ иÑĦ +ĠпеÑģ ка +Ġплан Ñĥ +ĠплаÑĤ Ñĥ +Ġп оваÑĢ +Ġпож ил +Ġпок ид +ĠпоÑģ ев +ĠпоÑĩ вÑĥ +ĠпоÑıÑģ а +ĠпÑĢи ÑİÑĤ +ĠпÑĢом Ñĭ +ĠпÑĢ оÑĩÑĮ +ĠпÑĥÑĤ ев +ĠпÑĥÑĪ ек +ĠпÑĮеÑģ а +ĠпÑĮеÑģ е +ĠÑĢ езид +ĠÑĢем еÑģ +ĠÑĢеп еÑĤ +ĠÑĢеÑĨ ен +ĠÑĢиÑģ кÑĥ +ĠÑĢ олей +ĠÑĢоÑģ ко +ĠÑĢоÑģÑĤ Ñĥ +ĠÑĢÑıда Ñħ +ĠÑģад ов +ĠÑģв иÑģÑĤ +ĠÑģв ÑıÑĤо +ĠÑģ даÑĤÑĮ +ĠÑģид ÑıÑĤ +ĠÑģл оем +ĠÑģлÑĥж б +ĠÑģмог Ñĥ +ĠÑģнег а +ĠÑģоÑĢ ÑĤа +ĠÑģоÑĩ Ñĥв +ĠÑģÑĢаж а +ĠÑģÑĤаÑĤ Ñĥ +ĠÑģÑĤол Ñĥ +ĠÑģÑĤÑĢо и +ĠÑģÑĥм ме +ĠÑĤаб ак +ĠÑĤай на +ĠÑĤак Ñģи +ĠÑĤан ÑĨа +ĠÑĤеÑģÑĤ о +ĠÑĤол кÑĥ +ĠÑĥлÑĥÑĩ ÑĪ +ĠÑĥм еÑĤÑĮ +ĠÑĥÑģ адÑĮ +ĠÑħв аÑĤа +ĠÑħод ом +ĠÑħод ÑıÑĤ +ĠÑħ ÑĢÑĥÑģÑĤ +ĠÑĨел аÑı +ĠÑĨел еÑģ +ĠÑĩеÑģÑĤ н +ĠÑĪан ÑģÑĭ +ĠÑĪ окол +ĠÑĪÑĤ оÑĢм +ĠÑī едÑĢо +ĠÑįÑĤ ажа +ĠÑİж нее +ĠÑİж нÑĭÑħ +ĠÑİно ÑĪа +ĠÑıзÑĭ кÑĥ +ĠÑıÑĢ ким +ÐIJÑĦ ÑĢика +ÐĹ Ð°Ð²ÑĤÑĢа +Ðĺн ÑĦоÑĢм +ЧеÑĤ веÑĢ +аг ÑĢеÑģÑģ +аÑĢов Ñģк +аÑĤив но +аÑīиÑħ ÑģÑı +бег аÑİÑĤ +б иваÑĤÑĮ +б ÑĢоÑĪен +в алоÑģÑĮ +в аÑĤелÑĮ +вед ено +веÑĢ нÑĥл +влеÑĩ еÑĤ +вод или +вÑĢаÑī ен +гад аÑĤÑĮ +гад Ñĭва +г алÑĮÑģк +гиги ен +гÑĢам ма +гÑĢÑĥпп Ñĭ +дав иÑĤÑĮ +дав лен +деÑģÑı ÑĤи +долг оÑģ +доÑģÑĤ Ñĥп +ев ÑģкаÑı +езж аÑĤÑĮ +ели лÑģÑı +елÑĮ Ñģин +ем оÑģÑĤи +еÑĢÑĤÑĥ аÑĢ +еÑĢÑĪи ли +еÑĩ ении +ж иваеÑĤ +ж Ñģкого +звон ил +зн ание +зн аниÑİ +зÑĢ ение +з ÑĭваеÑĤ +ин Ñģкое +иÑĢов ок +иÑĢÑĥ йÑĤе +иÑģÑĤ енÑĤ +иÑģÑĤ ика +иÑģÑĤ Ñģко +иÑĨ кого +каÑĤ Ñĭва +кив аеÑĤ +к онÑĩил +к ÑĢедиÑĤ +кÑĢÑĭÑĤ Ñĭй +лев ого +лег аÑİÑī +лен нÑĥÑİ +леÑĤ ние +леÑĤ ÑĢÑıÑģ +лиÑģÑĤ ов +лиÑĤ ÑĢов +лÑĮ Ñģком +ма ÑģÑĤеÑĢ +мен Ñıем +мен ÑıеÑĤ +мен ÑıÑĤÑĮ +меÑģÑĤ ил +нев ной +ней ÑĪее +неÑĦ ÑĤÑıн +нов омÑĥ +ожд аÑĤÑĮ +олог иÑİ +он ного +оÑģÑĤи ÑĢа +оÑĤеÑĢ ап +оÑĦ иÑĨеÑĢ +пад али +пеÑģ Ñĩан +пла Ñĩен +плем ен +плеÑĤ ен +пов еÑĢÑħ +полаг а +полн ен +п ÑĢоÑģил +пÑĢоÑģÑĤ о +ÑĢаб лен +ÑĢабоÑĤ а +ÑĢаз дел +ÑĢÑĥб лен +ÑģаÑģ Ñĭва +Ñģво емÑĥ +ÑģеÑĢ виÑģ +Ñģ еÑĢÑĮез +ÑģлÑĥÑĪ ал +ÑģÑĤан еÑĤ +ÑģÑĤан ÑĨи +ÑģÑĤв ÑĥÑİÑĤ +ÑģÑĤ оÑĢож +Ñģ ÑĥÑĤÑģÑĤв +ÑĤаÑī иÑĤÑĮ +ÑĦеод ал +ÑħваÑĤ ив +ÑĨенÑĤ ÑĢа +Ñĩ еÑģÑĤвÑĥ +Ñĩив аÑİÑĤ +ÑĪед ÑĪей +ÑįлекÑĤ ÑĢ +cent ury +ĠÐIJд олÑĮÑĦ +ĠÐIJна лиз +ĠÐijал кан +ĠÐijÑĢÑıн Ñģк +ĠÐĴели ко +ĠÐĴок ÑĢÑĥг +ĠÐĴол ков +ĠÐĴп олне +ĠÐĴÑģ егда +ĠÐĴÑĤоÑĢ ое +ĠÐĴÑĭÑģ оÑĤа +ĠÐĵог олÑĮ +ĠÐĵоÑģ дÑĥм +ĠÐĶ аннÑĭе +ĠÐĶ аннÑĭй +ĠÐĶаÑĢ вин +ĠÐĶоп олн +ĠÐķлÑĮ ÑĨин +ĠÐĺог анн +ĠÐĺÑĤа лиÑİ +ĠÐĺÑĤа лиÑı +ĠÐļоз лов +ĠÐļоÑĢ оÑĩе +ĠÐľÐ°ÑĢ ина +ĠÐľÐ°ÑĢк Ñģа +ĠÐľÐ¸Ð» леÑĢ +ĠÐľÐ¾Ð½ гол +ĠÐŀÑĤ делÑĮ +ĠÐŀÑĤ кÑĥда +ĠÐŀÑĦ иÑĨеÑĢ +ĠÐŁ аÑģÑĤеÑĢ +ĠÐŁÐ¸Ðº абÑĥ +ĠÐŁÐ»Ð°ÑĤ он +ĠÐŁÑĢив еÑĤ +ĠÐŁÑĢим еÑĩ +ĠÐŁÑĢи Ñħод +ĠÐŁÑĢоÑĪ ло +ĠÐłÐ¾Ð´ жеÑĢ +ĠСеÑĢб ии +ĠСибиÑĢ ÑĮ +ĠС меÑĢÑĤÑĮ +ĠСов еÑĢÑĪ +ĠС окÑĢаÑĤ +ĠТеÑĢ мин +ĠФ ÑĥнкÑĨи +ĠЦенÑĤ ÑĢа +ĠЧеÑĢ Ñĩил +ĠЧеÑĤÑĭ ÑĢе +ĠЧеÑħ ова +ĠЮж ного +ĠЮп иÑĤеÑĢ +ĠЯпон иÑı +ĠавÑĤоÑĢ Ñĥ +ĠадÑĢеÑģ а +ĠакÑĤеÑĢ а +Ġа лÑİмин +ĠаÑĢ ендÑĭ +ĠаÑĤом ов +Ġбал кон +Ġбал лов +Ġбез над +ĠбеÑģед Ñĥ +Ġблок ов +Ġбоев Ñĭм +Ġбол елÑĮ +ĠбоÑı лÑģÑı +ĠбÑĥмаг е +ĠбÑĭв ÑĪие +ĠбÑĭв ÑĪим +ĠвакÑĥ Ñĥм +ĠвеÑĢÑģ ий +Ġвз вода +Ġвид ами +Ġвид иÑĪÑĮ +Ġвиз иÑĤа +ĠвоÑģ Ñħод +ĠвпеÑĢ Ñijд +ĠвпÑĢав о +ĠвÑĭÑģ ади +ĠвÑĭÑģ ÑĪем +ĠвÑĭÑıв ил +ĠгазеÑĤ Ñĥ +ĠгеÑĢо ем +Ġглад ко +ĠглаÑģ иÑĤ +ĠгоÑĢ ÑĮко +ĠгоÑĤов о +ĠгÑĢан иÑĤ +ĠгÑĢ еков +ĠгÑĢоз иÑĤ +ĠгÑĢÑıд ÑĥÑī +ĠдвеÑĢ ей +ĠдеÑĢж аÑĤ +Ġди абеÑĤ +Ġдоб ива +ĠдобÑĢ Ñĭй +ĠдобÑĭ ÑĩÑĥ +Ġдог маÑĤ +Ġдолг ов +Ġдол инÑĭ +Ġдолл аÑĢ +ĠдÑĢÑĥж бÑĭ +ĠевÑĢе Ñıм +Ġегип еÑĤ +Ġжал обÑĭ +ĠзабÑĭ ли +Ġзаг ÑĢÑıз +Ġзад аÑĤÑĮ +Ġзаказ а +Ġзал иÑĤÑĮ +Ġзам ени +Ġзамен Ñĥ +Ġзам енÑĭ +ĠзамÑĭ ка +Ġза одно +Ġзапад Ñĥ +Ġзвон ок +Ġзем лед +ĠземлÑı Ñħ +ĠзÑĢ ение +ĠигÑĢ ала +ĠигÑĢок и +ĠиеÑĢ аÑĢÑħ +Ġизб ÑĢал +Ġиз влек +ĠимпеÑĢ и +ĠинÑĤ имн +ĠиÑģÑĤ еÑĢи +Ġкам еÑĢа +Ġкан але +ĠклаÑģÑģ Ñĭ +ĠклеÑĤ оÑĩ +ĠклÑĥб ов +Ġкноп ки +ĠкнÑı зем +Ġколеб л +ĠкоÑĢ оÑĩе +ĠкоÑĪ маÑĢ +ĠкÑĢаÑģ ки +ĠкÑĢÑĥг аÑħ +ĠкÑĥп лен +ĠкÑĥÑĢÑģ ов +Ġлег кие +Ġлег ким +Ġлей ÑĤен +ĠлидеÑĢ Ñĭ +Ġлог ика +ĠлÑĥÑĩ ÑĪем +ĠлÑİб или +ĠменÑı еÑĤ +ĠминÑĥÑĤ е +Ġмона Ñħи +ĠмÑĥд ÑĢеÑĨ +ĠнапÑĢÑı ж +ĠнаÑĢод е +ĠнаÑģ илÑĮ +Ġнеп ÑĢед +Ġниз ким +ĠнÑĥж нÑĭм +ĠобеÑī ан +Ġоб ложк +ĠобÑī емÑĥ +ĠобÑĬем е +Ġо гоÑĢод +Ġодеж де +Ġокеан е +ĠокÑĢÑĥг Ñĥ +Ġоп озна +ĠоÑĤбоÑĢ а +ĠоÑĤзÑĭв Ñĭ +ĠоÑĤкÑĢ Ñĭв +ĠоÑĤ Ñģлеж +ĠоÑĤ ÑģÑĤал +ĠоÑĤÑĤ ого +ĠоÑĤ Ñĩего +ĠоÑīÑĥÑī ал +Ġпан ели +ĠпаÑĢ ков +ĠпенÑģ иÑİ +ĠпеÑĩ енÑĮ +Ġплан аÑħ +Ġпобед е +Ġпов Ñģем +ĠповÑĭÑĪ а +Ġпог ода +ĠподÑĬ Ñijм +ĠполоÑģ е +ĠполÑĮз Ñĭ +Ġпом ниÑĤ +ĠпооÑī ÑĢÑı +Ġпоп ÑĢав +ĠпоÑħож а +ĠпÑĢав ÑĥÑİ +ĠпÑĢеÑģÑģ е +ĠпÑĢи езд +ĠпÑĢин ÑĨа +ĠпÑĢоÑģÑĤ а +ĠпÑĢоÑĤ Ñıж +ĠпÑĢоÑĩ ее +ĠпÑĢоÑĪ ед +ĠпÑĢоÑıв и +ĠпÑĢ ÑĥÑģÑģк +ĠпÑĢÑıм ом +ĠпÑĢÑıм Ñĭе +ĠпÑĢÑıм ÑĭÑħ +ĠпÑĥÑģÑĤ ой +ĠÑĢав нод +ĠÑĢав ной +ĠÑĢан нем +ĠÑĢаÑģ коп +ĠÑĢаÑģ пад +ĠÑĢаÑģÑĤ ÑĥÑĤ +ĠÑĢаÑĥн де +ĠÑĢез олÑİ +ĠÑĢ екÑĤоÑĢ +ĠÑĢеÑĪ аÑİÑĤ +ĠÑĢод ном +ĠÑĢоз ÑĭÑģк +ĠÑģбоÑĢ ки +ĠÑģек ÑĨии +ĠÑģенÑģ оÑĢ +ĠÑģеÑģÑģ ии +ĠÑģим ÑĦон +ĠÑģказ ав +ĠÑģказ ка +ĠÑģказ оÑĩ +ĠÑģк ÑĢÑĭва +ĠÑģкÑĢÑĭ ÑĤÑĮ +ĠÑģлаб Ñĭм +ĠÑģлад ко +ĠÑģлед ил +ĠÑģмож ем +ĠÑģобоÑĢ е +ĠÑģож жен +ĠÑģол идн +ĠÑģпаÑģ ен +ĠÑģпиÑģ ки +ĠÑģÑģÑĭл ка +ĠÑģÑĤав ки +ĠÑģÑĤаÑĢ аÑı +ĠÑģÑĤиÑħ аÑħ +ĠÑģÑĤол ик +ĠÑģÑĩеÑĤ ом +ĠÑĤак ова +ĠÑĤво его +ĠÑĤол ков +ĠÑĤол ÑģÑĤо +ĠÑĤоÑĩ кой +ĠÑĤÑĢаг иÑĩ +ĠÑĤÑĢаÑĦ ик +ĠÑĤÑĢи ÑĥмÑĦ +ĠÑĥбед ил +ĠÑĥбеж да +ĠÑĥб ÑĢаÑĤÑĮ +ĠÑĥвл ека +ĠÑĥдаÑĢ ом +ĠÑĥлиÑĨ ам +ĠÑĥлÑĮÑĤ ÑĢа +ĠÑĥни жен +ĠÑĥÑĢов нÑİ +ĠÑĥÑĢож ай +ĠÑĥÑģили в +ĠÑĥÑħод ÑıÑĤ +ĠÑĥÑĩÑij нÑĭÑħ +ĠÑĥÑī еÑĢба +ĠÑĦаÑĢа он +ĠÑĦа ÑĪиÑģÑĤ +ĠÑĦиз ике +ĠÑĦ онÑĤан +ĠÑĦÑİз елÑı +ĠÑĨенÑĤ ÑĢÑĭ +ĠÑĩеÑĢ нÑĭÑħ +ĠÑįк ÑģÑĤÑĢа +ĠÑį ÑģÑĤÑĢад +ÐIJд миÑĢал +Ðĵ оÑģÑĥдаÑĢ +Ðŀб ÑĬедин +Ф ÑĢанÑĨÑĥз +Ч еловек +веÑĢ нÑĥÑĤÑĮ +веÑī аниÑı +вид ение +вÑĪемÑĥ ÑģÑı +глÑıд еÑĤÑĮ +дÑĢÑĥг омÑĥ +ивÑĪаÑı ÑģÑı +иÑĢован н +иÑĢован о +иÑĢÑĥ ÑİÑīие +иÑĢÑĥ ÑİÑīий +иÑĦиÑĨи ÑĢÑĥ +каз Ñĭвал +каÑĤ олиÑĩ +клик нÑĥл +клÑİÑĩ иÑĤÑĮ +к оÑĤоÑĢÑĭе +кÑĢаÑĤ нÑĭй +кÑĢ ÑĭваÑĤÑĮ +наÑĢод но +нов ение +нов ениÑı +но ÑģÑıÑĤÑģÑı +об оÑĢонÑĭ +обÑī еÑģÑĤв +овав ÑĪиÑħ +ожд ениÑİ +пеÑĩаÑĤ ан +поп ÑĥлÑıÑĢ +поÑĢ ÑĥÑĩик +пÑĢав лÑıл +пÑĢез енÑĤ +пÑĢи ÑıÑĤие +пÑĢод ÑĥкÑĤ +ÑĢад икал +ÑĢеди енÑĤ +ÑĢиÑģ ован +Ñģкак ива +ÑģлÑĥж иÑĤÑĮ +Ñģп окойн +ÑģÑĤавлÑı Ñİ +ÑģÑĤан ÑĨиÑı +ÑģÑĤÑĥп аеÑĤ +ÑģÑĩиÑĤ аÑĤÑĮ +ÑĤвеÑĢж да +ÑĤелÑĮ ном +Ñĥжд ений +Ñĥ ÑģÑĤанов +ÑĦ ÑĢанÑĨÑĥз +ÑħодÑıÑī им +ÑĨион нÑĭÑħ +ÑįнеÑĢг ии +ÑıÑīего ÑģÑı +flib usta +ĠÐIJнаÑģÑĤ аÑģ +ĠÐIJ поллон +ĠÐijеÑĢ лина +ĠÐĴ наÑĩале +ĠÐĵаг аÑĢин +ĠÐĵенÑĢи Ñħа +ĠÐĵлав наÑı +ĠÐĶжон Ñģон +ĠÐĶÑĢÑĥг ими +ĠÐĺванов а +ĠÐĺÑĢ кÑĥÑĤÑģк +ĠÐļавказ е +ĠÐļом анда +ĠÐĽÐµÐ±ÐµÐ´ ев +ĠÐĽÐ¾Ð½Ð´ она +ĠÐľÐ°Ðº аÑĢов +ĠÐľÐ¾Ñģкв ой +ĠÐĿад еÑİÑģÑĮ +ĠÐĿед авно +ĠÐĿем ного +ĠÐŁÐµÑĢ евод +ĠÐŁÐ¾Ð»ÑĥÑĩ ен +ĠÐŁÐ¾Ð»ÑĥÑĩ ив +ĠÐŁ омниÑĤе +ĠÐŁÑĢи Ñĩина +ĠÐłÐ¸Ð¼ Ñģкой +ĠÐłÐ¾Ð± еÑĢÑĤа +ĠÐłÑĥÑģ Ñģкие +ĠСам олеÑĤ +ĠСеÑĢг еев +ĠТаÑĪк енÑĤ +ĠТ оваÑĢиÑī +ĠУлÑĮÑı нов +ĠУÑĢ алÑĮÑģк +ĠУÑģп енÑģк +ĠФÑĢан ÑģÑĥа +ĠФ ÑĢанÑĨÑĥз +Ġави аноÑģ +Ġав ÑģÑĤÑĢий +Ġапп еÑĤиÑĤ +ĠаÑĤом ной +ĠбаÑĤаÑĢ ей +Ġбег ÑģÑĤво +ĠбеÑģÑģ озн +Ġблиз кие +ĠбогаÑĤ Ñĭм +ĠболÑĮ нÑĭм +ĠбоÑı ÑĤÑĮÑģÑı +ĠбÑĥдÑĥÑī ий +ĠбÑĥлÑĮ ваÑĢ +Ġвед еÑĤÑģÑı +ĠведÑĥÑī им +Ġвеж ливо +Ġвели кие +Ġвели кое +Ġвели Ñĩай +ĠвеÑĤеÑĢ ан +Ġвид ение +ĠвклÑİÑĩ Ñijн +Ġвлад ееÑĤ +Ġвод ного +Ġвоев аÑĤÑĮ +Ġвоен ноп +Ġвоз лага +ĠвоÑģп иÑĤа +ĠвоÑģÑħ иÑīа +ĠвÑĢÑĥÑĩ нÑĥÑİ +ĠвÑģÑĤÑĢ еÑĤи +ĠвÑħод ило +ĠвÑĭгод но +ĠвÑĭзв ала +ĠвÑĭз Ñĭвал +ĠвÑĭ леÑĤел +ĠвÑĭÑĢоÑģ ла +ĠвÑĭÑıв иÑĤÑĮ +ĠвÑĭÑıÑģ нил +ĠгазеÑĤ аÑħ +ĠгоÑĢÑıÑĩ ей +ĠгоÑĤов ÑıÑĤ +Ġдан номÑĥ +ĠдвоÑĢ ÑĨов +Ġдел ение +Ġдел ениÑı +Ġдел иÑĤÑģÑı +ĠдеÑĪев ле +ĠдеÑıÑĤ елÑı +ĠдиÑģÑĤан ÑĨ +ĠдовеÑĢ ен +Ġдов олен +Ġдолл аÑĢа +Ġдол ожил +ĠдÑĢев неÑĢ +ĠдÑĢÑĥзÑĮÑı м +ĠдÑĥÑĪев но +Ġедин иÑĩн +Ġжел ании +Ġжел аниÑİ +ĠжеÑĢÑĤв ой +Ġзабол ел +ĠзавиÑģ ел +ĠзавиÑģ им +ĠзамеÑĩ ал +Ġзам еÑĩен +Ġзап еÑĩаÑĤ +ĠзаÑħ оÑĩеÑĤ +ĠзаÑīиÑī ал +ĠзаÑıв лен +Ġзелен Ñĭй +Ġзем ного +ĠзолоÑĤ ÑĭÑħ +ĠигÑĢов ой +ĠиеÑĢ аÑĢÑħи +Ġизд аний +ĠизлиÑĪ не +ĠизÑĥÑĩ иÑĤÑĮ +Ġимели ÑģÑĮ +ĠимпеÑĢ иÑı +ĠимпеÑĢ Ñģк +ĠиÑģпÑĭÑĤ ал +Ġк ажÑĥÑĤÑģÑı +Ġкали бÑĢа +ĠколÑħоз а +ĠкоÑĢоб ки +ĠкÑĢаÑģ нÑĭе +ĠкÑĢаÑģ нÑĭÑħ +ĠкÑĢов аÑĤи +Ġлеген дÑĭ +Ġлиней но +ĠмедалÑĮ Ñİ +ĠмелÑĮ ниÑĨ +ĠмеÑģÑĤ нÑĭй +ĠмеÑģÑĤ нÑĭм +Ġмин омеÑĤ +ĠмиÑĢов ом +ĠмолиÑĤ вÑĭ +Ġмолод аÑı +ĠмоÑĢ Ñģкие +ĠмоÑĤив ам +ĠнавÑĭ ков +Ġнадеж де +Ġнадеж но +ĠнадпиÑģ и +ĠнаÑħод ил +Ġнев ÑĭÑģок +Ġнеиз мен +Ġней ÑĤÑĢон +Ġнем ÑĨами +Ġнов оÑģÑĤÑĮ +ĠноÑĥÑĤ бÑĥк +ĠобобÑī ен +ĠобоÑĢон Ñı +ĠобÑī еÑģÑĤв +Ġовлад ел +ĠокÑĢа ÑĪен +ĠокÑĤÑı бÑĢÑĮ +ĠопаÑģ нÑĭм +Ġоп ÑĥÑģÑĤил +ĠоÑĢган ом +ĠоÑģ ведом +ĠоÑģкоÑĢ би +ĠоÑģоб нÑıк +ĠоÑĤд авал +ĠоÑĤдел ом +ĠоÑĤмен ен +ĠоÑĤ пеÑĩаÑĤ +ĠоÑĤ пÑĥÑģка +ĠоÑĨен кам +ĠпалÑĮ ÑĨем +ĠпаÑĢ овоз +ĠпеÑĢен еÑģ +ĠпеÑĪ еÑħод +Ġплав ник +Ġплан еÑĤа +Ġплен нÑĭÑħ +Ġпобеж ал +Ġпоб Ñĥжда +ĠповеÑĢ ил +Ġповли Ñıл +Ġпогло Ñīа +ĠпогÑĢÑĥж а +Ġпод ойÑĤи +ĠподоÑĪ ли +Ġпод ÑĢÑĥга +Ġпод Ñģказ +ĠполеÑĤ ов +Ġпол овой +Ġполож ен +Ġпол оÑģÑĤи +Ġпол ÑĩаÑģа +Ġпом еÑģÑĤÑĮ +Ġпом идоÑĢ +Ġпомог ли +Ġпомог ÑĥÑĤ +Ġпониж ен +Ġпоним аÑı +ĠпоÑģад ки +ĠпоÑģад кÑĥ +ĠпоÑģÑĤ елÑĮ +ĠпоÑģÑijл ке +ĠпоÑĤок ов +ĠпÑĢ егÑĢад +ĠпÑĢед вод +ĠпÑĢед поÑģ +ĠпÑĢеж ней +ĠпÑĢеж ние +ĠпÑĢеж ниÑħ +ĠпÑĢибоÑĢ Ñĭ +ĠпÑĢием ов +ĠпÑĢиз ÑĢак +ĠпÑĢи кÑĢеп +ĠпÑĢинÑı ÑĤа +ĠпÑĢиÑĤ воÑĢ +ĠпÑĢоÑĢ Ñĭва +ĠпÑĢоÑģÑĤ аÑı +ĠпÑĢоÑģÑĤ иÑĤ +ĠпÑĢоÑĪл ой +ĠпÑĥÑģÑĤ Ñĭне +ĠÑĢабоÑĩ ем +ĠÑĢазв иÑĤÑĮ +ĠÑĢазлиÑĩ а +ĠÑĢазоб ла +ĠÑĢак овин +ĠÑĢеак ÑĨий +ĠÑĢом анов +ĠÑĢÑĥÑģ Ñģкое +ĠÑģеÑĢд ÑĨем +ĠÑģеÑĢеб ÑĢа +ĠÑģклон нÑĭ +ĠÑģкÑĢ Ñĭвал +ĠÑģ наÑĢÑĥжи +ĠÑģниз иÑĤÑĮ +ĠÑģов еÑģÑĤÑĮ +ĠÑģовеÑĤ ов +ĠÑģозда ÑijÑĤ +ĠÑģол даÑĤа +ĠÑģомнев а +ĠÑģоÑģÑĥд ов +ĠÑģÑĢед нее +ĠÑģÑĤав ÑĪий +ĠÑģÑĤаÑĢ ÑĪиÑħ +ĠÑģÑĤ илиÑģÑĤ +ĠÑģÑĤол иÑĨа +ĠÑģÑĤÑĢа ÑģÑĤÑĮ +ĠÑģ Ñĥждено +ĠÑģÑĥпÑĢÑĥг и +ĠÑĤемн оÑĤе +ĠÑĤеÑĩ ениÑİ +ĠÑĤоп ливо +ĠÑĤ ÑĢаÑĤиÑĤÑĮ +ĠÑĤÑĢеб Ñĥем +ĠÑĤÑĢÑĥд нее +ĠÑĤÑıжел Ñĭй +ĠÑĥб иваеÑĤ +ĠÑĥвели Ñĩи +ĠÑĥвид иÑĤе +ĠÑĥг левод +ĠÑĥлÑĥÑĩ ÑĪен +ĠÑĥ наÑģлед +ĠÑĥÑħ ажива +ĠÑĥÑħод иÑĤÑĮ +ĠÑĦабÑĢи ки +ĠÑĦами лиÑİ +ĠÑĦÑĢÑĥк ÑĤов +ĠÑĦÑĥÑĤбол а +ĠÑħозÑı ева +ĠÑħоÑĢоÑĪ ÑĥÑİ +ĠÑħÑĢани ли +ĠÑĨаÑĢ Ñģкой +ĠÑĨеÑĢ квей +ĠÑĩаÑģÑĤ нÑĭе +ĠÑĩаÑģÑĤ нÑĭм +ĠÑĪиÑĢок ие +ĠÑĪокол ад +ĠÑĪÑĤÑĥÑĢ ман +ĠÑįкÑģ кÑĥÑĢÑģ +ĠÑİÑģÑĤи ÑĨии +ĠÑıдеÑĢ ной +Ðļ ÑĢеÑģÑĤÑĮÑıн +агÑĢеÑģÑģ ив +адÑĬÑİÑĤ анÑĤ +ак ÑĨионеÑĢ +аÑĨион наÑı +бал ÑĤийÑģк +в ÑĢеменно +вÑĭÑģ оÑĩайÑĪ +гоÑĤов лен +дейÑģÑĤв ие +енин гÑĢад +запад нее +запад ной +заÑīиÑĤ ник +иÑĢов алÑģÑı +кнов енно +лив аеÑĤÑģÑı +лож еннÑĭе +маÑĤ еÑĢиал +моÑĢ Ñģкого +ниÑĩ еÑģÑĤва +ноÑģ иÑĤелÑĮ +опÑĢи ÑıÑĤно +оÑģоб енно +оÑĤ кÑĢовен +пеÑĩаÑĤ аÑĤÑĮ +ÑĢабоÑĤ Ñĩик +ÑĢан ÑģпоÑĢÑĤ +ÑĢез вÑĭÑĩай +ÑĢом агниÑĤ +Ñģозн ание +ÑģÑĤав лÑıем +ÑģÑĤав лÑıÑİÑĤ +ÑģÑĤвен нÑĥÑİ +ÑĤеÑĢап евÑĤ +ÑĤиÑĩеÑģ ким +ÑĤиÑĩеÑģ кÑĥÑİ +ÑĨионалÑĮ н +ÑĬекÑĤив но +ĠÐijелаÑĢ ÑĥÑģÑĮ +ĠÐĴÑģев олод +ĠÐĴÑĭ ÑģÑĤÑĥпал +ĠÐĶ иÑĢекÑĤоÑĢ +ĠÐĶмиÑĤÑĢи ев +ĠÐĶ окÑĥменÑĤ +ĠÐķвÑĢоÑģ оÑİз +ĠÐŀбÑī еÑģÑĤва +ĠÐŀ ÑĢенбÑĥÑĢг +ĠÐŁÐ°Ðº иÑģÑĤан +ĠÐŁÐ¾Ð´Ð¾Ð± нÑĭе +ĠÐŁÑĢодолж а +ĠÐłÐ°Ð·Ð² иÑĤие +ĠСевеÑĢ наÑı +ĠСевеÑĢ ном +ĠСозд ание +ĠТвеÑĢ Ñģкой +ĠТÑĥÑĢг енев +ĠУÑĩиÑĤ ÑĭваÑı +ĠЧеÑĢ нигов +ĠЧеÑħ оÑģлов +ĠШек ÑģпиÑĢа +Ġаванг аÑĢд +ĠагÑĢеÑģÑģ ии +ĠакÑĤив нÑĭм +ĠаÑĢбиÑĤ ÑĢаж +Ġа ÑģÑĤеÑĢоид +Ġбеж енÑĨев +ĠбеÑģкон еÑĩ +Ġби ологии +Ġбоев иков +Ġваж ноÑģÑĤÑĮ +ĠвеÑĢ ноÑģÑĤÑĮ +ĠвклÑİÑĩ енÑĭ +Ġвовл еÑĩен +Ġвод иÑĤелÑı +ĠводоÑĢ ода +Ġвоен нÑĭми +Ġвозмож на +ĠвообÑĢаж а +ĠвпеÑĩаÑĤ лÑı +ĠвÑĢаÑī ениÑı +ĠвÑģÑĤÑĢеÑĩ ал +ĠвÑģÑĤÑĥп аеÑĤ +ĠвÑĤоÑĢ иÑĩно +ĠвÑĭбиÑĢа еÑĤ +ĠвÑĭглÑıд ÑıÑĤ +ĠвÑĭиг ÑĢала +ĠвÑĭиг ÑĢаÑĤÑĮ +ĠвÑĭÑĢаж аеÑĤ +ĠвÑĭÑħод или +ĠглÑĥбок ий +ĠглÑĥбок им +ĠглÑĥбок ое +ĠговоÑĢ иÑĤе +ĠгоÑģÑĥдаÑĢ ÑĮ +ĠгоÑģÑĥдаÑĢ Ñı +ĠгÑĢаниÑĨ аÑħ +ĠгÑĥб еÑĢнÑģк +ĠдеÑĢев енÑĮ +ĠдеÑĤ Ñģкого +ĠдиÑĢ екÑĤив +ĠдоговоÑĢ Ñĥ +ĠдÑĥÑħов нÑĭÑħ +Ġжел анием +ĠженÑīин ам +Ġжив опиÑģÑĮ +ĠжÑĥÑĢна лов +Ġзаб аÑģÑĤов +Ġзаб ÑĢоÑĪен +Ġзавоев ан +Ġзакон ами +Ġзаним али +Ġзаним аÑĤÑĮ +Ġзапад ном +Ġзап омина +ĠзапÑĢоÑģ ов +ĠзаÑĤÑĢÑĥд нÑı +ĠзаÑıвлÑı еÑĤ +Ġизб егаÑĤÑĮ +ĠизбÑĭ ÑĤоÑĩн +Ġизмен ÑıÑĤÑĮ +ĠизÑĥÑĩ ении +ĠиллÑİ ÑģÑĤÑĢа +Ġиндей ÑĨев +Ġиннов аÑĨи +ĠинÑĤеÑĢеÑģ Ñĥ +ĠинÑĤеÑĢ ÑĮеÑĢ +ĠиÑģÑĤоÑĢ ика +ĠкваÑĢÑĤи ÑĢа +ĠклÑİÑĩ евÑĭÑħ +ĠконкÑĥÑĢ Ñģе +ĠконÑĤак ÑĤа +ĠкоÑĢолев Ñĭ +ĠкоÑĢоÑĤ ким +ĠкÑĢед иÑĤоÑĢ +ĠлеÑĤ Ñĩиков +Ġлок алÑĮно +ĠлÑİбов ник +Ġмани ÑĦеÑģÑĤ +Ġмеда лÑıми +ĠмедиÑĨи не +ĠмекÑģ икан +ĠмеÑħани ки +Ġмолодеж ÑĮ +ĠмÑĥдÑĢ оÑģÑĤи +ĠмÑĭÑģл енно +ĠнадпиÑģ ÑĮÑİ +ĠнапиÑģ ала +Ġна ÑĢезаÑĤÑĮ +ĠнемеÑĨ ким +Ġнемног иÑħ +ĠнепÑĢ оÑģÑĤо +Ġнов гоÑĢод +Ġнов оÑģÑĤей +Ġоблад аÑĤÑĮ +Ġобол оÑĩки +ĠобоÑģÑĤ ÑĢен +ĠобÑĢаÑĤ ной +ĠобÑĢаÑĤ ном +ĠобÑī еÑģÑĤвÑĥ +ĠобÑĬÑıв ила +ĠогÑĢом наÑı +ĠогÑĢом нÑĭÑħ +Ġожид ании +Ġозаб оÑĩен +ĠопиÑģ Ñĭвал +ĠопÑĢед ели +ĠоÑģлаб лен +ĠоÑģнов ано +ĠоÑĤÑĢав лен +ĠоÑĤÑģÑĤÑĥп ил +ĠоÑĩевид нÑĭ +ĠоÑĪиб оÑĩно +ĠпеÑĢво наÑĩ +ĠпеÑĢед анÑĭ +ĠпеÑĢедаÑĩ Ñĥ +ĠпеÑĢем енÑĭ +ĠпеÑĢеп леÑĤ +ĠпеÑĢеÑħод е +Ġплав аниÑı +ĠплоÑīад ка +Ġпобед иÑĤÑĮ +ĠпозволÑı Ñİ +Ġпок инÑĥли +Ġполез нÑĭм +Ġполез нÑĭÑħ +ĠполÑĥ ÑĤоÑĢа +ĠпомеÑģÑĤ ил +Ġпоним аем +ĠпоÑģÑĤÑĥп ки +ĠпоÑĤеÑĢ Ñıла +ĠпоÑĤÑĢеб лÑı +ĠпÑĢем ÑĮеÑĢа +ĠпÑĢеÑģÑĤол а +ĠпÑĢивил ег +ĠпÑĢигла ÑĪа +ĠпÑĢи езжал +ĠпÑĢизна еÑĤ +ĠпÑĢизна ÑİÑĤ +ĠпÑĢимен ен +ĠпÑĢим еним +ĠпÑĢинеÑģ ла +ĠпÑĢовед Ñijн +ĠпÑĢоекÑĤ ом +ĠпÑĢозв иÑīе +ĠпÑĢопоÑĢ ÑĨи +ĠпÑĢоÑĢ абоÑĤ +ĠпÑĢоÑģлав и +ĠпÑĢ оÑģÑĤиÑĢа +ĠпÑĢоÑıвлÑı л +ĠпÑĭÑĤ алаÑģÑĮ +ĠÑĢаÑģ пиÑģан +ĠÑĢеалÑĮ ном +ĠÑĢе алÑĮнÑĭм +ĠÑĢезон анÑģ +ĠÑĢим Ñģкого +ĠÑĢÑĥÑģ ÑģкомÑĥ +ĠÑģвод иÑĤÑģÑı +ĠÑģевеÑĢ нÑĭÑħ +ĠÑģелÑĮ ÑģкиÑħ +ĠÑģеÑĢÑĮÑijз но +ĠÑģилÑĮ нейÑĪ +ĠÑģкоÑĢ оÑģÑĤн +ĠÑģовеÑĤ Ñģко +ĠÑģообÑī аÑİÑĤ +ĠÑģопеÑĢ ник +ĠÑģоÑĢ аÑĤник +ĠÑģпаÑģ ение +ĠÑģпоÑģоб но +ĠÑģпÑĥÑĤ ника +ĠÑģÑĤаÑĢ аÑıÑģÑĮ +ĠÑģÑĤаÑĢ оÑģÑĤи +ĠÑģÑĤÑĢад аеÑĤ +ĠÑģÑĤÑĢаниÑĨ Ñĥ +ĠÑģÑĤÑĢ аннÑĭм +ĠÑģÑĥдеб ной +ĠÑģÑĥдеб нÑĭÑħ +ĠÑĤекÑĥÑī его +ĠÑĤеоÑĢеÑĤ ик +ĠÑĤеÑĢми нал +ĠÑĤолÑī иной +ĠÑĤоÑĢгов лÑı +ĠÑĤоÑĢг овÑĭе +ĠÑĤÑĢа екÑĤоÑĢ +ĠÑĤÑĢÑĥд овой +ĠÑĥваж ениÑı +ĠÑĥголов но +ĠÑĥказ ание +ĠÑĥменÑĮ ÑĪен +ĠÑĥÑģи ление +ĠÑĥÑģлов ием +ĠÑĥÑģÑĤаÑĢ евÑĪ +ĠÑĥÑĩ аÑīиÑħÑģÑı +ĠÑĥÑĩеб ного +ĠÑĥÑĩиÑĤ елем +ĠÑĥÑĩ ÑĢежден +ĠÑĦакÑĤоÑĢ ом +ĠÑĦанÑĤаз ии +ĠÑĦÑĢанÑĨÑĥз Ñĭ +ĠÑħÑĢан иÑĤÑģÑı +ĠÑĩем пиона +ĠÑĩиÑĤ аÑĤелÑİ +ĠÑĪиÑĢок ого +ĠÑįкÑģпеÑĢ ÑĤÑĭ +ĠÑįнеÑĢг иÑĩн +ĠÑıдеÑĢ ного +ÐĺÑģкÑĥÑģ ÑģÑĤво +Ðļом мÑĥниÑģÑĤ +аÑĦÑĢикан Ñģк +аÑĨион ного +иÑĢов анием +иÑĢов аннÑĭм +меÑĤалл ÑĥÑĢг +нев оÑģÑĤоÑĩн +ожд еÑģÑĤвен +п оминаниÑı +ÑĢабаÑĤ Ñĭвал +ÑĢег ÑĥлиÑĢов +ÑģекÑĢеÑĤ аÑĢÑĮ +Ñģлед оваÑĤÑĮ +ÑģÑĤÑĥп аÑĤелÑĮ +ÑģÑĥб ÑĬекÑĤив +s ufficient +ĠÐĴели ÑĩеÑģÑĤв +ĠÐĴеÑĢÑħов нÑĭй +ĠÐĴолг огÑĢад +ĠÐĵенеÑĢ алÑĮн +ĠÐĵÑĢигоÑĢ ÑĮев +ĠÐĺвановиÑĩ а +ĠÐľÐ¸Ð½Ð¸ÑģÑĤ ÑĢов +ĠÐĿаÑģ колÑĮко +ĠÐĿаÑħод иÑĤÑģÑı +ĠÐŁÐ°ÑģÑĤеÑĢ нак +ĠÐŁÐ¾Ð» ожение +ĠÐŁÐ¾Ñģлед нее +ĠÐŁÑĢед полаг +ĠСовеÑĤ ÑģкаÑı +ĠСÑĩиÑĤ аеÑĤÑģÑı +ĠФедоÑĢов иÑĩ +ĠФÑijдоÑĢов иÑĩ +ĠХаб аÑĢовÑģк +ĠЧелÑıбин Ñģк +ĠакÑĤÑĥ алÑĮно +ĠаппаÑĢаÑĤ ов +ĠаÑģÑģ иÑģÑĤенÑĤ +ĠаÑĤмоÑģÑĦеÑĢ е +ĠаÑįÑĢодÑĢом а +Ġближай ÑĪиÑħ +ĠвизÑĥ алÑĮно +ĠвклÑİÑĩ ениÑı +ĠвоздÑĥÑĪ ной +ĠвÑĭдел ениÑı +ĠвÑĭполнÑı ÑİÑĤ +ĠвÑĭÑģÑĤав лен +ĠвÑĭÑģÑĤÑĥп ала +ĠгÑĢеÑĩеÑģ кой +ĠгÑĥман иÑĤаÑĢ +ĠдалÑĮ ноÑģÑĤÑĮ +ĠдейÑģÑĤвиÑı м +ĠдиÑģкÑĥÑģ Ñģии +Ġдобав лÑıÑİÑĤ +ĠдобÑĢов олÑĮ +ĠевÑĢей Ñģкой +ĠзавеÑĢÑĪ иÑĤÑĮ +ĠзаговоÑĢ ил +ĠзаконÑĩ иÑĤÑĮ +Ġзам еÑĩаниÑı +Ġзапад ного +Ġзап ÑĥÑģÑĤиÑĤÑĮ +Ġза ÑĢабоÑĤал +ĠзаÑģÑĤав или +ĠзаÑĤÑĢÑĥд нен +Ġзем леÑĤÑĢÑıÑģ +Ġизмен ении +ĠизобÑĢеÑĤ ен +ĠинженеÑĢ ов +ĠинÑĤеÑĢеÑģ ам +ĠинÑĤеÑĢ неÑĤе +ĠиÑģкÑĥÑģ ÑģÑĤвÑĥ +ĠиÑģÑĤоÑĢ иков +ĠкапиÑĤ алÑĮн +ĠкаÑĤегоÑĢ ий +ĠкиÑĤай ÑģкиÑħ +ĠкнÑıж еÑģÑĤва +Ġком енданÑĤ +ĠконÑĤак ÑĤов +ĠконÑĤ ÑĢакÑĤа +ĠконÑĤ ÑĢаÑĤак +ĠконÑĨеп ÑĨиÑİ +ĠлекаÑĢ ÑģÑĤва +ĠлÑİб иÑĤелей +Ġмагаз инов +ĠмикÑĢоÑģ коп +ĠмобилÑĮ нÑĭÑħ +Ġнаде ÑıÑĤÑĮÑģÑı +Ġнак аплива +ĠнамеÑĢ ение +Ġнам еÑģÑĤник +ĠнаÑģÑĤоÑıÑī аÑı +ĠнаÑģÑĤоÑıÑī ие +Ġнез адолго +ĠненавиÑģÑĤ и +Ġномина ÑĨии +ĠнÑĭнеÑĪ него +ĠобеÑģпеÑĩ ил +ĠоблаÑģÑĤ ной +ĠобнаÑĢÑĥж ив +ĠобÑĢаÑī ении +ĠобÑģÑĥжд аÑĤÑĮ +ĠокÑĢÑĥж ении +ĠопеÑĢаÑĤоÑĢ а +ĠопÑĢав дÑĭва +ĠоÑģвобод ил +ĠоÑģнов нÑĭми +ĠоÑģÑĤанов ки +ĠоÑĤделÑĮ нÑĭм +ĠоÑĤкÑĢÑĭÑĤ ого +ĠоÑĤлиÑĩ алÑģÑı +ĠпаÑĢÑĤнеÑĢ ов +ĠпеÑĢевоз ки +ĠпеÑĢед авал +ĠпеÑĢен еÑģÑĤи +ĠпеÑĢеÑģÑĤ али +ĠпеÑĢÑģ оналÑĮ +ĠплаÑĤÑĦоÑĢм а +Ġповед ении +ĠповÑĤоÑĢ ÑıÑĤÑĮ +ĠподклÑİÑĩ ен +ĠподнÑı ÑĤÑĮÑģÑı +Ġполож ений +ĠполÑĮ Ñģкого +ĠпонимаеÑĤ е +ĠпопÑĥлÑıÑĢ нÑĭ +ĠпоÑģвÑıÑī ена +ĠпоÑģлан ник +ĠпоÑģмоÑĤÑĢ им +ĠпоÑıв иÑĤÑĮÑģÑı +ĠпÑĢевÑĢаÑī ен +ĠпÑĢепаÑĢаÑĤ Ñĭ +ĠпÑĢивл еÑĩен +ĠпÑĢи легаÑİÑī +ĠпÑĢиÑħод или +ĠпÑĢовед ена +ĠпÑĢовин ÑĨиÑı +ĠпÑĢодÑĥк ÑĨиÑİ +ĠпÑĢоиг ÑĢÑĭва +ĠпÑĢоÑĨед ÑĥÑĢа +ĠпÑĢоÑĨеÑģÑģ ом +ĠпÑĢоÑıвлÑı ÑĤÑĮ +ĠÑĢади оÑģÑĤан +ĠÑĢазвеÑĢ нÑĥÑĤ +ĠÑĢазговоÑĢ е +ĠÑĢаз меÑģÑĤил +ĠÑĢазн оглаÑģ +ĠÑĢазÑĢеÑĪ иÑĤÑĮ +ĠÑĢаÑģполож и +ĠÑĢаÑģÑĪиÑĢ иÑĤÑĮ +ĠÑĢеволÑİ ÑĨиÑİ +ĠÑĢедак ÑĤоÑĢа +ĠÑĢеп еÑĢÑĤÑĥаÑĢ +ĠÑĢод иÑĤелÑıм +ĠÑģвобод нÑĭÑħ +ĠÑģвÑıз аннÑĭм +ĠÑģеÑĢÑĮез нÑĭм +ĠÑģеÑĢÑĮез нÑĭÑħ +ĠÑģлож ноÑģÑĤÑĮ +ĠÑģлÑĥÑĩ аеÑĤÑģÑı +ĠÑģобÑĭÑĤи Ñıми +ĠÑģовеÑĢÑĪ аеÑĤ +ĠÑģов еÑĢÑĪили +ĠÑģовеÑĤ Ñģким +ĠÑģовеÑī аниÑı +ĠÑģовпад аеÑĤ +ĠÑģозд анием +ĠÑģокÑĢаÑĤ иÑĤÑĮ +ĠÑģопеÑĢ ника +ĠÑģоÑģÑĤ оиÑĤÑģÑı +ĠÑģоÑħÑĢан ÑıеÑĤ +ĠÑģоÑĨи ализм +ĠÑģÑĢавн ение +ĠÑģÑĤаÑĢ аеÑĤÑģÑı +ĠÑģÑĤаÑĢ аÑİÑĤÑģÑı +ĠÑģÑĥдеб ного +ĠÑģÑĩаÑģÑĤ ливÑĭ +ĠÑĤеÑĢÑĢоÑĢ изм +ĠÑĤип огÑĢаÑĦи +ĠÑĥваж ением +ĠÑĥдоÑģÑĤ овеÑĢ +ĠÑĥказ аÑĤелÑĮ +ĠÑĥлÑĥÑĩ ÑĪение +ĠÑĥменÑĮ ÑĪиÑĤÑĮ +ĠÑĥм ÑģÑĤвенно +ĠÑĥпоÑĤÑĢеб лÑı +ĠÑĥпÑĢав лÑıеÑĤ +ĠÑĥпÑĢазд нÑijн +ĠÑĥÑģловиÑı ми +ĠÑĥÑģÑĤанов ок +ĠÑĥÑģÑĤÑĢан иÑĤÑĮ +ĠÑĥÑĩаÑģÑĤв ÑĥÑİÑĤ +ĠÑĦеÑģÑĤ ивалÑĮ +ĠÑĦинанÑģов о +ĠÑħаÑĢакÑĤеÑĢ е +ĠÑħим иÑĩеÑģки +ĠÑħÑĥдож ники +ĠÑĩинов ники +ĠÑįвакÑĥ аÑĨии +ĠÑįкÑģпеÑĢÑĤи з +ĠÑįлекÑĤÑĢи Ñĩе +ĠÑįÑĤни ÑĩеÑģки +ÐŁÑĢе обÑĢажен +веÑĢ нÑĥвÑĪиÑģÑĮ +долгоÑģ ÑĢоÑĩн +оваÑĤелÑĮ нÑĭÑħ +оÑģÑĤÑĢо иÑĤелÑĮ +ÑģпÑĢав едлив +ÑĨенÑĤÑĢи ÑĢова +ĠÐļÑĢаÑģноÑıÑĢ Ñģк +ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢад а +ĠÐŀблад аÑĤелÑĮ +ĠÐŁÐ¾ÑĢÑĤÑĥ галии +ĠÐłÐ°ÑģÑģ моÑĤÑĢим +ĠÐłÐµÑģпÑĥбли ке +ĠСовеÑĢÑĪ енно +ĠамеÑĢикан ÑĨа +ĠбиблиоÑĤек е +ĠбÑĢиÑĤан Ñģкий +ĠвнÑĥÑĤÑĢен нем +ĠвнÑĥÑĤÑĢен нÑİÑİ +Ġвознаг ÑĢажд +Ġвозобнов ил +ĠвозÑĢаÑģÑĤ аеÑĤ +ĠвооÑĢÑĥж ении +ĠвоÑģ кликнÑĥл +ĠвÑĭделÑı еÑĤÑģÑı +ĠвÑĭÑĢаж аеÑĤÑģÑı +ĠгеÑĢман ÑģкиÑħ +ĠгеÑĢман Ñģкой +ĠгиÑĤлеÑĢов Ñģк +ĠгоÑģпод ÑģÑĤво +ĠдалÑĮней ÑĪей +Ġдвен адÑĨаÑĤи +ĠдиÑģÑĨип линÑĭ +ĠдоÑģÑĤиж ений +ĠевÑĢей Ñģкого +Ġзавоев аниÑı +ĠзаклÑİÑĩ ениÑİ +Ġзаним алаÑģÑĮ +Ġзаповед ник +Ġзнаком ÑģÑĤва +Ġзнаком ÑģÑĤво +ĠинÑģÑĤиÑĤÑĥÑĤ ов +Ġин ÑģÑĤÑĢÑĥкÑĤоÑĢ +ĠинÑĤег ÑĢаÑĨии +ĠинÑĤеллекÑĤ а +ĠинÑĤеÑĢеÑģ ное +ĠинÑĤеÑĢеÑģ нÑĭе +ĠинÑĤеÑĢеÑģ нÑĭÑħ +ĠиÑģкÑĥÑģ ÑģÑĤвом +ĠконÑĤÑĢол леÑĢ +ĠкÑĥлÑĮÑĤÑĥÑĢ ной +ĠлейÑĤен анÑĤа +ĠмаленÑĮ кого +ĠмаÑģÑĤеÑĢ Ñģкой +Ġмнож еÑģÑĤвом +ĠмоÑģков Ñģком +ĠмÑĥлÑĮÑĤ ÑĦилÑĮм +ĠназÑĭваем аÑı +ĠназÑĭвал аÑģÑĮ +ĠнапÑĢав лена +ĠнаÑģÑĤойÑĩив о +ĠнеболÑĮÑĪ ими +Ġнепод вижно +ĠноÑĢм алÑĮной +ĠобнаÑĢÑĥж ено +Ġобнов лениÑı +ĠобознаÑĩ аеÑĤ +ĠобÑĢаз ÑĥÑİÑĤÑģÑı +ĠобÑĢаÑĤ илиÑģÑĮ +ĠобÑģÑĤанов кÑĥ +ĠобÑĬедин иÑĤÑĮ +ĠобÑĬÑıв лениÑı +ĠогÑĢаниÑĩ иÑĤÑĮ +ĠокÑĢÑĥжаÑİÑī им +ĠоÑĢганиз мов +ĠоÑĢиенÑĤ аÑĨии +ĠоÑģÑĤав ÑĪиеÑģÑı +ĠоÑģÑĤав ÑĪиÑħÑģÑı +ĠоÑĤделÑĮ нÑĭми +ĠоÑĤлиÑĩ алиÑģÑĮ +ĠпеÑĢевоÑĢоÑĤ а +Ġповед ением +ĠповоÑĢ аÑĩива +ĠповÑĭÑĪ енной +Ġпоказ ÑĭваÑĤÑĮ +Ġполно ÑĨенно +Ġполож ением +ĠпопÑĥлÑıÑĢ нÑĭм +ĠпоÑģÑĤанов ки +ĠпоÑģÑĤоÑıн ное +ĠпоÑģÑĤоÑıн нÑĭй +ĠпоÑģÑĤоÑıн нÑĭÑħ +ĠпоÑıвлÑı ÑĤÑĮÑģÑı +ĠпÑĢедÑĭдÑĥÑī ей +ĠпÑĢепаÑĢаÑĤ ов +ĠпÑĢеÑĤенд енÑĤ +ĠпÑĢиговоÑĢ ен +ĠпÑĢодÑĥк ÑĤивн +ĠпÑĢоизвод ÑıÑĤ +ĠпÑĢоник нÑĥÑĤÑĮ +ĠпÑĢопаганд Ñĭ +ĠпÑĢоÑģлав лен +ĠпÑģиÑħ оÑĤеÑĢап +ĠпÑıÑĤи деÑģÑıÑĤи +ĠÑĢабоÑĤ аÑİÑīиÑħ +ĠÑĢавновеÑģ иÑı +ĠÑĢав номеÑĢно +ĠÑĢаздел ениÑı +ĠÑĢазÑĢÑĥÑĪ ение +ĠÑĢаÑģпÑĢед елÑı +ĠÑĢаÑģÑģказ али +ĠÑĢаÑģÑģÑĩиÑĤ Ñĭва +ĠÑĢаÑĨионалÑĮ н +ĠÑĢеализ аÑĨиÑİ +ĠÑĢеализ аÑĨиÑı +ĠÑĢоÑģÑģий Ñģким +ĠÑģвидеÑĤ елей +ĠÑģклон ноÑģÑĤÑĮ +ĠÑģодеÑĢж аниÑİ +ĠÑģокÑĢаÑī ениÑı +ĠÑģооÑĢÑĥж ение +ĠÑģоÑģÑĤоÑı нием +ĠÑģпоÑĢÑĤив ной +ĠÑģпоÑĢÑĤив нÑĭÑħ +ĠÑģпÑĢав оÑĩник +ĠÑģÑĤÑĢем илиÑģÑĮ +ĠÑģÑĤÑĢем лениÑı +ĠÑĤелеÑģ еÑĢиал +ĠÑĤÑĢаг иÑĩеÑģки +ĠÑĤÑĢениÑĢов ки +ĠÑĥбед иÑĤелÑĮн +ĠÑĥкÑĢа инÑģкой +ĠÑĥкÑĢеп ление +ĠÑĥп оминание +ĠÑĥпÑĢав лениÑİ +ĠÑĥпÑĢаж нение +ĠÑĥпÑĢаж нений +ĠÑĥÑĩаÑģÑĤ ником +ĠÑĦиз иÑĩеÑģким +ĠÑħÑĥдож ником +ĠÑįкÑģпед иÑĨиÑı +аз еÑĢбайджан +обÑĢаз иÑĤелÑĮн +олог иÑĩеÑģкие +олог иÑĩеÑģкий +олог иÑĩеÑģкиÑħ +повеÑĢÑħ ноÑģÑĤн +ÑĢегÑĥли ÑĢован +ÑģинÑĤ еÑĤиÑĩеÑģк +ÑģпоÑģоб ноÑģÑĤÑĮ +ÑĤеÑħни ÑĩеÑģком +ĠÐĶеп аÑĢÑĤаменÑĤ +ĠÐļонÑģÑĤан ÑĤина +ĠÐŁÑĢак ÑĤиÑĩеÑģки +ĠÐłÐ¾ÑģÑģ ийÑģкого +ĠаÑĢÑħиÑĤекÑĤ оÑĢа +ĠбоепÑĢипаÑģ ов +Ġбож еÑģÑĤвенно +ĠбÑĢиÑĤан Ñģкого +Ġводо ÑħÑĢанили +ĠвоÑģпиÑĤан ник +ĠвÑģÑĤÑĢеÑĤ илиÑģÑĮ +ĠвÑģÑĤÑĢеÑĩ алиÑģÑĮ +ĠвÑĭполнÑı еÑĤÑģÑı +ĠдеÑģÑıÑĤи леÑĤий +Ġдл иÑĤелÑĮного +ĠдоÑģÑĤиг аеÑĤÑģÑı +Ġзабл Ñĥждение +ĠзаклÑİÑĩ алаÑģÑĮ +ĠзаклÑİÑĩ еннÑĭÑħ +ĠизбиÑĢ аÑĤелей +Ġиз гоÑĤавлива +ĠимпеÑĢаÑĤоÑĢ ом +ĠиÑģÑģлед оваÑĤÑĮ +ĠиÑģÑĤоÑĢ иÑĩеÑģки +ĠконкÑĥÑĢен ÑĨии +ĠконÑģÑĤиÑĤÑĥ ÑĨии +ĠконÑģÑĤÑĢÑĥк ÑĨий +ĠконÑģÑĥлÑĮÑĤ анÑĤ +ĠконÑĦеÑĢен ÑĨиÑı +ĠкоÑĢолев ÑģÑĤва +ĠкоÑģм иÑĩеÑģкой +ĠмÑĥзÑĭкалÑĮ ной +ĠмÑĥзÑĭкалÑĮ нÑĭй +ĠмÑĥзÑĭкалÑĮ нÑĭÑħ +ĠназÑĭваем ого +ĠнаÑĨионалÑĮ но +Ġнежел аÑĤелÑĮн +ĠнеобÑħодим ой +ĠобознаÑĩ ение +ĠобÑĢазов ании +ĠопÑĢедел ении +ĠопÑĢедел ениÑİ +ĠопÑĢедел енно +ĠпеÑĢем еÑīениÑı +ĠпеÑĢÑģпекÑĤив е +Ġпобед иÑĤелем +ĠповÑģем еÑģÑĤно +ĠподдеÑĢж аниÑı +ĠподÑĩеÑĢ кнÑĥÑĤÑĮ +ĠполиÑĨей ÑģкиÑħ +Ġпонадоб иÑĤÑģÑı +ĠпоÑĢÑĤÑĥ галÑĮÑģк +ĠпоÑĤÑĢеб иÑĤелÑı +ĠпÑĢедÑĥпÑĢед ил +ĠпÑĢекÑĢаÑī ениÑı +ĠпÑĢеобÑĢаз ова +ĠпÑĢеÑģлед овал +ĠпÑĢеÑĥвели Ñĩен +ĠпÑĢигла ÑĪение +ĠпÑĢиÑģÑĥÑĤÑģÑĤв иÑı +ĠпÑĢод вижение +ĠпÑĢодолж ениÑı +ĠпÑĢоиÑģÑħод иÑĤÑĮ +ĠпÑĢоÑģв еÑīениÑı +ĠпÑĢо ÑħождениÑı +ĠÑĢазв иваÑİÑĤÑģÑı +ĠÑĢаз воÑĢаÑĩива +ĠÑĢазмÑĭÑĪ лениÑı +ĠÑĢазоÑĩаÑĢ ован +ĠÑĢаÑģÑģÑĩиÑĤ Ñĭвал +ĠÑĢаÑĨионалÑĮ но +ĠÑĢелигиоз нÑĭе +ĠÑģанÑĤимеÑĤ ÑĢов +ĠÑģвой ÑģÑĤвенно +ĠÑģвойÑģÑĤвен нÑĭ +ĠÑģоÑħÑĢани лоÑģÑĮ +ĠÑģÑĤанов илоÑģÑĮ +ĠÑģÑĤÑĢо иÑĤелÑĮно +ĠÑģÑĥб ÑĬекÑĤивно +ĠÑģÑĥÑīеÑģÑĤв овал +ĠÑĤелевид ениÑı +ĠÑĤеÑħни ÑĩеÑģким +ĠÑĥбед иÑĤелÑĮно +ĠÑĥвеÑĢ енноÑģÑĤи +ĠÑĥдовлеÑĤвоÑĢ Ñı +ĠÑĥменÑĮÑĪ аеÑĤÑģÑı +ĠÑĥÑĩаÑģÑĤв овала +ĠÑĦинанÑģов ого +ĠÑĦоÑĢм иÑĢÑĥеÑĤÑģÑı +ĠÑĦÑĢанÑĨÑĥз Ñģкие +ĠÑħолод илÑĮник +ĠÑĨенÑĤÑĢ алÑĮнÑĭÑħ +ĠÑįлекÑĤÑĢон нÑĭÑħ +одейÑģÑĤв оваÑĤÑĮ +олог иÑĩеÑģкого +ĠÐĶополн иÑĤелÑĮн +ĠЧеÑħоÑģлов акии +ĠавиаÑĨион ного +ĠамеÑĢикан Ñģким +ĠамеÑĢикан Ñģком +ĠбеÑģÑģ мÑĭÑģленно +ĠвозвÑĢаÑī аÑĤÑĮÑģÑı +ĠвоздейÑģÑĤв ием +ĠдемонÑģÑĤÑĢа ÑĨии +ĠдокÑĥменÑĤ аÑĨии +ĠзадейÑģÑĤв ован +ĠзнаÑĩиÑĤелÑĮ наÑı +ĠзнаÑĩиÑĤелÑĮ нÑĭй +ĠзнаÑĩиÑĤелÑĮ нÑĭÑħ +ĠиÑģÑĤоÑĢ иÑĩеÑģком +ĠиÑĤалÑĮÑıн Ñģкого +ĠкÑĢеÑģÑĤÑĮÑıн Ñģкой +Ġликвид иÑĢован +ĠмакÑģималÑĮ ной +ĠмаÑĤеÑĢи алÑĮной +ĠмаÑĤеÑĢи алÑĮнÑĭÑħ +ĠминиÑģÑĤеÑĢ ÑģÑĤво +ĠмногоÑĩиÑģлен н +ĠмодеÑĢниз аÑĨии +ĠмÑĥзÑĭкалÑĮ ного +ĠнаÑĨионалÑĮ ном +ĠнаÑĨионалÑĮ нÑĭе +ĠнаÑĨионалÑĮ нÑĭм +ĠобеÑģпеÑĩ иваÑİÑĤ +ĠобнаÑĢÑĥж иваеÑĤ +ĠобÑģлÑĥж ивание +ĠобÑīеÑģÑĤвен ное +ĠобÑīеÑģÑĤвен нÑĭм +ĠопÑĢедел еннÑĥÑİ +ĠопÑĢеделÑı ÑİÑĤÑģÑı +ĠоÑĦиÑĨи алÑĮного +ĠпаÑĤ ологиÑĩеÑģк +ĠпланиÑĢов аниÑı +ĠповÑģед невной +ĠподÑĤвеÑĢж даеÑĤ +ĠподÑĩеÑĢ киваеÑĤ +ĠполиÑĤ иÑĩеÑģкое +ĠполÑĥ заÑīиÑĤник +ĠполÑĮзоваÑĤ ели +ĠпÑĢак ÑĤиÑĩеÑģкой +ĠпÑĢеÑģÑĤÑĥп ников +ĠпÑĢиÑģÑĥÑĤÑģÑĤв ÑĥÑİÑĤ +ĠпÑĢогÑĢамм ного +ĠпÑĢоÑĤивоÑĢеÑĩ иÑĤ +ĠÑĢазнообÑĢаз нÑĭ +ĠÑĢазÑĢабоÑĤ Ñĩики +ĠÑĢаÑģ пÑĢоÑģÑĤÑĢани +ĠÑĢаÑģÑģÑĤÑĢой ÑģÑĤва +ĠÑĢодÑģÑĤвен ники +ĠÑģовокÑĥп ноÑģÑĤи +ĠÑģоÑĤÑĢÑĥд никами +ĠÑĤÑĢадиÑĨион ной +ĠÑĤÑĢадиÑĨион нÑĭÑħ +ĠÑĥпоÑĤÑĢеб лениÑı +ĠÑĦоÑĢм иÑĢовании +ĠÑĩеловеÑĩеÑģ ким +ĠÑĩеловеÑĩеÑģ кое +ĠÑįк ологиÑĩеÑģки +ĠÑįкÑģпеÑĢименÑĤ Ñĭ +иÑģ ÑģледоваÑĤелÑĮ +ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢад Ñģкой +ĠадминиÑģÑĤ ÑĢаÑĨиÑı +ĠвмеÑĪ аÑĤелÑĮÑģÑĤва +ĠвоÑģ ÑģÑĤанавлива +ĠдемонÑģÑĤÑĢи ÑĢÑĥеÑĤ +ĠеÑģÑĤеÑģÑĤвен ного +ĠинÑĤеÑĢпÑĢеÑĤ аÑĨии +ĠинÑĦоÑĢмаÑĨион но +ĠиÑģполÑĮзов аниÑİ +ĠмеÑģÑĤоÑĢ ождениÑı +ĠнаÑģÑĩиÑĤ ÑĭвалоÑģÑĮ +ĠнеобÑĭ кновенно +ĠоÑĢганизаÑĨиÑı ми +ĠподÑĢаздел ение +Ġпознаком иÑĤÑĮÑģÑı +ĠполÑĮзоваÑĤелÑı м +ĠпоÑģÑĤанов лениÑı +ĠпÑĢоизвод иÑĤелÑı +ĠпÑĢоÑĤивоÑģÑĤоÑı ÑĤÑĮ +ĠÑĢазновид ноÑģÑĤÑĮ +ĠÑĢаÑģполож еннÑĭе +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан Ñijн +ĠÑĢаÑģÑģмаÑĤÑĢ иваем +ĠÑĢаÑģÑģмаÑĤÑĢ иваеÑĤ +ĠÑģвидеÑĤелÑĮ ÑģÑĤвÑĥ +ĠÑģовÑĢемен ников +ĠÑģопÑĢов ождении +ĠÑģÑĤаÑĤиÑģÑĤ иÑĩеÑģки +ĠÑĥÑģÑĤанавлив аÑĤÑĮ +ĠÑĥÑģÑĤановлен нÑĭÑħ +ĠÑįконом иÑĩеÑģкий +ĠÐĴеликобÑĢиÑĤ аниÑı +ĠбеÑģÑģозн аÑĤелÑĮно +Ġдоказ аÑĤелÑĮÑģÑĤво +ĠинÑĦоÑĢмаÑĨион ной +ĠинÑĦоÑĢмаÑĨион нÑĭÑħ +ĠиÑģполн иÑĤелÑĮной +ĠнеобÑħодим оÑģÑĤÑĮÑİ +ĠоÑĢганиз аÑĨионно +ĠпÑĢедÑĥпÑĢежд ениÑı +ĠпÑĢоизвод иÑĤелей +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан енÑĭ +ĠÑģопÑĢов ождаеÑĤÑģÑı +ĠÑģоÑĤÑĢÑĥдниÑĩ еÑģÑĤве +ĠÑģпоÑģобÑģÑĤв оваÑĤÑĮ +ĠÑģпÑĢаведлив оÑģÑĤÑĮ +ĠÑĤеÑħнолог иÑĩеÑģки +ĠÑĥдовлеÑĤвоÑĢ ение +ĠÑįлекÑĤÑĢо ÑįнеÑĢгии +демокÑĢаÑĤ иÑĩеÑģкой +ĠвзаимооÑĤно ÑĪениÑı +ĠгоÑģÑĥдаÑĢÑģÑĤвен нÑĥÑİ +ĠÑģооÑĤвеÑĤÑģÑĤв оваÑĤÑĮ +ĠÑģооÑĤвеÑĤÑģÑĤв ÑĥÑİÑīим +админиÑģÑĤÑĢаÑĤив нÑĭй +законод аÑĤелÑĮÑģÑĤва +пÑĢед положиÑĤелÑĮно +пÑĢоизвод ÑģÑĤвеннÑĭÑħ +пÑĢоÑĦеÑģÑģионалÑĮ нÑĭй +ÑģоÑĨиалиÑģÑĤ иÑĩеÑģкой +ÑĦÑĥнкÑĨион иÑĢованиÑı +; # +X V +ÐIJ Ðĵ +ÐIJ Ð¥ +ÐIJ Я +ÐIJ б +ÐIJ й +ÐĴ ÐŁ +ÐĶ С +ÐĶ У +Ðķ ÐĹ +Ðķ Ðļ +Ðĸ Ðķ +Ðĺ Ðĵ +Ðĺ Ð¥ +Ðľ Ðķ +ÐĿ ÐŁ +Ðł ÐĿ +С ÐIJ +С Ðij +У Ðij +У ÐĶ +У ÐĹ +У ÐĽ +У Ðľ +У ÐĿ +У ÐŁ +У Т +Ð¥ ÐIJ +Ю н +Я Т +б Ñģ +б Ñį +ж к +к Ñį +л з +н Ñį +ÑĢ ÑĦ +Ñģ ÑĬ +ÑĤ Ñį +Ñį в +Ñı п +e ep +h au +s ka +ts u +ĠÐIJ Ðŀ +ĠÐĵ Ñij +ĠÐĸ е +ĠÐĹ Ñĥ +ĠÐļ Ðij +ĠÐļ ÐĴ +ĠÐļ ÐĿ +ĠС ÐĴ +ĠС ÑĢ +ĠТ Ñį +ĠЦ Ñĥ +ĠЧ о +ĠÐŃ Ð³ +ĠÐŃ Ð¿ +Ġд Ñİ +Ġж Ñİ +Ġи ÑĢ +Ġи Ñī +Ġн Ñİ +Ġо Ñħ +ĠÑį м +ĠÑį Ñģ +Ìģ ÑĤÑĮ +ÐIJÑĢ к +Ðij ÑĥÑĢ +ÐĴ ÐķÐł +ÐĴ из +ÐĶ ол +ÐķÐĿ ÐĿ +ÐĹ Ð½Ð° +ÐĺÐĿ ÐIJ +Ðĺ СТ +ÐļÐŀ Ðľ +Ðļ ни +Ðļ оÑģ +Ðļ ÑĢи +ÐĽ ÐŀÐĴ +ÐĽ ей +Ðľ ÐķÐĿ +Ðľ аÑĤ +ÐĿÐĺ Ðĺ +ÐĿ ак +Ðŀ ÐĵÐŀ +ÐŁÐŀ ÐĽ +ÐŁ оÑĩ +Ðł ÐŀÐĴ +ÐłÐŀ С +СТ Ðĺ +С ШÐIJ +С ÑĤо +Т ÐķÐł +Т оÑĢ +Ф оÑĢ +аз Ñĭ +ам м +б аб +б аз +б ов +б Ñĥз +б ÑĥÑħ +б ÑĮÑİ +б Ñįк +в иÑĨ +в нÑĥ +в он +в Ñģп +в Ñĥд +д еж +д ли +д оп +д ÑĢÑĭ +д Ñĥб +дÑİ Ð¹ +ев Ñģ +ед е +е ем +ез н +ж ег +з аб +з ей +з ма +ив ÑĪ +иг м +ик л +и од +ип п +иÑĦ м +й ме +ле Ñı +л оз +л ÑĥÑħ +лÑİ Ð¿ +м ба +н ав +н Ñĥк +н ÑĨи +об л +ок г +он к +он н +оÑģ в +оÑģ л +оÑĤ к +п ид +п Ñĥн +п ÑĥÑĪ +ÑĢг и +ÑĢе Ñı +ÑĢ ÑĮе +ÑĢ ÑĮÑı +Ñģ ак +Ñģ ик +Ñģ Ñģо +Ñģ ÑģÑĭ +Ñģ Ñĥм +Ñģ ÑĥÑī +ÑģÑı к +ÑĤ аж +ÑĤ ег +ÑĤ еÑĪ +ÑĤ ÑĥÑĤ +ÑĤÑĭ к +Ñĥ за +Ñĥз в +Ñĥй б +Ñĥл Ñĭ +ÑĦ ел +ÑĦ иÑĤ +ÑĦ иÑĪ +Ñħ аб +Ñħ ем +ÑĨи в +Ñĩ ав +Ñĩ ÑĥÑĤ +ÑĪ оÑĥ +ÑĪ ÑĥÑĤ +Ñĭн н +Ñĭ ÑĢе +Ñĭ ÑĢÑĮ +Ñįй н +Ñįм п +Ñį ÑĢи +Ñıм о +Ñı но +ÑıÑĤ к +Ñij жи +Ñijж н +Ñij ÑĪÑĮ +ĠSh u +d ian +r iff +s oci +t ens +ĠÐIJв и +ĠÐIJ ма +ĠÐij ла +ĠÐij од +ĠÐij ок +ĠÐij оÑĤ +ĠÐĴ ÐĴÐŁ +ĠÐĴ Ñĭв +ĠÐĵ ÐĶÐł +ĠÐĵ ÐŃС +ĠÐĵ аÑģ +ĠÐĵ им +ĠÐĶ Ð¢ÐŁ +ĠÐĶ аÑĤ +ĠÐĶ еÑģ +ĠÐĶж Ñĥ +ĠÐĶ им +ĠÐĶ ин +ĠÐĸ аÑĢ +ĠÐĸ еÑĢ +ĠÐĹ Ð°Ð¿ +ĠÐĹ Ð»Ð¾ +ĠÐĺ оÑĢ +ĠÐļ ав +ĠÐļ ÑįÑĤ +ĠÐĽ ап +ĠÐĽÑİ Ðº +ĠÐľ еÑģ +ĠÐľ ид +ĠÐľ ое +ĠÐľ оз +ĠÐľ Ñĥн +ĠÐľ Ñįй +ĠÐĿ ез +ĠÐĿ из +ĠÐĿ оÑĩ +ĠÐŀ ÐļÐij +ĠÐŁ ÐķÐł +ĠÐŁ ад +ĠÐŁ аÑĪ +ĠÐŁ иÑĪ +ĠÐŁÐ¾ Ñħ +ĠÐŁ Ñĥг +ĠÐŁ Ñĥл +ĠÐŁ ÑĥÑĤ +ĠÐł ак +ĠÐł ид +ĠÐł Ñĥб +ĠС ап +ĠС аÑĤ +ĠС аÑĦ +ĠСÑĤ Ñİ +ĠС Ñĥн +ĠС ÑĭÑĢ +ĠУ вÑĭ +ĠУ лÑĮ +ĠФ СÐij +ĠФ ан +ĠФ иÑĢ +ĠФ ок +ĠФ ÑĢо +ĠФ ÑĥÑĢ +ĠÐ¥ ен +ĠÐ¥ ÑĮÑİ +ĠЦ ин +ĠЧ ел +ĠЧ еÑĤ +ĠШ аг +ĠШ аÑĤ +ĠÐŃл л +ĠÐŃ Ð¿Ð¸ +ĠÐŃ ÑģÑĤ +Ġа кÑĥ +Ġа Ñĥк +Ġб оÑģ +Ġв ак +Ġв Ñijл +Ġг ав +Ġг лÑİ +Ġд ем +Ġд еÑĪ +Ġд ин +Ġж Ñijл +Ġй ог +Ġл же +Ġл ом +Ġл оÑģ +Ġм еÑģ +Ġм Ñĥк +ĠоÑĢ н +Ġо Ñģп +ĠоÑĤ Ñĩ +Ġп ав +Ġпо ÑĪ +Ġп Ñģк +Ġп Ñĥд +ĠÑĢÑĭ ÑĨ +ĠÑģ аб +ĠÑģо ÑĨ +ĠÑģÑĤ Ñĭ +ĠÑģ Ñĥж +ĠÑĤ Ñijм +ĠÑĥ мÑĭ +ĠÑĦ оÑģ +ĠÑħ ал +ĠÑĩ Ñĥг +ĠÑĩ ÑĮе +ĠÑĪ ев +ĠÑĪ ед +ĠÑĪ еи +ĠÑĪ Ñijл +ĠÑı ко +ĠÑı ÑħÑĤ +ÐIJв ÑĤо +ÐĶол г +ÐķÐĿÐĺ Я +Ðĺ ТÐIJÐł +Ðĺ ван +Ðľ аÑĢи +ÐŁÐµÑĤ ÑĢ +ÐŁ иÑģÑĮ +С емÑĮ +Ф оÑĢм +ав еÑģ +ав иÑĨ +ад ий +ай Ñģк +али й +ан га +ан ги +ап ан +аÑĢ ом +аÑĢ Ñģк +аÑĢ Ñħа +аÑĤа Ñħ +аÑĤа ÑĪ +б айÑĤ +б аÑĢа +боÑĢ г +боÑĢ д +б ÑĢаз +ве ев +веÑĢ ÑĪ +вин е +в ожд +г ана +г анд +г аÑĤÑĮ +г ени +г лоÑĤ +г маÑĤ +гоÑĢ Ñı +гÑĢ ал +гÑĢ ив +гÑĢÑĭ ÑĪ +гÑĢ Ñıз +г ÑĥлÑı +дан о +д аÑĢÑĤ +д вои +д ека +дж ан +дÑĥ ÑĪи +еб Ñģк +ев еÑĤ +ев ик +ев на +ед ий +ед ÑĥÑĤ +ез до +ек ÑĨи +ел аг +ели е +ели к +елÑı Ñħ +ен ей +еÑĢ на +ж ÑĥÑģÑĮ +з ала +зв ен +з ина +з она +ив еÑĢ +ид аÑĢ +ий ÑĨÑĭ +им аÑı +инг ÑĤ +ин Ñĥл +иÑģ ко +иÑĤа Ñİ +иÑĨи л +к ана +ка ÑĢи +к леÑĤ +кÑĥ лÑĮ +лен о +ли же +ли Ñģа +лиÑĩ и +л ого +лÑĮ нÑĭ +м аÑĢÑĤ +м аÑĤа +маÑĩ ÑĤ +м еÑĤÑĮ +мол к +м оÑģÑĤ +н егÑĢ +н еÑĤа +низ Ñĥ +ноÑģ и +нÑĥ ÑĤо +нÑĮ ка +нÑı ли +об Ñıз +од ан +о его +ол но +ол он +олÑĮ м +олÑĮ ÑĤ +олÑİ Ð± +он ÑıÑĤ +оп ад +оп ил +оп иÑĤ +оÑĢ ÑĤÑĥ +оÑģ еÑĢ +оÑģ ом +оÑĩ нÑĭ +оÑĪ ли +оÑī ад +п аÑĤÑĮ +п иÑĤÑĮ +пл еÑģ +п ÑĢак +п ÑĢем +пÑĢ оп +п ÑĤиÑĩ +п ÑıÑĤи +п ÑıÑĤÑĮ +ÑĢаг и +ÑĢад Ñĥ +ÑĢаз г +ÑĢам м +ÑĢаÑģ н +ÑĢод н +ÑĢоп е +ÑĢÑĥ ба +ÑĢÑĥ ÑİÑĤ +Ñģ ана +Ñģ боÑĢ +Ñģем ÑĮ +Ñģен Ñģ +Ñģ еÑĢа +Ñģ еÑĤи +Ñģе Ñıн +Ñģка л +Ñģ каÑħ +Ñģки з +Ñģли м +Ñģн аб +Ñģ омн +Ñģп аÑģ +Ñģп ек +Ñģп ел +Ñģ Ñģен +ÑģÑĤ аб +ÑģÑĤ ел +ÑģÑĤ еп +ÑģÑĤ оп +ÑģÑĤÑĭ д +ÑĤ енÑĤ +ÑĤи но +ÑĤ неÑĢ +ÑĤон Ñĥ +ÑĤоÑĢ о +ÑĤÑĢ ек +ÑĤÑĢ ин +ÑĤÑĥÑĢ м +Ñĥб еж +ÑĥÑģ ом +Ñĥ Ñģпе +ÑĥÑĤ аÑĤ +ÑĥÑĪ но +ÑĦ елÑı +ÑĦ оÑĤо +ÑĦ ÑĢед +ÑĦ ÑĢей +Ñħ ала +Ñħл еб +ÑĨ киÑħ +ÑĨ ова +Ñĩ жоÑĥ +Ñĩ или +Ñĩ онк +ÑĪ ева +ÑĪ ниÑħ +ÑĪ ной +ÑĪ нÑİÑİ +Ñīел к +ÑĮÑı ми +ÑįлÑĮ Ñģ +Ñıд еÑĢ +Ñıз Ñĭк +Ñıн Ñĥл +a ught +m obil +st air +ĠÐIJ лан +ĠÐIJ лиÑģ +ĠÐIJ ÑĢаб +ĠÐIJ ÑĢав +ĠÐijел л +ĠÐij лиз +ĠÐij оже +ĠÐij ÑĢеж +ĠÐijÑĢÑİ Ñģ +ĠÐijÑĥд Ñĥ +ĠÐĴн еÑĪ +ĠÐĴод о +ĠÐĴ ойн +ĠÐĴ оло +ĠÐĴ оÑĢо +ĠÐĴÑģ еÑħ +ĠÐĴÑĭ ÑĪе +ĠÐĵ лин +ĠÐĵ ÑĢей +ĠÐĵÑij ÑĤе +ĠÐĶ елÑĮ +ĠÐĶж ин +ĠÐĶ олж +ĠÐĶ она +ĠÐĶ ÑĢÑĥж +ĠÐķ два +ĠÐĹ ÐµÐ²Ñģ +ĠÐļÐĿ ÐĶÐł +ĠÐļам п +ĠÐļ аÑģÑĤ +ĠÐļ енн +ĠÐļ ино +ĠÐļ лим +ĠÐļл Ñĥб +ĠÐļ омÑĥ +ĠÐļон д +ĠÐļ Ñĥйб +ĠÐĽ авÑĢ +ĠÐĽÐµÐ² и +ĠÐĽÑĥ из +ĠÐĽÑĥ на +ĠÐľ анд +ĠÐľ онÑĤ +ĠÐĿ ина +ĠÐĿ оÑĢм +ĠÐŀ ÑħоÑĤ +ĠÐŁ але +ĠÐŁÐ° Ñĥл +ĠÐŁÐµÐ½ з +ĠÐŁ еÑĢи +ĠÐŁ лод +ĠÐŁ лоÑĤ +ĠÐŁÐ¾Ñı в +ĠÐŁÑĢи ÑĪ +ĠÐŁ ÑĥÑĤÑĮ +ĠÐł олÑĮ +ĠÐł Ñĥзв +ĠÐłÑĥ ко +ĠС анд +ĠСаÑĪ а +ĠС вои +ĠСем Ñij +ĠС инг +ĠС олж +ĠСÑĤ ÑĢÑĥ +ĠС Ñĥда +ĠС ÑĥÑĤÑĮ +ĠТ ело +ĠТ елÑĮ +ĠТ еÑģÑĤ +ĠТ оÑĢг +ĠТ ÑĢÑĥб +ĠУ айÑĤ +ĠФ онд +ĠФ оÑĢÑĤ +ĠФ ÑĢÑĥн +ĠХоÑĤ ÑĮ +ĠХоÑĩ Ñĥ +ĠЦ СÐļÐIJ +ĠЧ еÑĢÑĤ +ĠЧ или +ĠЧÑĤ об +ĠЧ ÑĥÑĤÑĮ +ĠШÑĤ аб +ĠЮ лиÑı +Ġаб он +Ġак ка +Ġак ÑĤÑĭ +Ġа кÑĥл +Ġб айÑĤ +Ġбез Ñĥ +Ġб лин +Ġб оÑĩк +Ġб ÑĢод +Ġб ÑĢоÑĪ +Ġв аÑĢÑĮ +Ġв ело +ĠвеÑģ е +Ġв лаг +ĠвоÑģ к +Ġг амм +Ġд ама +Ġдам Ñĭ +Ġдв оÑİ +Ġд елÑı +Ġдж аз +ĠднÑı Ñħ +ĠдÑĥÑħ Ñĥ +Ġжал к +Ġж аÑĢк +Ġжив о +Ġж иÑĢа +ĠжÑİ ÑĢи +Ġзал п +ĠзаÑĢ е +Ġзим Ñĭ +Ġзл од +Ġи ÑĢон +ĠиÑī ÑĥÑĤ +ĠиÑİ Ð»ÑĮ +ĠиÑİ Ð½ÑĮ +Ġк алÑĮ +Ġк анÑĤ +Ġкли к +Ġкли п +Ġк оже +ĠкоÑģ в +Ġк ÑĢÑĥÑĪ +ĠкÑĢÑĭ м +Ġл авÑĢ +Ġлед и +Ġли ÑĦÑĤ +Ġл Ñĥга +Ġм ала +ĠмаÑģ л +Ġм емÑĥ +Ġм еÑģÑģ +Ġм лек +ĠмоÑī и +Ġм ÑĢак +ĠмÑĥж Ñĥ +ĠмÑĭ ÑĪÑĮ +Ġна им +Ġнем Ñĭ +Ġне оÑĤ +Ġне Ñĥк +Ġн иÑģк +Ġоб Ñĭв +Ġож ив +Ġп еÑĤÑĮ +ĠпеÑĩ и +Ġп ива +Ġп иÑīа +ĠпÑĢ аÑħ +ĠпÑĢ ел +ĠпÑĢо Ñī +ĠпÑĢ Ñĭж +ĠпÑĥ ли +ĠпÑĥÑĩ к +ĠÑĢак а +ĠÑĢан г +ĠÑĢан Ñĭ +ĠÑĢ воÑĤ +ĠÑĢей Ñħ +ĠÑĢ ога +ĠÑĢоз Ñĭ +ĠÑĢÑĥ ин +ĠÑĢÑĭ но +ĠÑģ бли +ĠÑģ ино +ĠÑģк ан +ĠÑģк оп +ĠÑģ лив +ĠÑģм аз +ĠÑģн ай +ĠÑģ ноÑģ +ĠÑģп иÑĤ +ĠÑģÑĤ еб +ĠÑģÑĤ еÑĢ +ĠÑģÑĥд Ñĥ +ĠÑģÑĥ ÑĪи +ĠÑĤво Ñİ +ĠÑĤ игÑĢ +ĠÑĤ окÑģ +ĠÑĤÑĢ ол +ĠÑĤ ÑĢоÑģ +ĠÑĤÑĢ Ñıп +ĠÑĤÑı га +ĠÑĤÑı же +ĠÑĥб ив +ĠÑĥб ÑĭÑĤ +ĠÑĥв ен +ĠÑĥм ом +ĠÑĥ ÑĢон +ĠÑĥ ÑĨел +ĠÑĦаз Ñĭ +ĠÑĦа ÑĪи +ĠÑĦ ÑĢей +ĠÑħиÑī н +ĠÑħ ÑĢен +ĠÑĨеÑħ а +ĠÑĩ елÑİ +ĠÑĩеÑĪ Ñĥ +ĠÑĪ лÑİп +ĠÑĪ нÑĥÑĢ +ĠÑĪ ÑĤÑĭк +ĠÑĪ Ñĥма +ĠÑī енк +ĠÑį ÑĢоÑĤ +ĠÑį ÑģеÑĢ +ĠÑį ÑģÑģе +ĠÑİ ÑĢиÑģ +ĠÑı коÑĢ +ĠÑıÑģ нÑĭ +Ìģ ÑĤÑĮÑģÑı +Ðij олÑĮÑĪ +Ðĵ ÑĢÑĥпп +ÐĶ еÑĢев +Ðķв ÑĢей +ÐĻоÑĢ ка +ÐĿ аÑĢод +С аÑĤÑĥÑĢ +СÑĤ ÑĢан +ТеÑħ ни +Ф ÑĢанÑģ +Ф ÑĢанÑĨ +Ð¥ ÑĢиÑģÑĤ +ÐŃ Ð»ÐµÐºÑĤ +Юн айÑĤ +ад ÑĢеÑģ +аз иаÑĤ +айд еÑĢ +ай зеÑĢ +алÑĮ ÑĪе +анд аÑĢ +аниз м +ан ÑĨев +анÑĮ он +аÑĢ ива +аÑĢ иÑıÑħ +аÑĢ наÑı +аÑĢ нÑĭй +аÑĤоÑĢ и +аÑİÑī им +баÑĢ иÑĤ +бег аÑı +белÑĮ г +беÑĢ ег +беÑĢ еÑĤ +бог аÑĤ +бÑĢи дж +бÑĥд еÑĤ +бÑĥд ил +бÑĥ нал +бÑĭ ÑģÑĤÑĢ +ваÑĢ ен +вед еÑĤ +вед ÑĥÑī +в еков +вели ÑĢ +веÑĢ ка +виз иÑĤ +вин ов +дав ил +да Ñĩей +дел ан +д ениÑı +деÑĢж и +доб ÑĢо +д олго +д омин +д оÑģÑĤо +д оÑĩеÑĢ +ей ÑĪий +екÑģ он +ели ва +ем Ñĭми +ен оÑģн +еп ÑĢин +еÑģ ÑĥÑįл +еÑģÑı ÑĤи +жаÑĤ ие +ж даÑĤÑĮ +з адаÑĩ +зв олÑĮ +зн аÑĤÑĮ +ив ида +ив ной +ий ÑĨев +ика ÑĨи +илÑĥÑĩ ÑĪ +илÑĮ он +им енÑĤ +иÑģ лов +иÑģп ÑĭÑĤ +иÑģÑĤ ам +иÑģÑĤ ка +иÑģÑĤ Ñĭм +иÑĩ ное +йд еÑĪÑĮ +каж ÑĥÑĤ +к амен +кан ал +колÑĮ н +кÑģ иÑģÑĤ +кÑĥ ÑĢÑĥз +л евиÑĩ +лей ÑĤе +леÑĤ ал +леÑĤ ов +ли гаÑĢ +лиÑĤ ел +лов ки +лÑĥÑĩ ÑĪе +ман Ñģк +маÑĤ ов +меÑĢ ен +меÑĢÑĤ в +меÑĤ ан +меÑĤ ка +меÑĤ ки +м онов +моÑĤ ÑĢа +нем ÑģÑı +ник ой +н ÑģкÑĥÑİ +нÑı ÑĤие +об лаÑĩ +оз авÑĢ +они ал +он наÑı +опол е +оÑĢод н +оÑģоб н +оÑĤ лиÑĩ +оÑĩ енÑĮ +па ÑģÑĤи +пиÑģ ав +пиÑģ ки +пиÑĪ еÑĤ +пон им +п опеÑĢ +пÑĢÑĭ жк +п Ñĥбли +п ÑĥнкÑĤ +пÑĥÑĤ ин +ÑĢаз ил +ÑĢаÑģ ов +ÑĢег аÑĤ +ÑĢед ка +ÑĢем еÑģ +ÑĢеÑĩ ев +ÑĢи аÑĢÑħ +ÑĢиг ад +ÑĢиз ма +ÑĢом ан +ÑĢон ÑĥÑĤ +ÑĢÑĥд но +ÑĢÑĥз ки +Ñģад ка +Ñģ екÑģÑĥ +Ñģид ел +Ñģоб аÑĩ +Ñģп еÑĨи +ÑģÑĤ алÑĮ +ÑģÑĤ аÑİÑĤ +ÑģÑĤи ки +ÑģÑĤ нÑĭй +ÑģÑĥд им +ÑģÑĥм аÑģ +ÑģÑĭл ка +ÑģÑĭ пан +ÑĤ овой +ÑĤом аÑĤ +ÑĤоÑĢ иÑı +ÑĤÑĢ аÑģÑģ +ÑĤÑĢ ени +ÑĤÑıн еÑĤ +ÑĥгÑĥб о +Ñĥп ÑĢеÑĩ +ÑĦалÑĮ ÑĤ +Ñħв оÑģÑĤ +Ñħ олод +ÑĩаÑĤ ÑĭÑħ +Ñĩив ал +Ñĩив Ñĭй +ÑĪей ÑģÑı +ÑĪ ений +ÑĪи лов +ÑĪ ками +Ñīик ом +ÑĮ ÑĤеÑģÑĮ +Ñİн кеÑĢ +ÑıÑĤи ÑıÑħ +Ñijн ной +Ñijн нÑĭм +ĠÐIJк ÑĤив +ĠÐIJл жиÑĢ +ĠÐIJл ÑĤай +ĠÐIJндÑĢ о +ĠÐIJÑĢм иÑı +ĠÐIJÑĢ Ñģен +ĠÐIJÑĤ лан +ĠÐijеÑĢ ез +ĠÐijÑĥд еÑĤ +ĠÐijÑĥÑħ аÑĢ +ĠÐĴ авил +ĠÐĴол ги +ĠÐĴ олог +ĠÐĴол Ñĭн +ĠÐĴ олÑĮÑĦ +ĠÐĴÑĭв од +ĠÐĵ вине +ĠÐĵеÑĢ ои +ĠÐĵол оÑģ +ĠÐĵ омеÑĢ +ĠÐĶж Ñĥли +ĠÐĶим иÑĤ +ĠÐĶ ÑĥÑħов +ĠÐķв анг +ĠÐĹ Ð°Ð²Ð¾Ð´ +ĠÐĹ Ð°Ð½Ð¸Ð¼ +ĠÐĹаÑħ аÑĢ +ĠÐĺ гоÑĢÑı +ĠÐĺз мен +ĠÐĺме еÑĤ +ĠÐĺн дон +ĠÐļам еÑĢ +ĠÐļоÑĢ ее +ĠÐļоÑĢ еи +ĠÐļ оÑĢоÑĤ +ĠÐĽÐ¸Ð² ан +ĠÐĽ иÑĩно +ĠÐĽÑİб им +ĠÐĽÑİ Ð±Ð¾Ð¹ +ĠÐľÐ°Ð» ой +ĠÐľ аÑģÑģа +ĠÐľÐ¸Ñħ ал +ĠÐĿ азаÑĢ +ĠÐĿ аÑĤаÑĪ +ĠÐĿа Ñĥка +ĠÐĿем еÑĨ +ĠÐĿиж ег +ĠÐĿиÑĨ ÑĪе +ĠÐĿов ое +ĠÐĿоÑĩ ÑĮÑİ +ĠÐŀк онÑĩ +ĠÐŁÐ¾Ð³ иб +ĠÐŁÐ¾ иÑģк +ĠÐŁÑĢо иÑģ +ĠÐŁÑĢоÑĪ Ñĥ +ĠÐŁÑĢ Ñıмо +ĠÐłÐ¾Ð± ин +ĠСин од +ĠСÑĤ окг +ĠТеÑħ аÑģ +ĠТ ибеÑĤ +ĠТом Ñģк +ĠУ знав +ĠУ ÑģÑĤав +ĠУ ÑįлÑĮÑģ +ĠФÑĢÑįн к +ĠЧеÑħ ии +ĠШ ваÑĢÑĨ +Ġав анÑĤ +Ġад миÑĢ +ĠаÑĢÑħ ип +ĠбаÑĪ ен +ĠбаÑĪ не +Ġбеж иÑĤ +Ġбел аÑı +Ġбел ок +Ġбел ом +ĠбеÑĢ ÑijÑĤ +ĠбеÑģ пÑĢ +Ġбок ов +ĠбоÑĢ ÑĤа +ĠбоÑİ ÑģÑĮ +ĠбÑĢа ли +Ġб ÑĢаÑĩн +ĠбÑĥ ÑĦеÑĢ +ĠбÑĭ ÑĤов +Ġваж ен +Ġваж на +Ġваж нÑĭ +ĠвеÑĢ ÑıÑĤ +ĠвеÑī аÑħ +Ġвз ноÑģ +Ġвида Ñħ +Ġвид ен +ĠвкÑĥÑģ а +Ġв лево +Ġвода Ñħ +Ġвод ки +Ġво ÑĪло +ĠвÑģ лÑĥÑħ +ĠвÑĬ езд +ĠвÑĭ доÑħ +ĠвÑĭ йдÑı +ĠвÑĭп ив +ĠвÑĭп ла +ĠвÑĭ ÑĤек +Ġга ÑĢаж +Ġген ов +ĠгеÑĢ ба +ĠглÑĥп о +Ġгнев а +Ġгон ке +Ġгон ки +ĠгÑĢек и +ĠгÑĢеÑħ а +ĠгÑĢи бÑĭ +ĠгÑĢÑıз и +Ġдав аÑı +ĠдаÑĢ ом +Ġдики Ñħ +Ġдли не +Ġдол ей +ĠдоÑģ ад +ĠдоÑģ ки +Ġдо ÑĪло +ĠдÑĢ ожа +ĠдÑĥм аÑı +ĠдÑĥÑĢ но +Ġж ажда +Ġжан ÑĢе +ĠжаÑĢ ко +Ġжив ем +ĠжилÑĮ е +Ġзаб ÑĭÑĤ +Ġзав Ñıз +Ġзал ож +Ġза Ñħод +Ġза ÑĨеп +ĠзвеÑĢ и +ĠзвеÑĢ ÑĮ +ĠзвеÑĢ Ñı +Ġиз вне +Ġиз дав +Ġим мÑĥн +ĠиÑģк оп +ĠиÑģп оÑĢ +ĠиÑģÑĤ ек +Ġкаб ел +Ġкад ÑĢÑĭ +Ġкап ли +Ġкип ÑıÑĤ +ĠкиÑģÑĤ и +ĠклÑĥб Ñĭ +ĠклÑİÑĩ и +Ġк оваÑĢ +ĠкоÑģÑĤ Ñı +Ġко ÑĪка +Ġко ÑĪки +Ġк ÑĢоÑģÑģ +ĠкÑĢÑĭ ÑĪе +ĠкÑĢÑĭ ÑĪи +ĠкÑĢÑİ Ñĩк +ĠкÑĥб ик +Ġлев ÑĥÑİ +ĠленÑĤ Ñĭ +Ġлов иÑĤ +Ġлод кÑĥ +ĠлÑİб ÑıÑī +Ġм акеÑĤ +Ġмал ей +Ġмал Ñĭм +Ġмани п +ĠмаÑģ ка +ĠмаÑģ ле +ĠмаÑĤ Ñĩи +Ġмона ÑĪ +ĠмоÑī но +Ġна ÑĨий +ĠнаÑĪ Ñijл +Ġнев еж +ĠнеÑĦ ÑĤÑı +Ġног ой +Ġнож ом +ĠноÑģ ом +ĠнÑİ Ð°Ð½Ñģ +Ġобиж а +Ġоб ожа +Ġобо им +ĠовоÑī и +Ġожи да +Ġоз еÑĢе +ĠопаÑģ а +ĠопÑĭ ÑĤÑĭ +ĠпаÑĢ ни +ĠпеÑģ ок +Ġп еÑģÑĤÑĢ +Ġп еÑĩаÑĤ +ĠпиÑĢ ог +Ġплам Ñı +Ġпл аÑĤа +Ġплен Ñĥ +ĠплоÑĤ и +Ġпок ое +Ġпок ÑĥÑĪ +Ġпол ом +Ġпол он +Ġпол ÑĥÑĪ +ĠпоÑĢ оÑĪ +Ġпо Ñģпе +ĠпоÑĩ ÑĤÑĭ +ĠпоÑĩ ÑijÑĤ +Ġпо ÑĪÑijл +ĠпÑĢом о +ĠпÑĥлÑĮ Ñģ +Ġп ÑĥÑĪка +ĠпÑıÑĤ Ñĭй +ĠÑĢаÑģ ка +ĠÑĢеÑĪ ал +ĠÑĢеÑĪ ив +ĠÑĢеÑĪ иÑĤ +ĠÑĢод ом +ĠÑĢолÑı Ñħ +ĠÑģем ен +ĠÑģем Ñıн +ĠÑģ еÑģÑĤÑĮ +ĠÑģил ам +ĠÑģиÑĢ оÑĤ +ĠÑģка лÑĭ +ĠÑģлÑĥж а +ĠÑģлÑĭÑĪ Ñĥ +ĠÑģ мена +ĠÑģм ÑĥÑīа +ĠÑģнÑı ли +ĠÑģп инÑĭ +ĠÑģп оÑĢа +ĠÑģÑĤеп и +ĠÑģÑĤеп н +ĠÑģÑĤ еÑĢж +ĠÑģÑĤиÑħ а +ĠÑģÑĤо ил +ĠÑģÑĤо им +ĠÑģ ÑħваÑĤ +ĠÑģÑĭÑĢ ÑĮе +ĠÑĤаÑĢ ел +ĠÑĤво иÑħ +ĠÑĤеÑĢ Ñıл +ĠÑĤеÑģÑĤ Ñĭ +ĠÑĤиÑĤ ан +ĠÑĤол Ñĩк +ĠÑĤÑĢав а +ĠÑĤ Ñĥлов +ĠÑĤÑĥÑĢ еÑĨ +ĠÑĤÑĥÑĢ ок +ĠÑĤÑijм но +ĠÑĥв олÑĮ +ĠÑĥ един +ĠÑĥжаÑģ а +ĠÑĥказ а +ĠÑĥм ело +ĠÑĥме ÑİÑĤ +ĠÑĥм нож +ĠÑĥп ала +ĠÑĥÑģÑĤÑĮ е +ĠÑĦ лага +ĠÑĦоÑĢ Ñĥм +ĠÑĦÑĥÑĤ ов +ĠÑħал аÑĤ +ĠÑħиÑĤ ÑĢо +ĠÑĨаÑĢ ей +ĠÑĨаÑĢ ем +ĠÑĨелÑı м +ĠÑĨиÑĦ ÑĢа +ĠÑĨ Ñĭган +ĠÑĩ иÑĤаÑİ +ĠÑĩÑĥг Ñĥн +ĠÑĩÑĥж ие +ĠÑĩÑĥж им +ĠÑĩÑĥж иÑħ +ĠÑĪ аман +ĠÑĪев ел +ĠÑĪÑĤаб е +ĠÑįпо Ñħа +ĠÑį Ñģкиз +ĠÑįÑģ мин +ĠÑįÑĦиÑĢ е +ĠÑİж ном +ĠÑıÑĢ кие +Ðij ÑĢиÑĤан +ÐĴиз анÑĤ +ÐĴ ÑĢемен +Ðĵаз еÑĤа +Ðļ авказ +СаÑĤÑĥÑĢ н +С моÑĤÑĢи +Фин анÑģ +Ф онÑĤан +ФоÑĢм Ñĥл +ÐŃлекÑĤ ÑĢ +алиÑģÑĤ Ñĭ +ан ÑģкаÑı +ан ÑģкиÑħ +анÑĤ ÑĢоп +аÑĤоÑĢ ом +аÑĤ ÑĥÑĢов +аÑĪ вили +бал анÑģ +беÑĢ иÑĤе +б иваеÑĤ +биÑĢа ÑİÑĤ +вид нÑĭе +влад ел +вл еÑĩен +воÑģ пиÑĤ +в оÑģÑĤоÑĩ +глаÑģ ил +гон Ñīик +гон ÑıÑĤÑĮ +гÑĢав иÑĤ +дал аÑģÑĮ +да лиÑģÑĮ +да ÑİÑīий +д еÑģанÑĤ +дин анд +дÑĥм аÑĤÑĮ +дÑİй мов +ев Ñģком +егиÑģÑĤ ÑĢ +ен ение +ени ÑĨÑĭн +ен номÑĥ +енÑĤ ина +енÑĮ каÑı +еÑģÑĤв ие +еÑĩеÑģ ки +еÑī ание +ж иваÑİÑĤ +заб вен +зв Ñĥков +зем елÑĮ +зн амен +знаÑĩ ен +ив аÑıÑģÑĮ +иг ÑĢаÑĤÑĮ +ики пед +илÑĮ наÑı +илÑĮ Ñīик +илÑı ÑĤоÑĢ +ин Ñģким +ин ÑģкиÑħ +ин ÑĤеÑĢн +иÑģ Ñģлед +иÑģÑĤ ого +иÑĤ елен +ка ÑĩаÑĤÑĮ +ки нÑĥÑĤÑĮ +клад ка +кÑĢ еÑīен +кÑĢой ÑĤе +кÑĢ ÑĭваÑİ +кÑĢ ÑĭваÑı +кÑĥÑĢ иÑĤÑĮ +лаг аем +лей бÑĥÑģ +лекÑĤ оÑĢ +леÑĤ аеÑĤ +леÑĤ нем +леÑĤ ниÑħ +лив аеÑĤ +лик вид +ли лиÑģÑĮ +л иÑĤÑĮÑģÑı +лож ено +маÑĢ кеÑĤ +маÑĢ ÑĪал +маÑĤ ÑĢиÑĨ +меÑĢÑĤ но +меÑģÑĤ но +мол Ñĩал +ней ÑĪаÑı +ним аÑĤÑĮ +ним аÑİÑĤ +н ÑģкомÑĥ +нÑıж еÑģк +ован но +овоÑĢ од +озв ÑĢаÑĤ +онÑıÑĤ нÑĭ +опол иÑĤ +пав ÑĪиÑħ +паÑĢ ÑĤий +пиÑĤ Ñĭва +план еÑĤ +пÑĢ имеÑĢ +пÑĢÑıж ен +пÑĥбли к +пÑĥÑģÑĤ иÑĤ +ÑĢав ÑģÑĤв +ÑĢаз меÑĢ +ÑĢаÑģ Ñĭва +ÑĢв алÑģÑı +ÑĢем онÑĤ +ÑĢов оÑĩн +ÑĢоп олÑĮ +ÑģеÑĢ веÑĢ +Ñģ еÑĢиал +Ñģлов еÑģ +Ñģлов ие +Ñģлов но +ÑģлÑĥж бÑĭ +ÑģоÑĨи ал +ÑģÑĤав ке +ÑģÑĤав ки +ÑģÑĤÑĢ елÑĮ +ÑĤан ков +ÑĤив ной +ÑĤоÑĢ гов +ÑĤоÑĩ ной +ÑĥÑģÑĤ ÑĢии +ÑĥÑĩ ениÑı +ÑĦоÑĢм аÑĤ +Ñħод ило +ÑĨион но +ÑĩеÑĤ ÑĭÑĢе +ÑĩиÑĤ аÑİÑĤ +ÑĪед ÑĪаÑı +ÑĪед ÑĪим +ÑıÑīей ÑģÑı +elect ro +ĠÐijаÑĪ киÑĢ +ĠÐijож ией +ĠÐijÑĭ ÑģÑĤÑĢо +ĠÐĴ озмож +ĠÐĴой Ñģка +ĠÐĴÑĭÑģ око +ĠÐĵали ле +ĠÐĵеÑĢ ÑĨен +ĠÐĵовоÑĢ Ñı +ĠÐĵолов а +ĠÐĵ ÑĥÑģÑĤав +ĠÐĶани ил +ĠÐĶан наÑı +ĠÐĶж озеÑĦ +ĠÐĶÑĢÑĥг аÑı +ĠÐĶÑĢÑĥг ое +ĠÐĸÑĥÑĢ нал +ĠÐĹак она +ĠÐĹв езда +ĠÐĹд ание +ĠÐĺн ÑĦоÑĢм +ĠÐĺоÑĢ дан +ĠÐļажд ое +ĠÐļан аде +ĠÐļиÑĢ гиз +ĠÐļоÑĢ пÑĥÑģ +ĠÐļÑĢем лÑı +ĠÐĽÑĥÑĩ ÑĪий +ĠÐľÐ°Ð´ ÑĢид +ĠÐĿ азван +ĠÐĿа ÑĥÑĩно +ĠÐĿик иÑĤа +ĠÐŀдеÑģÑģ е +ĠÐŁÐµÑĢи од +ĠÐŁÐ¾Ð´ ÑĢоб +ĠÐŁÐ¾Ñħ оже +ĠÐŁÑĢем иÑı +ĠÐŁÑĢи каз +ĠÐłÐ°Ð±Ð¾ÑĤ Ñĭ +ĠÐłÐ°Ð· дел +ĠÐłÑĥÑģ Ñģко +ĠСев еÑĢа +ĠСлов ом +ĠСов Ñģем +ĠС оÑģÑĤоÑı +ĠСÑĤаÑĢ Ñĭй +ĠСÑĤÑİ Ð°ÑĢÑĤ +ĠТе одоÑĢ +ĠТе оÑĢиÑı +ĠТоÑĢг ов +ĠТÑĢеÑĤÑĮ е +ĠУÑĩен Ñĭе +ĠУÑĩ илÑģÑı +ĠФÑĢÑĥн зе +ĠХеÑĢ Ñģон +ĠХоÑĢ ваÑĤ +ĠЦаÑĢ ÑģÑĤв +ĠШиÑĢ око +ĠШÑĤ аÑĤаÑħ +ĠÐŃк оном +ĠЯ ндекÑģ +ĠавÑĤоб и +ĠалÑĮ ÑıнÑģ +ĠанÑĤен н +ĠаÑĤ аман +Ġбед нÑĭÑħ +Ġбеж али +Ġбел Ñĭми +ĠбеÑģ еда +ĠбеÑģед е +Ġблаг оÑģ +Ġблиз ок +Ġбли ÑģÑĤа +Ġблок ад +Ġбоев ÑĥÑİ +ĠбоÑĢ ода +Ġб оÑıÑĤÑģÑı +ĠбÑĢоÑģ ал +ĠбÑĢоÑĪ ÑİÑĢ +ĠбÑĥмаг а +ĠбÑĥмаг Ñĥ +Ġваж наÑı +Ġвак ÑĨин +Ġвели Ñĩа +ĠвеÑĢ или +ĠвеÑĢ нÑĭм +ĠвеÑĩеÑĢ Ñĥ +Ġвз амен +Ġвиде ок +Ġвлад Ñĭк +ĠвлиÑı ÑİÑĤ +Ġвод нÑĭÑħ +Ġводо ем +Ġвозм ÑĥÑī +ĠвÑĢаÑĩ ом +ĠвÑĢÑĥ Ñĩен +ĠвÑģп омн +Ġв ÑģÑĤаÑĤÑĮ +ĠвÑģÑı каÑı +ĠвÑģÑı кÑĥÑİ +ĠвÑĭд аÑĤÑĮ +ĠвÑĭ жиÑĤÑĮ +ĠвÑĭз ова +ĠвÑĭ леÑĤа +ĠвÑĭп иÑĤÑĮ +ĠвÑĭÑģ ÑĪие +ĠвÑĭ ÑĩиÑģл +ĠгеÑĤ ман +Ġгиб ÑĢид +Ġглаз ом +Ġгн ездо +ĠгоÑģп ож +ĠгÑĢаб еж +ĠгÑĢад ÑĥÑģ +ĠгÑĢаÑĦ ин +Ġдав ала +Ġдан нÑĥÑİ +Ġдвиж ÑĥÑī +Ġдел ала +Ġде ÑĦоÑĢм +ĠдеÑı ниÑı +Ġдиз елÑĮ +ĠдиÑģ ков +Ġдл иÑĤÑģÑı +Ġдоб ÑĢÑĭе +Ġдоб ÑĢÑĭм +Ġдов еÑĢи +ĠдовеÑĢ Ñı +Ġдок ÑĤÑĢи +Ġдолг иÑħ +Ġдол ина +Ġдо ÑĨенÑĤ +ĠдÑĢев еÑģ +ĠдÑĥм ала +Ġеди ное +Ġжан ÑĢов +ĠжеÑĢÑĤ ва +Ġж иÑĤелÑı +ĠзабоÑĤ Ñĭ +Ġзав иÑģÑĤ +Ġзад олж +Ġзапад а +ĠзапаÑģ а +Ġза ÑģÑĤал +ĠзаÑıв ив +Ġзв ании +ĠзвÑĥÑĩ аÑĤ +Ġзел енÑĮ +Ġзим ниÑħ +ĠзнаÑĤ ок +ĠзнаÑĩ им +Ġиде Ñıми +Ġиз деÑĢж +ĠиÑģ кали +ĠиÑģп Ñĥга +ĠиÑģ ÑĩеÑĢп +Ġкаб елÑĮ +Ġказак и +Ġказ аÑĢм +Ġкали бÑĢ +Ġкам еÑĢе +Ġканал Ñĭ +ĠканÑĤ он +ĠкаÑĢ лик +ĠкаÑĦед ÑĢ +Ġкл апан +ĠклаÑģÑģ Ñĥ +Ġкл евеÑĤ +ĠклеÑĤ ка +Ġкниг ой +Ġкол баÑģ +Ġкол дÑĥн +ĠколеÑģ о +Ġком икÑģ +Ġкон Ñĩик +ĠкоÑĢ ÑĢÑĥп +ĠкÑĢеÑģ ло +ĠкÑĢеÑģÑĤ а +ĠкÑĢи ÑĩиÑĤ +ĠкÑĢÑĥп но +ĠкÑĢÑĭ лаÑĤ +Ġк ÑĥÑĢган +Ġлад они +Ġлад онÑĮ +Ġлег кий +Ġлед ник +Ġлеж ала +Ġлеж али +ĠлеÑģ ной +ĠлеÑĤ аÑĤÑĮ +ĠлиÑĪ иÑĤÑĮ +ĠлиÑĪ ним +ĠлÑİб ила +ĠлÑijг кой +ĠмаÑĢки з +ĠмеÑģÑı ÑĨе +ĠмеÑĤ ÑĢаÑħ +ĠмиÑĢ нÑĭÑħ +ĠмиÑģÑĤ ик +Ġмлад ÑĪе +Ġмон ÑģÑĤÑĢ +ĠмоÑģÑĤ ов +ĠмоÑī нÑĭе +ĠмÑĥÑģ кÑĥл +ĠмÑĭÑģлÑĮ Ñİ +Ġнад леж +Ġнад Ñijжн +Ġналог и +Ġнам ека +ĠнаÑĢÑĥÑĪ а +Ġна ÑģÑĤоÑı +ĠнаÑĥк ой +Ġна ÑĨиÑģÑĤ +ĠнаÑĩ аÑĤо +Ġнедо Ñĥм +Ġнел епо +ĠнеÑĤ еÑĢп +ĠнеÑıÑģ но +Ġниж нем +Ġниж ниÑħ +Ġниз кий +Ġнов елл +ĠномеÑĢ е +ĠноÑĩ ной +ĠнÑĥж нÑĭе +ĠнÑĥж нÑĭй +Ġоб ÑģеÑĢв +ĠобÑī ина +ĠобÑĭÑĩ ай +ĠопаÑģ ен +Ġоп озда +ĠоÑĢб иÑĤÑĥ +ĠоÑģ воен +ĠоÑģÑĤ ÑĢÑĭм +ĠоÑĤдел е +ĠоÑĤ ÑĬезд +ĠоÑĪиб оÑĩ +ĠоÑīÑĥÑĤ им +Ġпак еÑĤа +Ġпен Ñģии +ĠпеÑĪ ком +Ġплав но +Ġплак аÑĤ +Ġпоб лиз +Ġпогод Ñĥ +Ġпогод Ñĭ +Ġпод виж +Ġпод ÑĩаÑģ +Ġпой меÑĤ +Ġпол еÑĤе +ĠполоÑģ Ñĥ +Ġпол ÑijÑĤа +Ġпом нил +Ġпоп ÑĭÑĤа +ĠпоÑģÑĤ ов +ĠпоÑĤок и +ĠпоÑħод е +ĠпоÑĪ лин +ĠпоÑį зиÑı +ĠпÑĢев ÑĭÑģ +ĠпÑĢед ки +ĠпÑĢеÑģ ÑģÑĭ +ĠпÑĢи лив +ĠпÑĢи под +ĠпÑĢоÑĢ оÑĩ +ĠпÑĢоÑģÑĤ Ñĭ +ĠпÑĢоÑĦ ил +ĠпÑĢÑıм ое +ĠпÑĥб лиÑĩ +ĠпÑĥзÑĭ ÑĢÑĮ +ĠпÑĥнк ÑĤе +ĠÑĢав нÑĭм +ĠÑĢаз гаÑĢ +ĠÑĢаз ное +ĠÑĢак еÑĤа +ĠÑĢан ние +ĠÑĢедак ÑĤ +ĠÑĢед киÑħ +ĠÑĢез ино +ĠÑĢод ила +ĠÑĢод нÑĭÑħ +ĠÑĢом анÑĭ +ĠÑģай ÑĤов +ĠÑģвÑıз Ñıм +ĠÑģеÑĢд ÑĨÑĥ +ĠÑģеÑģÑĤ ÑĢе +ĠÑģкоÑĢ ей +ĠÑģк ÑĥÑĩно +ĠÑģлаб Ñĭе +ĠÑģмеÑĪ но +ĠÑģми ÑĢен +ĠÑģмоÑĤÑĢ Ñİ +ĠÑģ моÑĤÑĢÑı +ĠÑģмÑĭÑģл Ñĥ +ĠÑģнаб жа +ĠÑģниз ил +ĠÑģоб ÑĢав +ĠÑģож але +ĠÑģо оÑĤеÑĩ +ĠÑģоÑĩин Ñı +ĠÑģпеÑĪ иÑĤ +ĠÑģп оÑĢов +ĠÑģпÑĢоÑģ а +ĠÑģÑĢок ом +ĠÑģÑģÑĭл ке +ĠÑģÑģÑĭл кÑĥ +ĠÑģÑĤаÑĢ ом +ĠÑģÑĤаÑĢ ÑĥÑħ +ĠÑģÑĤен ки +ĠÑģÑĤеÑģ нÑı +ĠÑģÑĤой ки +ĠÑģÑĤÑĢо иÑĤ +ĠÑģÑĤÑĢок а +ĠÑģÑĤÑĭд но +ĠÑģ ÑĥгÑĥбо +ĠÑģÑĦеÑĢа Ñħ +ĠÑĤай ной +ĠÑĤак овÑĭ +ĠÑĤеоÑĢ ий +ĠÑĤеÑĢ ÑıÑĤÑĮ +ĠÑĤеÑĢ ÑıÑİÑĤ +ĠÑĤи ÑĪина +ĠÑĤон кие +ĠÑĤон кой +ĠÑĤÑĢав ма +ĠÑĤÑĢеп еÑĤ +ĠÑĥбиÑĤ ÑĭÑħ +ĠÑĥ ведом +ĠÑĥделÑı л +ĠÑĥдив ил +ĠÑĥ еÑħаÑĤÑĮ +ĠÑĥказ ом +ĠÑĥлÑĥÑĩ ÑĪа +ĠÑĥÑģ воен +ĠÑĥÑģкоÑĢ Ñı +ĠÑĥÑĤи лиÑĤ +ĠÑĥÑħод ил +ĠÑĥÑħÑĥд ÑĪа +ĠÑĥÑĩенÑĭ м +ĠÑĥÑĩ ÑĢеди +ĠÑĥÑĩÑij нÑĭе +ĠÑĦак ÑĤом +ĠÑĦиз ика +ĠÑĦоÑĢ Ñĥма +ĠÑĦоÑģ ÑĦоÑĢ +ĠÑĦÑĢак ÑĨи +ĠÑħоÑĢ ваÑĤ +ĠÑħÑĢеб ÑĤа +ĠÑĨвеÑĤ ом +ĠÑĨ еннÑĭе +ĠÑĨенÑĤ ÑĢÑĥ +ĠÑĩаÑģÑĤ Ñıм +ĠÑĩеÑĢеп а +ĠÑĩиÑģÑĤ Ñĭй +ĠÑĩиÑĤ аем +ĠÑĩиÑĤ али +ĠÑĩлен ам +ĠÑĩÑĥд еÑģа +ĠÑĪед евÑĢ +ĠÑĪеÑĢ ÑģÑĤÑĮ +ĠÑĪеÑģÑĤ еÑĢ +ĠÑįм пиÑĢи +ĠÑįÑĤап аÑħ +ĠÑįÑĤап ов +ĠÑİ Ð±Ð¸Ð»ÐµÐ¹ +ĠÑİ Ð²ÐµÐ»Ð¸ÑĢ +Ðijел оÑĢÑĥÑģ +Ðĵ ÑĢаждан +ÐĺÑģÑĤоÑĢ ии +Со ÑħÑĢани +ТÑĥÑĢ кмен +ЮнайÑĤ ед +азиаÑĤ Ñģк +ализ аÑĨи +алÑĮ номÑĥ +аÑĤив нÑĭе +бан кÑĢоÑĤ +беÑģÑģ озн +близ неÑĨ +веÑĢ енно +ге омеÑĤÑĢ +гл ажива +г ÑĢаждан +гÑĢам оÑĤн +гÑĢÑĥз иÑĤÑĮ +делÑĮ нÑĭй +елÑĮ ÑĪÑĤам +епÑĢин ÑıÑĤ +еÑĢеж ной +жив ание +зволÑĮ ÑĤе +ивÑĪей ÑģÑı +ид еÑģÑıÑĤи +ики ÑģÑĤан +ингÑĤ оне +ин женеÑĢ +иÑĢов кой +иÑĢÑĥ емÑĭÑħ +иÑĢÑĥ ÑİÑīим +иÑĦика ÑĨи +каÑĤ олик +клеÑĤ оÑĩн +коÑĤоÑĢ аÑı +леж аÑīиÑħ +лож ении +молод Ñijж +моÑĢ Ñģком +моÑĤÑĢ иÑĤе +на илÑĥÑĩÑĪ +ней ÑĤÑĢал +неп ÑĢиÑıÑĤ +неÑģ ении +нинг ÑĢад +овав ÑĪие +огÑĢам ма +од аÑĤелÑı +олов инÑĥ +оÑĢод иÑĨÑĭ +оÑģв обод +оÑģнов ан +оÑģÑĤеп ен +оÑĤеÑĩ ени +паÑĢ ижÑģк +пеÑĩаÑĤ ал +пол иÑĨей +попеÑĢ еÑĩ +пÑĢем ÑĮеÑĢ +пÑĢод олж +пÑĢоÑģ веÑĤ +ÑĢавни ва +ÑĢаÑī ение +ÑĢедиÑĤ ел +ÑĢов аниÑı +ÑĢоп олиÑĤ +Ñģ еÑĩение +ÑģмоÑĤÑĢ ев +ÑģÑĤав аÑĤÑĮ +ÑģÑĤоÑıÑī ий +ÑģÑĤÑĢан ен +ÑĤеÑĢап иÑı +ÑĤеÑħ ники +ÑĥÑĩ иÑĤелÑĮ +ÑħодÑıÑī аÑı +ÑĩиÑĤ айÑĤе +ÑįлекÑĤ ÑĢо +Ñį леменÑĤ +ÑıÑĤелÑĮ но +spe aking +ĠÐIJлÑĮ ÑĦÑĢед +ĠÐIJнÑĤон ио +ĠÐijолÑĮÑĪ ÑĥÑİ +ĠÐijоÑĢиÑģ ов +ĠÐijÑĢеж нев +ĠÐĴавил он +ĠÐĴели каÑı +ĠÐĴиÑĤ алий +ĠÐĴиÑĤ ебÑģк +ĠÐĵлав ной +ĠÐĵоÑģдÑĥм Ñĭ +ĠÐĵоÑģпод и +ĠÐĶев ÑĥÑĪка +ĠÐĶеп ÑĥÑĤаÑĤ +ĠÐĶж екÑģон +ĠÐĶ оналÑĮд +ĠÐĶÑĢев ней +ĠÐķлÑĮ ÑĨина +ĠÐĸен ÑīинÑĭ +ĠÐĺÑģÑĤоÑĢ ик +ĠÐļаÑĢ олин +ĠÐļенн еди +ĠÐļоÑģÑĤ ÑĢом +ĠÐļÑĢаÑģ наÑı +ĠÐļÑĢаÑģ нÑĥÑİ +ĠÐĽÐ° ÑĥÑĢеаÑĤ +ĠÐĽ еÑĩение +ĠÐĽÑİдов ик +ĠÐľÐ°ÑĤ веев +ĠÐľÐµÐºÑģ ики +ĠÐĿаб лÑİда +ĠÐĿаб оков +ĠÐĿек оÑĤоÑĢ +ĠÐĿ еÑĢедко +ĠÐĿикак иÑħ +ĠÐŀбÑī еÑģÑĤв +ĠÐŁÐµÑĢв ого +ĠÐŁÐµÑĢе Ñħод +ĠÐŁÐ¾Ð¶ алÑĥй +ĠÐŁÑĢÑĥÑģ Ñģии +ĠÐłÑĥд олÑĮÑĦ +ĠÐłÑĥÑģ ÑģкаÑı +ĠСаÑħ алин +ĠСемен ов +ĠСÑĢед ний +ĠСÑĤали нÑĥ +ĠСÑĤаÑĢ ÑĪий +ĠТÑĢо ÑĨкий +ĠФилипп а +Ġабон енÑĤ +Ġави аÑĨиÑı +Ġакка ÑĥнÑĤ +ĠакÑĤив ов +Ġалког ол +Ġанализ е +ĠаÑĢ Ñģенал +ĠаÑģ ÑĦалÑĮÑĤ +ĠаÑĥк ÑĨион +Ġбаб ÑĥÑĪки +ĠбеÑĢег ам +ĠбеÑĢег аÑħ +Ġблиз ким +ĠбогаÑĤ Ñĭе +ĠбогаÑĤ Ñĭй +ĠбÑĥдд изм +ĠбÑĥдÑĥÑī им +ĠбÑĭÑģÑĤÑĢ Ñĭй +ĠбÑĭÑģÑĤ ÑĢÑĭм +Ġваг онов +ĠведÑĥÑī ие +Ġвели каÑı +ĠвеÑĢÑħ нем +ĠвеÑĢÑħ ниÑħ +Ġвид ениÑı +ĠвлаÑģÑĤ Ñıм +Ġвой ÑģкаÑħ +Ġвок зала +Ġвол оÑģÑĤÑĮ +Ġвопло Ñīа +ĠвоÑģÑĤ ока +Ġвпад аеÑĤ +ĠвÑģад ник +ĠвÑģпом ог +ĠвÑĭб ÑĢали +ĠвÑĭдеÑĢж к +ĠвÑĭиг ÑĢÑĭÑĪ +ĠвÑĭ неÑģен +ĠвÑĭн Ñĥдил +ĠвÑĭп лаÑĤÑĭ +ĠвÑĭ ÑĢабоÑĤ +ĠвÑĭÑĢаж ал +ĠвÑĭÑħод ом +ĠгеÑĢо изм +Ġглав ном +ĠгоÑĢод ке +ĠгоÑĢод ок +ĠгÑĢÑĥ ÑģÑĤно +ĠдаÑĢ ован +Ġдв адÑĨаÑĤ +Ġдвой ной +Ġдев оÑĩек +Ġдекаб ÑĢÑĮ +ĠделÑı ÑĤÑģÑı +ĠдеÑĢжав Ñĭ +ĠдеÑĤ Ñģкие +ĠдеÑĤ ÑģÑĤво +ĠдеÑı ÑĤели +Ġдиал ога +Ġдлин ной +Ġдобав лÑı +Ġдоклад а +Ġдоклад е +ĠдоÑĢог ие +ĠдоÑģÑĤ аÑĤÑĮ +ĠдоÑĩеÑĢ ей +ĠдÑĢев ний +ĠдÑĢев ним +ĠдÑĢÑĥж еÑģк +ĠдÑĥÑħов но +Ġегип ÑĤÑıн +ĠеÑģÑĤ еÑģÑĤв +Ġжал ован +Ġжен Ñģкий +Ġжен ÑģкиÑħ +Ġжив ÑĥÑīиÑħ +Ġжизн еде +Ġж иÑĤелÑıм +Ġзаг олов +Ġзад олго +Ġзад Ñĥман +Ġзак лина +ĠзаконÑĩ и +Ġзам енил +Ġзан авеÑģ +Ġзан ÑıлÑģÑı +Ġзапад но +ĠзапаÑģ ов +ĠзапÑĢоÑģ а +ĠзапÑĢоÑģ Ñĭ +Ġза ÑħодиÑĤ +ĠзеÑĢка ла +Ġзнаком Ñĭ +Ġзнам ена +ĠзолоÑĤ ÑĥÑİ +ĠзÑĢели Ñīе +Ġиз веÑģÑĤи +Ġизд ании +Ġиз ÑĢедка +ĠизÑĥм лен +Ġимел оÑģÑĮ +Ġимен ами +ĠиÑģпÑĭÑĤ ан +ĠиÑģÑĤоÑĢ ий +ĠиÑģÑĤ оÑīен +ĠиÑģÑĩез ли +ĠкамнÑı ми +ĠкаÑĢ ÑĮеÑĢа +Ġкли маÑĤа +Ġкоали ÑĨи +ĠкодекÑģ а +Ġколлед ж +Ġколон иÑı +Ġколон на +ĠкоммÑĥ на +ĠкоммÑĥ нÑĭ +Ġкон ÑģÑĤаÑĤ +ĠконÑĤ енÑĤ +ĠкоÑĢол ем +ĠкоÑĢпÑĥÑģ е +ĠкоÑģмоÑģ а +ĠкÑĢаÑģ нÑĭм +ĠкÑĢаÑģ оÑĤа +ĠкÑĢаÑģ оÑĤÑĥ +ĠкÑĢаÑĤ ков +ĠкÑĢик нÑĥл +ĠкÑĢов аÑĤÑĮ +ĠкÑĢÑĥп наÑı +ĠлеÑĤ Ñĩика +ĠлеÑĤ Ñĩики +ĠлеÑĩ ении +Ġли ÑħоÑĢад +ĠлÑİбим ой +ĠлÑİбим Ñĭй +ĠлÑİбим Ñĭм +Ġмел кими +Ġмем бÑĢан +ĠмеÑĢÑĤв ÑĭÑħ +ĠмеÑĤал ло +Ġмил оÑģÑĤи +Ġмил оÑģÑĤÑĮ +ĠмиÑĢ ного +ĠмиÑĢов аÑı +ĠмиÑĢов ÑĥÑİ +Ġмолод Ñijж +ĠмоÑĢÑı ков +ĠмÑĥжÑĩин Ñĥ +ĠмÑĥзÑĭ кой +Ġнад елен +Ġнайд ено +ĠнапÑĢав о +Ġна ÑĢÑĥÑĪил +Ġнек оего +Ġнелег ко +Ġнеп олно +ĠнеÑĥдаÑĩ и +Ġнов оÑĢож +Ġобн ажен +ĠобÑĢаÑī ал +ĠобÑī ении +ĠобÑĭ денн +Ġодоб ÑĢен +Ġодоб ÑĢил +Ġожид аеÑĤ +Ġоз намен +Ġоказ али +ĠоконÑĩ аÑĤ +ĠокÑĢа ине +ĠокÑĢÑĥг ов +Ġо лимпий +ĠопаÑģ нÑĭÑħ +Ġопол Ñĩен +ĠопÑĭÑĤ нÑĭй +ĠопÑĭÑĤ нÑĭÑħ +ĠоÑģв ÑıÑīен +ĠоÑģÑĤан ки +ĠоÑĤвеÑĤ ов +ĠоÑĤвл ека +ĠоÑĤкÑĢÑĭ ла +ĠоÑĤно ÑģÑıÑĤ +ĠоÑĤÑĢаж ал +ĠоÑĦоÑĢм лÑı +ĠпаÑĢÑĤи ей +ĠпенÑģ ион +ĠпеÑĢ евеÑĢ +Ġплан ÑĪеÑĤ +ĠплеÑĩ ами +Ġпобед ой +Ġпобеж да +Ġпов ÑģÑĤан +Ġпогиб ло +ĠподаÑĢ ки +ĠподпиÑģ и +Ġпод ÑģÑĩеÑĤ +ĠподÑħод е +Ġпоезд ка +Ġпо еÑħали +Ġпожел ал +Ġполаг аÑİ +Ġполез нÑĭ +Ġпол иÑĨиÑİ +Ġпол овÑĭÑħ +ĠполÑĥÑĩ аÑĤ +ĠполÑĥÑĩ им +Ġпом ниÑĤе +Ġпомог ло +Ġпопад ал +ĠпоÑĢод ил +ĠпоÑĢÑĥÑĩ ен +ĠпоÑĢÑıд кÑĥ +ĠпоÑģвÑıÑī а +ĠпоÑģел ка +ĠпоÑģл аÑĤÑĮ +ĠпÑĢакÑĤи к +ĠпÑĢев ÑĭÑĪе +ĠпÑĢед ела +ĠпÑĢел еÑģÑĤ +ĠпÑĢеп ода +ĠпÑĢе ÑĥÑģпе +ĠпÑĢид аеÑĤ +ĠпÑĢид аÑĤÑĮ +ĠпÑĢи еÑħав +ĠпÑĢизн ав +ĠпÑĢинÑı ло +ĠпÑĢиÑģ Ñĥжд +ĠпÑĢов ода +ĠпÑĢод вин +ĠпÑĢод лен +ĠпÑĢон ика +ĠпÑĢоÑģ или +ĠпÑĢоÑģ Ñĭпа +ĠпÑĢоÑģÑĮ ба +ĠпÑĢоÑģÑĮ бÑĥ +ĠпÑģиÑħ ики +ĠпÑĥбли ке +ĠпÑĥнк ÑĤом +ĠпÑĥÑģÑĤÑĭ ни +ĠпÑĥÑģÑĤ Ñĭнн +ĠÑĢаз биÑĤÑĭ +ĠÑĢазлиÑĩ и +ĠÑĢазоÑĢ ен +ĠÑĢазÑĥм но +ĠÑĢаÑģ кÑĢÑĭл +ĠÑĢе еÑģÑĤÑĢа +ĠÑĢеклам а +ĠÑĢеклам Ñĥ +ĠÑĢеÑģÑĥÑĢÑģ а +ĠÑĢеÑĪи лÑģÑı +ĠÑĢим Ñģкой +ĠÑĢиÑģÑĥнк е +ĠÑĢод ного +ĠÑģанк ÑĨий +ĠÑģвадÑĮ бÑĭ +ĠÑģдел ана +ĠÑģел ениÑı +ĠÑģеÑĢи але +ĠÑģеÑģÑĤ ÑĢой +ĠÑģилÑĮ наÑı +ĠÑģимвол Ñĭ +ĠÑģино ним +ĠÑģинÑĤез а +ĠÑģлед ÑĥÑİÑĤ +ĠÑģлож наÑı +ĠÑģнай пеÑĢ +ĠÑģна ÑĢÑıда +ĠÑģобÑĢан Ñĭ +ĠÑģоедин и +ĠÑģол идаÑĢ +ĠÑģолн ÑĨем +ĠÑģоÑģÑĤав Ñĥ +ĠÑģÑĢавни в +ĠÑģÑĢед нÑİÑİ +ĠÑģÑĤав или +ĠÑģÑĤÑĢан ам +ĠÑģÑĤÑĢаÑħ ом +ĠÑģÑĥл ÑĤана +ĠÑģÑĩиÑĤ аем +ĠÑģÑĭгÑĢа ли +ĠÑĤак овой +ĠÑĤекÑģÑĤ ом +ĠÑĤеÑĢп ели +ĠÑĤеÑĢп еÑĤÑĮ +ĠÑĤип иÑĩно +ĠÑĤоÑĢг ово +ĠÑĤÑĢам вай +ĠÑĤÑĢевог и +ĠÑĤÑĥ ÑĢизма +ĠÑĤÑıже ÑģÑĤÑĮ +ĠÑĥб иваÑĤÑĮ +ĠÑĥвл еÑĩен +ĠÑĥлÑĭб кой +ĠÑĥÑĢовнÑı Ñħ +ĠÑĥÑģкоÑĢ ен +ĠÑĥÑģÑĤÑĢан Ñı +ĠÑĥÑĤоÑĩ нен +ĠÑĥÑĩени ки +ĠÑĦак ÑĤоÑĢа +ĠÑĦев ÑĢалÑĮ +ĠÑĦоÑĢмÑĥ ла +ĠÑĦоÑĢмÑĥл Ñĭ +ĠÑĦÑĢак ÑĨии +ĠÑĦÑĢан ков +ĠÑĦÑĢонÑĤа Ñħ +ĠÑĦÑĢон ÑĤом +ĠÑħоÑĢоÑĪ ем +ĠÑĨвеÑĤ ами +ĠÑĩаÑģÑĤ оÑĤа +ĠÑĩем одан +ĠÑĩиÑģÑĤ ого +ĠÑĪиÑĢок иÑħ +ĠÑĪиÑĢок ÑĥÑİ +ĠÑįпиз ода +ĠÑįÑģкад ÑĢÑĭ +ĠÑįÑĦÑĦекÑĤ Ñĭ +ĠÑıв илаÑģÑĮ +ĠÑıв илиÑģÑĮ +ĠÑıв илоÑģÑĮ +ÐĶ емокÑĢаÑĤ +ÐĿак анÑĥне +аÑĤÑĥÑĢов ед +биÑĢ аÑĤÑĮÑģÑı +вооÑĢÑĥж Ñijн +вÑıз ÑĭваÑĤÑĮ +гени алÑĮн +еÑģп оÑģобн +и ноÑģÑĤÑĢан +каз ÑĭваÑĤÑĮ +каз ÑĭваÑİÑĤ +клон ение +кол ониал +комп лекÑĤ +кÑĢаÑģ авиÑĨ +лиÑĩ ноÑģÑĤн +маÑĢ кÑģиÑģÑĤ +неп оÑģÑĢед +ним аÑĤелÑĮ +нов Ñģкого +опеÑĢ аÑĤоÑĢ +оÑħÑĢан Ñıем +паÑĢад игм +пиÑģ ÑĭваеÑĤ +пиÑģ ÑĭваÑĤÑĮ +п оминаÑĤÑĮ +пÑĢав лÑıÑĤÑĮ +пÑĢав лÑıÑİÑĤ +пÑĢи емлем +ÑĢазвед Ñĭв +ÑĢегÑĥли ÑĢÑĥ +ÑĢик оÑģнов +ÑĢ ÑĭваеÑĤÑģÑı +ÑģÑĤан даÑĢÑĤ +ÑģÑĤÑĢ елива +ÑĤÑĥÑĢ еÑĨкой +ÑĥÑĩаÑģÑĤ ниÑĨ +Ñħ ождении +ÑħÑĢан иÑĤел +Ñħ ÑĢиÑģÑĤиан +ĠÐIJд миниÑģÑĤ +ĠÐIJÑĢг енÑĤин +ĠÐĴен еÑģÑĥÑįл +ĠÐĴоÑģÑĤ оÑĩно +ĠÐĵенн адий +ĠÐĵÑĢигоÑĢ иÑı +ĠÐĶ вижение +ĠÐĶейÑģÑĤв ие +ĠÐĺванов на +ĠÐļиев Ñģкой +ĠÐļÑĥйб ÑĭÑĪев +ĠÐĽÑİдов ика +ĠÐľÐ°ÑĤ еÑĢиал +ĠÐľÑĥÑĢ манÑģк +ĠÐľÑĥÑħам мед +ĠÐĿаÑĢод нÑĭй +ĠÐĿек ÑĢаÑģов +ĠÐŀбÑĢаÑĤ иÑĤе +ĠÐŀбÑī еÑģÑĤво +ĠÐŀÑģнов нÑĭм +ĠÐŁÐ°ÑĤ ÑĢиаÑĢÑħ +ĠÐŁÐ¾ÑģÑĤ анов +ĠÐŁÑĢиним ал +ĠÐŁÑĢиÑĪ лоÑģÑĮ +ĠÐŁÑĢ огÑĢамм +ĠÐŁÑģиÑħ олог +ĠÐłÐ°Ñģ пÑĥÑĤин +ĠÐłÑĥзв елÑĮÑĤ +ĠÐłÑĥÑģ Ñģкого +ĠСевеÑĢ нÑĭй +ĠСолов ÑĮев +ĠФÑĢан ÑĨией +ĠШев Ñĩенко +ĠадмиÑĢ ала +Ġалког олÑı +Ġаналог ии +ĠаÑģпи ÑĢанÑĤ +Ġбез ÑĥпÑĢеÑĩ +ĠбеÑģп омоÑī +ĠбеÑģп оÑīад +ĠбогаÑĤ ÑģÑĤв +ĠболÑĮ ниÑĨа +ĠболÑĮÑĪ омÑĥ +ĠбÑĢоÑģ илÑģÑı +Ġваж ноÑģÑĤи +Ġвелик омÑĥ +ĠвелиÑĩ ине +Ġвели ÑĩинÑĥ +ĠвеÑĢÑĤол ÑijÑĤ +ĠвеÑĢ ÑĥÑİÑīиÑħ +ĠвеÑĢÑħ него +ĠвзÑĢоÑģл Ñĭе +ĠвзÑĢоÑģл Ñĭм +Ġвинов нÑĭм +ĠводоÑĢ оÑģл +Ġвоз ложен +Ġволн ениÑı +ĠвоÑģк лиÑĨа +ĠвÑģÑĤÑĥп или +ĠвÑĭделÑı ÑİÑĤ +ĠвÑĭÑģок ими +ĠвÑĭÑģÑĤÑĢ ела +ĠвÑĭÑģÑĤÑĥп аÑı +ĠвÑĭÑĤек аеÑĤ +ĠгаÑĢанÑĤи и +ĠгаÑĢмон ии +ĠгипоÑĤез а +ĠгипоÑĤез Ñĭ +ĠглÑĥбок ие +Ġголов ной +Ġдвиж ениÑİ +ĠдвоÑİ ÑĢодн +ĠдевÑĥÑĪ кой +ĠдейÑģÑĤв иÑİ +ĠдепÑĥÑĤ аÑĤа +ĠдепÑĥÑĤ аÑĤÑĭ +ĠдеÑĢж иÑĤÑģÑı +ĠдеÑĤ алÑĮно +Ġдиаг ÑĢамм +ĠдикÑĤ аÑĤоÑĢ +Ġднев нике +Ġдов елоÑģÑĮ +ĠдоволÑĮ нÑĭ +Ġдополн ен +ĠдоÑģÑĤав ки +ĠдоÑģÑĤÑĥп но +Ġд ÑĢагоÑĨен +ĠдÑĢев негÑĢ +ĠдÑĥÑħов ное +Ġжела ÑİÑīиÑħ +Ġжелез наÑı +ĠживоÑĤ нÑĭм +Ġж иÑĤелÑıми +ĠжÑĥÑĢнала Ñħ +Ġзавед омо +Ġзаг ÑĢÑĥзки +ĠзакÑĢеп лÑı +ĠзакÑĢÑĭ ÑĤиÑı +Ġзамед лен +Ġзаним аем +Ġзапад нÑĭе +ĠзапиÑģ аÑĤÑĮ +Ġзап ÑĥÑģÑĤил +ĠзаÑĢплаÑĤ Ñĭ +Ġза ÑĩиÑģлен +Ġзнаком Ñĭе +Ġзнаком Ñĭм +ĠиеÑĢаÑĢÑħ ии +ĠизвеÑģÑĤ ие +Ġинд ивида +ĠинÑĦ екÑĨии +Ġкамп аниÑİ +Ġкамп аниÑı +ĠкаÑĢÑĤин ки +ĠкаÑĦед ÑĢой +ĠкиломеÑĤ ÑĢ +Ġкоали ÑĨии +Ġколлег ии +ĠкомиÑģÑģ иÑİ +ĠкоÑĢол ева +ĠкоÑĢоÑĤ кой +ĠкоÑģв енно +ĠкÑĢаÑģив Ñĭй +ĠкÑĢей ÑģеÑĢа +ĠлиÑĨен зии +ĠлÑİбов ниÑĨ +Ġмагаз инÑĭ +ĠмагиÑģÑĤ ÑĢа +ĠмаÑĢÑĪÑĢÑĥ ÑĤа +ĠмаÑģÑĪÑĤаб а +ĠмаÑģÑĪÑĤаб е +ĠмеÑģÑĤ нÑĭми +ĠмикÑĢо ÑĦон +Ġмлад ÑĪего +Ġмлек опиÑĤ +ĠмолекÑĥл Ñĭ +Ġмолод ежн +Ġмолод Ñijжи +ĠмолÑĩ ание +ĠмоменÑĤ ов +ĠнагÑĢÑĥз ка +ĠнадеÑı лÑģÑı +Ġназв аний +Ġнаим енÑĮÑĪ +ĠнамеÑĢев а +Ġнап ÑĢаÑģно +ĠнаÑĢод нÑĭе +ĠнаÑģлед ие +ĠнаÑħод иÑĤÑĮ +ĠнаÑĩина ли +ĠнаÑĩ неÑĤÑģÑı +ĠнедоÑģÑĤ Ñĥп +ĠнеиÑģ пÑĢав +Ġнем ногие +ĠнемÑĭ Ñģлим +ĠнеÑĥдаÑĩ но +ĠнÑĭнеÑĪ ней +Ġобвин Ñıем +ĠобеÑī ание +ĠобиÑĤ аниÑı +Ġобман Ñĭва +ĠобÑģ ÑĥдиÑĤÑĮ +ĠобÑĬÑıв иÑĤÑĮ +ĠобÑĭв аÑĤел +Ġовлад еÑĤÑĮ +Ġодино ÑĩкÑĥ +ĠопаÑģ ениÑı +ĠопиÑĢа ÑıÑģÑĮ +ĠопиÑģ ании +ĠоÑĢк еÑģÑĤÑĢа +ĠоÑĢн аменÑĤ +ĠоÑģп аÑĢива +ĠоÑģÑĤав лÑıÑı +ĠоÑĤвеÑĩ аÑİÑĤ +ĠоÑĤд аваÑĤÑĮ +ĠоÑĤкÑĢ Ñĭвал +ĠоÑĤкÑĢÑĭ ÑĤии +ĠоÑĤмеÑĤ ила +ĠоÑĤмеÑĩ али +ĠоÑĤмеÑĩ ено +ĠоÑĤÑĢаж аÑİÑĤ +ĠоÑĤÑĢаÑģ лей +ĠоÑĤÑĩаÑı нно +ĠоÑĤÑĩ Ñĥжден +ĠоÑħÑĢан ник +ĠоÑĨени вал +Ġпав илÑĮон +ĠпаÑĤÑĢон ов +ĠпеÑĢед али +ĠпеÑĢеÑĢ Ñĭва +ĠпеÑĢеÑģ ели +ĠпеÑĤ ÑĢÑĥÑĪки +ĠпеÑĩ алÑĮно +ĠпиÑĢам идÑĭ +Ġповли ÑıÑĤÑĮ +ĠповоÑĢоÑĤ а +ĠповÑĤоÑĢ Ñıл +Ġпод алÑĮÑĪе +Ġпод клÑİÑĩа +Ġподлеж иÑĤ +Ġподоб наÑı +Ġпод ÑģÑĥдим +ĠподÑħод ÑıÑĤ +Ġпоедин ке +Ġпозвол ÑıÑĤ +Ġпок ÑĢÑĭвал +ĠпокÑĢÑĭ ÑĤие +Ġполков од +Ġпол ового +ĠполÑĥÑĩ енÑĭ +ĠполÑĮ Ñģкий +ĠполÑĮ ÑģкиÑħ +ĠполÑĮ Ñģкой +Ġпом еÑĪаÑĤÑĮ +Ġпомог али +ĠпоÑĢÑĤÑĢеÑĤ Ñĭ +ĠпоÑĢÑıд оÑĩн +ĠпоÑģеÑĤ иÑĤÑĮ +ĠпоÑģл ание +ĠпоÑģпе ÑĪил +ĠпоÑģÑĤав ок +ĠпоÑģÑĤÑĥп ка +ĠпоÑģÑĤÑĥп ок +ĠпоÑģ ÑĩиÑĤал +ĠпÑĢав овой +ĠпÑĢевÑĢаÑĤ и +ĠпÑĢедлаг а +ĠпÑĢибÑĭ ÑĤиÑı +ĠпÑĢивÑĭÑĩ ки +ĠпÑĢивÑĭÑĩ но +ĠпÑĢи давал +ĠпÑĢидÑĥм ан +ĠпÑĢиз нали +ĠпÑĢиз Ñĭвал +ĠпÑĢиказ ом +ĠпÑĢиним аÑı +ĠпÑĢи ноÑģÑıÑĤ +ĠпÑĢинÑı лÑģÑı +ĠпÑĢиÑģÑĤÑĥп а +ĠпÑĢиÑĩаÑģÑĤ н +ĠпÑĢовеÑĢ ен +ĠпÑĢод авал +ĠпÑĢож ивал +ĠпÑĢоÑĤ ÑıнÑĥл +ĠпÑĢоÑĩ еÑģÑĤÑĮ +ĠпÑĢоÑıв иÑĤÑĮ +ĠпÑĢоÑıв лен +ĠпÑĭÑĤ аÑĤÑĮÑģÑı +ĠÑĢабоÑĤ ами +ĠÑĢазв алин +ĠÑĢазвед ка +ĠÑĢазвед кÑĥ +ĠÑĢазвл ека +ĠÑĢазд елил +ĠÑĢаÑģ кÑĢÑĭÑĤÑĮ +ĠÑĢаÑģÑģказ е +ĠÑĢаÑģÑĤв оÑĢа +ĠÑĢе алÑĮнÑĭй +ĠÑĢ ождение +ĠÑĢозÑĭ гÑĢÑĭÑĪ +ĠÑĢÑĥк опиÑģÑĮ +ĠÑģамол еÑĤе +ĠÑģбоÑĢ ника +ĠÑģвÑıз Ñĭвал +ĠÑģевеÑĢ нее +ĠÑģевеÑĢ ном +ĠÑģелÑĮ Ñģкой +ĠÑģенÑĤÑı бÑĢÑĮ +ĠÑģк овоÑĢод +ĠÑģлаб оÑģÑĤи +ĠÑģлÑĥж аÑīиÑħ +ĠÑģлÑĥÑĩ иÑĤÑģÑı +ĠÑģмеÑĢÑĤ ной +ĠÑģмоÑĤÑĢ иÑĤе +ĠÑģобÑĭÑĤи ем +ĠÑģовеÑĢÑĪ ал +ĠÑģовеÑĢÑĪ ив +ĠÑģоздав аÑı +ĠÑģооÑĢÑĥж ен +ĠÑģÑĤадион е +ĠÑģÑĤеп енÑĮÑİ +ĠÑģÑĤол еÑĤий +ĠÑģÑĤÑĢан ное +ĠÑģÑĤÑĢелÑĮ бе +ĠÑģÑĤÑĢелÑı ÑĤÑĮ +ĠÑģÑĤÑĢо иÑĤÑģÑı +ĠÑĤанков ÑĭÑħ +ĠÑĤвоÑĢ ениÑı +ĠÑĤеÑħ никой +ĠÑĤеÑħникÑĥ м +ĠÑĤеÑĩ ением +ĠÑĤоÑĩ ноÑģÑĤÑĮ +ĠÑĤÑĢаг едиÑı +ĠÑĤÑĢи бÑĥнал +ĠÑĥдал ениÑı +ĠÑĥдеÑĢж ива +ĠÑĥдоб ÑģÑĤва +ĠÑĥпомина л +ĠÑĥпÑĢав лÑıл +ĠÑĥÑģпеÑĪ нÑĭм +ĠÑĥÑģÑĤÑĢан ен +ĠÑħокке иÑģÑĤ +ĠÑħÑĢан ение +ĠÑħÑĢан ÑıÑĤÑģÑı +ĠÑħÑĢом оÑģом +ĠÑĨеÑĢков ÑĮÑİ +ĠÑĩаÑģÑĤ ного +ĠÑĪколÑĮ ник +ĠÑįконом ии +ĠÑįлекÑĤ ÑĢод +ĠÑįпизод ов +ÐĺнÑĤеÑĢ ÑĦакÑģ +ÐľÐ°Ð½ ÑĩеÑģÑĤеÑĢ +ТеÑħни ÑĩеÑģк +ФÑĢанÑĨ иÑģко +белÑĮг ийÑģк +бÑĢаз илÑĮÑģк +в нÑĥÑĤÑĢенне +воÑģÑĤоÑĩ нее +в оÑģÑĤоÑĩной +елов еÑĩеÑģк +иÑĢован ное +клÑİÑĩ аеÑĤÑģÑı +наÑĩ алÑĮник +оÑģпоÑģоб но +пеÑĤ еÑĢбÑĥÑĢг +плод оÑĤвоÑĢ +пÑĢов айдеÑĢ +пÑĥÑģка ÑİÑĤÑģÑı +ÑĢемеÑģ ленн +Ñģем надÑĨаÑĤ +ÑģмаÑĤÑĢ ивал +ÑģÑĤав ление +ÑģÑĤÑĢа иваÑĤÑĮ +ÑģÑĤÑĢо илиÑģÑĮ +ÑģÑĥмаÑģ ÑĪедÑĪ +ÑģÑĩиÑĤ ÑĭваеÑĤ +ÑĤелÑĮ ноÑģÑĤи +ÑĤÑĢан ÑģпоÑĢÑĤ +ÑįнеÑĢгеÑĤ ик +ĠÐĴал енÑĤина +ĠÐĴеÑĢÑħов ной +ĠÐĴоÑĢо ÑĪилов +ĠÐķлизав еÑĤа +ĠÐĹапад ного +ĠÐļÑĢон ÑĪÑĤадÑĤ +ĠÐĿ идеÑĢланд +ĠÐĿижег оÑĢод +ĠÐŁÐ¾Ð» ковник +ĠÐŁÐ¾ÑĢо ÑĪенко +ĠÐŁÐ¾Ñģлед нÑıÑı +ĠÐŁÑĢ огÑĢамма +ĠСвÑıÑĤ оÑģлав +ĠСк онÑĩалÑģÑı +ĠСлед ÑĥÑİÑīий +ĠСÑĤокг олÑĮм +ĠТÑĢÑĥд ового +ĠФеÑĢ динанд +ĠÐ¥Ñĥдож еÑģÑĤв +ĠЯков левиÑĩ +ĠавÑĤом аÑĪин +ĠакÑĤив ного +ĠаÑĢгÑĥменÑĤ Ñĭ +ĠаÑĢÑħип елаг +ĠаÑĤак оваÑĤÑĮ +ĠаÑĤмоÑģ ÑĦеÑĢа +ĠаÑįÑĢоп оÑĢÑĤÑĥ +ĠбаÑģкеÑĤ бол +ĠбезопаÑģ но +ĠбÑĥÑĢжÑĥаз ии +ĠвеÑĢÑĤол еÑĤа +ĠвеÑĤеÑĢ инаÑĢ +ĠвзглÑı нÑĥÑĤÑĮ +ĠвнедÑĢ ение +ĠвнедÑĢ ениÑı +ĠвнеÑĪ ноÑģÑĤÑĮ +Ġвним анием +Ġвозглав лÑı +Ġвозмож ной +Ġвозобнов л +ĠвоÑģ пÑĢинÑıÑĤ +ĠвоÑģÑĤоÑĩ ном +ĠвÑĢажеÑģ киÑħ +ĠвÑĢемен ной +ĠвÑģÑĤÑĢеÑĤ или +ĠвÑģÑĤÑĢеÑĩ аеÑĤ +ĠвÑĭб ÑĢаÑģÑĭва +ĠвÑĭдел ение +ĠвÑĭнÑĥжд ена +ĠвÑĭпла Ñĩива +ĠвÑĭполн енÑĭ +ĠвÑĭÑģÑĤÑĥп ила +ĠгенеÑĢал ов +ĠгенеÑĢал ом +ĠглÑĥбок ого +ĠгоÑĢод Ñģкие +ĠгоÑĢод Ñģком +ĠгоÑģпиÑĤ алÑĮ +ĠгоÑģпод ина +ĠгоÑĤов иÑĤÑģÑı +ĠгÑĢаждан ам +ĠгÑĢеÑĩеÑģ киÑħ +Ġдвиг аÑĤели +Ġделег аÑĨии +ĠдеÑĢж аÑĤÑĮÑģÑı +Ġдиапаз оне +ĠдоговоÑĢ ов +ĠдокÑĥменÑĤ е +ĠдомаÑĪ него +ĠдоÑģÑĤав иÑĤÑĮ +ĠдоÑģÑĤиг аÑİÑĤ +ĠженÑīин ами +ĠживоÑĤ нÑĭми +Ġжизн еннÑĭÑħ +Ġзавед ений +Ġзавоев ала +ĠзаплаÑĤ иÑĤÑĮ +ĠзаÑīиÑĤ ника +ĠизвеÑģÑĤ ное +ĠизлÑĥÑĩ ение +ĠизмеÑĢ ений +ĠизобÑĢаж ал +Ġинд икаÑĤоÑĢ +Ġинд ÑĥÑģÑĤÑĢии +ĠинженеÑĢ но +ĠиниÑĨи аÑĤоÑĢ +ĠинÑĦек ÑĨион +ĠиÑģклÑİÑĩ ено +ĠиÑģклÑİÑĩ иÑĤÑĮ +ĠиÑģполнÑı еÑĤ +ĠиÑģполнÑı ÑĤÑĮ +ĠиÑģпÑĢав лен +ĠиÑģпÑĭÑĤ ание +ĠиÑģÑĩеÑĢп Ñĭва +ĠкапиÑĤан ом +ĠкванÑĤ овой +ĠкиломеÑĤ ÑĢа +ĠкиÑĪеÑĩ ника +Ġколлег ами +Ġколлек ÑĨиÑı +ĠконÑĦлик ÑĤÑĭ +ĠкÑĥлÑĮÑĤÑĥÑĢ ой +Ġмалей ÑĪего +ĠмалÑĮ Ñĩиков +ĠминеÑĢ алÑĮн +ĠмиÑģÑģ ионеÑĢ +ĠназÑĭв алÑģÑı +ĠнаÑģÑĤоÑıÑī ем +Ġна ÑģÑĤÑĢойка +ĠнаÑĩ алÑĮной +Ġневеж еÑģÑĤв +Ġнеизбеж нÑĭ +ĠнекоÑĤоÑĢ ом +ĠнемеÑĨ кими +Ġнеп онÑıÑĤнÑĭ +ĠниÑģк олÑĮко +ĠобÑĢабоÑĤ ке +ĠобÑģÑĥж дали +ĠобÑĬекÑĤ ами +ĠобÑĬÑıÑģнÑı ÑĤÑĮ +Ġоказ ÑĭваÑİÑĤ +ĠоконÑĩ ание +ĠопеÑĢаÑĨиÑı Ñħ +ĠоÑģв еÑīение +ĠоÑģв еÑīениÑı +ĠоÑģÑĤав лÑıÑĤÑĮ +ĠоÑģÑĤ алÑĮнÑĭм +ĠоÑĤдел ении +ĠоÑĤделÑĮ наÑı +ĠоÑĤ доÑħнÑĥÑĤÑĮ +ĠоÑĤкÑĢ ÑĭваÑĤÑĮ +ĠоÑĤÑĢаж ениÑı +ĠоÑĤ ÑģÑĤÑĢанен +ĠоÑĨени ваÑĤÑĮ +ĠоÑĩевид нÑĭм +ĠпамÑıÑĤ ники +ĠпаÑĢÑĤий ной +ĠпаÑĢÑĤий нÑĭÑħ +ĠпаÑĤÑĢи аÑĢÑħа +ĠпенÑģ ионеÑĢ +ĠпеÑĢевед Ñijн +ĠпеÑĢее Ñħала +ĠпеÑĢеж ивал +ĠпеÑĢеклÑİÑĩ а +ĠпеÑĢеÑĢ абоÑĤ +ĠпеÑĢÑģонаж и +ĠпиÑģ аÑĤелем +ĠплаÑģÑĤ иков +ĠплаÑĤÑĦоÑĢм е +ĠплоÑĤ ноÑģÑĤи +Ġподвод ной +ĠподÑĢоб нее +Ġпозвол ила +Ġпоз иÑĤивно +Ġпоклон ник +ĠполиÑĤ иков +ĠполиÑĤ икой +ĠполÑĥÑĩ ении +ĠполÑĮзÑĥ ÑıÑģÑĮ +ĠпомеÑģÑĤ иÑĤÑĮ +Ġпоним аеÑĪÑĮ +Ġпоним аниÑİ +ĠпопÑĥлÑıÑĢ но +ĠпоÑĢ ождаеÑĤ +ĠпоÑģвÑıÑī енÑĭ +ĠпоÑģел ений +ĠпоÑģ еÑīениÑı +ĠпоÑģлед ÑĥÑİÑī +ĠпоÑģ меÑĢÑĤно +ĠпоÑģÑĤÑĢо или +ĠпоÑģÑĤÑĥп аÑİÑĤ +ĠпоÑģÑĤÑĥп ила +ĠпоÑģÑĤÑĥп или +ĠпоÑıв лениÑİ +ĠпÑĢевÑĢаÑĤ ил +ĠпÑĢед аÑĤелÑĮ +ĠпÑĢед пиÑģан +ĠпÑĢедÑĥп ÑĢеж +ĠпÑĢенеб ÑĢег +ĠпÑĢеп аÑĢаÑĤа +ĠпÑĢеÑĤен зии +ĠпÑĢибли жен +ĠпÑĢивед енÑĭ +ĠпÑĢивеÑĢж ен +ĠпÑĢивод иÑĤÑĮ +ĠпÑĢидÑĥм аÑĤÑĮ +ĠпÑĢизна лÑģÑı +ĠпÑĢиним аем +ĠпÑĢиним ала +ĠпÑĢин Ñĥжден +ĠпÑĢиобÑĢ ела +ĠпÑĢиÑģ ваива +ĠпÑĢовед енÑĭ +ĠпÑĢовеÑĢ ÑıÑĤÑĮ +ĠпÑĢодолж ен +ĠпÑĢож иваеÑĤ +ĠпÑĢож ивали +ĠпÑĢозв ÑĥÑĩал +ĠпÑĢокÑĥÑĢ оÑĢа +ĠпÑĢоп ÑĥÑģÑĤил +ĠпÑĢоÑģв еÑīен +ĠпÑĢоÑģ моÑĤÑĢа +ĠпÑĢоÑĨед ÑĥÑĢÑĥ +ĠÑĢазлиÑĩ ной +ĠÑĢазÑĭ гÑĢÑĭва +ĠÑĢегÑĥлÑı ÑĤоÑĢ +ĠÑĢежиÑģÑģ еÑĢа +ĠÑĢе оÑĢганиз +ĠÑĢепÑĥÑĤ аÑĨиÑİ +ĠÑģвидеÑĤ елÑı +ĠÑģвобод нÑĭй +ĠÑģвÑıз аннÑĭй +ĠÑģвÑıз ÑĭваÑİÑĤ +ĠÑģемейÑģÑĤв о +ĠÑģеÑĢÑĮез нÑĭй +ĠÑģиÑģÑĤем ами +ĠÑģиÑĤÑĥ аÑĨией +ĠÑģледÑĥÑİÑī аÑı +ĠÑģлож илаÑģÑĮ +ĠÑģнаб жениÑı +ĠÑģниж аеÑĤÑģÑı +ĠÑģовеÑĢÑĪ аÑİÑĤ +ĠÑģовеÑĤ ника +ĠÑģовеÑĤ Ñģком +ĠÑģовеÑī ание +ĠÑģоедин иÑĤÑĮ +ĠÑģозд аннÑĭе +ĠÑģозд аÑİÑĤÑģÑı +ĠÑģозн анием +ĠÑģоÑģÑĤоÑı Ñīий +ĠÑģоÑĩеÑĤ аниÑı +ĠÑģоÑĩин ение +ĠÑģпоÑģоб нÑĭÑħ +ĠÑģÑĢаж аÑĤÑĮÑģÑı +ĠÑģÑĤÑĢаÑĤег иÑı +ĠÑģÑĩиÑĤ алиÑģÑĮ +ĠÑĤоÑĢг ового +ĠÑĤÑĢÑĥд ового +ĠÑĥдив ление +ĠÑĥпомина еÑĤ +ĠÑĥÑĢавн ениÑı +ĠÑĥÑģпеÑĪ ного +ĠÑĥÑģÑĤанов ке +ĠÑĥÑģÑĤанов кÑĥ +ĠÑĥÑĤвеÑĢжд Ñijн +ĠÑĦеÑģÑĤ ивале +ĠÑĦÑĢагменÑĤ Ñĭ +ĠÑħаÑĢакÑĤеÑĢ Ñĥ +ĠÑħÑĥдож еÑģÑĤв +ĠÑĨеÑĢков ной +ĠÑĨеÑĢков нÑĭÑħ +ĠÑĩеÑĤвеÑĢÑĤ Ñĭй +ĠÑĩинов ника +ĠÑĩÑĥвÑģÑĤв ÑĥÑİÑĤ +ĠÑįконом икÑĥ +ĠÑįлеменÑĤ ом +ĠÑıпон Ñģкого +избиÑĢ аÑĤелÑĮ +иÑģпÑĭÑĤ аÑĤелÑĮ +иÑģÑĤ иÑĩеÑģкое +каз ÑĭвалоÑģÑĮ +опоÑģÑĤав лен +пиÑģ ÑĭваеÑĤÑģÑı +под ÑĤвеÑĢжда +пÑĢед пÑĢиним +ÑģекÑģÑĥ алÑĮно +ÑģмаÑĤÑĢ иваÑĤÑĮ +ÑģовеÑĢÑĪ енно +Ñģомн иÑĤелÑĮн +ÑģÑĤвен ноÑģÑĤи +ÑģÑĤвен ноÑģÑĤÑĮ +ĠÐIJлекÑģанд ÑĢÑĥ +ĠÐijог оÑĢодиÑĨÑĭ +ĠÐĴаÑĪ ингÑĤоне +ĠÐĴеÑĢ нÑĥвÑĪиÑģÑĮ +ĠÐĴоÑģÑĤоÑĩ ного +ĠÐĺнÑĦоÑĢм аÑĨиÑı +ĠÐļалиÑĦоÑĢ нии +ĠÐŁÑĢим енение +ĠÐłÐ°Ñģ ÑģÑĤоÑıние +ĠÐłÐ¾ÑģÑģ ийÑģкаÑı +ĠСолж ениÑĨÑĭн +ĠСÑĤав ÑĢополÑĮ +ĠСÑĤепанов иÑĩ +ĠУкÑĢа инÑģкой +ĠабÑģолÑİÑĤ ной +Ġанглий Ñģкие +ĠбеÑģпол езно +ĠбиблиоÑĤек Ñĥ +Ġболез ненно +ĠбÑĢиÑĤан ÑģкиÑħ +ĠвзаимоÑģ вÑıз +ĠвладелÑĮ ÑĨев +ĠвнÑĥÑĤÑĢен нÑıÑı +Ġв озвÑĢаÑīаеÑĤ +Ġвозмож ного +ĠвооÑĢÑĥж ений +ĠвÑĢемен ного +ĠвÑģÑĤÑĢеÑĩ алÑģÑı +ĠвÑĭда ÑİÑīиеÑģÑı +ĠвÑĭда ÑİÑīиÑħÑģÑı +ĠвÑĭделÑı ÑİÑĤÑģÑı +ĠвÑĭÑĢаж ением +ĠвÑĭÑĩиÑģ лениÑı +ĠдалÑĮней ÑĪиÑħ +Ġдвиг аÑĤелем +ĠдеÑĢевÑıн нÑĭе +Ġдл иÑĤелÑĮное +Ġдоказ ÑĭваеÑĤ +ĠдоÑģÑĤигнÑĥÑĤ Ñĭ +ĠдоÑģÑĤиг нÑĥÑĤÑĮ +ĠжиÑĤелÑĮ ÑģÑĤва +ĠжÑĥÑĢнали ÑģÑĤÑĭ +ĠзавеÑĢÑĪ ение +ĠзаконÑĩ илÑģÑı +Ġза ÑĢабоÑĤаÑĤÑĮ +ĠзаÑĢабоÑĤ ной +ĠзнамениÑĤ ой +ĠзнамениÑĤ ÑĭÑħ +ĠзнаÑĩ имоÑģÑĤи +ĠзнаÑĩ имоÑģÑĤÑĮ +Ġизмени лаÑģÑĮ +Ġизмен ÑıеÑĤÑģÑı +ĠизобÑĢаж аеÑĤ +ĠиниÑĨиаÑĤив Ñĥ +ĠинÑĤеÑĢеÑģ нÑĭй +ĠинÑĤеÑĢÑĦей Ñģа +ĠиÑģклÑİÑĩ ение +ĠиÑģпÑĭÑĤ ÑĭваÑĤÑĮ +ĠиÑģÑģлед овал +ĠквадÑĢаÑĤ нÑĭÑħ +ĠкиÑĤай Ñģкого +ĠкоммÑĥниз ма +ĠкомплекÑģ ов +Ġкомпон енÑĤа +ĠконкÑĢеÑĤ ном +ĠконкÑĢеÑĤ нÑĭм +ĠлабоÑĢаÑĤоÑĢ н +ĠмаÑģÑĤеÑĢ ÑģÑĤва +ĠмаÑĤеÑĢиал ом +ĠмоÑģков Ñģкий +ĠмоÑģков Ñģкой +ĠмÑĥзÑĭканÑĤ ов +Ġнаб еÑĢежной +ĠназÑĭв аÑĤÑĮÑģÑı +Ġнапад аÑİÑīий +Ġнап оловинÑĥ +Ġнапомина ÑİÑĤ +ĠнапÑĢав илÑģÑı +ĠнапÑĢавлен о +ĠнаÑĢкоÑĤ иков +ĠнаÑĢÑĥÑĪ ением +ĠнаÑģел еннÑĭÑħ +ĠнаÑģлед ÑģÑĤво +Ġна ÑģÑĤоÑıÑĤелÑĮ +ĠнаÑģÑĩиÑĤ Ñĭвал +Ġна ÑħождениÑı +ĠнаÑĩина ÑİÑĤÑģÑı +ĠнедоволÑĮ нÑĭ +ĠнезавиÑģим Ñĭ +ĠнекоÑĤоÑĢ ого +ĠнепÑĢи ÑıÑĤелÑĮ +ĠнепÑĢиÑıÑĤ елÑı +ĠобÑī епÑĢинÑıÑĤ +ĠобÑĬедин ÑıеÑĤ +ĠобÑĬÑıв ление +Ġознамен ова +ĠопÑĢеделÑı ем +ĠоÑĢиенÑĤ иÑĢов +ĠоÑģнов аннÑĭй +ĠоÑģÑĥÑīеÑģÑĤв ил +ĠоÑĤказ алаÑģÑĮ +ĠоÑĤклон ениÑı +ĠоÑĤмеÑĩ алоÑģÑĮ +ĠоÑĦоÑĢм ление +ĠоÑĦоÑĢм лениÑı +ĠоÑħваÑĤ ÑĭваеÑĤ +ĠоÑħлажд ениÑı +ĠоÑĩеÑĢед ного +ĠпеÑĢвен ÑģÑĤва +ĠпеÑĢвен ÑģÑĤве +ĠпеÑĢеÑħод иÑĤÑĮ +Ġпобед иÑĤелÑı +Ġпоблиз оÑģÑĤи +ĠпокÑĥп аÑĤелÑı +ĠполÑĥÑĩ ивÑĪий +ĠпопÑĥлÑıÑĢ ной +ĠпопÑĭÑĤа лиÑģÑĮ +ĠпоÑģолÑĮ ÑģÑĤво +ĠпоÑģÑĤав лена +ĠпоÑģÑĤанов ка +ĠпоÑģÑĤоÑıн нÑĭе +ĠпоÑģÑĤÑĢад али +ĠпоÑģÑĤÑĢо ение +ĠпÑĢавилÑĮ нÑĭй +ĠпÑĢавилÑĮ нÑĭм +ĠпÑĢедпоÑĩ иÑĤа +ĠпÑĢедÑģказ ан +ĠпÑĢезиденÑĤ Ñĥ +ĠпÑĢекÑĢаÑģ нÑĭм +ĠпÑĢивлек аеÑĤ +ĠпÑĢи деÑĢжива +ĠпÑĢизна еÑĤÑģÑı +ĠпÑĢиÑģоедин и +ĠпÑĢиÑģоедин Ñı +ĠпÑĢиÑģÑĤ алÑĮно +ĠпÑĢиÑģÑĤ ÑĢаÑģÑĤи +ĠпÑĢиÑģÑĤÑĥп иÑĤÑĮ +ĠпÑĢовин ÑĨиал +ĠпÑĢогÑĢамм ой +ĠпÑĢож иваниÑı +ĠпÑĢоиз ноÑģиÑĤ +ĠпÑĢоÑĤив никÑĥ +ĠпÑĥблика ÑĨий +ĠпÑĥблика ÑĨиÑı +ĠÑĢавновеÑģ ие +ĠÑĢадика лÑĮно +ĠÑĢаз веÑĢÑĤÑĭва +ĠÑĢазговоÑĢ ов +ĠÑĢазлиÑĩ ного +ĠÑĢаÑģÑģлаб лен +ĠÑĢедакÑĤоÑĢ ом +ĠÑĢеÑģпÑĥбли ке +ĠÑģвидеÑĤ елем +ĠÑģекÑĢеÑĤаÑĢ ем +ĠÑģкÑĥлÑĮп ÑĤÑĥÑĢÑĭ +ĠÑģлÑĥÑĪ аÑĤелей +ĠÑģовеÑĢÑĪ ении +ĠÑģодеÑĢжаÑĤ ÑģÑı +ĠÑģодеÑĢжаÑī ие +ĠÑģодеÑĢж имое +ĠÑģоÑģÑĤавлÑı ÑĤÑĮ +ĠÑģоÑĨи алÑĮнаÑı +ĠÑģоÑĨи алÑĮнÑĥÑİ +ĠÑģоÑĨи алÑĮнÑĭй +ĠÑģÑĤаÑĤиÑģÑĤ ики +ĠÑģÑĤоим оÑģÑĤÑĮÑİ +ĠÑģÑĤолк нÑĥлÑģÑı +ĠÑģÑĤоÑĢон ники +ĠÑģÑĤÑĢем иÑĤÑĮÑģÑı +ĠÑģÑĦоÑĢм иÑĢова +ĠÑĤелекан ала +ĠÑĤÑĢанз иÑģÑĤоÑĢ +ĠÑĤÑĢол лейбÑĥÑģ +ĠÑĤÑĢÑĥд ноÑģÑĤей +ĠÑĥменÑĮ ÑĪение +ĠÑĥменÑĮ ÑĪениÑı +ĠÑĥп оминаниÑı +ĠÑĥпоÑĢÑıд оÑĩен +ĠÑĥÑģÑĤÑĢа иваеÑĤ +ĠÑĥÑģÑĤÑĢой ÑģÑĤве +ĠÑĥÑĤвеÑĢж дали +ĠÑĥÑĩаÑģÑĤ никам +ĠÑĦиз иÑĩеÑģкое +ĠÑĦоÑĤогÑĢаÑĦ ий +ĠÑĦÑĥÑĤболÑĮ нÑĭй +ĠÑħаÑĢакÑĤеÑĢ ом +ĠÑħим иÑĩеÑģкой +ĠÑħÑĢон иÑĩеÑģки +ĠÑĩÑĥв ÑģÑĤвенно +ĠÑįкÑģпеÑĢÑĤи зÑĭ +ĠÑįнеÑĢг еÑĤики +еÑģÑĤвен ников +иÑģÑĤ иÑĩеÑģкого +иÑĦиÑĨи ÑĢоваÑĤÑĮ +клад ÑĭваеÑĤÑģÑı +клад ÑĭваÑİÑĤÑģÑı +конÑĦеÑĢен ÑĨии +ÑĤеÑħни ÑĩеÑģкое +ÑĤÑĢени ÑĢовоÑĩн +ÑĦелÑĮд маÑĢÑĪал +ĠÐIJлекÑģандÑĢ ом +ĠÐIJÑĦганиÑģÑĤан е +ĠÐijалÑĤий Ñģкого +ĠÐĴоз ÑĢождениÑı +ĠÐĶоÑģÑĤоев Ñģкий +ĠÐĺÑģÑĤоÑĢ иÑĩеÑģки +ĠÐļали нингÑĢад +ĠÐľÐ°Ð½Ð´ елÑĮÑĪÑĤам +ĠÐĿидеÑĢланд ов +ĠÐŁÑĢедÑģÑĤав ÑĮÑĤе +ĠСеваÑģÑĤ ополÑĮ +ĠСовÑĢемен нÑĭе +ĠТадж икиÑģÑĤан +ĠЦенÑĤÑĢ алÑĮнÑĭй +ĠавиаÑĨион нÑĭй +Ġвозб ÑĥждениÑı +Ġвозглав лÑıем +ĠвообÑĢаж ениÑı +ĠвоÑģпиÑĤ аÑĤелÑĮ +ĠвоÑģÑģÑĤанов ил +ĠвоÑģÑĤ ÑĢебован +ĠвÑģÑĤÑĢеÑĩ аÑĤÑĮÑģÑı +ĠгеÑĢман Ñģкого +ĠгÑĢÑĥпп иÑĢовка +ĠдейÑģÑĤв ÑĥÑİÑīим +Ġдинам иÑĩеÑģки +ĠдобÑĢод еÑĤелÑĮ +ĠдолжноÑģÑĤ нÑĭÑħ +ĠдоÑģÑĤаÑĤ оÑĩной +ĠдÑĢевнеÑĢ ÑĥÑģÑģк +ĠевÑĢопей Ñģкие +ĠзамеÑĩ аÑĤелÑĮн +ĠзаÑģлÑĥж иваеÑĤ +ĠизобÑĢеÑĤ ение +ĠизобÑĢеÑĤ ениÑı +ĠимпеÑĢаÑĤ ÑĢиÑĨÑĭ +ĠиноÑģÑĤÑĢ аннÑĭе +ĠиÑģпол нилоÑģÑĮ +ĠиÑĤалÑĮÑıн Ñģкой +ĠкомпенÑģ аÑĨии +ĠкомпозиÑĤ оÑĢа +ĠкомпÑĮÑİÑĤеÑĢ ов +ĠконкÑĥÑĢ енÑĤов +ĠконÑģÑĤÑĢÑĥк ÑĨиÑİ +ĠкоÑĢолев Ñģкой +ĠкÑĢов оÑĤеÑĩени +ĠлиÑĤеÑĢаÑĤÑĥÑĢ но +Ġмод иÑĦикаÑĨии +ĠнаÑħод ÑıÑīиеÑģÑı +Ġневозмож нÑĭм +ĠнедоÑģÑĤаÑĤ ков +ĠнезавиÑģим ÑĭÑħ +ĠнеобÑħодим ÑĥÑİ +ĠнеобÑħодим Ñĭй +ĠновоÑĢож денн +ĠноÑĢм алÑĮного +ĠобÑĢазов аний +ĠобÑıз аÑĤелÑĮнÑĭ +ĠопеÑĢаÑĤив ной +Ġоппоз иÑĨионн +ĠоÑĢгани ÑĩеÑģки +ĠоÑģнов аÑĤелей +ĠоÑĤождеÑģÑĤв лÑı +ĠпеÑĢеговоÑĢ аÑħ +ĠподдеÑĢж иваÑİ +ĠподклÑİÑĩ ениÑı +ĠподозÑĢев аем +ĠподÑĤвеÑĢд или +ĠпокÑĢов иÑĤелÑĮ +ĠпокÑĥп аÑĤелей +ĠполиÑĨей Ñģкие +ĠполÑĥоÑģÑĤÑĢов е +ĠполÑĮзов аниÑı +ĠпонÑĢав илоÑģÑĮ +ĠпоÑģлед ÑĥÑİÑīим +ĠпоÑģовеÑĤ овал +ĠпоÑģÑĤÑĥп лениÑı +ĠпоÑĤÑĢеб ление +ĠпÑĢевоÑģ ÑħодиÑĤ +ĠпÑĢевÑĢаÑī ениÑı +ĠпÑĢедполож ил +ĠпÑĢедпоÑĩ иÑĤал +ĠпÑĢедÑģказ Ñĭва +ĠпÑĢепÑıÑĤ ÑģÑĤвие +ĠпÑĢеÑģÑĤÑĥп ника +ĠпÑĢивл еÑĩениÑı +ĠпÑĢигоÑĤов иÑĤÑĮ +ĠпÑĢи клÑİÑĩениÑı +ĠпÑĢиÑģоедин ен +ĠпÑĢод вижениÑı +ĠпÑĢокÑĥÑĢ аÑĤÑĥÑĢÑĭ +ĠпÑĢоÑģÑĤÑĢан ÑģÑĤв +ĠÑĢаздÑĢаж ение +ĠÑĢазÑĢабоÑĤ аÑĤÑĮ +ĠÑĢеалÑĮ ноÑģÑĤÑĮÑİ +ĠÑĢелигиоз нÑĭм +ĠÑģобеÑģед ника +ĠÑģовÑĢемен наÑı +ĠÑģовÑĢемен ное +ĠÑģоглаÑģ илиÑģÑĮ +ĠÑģопоÑģÑĤав лен +ĠÑģоÑĤÑĢÑĥд ником +ĠÑģоÑħÑĢани лаÑģÑĮ +ĠÑģпеÑĨи алÑĮнÑĭм +ĠÑģпокой ÑģÑĤвие +ĠÑģпÑĢавед ливÑĭ +ĠÑģÑĤанов илаÑģÑĮ +ĠÑģÑĤÑĢаÑħ ованиÑı +ĠÑĤвоÑĢ ÑĩеÑģкого +ĠÑĤемпеÑĢ аменÑĤ +ĠÑĤеÑĢÑĢиÑĤоÑĢ иÑıÑħ +ĠÑĤеÑĢÑĢоÑĢ иÑģÑĤов +ĠÑĤÑĭÑģÑıÑĩел еÑĤиÑı +ĠÑĥпоÑĤÑĢеб лÑıÑĤÑĮ +ĠÑĥÑĩÑĢеждениÑı Ñħ +ĠÑĦедеÑĢ алÑĮнÑĭм +ĠÑĦедеÑĢ алÑĮнÑĭÑħ +ĠÑħаÑĢакÑĤеÑĢ нÑĭе +ĠÑĨивилиз аÑĨиÑı +ĠÑĩемпион аÑĤов +ĠÑįÑģÑĤ еÑĤиÑĩеÑģки +ĠÑįÑĦÑĦекÑĤив нÑĭм +гÑĢавиÑĤ аÑĨионн +пÑĢоÑģвеÑĤ иÑĤелÑĮ +ÑĤеÑħни ÑĩеÑģкого +ĠÐķдин ÑģÑĤвенное +ĠУнивеÑĢÑģ иÑĤеÑĤа +Ġавиакомп ании +ĠаÑĢÑħиÑĤекÑĤÑĥÑĢ но +ĠбеÑģпокой ÑģÑĤво +ĠвоÑģпÑĢиним аÑİÑĤ +ĠгаÑĢан ÑĤиÑĢован +ĠгваÑĢдей Ñģкого +ĠдоговоÑĢ илиÑģÑĮ +ĠевÑĢопей Ñģкого +ĠеÑģÑĤ еÑģÑĤвенной +ĠизгоÑĤов ление +Ġизд аÑĤелÑĮÑģÑĤва +ĠизобÑĢеÑĤ аÑĤелÑĮ +ĠиÑģполÑĮзÑĥем ÑĭÑħ +ĠиÑģÑĤоÑĢ иÑĩеÑģким +ĠкомменÑĤ аÑĢиÑıÑħ +ĠкоммеÑĢ ÑĩеÑģкиÑħ +ĠконÑĦигÑĥÑĢа ÑĨии +ĠкÑĢеÑģÑĤÑĮÑıн ÑģкиÑħ +ĠлиÑĤеÑĢаÑĤÑĥÑĢ нÑĭй +ĠнаÑĨионалÑĮ нÑĥÑİ +Ġнедвиж имоÑģÑĤи +ĠнеобÑħодим ого +ĠобеÑģпеÑĩ иваÑĤÑĮ +ĠобнаÑĢÑĥж иваÑİÑĤ +ĠобÑīеÑģÑĤвен ном +ĠобÑıз аÑĤелÑĮнÑĭм +ĠопÑĥбликов ана +ĠопÑĥбликов анÑĭ +ĠоÑģвоб ождении +ĠоÑģÑĤанов илиÑģÑĮ +ĠоÑĤÑģÑĥÑĤÑģÑĤв овал +ĠпеÑĢед вижениÑı +ĠповеÑĢÑħ ноÑģÑĤно +ĠповеÑĢÑħ ноÑģÑĤÑĮÑİ +ĠподозÑĢ иÑĤелÑĮн +ĠполиÑĤ иÑĩеÑģком +ĠпопÑĥлÑıÑĢ ноÑģÑĤи +ĠпоÑĢаз иÑĤелÑĮно +ĠпоÑģÑĤÑĢадав ÑĪиÑħ +ĠпÑĢевÑĢаÑĤ илаÑģÑĮ +ĠпÑĢедлаг аеÑĤÑģÑı +ĠпÑĢедлож ением +ĠпÑĢедпоÑĩиÑĤ аÑİÑĤ +ĠпÑĢедпоÑĩÑĤ ение +ĠпÑĢедпÑĢи ÑıÑĤиÑıÑħ +ĠпÑĢинадлеж ала +ĠпÑĢинадлеж али +ĠпÑĢиобÑĢеÑĤ ение +ĠпÑĢиобÑĢеÑĤ ениÑı +ĠпÑĢовоз глаÑģил +ĠпÑĢодолж алаÑģÑĮ +ĠпÑĢодолж алоÑģÑĮ +ĠпÑĢоиÑģÑħодÑıÑī ее +ĠпÑĢолеÑĤаÑĢи аÑĤа +ĠпÑĢопаганд иÑģÑĤ +ĠпÑĢоÑĤивоÑĢеÑĩ ие +ĠÑĢаз говаÑĢивал +ĠÑĢазÑĢабаÑĤ Ñĭвал +ĠÑĢаÑģполаг алÑģÑı +ĠÑĢаÑģпоÑĢÑıж ениÑı +ĠÑĢаÑģÑģказ Ñĭвали +ĠÑĢаÑģÑģказ ÑĭваÑİÑĤ +ĠÑĢаÑģÑģмоÑĤÑĢ ении +ĠÑĢегионалÑĮ нÑĭÑħ +ĠÑĢекоменд овал +ĠÑĢелигиоз ного +ĠÑģклад ÑĭваеÑĤÑģÑı +ĠÑģовеÑĢÑĪен ÑģÑĤва +ĠÑģоÑģÑĤавлÑı ÑİÑīиÑħ +ĠÑģÑĤÑĢоиÑĤелÑĮ нÑĭÑħ +ĠÑģÑĥÑīеÑģÑĤв ÑĥÑİÑīие +ĠÑģÑĦоÑĢм иÑĢоваÑĤÑĮ +ĠÑĤÑĢадиÑĨион нÑĭе +ĠÑĤÑĢебованиÑı ми +ĠÑĥÑģÑĤойÑĩив оÑģÑĤÑĮ +ĠÑĩеловеÑĩеÑģ ком +ĠÑİÑĢид иÑĩеÑģкого +ÐŁÐµÑĤеÑĢбÑĥÑĢг Ñģкой +из обÑĢазиÑĤелÑĮн +ĠÐŁÑĢедÑģÑĤав иÑĤели +ĠСÑĤÑĢо иÑĤелÑĮÑģÑĤво +ĠаÑĢÑħе ологиÑĩеÑģк +Ġбиолог иÑĩеÑģкиÑħ +ĠвмеÑĪ аÑĤелÑĮÑģÑĤво +Ġвозмож ноÑģÑĤÑıми +ĠвоÑģпоминаниÑı м +ĠдÑĢевнегÑĢ еÑĩеÑģк +ĠединÑģÑĤвен ного +ĠзаинÑĤеÑĢеÑģ овал +ĠиÑģÑģледованиÑı Ñħ +ĠконÑģеÑĢв аÑĤоÑĢии +ĠкÑĢаÑĤков ÑĢеменн +ĠлиÑĤеÑĢ аÑĤÑĥÑĢовед +ĠмаÑĤемаÑĤ иÑĩеÑģки +ĠмаÑĤеÑĢи алÑĮного +ĠмеждÑĥнаÑĢод нÑĭе +ĠмеÑħаниз иÑĢован +ĠмлекопиÑĤ аÑİÑīиÑħ +ĠоÑĢганизаÑĤоÑĢ ов +ĠоÑģобенно ÑģÑĤÑıми +ĠпланиÑĢов алоÑģÑĮ +ĠповеÑģÑĤв ованиÑı +ĠподÑĤвеÑĢж дениÑı +Ġполож иÑĤелÑĮнÑĭе +ĠпоÑĩÑĥвÑģÑĤв оваÑĤÑĮ +ĠпÑĢевоÑģÑħод ÑģÑĤво +ĠпÑĢедÑĥÑģмоÑĤÑĢ ено +ĠпÑĢоизвод ÑģÑĤвом +ĠпÑĢоиÑģÑħ ождении +ĠпÑĢомÑĭÑĪлен ного +ĠпÑĢоÑĤив одейÑģÑĤв +ĠÑĢаз говаÑĢиваÑĤÑĮ +ĠÑĢаÑģполаг алиÑģÑĮ +ĠÑĢаÑģполаг аÑİÑĤÑģÑı +ĠÑĢаÑģ ÑĦоÑĢмиÑĢован +ĠÑĢеволÑİÑĨион ной +ĠÑĢодÑģÑĤвен никам +ĠÑģÑĤÑĢоиÑĤелÑĮ ÑģÑĤвÑĥ +ĠÑģÑĦоÑĢмÑĥли ÑĢован +ĠÑĤÑĢанÑģпоÑĢÑĤ ного +ĠÑĥдовлеÑĤвоÑĢ иÑĤÑĮ +ĠÑĥÑģÑĤанавлив аеÑĤ +ĠÑĥÑģÑĤановлен ном +ĠÑħозÑıй ÑģÑĤвенной +ĠÑĩÑĥвÑģÑĤв иÑĤелÑĮнÑĭ +ĠÑįконом иÑĩеÑģким +ĠÑįлекÑĤ ÑĢомагниÑĤ +ÐŁÐµÑĤеÑĢбÑĥÑĢг Ñģкого +маÑĤемаÑĤ иÑĩеÑģкиÑħ +ĠÐļонÑģÑĤанÑĤин овиÑĩ +ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢад Ñģкого +ĠвоÑģпÑĢиним аеÑĤÑģÑı +ĠдополниÑĤелÑĮ нÑĭй +Ġжизнеде ÑıÑĤелÑĮно +ĠиндивидÑĥ алÑĮнÑĭÑħ +ĠиÑģкÑĥÑģ ÑģÑĤвенного +ĠиÑģполÑĮзов алаÑģÑĮ +Ġквали ÑĦиÑĨиÑĢован +ĠнаÑĨионалÑĮ ноÑģÑĤи +ĠпÑĢедоÑģÑĤав лениÑı +ĠпÑĢедполаг аеÑĤÑģÑı +ĠпÑĢедÑĥпÑĢежд ение +ĠпÑĢивлек аÑĤелÑĮно +ĠпÑĢодоволÑĮ ÑģÑĤвиÑı +ĠпÑĢоекÑĤиÑĢов аниÑı +ĠÑĢабоÑĤ оÑģпоÑģобно +ĠÑĢазбиÑĢ аÑĤелÑĮÑģÑĤв +ĠÑĢеволÑİÑĨион ного +ĠÑģиÑģÑĤем аÑĤиÑĩеÑģки +ĠÑģпоÑģобÑģÑĤв овало +ĠÑĦизи ологиÑĩеÑģки +ĠÑĦинанÑģ иÑĢование +демонÑģÑĤÑĢи ÑĢоваÑĤÑĮ +ĠÐļонÑģÑĤанÑĤин ополÑĮ +ĠвзаимооÑĤно ÑĪений +ĠвÑĭÑģок опоÑģÑĤавлен +ĠгоÑģÑĥдаÑĢÑģÑĤвен наÑı +ĠдополниÑĤелÑĮ ного +ĠиндивидÑĥ алÑĮного +ĠмногоÑĩиÑģлен нÑĭми +ĠпÑĢодоволÑĮ ÑģÑĤвенн +ĠпÑĢоизвод ÑģÑĤвенно +ĠпÑĢоÑĤивопоÑģÑĤав ле +ĠпÑĢоÑĤивопоÑģÑĤав лÑı +ĠпÑģиÑħолог иÑĩеÑģкой +ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑī ее +ĠÑģооÑĤеÑĩ еÑģÑĤвенник +админиÑģÑĤÑĢаÑĤив нÑĭÑħ +бомбаÑĢдиÑĢов Ñīиков +дейÑģÑĤв иÑĤелÑĮноÑģÑĤÑĮ +инÑĤеллекÑĤÑĥ алÑĮной +коммÑĥниÑģÑĤ иÑĩеÑģкой +обÑīе обÑĢазоваÑĤелÑĮ +пÑĢедпÑĢиним аÑĤелей +ÑĢодолж иÑĤелÑĮноÑģÑĤÑĮ +ÑĩÑĥвÑģÑĤв иÑĤелÑĮноÑģÑĤÑĮ +ÐIJ Ш +ÐIJ з +Ðij Ðķ +Ðij Ðĺ +Ðij ÐĽ +Ðij л +ÐĴ У +Ðĵ Ðļ +Ðĺ ÐŁ +ÐĽ У +ÐĽ Ю +ÐĿ ÐĶ +Ðŀ Ðķ +ÐŁ Ðĵ +ÐŁ ÐĶ +ÐŁ Ц +Ðł ÐŁ +Ðł Т +С б +У Ðļ +У С +Ф Ðŀ +Ф С +Ф а +Ð¥ Ðŀ +Ц ÐIJ +Ч ÐIJ +Ч Ðĺ +ÐŃ Ðļ +ÐŃ Ð½ +ÐŃ ÑĢ +Ю г +б к +в н +в ÑĮ +ж м +з к +к г +к н +л д +л ÑĤ +л Ñį +ÑĪ л +ÑĮ к +Ñį г +Ñı б +b un +ph o +p ul +r av +t ak +t iv +t un +v oc +Ġ( « +ĠÐIJ ÑĪ +ĠÐij ÐĶ +ĠÐķ ж +ĠÐķ ÑĦ +ĠÐĺ б +ĠÐĺ г +ĠÐĻ е +ĠÐĽ Ñij +ĠÐŀ з +ĠÐŁ л +ĠÐł Ñį +ĠС ÐĶ +ĠС Ñħ +ĠС Ñİ +ĠУ Ðķ +ĠЦ Ðij +ĠШ м +Ġд з +Ġм Ñį +ĠÑħ ÑĢ +ĠÑį л +ĠÑİ Ð¼ +ÐIJ ви +Ðij еÑģ +ÐĴ Ñģп +Ðĵ ÐłÐIJ +Ðĵ ал +Ðĵ аÑĢ +ÐĶ ев +Ðĺ ÐļÐIJ +Ðļ ал +Ðļ ан +Ðļ аÑĤ +Ðļ Ñĥб +ÐĽ ÐĺÐĿ +ÐĽ ег +ÐĽ ен +Ðľ ÐķÐł +Ðľ аÑģ +Ðľ ем +Ðľ еÑĤ +Ðľ оÑģ +ÐĿÐŀ ÐĻ +ÐŀÐĴ ÐIJ +Ðŀ ÐłÐŀ +Ðŀ гÑĢ +Ðŀ ке +Ðŀ ни +Ðŀ ÑĤе +ÐŁ ÐĽÐIJ +ÐłÐķ ÐĶ +С ал +С ол +Т ол +Т ÑĢе +Ð¥ аÑĢ +Ц ÐĺЯ +аг о +ай ÑĦ +ак л +аÑħ ÑĤ +аÑĩ к +аÑĪ н +а Ñįл +б иÑī +б лÑĮ +б ÑĥÑĪ +в ож +в ÑĪи +вÑĭ ÑĢ +в ÑıÑĤ +г аÑĪ +г Ñĥд +д еб +д ек +д иÑĦ +д нÑı +дÑĢ Ñİ +д ÑĨе +дÑĭ ÑĢ +д ÑĮÑı +еж а +ез о +ез Ñĥ +ей Ñģ +ей Ñħ +ек л +е од +еп и +еп Ñĭ +еÑĪ н +еÑĪ ÑĤ +ж иг +ж оÑĢ +за ÑĨ +з дÑĢ +з ев +з ид +з иÑģ +з иÑİ +з ÑijÑĢ +и ад +ив Ñĭ +ид ÑĤ +иÑĤ о +иÑĤ Ñı +иÑĨ о +иÑı м +й ди +ли ÑĦ +ли Ñī +лÑİ Ð² +лÑı м +лÑı Ñģ +лÑij г +л Ñijз +ме и +м оз +м ом +м Ñĭв +н аб +н ге +н дÑĭ +нÑĭ ÑĢ +н Ñijв +н ÑijÑĤ +ож ж +оз е +оз к +оÑĢ Ñģ +оÑı л +оÑı н +п аÑĩ +п ли +пп и +п Ñģи +ÑĢ ве +ÑĢе ÑĦ +ÑĢ жи +ÑĢ мо +ÑĢ ол +ÑĢÑİ Ðº +ÑĢ Ñijв +ÑģÑĭ н +ÑĤ ап +ÑĤÑĭ м +Ñĥ аÑĢ +Ñĥд е +ÑĥÑģ и +Ñĥ Ñįй +ÑĦ аз +ÑĦ аÑģ +ÑĦ еÑı +ÑĦ ÑĥÑĤ +ÑĦÑĦ а +ÑĦÑĦ и +ÑĨ зÑĭ +ÑĨи г +ÑĨи о +ÑĨ ÑĨо +Ñĩ жÑĥ +Ñĩ Ñĥд +Ñĩ ÑĮи +Ñĩ ÑĮÑı +Ñĩ Ñijл +ÑĪ аг +ÑĪ ад +ÑĪ ай +ÑĪ ам +ÑĪ но +ÑĪ нÑı +ÑĪ ÑĥÑĢ +Ñĭ ка +ÑĭÑģ ÑĪ +Ñĭ ÑĤÑĥ +ÑĮ ен +ÑĮÑı ÑĢ +Ñį ма +Ñįн Ñģ +Ñıж н +Ñı ма +ÑıÑī н +Ñı ÑİÑī +Ġ(! ) +ĠG la +ĠLe a +ĠPh o +ĠTh a +ĠWh i +e igh +h ara +l ank +n ate +pp le +r act +r ill +sl av +t ine +tr ix +tr us +ĠÐIJ ÐŃС +ĠÐIJб Ñħ +ĠÐij ил +ĠÐij ÑĢо +ĠÐij Ñĥг +ĠÐij Ñĭв +ĠÐĴ аг +ĠÐĴ аÑĤ +ĠÐĴ еÑĤ +ĠÐĴ из +ĠÐĴ Ñĥд +ĠÐĵ ег +ĠÐĵÑĢ Ñį +ĠÐĵ Ñĥл +ĠÐĵ Ñĥн +ĠÐĶ ÐĿÐł +ĠÐĶ ам +ĠÐĶ вÑĥ +ĠÐĶ иÑĢ +ĠÐĹ Ð°Ð¼ +ĠÐĹ ÐµÐ» +ĠÐĹ Ð¸Ð½ +ĠÐĹ Ð¾Ð½ +ĠÐĺ Ñģк +ĠÐļ ил +ĠÐļ Ñĥм +ĠÐļ ÑĥÑģ +ĠÐļ ÑĥÑĩ +ĠÐĽ ак +ĠÐĽ ем +ĠÐĽ ик +ĠÐĽ од +ĠÐĽ оз +ĠÐĽ оÑĤ +ĠÐĽ Ñĥж +ĠÐĽ ÑĭÑģ +ĠÐĽ ÑĮÑİ +ĠÐľ оÑī +ĠÐľ ÑģÑĤ +ĠÐľ Ñįн +ĠÐĿ иг +ĠÐĿ ÑĥÑĢ +ĠÐŀ кÑģ +ĠÐŁÐŀ ÐĶ +ĠÐŁ он +ĠÐŁÑĢ Ñı +ĠÐł аÑĤ +ĠÐł аÑħ +ĠÐł еб +ĠÐł ик +ĠÐł иÑĤ +ĠÐł ож +ĠÐł он +ĠÐł Ñįй +ĠÐł Ñıб +ĠÐ¡ÐŁ Ðij +ĠС во +ĠС ед +ĠС Ñĥб +ĠТ аб +ĠТ Ñĥн +ĠТ ÑİÑĢ +ĠТ Ñıж +ĠУ гл +ĠФ ÐijÐł +ĠФ аб +ĠФ иг +ĠФ иÑĪ +ĠÐ¥ ак +ĠÐ¥ аÑĤ +ĠЦ ÐĺÐļ +ĠЦ иÑĤ +ĠЧ ик +ĠШ аб +ĠШ ал +ĠШ ап +ĠШ ей +ĠШ ен +ĠШ ÑĢи +ĠÐŃн н +ĠЮ ÐIJÐł +ĠЮ нг +ĠЯ лÑĤ +Ġак к +Ġал г +Ġал Ñħ +Ġа ÑĤе +Ġб од +Ġб он +Ġв Ñĥз +Ġг ли +Ġж дÑĥ +Ġж ем +Ġж Ñĥк +Ġк ив +Ġк ÑįÑĪ +Ġл оп +Ġл ÑİÑĤ +Ġм ад +Ġм еÑī +Ġна ÑĨ +Ġоб и +Ġоб ÑĢ +ĠоÑĤ м +ĠоÑĤ ÑĬ +ĠоÑĤ Ñĭ +Ġп аз +Ġп ÑĥÑģ +Ġп ÑĥÑħ +ĠÑĢ ва +ĠÑĢ ог +ĠÑĢ ÑĥÑħ +ĠÑģ да +ĠÑģп е +ĠÑģ ÑİÑĢ +ĠÑĤ аз +ĠÑĤ иÑħ +ĠÑĤ Ñĥн +ĠÑĦ ав +ĠÑħ ак +ĠÑħ иж +ĠÑĨ ем +ĠÑĩ ÑijÑĤ +ĠÑĪ еп +ĠÑĪ пи +ĠÑĪ ÑĤÑĥ +ĠÑī ел +ĠÑİ Ð±Ðº +ĠÑıн в +ÐIJÐĿÐĺ Ðķ +ÐIJви а +Ðijл Ñįк +Ðij олÑĮ +ÐĴ ели +ÐĶ ÑĢÑĥз +Ðķв ÑĢо +Ðļ али +Ðļ лÑİÑĩ +Ðļ ÑĢиÑĤ +Ðľ лад +Ðľ ÑĥзÑĭ +ÐĿе ÑĦÑĤ +ÐĿ оÑĩÑĮ +ÐŁ еÑģн +ÐŁ оÑĢÑĤ +ÐŁÑĢ ог +ÐŁ ÑģиÑħ +ÐłÐµ ал +С вÑıÑī +Т воÑĢ +Ф ÑĢан +Ð¥ ÑĢон +ÐŃк Ñģп +ав ÑĪи +аг ин +ад ап +ажд Ñĥ +аз ин +ай на +ай он +али в +ал он +ам ик +анд и +ан Ñģи +ан ÑĨÑĭ +ап ÑĥÑĢ +аÑĢ ме +аÑĢ он +аÑī ен +аÑī ий +б алÑĮ +б ека +б илÑĮ +би оÑĤ +б иÑīа +б лик +бл Ñĥд +боÑĢ н +б ÑĢиÑĤ +бÑĢ ÑİÑĪ +бÑĥд д +б Ñĥжд +бÑĥ лÑĮ +б Ñĥма +ваг Ñĥ +в ази +ван ÑĮ +ва ÑİÑĤ +виÑģ а +в кÑĥÑģ +вн ÑĥÑĪ +вож Ñĥ +воÑĢ к +воÑĢ Ñı +г ава +га Ñĥз +год Ñı +гÑĢ еÑĤ +гÑĢ оз +г ÑĢÑĥд +д аже +ден Ñģ +д ней +доÑĢ ÑĦ +ев аÑĢ +ев ÑĢо +ег еÑĤ +ез ии +елÑĮ Ñģ +елÑĮ Ñı +ем еÑĢ +ем иÑĤ +ен ап +ен зи +ени ÑĨ +енÑĮ к +еÑĢ ан +еÑĢ ик +еÑģ ил +еÑĤ ин +еÑĨ ед +еÑĩ нÑĭ +ж еÑģÑĤ +жим а +ж нее +ж ник +ж ной +зв Ñĥк +з еÑĢн +иг ÑĢÑĭ +и дал +ик еÑĢ +или е +илÑı Ñħ +им ин +инг л +иÑĩ ев +иÑĩ ки +иÑĪ ка +к анд +каÑĢ м +ка Ñģа +ка ÑģÑģ +кин Ñģ +кл еп +кон г +коÑĢ Ñĭ +кÑĢ ин +кÑĥ ÑĤа +л ана +л аÑģÑģ +л бан +лей н +лем о +л ени +леÑĩ е +ли ге +лиÑĤ Ñĭ +лоÑĤ и +л ÑĤон +л Ñĥга +лÑĮ нÑı +лÑı не +лÑı ÑĨи +маз о +м аÑĤÑĮ +м ело +ми ла +мÑĥ но +мÑĥ ÑĤи +над о +на ив +на ÑĢд +н еÑĪÑĮ +ни же +ниÑĨ к +н озн +нÑĥ ло +ов еÑģ +ог ÑĢе +од ÑĭÑĪ +ожд и +ок Ñģи +ол ам +ол ил +ол ни +ол оÑģ +ом ни +он аÑĤ +он ез +он иÑĨ +он ÑĤа +он Ñĥл +оÑĤ ой +пед и +п лей +п лен +по ÑĪл +по ÑįÑĤ +п ÑĮÑıн +ÑĢа ам +ÑĢаз и +ÑĢан г +ÑĢе аг +ÑĢе ак +ÑĢед ÑĮ +ÑĢ ени +ÑĢ еÑĩи +ÑĢи дж +ÑĢиз м +ÑĢи Ñħа +ÑĢод и +ÑĢ оÑĢа +ÑĢÑĥк ÑĤ +ÑĢÑı жа +Ñģв ое +Ñģ еÑĩÑĮ +Ñģид и +Ñģл ой +ÑģÑĤ ад +Ñģ Ñħод +ÑģÑĭ Ñħа +ÑĤ ала +ÑĤан ÑĨ +ÑĤ кин +ÑĤ окÑģ +ÑĤ оÑĢм +ÑĤ ÑĢеб +ÑĤ ÑĢеÑĤ +ÑĤÑĢ еÑħ +ÑĤÑĢ ой +ÑĤ ÑĢÑĥб +ÑĤÑĮ ев +Ñĥд ен +Ñĥл ла +Ñĥн да +ÑĥÑĤ ан +ÑĥÑĤ ом +ÑĥÑĩ ив +ÑĥÑĪ нÑĭ +ÑĦ анÑĤ +ÑĦиз и +ÑĦ илÑĮ +ÑĦи оп +ÑĦон и +ÑĦ ÑĢен +ÑĦ ÑĢов +Ñħ ÑĢип +ÑħÑĥд ÑĪ +ÑĨ еле +ÑĨ ело +ÑĨ елÑı +ÑĨз Ñıн +ÑĨ каÑı +ÑĨ кие +ÑĨ ман +Ñĩа Ñīе +Ñĩен н +Ñĩ еÑĢÑĤ +ÑĪ вÑĭÑĢ +ÑĪ ник +ÑĪ ним +Ñī иÑĤе +Ñī иÑĨа +ÑĬ езж +Ñĭ дов +ÑĭÑĪ ен +ÑĮм ем +Ñıн ка +ÑıÑĤÑĭ м +Ñij ÑĢом +ÑijÑĢÑĤ в +ĠM aha +ĠVis i +c ious +g ging +l umin +phys i +r ator +t oria +trib u +t roph +ue ens +ĠÐIJлÑĮ п +ĠÐIJ лÑĮÑĤ +ĠÐIJн не +ĠÐIJн ÑĢи +ĠÐIJÑĦ ан +ĠÐijаг ÑĢ +ĠÐijал ÑĤ +ĠÐijаÑĢ б +ĠÐijеÑĢ д +ĠÐij онд +ĠÐij оÑģÑĤ +ĠÐij ÑĢай +ĠÐij ÑĢиÑĤ +ĠÐijÑĥд д +ĠÐijÑĥд ÑĮ +ĠÐij ÑİÑĢо +ĠÐĴаÑĪ а +ĠÐĴ еÑĢн +ĠÐĴ лаÑģ +ĠÐĴ ода +ĠÐĴ ÑĢÑıд +ĠÐĴÑĭ Ñģо +ĠÐĵ айд +ĠÐĵ алÑĮ +ĠÐĵ анÑģ +ĠÐĵ елÑĮ +ĠÐĵеÑĢ б +ĠÐĵ еÑģÑģ +ĠÐĵ лÑĥб +ĠÐĵ оли +ĠÐĵ онÑĩ +ĠÐĵоÑĢ д +ĠÐĵ ÑĢен +ĠÐĶ вин +ĠÐĶ ион +ĠÐĶ оÑĩÑĮ +ĠÐĶ ÑĥÑħа +ĠÐĸ озе +ĠÐĸ оÑĢж +ĠÐĹв он +ĠÐĺ Ñĥде +ĠÐļа иÑĢ +ĠÐļаÑĢ п +ĠÐļи ÑĢи +ĠÐļ лав +ĠÐļл од +ĠÐļ лÑİÑĩ +ĠÐļ олÑı +ĠÐļ ÑĢеп +ĠÐļ ÑĥлÑĮ +ĠÐļÑĥÑĢ ÑĤ +ĠÐĽ или +ĠÐĽ иÑĨо +ĠÐĽ онг +ĠÐĽÑĥ иÑģ +ĠÐĽÑĥ ки +ĠÐĽ Ñĥне +ĠÐľ авÑĢ +ĠÐľÐ°ÑĢ ÑĪ +ĠÐľ аÑģк +ĠÐľÐ°Ñħ а +ĠÐľÐ¾Ð³ Ñĥ +ĠÐľÐ¾ÑĢ д +ĠÐľ оÑģÑĤ +ĠÐĿ али +ĠÐĿаÑĪ е +ĠÐĿ еÑģÑĤ +ĠÐĿ ики +ĠÐŀп аÑģ +ĠÐŁÐ°Ñģ Ñħ +ĠÐŁ аÑĤÑĢ +ĠÐŁ иÑģÑĮ +ĠÐŁ лÑİÑģ +ĠÐŁÑĢи з +ĠÐŁÑĥ ÑĤи +ĠÐŁ ÑıÑĤÑĮ +ĠÐł ека +ĠС акÑģ +ĠС воÑİ +ĠСв ÑıÑī +ĠС ели +ĠС ила +ĠС иÑĤÑĥ +ĠС кал +ĠС поÑĢ +ĠС ÑĢок +ĠСÑĤ ам +ĠС Ñİда +ĠТ авÑĢ +ĠТа ил +ĠТ епл +ĠТ они +ĠУÐķ ФÐIJ +ĠУ дал +ĠУ даÑĢ +ĠУ ÑĢов +ĠУÑĩ еб +ĠФ акÑĤ +ĠФ ели +ĠФ еÑĢн +ĠФеÑĢ ÑĢ +ĠФ лаг +ĠХаб ÑĢ +ĠÐ¥ аÑĢÑĤ +ĠÐ¥ леб +ĠÐ¥ олл +ĠÐ¥ оÑģе +ĠШ вед +ĠШ оло +ĠÐŃ ÐºÐ¸Ð¿ +ĠÐŃ Ð»Ð¸Ð· +Ġа мин +Ġа пел +ĠаÑĢ ÑĤе +ĠаÑĢÑħ а +Ġбег е +Ġбед Ñĭ +ĠбеÑĢ Ñĥ +Ġбл аж +Ġб ÑĢил +Ġб ÑĮÑİÑĤ +ĠбÑİ ÑģÑĤ +Ġва лÑı +ĠваÑĢ е +Ġвн ÑĥÑĩ +Ġв Ñĥза +ĠвÑĭ ÑĢв +Ġг ени +Ġг омо +ĠгÑĢ им +ĠдаÑĩ е +Ġд еда +Ġдеп о +Ġд еÑģп +Ġд иÑĤÑı +ĠдоÑģ ÑĢ +Ġд ÑĢай +ĠдÑĭ ма +ĠдÑıд и +Ġед ÑıÑĤ +Ġе жен +Ġжел ÑĤ +ĠжÑĥÑĤ к +Ġзим а +Ġз лов +Ġзл ой +Ġз меи +Ġз мей +Ġз меÑı +Ġзо оп +Ġи езÑĥ +Ġиз гн +Ġин до +ĠиÑģ кÑĥ +ĠкаÑĩ а +Ġк ида +Ġк лÑİв +Ġкоз л +Ġкол и +ĠкÑĥп и +Ġк ÑĥÑĩа +Ġлей б +Ġлин з +Ġл оже +ĠлÑĮ дÑĥ +Ġмам е +Ġмам Ñĭ +Ġм анг +Ġм анд +Ġм езо +ĠмеÑĩ ÑĤ +Ġм ило +Ġм ним +Ġмод Ñĭ +Ġм оÑĩи +Ġм Ñĥнд +ĠмÑĭ Ñģа +ĠмÑį ÑĢа +Ġне об +Ġниз ÑĪ +Ġн иÑĤи +ĠнÑĥ лÑİ +Ġо лен +Ġо лиÑĨ +Ġоп ла +ĠоÑģ оз +Ġо ÑģÑĤÑĢ +Ġп ани +Ġп еÑĩÑĮ +Ġп или +Ġпл ÑĥÑĤ +Ġп лÑıÑģ +Ġп нев +Ġп ÑĥлÑı +ĠÑĢаÑģ п +ĠÑĢаÑģ ÑĨ +ĠÑĢ иÑĦм +ĠÑĢ оÑıл +ĠÑĢÑĭ да +ĠÑģ енÑĮ +ĠÑģ жаÑĤ +ĠÑģк ло +ĠÑģл Ñİн +ĠÑģ озв +ĠÑģо оÑĤ +ĠÑģо ÑĦÑĤ +ĠÑģп он +ĠÑģÑĤ ÑĢÑĥ +ĠÑĤай г +ĠÑĤеÑĢ Ñı +ĠÑĤол п +ĠÑĤÑĢ ей +ĠÑĤ ÑĢем +ĠÑĤÑĢ ин +ĠÑĤÑĢ Ñİк +ĠÑĤÑĭ ла +ĠÑĤ ÑıнÑĥ +ĠÑĥг ле +ĠÑĥз лÑĭ +ĠÑĥ коÑĢ +ĠÑĥ кÑĥÑģ +ĠÑĥ ÑĢаг +ĠÑĥÑģ ил +ĠÑĥÑĤ еÑĪ +ĠÑĥÑĤ ол +ĠÑĥ ÑĪло +ĠÑĦаз а +ĠÑĦа Ñĥн +ĠÑĦе од +ĠÑĦиг Ñĥ +ĠÑħ оÑģÑĤ +ĠÑħ Ñĥли +ĠÑįк ÑģÑĤ +ĠÑį лег +ĠÑį миÑĢ +ĠÑįн до +ĠÑįп оÑģ +ĠÑı ÑĢÑĥÑģ +ÐIJ лекÑģ +Ðij ÑĢаÑĤÑĮ +ÐĴол га +Ðĵ идÑĢо +Ðĵ оÑĢод +ÐĵоÑĢ ÑĮк +ÐĶе ÑģÑıÑĤ +Ðĸ изнÑĮ +ÐĹ Ð°ÐºÐ¾Ð½ +ÐĽ оком +Ðľ аÑĪин +Ðľ еждÑĥ +ÐĿ овÑĭй +Ðŀке ан +Сб еÑĢб +С окол +Тол ÑģÑĤ +Фа ÑĥÑģÑĤ +ав лов +аем ÑģÑı +алÑĮ нÑĭ +анд ÑĢа +андÑĢ о +ан ной +анÑĤи и +анÑĤ ин +ап аÑĢÑĤ +ап еÑĪÑĤ +аÑĢ дин +аÑĢи аÑĤ +аÑĢ ной +аÑģ кеÑĤ +биÑĤ Ñĭй +биÑĤ ÑĭÑħ +б ÑĢиÑģÑĤ +важ ин +ваÑĢ ки +ваÑĤ Ñĭе +ваÑĤ Ñĭм +вели Ñĩ +веÑĢ ди +веÑĢ Ñģи +веÑģÑĤ н +в иÑĢÑĥÑģ +вол оÑģ +воÑĢ ож +вÑģ его +вÑıз ка +вÑıÑĤ ой +гад ал +гла ÑĪа +гол Ñĥб +гон Ñıл +гÑĢа ÑĨи +гÑĢ ома +г ÑĢÑĥÑģÑĤ +дав но +дад им +дал ÑģÑı +дел ал +д енÑĤа +дик ÑĨи +дÑĥ Ñħов +дÑĥÑĪ но +ев Ñĭми +ед аÑĤÑĮ +ей ÑĪиÑħ +ел леÑĢ +енÑĮ ев +ен ÑıÑĤÑĮ +еп ÑĤоÑĢ +еÑĢ ами +еÑĢ Ñģон +еÑĢÑĪ ен +еÑģ лав +еÑģÑĤ ÑĢе +еÑģ ÑĩÑĥÑĢ +еÑĤ ели +еÑħ ала +еÑĨ каÑı +еÑĩ нÑĭÑħ +жаÑĢ ен +ж еÑĢÑĤв +жиг ал +жиз не +жм иÑĤе +ж Ñģкий +за имо +заÑĢ Ñıд +з биÑĢа +з олоÑĤ +ив ное +из айн +из ÑıÑīн +ил оÑĤн +ими ÑĢи +инг еÑĢ +иÑĢ инÑĤ +иÑģ кÑĥÑģ +иÑģ пол +иÑģÑĤ ок +иÑģÑĤ ÑĥÑİ +иÑĤоÑĢ и +кад ий +как ие +калÑĮ н +кан ÑĤÑĭ +каÑģ Ñģк +каÑĤ ил +ка Ñĩал +ки вал +ки нÑĥв +кон еÑĩ +кÑĢо еÑĤ +кÑĢ оме +кÑĥ лез +лаÑĤ ÑĥÑĢ +лез ÑĤÑĮ +лек ÑģÑĭ +леÑĢ од +ли анÑĤ +лив ал +лив ÑĭÑħ +лина ÑĢ +лог иÑı +лÑĮ ман +лÑİб ив +маз ан +м воÑĢк +ме ива +мен ее +мени в +менÑı Ñı +меÑĤ им +м еÑĤод +меÑī Ñijн +мож еÑĤ +мож но +мон ав +моÑĢ оз +мÑıн Ñģк +нав иг +ней ÑĤÑĢ +н еÑģÑĤÑĢ +неÑĤ ен +ни лов +ним аÑİ +ниÑĤ ив +нов од +нов Ñĭй +нов Ñĭм +нож ко +нÑĥк ле +нÑĭ ÑĪев +нÑı ков +об вин +об мен +об ÑĢаÑī +об ÑĥÑĩа +ов ÑĤоÑĢ +ог лиÑĦ +ожд Ñijн +озв ÑĥÑĩ +озд ан +око ен +ок олÑĮ +ок онÑĩ +ол еÑĤа +ол иÑĤа +олÑĮз Ñĥ +олÑİ Ð±Ð¸ +он авÑĤ +оп лен +оп ÑĢим +оп ÑĤик +оÑĢв ав +оÑĦ иÑĨи +оÑĩ иÑĤÑĮ +пал Ñĥб +пеÑĢ во +пиÑģ ка +пиÑĪ ем +плÑĭ ÑĤÑĮ +пог од +по езд +пол оÑģ +пом нÑİ +пÑĢе од +пÑĥÑĤ еÑĪ +ÑĢав ан +ÑĢаг им +ÑĢади о +ÑĢаж аÑı +ÑĢак ан +ÑĢак ÑĨи +ÑĢани Ñĩ +ÑĢа ÑĨиÑİ +ÑĢа Ñĩен +ÑĢед ил +ÑĢез ин +ÑĢем ов +ÑĢи Ñĩал +ÑĢой ки +ÑĢ оÑģÑĤÑĮ +ÑĢ ÑģкиÑħ +Ñģем ей +Ñģки ва +Ñģк ÑĢеб +Ñģ мена +Ñģ мÑĭÑģл +Ñģ оном +ÑģÑĤав а +ÑģÑĤав ÑĮ +ÑģÑĤан ÑĤ +ÑģÑĤан ÑĮ +ÑģÑĤа ÑijÑĤ +ÑģÑĤ наÑı +ÑģÑĤ олÑĮ +ÑģÑĥн Ñĥл +ÑĤе аÑĤÑĢ +ÑĤи ков +ÑĤин га +ÑĤ кнÑĥл +ÑĤоÑĢ га +ÑĤоÑĩ но +ÑĤÑĢом б +ÑĤÑıж ки +ÑĤÑıн Ñĥв +Ñĥбий ÑĨ +Ñĥд лив +ÑĥÑĤоÑĩ н +ÑĥÑĤ ÑĢен +ÑĦ анÑĤа +ÑĦоÑĢ ни +ÑĦÑĢ онÑĤ +ÑĦ ÑĢÑĥкÑĤ +Ñħл еÑģÑĤ +Ñħ ÑĢиÑģÑĤ +ÑĩаÑĤ аÑı +ÑĩеÑģ ко +ÑĩиÑĤ ав +ÑĩиÑĤ ан +Ñĩ ками +ÑĩÑĤ обÑĭ +ÑĪее ÑģÑı +ÑĮм иÑĤе +Ñı лиÑģÑĮ +Ñı нина +Ñijн наÑı +dr iven +sh aped +ĠÐIJÑħ мед +ĠÐijеÑĢ иÑı +ĠÐijож ий +ĠÐij ÑĢанд +ĠÐijÑĢÑİ ÑģÑģ +ĠÐijÑĭ ков +ĠÐĴеÑģ ел +ĠÐĴид ео +ĠÐĴ ÑĢоде +ĠÐĴÑĭÑģ ок +ĠÐĵлаз а +ĠÐĶав ай +ĠÐĶани л +ĠÐĶан ÑĤе +ĠÐĶж ейн +ĠÐĶже ÑĦÑĦ +ĠÐĶз еÑĢж +ĠÐĶÑį виÑģ +ĠÐĸив оÑĤ +ĠÐĹим ой +ĠÐĺг наÑĤ +ĠÐĺгÑĢ ок +ĠÐĺнд иÑİ +ĠÐĺнд иÑı +ĠÐĺÑĢак а +ĠÐĺ Ñģлам +ĠÐĺÑģ Ñħод +ĠÐļ аÑĢам +ĠÐļаÑĢ ел +ĠÐļаÑĢ ÑĤа +ĠÐļл аÑĢк +ĠÐļол он +ĠÐļон еÑĨ +ĠÐļоÑĢ ан +ĠÐĽÐ°Ð´ но +ĠÐĽÐµÐ³ ко +ĠÐĽ идеÑĢ +ĠÐĽ иÑĤеÑĢ +ĠÐĽÑĮÑİ Ð¸Ñģ +ĠÐľÐ°ÑĢ ко +ĠÐľÐ°ÑĢ Ñģа +ĠÐľÐ¸Ðº ÑĢо +ĠÐľ иÑĢов +ĠÐľÑĥÑĢ ом +ĠÐĿеб еÑģ +ĠÐĿем ÑĨÑĭ +ĠÐĿиг еÑĢ +ĠÐĿик он +ĠÐĿ овоÑĢ +ĠÐŀб Ñīее +ĠÐŀб Ñīий +ĠÐŀ жида +ĠÐŀлег а +ĠÐŀ ÑģÑĤÑĢо +ĠÐŁÐµÐº ин +ĠÐŁÐµÑĤ ÑĢÑĥ +ĠÐŁÐ¾Ð¶ аÑĢ +ĠÐŁÐ¾Ð¼ пе +ĠÐŁ опÑĭÑĤ +ĠÐŁÑĢ оÑģÑĤ +ĠÐłÐµ ÑĪил +ĠСад ов +ĠСаÑħ аÑĢ +ĠСв ÑıÑĤо +ĠСем ÑĮÑı +ĠСлав а +ĠСл ÑĥÑĪа +ĠС мÑĭÑģл +ĠСоÑĦ ии +ĠСп оÑĢÑĤ +ĠСÑĤ ало +ĠС ÑĤиÑħи +ĠСÑħ ема +ĠСÑİ Ð¶ÐµÑĤ +ĠТак иÑħ +ĠТ били +ĠТим ÑĥÑĢ +ĠТÑĥн иÑģ +ĠТÑıж ел +ĠУÑģп еÑħ +ĠФиÑĪ еÑĢ +ĠФон да +ĠÐ¥ мелÑĮ +ĠÐ¥ олод +ĠЧаÑĢ ли +ĠЧеÑĢ еп +ĠЧ еÑĩен +ĠЧлен Ñĭ +ĠШм идÑĤ +ĠÐŃми ли +ĠÐŃн дÑĢÑİ +ĠÐŃÑĢн ÑģÑĤ +ĠÐŃÑĤ омÑĥ +ĠЮж наÑı +ĠЮж ном +ĠЮж нÑĭй +ĠЮÑĢÑĮ ев +Ġаб заÑĨ +Ġаз аÑĢÑĤ +Ġан кеÑĤ +Ġа ÑĢеал +ĠаÑĢ ене +ĠаÑĢÑħ им +ĠаÑĤак е +Ġбаз аÑĢ +Ġбаз ой +Ġбан кÑĥ +Ġбед ÑĢа +Ġбезд н +Ġбел ки +Ġб елÑĮе +ĠбиÑĢ же +Ġблок и +Ġбой ÑĨа +Ġбой ÑĨÑĭ +Ġбок ал +Ġбон ÑĥÑģ +ĠбÑĥк ва +Ġвен Ñĩа +ĠвеÑĤ вÑĮ +ĠвеÑĤ ки +Ġвид ам +Ġвид на +Ġвожд ÑĮ +Ġвок ал +ĠвоÑģ ем +ĠвÑĢаг Ñĥ +ĠвÑĢаÑĩ Ñĥ +ĠвÑĢÑĥ Ñĩа +ĠвÑĥз ов +ĠвÑĭ лез +ĠвÑĭп ил +ĠвÑĭ ÑĢаÑī +ĠвÑĭ ÑĢез +Ġген ом +Ġгон ка +ĠгоÑĢ иÑĤ +Ġг оÑģÑĤÑĮ +ĠгоÑģÑĤ Ñı +ĠгÑĢав и +ĠгÑĢеÑħ и +ĠгÑĢÑĥз а +ĠгÑĢÑĥз о +Ġдв инÑĥ +ĠдеÑĢ зк +Ġдом ин +ĠдÑĢ еÑģÑģ +Ġд Ñĥбли +Ġжад но +Ġж аждÑĥ +Ġждал а +Ġжела Ñİ +Ġжил ой +Ġж иÑĢов +Ġзаб ив +Ġзад ал +Ġз айÑĤи +Ġзам ке +Ġза ÑĪел +Ġзв ена +ĠзвÑĥ ко +Ġзд еÑĪн +Ġзло Ñĥм +Ġзло Ñĥп +Ġзн авÑĪ +Ġзнам Ñı +Ġзн аÑĤи +Ġиг ÑĢÑĥÑĪ +Ġиз гиб +Ġим идж +ĠиÑģ ÑĩеÑĢ +ĠиÑĥд ей +Ġкад ÑĢа +Ġкан аÑĤ +ĠкаÑĢ еÑĤ +Ġк аÑĤоÑĢ +ĠкиÑĪ ки +Ġкол ÑijÑģ +Ġкон ÑĥÑģ +Ġкон ÑĨÑĭ +Ġкоп ий +Ġкоп иÑİ +Ġкоп иÑı +Ġкоп ÑĭÑĤ +Ġко ÑĪек +ĠкÑĢи ки +ĠкÑĢÑĥг и +ĠкÑĢÑĭ ÑĪа +ĠкÑĥк ол +ĠкÑĥп ÑĨа +Ġк ÑĥÑģка +ĠкÑĥÑħ ни +ĠкÑĥÑħ нÑİ +Ġлак ом +Ġлам пÑĭ +ĠлаÑĤ ÑĭÑĪ +Ġл ебед +Ġл енÑĤа +Ġлод ке +Ġлож кÑĥ +Ġл Ñĥков +Ġмаг ии +Ġмад ам +Ġмал Ñĭе +Ġмал Ñĭй +ĠмаÑĢ ка +ĠмаÑĤ ки +ĠмеÑĪ ок +ĠмеÑī ан +Ġм илÑıÑħ +Ġмо ими +ĠмоÑĢ ей +ĠмоÑģÑĤ Ñĥ +ĠмÑĥ ÑĢав +Ġм ÑijÑĢÑĤв +Ġназ ем +Ġнеб ом +Ġнед оп +Ġнед Ñĥг +Ġнек ÑĥÑİ +Ġн елов +ĠнеÑĢ ав +ĠнеÑĢ вÑĭ +ĠнÑĭн Ñĩе +Ġобой д +Ġоб ÑĢад +ĠобÑĥв и +ĠобÑĥв ÑĮ +ĠобÑī еж +Ġов ÑĢаг +Ġог нÑijм +Ġок лад +Ġок ном +ĠопоÑĢ Ñĭ +ĠопÑĭ ÑĤÑĥ +ĠоÑĢ биÑĤ +ĠоÑģ енÑĮ +ĠоÑģ ман +ĠоÑĤ вод +ĠоÑĤ ÑĭÑģк +ĠоÑĦиÑģ е +ĠоÑħоÑĤ а +ĠоÑħоÑĤ Ñĥ +Ġпад ал +Ġпал аÑĩ +ĠпаÑĢ ом +Ġпа ÑĦоÑģ +Ġпев еÑĨ +Ġп ение +ĠпеÑĢ ÑĮÑı +ĠпеÑģ не +ĠпеÑĤ ли +ĠпиÑĤ ом +Ġпл ода +ĠплоÑĤ ÑĮ +Ġпог аÑģ +Ġпод ле +Ġпой дÑĥ +Ġпоп ÑĥÑĤ +ĠпоÑĩ ек +ĠпоÑĩ ÑĤе +ĠпоÑį ма +ĠпоÑį ÑĤÑĭ +ĠпÑĢоб Ñĥ +ĠпÑĢоз е +ĠпÑĢоз Ñĭ +ĠпÑĮеÑģ Ñĥ +Ġп ÑıÑĤно +ĠпÑıÑĤÑĮ Ñİ +ĠÑĢаÑģ ÑģÑĤ +ĠÑĢев из +ĠÑĢез ÑĮб +ĠÑĢейÑħ Ñģ +ĠÑĢек ой +ĠÑĢеп оз +ĠÑĢеÑĩ ÑĮÑİ +ĠÑĢ иÑĤоÑĢ +ĠÑĢог аÑĤ +ĠÑĢоз ни +ĠÑĢÑĥж ÑĮÑı +ĠÑĢÑĥÑģ ло +ĠÑĢÑĥÑĩ ей +ĠÑĢÑĭб ак +ĠÑģаÑĤ ан +ĠÑģ ближ +ĠÑģв екл +ĠÑģв ÑıÑĤи +ĠÑģ гиба +ĠÑģ деÑĢж +ĠÑģеÑĤ ÑıÑħ +ĠÑģ жима +ĠÑģ ингл +ĠÑģк ÑĢеп +ĠÑģм ежн +ĠÑģна ÑĢÑı +ĠÑģнег Ñĥ +ĠÑģнÑı ÑĤÑĭ +ĠÑģолÑĮ Ñİ +ĠÑģ ÑĢÑĭва +ĠÑģÑĤад а +ĠÑģÑĤан Ñĥ +ĠÑģÑĤ ека +ĠÑģÑĤ енд +ĠÑģÑĤÑĢ оÑĦ +ĠÑģÑĤÑĢ оÑĩ +ĠÑģÑĤÑĢ оÑİ +ĠÑģÑĥд аÑħ +ĠÑģÑħож и +ĠÑĤан еÑĨ +ĠÑĤан ÑĨÑĥ +ĠÑĤво ем +ĠÑĤво им +ĠÑĤ ибеÑĤ +ĠÑĤол пе +ĠÑĤол пÑĥ +ĠÑĤÑĢав е +ĠÑĤÑĢа ÑĥÑĢ +ĠÑĤÑĢ еÑģк +ĠÑĤÑĢ оиÑħ +ĠÑĤÑĢÑĥ де +ĠÑĤ ÑĥбеÑĢ +ĠÑĤÑıж ко +ĠÑĥг леÑĢ +ĠÑĥ езде +ĠÑĥз ком +ĠÑĥм нÑĭй +ĠÑĥм олÑı +ĠÑĥп адк +ĠÑĥп иÑĢа +ĠÑĥп ÑĢÑĥг +ĠÑĥ ÑģÑĤоÑı +ĠÑĥÑĤе Ñĩк +ĠÑĥÑĤ ÑĢен +ĠÑĦин иÑĪ +ĠÑĦиÑĢ ме +ĠÑĦÑĢан к +ĠÑĦÑĢ еÑģк +ĠÑħак еÑĢ +ĠÑħ алиÑĦ +ĠÑħиж ин +ĠÑħод ÑĮб +ĠÑħол ма +ĠÑħÑĢам Ñĭ +ĠÑħÑĢеб ÑĤ +ĠÑĨел ой +ĠÑĨел Ñĭм +ĠÑĩ екан +ĠÑĩеÑĢ ÑĤÑĥ +ĠÑĩ еÑĩен +ĠÑĩÑĥд ом +ĠÑĩÑĥж дÑĭ +ĠÑĩÑijÑĤ ко +ĠÑĪÑĤ ÑĢиÑħ +ĠÑĪÑĤÑĥ ка +ĠÑĪÑĥÑĤ кÑĥ +ĠÑįк ÑģÑĤÑĢ +ĠÑįлиÑĤ Ñĭ +ĠÑįл лин +ĠÑį ÑģÑĤон +ĠÑįÑĤап Ñĭ +ĠÑİм оÑĢа +ĠÑıв лен +ĠÑıÑĢ кий +ĠÑıÑĢ киÑħ +ÐIJк адем +ÐIJн глий +ÐijÑĢаÑĤÑĮ Ñı +Ðĵам леÑĤ +ÐĶÑĢÑĥз ÑĮÑı +ÐĹд оÑĢов +Ðĺз веÑģÑĤ +ÐļÑĢиÑĤ ик +ÐĽÐµÐ³ енд +ÐľÑĥзÑĭ ка +ÐĿик олÑĮ +ÐŀгÑĢ омн +Ðŀ лимпи +ÐŁÐ¸ÑģÑĮ ма +ÐŁÐ¾Ñĩ емÑĥ +ÐŁÑĢав да +Ðł оÑģÑģий +Св обод +СеÑĢ дÑĨе +С иÑģÑĤем +Ð¥ÑĢон ик +Ч ÑĥвÑģÑĤв +аблиÑĨ а +ан глий +андÑĢ иÑĤ +аÑĢ ного +бав иÑĤÑĮ +бав лен +бал ÑĤик +бег али +беж авÑĪ +б иваÑİÑĤ +биоÑĤ ик +б иÑĤÑĮÑģÑı +бой ник +б олÑĮÑĪе +бÑĢоÑģ ан +бÑĢоÑģ ив +б ÑĭваеÑĤ +веÑĢ иÑĤÑĮ +вод нÑĭе +вод нÑĭй +вод Ñĩик +воз или +воз иÑĤÑĮ +вÑĭ боÑĢн +гон ÑıеÑĤ +гоÑĢ ода +гÑĢÑĥз ка +гÑĢÑĥÑģÑĤ н +д аннÑĭй +да ÑİÑīей +да ÑİÑīие +двин ÑĥÑĤ +дев аÑĤÑĮ +деÑĢж ал +деÑĢж им +диÑģ ÑĨип +дÑĥм аем +ед ливо +езж аÑİÑĤ +еков ÑĮÑı +елеÑĦ он +елов ал +енÑĤ инÑĭ +енÑĮ кие +епи ано +еÑģÑģ анÑģ +еÑģÑĤв аÑħ +еÑĤ воÑĢÑı +еÑĩаÑĤ ел +жаÑĢ иÑĤÑĮ +жим аеÑĤ +з авÑĤÑĢа +зелÑij но +зем ном +зн аниÑı +зна Ñģил +знаÑĩ им +золоÑĤ о +из овал +инг енÑĤ +инÑĤ егÑĢ +инÑĥл ÑģÑı +иÑĢ ланд +иÑģÑĤ ана +иÑģÑĤ ики +иÑģÑĤ оÑĢи +иÑģÑĤ Ñĭми +иÑĩ нÑĭми +кал Ñĭва +кап ÑģÑĥл +кап Ñĭва +клÑİÑĩ ив +ком бин +ком мÑĥн +к оÑģнов +кÑĢ имин +кÑĢ иÑĤик +кÑĢ Ñĭвал +кÑĢÑĭÑĤ аÑı +кÑĥп иÑĤÑĮ +лад ÑĪий +лев лад +лед иÑĤÑĮ +леп еÑģÑĤ +леÑĤ аÑİÑĤ +леÑĤ нее +леÑĩ ебн +ли менÑĤ +лов ÑĥÑĪк +лож ена +лом аÑĤÑĮ +лÑĥÑĪ ива +лÑĮ Ñģкое +маг ниÑĤ +маÑĤ еÑĢи +мени ва +меÑĤ ÑĢии +меÑĤ ÑĢиÑı +меÑī аеÑĤ +монÑĤ аж +мÑĭ Ñģлов +над зоÑĢ +н азван +нап ÑĢав +ниÑĨ кий +ниÑĩ аÑĤÑĮ +н ников +ном енк +об ÑĬекÑĤ +обÑĭ Ñĩно +ов еÑīен +оген ез +одоб ие +олеÑĤ ов +олог ов +олÑĮ веÑĢ +онаÑĢ до +оÑĢÑĥж ен +оÑģ оÑĩеÑĤ +оÑģÑĤ оиÑĤ +оÑģÑĤ ÑĢов +оÑĤ кÑĢÑĭÑĤ +оÑĩ еÑĢед +пеÑĤ ÑĩеÑĢ +плаÑĤ ил +плиÑĤ Ñĥд +пол нив +пом ога +п оÑģÑĢед +п оÑģÑĤав +пÑĢин Ñıл +пÑĢод аж +пÑĢ олеÑĤ +пÑĢ ониÑĨ +пÑĢ оÑĪен +пÑĢÑıÑĤ ал +ÑĢег ион +ÑĢез али +ÑĢез аÑİÑĤ +ÑĢеÑģÑģ оÑĢ +ÑĢиÑĦ меÑĤ +ÑĢи ÑĩеÑģк +ÑĢовеÑĢ Ñı +ÑĢов олÑĮ +ÑĢоÑģÑĤ ан +ÑĢоÑħоÑĤ н +ÑĢÑĥб иÑĤÑĮ +ÑĢ ÑĭваÑİÑĤ +Ñģ ваива +ÑģлÑĥж ил +Ñģоб лÑİд +Ñģо един +ÑģÑĢед не +ÑģÑĤав лÑİ +Ñģ Ñĥжден +ÑĤвоÑĢ ил +ÑĤека ÑİÑī +ÑĤеÑĢ мин +ÑĤив нÑĭм +ÑĤив нÑĭÑħ +ÑĤÑĥ ÑĢизм +Ñĥ кÑĥÑĢÑĥз +ÑĥлÑı ÑĨиÑı +ÑĥÑģÑĤи ла +ÑĦеÑĢен ÑĨ +ÑĦи лÑĮÑĤÑĢ +Ñħод иÑĪÑĮ +ÑĩаÑĤ ого +Ñĩен нÑĭе +Ñĩен нÑĭй +ÑĩиÑĤ аеÑĤ +Ñĩ иÑĤÑĮÑģÑı +ÑĪего ÑģÑı +ÑĪед ÑĪем +ÑĮ Ñģкого +ÑİÑī емÑģÑı +Ñıз аниÑı +ĠÐIJбÑħ ази +ĠÐIJв ÑĢаам +ĠÐIJвÑĤоÑĢ Ñĭ +ĠÐIJд ÑĢиан +ĠÐIJлла Ñħа +ĠÐIJм ÑģÑĤеÑĢ +ĠÐIJ налог +ĠÐIJнÑĤи оÑħ +ĠÐIJÑĢав ии +ĠÐIJÑģ ÑģоÑĨи +ĠÐijог дан +ĠÐijоÑģÑĤ он +ĠÐijÑĢай ан +ĠÐijÑĭв ÑĪий +ĠÐĴаг неÑĢ +ĠÐĴаÑĢ ваÑĢ +ĠÐĴлаÑģ ов +ĠÐĴ лаÑģÑĤи +ĠÐĴÑģ елен +ĠÐĴÑĭбоÑĢ г +ĠÐĴÑĭ пÑĥÑģк +ĠÐĴÑĭÑģ ÑĪей +ĠÐĵал акÑĤ +ĠÐĵеÑĢ акл +ĠÐĵоÑĢ дон +ĠÐĵÑĢÑĥз ин +ĠÐĶав ида +ĠÐĶам аÑģк +ĠÐĶенÑĮ ги +ĠÐĶион иÑģ +ĠÐĶ оволÑĮ +ĠÐĶоÑĢ ога +ĠÐĶÑĥб ÑĢов +ĠÐķгоÑĢ ов +ĠÐĸ иÑĤели +ĠÐĹ Ð½Ð°ÐºÐ¾Ð¼ +ĠÐĺз бÑĢан +ĠÐĺн ÑĤеÑĢн +ĠÐĺоÑģиÑĦ а +ĠÐĺÑģп олн +ĠÐĺÑģ ÑħодÑı +ĠÐļаз анÑĮ +ĠÐļаÑĢл оÑģ +ĠÐļ иÑĢова +ĠÐļлав ди +ĠÐļли маÑĤ +ĠÐļлÑİÑĩ ев +ĠÐļол Ñĩак +ĠÐļоÑĢн ел +ĠÐļÑĢем ле +ĠÐļÑĢÑĭ лов +ĠÐļ ÑĥÑĢган +ĠÐĽÐ°Ð² ÑĢов +ĠÐĽÐ¾ÑĢ енÑĨ +ĠÐĽÑİ Ð´Ð²Ð¸Ð³ +ĠÐľÐ°ÑĢ ков +ĠÐľÐ°ÑĢ Ñģел +ĠÐľÐ°ÑĢ ÑĪал +ĠÐľÐ¸Ð½ Ñģке +ĠÐľÐ¾Ð´ елÑĮ +ĠÐľÑİн Ñħен +ĠÐĿаÑĢ ком +ĠÐĿиж ний +ĠÐŀÑģ нова +ĠÐŀÑģоб ое +ĠÐŀÑĤ лиÑĩи +ĠÐŀÑĤ меÑĩа +ĠÐŁÐ°ÑĢ ÑĤиÑı +ĠÐŁÐ°ÑĤ ÑĢик +ĠÐŁÐµÑĢв ÑĥÑİ +ĠÐŁÐµÑĤ ÑĢоп +ĠÐŁÐ¸ÑģÑĮ мо +ĠÐŁÐ¾Ð»ÑĮÑĪ а +ĠÐŁÐ¾Ð»ÑĮÑĪ Ñĥ +ĠÐŁÐ¾Ð¿ ÑĢоб +ĠÐŁ оÑģÑĤоÑı +ĠÐŁÐ¾ÑĤ ÑĢеб +ĠÐłÐ°Ð± оÑĩе +ĠÐłÐ°ÑĦ аÑįл +ĠÐłÐ¾Ð´ инÑĭ +ĠСакÑģ он +ĠС имвол +ĠС кажем +ĠСозд ан +ĠСоÑĤ ÑĢÑĥд +ĠСÑĤаÑĢ ик +ĠСÑĤ Ñĥден +ĠТал лин +ĠТиÑħ ого +ĠТом аÑģа +ĠТÑĢеÑĤÑĮ Ñı +ĠФели кÑģ +ĠФе одоÑĢ +ĠФÑĢан ко +ĠЦез аÑĢÑĮ +ĠЦез аÑĢÑı +ĠЧик аго +ĠЧ иÑģлен +ĠÐŃкип аж +ĠÐŃ ÑĦÑĦекÑĤ +Ġалг ебÑĢ +ĠалÑħ ими +ĠапÑĢ елÑĮ +ĠаÑĤ ÑĤеÑģÑĤ +Ġбан киÑĢ +Ġбил еÑĤÑĭ +Ġблиз ка +Ġблиз ки +ĠбогаÑĤ о +ĠбогаÑĤ Ñĭ +Ġбоев ом +Ġбол оÑĤа +ĠбÑĥд ÑĮÑĤе +ĠбÑĥк ÑģиÑĢ +ĠбÑĭв али +ĠбÑĭв ÑĪаÑı +Ġваг она +ĠвалÑİÑĤ Ñĭ +Ġвам пиÑĢ +Ġведом о +Ġвел аÑģÑĮ +Ġвели ÑģÑĮ +ĠвеÑĢ нÑĭй +ĠвеÑĢÑħ ом +ĠвеÑĤ ÑĢом +ĠвеÑī ами +Ġвз леÑĤа +Ġвз ÑıлÑģÑı +Ġвли ÑıÑĤÑĮ +Ġвнед ÑĢÑı +ĠвнÑĥÑĪ ен +Ġвоз лÑİб +Ġвоз ÑĢоÑģ +ĠвозÑĮ мÑĥ +Ġвоп лоÑĤ +Ġвп ÑĢедÑĮ +ĠвÑĢаÑĤ аÑĢ +ĠвÑĢÑĥÑĩ ил +ĠвÑģпл Ñĭв +ĠвÑģп ÑĭÑĪк +ĠвÑĭгод Ñĭ +ĠвÑĭд аеÑĤ +ĠвÑĭда Ñĩи +ĠвÑĭÑĢаз и +ĠвÑĭÑģ ÑĪий +Ġгал еÑĢе +Ġгли нÑıн +Ġгн езда +ĠговоÑĢ и +ĠгоÑĢ ной +ĠгоÑĢ нÑĭе +ĠгоÑĢÑıÑĩ о +ĠгÑĢав ÑİÑĢ +ĠгÑĢеÑħ ов +ĠгÑĢиб ов +ĠгÑĢоз ил +Ġг ÑĢоÑħоÑĤ +ĠгÑĥÑģÑĤ ой +Ġдав ало +Ġд алÑĮно +ĠдвеÑĢ ÑĮÑİ +Ġдв еÑģÑĤи +Ġдек лаÑĢ +Ġдек ÑĢеÑĤ +ĠдеÑģп оÑĤ +ĠдикÑĤ аÑĤ +Ġдоб ÑĢÑĭÑħ +ĠдобÑĭ Ñĩа +ĠдÑĢÑĥж ба +ĠдÑĭÑĪ аÑĤÑĮ +Ġедин ÑĥÑİ +Ġеди нÑĭм +Ġезд иÑĤÑĮ +Ġжел анн +ĠживоÑĤ а +Ġжил ого +Ġзаказ Ñĥ +Ġзак ÑĢÑĭв +Ġзалив е +Ġзам ена +ĠзаÑĢÑıж а +ĠзаÑģ лон +ĠзаÑıв ки +ĠзаÑıв кÑĥ +ĠзвеÑĢ ей +Ġзвон иÑĤ +Ġзвон ки +ĠземлÑı н +Ġзлов еÑī +Ġзо олог +ĠзÑĢели Ñī +ĠзÑĥб ами +ĠиезÑĥ иÑĤ +Ġизм елÑĮ +Ġим мÑĥно +ĠиÑģп ÑĭÑĤа +ĠиÑģп ÑĭÑĤÑĥ +ĠиÑģÑĤ ине +Ġкаб инÑĭ +Ġказ енн +Ġказ нен +Ġкак овÑĭ +Ġкам нем +Ġкап елл +Ġкап иÑĤÑĥ +Ġкап ÑĢиз +ĠкаÑĢа Ñĥл +ĠкаÑĢ каÑģ +ĠкаÑĢÑĤ он +ĠкаÑĤ ÑĥÑĪк +Ġкив нÑĥл +Ġклад ÑĥÑĤ +Ġкниж ки +ĠкнÑı гин +ĠковаÑĢ н +ĠконÑĦ еÑĤ +ĠконÑĨ ом +ĠкоÑĢм ов +ĠкоÑĢ нев +ĠкоÑĢ ней +ĠкÑĢеÑģ ла +ĠкÑĢ олик +ĠкÑĢÑĥж ка +ĠкÑĥлÑĮ ÑĤа +Ġл айнеÑĢ +Ġлеж аÑĤÑĮ +Ġлек ÑĨий +ĠлеÑģ нÑĭÑħ +ĠлеÑĩ иÑĤÑĮ +Ġлин ией +Ġлин коÑĢ +ĠлиÑĩ нÑĥÑİ +ĠлиÑĪ енÑĭ +ĠлиÑĪ ний +Ġлог ике +Ġлог икÑĥ +Ġлом ÑĤик +ĠлÑĥÑĩ ÑĪаÑı +Ġманд аÑĤ +Ġман еÑĢе +ĠмеÑģÑĤ еÑĩ +ĠмеÑĤе оÑĢ +ĠмеÑĤ ÑĢик +ĠмеÑĩ еÑĤи +Ġмик ÑĢоÑĢ +ĠмиÑĢ ное +ĠмиÑģÑģ иÑģ +ĠмиÑģÑģ иÑı +Ġмог ила +Ġмог иле +Ġмогил Ñĥ +Ġмогил Ñĭ +Ġмол Ñĩал +ĠмоÑģÑĤ ик +ĠмоÑī нÑĭÑħ +ĠмÑĥнд иÑĢ +ĠмÑĥÑģ оÑĢа +ĠмÑıг ким +Ġнаб ÑĢав +Ġнадеж д +Ġна ивно +Ġнайд еÑĤ +Ġнайд ÑĥÑĤ +Ġна лево +ĠнаÑĤ иÑģк +ĠнаÑĤ ÑĢиÑı +ĠнаÑĥÑĩ ил +Ġнеб лаг +Ġнед елÑı +Ġнем ÑĨам +ĠнеÑĢв но +Ġниз киÑħ +ĠниÑĩ ÑĥÑĤÑĮ +Ġнов оÑģÑĤ +ĠноÑĢм ам +ĠноÑı бÑĢÑĮ +ĠнÑĥж нÑĥÑİ +Ġоби Ñħод +Ġоблак о +Ġоб ойÑĤи +ĠобÑĥÑĩ ал +ĠобÑĭÑĩа и +ĠобÑĭÑĩ аÑı +ĠовоÑī ей +Ġод аÑĢен +Ġодоб ÑĢÑı +Ġожид аÑı +ĠопÑĢоÑģ а +ĠоÑĢб иÑĤе +ĠоÑĢ биÑĤÑĭ +ĠоÑģлаб л +ĠоÑģоб аÑı +ĠоÑģоб ей +ĠоÑģоб ен +Ġо ÑģÑĤÑĢой +ĠоÑģÑĤ ÑĢÑĭе +ĠоÑģÑĤÑĢ Ñĭй +ĠоÑĤ вагÑĥ +ĠоÑĤд аеÑĤ +ĠоÑĤ дали +ĠоÑĤмен Ñĭ +ĠоÑĤ нÑĭне +ĠоÑħÑĢан Ñĥ +ĠоÑĨен ок +ĠпалÑĮ ÑĤо +Ġпан елÑĮ +ĠпаÑĢ олÑĮ +ĠпаÑģÑĤ ÑĥÑħ +Ġпев иÑĨа +ĠпеÑĩ али +ĠпеÑī еÑĢÑĭ +Ġпик абÑĥ +Ġпик Ñģел +Ġпил оÑĤа +Ġпл агин +Ġплан ом +Ġпл аÑĤÑĮÑı +ĠплоÑĤ ин +Ġпнев мо +Ġпог ÑĢом +Ġпод ÑĢаж +Ġпод ÑĢÑĥг +Ġпод ÑĩÑijÑĢ +Ġпозв ал +Ġпозд не +Ġпой мал +Ġпок ида +Ġпол еÑĤÑĭ +Ġпол нÑĭе +Ġпоп ало +ĠпоÑĢог е +ĠпоÑĢ ÑĤов +ĠпоÑģ ÑĥдÑĥ +ĠпоÑį ÑĤом +ĠпоÑıÑģ нÑı +ĠпÑĢав де +ĠпÑĢим ÑĥÑĤ +ĠпÑĢиÑĩ ал +ĠпÑĢоб ел +ĠпÑĢом аÑħ +ĠпÑĢо ÑģÑıÑĤ +ĠпÑĢоÑĤ ок +ĠпÑĢоÑĩ ел +ĠпÑĢÑıм аÑı +ĠпÑĥÑģ ков +ĠпÑĥÑģÑĤ Ñĭм +ĠпÑĥÑĤ Ñıми +ĠпÑıÑĤ ого +ĠÑĢав вин +ĠÑĢаз бив +ĠÑĢазв Ñıз +ĠÑĢаз гон +ĠÑĢаÑģ пиÑģ +ĠÑĢаÑģ Ñīеп +ĠÑĢаÑĥн да +ĠÑĢе абил +ĠÑĢед кие +ĠÑĢед ким +ĠÑĢе еÑģÑĤÑĢ +ĠÑĢез ким +ĠÑĢ еÑĩной +ĠÑĢим Ñģко +ĠÑĢод инÑĭ +ĠÑĢод нÑĭм +ĠÑĢÑĥбеж а +ĠÑĢÑĥд ник +ĠÑĢÑĥÑħ нÑĥл +ĠÑĢÑĭн каÑħ +ĠÑģам миÑĤ +ĠÑģ бежал +ĠÑģбли жа +ĠÑģв адеб +ĠÑģвеÑĢÑħ ÑĬ +ĠÑģв еÑģÑĤи +ĠÑģв ÑıÑĤÑĭм +ĠÑģдел ка +ĠÑģдел ок +ĠÑģенÑĮ оÑĢ +ĠÑģид ела +ĠÑģилÑĥ ÑįÑĤ +ĠÑģкаж ÑĥÑĤ +ĠÑģклон Ñı +ĠÑģкоÑĢ ом +ĠÑģлаб ее +ĠÑģлаб Ñĭй +ĠÑģлаб ÑĭÑħ +ĠÑģлед иÑĤ +ĠÑģлед ÑĥÑı +ĠÑģлом ал +ĠÑģлÑĥÑħ ов +ĠÑģлÑĭÑĪ но +ĠÑģм ÑĥÑīен +ĠÑģол иÑģÑĤ +ĠÑģоÑĢÑĤ ов +ĠÑģоÑģед и +ĠÑģоÑģ лов +ĠÑģоÑģÑĥд Ñĭ +ĠÑģпе ÑĪил +ĠÑģп икеÑĢ +ĠÑģпло ÑĪÑĮ +ĠÑģÑĢед ой +ĠÑģÑĢок ов +ĠÑģÑĤав кÑĥ +ĠÑģÑĤад иÑı +ĠÑģÑĤ аниÑĨ +ĠÑģÑĤаÑĢ ое +ĠÑģÑĤаÑĢ ÑĥÑİ +ĠÑģÑĤаÑĤÑĥ и +ĠÑģÑĤаÑĤ ÑĥÑı +ĠÑģÑĤен ой +ĠÑģÑĤеÑĢж н +ĠÑģÑĤÑĢок е +ĠÑģÑĤÑĢок Ñĥ +ĠÑģÑĥ евеÑĢ +ĠÑģÑĩеÑĤ ов +ĠÑģÑĬем ки +ĠÑģÑĭ гÑĢав +ĠÑĤвоÑĢ иÑĤ +ĠÑĤекÑģÑĤ Ñĥ +ĠÑĤеоÑĢ ем +ĠÑĤепл ой +ĠÑĤеÑĢ ÑĢаÑģ +ĠÑĤон кий +ĠÑĤоÑĩ нÑĭм +ĠÑĤÑĢап ез +ĠÑĤÑĢаÑģÑģ е +ĠÑĤÑĢаÑģÑģ Ñĭ +ĠÑĤÑĢеÑĤ ÑĮÑİ +ĠÑĤÑĢÑĥб ки +ĠÑĤÑĥÑĢ бин +ĠÑĤÑİÑĢÑĮ ма +ĠÑĥбий ÑĨа +ĠÑĥвид иÑĤ +ĠÑĥда лил +ĠÑĥдоб нÑĭ +ĠÑĥзна ем +ĠÑĥзна ла +ĠÑĥм ениÑı +ĠÑĥмеÑĢ ли +ĠÑĥÑĢаг ан +ĠÑĥÑĢов ни +ĠÑĥÑĢож аÑı +ĠÑĥÑģп ела +ĠÑĥÑģ ÑĥгÑĥб +ĠÑĥÑĩ аÑģÑĤÑĮ +ĠÑĥÑĩ ений +ĠÑĥÑĩÑij ÑĤом +ĠÑĦами ли +ĠÑĦаÑĢ ÑĦоÑĢ +ĠÑĦиг ÑĥÑĢÑĥ +ĠÑĦлоÑĤ ом +ĠÑĦ ÑĢегаÑĤ +ĠÑĦÑĢÑĥк ÑĤÑĭ +ĠÑħвоÑģÑĤ а +ĠÑħлоп оÑĤ +ĠÑħол ода +ĠÑħÑĢани л +ĠÑħÑĢан иÑĤ +ĠÑĨвеÑĤ ок +ĠÑĨелÑı ми +ĠÑĨем енÑĤ +ĠÑĨен нÑĭм +ĠÑĩаÑģ ами +ĠÑĩаÑģÑĤ но +ĠÑĩек иÑģÑĤ +ĠÑĩеÑĢ наÑı +ĠÑĩеÑĢÑĤ ой +ĠÑĩиÑģÑĤ ом +ĠÑĩиÑģÑĤ Ñĭм +ĠÑĩÑĤ ении +ĠÑĪ анÑģов +ĠÑĪел ков +ĠÑĪеÑĢ ÑģÑĤи +ĠÑĪеÑģÑĤ ой +ĠÑĪиÑĢ инÑĥ +ĠÑĪÑĤ аÑĤов +ĠÑįго иÑģÑĤ +ĠÑįкз иÑģÑĤ +ĠÑįкÑģп оз +ĠÑįмб лем +ĠÑįÑĤи кеÑĤ +ĠÑİно ÑĪей +ĠÑıнваÑĢ ÑĮ +ĠÑıпон ÑĨÑĭ +ĠÑıÑĢ оÑģÑĤÑĮ +ĠÑıÑĩей ки +ÐĴоÑģ кÑĢеÑģ +Ðĵам бÑĥÑĢг +ÐĹап оÑĢож +ÐŁÐ¾Ð² еÑģÑĤÑĮ +ÐŁÐ¾ÑĢÑĤ ÑĢеÑĤ +ÐłÑĥÑģ Ñģкий +СвÑıÑī енн +С егоднÑı +ТиÑħо оке +авлов Ñģк +акÑĤив но +алиÑģÑĤ иÑĩ +анов Ñīик +аÑĤив наÑı +аÑĤив нÑĭй +болÑĮÑĪ ой +бÑĢа лиÑģÑĮ +бÑĢоÑģ иÑĤÑĮ +вали лÑģÑı +вид ениÑı +дав лива +днев ной +док ÑĤÑĢин +доп одоб +енап ÑĢав +еÑĨед енÑĤ +ива ÑİÑīиÑħ +ив ноÑģÑĤи +из веÑģÑĤн +из оваÑĤÑĮ +иÑĢÑĥ ÑİÑīей +иÑģÑĤ ÑģкаÑı +иÑģÑĤ Ñģкие +иÑģÑĤ ÑģкиÑħ +иÑģ ÑĥÑĤÑģÑĤв +кап иÑĤан +к нÑıжеÑģк +ков Ñģкой +кон кÑĢеÑĤ +коÑĢÑĢ екÑĤ +коÑĤоÑĢ Ñĭй +кÑĢаÑģ иÑĤÑĮ +кÑĢ Ñĭваем +лен ÑĩеÑģк +лив аниÑı +маг азин +меÑĤа ÑĦиз +меÑħ аник +меÑĪ айÑĤе +милли он +мол ÑĩаÑĤÑĮ +моÑĢ ÑģкиÑħ +наив ÑĭÑģÑĪ +неп олиÑĤ +ован ной +овÑĤоÑĢ им +ов ÑĭваÑĤÑĮ +оглаÑģ но +ог ÑĢаниÑĩ +од иÑĤели +ожд ений +озн аниÑı +окиÑģ лоÑĤ +ом ÑĭÑĪлен +онÑĤ олог +ополÑĥÑĩ н +оп ÑĥÑĤÑģÑĤв +оÑģÑģий Ñģк +пад ение +пиÑģ ÑĭваÑı +плаÑģÑĤ ик +пÑĢед ваÑĢ +пÑĢед елÑĮ +пÑĢи ÑıÑĤиÑı +пÑĢÑĭг нÑĥл +пÑĢÑıÑĤ аÑĤÑĮ +пÑĥÑģÑĤ иÑĤе +ÑĢабоÑĤ кÑĥ +ÑĢабоÑĤ ок +ÑĢазвед к +ÑĢазд ÑĢаж +ÑĢай ÑĤеÑģÑĮ +ÑĢаÑģÑģÑĥд к +ÑĢе алиÑģÑĤ +ÑĢи ÑĩеÑģки +ÑĢÑĥÑģ Ñģкий +Ñģказ Ñĥем +Ñģлед ÑĥеÑĤ +ÑģÑĢед ÑģÑĤв +ÑģÑĤ иÑĩеÑģк +ÑģÑĤ ойÑĩив +ÑģÑĤоÑıÑī ей +ÑģÑĤоÑıÑī ие +ÑģÑĤÑĥп иÑĤÑĮ +ÑĤен беÑĢг +ÑĤив ного +Ñĥг леÑĢод +ÑĥÑĢ алÑĮÑģк +ÑĦанÑĤа ÑģÑĤ +ÑħодÑıÑī ем +ÑħодÑıÑī ÑĥÑİ +Ñħол динг +ÑĨион нÑĭе +ÑĨион нÑĭй +Ñĩив оÑģÑĤÑĮ +ÑĩиÑģÑĤ иÑĤÑĮ +ÑĩиÑĤ Ñĭвал +ÑĬедин ен +Ñıв ление +Ġcomm uni +ĠÐIJб ÑģолÑİÑĤ +ĠÐIJнÑĤон ов +ĠÐIJÑĢ кадий +ĠÐIJÑĢ мÑıнÑģк +ĠÐijаÑĢ анов +ĠÐijел гÑĢад +ĠÐijеÑĢез ов +ĠÐijеÑĢ наÑĢд +ĠÐij иблиоÑĤ +ĠÐĴалÑĮ ÑĤеÑĢ +ĠÐĴаÑĢÑĪав е +ĠÐĴаÑĤ икан +ĠÐĴене ÑĨии +ĠÐĴ икипед +ĠÐĴопÑĢоÑģ Ñĭ +ĠÐĵлав нÑĭе +ĠÐĵовоÑĢ ил +ĠÐĵовоÑĢ иÑĤ +ĠÐĵоли ÑĨÑĭн +ĠÐĵон конг +ĠÐĵоÑĢÑĮ кий +ĠÐĶав Ñĭдов +ĠÐĶалÑĮ нем +ĠÐĶани лов +ĠÐĶжейм Ñģа +ĠÐĶжоÑĢ джа +ĠÐĶимиÑĤ ÑĢи +ĠÐķÑĦ ÑĢемов +ĠÐĹак оном +ĠÐĹапад но +ĠÐĹаÑħ аÑĢов +ĠÐĺб ÑĢагим +ĠÐĺме еÑĤÑģÑı +ĠÐĺмпеÑĢ ии +ĠÐļаÑĢ ÑĤина +ĠÐļÑĢиÑģÑĤ ин +ĠÐļÑĥÑĢ Ñģкой +ĠÐĽÑİд мила +ĠÐľÐ°Ð»ÑĮ Ñĩик +ĠÐľÐ¸ÑĢов ой +ĠÐľÐ¸ÑĢ онов +ĠÐľÐ¾Ð»Ð¾Ð´ ой +ĠÐľÑĥж Ñĩина +ĠÐĿадеж да +ĠÐĿали Ñĩие +ĠÐĿикиÑĤ ин +ĠÐĿики ÑĦоÑĢ +ĠÐĿов иков +ĠÐŀкÑģ ÑĦоÑĢд +ĠÐŀ пÑĢедел +ĠÐŀÑĤ меÑĤим +ĠÐŁÐ»Ð°ÑĤ она +ĠÐŁÐ¾Ð½ ÑıÑĤие +ĠÐŁÑĢоÑĤив о +ĠÐłÐµÐ± енок +ĠС лиÑĪком +ĠСÑĤам бÑĥл +ĠСÑĥвоÑĢ ов +ĠТ аблиÑĨа +ĠТаил анд +ĠТбили Ñģи +ĠУилÑĮ Ñıма +ĠУилÑĮÑıм Ñģ +ĠУÑĢов енÑĮ +ĠЧеÑĢ ного +ĠШек ÑģпиÑĢ +ĠШоло Ñħов +ĠагенÑĤ ÑĥÑĢ +ĠакÑĤеÑĢ ов +ĠакÑĤÑĢиÑģ Ñĭ +Ġанализ Ñĥ +ĠанÑĤÑĢоп о +ĠаÑĢÑħи еÑĢе +Ġбал анÑģа +ĠбаÑĤаÑĢ еÑı +ĠбезÑĥм но +ĠбеÑģ ÑģпоÑĢ +Ġблиз кий +ĠбогаÑĤ ой +ĠболÑĮ нÑĭе +ĠболÑĮ ÑĪий +Ġбомб аÑĢд +ĠбоÑĢÑĮ бой +ĠбоÑĤ аник +ĠбоÑı лиÑģÑĮ +ĠбÑĢоÑģ аеÑĤ +ĠбÑĥкв ами +ĠбÑĥÑĤÑĭл ки +ĠбÑĥÑĤÑĭл кÑĥ +Ġваж нÑĭми +Ġв веденÑĭ +ĠведÑĥÑī ей +Ġвели Ñĩие +ĠвеÑĢ блÑİд +ĠвеÑĢÑħ ний +ĠвеÑĢ ÑĪина +ĠвеÑģ енне +Ġвнед ÑĢен +Ġвнезап н +ĠвнеÑĪ нÑİÑİ +Ġвод опад +Ġвод оÑĢод +Ġвоев ода +Ġвозд виг +Ġвоз мÑĥÑĤи +Ġвозм ÑĥÑīа +Ġвоз ÑĢоди +ĠвозÑĮ меÑĤ +Ġволок на +Ġволок он +ĠвÑĢаг ами +ĠвÑģе ÑĨело +ĠвÑĤоÑĢ омÑĥ +ĠвÑĭвод иÑĤ +ĠвÑĭ давал +ĠвÑĭиг ÑĢав +ĠвÑĭ клÑİÑĩа +ĠвÑĭн еÑģÑĤи +ĠвÑĭн Ñĥжда +ĠвÑĭ ÑĢаÑģÑĤи +ĠвÑĭÑĢоÑģ ли +ĠвÑĭÑģказ а +ĠвÑĭ ÑĤаÑīил +ĠгалеÑĢ еÑı +ĠгоÑĢод ка +ĠгоÑĢÑıÑĩ им +ĠгоÑĤов ил +ĠгоÑĤов Ñĭе +ĠгоÑĤов Ñĭй +ĠгоÑĤов ÑĭÑħ +ĠгÑĢаÑĦ ики +ĠгÑĢÑĥпп аÑħ +ĠгÑĥÑģ ениÑĨ +Ġдев оÑĩкÑĥ +ĠдевÑĥÑĪ ке +Ġдел овой +ĠдеÑĢж али +ĠдеÑģÑıÑĤ ин +ĠдеÑģÑıÑĤ ок +ĠдеÑĤа лÑıÑħ +ĠдеÑĤ Ñģком +Ġдивиз иÑİ +Ġдиз айна +ĠдиÑĢиж ÑijÑĢ +ĠдиÑģк ÑĢим +ĠдиÑģ кÑĥÑĢÑģ +Ġдлин нÑĭÑħ +Ġдобав ив +ĠдобÑĢ ого +Ġдолг ого +Ġдолж ник +Ġдоп олнÑı +ĠдоÑĢог ам +ĠдоÑĢог аÑħ +ĠдоÑĢож но +Ġдо ÑħодиÑĤ +ĠдÑĢай веÑĢ +ĠдÑĥм аеÑĪÑĮ +Ġедин иÑĨÑĥ +Ġем коÑģÑĤÑĮ +Ġжел аний +Ġжен Ñģкие +ĠжÑĥÑĢнал Ñĭ +Ġзаб ÑĢаÑĤÑĮ +ĠзавиÑģ ÑıÑī +ĠзадÑĥм ал +Ġзамед лÑı +ĠзамÑĥж ем +ĠзамÑĭ Ñģел +Ġзам ÑĭÑģла +ĠзапиÑģ ки +ĠзапиÑģ кÑĥ +Ġзап ÑĥÑĤан +ĠзаÑĢаж ен +ĠзаÑĢ одÑĭÑĪ +ĠзаÑĢÑıж ен +ĠзаÑģ лÑĥга +ĠзаÑīиÑĤ ой +ĠзаÑıв иÑĤÑĮ +Ġзвезд ой +Ġзнам ени +Ġзн анием +Ġзооп аÑĢк +ĠзÑĢ иÑĤели +Ġиг ÑĢÑĥÑĪки +Ġиз влеÑĩÑĮ +ĠизÑĥÑĩ аеÑĤ +Ġимев ÑĪиÑħ +Ġиме ÑİÑīей +Ġиндей Ñģк +ĠиниÑĨи ал +ĠиÑģкÑĥ ÑĪен +ĠиÑģÑĤÑĢеб и +ĠиÑģÑħод ил +ĠиÑģ ÑħодиÑĤ +ĠиÑģÑĩез ла +Ġказ алÑģÑı +Ġка ÑĢаван +ĠкаÑĢ мана +ĠкаÑĢман е +ĠкаÑĦед ÑĢе +ĠкеÑĢ амик +Ġкип ениÑı +ĠкиÑģлоÑĤ а +ĠклиенÑĤ Ñĭ +Ġколен ÑıÑħ +Ġкомб ина +Ġком едий +Ġком едиÑı +Ġкон денÑģ +ĠконкÑĥ ÑĢи +ĠконÑģ оли +ĠкоÑĢол Ñijм +ĠкоÑģмоÑģ е +ĠкÑĢед иÑĤа +ĠкÑĢеÑģÑĤ ом +ĠкÑĢиÑĤ еÑĢи +ĠкÑĢи ÑĩаÑĤÑĮ +Ġк ÑĢоÑħоÑĤн +ĠкÑĢÑĥп ное +ĠкÑĢÑĥп ном +ĠкÑĢÑĭлÑĮ ев +ĠкÑĢÑĭ ÑĪкой +ĠкÑĥ линаÑĢ +ĠкÑĥлÑĮÑĤ ов +ĠкÑĥÑĢÑģ анÑĤ +ĠкÑĥÑģ оÑĩек +ĠкÑĥÑģ оÑĩки +ĠлагеÑĢ ей +ĠлагеÑĢ ÑıÑħ +ĠлеÑĩ ебно +ĠлиÑĨ емеÑĢ +Ġлог иÑĩно +ĠлÑĥков иÑĨ +ĠлÑĥÑĩ ÑĪемÑĥ +ĠлÑİб езно +ĠлÑİбим ÑĭÑħ +ĠлÑİбов но +ĠмаÑĢÑĪ ала +ĠмаÑģÑģив а +ĠмаÑĪ иной +Ġмед алей +ĠменÑĮ ÑĪим +ĠмеÑģÑĤ ном +Ġмлад ÑĪим +Ġмн ением +Ġмол оком +Ġмол оÑĩно +Ġмон олог +ĠмоÑĢ ковÑĮ +ĠмоÑĤив ов +ĠмÑĥÑĩ еник +ĠмÑĭÑģл иÑĤÑĮ +ĠмÑĭÑģ лÑıми +ĠнавеÑĢ но +ĠнавеÑĢÑħ Ñĥ +ĠнагÑĢад а +Ġнаде ÑıÑģÑĮ +Ġнадоб но +Ġназв анÑĭ +Ġнан еÑģли +Ġнап олни +ĠнаÑĥÑĩ иÑĤÑĮ +ĠнаÑĥÑĩ наÑı +ĠнаÑĥÑĩ нÑĥÑİ +ĠнаÑħод ки +ĠнаÑĨ елен +ĠнаÑĩина Ñİ +Ġнев ажно +Ġнев елик +Ġнед овеÑĢ +Ġнелов ко +Ġне ÑģпÑĢав +ĠнеÑĥдаÑĩ Ñĥ +Ġниж него +Ġниз кого +Ġникак ие +Ġнов аÑĤоÑĢ +ĠномеÑĢ ов +Ġномина л +Ġобвин ил +ĠобеÑī аеÑĤ +Ġоб илÑĮно +Ġоблег Ñĩа +ĠобÑĢаз ÑĥÑı +ĠобÑĢаÑĤ им +ĠобÑĢ еÑģÑĤи +Ġоб ÑģÑĤоиÑĤ +ĠобÑĭÑĩ наÑı +ĠобÑıз Ñĭва +Ġовлад ев +ĠодеÑĢж им +Ġожи дали +ĠопиÑģ анÑĭ +ĠоÑģоз нал +ĠоÑģозн ан +ĠоÑĤдел ен +ĠоÑĤдел ов +ĠоÑĤказ ал +ĠоÑĤ кÑĢоеÑĤ +ĠоÑĤм енил +ĠоÑĤ пÑĥÑīен +ĠоÑĤÑĢаз ил +ĠоÑĤÑĢаÑģ лÑĮ +ĠоÑĤÑĢÑıд ом +ĠоÑĤÑĤен ок +ĠоÑĤÑħод ов +ĠоÑĤÑĬ езда +ĠоÑħваÑĤ ил +Ġо ÑħваÑĩен +ĠоÑħоÑĤ ниÑĩ +ĠоÑĪиб кой +ĠпаÑģÑĤ биÑī +ĠпеÑĢев ел +ĠпеÑĢел еÑĤ +ĠпеÑĢ ÑĩаÑĤк +Ġпи аниÑģÑĤ +Ġпил оÑĤов +ĠпиÑģÑĮма Ñħ +ĠпиÑģÑĮ мом +ĠпиÑī еваÑĢ +ĠпиÑī евой +Ġплам ени +ĠпланеÑĤ Ñĥ +ĠплоÑħ ого +Ġпоб лиже +Ġповод ом +ĠповÑĭÑģ ил +Ġпог ÑĢани +ĠподнÑı ли +Ġподоб ие +ĠподоÑĪ ла +ĠподпиÑģ ÑĮ +Ġпод полÑĮ +ĠподÑħод Ñĭ +ĠподÑĬ ема +Ġпоедин к +Ġпоезд кÑĥ +Ġпоезд ов +Ġпо еÑħаÑĤÑĮ +Ġпозд ниÑħ +Ġпой маÑĤÑĮ +ĠпокÑĥп ке +ĠпокÑĥп кÑĥ +Ġполаг аÑı +Ġпол евой +Ġпол евÑĭÑħ +Ġпол имеÑĢ +Ġполов ин +ĠполоÑĤ ен +ĠполоÑĤ на +ĠполÑİ Ð±Ð¸Ð» +ĠполÑı ков +Ġпомог ла +Ġпоп олам +ĠпоÑģел ке +ĠпоÑģеÑĤ иÑĤ +ĠпоÑģоб ие +ĠпоÑģоб иÑı +ĠпоÑģÑĭл ал +ĠпоÑĤеÑĢ Ñıв +ĠпоÑĤок ом +ĠпоÑĤ олок +ĠпоÑĤом ки +ĠпоÑĤÑĢÑı Ñģа +ĠпоÑħож ие +ĠпоÑħож ий +ĠпоÑħож им +ĠпÑĢав ами +ĠпÑĢав едн +ĠпÑĢед вид +ĠпÑĢеж дев +ĠпÑĢеж нее +ĠпÑĢеж ним +ĠпÑĢез енÑĤ +ĠпÑĢез иÑĢа +ĠпÑĢеÑĢ вал +ĠпÑĢе ÑĦекÑĤ +ĠпÑĢибоÑĢ а +ĠпÑĢи езда +ĠпÑĢиказ Ñĭ +ĠпÑĢ имиÑĢи +ĠпÑĢим Ñĭка +ĠпÑĢин ÑĤеÑĢ +ĠпÑĢи ÑĢоÑģÑĤ +ĠпÑĢиÑģÑĥÑī е +ĠпÑĢов ожа +ĠпÑĢой ден +ĠпÑĢой дÑĥÑĤ +ĠпÑĢоÑĢ ока +ĠпÑĢоÑģ леж +ĠпÑĢоÑĪл Ñĭм +ĠпÑĢоÑĪл ÑĭÑħ +ĠпÑĥнкÑĤа Ñħ +ĠÑĢабоÑĤ аÑİ +ĠÑĢабоÑĤ аÑı +ĠÑĢабоÑĩ ее +ĠÑĢаб ÑģÑĤво +ĠÑĢаз биÑĤÑĮ +ĠÑĢазвиÑĤ а +ĠÑĢазвиÑĤ о +ĠÑĢазмеÑĢ Ñĥ +ĠÑĢаз ниÑĨÑĥ +ĠÑĢаз ниÑĨÑĭ +ĠÑĢаз огÑĢе +ĠÑĢаз ÑĢази +ĠÑĢазÑĭ гÑĢа +ĠÑĢаÑģÑģ Ñĭпа +ĠÑĢаÑģÑĩеÑĤ Ñĭ +ĠÑĢебÑijн ок +ĠÑĢе еÑģÑĤÑĢе +ĠÑĢеÑģÑĤ авÑĢ +ĠÑĢим лÑıне +ĠÑĢим Ñģкий +ĠÑĢим ÑģкиÑħ +ĠÑĢиÑģ овал +ĠÑĢиÑģÑĥн ки +ĠÑĢÑĥк опиÑģ +ĠÑĢÑĥко ÑıÑĤк +ĠÑģвÑıз аÑĤÑĮ +ĠÑģдел ало +ĠÑģез онов +ĠÑģекÑĤоÑĢ е +ĠÑģкаж иÑĤе +ĠÑģк важин +ĠÑģкло наÑħ +ĠÑģклон ен +ĠÑģлез ами +ĠÑģлиÑı ниÑı +ĠÑģловаÑĢ Ñı +ĠÑģлож ное +ĠÑģлож нÑĥÑİ +ĠÑģмен иÑĤÑĮ +ĠÑģнаÑĢÑıд Ñĭ +ĠÑģниж аеÑĤ +ĠÑģо авÑĤоÑĢ +ĠÑģобиÑĢ ал +ĠÑģоб ÑĢали +ĠÑģовеÑĤ ом +ĠÑģовм еÑīа +ĠÑģозв езд +ĠÑģокÑĢаÑĤ и +ĠÑģоÑģÑĤ Ñıза +ĠÑģоÑİз нÑĭÑħ +ĠÑģпекÑĤ ÑĢа +ĠÑģпон ÑģоÑĢ +ĠÑģпоÑĢ иÑĤÑĮ +ĠÑģпÑĢÑıÑĤ ал +ĠÑģпÑĢÑıÑĤ ан +ĠÑģÑĢав ним +ĠÑģÑĢед ним +ĠÑģÑĤаÑĢ ика +ĠÑģÑĤаÑĢÑĤ ап +ĠÑģÑĤаÑĤÑĮ ей +ĠÑģÑĤаÑĤÑĮ ÑıÑħ +ĠÑģÑĤен ами +ĠÑģÑĤÑĢел ка +ĠÑģÑĤÑĢел ки +ĠÑģÑĤÑĢелÑı л +ĠÑģÑĥб Ñģиди +ĠÑģÑĥдÑĮ бой +ĠÑģÑİÑĢ пÑĢиз +ĠÑĤаб леÑĤк +ĠÑĤаблиÑĨ а +ĠÑĤаблиÑĨ Ñĥ +ĠÑĤеаÑĤ ÑĢов +ĠÑĤекÑĥÑī ей +ĠÑĤекÑĥÑī ий +ĠÑĤел еÑģно +ĠÑĤеоÑĢ ией +ĠÑĤеÑĢ ÑĢоÑĢа +ĠÑĤоп оним +ĠÑĤÑĢанз иÑĤ +ĠÑĤÑĢан Ñģли +ĠÑĤÑıжел ое +ĠÑĥбеж иÑīе +ĠÑĥг неÑĤен +ĠÑĥгÑĢож ал +ĠÑĥда ÑijÑĤÑģÑı +ĠÑĥдоб нее +ĠÑĥкÑĢеп ил +ĠÑĥлÑĥÑĩ ÑĪил +ĠÑĥмеÑĢ ÑĪиÑħ +ĠÑĥÑģил иÑĤÑĮ +ĠÑĥÑģлож нÑı +ĠÑĥÑģÑĤÑĢем и +ĠÑĥÑģÑĤÑĥп ив +ĠÑĥÑĤ веÑĢди +ĠÑĥÑĩеб нÑĭе +ĠÑĥÑĩенÑĭ ми +ĠÑĦав оÑĢиÑĤ +ĠÑĦигÑĥÑĢ ой +ĠÑĦикÑģ аÑĨи +ĠÑĦоÑĢм ами +ĠÑĦоÑĢм аÑĤа +ĠÑħозÑıй ка +ĠÑħÑĥли ган +ĠÑĩеÑĢеп аÑħ +ĠÑĩеÑĢÑĤ ами +ĠÑĩеÑĩен Ñģк +ĠÑĪиÑĢок аÑı +ĠÑįпизод е +ĠÑįÑģÑĤон Ñģк +ĠÑİг оÑģлав +ĠÑıвлÑı ÑıÑģÑĮ +ĠÑıдеÑĢ нÑĭÑħ +ĠÑıпон ÑĨев +ÐIJнглий Ñģк +ÐĺзвеÑģÑĤ иÑı +ÐľÐµÐ¼ оÑĢиал +ÐŀÑĤе ÑĩеÑģÑĤв +ÐŁÐ°Ð» еÑģÑĤин +ÐŁÐµÑĢ ÑģидÑģк +ÐŁÑĢог ÑĢеÑģÑģ +СбеÑĢб анк +СеÑĢ ебÑĢÑıн +ЧеÑĢ номоÑĢ +ак ÑĤиÑĩеÑģк +беÑģ конеÑĩ +б иваеÑĤÑģÑı +биÑĢа лиÑģÑĮ +биÑĢа ÑİÑĤÑģÑı +бÑĢав ÑĪиÑģÑĮ +вед еннÑĭе +вод илиÑģÑĮ +вод илоÑģÑĮ +в озможно +дав алаÑģÑĮ +дав алоÑģÑĮ +движ ение +деÑĢж ание +дÑĥм ÑĭваÑĤÑĮ +из веÑģÑĤно +ималÑĮ наÑı +иÑĢÑĥ ÑİÑīего +иÑģпол ком +иÑģÑĤ оÑĩник +иÑģÑĤ Ñģкого +иÑĤелÑĮ ÑģÑĤв +каÑĢм лива +ког ниÑĤив +к ÑĢеÑģÑĤÑĮÑıн +лаг аеÑĤÑģÑı +лож еннÑĭÑħ +менÑı лиÑģÑĮ +наб жение +непÑĢ еÑĢÑĭв +ним алаÑģÑĮ +ноÑģ илиÑģÑĮ +огÑĢам мов +олоÑģ овал +оÑĢ валиÑģÑĮ +пÑĢав лÑıеÑĤ +пÑĢаÑĪ ивал +пÑĢоп овед +ÑĢав новеÑģ +Ñģов ÑĢемен +ÑģÑĥÑĤÑģÑĤв ие +ÑĤиÑĢов аÑĤÑĮ +ÑĤÑıнÑĥ лиÑģÑĮ +ÑĥÑĩаÑģÑĤ ник +ÑĦеод алÑĮн +ÑĦизи олог +ÑĦи олеÑĤов +ÑħÑĢанили Ñī +Ġspec ulat +ueens land +ĠÐijелаÑĢ ÑĥÑģи +ĠÐijел гоÑĢод +ĠÐijлагод аÑĢ +ĠÐijон апаÑĢÑĤ +ĠÐijÑĢиÑĤ ании +ĠÐijÑĥд апеÑĪÑĤ +ĠÐĴ ведение +ĠÐĴиз анÑĤии +ĠÐĴикÑĤоÑĢ иÑı +ĠÐĴо енного +ĠÐĴоз неÑģен +ĠÐĵол ливÑĥд +ĠÐĵонÑĩ аÑĢов +ĠÐĵÑĢоз ного +ĠÐĶоволÑĮ но +ĠÐĶон еÑĨкой +ĠÐĶоп ÑĥÑģÑĤим +ĠÐĹапад ном +ĠÐĹел андии +ĠÐĺз веÑģÑĤнÑĭ +ĠÐļаÑģ пийÑģк +ĠÐļолÑĥмб ии +ĠÐļомиÑģÑģ аÑĢ +ĠÐļомиÑģÑģ ии +ĠÐļоÑĢ нилов +ĠÐļÑĢаÑģ нозн +ĠÐļ ÑĢиÑģÑĤиан +ĠÐļÑĢÑĭм Ñģкой +ĠÐĽÐµ онаÑĢдо +ĠÐĽÐµÐ¾Ð½ ÑĤÑĮев +ĠÐľÐ¾Ð»Ð´Ð°Ð² ии +ĠÐľÐ¾Ð½Ð³Ð¾Ð» ии +ĠÐľÑģÑĤ иÑģлав +ĠÐľÑĥÑħам мад +ĠÐĿа обоÑĢоÑĤ +ĠÐĿаÑĢод ной +ĠÐĿев Ñģкого +ĠÐŀпеÑĢ аÑĤоÑĢ +ĠÐŀ пиÑģание +ĠÐŀÑģнов ное +ĠÐŁÐ¾ наÑĩалÑĥ +ĠÐŁÑĢед лага +ĠÐŁÑĢем ÑĮеÑĢа +ĠÐŁÑĢи Ñĩиной +ĠÐłÐµÐ²Ð¾Ð»Ñİ ÑĨи +ĠÐłÐµÐ¶Ð¸ÑģÑģ ÑijÑĢ +ĠÐłÐ¾Ð´ илаÑģÑĮ +ĠÐłÐ¾Ð´ иÑĤели +ĠСвеÑĤ лана +ĠСинг апÑĥÑĢ +ĠСиÑĤÑĥ аÑĨиÑı +ĠСкоÑĢ оÑģÑĤÑĮ +ĠСÑĥвоÑĢ ова +ĠТеÑĢ ÑĢиÑĤоÑĢ +ĠТÑĢо ÑĨкого +ĠФилипп ин +ĠФÑĢанÑĨ иÑģк +ĠФÑĢед еÑĢик +ĠФÑĢид ÑĢиÑħа +ĠЧеÑĢ нÑĭÑĪев +ĠЧеÑĢÑĩил лÑĮ +ĠÐŃйн ÑĪÑĤейн +ĠÐŃлиз абеÑĤ +ĠагенÑĤ ÑģÑĤв +Ġакадем иÑı +ĠакÑĤив нÑĥÑİ +ĠакÑĤив нÑĭе +ĠакÑĤив нÑĭй +Ġам плиÑĤÑĥд +ĠанÑģам блÑĮ +Ġап елÑĮÑģин +ĠаÑĢаб ÑģкиÑħ +ĠаÑĢг енÑĤин +ĠаÑĢÑĤе ÑĦакÑĤ +ĠаÑĢÑĤиÑģÑĤ ка +ĠаÑĢÑĤиÑģÑĤ ов +ĠаÑģÑĤÑĢ олог +ĠаÑĤак овал +Ġбаз иÑĢова +ĠбакÑĤеÑĢ ий +ĠбаÑģÑģей не +Ġбед ноÑģÑĤи +Ġбед ÑģÑĤвиÑı +Ġблиз кого +Ġблиз оÑģÑĤÑĮ +Ġбож еÑģÑĤва +Ġболез нÑĮÑİ +ĠбÑĢаÑĤÑĮ Ñıми +ĠведÑĥÑī его +Ġвен еÑĨиан +ĠвеÑĢ немÑģÑı +ĠвеÑĢ неÑĤÑģÑı +ĠвеÑĢ ноÑģÑĤи +ĠвзглÑı нÑĥл +Ġвинов ник +ĠвинÑĤов ки +ĠвклÑİÑĩ ена +Ġвлад ений +Ġвозд еÑĢжа +ĠвоздÑĥÑħ ом +Ġвозмож ен +Ġвозм ÑĥÑīен +Ġво инÑģкой +Ġволей бол +Ġволн ение +ĠволоÑģ ами +Ġвопло Ñīен +ĠвоÑģÑģ озда +ĠвоÑģÑĤ оÑĩно +ĠвоÑģ ÑħодиÑĤ +ĠвплоÑĤ нÑĥÑİ +ĠвÑĢемен ам +ĠвÑģеобÑī ее +ĠвÑģеобÑī ей +ĠвÑģпÑĭÑħ нÑĥл +ĠвÑģÑĤÑĥп аÑĤÑĮ +ĠвÑĭбиÑĢа ÑİÑĤ +ĠвÑĭделÑı еÑĤ +ĠвÑĭз Ñĭвали +ĠвÑĭÑĢаж аÑĤÑĮ +ĠвÑĭ ÑģÑĤÑĢоен +ĠвÑĭ ÑĤекаÑİÑī +ĠвÑĭÑĤеÑģ нен +ĠвÑĭÑħод нÑĭе +ĠгаÑĢанÑĤи й +ĠглÑĥбок иÑħ +ĠглÑĥбок ом +ĠгоÑĢд оÑģÑĤÑĮ +ĠгоÑĢод ами +ĠгÑĥм аниÑģÑĤ +ĠдалÑĮ него +Ġдв инÑĥлÑģÑı +ĠдвоÑĢÑıн ин +ĠдейÑģÑĤв ии +Ġденеж нÑĭе +Ġдлин нÑĭми +Ġдобав ÑĮÑĤе +Ġдоб илиÑģÑĮ +ĠдовеÑĢ ÑıÑĤÑĮ +ĠдомаÑĪ ней +Ġдоп ÑĥÑģÑĤил +ĠдоÑģÑĢ оÑĩно +ĠдоÑģÑĤиг ло +ĠдоÑģÑĤÑĥп ен +ĠдоÑģÑĤÑĥп на +ĠдÑĥÑħов ном +ĠдÑĥÑħов нÑĥÑİ +ĠдÑĥÑħов нÑĭе +ĠдÑĥÑħов нÑĭй +ĠдÑĥÑħов нÑĭм +Ġжелез нÑĭе +Ġжен иÑĤÑĮÑģÑı +ĠжеÑĢÑĤв ами +Ġзабол ева +ĠзавиÑģ еÑĤÑĮ +ĠзаговоÑĢ а +Ġзад аваÑĤÑĮ +Ġзак ÑĢиÑĩал +Ġзаним ала +Ġзапад нÑĭм +ĠзапиÑģ Ñĭва +ĠзаплаÑĤ ил +ĠзаÑĢплаÑĤ Ñĥ +ĠзаÑģлÑĥж ил +ĠзаÑĤ оплен +ĠзаÑīиÑī аеÑĤ +ĠздоÑĢов ÑĮÑİ +ĠзеÑĢ калÑĮн +ĠзнаниÑı ми +ĠзолоÑĤ иÑģÑĤ +ĠигноÑĢ иÑĢÑĥ +ĠиеÑĢ оглиÑĦ +Ġизмен Ñĩив +ĠизолÑı ÑĨии +ĠизÑĭÑģк анн +ĠиллÑİ ÑģÑĤÑĢи +Ġиме ÑİÑīего +ĠинженеÑĢ Ñĭ +ĠиÑģпÑĢав лÑı +ĠиÑģпÑĭÑĤ аÑĤÑĮ +ĠиÑģÑĤин ное +ĠиÑģÑĤин ной +ĠиÑģÑĤин нÑĭй +ĠиÑģÑĤин нÑĭм +ĠиÑģÑĩез аÑİÑĤ +ĠиÑģ ÑĩиÑģлен +Ġказ алаÑģÑĮ +Ġказ алиÑģÑĮ +Ġказ аÑĤÑĮÑģÑı +Ġкам еннÑĭе +Ġкам еннÑĭÑħ +ĠкаÑĢÑĤин ка +ĠкваÑĢÑĤ але +Ġкино ÑĦеÑģÑĤ +Ġклад биÑīа +ĠклÑİÑĩ евÑĭе +Ġколлед жа +Ġколлед же +Ġкол околÑĮ +Ġкомп аÑĢÑĤи +Ġкон ÑģÑĤанÑĤ +ĠконÑĤ енÑĤа +ĠконÑĨ еÑĢÑĤÑĭ +ĠкоÑĢаблÑı Ñħ +ĠкоÑĢоÑĤ киÑħ +ĠкоÑĢпÑĥÑģ ов +ĠкоÑĢпÑĥÑģ ом +ĠкоÑģ монав +ĠкÑĢаÑģив аÑı +ĠкÑĢаÑģив ой +ĠкÑĢаÑģив Ñĭе +ĠкÑĢаÑģив Ñĭм +ĠкÑĢаÑģ оÑĤой +ĠкÑĢедиÑĤ ов +ĠкÑĢиÑĤеÑĢ ии +Ġлаб иÑĢинÑĤ +ĠлеÑģÑĤ ниÑĨÑĭ +ĠлеÑĤ опиÑģи +ĠлÑİбим ого +ĠмаÑĢÑĪÑĢÑĥ ÑĤÑĥ +ĠмаÑģÑģ овое +ĠмаÑģÑģ овÑĭе +ĠмаÑģÑĤеÑĢ ом +Ġмен ÑıÑĤÑĮÑģÑı +ĠменÑı ÑİÑĤÑģÑı +ĠмеÑĤе оÑĢиÑĤ +ĠмеÑĤод ики +Ġмлад енÑĨа +ĠмолÑĩ алив +ĠмонаÑĢÑħ ии +ĠмоÑĪен ник +ĠмÑĥжÑĩин ой +ĠмÑĥÑĩ иÑĤелÑĮ +ĠнагÑĢÑĥз кÑĥ +Ġна ладиÑĤÑĮ +ĠналиÑĩ ием +ĠнамеÑĢ енÑĭ +ĠнапиÑģ али +Ġна ÑĢаÑīива +ĠнаÑĢком ан +ĠнаÑĢод ами +ĠнаÑĢод наÑı +ĠнаÑĢод ное +ĠнаÑĢод нÑĭм +ĠнаÑĢÑĥÑĪ аеÑĤ +ĠнаÑģл ажда +ĠнаÑģÑĤа ива +ĠнаÑĥÑĩ илÑģÑı +ĠнаÑħод или +Ġнез наком +ĠнемеÑĨ каÑı +Ġнемног им +Ġнем ножко +ĠнеÑĤ ÑĢÑĥдно +ĠнеÑĥдоб но +ĠнÑĭнеÑĪ нем +ĠнÑĭнеÑĪ ниÑħ +ĠобеÑī аниÑı +Ġоб менива +Ġобог аÑīен +ĠобÑĢаÑī аеÑĤ +ĠобÑĢаÑī аÑĤÑĮ +ĠобÑĬÑıÑģ нен +Ġог ÑĢаблен +ĠогÑĢом ном +Ġознаком и +ĠознаÑĩ аÑĤÑĮ +Ġоказ аниÑı +ĠопаÑģ аÑıÑģÑĮ +ĠопÑĢав дал +ĠоÑģво ениÑı +ĠоÑģнов анÑĭ +ĠоÑģозн аÑĤÑĮ +ĠоÑģÑĤаÑĤ ков +ĠоÑĤвеÑĤ или +ĠоÑĤвеÑĩ али +ĠоÑĤвл еÑĩен +ĠоÑĤклон ен +ĠоÑĤ клÑİÑĩен +ĠоÑĤкÑĢÑĭ лÑģÑı +ĠоÑĤкÑĢÑĭ ÑĤий +ĠоÑĤкÑĢÑĭÑĤо е +ĠоÑĤкÑĢÑĭÑĤ Ñĭе +ĠоÑĤлиÑĩ иÑĤÑĮ +ĠоÑĤлиÑĩ нÑĭй +ĠоÑĤмен иÑĤÑĮ +ĠоÑĤмеÑĩ енÑĭ +ĠоÑĤ пÑĥÑģÑĤил +ĠоÑĤÑģÑĤав ке +ĠоÑĤÑģÑĤа ива +ĠоÑĤÑĩаÑı ние +ĠоÑĤÑĭÑģк аÑĤÑĮ +ĠоÑĦиÑĨеÑĢ ом +ĠоÑīÑĥÑī ений +ĠпеÑĢв иÑĩно +ĠпеÑĢев ели +ĠпеÑĢед ана +ĠпеÑĢед виж +ĠпеÑĢеж иÑĤÑĮ +ĠпеÑĢек ÑĢÑĭÑĤ +ĠпеÑĢиÑĦ еÑĢи +ĠпеÑħоÑĤ ной +Ġплав ание +ĠплаÑĤеж ей +ĠплоÑīад кÑĥ +Ġпобеж ден +Ġпоб олÑĮÑĪе +ĠповÑĭÑĪ аеÑĤ +Ġпогло Ñīен +ĠпогÑĢеб ен +Ġпод аваÑĤÑĮ +Ġподлеж аÑĤ +ĠпозволÑı л +Ġпозд него +Ġпозн ание +Ġпоказ ало +Ġпоказ ана +Ġпоказ анÑĭ +Ġпокид аеÑĤ +ĠпокÑĢÑĭ ÑĤиÑı +Ġполез ной +Ġполез нÑĭе +Ġпол иÑĨией +ĠполÑĥÑĩ иÑĤе +ĠполÑĮзов а +Ġпом енÑıÑĤÑĮ +ĠпонÑıÑĤ нÑĭм +ĠпооÑī ÑĢени +ĠпопÑĢав ки +ĠпоÑĢаж аеÑĤ +ĠпоÑĢÑĥÑĩ ено +ĠпоÑĢÑıд ком +ĠпоÑģеÑī аÑĤÑĮ +ĠпоÑģл овиÑĨ +Ġпо ÑģпеÑĪно +ĠпоÑģÑĤÑĥп ал +ĠпоÑģÑĭл аеÑĤ +ĠпоÑĤом ков +ĠпоÑĤ ÑĢаÑĤил +ĠпоÑĩиÑĤ аÑĤÑĮ +ĠпоÑĩÑĤов ÑĭÑħ +ĠпоÑıв ÑıÑĤÑģÑı +ĠпÑĢав овÑĭÑħ +ĠпÑĢав оÑģÑĥд +ĠпÑĢазд нов +ĠпÑĢевÑĭÑģ ил +ĠпÑĢевÑĭÑĪ ал +ĠпÑĢед аниÑı +ĠпÑĢед ÑģÑĤал +ĠпÑĢеж него +ĠпÑĢепод об +ĠпÑĢиб авил +ĠпÑĢивез ли +ĠпÑĢивÑĭÑĩ ка +ĠпÑĢигод нÑĭ +ĠпÑĢид ÑijÑĤÑģÑı +ĠпÑĢием ник +ĠпÑĢи еÑħала +ĠпÑĢи еÑħаÑĤÑĮ +ĠпÑĢиз ÑijÑĢом +ĠпÑĢи лиÑĩно +ĠпÑĢим енил +ĠпÑĢинеÑģ еÑĤ +ĠпÑĢиним аÑİ +ĠпÑĢи ноÑģил +ĠпÑĢин ÑıÑĤии +ĠпÑĢиÑģво ил +ĠпÑĢи ÑıÑĤелÑĮ +ĠпÑĢоб овал +ĠпÑĢовеÑĢ ке +ĠпÑĢогÑĥл ки +ĠпÑĢод Ñĥман +ĠпÑĢоекÑĤ аÑħ +ĠпÑĢоп аÑģÑĤÑĮ +ĠпÑĢоп иÑĤан +ĠпÑĢоÑģÑĤ иÑĤÑĮ +ĠпÑĢоÑĩ иÑĤан +ĠпÑĢо ÑīениÑı +ĠÑĢазв ивал +ĠÑĢазвиÑĤ ÑĭÑħ +ĠÑĢаз воÑĢоÑĤ +ĠÑĢаз гÑĢома +ĠÑĢаз далÑģÑı +ĠÑĢазделÑı л +ĠÑĢазлиÑĩ ий +ĠÑĢазмеÑĢ ам +ĠÑĢазмеÑĢ аÑħ +ĠÑĢазмнож а +ĠÑĢазоб ÑĢал +ĠÑĢаз ÑĢÑĥÑĪил +ĠÑĢаÑģ ÑģÑĤава +ĠÑĢаÑģÑĤвоÑĢ Ñı +ĠÑĢаÑģÑĨвеÑĤ а +ĠÑĢаÑģÑĩеÑĤ ов +ĠÑĢаÑģÑĪи ÑĢил +ĠÑĢе алÑĮнаÑı +ĠÑĢе алÑĮное +ĠÑĢеалÑĮ нÑĥÑİ +ĠÑĢедак ÑĨиÑı +ĠÑĢед коÑģÑĤÑĮ +ĠÑĢей ÑĤинга +ĠÑĢейÑĤинг е +ĠÑĢеÑĨ епÑĤоÑĢ +ĠÑĢеÑĪ аеÑĤÑģÑı +ĠÑĢод илиÑģÑĮ +ĠÑĢ ождении +ĠÑĢоман ÑĤик +ĠÑĢÑĭно Ñĩной +ĠÑģбоÑĢ нике +ĠÑģвид аниÑı +ĠÑģвÑıÑĤи лиÑī +ĠÑģемей ной +ĠÑģеÑĢвиÑģ ов +ĠÑģилÑĮ нÑĭми +ĠÑģкÑĢ ÑĭваÑĤÑĮ +ĠÑģлед овал +ĠÑģлов еÑģно +ĠÑģлож ного +ĠÑģниж ениÑİ +ĠÑģобиÑĢа еÑĤ +ĠÑģокÑĢаÑĤ ил +ĠÑģоп ÑĢÑıжен +ĠÑģоÑģед ней +ĠÑģоÑģÑĤоÑı ли +ĠÑģоÑģÑĤоÑı ло +ĠÑģоÑģÑĤоÑı ÑĤÑĮ +ĠÑģоÑĤвоÑĢ ен +ĠÑģоÑħÑĢан ен +ĠÑģоÑİз ники +ĠÑģпокой нÑĭ +ĠÑģпÑĢоÑģ или +ĠÑģÑĢаж ений +ĠÑģÑĤаб илиз +ĠÑģÑĤав иÑĤÑģÑı +ĠÑģÑĤад иона +ĠÑģÑĤол иÑĨей +ĠÑģÑĤолов ой +ĠÑģÑĤÑĢад аÑİÑĤ +ĠÑģÑĤÑĢ аннÑĭе +ĠÑģÑĤÑĢ аннÑĭй +ĠÑģÑĤÑĢаÑĪ ное +ĠÑģÑĤÑĢаÑĪ нÑĭй +ĠÑģÑĤÑĢем ÑıÑģÑĮ +ĠÑģÑĥдеб ном +ĠÑģÑĥпÑĢÑĥг ов +ĠÑģÑĥÑħопÑĥÑĤ н +ĠÑģÑĨен аÑĢии +ĠÑĤанков аÑı +ĠÑĤеÑĢп ение +ĠÑĤоÑĢгов лÑİ +ĠÑĤоÑĢг овой +ĠÑĤоÑĢг овÑĭй +ĠÑĤÑĢÑĥд овÑĭÑħ +ĠÑĤÑī аÑĤелÑĮн +ĠÑĤÑıжел ого +ĠÑĥглеÑĢ ода +ĠÑĥгÑĢож аеÑĤ +ĠÑĥгÑĢож аÑİÑī +ĠÑĥдал ение +ĠÑĥкÑĢеп иÑĤÑĮ +ĠÑĥменÑĮ ÑĪил +ĠÑĥмеÑĢ ÑĪего +ĠÑĥпомÑıн Ñĥл +ĠÑĥÑģи ленно +ĠÑĥÑģили Ñıми +ĠÑĥÑģпеÑĪ ной +ĠÑĥÑģпоко ил +ĠÑĥÑģÑĤÑĢо или +ĠÑĥÑĩени ком +ĠÑĦанÑĤаз иÑı +ĠÑĦилоÑģоÑĦ а +ĠÑĦÑĥнкÑĨи ей +ĠÑħолод нÑĭй +ĠÑħолод нÑĭм +ĠÑĨиÑĤ иÑĢÑĥеÑĤ +ĠÑĨиÑĦÑĢов ой +ĠÑĩеÑĢ еÑģÑĩÑĥÑĢ +ĠÑĩеÑģÑĤ олÑİб +ĠÑĩиÑĤ аÑĤели +ĠÑįкÑģп анÑģи +ĠÑįкÑģп онаÑĤ +ĠÑįкÑģп оÑĢÑĤа +ĠÑıв лением +ĠÑıпон Ñģкие +ĠÑıпон Ñģкий +ÐIJлекÑģ андÑĢ +ÐĴ оÑģÑĤоÑĩной +ÐĹапад ного +Ðļали ÑĦоÑĢни +ÐĽÐ¾ÐºÐ¾Ð¼ оÑĤив +ÐłÐ¾ÑģÑģий Ñģко +англий Ñģки +благодаÑĢ н +бÑĢаÑģ ÑĭваеÑĤ +бÑĢаÑģ ÑĭваÑĤÑĮ +влек аÑĤелÑĮ +гÑĢаммаÑĤ ик +двиг аеÑĤÑģÑı +деÑĢж алиÑģÑĮ +диÑĦ ÑĦеÑĢенÑĨ +еÑĤ иÑĩеÑģкой +иÑĢов алаÑģÑĮ +клав иаÑĤÑĥÑĢ +л иÑĤеÑĢаÑĤÑĥÑĢ +напÑĢав лен +обвин иÑĤел +ообÑĢаз нÑĭÑħ +опеÑĢ аÑĨион +ополож ени +опÑĢиÑıÑĤ нÑĭÑħ +оÑģоÑĩеÑĤ ани +подвиж ник +п оминание +поÑģÑĤав Ñīик +пÑĢав иÑĤелÑĮ +пÑĢеод олим +пÑĢом ÑĭÑĪлен +пÑĢониÑĨ аем +ÑĢаз бойник +ÑĢеак ÑĨионн +ÑģÑĤоÑĢон ние +ÑģÑĤоÑĢон ним +ÑģÑĤоÑĢон ниÑħ +ÑģÑĤÑĢо иÑĤÑĮÑģÑı +ÑģÑĤÑĥп аÑİÑīиÑħ +ÑĥлиÑĢов аÑĤÑĮ +ÑħÑĥдож еÑģÑĤв +ÑĨиклоп еди +ÑĩиÑģлен нÑĭе +Ñĩ ÑĢезвÑĭÑĩай +ĠÐIJмÑģÑĤеÑĢ дам +ĠÐIJÑĢг енÑĤинÑĭ +ĠÐijиблиоÑĤ ек +ĠÐijоÑĢиÑģ овиÑĩ +ĠÐĴикипед ии +ĠÐĴÑģелен наÑı +ĠÐĵол ландии +ĠÐĶоб ÑĢоволÑĮ +ĠÐķлизав еÑĤÑĭ +ĠÐĺндон езии +ĠÐĺнÑģÑĤиÑĤÑĥÑĤ е +ĠÐĺнÑĤеÑĢн еÑĤе +ĠÐĺÑģполÑĮз ÑĥÑı +ĠÐļиев Ñģкого +ĠÐĽÐµÑĢмонÑĤ ов +ĠÐĽÐ¾Ð¼Ð¾Ð½Ð¾Ñģ ов +ĠÐľÐ°ÑĢгаÑĢ иÑĤа +ĠÐĿаг ÑĢажден +ĠÐĿаÑĢод ного +ĠÐĿекоÑĤоÑĢ ое +ĠÐĿов гоÑĢода +ĠÐĿовгоÑĢод е +ĠÐŀлимпи адÑĭ +ĠÐŀлимпий Ñģк +ĠÐŀÑģнов нÑĭми +ĠÐŁÐ°ÑĢ ламенÑĤ +ĠÐŁÐ¾ÑģÑĤоÑı нно +ĠÐŁÑĢав илÑĮно +ĠÐŁÑĢеÑģ вÑıÑĤой +ĠÐŁÑĢи балÑĤик +ĠÐłÐµÐ²Ð¾Ð»Ñİ ÑĨии +ĠÐłÐ¾Ð¶Ð´ еÑģÑĤва +ĠСÑĤо имоÑģÑĤÑĮ +ĠТаÑĤаÑĢ ÑģÑĤан +ĠХмелÑĮ ниÑĨк +ĠабÑģÑĤ ÑĢакÑĨи +Ġадап ÑĤаÑĨии +ĠадекваÑĤ но +Ġакадем ика +ĠалÑİмин иев +ĠанÑĤиÑģ емиÑĤ +ĠанÑĤиÑģ овеÑĤ +ĠаÑģÑĤÑĢ онавÑĤ +ĠаÑĤак овали +ĠаÑįÑĢод ÑĢоме +ĠбеÑĢег овой +ĠбеÑģп илоÑĤн +Ġближай ÑĪем +ĠбÑĢил лианÑĤ +ĠвдоÑħнов лÑı +ĠвеÑĤеÑĢ анов +ĠвзÑĢоÑģл ого +ĠвклÑİÑĩ ение +ĠвладелÑĮ ÑĨÑĭ +ĠвоздÑĥÑĪ нÑĭе +Ġвозника ли +Ġвозника ÑİÑī +ĠвозÑĢаÑģÑĤ ом +ĠвоÑģпиÑĤ Ñĭва +ĠвоÑģ пÑĢинÑıл +ĠвÑĢемен ное +ĠвÑĢем еннÑĭÑħ +ĠвÑĢÑĥÑĩ ением +ĠвÑģеобÑī его +ĠвÑĤоÑĢ жение +ĠвÑĭдеÑĢж аÑĤÑĮ +ĠвÑĭполн ена +ĠвÑĭполнÑı ем +ĠвÑĭпÑĥÑģк аÑĤÑĮ +ĠвÑĭпÑĥÑģк ник +ĠвÑĭп ÑĥÑģÑĤила +ĠвÑĭп ÑĥÑģÑĤили +ĠвÑĭп ÑĥÑģÑĤиÑĤÑĮ +ĠвÑĭ ÑĢабоÑĤан +ĠвÑĭÑĢаж ениÑİ +ĠвÑĭÑģказ аÑĤÑĮ +ĠвÑĭ ÑģÑĤÑĢаива +ĠвÑĭÑģÑĤÑĢ елов +ĠвÑĭÑıв лениÑı +ĠгаÑĢниз она +Ġгени алÑĮно +Ġге огÑĢаÑĦии +ĠгеомеÑĤ ÑĢии +ĠгоÑĢиз онÑĤа +ĠгоÑĢод Ñģким +ĠгоÑģпиÑĤ але +ĠгоÑģÑĤин иÑĨе +ĠгоÑģÑĤин иÑĨÑĭ +ĠгÑĢеÑĩеÑģ кий +ĠдалÑĮ ноÑģÑĤи +ĠдвинÑĥ лиÑģÑĮ +ĠдейÑģÑĤв енн +ĠдепÑĢеÑģÑģ ии +ĠдеÑĦоÑĢм аÑĨи +Ġдиаг ноÑģÑĤи +Ġдивизион е +ĠдиÑģ пеÑĤÑĩеÑĢ +Ġдобав лÑıÑĤÑĮ +ĠдоговоÑĢ ом +ĠдопÑĥÑģка еÑĤ +ĠдоÑĢож ного +ĠдоÑģÑĤав или +ĠдоÑģÑĤав лÑıл +ĠдоÑģÑĤиг аÑĤÑĮ +ĠдоÑģÑĤ опÑĢим +ĠдÑĭÑħ аÑĤелÑĮн +ĠевÑĢей ÑģкиÑħ +ĠепиÑģкоп ом +Ġжизнен ной +Ġжизн еннÑĭй +Ġзавед ение +Ġзавоев аÑĤÑĮ +ĠзагÑĢÑıз нен +ĠзадеÑĢж али +ĠзадеÑĢж аÑĤÑĮ +Ġзаказ Ñĩика +ĠзакÑĢеп иÑĤÑĮ +Ġзак ÑĢÑĭваеÑĤ +ĠзамеÑĩ ание +ĠзапеÑĩаÑĤ ле +ĠзапÑĢеÑī аеÑĤ +ĠзаÑģÑĤав ило +Ġза ÑħоÑĢонен +ĠзаÑıв лении +ĠздоÑĢов ÑĮем +Ġзем левлад +ĠзнаÑĩ ением +ĠизгоÑĤов лÑı +Ġиз ложение +Ġизмен ениÑİ +Ġизмени лÑģÑı +ĠизмеÑĢ ение +ĠизÑĥÑĩ ением +Ġиме ÑİÑīиÑħÑģÑı +ĠиммÑĥн иÑĤеÑĤ +ĠинженеÑĢ ом +Ġин ÑģÑĤанÑĨии +ĠинÑģÑĤиÑĤÑĥÑĤ Ñĭ +ĠинÑĤеÑĢеÑģ ом +ĠинÑĨи денÑĤа +ĠиÑģклÑİÑĩ аеÑĤ +ĠиÑģпан Ñģкий +ĠиÑģполн иÑĤÑĮ +ĠиÑģÑĤин ного +ĠиÑģÑĤÑĢеб лен +ĠкавалеÑĢ ии +ĠкаÑĢÑĤо ÑĦелÑı +ĠкаÑĤегоÑĢ иÑİ +ĠкаÑĩ еÑģÑĤвом +Ġкил огÑĢамм +Ġкино ÑĦилÑĮм +ĠкиÑĤай Ñģкие +ĠкиÑĤай Ñģкий +ĠкоммÑĥниз м +ĠкомпеÑĤ енÑĤ +Ġкомп лекÑģÑĭ +ĠконгÑĢеÑģÑģ а +ĠконÑĤек ÑģÑĤа +ĠкоÑĢаб елÑĮн +ĠкоÑĢÑĢÑĥп ÑĨии +ĠлекаÑĢ ÑģÑĤво +Ġл енингÑĢад +ĠлиÑĩ ноÑģÑĤÑĮÑİ +Ġмагазина Ñħ +ĠмаленÑĮ ким +ĠмаленÑĮ ком +ĠмаленÑĮ кÑĥÑİ +ĠмаÑĢкÑģ изма +ĠмаÑģÑĤеÑĢ Ñģки +ĠмаÑģÑĪÑĤаб аÑħ +ĠмеÑĤалл ÑĥÑĢг +Ġмнож еÑģÑĤве +ĠмÑĥзÑĭ канÑĤÑĭ +ĠмÑĭÑģл иÑĤелÑĮ +ĠнаблÑİ Ð´Ð°Ð»Ð¸ +ĠназнаÑĩ аÑİÑĤ +ĠназнаÑĩ или +ĠназнаÑĩ иÑĤÑĮ +ĠнамеÑĢ ении +ĠнамеÑĢ енно +ĠнапиÑģ ание +Ġнап одобие +Ġнап омниÑĤÑĮ +Ġна ÑĢиÑģован +ĠнаÑĢÑĥÑĪ ении +ĠнаÑģел ениÑİ +ĠнаÑģÑĤоÑıÑī иÑħ +ĠнаÑģÑĤоÑıÑī ÑĥÑİ +ĠнаÑģÑĤÑĢо иÑĤÑĮ +ĠнаÑĥÑĩ илиÑģÑĮ +ĠнекоÑĤоÑĢ ÑĥÑİ +ĠнекоÑĤоÑĢ Ñĭй +Ġнен адолго +ĠнеÑģÑĩаÑģÑĤÑĮ е +ĠноÑģ иÑĤелей +ĠнÑĢав илоÑģÑĮ +ĠнÑĥжда ÑİÑĤÑģÑı +Ġобвин ениÑİ +Ġоблег ÑĩиÑĤÑĮ +ĠобоÑĢ аÑĩива +ĠобоÑģнов ал +ĠобÑĢабоÑĤ ка +ĠобÑĢад овал +ĠобÑĢазов ав +ĠобÑĢаÑī алÑģÑı +ĠобÑĬедин Ñijн +ĠобÑĬÑıвлÑı еÑĤ +ĠобÑĬÑıÑģнÑı ÑİÑĤ +Ġожид аеÑĤÑģÑı +ĠопиÑģ Ñĭваем +ĠопÑĢав даÑĤÑĮ +ĠоÑĢбиÑĤ алÑĮн +ĠоÑģозн ание +ĠоÑģÑĤав аÑıÑģÑĮ +ĠоÑģÑĤав лÑıÑİÑĤ +ĠоÑģÑĤ алÑĮной +ĠоÑģÑĤ алÑĮном +ĠоÑģÑĤан ÑĥÑĤÑģÑı +ĠоÑģÑĤоÑĢож нÑĭ +ĠоÑĤвеÑĢг нÑĥÑĤ +ĠоÑĤделÑĮ нÑĥÑİ +ĠоÑĤкÑĢÑĭ лаÑģÑĮ +ĠоÑĤÑĢиÑĨ ание +ĠоÑĤÑģлеж ива +ĠоÑĤÑģÑĤÑĥп иÑĤÑĮ +ĠпеÑĢед вига +ĠпеÑĢед овой +ĠпеÑĢеÑģÑĤ аеÑĤ +ĠпеÑĢеÑģÑĤ ала +ĠпеÑĢеÑħод ил +ĠпеÑĢеÑħод ÑıÑĤ +ĠпеÑĢеÑĩ иÑģлÑı +ĠпеÑĤ еÑĢбÑĥÑĢг +ĠпиÑģÑĤ олеÑĤа +ĠплаÑģÑĤ маÑģÑģ +ĠповеÑĢ нÑĥÑĤÑĮ +ĠповÑĤоÑĢ ÑıеÑĤ +ĠповÑĭÑĪ ениÑİ +ĠпоговоÑĢ им +Ġподвод нÑĭе +Ġподзем нÑĭÑħ +Ġподним аеÑĤ +ĠподнÑı лаÑģÑĮ +ĠподнÑı лиÑģÑĮ +Ġподоб ÑĢаÑĤÑĮ +ĠподпиÑģ али +ĠподпиÑģ аÑĤÑĮ +ĠподÑĩин иÑĤÑĮ +Ġпожал овал +Ġпожал ован +ĠпозволÑı ла +ĠпозволÑı ли +ĠпозволÑı ло +Ġпоказ аний +Ġпокой ного +Ġпок онÑĩиÑĤÑĮ +Ġполож ениÑİ +ĠполÑĥÑĩ илÑģÑı +Ġпопад аниÑı +ĠпопÑĢоÑģ или +ĠпопÑĢоÑģ иÑĤÑĮ +ĠпопÑĥлÑı ÑĢиз +Ġпоп ÑĥлÑıÑĨии +ĠпоÑģ елилÑģÑı +ĠпоÑģлÑĥж ило +ĠпоÑıв лении +ĠпÑĢавил ами +ĠпÑĢазд ники +ĠпÑĢакÑĤи кой +ĠпÑĢед иÑģлов +ĠпÑĢедлаг аÑİ +ĠпÑĢед логом +ĠпÑĢедÑģÑĤав л +ĠпÑĢез ÑĢение +ĠпÑĢеобÑĢаз Ñĥ +ĠпÑĢеÑĤен зий +ĠпÑĢиговоÑĢ а +ĠпÑĢизнак ам +ĠпÑĢиз наком +ĠпÑĢинÑĨип аÑħ +ĠпÑĢиобÑĢ ели +ĠпÑĢиÑĢод нÑĭе +ĠпÑĢиÑħод иÑĤÑĮ +ĠпÑĢиÑĩ Ñĥдлив +ĠпÑĢоблем аÑħ +ĠпÑĢоб Ñĥжден +ĠпÑĢовеÑĢ ÑıеÑĤ +ĠпÑĢовин ÑĨий +ĠпÑĢодолж аÑı +ĠпÑĢодÑĥк ÑĨиÑı +ĠпÑĢоиз вели +ĠпÑĢоизоÑĪ Ñijл +ĠпÑĢоиÑģ ÑĪедÑĪ +ĠпÑĢоÑģпекÑĤ а +ĠпÑĢоÑĤокол а +ĠпÑĢоÑĤÑıж енн +ĠпÑĢоÑĨеÑģÑģ аÑħ +ĠпÑĢоÑĩ ноÑģÑĤÑĮ +ĠпÑĢоÑıвлÑı еÑĤ +ĠпÑĥблиÑĩ нÑĭÑħ +ĠпÑĥлемеÑĤ ов +ĠÑĢавен ÑģÑĤва +ĠÑĢаз бÑĢоÑģан +ĠÑĢазделÑı еÑĤ +ĠÑĢазделÑı ÑİÑĤ +ĠÑĢазлиÑĩ аÑĤÑĮ +ĠÑĢазÑĢÑĥÑĪ иÑĤÑĮ +ĠÑĢазÑĬÑıÑģ нен +ĠÑĢаÑģпоÑĢÑıд и +ĠÑĢеаг иÑĢÑĥеÑĤ +ĠÑĢе алиÑģÑĤиÑĩ +ĠÑĢев олÑĮвеÑĢ +ĠÑĢеÑģÑĤоÑĢан е +ĠÑĢиÑģков анн +ĠÑĢ ождаеÑĤÑģÑı +ĠÑģвобод нÑĭе +ĠÑģвÑıзан наÑı +ĠÑģвÑıзан ное +ĠÑģвÑıзан ной +ĠÑģдел аннÑĭе +ĠÑģдеÑĢж анно +ĠÑģевеÑĢ ного +ĠÑģеÑĢÑĮез ное +ĠÑģеÑĢÑĮез ной +ĠÑģим меÑĤÑĢиÑĩ +ĠÑģимпаÑĤ иÑĩн +ĠÑģимпÑĤом ов +ĠÑģкан динав +ĠÑģлож илоÑģÑĮ +ĠÑģлÑĥÑĩай нÑĭÑħ +ĠÑģлÑĥÑĩ алоÑģÑĮ +ĠÑģлÑĥÑĩ иÑĤÑĮÑģÑı +ĠÑģовеÑĤ овал +ĠÑģовеÑī ании +ĠÑģовпад аÑİÑĤ +ĠÑģоедин ÑıеÑĤ +ĠÑģоздав али +ĠÑģоздан наÑı +ĠÑģоздан ной +ĠÑģозд аннÑĭÑħ +ĠÑģолдаÑĤ ами +ĠÑģолн еÑĩной +ĠÑģолн еÑĩнÑĭÑħ +ĠÑģоÑģед ÑģÑĤвÑĥ +ĠÑģоÑģÑĤав ило +ĠÑģпекÑĤак ле +ĠÑģпекÑĤак ли +ĠÑģпоÑģоб нÑĭе +ĠÑģпоÑģоб нÑĭй +ĠÑģпÑĢаÑĪ иваÑİ +ĠÑģÑĢедÑģÑĤва Ñħ +ĠÑģÑĤаÑĢ аÑĤÑĮÑģÑı +ĠÑģÑĤаÑĢÑĤ овал +ĠÑģÑĤоÑĢон ами +ĠÑģÑĤÑĢад аний +ĠÑģÑĤÑĢаÑĤег иÑİ +ĠÑģÑĤÑĢаÑĪ ного +ĠÑģÑĤÑĥденÑĤ ам +ĠÑģÑĩаÑģÑĤ ливо +ĠÑģÑĩиÑĤ алаÑģÑĮ +ĠÑĤамож енно +ĠÑĤвоÑĢ ÑĩеÑģки +ĠÑĤÑĢеб овала +ĠÑĥбежд ение +ĠÑĥвл еÑĩение +ĠÑĥказ анием +ĠÑĥказ аннÑĭе +ĠÑĥказ ÑĭваÑĤÑĮ +ĠÑĥлÑĭб нÑĥлÑģÑı +ĠÑĥпомÑıн ÑĥÑĤÑĮ +ĠÑĥÑģпоко иÑĤÑĮ +ĠÑĥÑģÑĤал оÑģÑĤÑĮ +ĠÑĥÑģÑĤÑĢем лен +ĠÑĦеод алÑĮно +ĠÑĦилоÑģоÑĦ иÑİ +ĠÑĦилоÑģоÑĦ ов +ĠÑĦÑĢей мвоÑĢк +ĠÑħÑĢаб ÑĢоÑģÑĤÑĮ +ĠÑĨеÑĢемон иÑı +ĠÑĩиÑĤаÑĤелÑı м +ĠÑįнеÑĢг иÑĩно +ĠÑİÑĢиÑģ дикÑĨи +ÐĺÑģÑĤоÑĢ иÑĩеÑģк +СибиÑĢ Ñģкого +С пÑĢаведлив +благодаÑĢ ил +внÑĥÑĪ иÑĤелÑĮн +говаÑĢ иваеÑĤ +двой ÑģÑĤвенн +домин иÑĢÑĥÑİÑī +евÑĢопей Ñģки +знаÑģил ован +индивидÑĥ ал +иÑĢов аннÑĭми +иÑģÑĤ иÑĩеÑģким +конÑĤÑĢол иÑĢÑĥ +на ÑĨионалÑĮн +нейÑĤÑĢ алÑĮно +неполиÑĤ иÑĩе +огÑĢаÑĦ иÑĩеÑģк +опÑĥÑĤÑģÑĤв ÑĥÑİÑī +оÑĦиÑĨи алÑĮно +пиÑģ ÑĭваÑİÑĤÑģÑı +пÑĢав лÑıÑĤÑĮÑģÑı +пÑĢоÑģÑĤÑĢан ен +ÑĢаÑģ положен +ÑģоблÑİд ение +ÑĦаÑĪиÑģÑĤ ÑģкиÑħ +Ġlocom otive +ĠÐIJÑĢиÑģÑĤоÑĤ елÑĮ +ĠÐIJÑĢиÑģÑĤоÑĤ елÑı +ĠÐIJÑģÑģоÑĨи аÑĨии +ĠÐijÑĢиÑĤан Ñģкой +ĠÐĴÑģлед ÑģÑĤвие +ĠÐĽÐµÑĢмонÑĤ ова +ĠÐĽÐ¸ÑĤеÑĢ аÑĤÑĥÑĢа +ĠÐĽÐ¾Ð¼Ð¾Ð½Ð¾Ñģ ова +ĠÐľÐ¸Ð½ обоÑĢонÑĭ +ĠÐĿеÑģ омненно +ĠÐĿиколаев на +ĠÐŀÑĤ ÑģÑĥÑĤÑģÑĤвие +ĠÐŁÐ¾Ð±ÐµÐ´ иÑĤелÑĮ +ĠÐŁÐ¾Ð»ÑĥÑĩ аеÑĤÑģÑı +ĠÐłÐ°ÑģÑģказ Ñĭва +ĠÐłÐ¾ÑģÑģ ийÑģкий +ĠÐłÐ¾ÑģÑĤ овÑģкой +ĠСвеÑĢдлов Ñģк +ĠСÑĤаниÑģлав а +ĠУ ÑģÑĤановлен +ĠанÑĤи биоÑĤик +ĠанÑĤÑĢоп олог +ĠаÑĢеÑģÑĤ овали +ĠаÑĢÑĤиллеÑĢ иÑı +ĠаÑģÑģоÑĨи аÑĨиÑı +ĠаÑģÑĤÑĢоном ии +ĠбаÑĤалÑĮ онов +Ġбезнад ежно +ĠбезÑĥ ÑģпеÑĪно +ĠбеÑģпол езнÑĭ +ĠболÑĮÑĪев ики +ĠбÑĢиÑĤан Ñģким +ĠвеÑĢÑĤолеÑĤ ов +ĠвладелÑĮ ÑĨем +Ġвод опÑĢовод +Ġвозб Ñĥждено +ĠвоÑģÑĤоÑĩ ного +ĠвоÑģÑħиÑī ение +ĠвоÑģÑħ ождени +ĠвÑģп оминаÑĤÑĮ +ĠвÑĭда ÑİÑīийÑģÑı +ĠвÑĭполн ениÑİ +ĠвÑĭÑģказ Ñĭвал +ĠгеÑĢо иÑĩеÑģки +ĠгоÑģпод ÑģÑĤва +ĠгоÑĤов иÑĤÑĮÑģÑı +ĠгÑĢаждан ами +ĠдвоÑĢÑıн ÑģÑĤва +ĠдеÑĢевÑıн нÑĭй +ĠдеÑĢевÑıн нÑĭÑħ +ĠдиÑģÑĨип лина +Ġдоб иваÑĤÑĮÑģÑı +ĠдоÑģÑĤаÑĤ оÑĩнÑĭ +ĠдоÑģÑĤиг нÑĥÑĤо +ĠдоÑģÑĤиж ении +ĠдоÑģÑĤовеÑĢ но +ĠдоÑģÑĤовеÑĢ нÑĭ +ĠдÑĢев нейÑĪиÑħ +ĠжеÑģÑĤок оÑģÑĤÑĮ +Ġжизнен ного +ĠзабоÑĤ иÑĤÑĮÑģÑı +ĠзавеÑĢÑĪ ении +ĠзаговоÑĢ Ñīик +ĠзадÑĥм аÑĤÑĮÑģÑı +ĠзаÑģÑĤав лÑıÑİÑĤ +ĠзаÑħоÑĤел оÑģÑĮ +ĠзаÑīиÑĤ ников +ĠзлоÑĥп оÑĤÑĢеб +ĠзнамениÑĤ Ñĭм +ĠизвеÑģÑĤ нÑĭми +ĠизмелÑĮ Ñĩенн +Ġизмен ением +ĠимпеÑĢаÑĤоÑĢ Ñĥ +ĠинвеÑģÑĤи ÑĨии +ĠинвеÑģÑĤ оÑĢов +ĠиндивидÑĥ Ñĥм +ĠиниÑĨиаÑĤив Ñĭ +Ġин ÑģÑĤÑĢÑĥкÑĨиÑı +ĠинÑĤеÑĢеÑģ ами +ĠинÑĤеÑĢеÑģ нÑĭм +ĠиÑģкоп аемÑĭÑħ +ĠиÑģпан Ñģкого +ĠиÑģпÑĭÑĤ ÑĭваÑİÑĤ +ĠиÑģÑĤоÑĩ никам +Ġкандид аÑĤом +Ġкандид аÑĤÑĥÑĢ +ĠкапиÑĤ ализм +ĠкаÑĤаÑģÑĤÑĢо ÑĦа +ĠкаÑĩеÑģÑĤв ами +Ġкомб инаÑĨии +Ġкомпоз иÑĨиÑı +ĠкомпÑĮÑİÑĤеÑĢ Ñĭ +ĠконкÑĢеÑĤ нÑĭй +ĠконÑĤ ингенÑĤ +ĠконÑĤин енÑĤа +ĠкооÑĢдин аÑĤÑĭ +ĠкоÑĢпоÑĢ аÑĨиÑı +ĠкÑĢеÑģÑĤÑĮÑıн ин +ĠкÑĢÑĥпней ÑĪий +ĠкÑĢÑĥпней ÑĪим +ĠкÑĥлÑĮÑĤÑĥÑĢ нÑĭе +ĠмагиÑģÑĤ ÑĢалÑĮ +ĠмаÑĤемаÑĤ ике +ĠмаÑĪино ÑģÑĤÑĢо +ĠмеÑĤ ÑĢополиÑĤ +ĠмикÑĢоÑĢ айон +Ġмного обÑĢаз +ĠмонаÑģÑĤÑĭ ÑĢÑģк +ĠмониÑĤоÑĢ инг +ĠназнаÑĩ ении +ĠназнаÑĩ ениÑİ +ĠнаиболÑĮÑĪ ее +Ġнакоп лениÑı +ĠнапиÑģ аннÑĭе +ĠнаÑģел ÑijннÑĭе +ĠнаÑģел ÑijннÑĭй +ĠнаÑģлед ника +ĠнаÑģÑĤа иваÑĤÑĮ +ĠнаÑĩалÑĮ никÑĥ +ĠнаÑĩалÑĮ ÑģÑĤво +Ġнелег алÑĮно +Ġнеп овÑĤоÑĢим +ĠнеÑģколÑĮ ким +ĠнеÑĥ веÑĢенно +ĠноÑĢм алÑĮнÑĭй +ĠобеÑģп окоен +ĠобиÑĤ аÑĤелей +Ġоблад аÑĤелÑĮ +Ġоблег Ñĩение +Ġобнов ление +ĠобÑĢазов Ñĭва +ĠобÑĢаÑĤ илаÑģÑĮ +ĠобÑĢаÑī алиÑģÑĮ +ĠобÑĢаÑī аÑİÑĤÑģÑı +ĠобÑĬедин енÑĭ +ĠобÑĬедин ÑıÑİÑī +Ġодинак овÑĭе +ĠолиÑĨ еÑĤвоÑĢÑı +ĠопеÑĢаÑĤоÑĢ ов +ĠопÑĢедел енÑĭ +ĠопÑĢедели ли +ĠоÑģведом лен +ĠоÑģнован наÑı +ĠоÑģнов аÑĤелÑı +ĠоÑģÑĤ алÑĮнÑĭми +ĠоÑģÑĤанов лен +ĠоÑģÑĥÑīеÑģÑĤв лÑı +ĠоÑĤ вÑĢаÑīение +ĠоÑĤлиÑĩ алаÑģÑĮ +ĠоÑĤпÑĢав лÑıÑĤÑĮ +ĠпаÑĢламенÑĤ е +ĠпаÑĤÑĢиоÑĤ изм +ĠпеÑĢед аеÑĤÑģÑı +ĠпеÑĢеж иваеÑĤ +ĠпеÑĢемен ной +ĠпеÑĢемен нÑĭÑħ +ĠпеÑĢеп олнен +ĠповÑĭÑĪ аеÑĤÑģÑı +Ġподав лениÑı +ĠподвеÑĢг нÑĥÑĤ +ĠподдеÑĢж али +ĠподозÑĢев ал +ĠподозÑĢ ение +ĠподозÑĢ ениÑı +ĠподпиÑģ аниÑı +ĠподÑģказ Ñĭва +ĠподÑĩин ение +ĠподÑĩин ениÑı +ĠподÑĩÑijÑĢ кива +Ġпоказ Ñĭвали +ĠпокÑĢов иÑĤел +ĠпокÑĥп аÑĤелÑĮ +Ġпоним аеÑĤÑģÑı +ĠпонÑĢав илÑģÑı +ĠпопÑĢоб овал +ĠпоÑģмоÑĤÑĢ иÑĤе +ĠпоÑģÑĤавлен Ñĭ +ĠпоÑģÑĤанов ил +ĠпоÑģÑĤанов ке +ĠпоÑģÑĤоÑıн наÑı +ĠпоÑģÑĤÑĢад авÑĪ +ĠпоÑĤенÑĨи ала +ĠпоÑıвлÑı лиÑģÑĮ +ĠпÑĢавилÑĮ ное +ĠпÑĢавилÑĮ ной +ĠпÑĢав иÑĤелей +ĠпÑĢеб Ñĭвание +ĠпÑĢед вÑĭбоÑĢн +ĠпÑĢедлаг али +ĠпÑĢед пиÑģÑĭва +ĠпÑĢедÑĭдÑĥÑī ем +ĠпÑĢедÑĭдÑĥÑī ие +ĠпÑĢекÑĢаÑģ наÑı +ĠпÑĢекÑĢаÑģ ное +ĠпÑĢекÑĢаÑģ ной +ĠпÑĢекÑĢаÑģ нÑĭе +ĠпÑĢивлек аÑĤÑĮ +ĠпÑĢивод иÑĤÑģÑı +ĠпÑĢиглаÑģ или +ĠпÑĢиговоÑĢ ил +ĠпÑĢигоÑĤов ил +ĠпÑĢизн аваÑĤÑĮ +ĠпÑĢикÑĢеп лен +ĠпÑĢилож ении +ĠпÑĢиÑĢод ного +ĠпÑĢиÑģпоÑģоб и +ĠпÑĢиÑģÑĤÑĥп или +ĠпÑĢиÑģÑĥÑĤÑģÑĤв Ñĥ +ĠпÑĢодÑĥкÑĤ ами +ĠпÑĢоизвод им +ĠпÑĢоиÑģ ÑĪеÑģÑĤв +ĠпÑĢолеÑĤ аÑĢÑģк +ĠпÑĢоп ÑĥÑģÑĤиÑĤÑĮ +ĠпÑĢоÑĢабоÑĤ ал +ĠпÑĢоÑģ ледиÑĤÑĮ +ĠпÑĢоÑģ лÑĥÑĪива +ĠпÑĢоÑıв лений +ĠпÑģиÑħолог иÑı +ĠпÑĥбли ковал +ĠпÑıÑĤ надÑĨаÑĤи +ĠÑĢабоÑĤ никам +ĠÑĢазвеÑĢ нÑĥÑĤÑĮ +ĠÑĢаз меÑģÑĤиÑĤÑĮ +ĠÑĢазм еÑīение +ĠÑĢазобла Ñĩен +ĠÑĢаÑģполаг ал +ĠÑĢежиÑģÑģÑij ÑĢом +ĠÑĢепоз иÑĤоÑĢи +ĠÑģекÑĢеÑĤаÑĢ Ñijм +ĠÑģеÑĢебÑĢÑı нÑĭй +ĠÑģеÑĢебÑĢÑı нÑĭм +ĠÑģледÑĥÑİÑī емÑĥ +ĠÑģледÑĥÑİÑī ими +ĠÑģоблÑİд ениÑı +ĠÑģовеÑĤ Ñģкими +ĠÑģовмеÑģÑĤ нÑĭÑħ +ĠÑģоглаÑĪ ений +ĠÑģодейÑģÑĤв ие +ĠÑģодеÑĢж ании +ĠÑģодеÑĢж аÑīиÑħ +ĠÑģоздан ного +ĠÑģолн еÑĩного +ĠÑģопеÑĢ ников +ĠÑģопÑĢоÑĤив лÑı +ĠÑģоÑģÑĤоÑı лиÑģÑĮ +ĠÑģоÑħÑĢан ении +ĠÑģоÑħÑĢани лÑģÑı +ĠÑģоÑĨи алÑĮное +ĠÑģпаÑģ аÑĤелÑĮн +ĠÑģпоÑĢÑĤив нÑĭе +ĠÑģпоÑĢÑĤ Ñģмена +ĠÑģÑĢавни ваÑĤÑĮ +ĠÑģÑĤандаÑĢÑĤ ов +ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢ ой +ĠÑģÑĥÑħопÑĥÑĤ нÑĭÑħ +ĠÑģÑĩаÑģÑĤлив Ñĭм +ĠÑĤвоÑĢ ÑĩеÑģкий +ĠÑĤвоÑĢ ÑĩеÑģкиÑħ +ĠÑĤелевиз ион +ĠÑĤеÑħнолог иÑİ +ĠÑĤоваÑĢиÑī еÑģк +ĠÑĤÑĢеб ованиÑİ +ĠÑĤÑĥбеÑĢ кÑĥлез +ĠÑĥвелиÑĩ ениÑİ +ĠÑĥдеÑĢж иваÑĤÑĮ +ĠÑĥкÑĢаин Ñģкие +ĠÑĥникалÑĮ нÑĭй +ĠÑĥниÑĩÑĤож енÑĭ +ĠÑĥниÑĩÑĤож или +ĠÑĥÑģÑĤÑĢан ениÑı +ĠÑĦакÑĥлÑĮÑĤ еÑĤе +ĠÑĦизи ологии +ĠÑĦиз иÑĩеÑģком +ĠÑĦинанÑģов Ñĭм +ĠÑĦоÑĢм ÑĥлиÑĢов +ĠÑĦоÑĢÑĤ епиано +ĠÑĦÑĥÑĤболÑĮ ной +ĠÑħаÑĢакÑĤеÑĢ на +ĠÑħим иÑĩеÑģкие +ĠÑĨел енапÑĢав +ĠÑĪеÑģÑĤÑĮ деÑģÑıÑĤ +ĠÑĪколÑĮ ников +ĠÑįкзиÑģÑĤ енÑĨи +ĠÑįлекÑĤÑĢон ов +ТиÑħооке анÑģк +девÑıÑĤ надÑĨаÑĤ +комбин иÑĢова +милли меÑĤÑĢов +моб илизован +навиг аÑĨионн +нодоÑĢож ного +номенк лаÑĤÑĥÑĢ +огÑĢаниÑĩ енно +одейÑģÑĤв овал +олог иÑĩеÑģкаÑı +поÑģÑĤ ановÑīик +ÑĤеÑħни ÑĩеÑģкиÑħ +ÑĤеÑħни ÑĩеÑģкой +ÑĦÑĥнкÑĨи оналÑĮ +ĠÐijож еÑģÑĤвенно +ĠÐĴооÑĢÑĥж еннÑĭÑħ +ĠÐĴооÑĢÑĥж ÑijннÑĭÑħ +ĠÐĵенеÑĢ алÑĮнÑĭй +ĠÐķвÑĢопей Ñģкой +ĠÐĺÑģполн иÑĤелÑĮ +ĠÐľÐ°Ñı ковÑģкого +ĠÐŀбÑĢаз ование +ĠÐŀпÑĢедел ение +ĠÐŀÑĢганиз аÑĨиÑı +ĠÐłÑĥковод ÑģÑĤво +ĠСеваÑģÑĤ ополÑı +ĠСоедин еннÑĭе +ĠУзбек иÑģÑĤана +ĠЦенÑĤÑĢ алÑĮном +ĠЧиÑģлен ноÑģÑĤÑĮ +Ġамин окиÑģлоÑĤ +Ġаналог иÑĩнÑĭе +ĠаÑĢÑħим андÑĢиÑĤ +ĠаÑĢÑħиÑĤекÑĤ ÑĥÑĢе +ĠблагоÑģлов ен +Ġвеликолеп но +Ġвозб Ñĥждение +ĠвозвÑĢаÑĤ илÑģÑı +ĠвозвÑĢаÑī алÑģÑı +Ġвозника ÑİÑīие +Ġвоз ÑĢождениÑı +ĠвооÑĢÑĥж еннÑĭе +ĠвооÑĢÑĥж ÑijннÑĭÑħ +ĠголоÑģ ование +ĠгÑĢаждан ÑģÑĤва +ĠгÑĢаждан ÑģÑĤво +ĠгÑĥманиÑĤаÑĢ но +ĠдейÑģÑĤв овала +ĠдейÑģÑĤв ÑĥÑİÑīей +ĠдекоÑĢ аÑĤивно +ĠдиÑģÑģеÑĢÑĤ аÑĨии +ĠдобÑĢод еÑĤели +ĠдокÑĥменÑĤ ами +ĠдопÑĥÑģка еÑĤÑģÑı +ĠдÑĢÑĥж еÑģÑĤвенн +ĠдÑĥÑħовен ÑģÑĤва +ĠевÑĢопей Ñģким +ĠзавеÑĢÑĪи лаÑģÑĮ +ĠзаконÑĩ илоÑģÑĮ +ĠизменениÑı ми +ĠиноÑģÑĤÑĢан ной +ĠиноÑģÑĤÑĢ аннÑĭм +ĠиноÑģÑĤÑĢан ÑĨев +ĠиÑģполн иÑĤелÑı +ĠиÑģполÑĮзов ав +ĠиÑģÑĤÑĢеб иÑĤели +ĠиÑĤалÑĮÑıн ÑģкиÑħ +Ġкил огÑĢаммов +ĠколиÑĩ еÑģÑĤваÑħ +Ġкоманд ÑĥÑİÑīим +ĠкомменÑĤ аÑĢий +ĠконденÑģ аÑĤоÑĢ +ĠконеÑĩ ноÑģÑĤей +ĠкÑĢеÑģÑĤÑĮ Ñıнина +ĠлабоÑĢаÑĤоÑĢ иÑı +ĠленингÑĢад Ñģк +ĠлÑİбопÑĭÑĤ ÑģÑĤво +ĠмаÑĤеÑĢиал ами +ĠмедиÑĨин Ñģкий +ĠмеÑĢопÑĢи ÑıÑĤие +ĠмиÑĤÑĢоп олиÑĤа +ĠмониÑĤоÑĢ инга +ĠмÑĥзÑĭкалÑĮ нÑĭе +ĠнаблÑİд аÑĤелÑı +ĠнаблÑİда ÑİÑĤÑģÑı +ĠнаÑģлажд ение +ĠнаÑħод ÑıÑīийÑģÑı +ĠнаÑĨиона лизм +ĠнезавиÑģим ой +ĠнезавиÑģим Ñĭм +ĠнеизвеÑģÑĤ нÑĭм +ĠобеÑģпеÑĩ ениÑİ +Ġоблад аÑĤелем +ĠобÑĥÑģловлен о +ĠобÑĥÑģлов лива +Ġодин надÑĨаÑĤÑĮ +Ġодино ÑĩеÑģÑĤве +ĠокÑĢÑĥжаÑİÑī его +ĠопиÑģ ÑĭваеÑĤÑģÑı +ĠопÑĤим изаÑĨии +ĠоÑĤделÑĮ ноÑģÑĤи +ĠоÑĤлиÑĩ иÑĤелÑĮн +ĠоÑĤноÑģÑı ÑīиеÑģÑı +ĠоÑĤпÑĢав илаÑģÑĮ +ĠоÑĤÑģÑĤÑĥп ление +ĠоÑĦиÑĨи алÑĮное +ĠоÑĦиÑĨи алÑĮнÑĭе +ĠоÑĨенив аеÑĤÑģÑı +ĠпеÑĢежив аний +ĠпеÑĢем еÑīение +ĠпеÑĢеÑģ еÑĩениÑı +ĠпеÑĢеÑģÑĤ ÑĢойки +ĠповÑĢежд ений +ĠповÑģед невно +ĠподÑĤвеÑĢд иÑĤÑĮ +ĠподÑĩеÑĢ кивал +ĠподÑĩин еннÑĭÑħ +ĠполиÑĨей Ñģкий +ĠпоÑģвÑıÑī еннÑĭÑħ +ĠпоÑģлед овавÑĪ +ĠпоÑģлед овали +ĠпоÑģлед овало +ĠпоÑģлед ÑĥÑİÑīей +ĠпоÑģÑĤÑĢо еннÑĭй +ĠпоÑĤÑĢеб овали +ĠпоÑĤÑĢеб оваÑĤÑĮ +ĠпÑĢавилÑĮ ного +ĠпÑĢевоÑģÑħод но +ĠпÑĢевоÑģ ÑħодÑıÑī +ĠпÑĢевÑĢаÑī ение +ĠпÑĢедвод иÑĤел +ĠпÑĢедоÑģÑĤав лÑı +ĠпÑĢедпÑĢин ÑıÑĤÑĮ +ĠпÑĢедпÑĢи ÑıÑĤии +ĠпÑĢед ÑĢаÑģÑģÑĥдк +ĠпÑĢекÑĢаÑī ение +ĠпÑĢекÑĢаÑī ении +ĠпÑĢеодол ениÑı +ĠпÑĢепÑıÑĤ ÑģÑĤвий +ĠпÑĢивл еÑĩение +ĠпÑĢимен ÑıÑĤÑĮÑģÑı +ĠпÑĢиним аеÑĤÑģÑı +ĠпÑĢиобÑĢеÑĤ аÑİÑĤ +ĠпÑĢовоз глаÑĪа +ĠпÑĢоиÑģÑħод ивÑĪ +ĠпÑĢомÑĭÑĪлен но +ĠпÑĢоповед ник +ĠпÑĢоÑĦеÑģÑģ иона +ĠпÑĢоÑıв леннÑĭе +ĠпÑĢоÑıвлÑı ÑİÑĤÑģÑı +ĠпÑģиÑħ иÑĩеÑģкиÑħ +ĠпÑģиÑħо анализ +ĠÑĢазбиÑĢ аÑĤÑĮÑģÑı +ĠÑĢазвл еÑĩениÑı +ĠÑĢазлиÑĩ аÑİÑĤÑģÑı +ĠÑĢазноглаÑģ иÑı +ĠÑĢазÑĢабоÑĤ ана +ĠÑĢазÑĢабоÑĤ анÑĭ +ĠÑĢазÑĢабоÑĤ кой +ĠÑĢаÑģполаг аеÑĤ +ĠÑĢаÑģ ÑģÑĤÑĢойÑģÑĤв +ĠÑĢеаг иÑĢоваÑĤÑĮ +ĠÑĢезÑĥлÑĮÑĤаÑĤа Ñħ +ĠÑģекÑģÑĥ алÑĮной +ĠÑģекÑģÑĥ алÑĮнÑĭÑħ +ĠÑģимÑĦон иÑĩеÑģк +ĠÑģлож ивÑĪейÑģÑı +ĠÑģобÑģÑĤвен наÑı +ĠÑģовеÑĢÑĪ аеÑĤÑģÑı +ĠÑģовмеÑģÑĤ ного +ĠÑģоглаÑĪ аеÑĤÑģÑı +ĠÑģомнев аÑĤÑĮÑģÑı +ĠÑģообÑĢаж ений +ĠÑģооÑĤно ÑĪениÑı +ĠÑģоÑĤÑĢÑĥд никам +ĠÑģоÑĤÑĢÑĥдниÑĩ ал +ĠÑģпеÑĨи алÑĮнаÑı +ĠÑģпеÑĨи алÑĮное +ĠÑģпеÑĨи алÑĮнÑĥÑİ +ĠÑģÑĤанов иÑĤÑĮÑģÑı +ĠÑģÑĤанов лениÑı +ĠÑģÑĤолк нÑĥлиÑģÑĮ +ĠÑģÑĥвеÑĢен иÑĤеÑĤ +ĠÑĤелевид ение +ĠÑĤелевид ении +ĠÑĤемпеÑĢ аÑĤÑĥÑĢÑĥ +ĠÑĤеÑĢÑĢиÑĤоÑĢ ией +ĠÑĤÑĢеб ованием +ĠÑĤÑĢÑĥб опÑĢовод +ĠÑĤÑĥÑĢиÑģÑĤ иÑĩеÑģк +ĠÑĥвелиÑĩ ением +ĠÑĥвели ÑĩиваеÑĤ +ĠÑĥвели ÑĩиваÑĤÑĮ +ĠÑĥвлек аÑĤелÑĮн +ĠÑĥказ ÑĭваеÑĤÑģÑı +ĠÑĥнаÑģлед овал +ĠÑĥпоÑĤÑĢеб лÑıÑİÑĤ +ĠÑĥÑĤвеÑĢжд ениÑİ +ĠÑĥÑĩаÑģÑĤв овавÑĪ +ĠÑĦилоÑģоÑĦ ÑģкиÑħ +ĠÑĦоÑĢм иÑĢоваÑĤÑĮ +ĠÑĦоÑĤо аппаÑĢаÑĤ +ĠÑĦÑĢанÑĨÑĥз ÑģкаÑı +ĠÑĦÑĥнкÑĨи оналÑĮ +ĠÑĦÑĥÑĤболÑĮ ного +ĠÑħим иÑĩеÑģкого +ĠÑĨелоÑģÑĤ ноÑģÑĤи +ĠÑĨенÑĤÑĢ алÑĮнÑĭй +ĠÑĩÑĥвÑģÑĤв овали +ĠÑįвакÑĥ иÑĢован +ĠÑįлекÑĤ ÑĢоÑģÑĤан +ĠÑįÑĦÑĦекÑĤив ной +ĠÑİÑĢид иÑĩеÑģкой +ÐĴоÑģ поминаниÑı +гÑĢаммаÑĤ иÑĩеÑģк +меÑĤаÑĦиз иÑĩеÑģк +полиÑĤ иÑĩеÑģкой +пÑĢом ÑĭÑĪленник +ÑĥпÑĢав ленÑĩеÑģк +ÑħозÑıй ÑģÑĤвенно +ĠÐķвÑĢопей Ñģкого +ĠÐķдин ÑģÑĤвеннÑĭй +ĠÐĺÑģ ÑģледованиÑı +ĠÐľÐ°ÐºÑģ ималÑĮнаÑı +ĠÐĿовгоÑĢод Ñģкой +ĠÐĿовоÑĢ оÑģÑģийÑģк +ĠÐŁÑĢоизвод ÑģÑĤво +ĠСвеÑĢдлов Ñģкой +Ġблаг опÑĢиÑıÑĤно +ĠболÑĮÑĪин ÑģÑĤвом +ĠвозвÑĢаÑī аÑİÑĤÑģÑı +ĠвоÑģпÑĢиним аеÑĤ +ĠвÑģевозмож нÑĭе +ĠвÑĭÑģказ Ñĭвание +ĠдоговоÑĢ иÑĤÑĮÑģÑı +ĠеÑģÑĤеÑģÑĤвен нÑĭй +ĠзаболеваниÑı Ñħ +ĠиноÑģÑĤÑĢан ного +ĠинÑģÑĤÑĢÑĥменÑĤ ом +ĠинÑĤег ÑĢиÑĢован +ĠиÑģполн иÑĤелей +ĠиÑģполÑĮзÑĥем Ñĭе +ĠиÑģпÑĢав иÑĤелÑĮн +ĠиÑģÑģледов аниÑİ +ĠиÑģÑĤоÑĢ иÑĩеÑģкаÑı +ĠиÑģÑĤоÑĢ иÑĩеÑģкое +ĠиÑģÑĤоÑĢ иÑĩеÑģкÑĥÑİ +ĠкаÑĤол иÑĩеÑģкой +ĠкомменÑĤ аÑĢиев +ĠкоммÑĥника ÑĨий +ĠкомпÑĮÑİÑĤеÑĢ ной +ĠкомпÑĮÑİÑĤеÑĢ нÑĭÑħ +ĠконÑĤÑĢол иÑĢÑĥем +ĠконÑĤÑĢол иÑĢÑĥеÑĤ +ĠконÑĤÑĢ ÑĢазведк +ĠконÑĨенÑĤ ÑĢаÑĨиÑı +ĠлиÑĤеÑĢаÑĤÑĥÑĢ нÑĭе +ĠлиÑĤеÑĢаÑĤÑĥÑĢ нÑĭм +ĠмакÑģималÑĮ наÑı +ĠмаÑĤеÑĢи алÑĮнÑĭе +ĠмонÑĥменÑĤ алÑĮн +ĠнапÑĢавлениÑı м +ĠнапÑĢавлен нÑĭе +ĠнапÑĢавлен нÑĭÑħ +ĠнапÑĢав лÑıеÑĤÑģÑı +ĠнаÑģÑĤÑĥп лением +ĠнаÑħод ивÑĪиÑħÑģÑı +ĠнаÑĨионалÑĮ наÑı +Ġне ÑģовеÑĢÑĪенно +Ġне ÑģооÑĤвеÑĤÑģÑĤв +Ġознаком иÑĤÑĮÑģÑı +ĠопеÑĢаÑĤив ного +ĠопеÑĢ аÑĨионной +ĠопÑĥбликов ано +ĠоÑĢганизаÑĨиÑı Ñħ +ĠоÑĢгани ÑĩеÑģкиÑħ +ĠоÑģнов аÑĤелÑĮно +ĠоÑģобен ноÑģÑĤÑĮÑİ +ĠподвеÑĢг аеÑĤÑģÑı +ĠподдеÑĢж иваем +ĠподдеÑĢж ивали +ĠподÑĤвеÑĢж даÑİÑĤ +ĠполÑĮзоваÑĤ елÑİ +ĠпоÑģлед ÑĥÑİÑīего +ĠпоÑĤÑĢеб ноÑģÑĤÑıм +ĠпÑĢавоÑģлав нÑĭÑħ +ĠпÑĢакÑĤиÑĩеÑģки Ñħ +ĠпÑĢевÑĢаÑĤ илиÑģÑĮ +ĠпÑĢедполаг аÑİÑĤ +ĠпÑĢедпоÑĩиÑĤ аеÑĤ +ĠпÑĢедÑģÑĤавлен о +ĠпÑĢедÑĥпÑĢед иÑĤÑĮ +ĠпÑĢиближ аеÑĤÑģÑı +ĠпÑĢог олоÑģовал +ĠпÑĢодолж алиÑģÑĮ +ĠпÑĢоиз ведении +ĠпÑĢомÑĭÑĪлен ной +ĠпÑĢоÑĤивоÑĢеÑĩ ий +ĠпÑģиÑħ иÑĩеÑģкого +ĠÑĢадиоÑģÑĤан ÑĨии +ĠÑĢе алиÑģÑĤиÑĩеÑģк +ĠÑĢеволÑİÑĨион но +ĠÑĢезÑĥлÑĮÑĤаÑĤ ами +ĠÑĢезÑĥлÑĮÑĤаÑĤ ивн +ĠÑģамоÑĥбий ÑģÑĤво +ĠÑģвоеобÑĢаз нÑĭй +ĠÑģегоднÑı ÑĪнего +ĠÑģекÑģÑĥ алÑĮного +ĠÑģимвол иÑĩеÑģки +ĠÑģообÑĢажениÑı м +ĠÑģооÑĤвеÑĤÑģÑĤв иÑı +ĠÑģоÑģÑĢедоÑĤ оÑĩил +ĠÑģоÑģÑĤавлÑı ÑİÑīие +ĠÑģпоÑģобÑģÑĤв ÑĥÑİÑĤ +ĠÑģÑĤабилÑĮ ноÑģÑĤи +ĠÑģÑĤолкнов ение +ĠÑģÑĥÑīеÑģÑĤв енное +ĠÑģÑĥÑīеÑģÑĤв еннÑĭе +ĠÑģÑĥÑīеÑģÑĤв еннÑĭÑħ +ĠÑĤеÑģÑĤ иÑĢование +ĠÑĥвеÑĢен ноÑģÑĤÑĮÑİ +ĠÑĥÑģÑĤанавлив ал +ĠÑĥÑģÑĤойÑĩив оÑģÑĤи +ĠÑħÑĢиÑģÑĤиан ÑģкиÑħ +ĠÑĨаÑĢÑģÑĤв ованиÑı +ĠÑĩеловеÑĩеÑģ каÑı +ĠÑĩиÑģлен ноÑģÑĤÑĮÑİ +ĠÑįконом иÑĩеÑģки +ĠÑįнÑĨиклоп едии +ĠÑįнÑĨиклоп едиÑı +ÐĺнÑĤеÑĢ наÑĨионал +ĠÐŁÐµÑĤÑĢоп авловÑģк +ĠÐŁÑĢедÑģÑĤав иÑĤелÑĮ +ĠÐłÐ°Ñģ пÑĢоÑģÑĤÑĢанен +ĠавÑĤомаÑĤ изаÑĨии +ĠводоÑħÑĢанили Ñīа +Ġвоенноп леннÑĭÑħ +ĠвоÑģпоминаниÑı Ñħ +ĠвоÑģпÑĢоиз веден +ĠгеогÑĢаÑĦ иÑĩеÑģки +ĠгеомеÑĤ ÑĢиÑĩеÑģки +ĠгоÑģÑĥдаÑĢÑģÑĤв ами +ĠдокÑĥменÑĤ алÑĮно +ĠзамеÑĩ аÑĤелÑĮнÑĭй +ĠземлеÑĤÑĢÑıÑģ ениÑı +ĠзлоÑĥм ÑĭÑĪленник +ĠимпеÑĢаÑĤоÑĢ Ñģкой +ĠинÑĤенÑģ ивноÑģÑĤи +ĠинÑĤенÑģ ивноÑģÑĤÑĮ +ĠклаÑģÑģ иÑĩеÑģкого +ĠконÑĤÑĢол иÑĢовал +ĠмеÑģÑĤ оположени +ĠмеÑģÑĤоÑĢ ождений +ĠмÑĥниÑĨип алÑĮное +Ġневозмож ноÑģÑĤи +Ġневозмож ноÑģÑĤÑĮ +ĠнепÑĢед ÑģказÑĥем +ĠнеÑģпÑĢав едливо +ĠоÑĤеÑĩеÑģÑĤвен нÑĭÑħ +ĠпеÑĢеÑĩиÑģлен нÑĭÑħ +ĠповеÑģÑĤв ование +ĠполиÑĤ иÑĩеÑģкими +Ġполож иÑĤелÑĮнÑĭй +ĠпопÑĥлÑıÑĢ ноÑģÑĤÑĮÑİ +ĠпоÑĤенÑĨи алÑĮнÑĭÑħ +ĠпоÑĤÑĢебовал оÑģÑĮ +ĠпÑĢедÑģÑĤав лении +ĠпÑĢезиденÑĤ ÑģкиÑħ +ĠпÑĢеподав аÑĤелÑı +ĠпÑĢивеÑĤ ÑģÑĤвовал +ĠпÑĢимен иÑĤелÑĮно +ĠпÑĢиоÑģÑĤанов лен +ĠпÑĢиÑģоедин ениÑı +ĠпÑĢоиÑģÑħодÑıÑī его +ĠпÑĢоиÑģÑħ ождениÑİ +ĠпÑĢоÑĤивоÑĢеÑĩ ивÑĭ +ĠÑĢазновид ноÑģÑĤи +ĠÑĢазоÑĩаÑĢ ование +ĠÑĢазÑĢабаÑĤ ÑĭваеÑĤ +ĠÑĢаÑģполаг алаÑģÑĮ +ĠÑĢаÑģполож енной +ĠÑĢаÑģÑĤ иÑĤелÑĮного +ĠÑĢеволÑİÑĨион нÑĭÑħ +ĠÑģимвол изиÑĢÑĥеÑĤ +ĠÑģовÑĢемен ноÑģÑĤи +ĠÑģпеÑĨиалиÑģÑĤ ами +ĠÑģпоÑģоб ноÑģÑĤÑıми +ĠÑģÑĢедневек овой +ĠÑģÑĤиÑħоÑĤвоÑĢ ений +ĠÑĤеоÑĢеÑĤ иÑĩеÑģкой +ĠÑĥнивеÑĢÑģиÑĤеÑĤ ов +ĠÑĥпоÑĤÑĢеб лÑıеÑĤÑģÑı +ĠÑĥÑģÑĤановлен нÑĭе +ĠÑĥÑģÑĤановлен нÑĭй +ĠÑĥÑģÑĤановлен нÑĭм +ĠÑħаÑĢакÑĤеÑĢиз ÑĥеÑĤ +ĠÑħÑĢиÑģÑĤиан Ñģкого +ĠÑĨелеÑģ ообÑĢазно +ĠÑĩеÑĤвеÑĢÑĤÑĮ ÑĦинал +ĠÑįконом иÑĩеÑģкаÑı +ĠÑįконом иÑĩеÑģком +ĠÑįлекÑĤÑĢи ÑĩеÑģкиÑħ +ĠÑįлекÑĤÑĢи ÑĩеÑģкой +ĠÑįлекÑĤÑĢи ÑĩеÑģÑĤво +бомбаÑĢдиÑĢов оÑĩн +ĠÐŁÑĢедполаг аеÑĤÑģÑı +ĠаÑĢÑĤиллеÑĢ ийÑģкиÑħ +ĠвзаимодейÑģÑĤв ии +ĠвнеÑĪ неполиÑĤиÑĩе +ĠвознагÑĢажд ение +ĠгоÑģÑĥдаÑĢ ÑģÑĤвенно +ĠдополниÑĤелÑĮ ное +ĠдополниÑĤелÑĮ ной +ĠдополниÑĤелÑĮ нÑĭм +ĠзакономеÑĢ ноÑģÑĤи +ĠиндивидÑĥ алÑĮной +ĠиндивидÑĥ алÑĮнÑĭе +ĠобнаÑĢÑĥж иваеÑĤÑģÑı +ĠобÑīеÑģÑĤвен ноÑģÑĤÑĮ +ĠогÑĢани ÑĩиваеÑĤÑģÑı +ĠоÑĢганизован ной +ĠоÑģÑĥÑīеÑģÑĤв лÑıÑĤÑĮÑģÑı +ĠоÑĤеÑĩеÑģÑĤвен ного +ĠподÑĤвеÑĢж даеÑĤÑģÑı +ĠпоÑģледов аÑĤелей +ĠпоÑģÑĤанов лением +ĠпÑĢедоÑģÑĤав ление +ĠпÑĢедоÑĤ вÑĢаÑīениÑı +ĠпÑĢедÑĥÑģмаÑĤÑĢ ивал +ĠпÑĢеобÑĢаз ование +ĠпÑĢеподав аÑĤелей +ĠпÑĢеподав аÑĤелем +ĠпÑĢивлек аÑĤелÑĮнÑĭ +ĠпÑĢиÑģоедин илиÑģÑĮ +ĠпÑĢиÑģоедин иÑĤÑĮÑģÑı +ĠпÑĢиÑģпоÑģоб лениÑı +ĠпÑĢиÑģÑĥÑĤÑģÑĤв овали +ĠпÑĢиÑģÑĥÑĤÑģÑĤв оваÑĤÑĮ +ĠпÑĢодоволÑĮ ÑģÑĤвие +ĠпÑģиÑħолог иÑĩеÑģки +ĠÑģкон ÑĨенÑĤÑĢиÑĢова +ĠÑģпоÑģобÑģÑĤв овали +ĠÑģÑĤÑĢаÑĤег иÑĩеÑģкиÑħ +ĠÑħÑĥдожеÑģÑĤвен ном +ĠÑįлекÑĤÑĢи ÑĩеÑģкого +ĠавÑĤомаÑĤ изиÑĢован +ĠаÑĢÑĤиллеÑĢ ийÑģкого +ĠгоÑģÑĥдаÑĢÑģÑĤвен ное +ĠдоÑģÑĤопÑĢим еÑĩаÑĤел +ĠжелезнодоÑĢож наÑı +ĠжелезнодоÑĢож нÑĭÑħ +ĠконÑĤÑĢ ÑĢеволÑİÑĨион +ĠобÑĢаз оваÑĤелÑĮнÑĭÑħ +ĠоÑģÑĤанавлив аеÑĤÑģÑı +ĠоÑĤноÑģ иÑĤелÑĮноÑģÑĤи +ĠпÑĢедпÑĢиним аÑĤелÑı +ĠпÑĢедÑĥÑģмоÑĤÑĢ еннÑĭÑħ +ĠпÑĢопоÑĢ ÑĨионалÑĮно +ĠпÑĢоÑģÑĤÑĢан ÑģÑĤвенно +ĠпÑģиÑħолог иÑĩеÑģкиÑħ +ĠÑĢаÑģÑģмаÑĤÑĢ иваÑĤÑĮÑģÑı +ĠÑĢаÑģÑģмаÑĤÑĢ иваÑİÑĤÑģÑı +ĠÑģамоÑģÑĤоÑı ÑĤелÑĮной +ĠÑģвеÑĢÑħÑĬ еÑģÑĤеÑģÑĤвен +ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑī ÑĥÑİ +ĠÑĥÑģÑĤанавлива ÑİÑĤÑģÑı +ÐļоммÑĥниÑģÑĤ иÑĩеÑģкой +админиÑģÑĤÑĢаÑĤив нÑĭм +желез нодоÑĢожного +законод аÑĤелÑĮÑģÑĤво +иÑģÑģледоваÑĤелÑĮ Ñģко +овеÑĢÑĪенÑģÑĤв ованиÑı +пÑĢедваÑĢ иÑĤелÑĮного +пÑĢоÑĦеÑģÑģионалÑĮ нÑĭе +пÑģиÑħолог иÑĩеÑģкого +ÑģоÑĨиалиÑģÑĤ иÑĩеÑģкиÑħ +ÑĤеÑĢÑĢоÑĢ иÑģÑĤиÑĩеÑģкой +ÑĤеÑħнолог иÑĩеÑģкого +Ìģ б +Ìģ ж +Ìģ п +Ìģ Ñĩ +ÐIJ Ðij +Ðij ÐĶ +Ðij С +ÐĴ Ðľ +ÐĴ з +Ðĵ С +Ðĵ ÑĨ +ÐĶ Ðļ +ÐĶ ÐŁ +Ðķ Ðij +Ðķ Ц +Ðķ Ч +Ðķ ÑĢ +Ðĸ Ðĺ +ÐĹ Ðĺ +ÐĹ Ðŀ +ÐĹ Ð£ +Ðĺ Ц +Ðĺ Ч +Ðĺ м +Ðĺ ÑĤ +Ðļ Ðļ +Ðļ ÐĽ +ÐĽ С +Ðľ Ðł +ÐĿ Ðij +ÐĿ Т +ÐĿ У +ÐĿ Я +Ðŀ д +Ðŀ п +ÐŁ Т +Ðł Ðij +Ðł ÐĴ +Ðł Ðľ +Ðł Ф +Ðł ÐŃ +Ðł Я +С н +Т Т +Т ÐŃ +У б +У ÑĢ +У Ñĩ +Ф ÐĽ +Ф Ðł +Ц Ðķ +Ш Ðķ +ÐŃ ÐĽ +ÐŃ ÐŁ +ÐŃ ÑĤ +б ÑĮ +г Ñį +з ÑĬ +й м +л л +н ÑĬ +Ñĥ а +ÑĪ к +Ñį з +Ñį ÑĦ +Ñİ Ð´ +g na +g no +j or +k ha +m bo +t ub +x el +ĠÐĴ Ц +ĠÐĵ Ðĺ +ĠÐľ Ñİ +ĠÐŀ Ðĵ +ĠУ п +ĠУ ÑĪ +ĠÐ¥ в +ĠÐŃ ÑĪ +Ġб д +Ġв Ñı +Ġк и +Ġл Ñĥ +Ġп ÑĪ +ĠÑģ Ñij +ĠÑĦ л +Ìģ ÑģÑĤ +ÐIJÐĽ Ðĺ +ÐIJÐĿ Т +ÐIJ ÐłÐIJ +ÐIJÐł Ðĺ +ÐIJС ÐIJ +ÐIJ СТ +ÐIJÑĢ ÑĤ +ÐIJÑĢ Ñħ +ÐijÐĶ ÐĶ +Ðij ÐķÐł +Ðij аг +Ðij ол +Ðij Ñĭл +ÐĴ ÐķТ +ÐĴ ал +ÐĴ аÑģ +ÐĴ аÑĪ +ÐĴ ен +ÐĴ ид +ÐĴ Ñıз +ÐĵÐŀ Ðł +Ðĵ де +Ðĵ ен +ÐĶ ÐķÐĽ +ÐĶÐł ÐŁ +ÐĶ ан +ÐĶ ин +Ðķ ÐĵÐŀ +ÐķÐĿ Т +ÐķÐł ÐIJ +Ðķ ди +Ðĸ ан +Ðĸ ив +Ðĺ ÐĽÐĺ +ÐļÐŀ ÐĽ +Ðļ ап +Ðļ аÑģ +Ðļ ÑĢе +Ðļ ÑĢÑĥ +ÐĽ ÐķÐĿ +ÐĽ ев +Ðľ ÐIJÐĿ +Ðľ аг +Ðľ ай +Ðľ ол +Ðľ оÑı +ÐĿÐŀ Ðķ +ÐĿ ад +ÐĿ ов +Ðŀ ÐĽÐŀ +ÐŀÐĿ ÐIJ +Ðŀ Ñģв +ÐŁ ÐķÐł +ÐŁ ÐłÐIJ +ÐŁ ан +ÐŁ еÑģ +ÐŁ еÑĩ +ÐŁ ож +ÐŁ ÑĥÑĤ +Ðł ÐIJÐĿ +ÐłÐŀ ÐĶ +Ðł аб +Ðł ад +СÐļ Ðŀ +С ин +Т ÐŀÐĴ +Т ан +Ð¥ иÑĢ +Ц аÑĢ +Ш аÑĢ +ÐŃ ÐºÑģ +ай ÑĢ +ам п +ап о +аÑĤ н +а ÑĨк +б Ñħа +в иÑĪ +в ом +в оп +г аÑħ +г Ñĥз +да ÑĪ +д ве +дÑĭ н +ед л +е ек +еж д +еж к +ей к +ей ÑĦ +ек и +ем е +е он +еÑĢ з +еÑĤ Ñģ +еÑĩ к +ж он +з ав +з ам +з ик +з иÑĢ +з Ñĥн +из н +и Ñĥм +и ÑĪи +к нÑĥ +ло Ñī +л Ñĥд +лÑı Ñī +ми Ñİ +м Ñĥд +н ÑĤа +нÑİ Ñģ +нÑı м +од о +ол к +ом к +оп ÑĢ +оÑĢ ÑĦ +оÑģ и +оÑı ÑĢ +оÑı Ñģ +п Ñĥб +п ÑijÑĢ +ÑĢ но +ÑĢÑĭ з +Ñģ еп +Ñģ иг +Ñģ лÑĮ +Ñģ оÑİ +ÑģÑĤ м +ÑĤа ÑĪ +ÑĤи г +ÑĤÑĢ Ñij +ÑĤ Ñĥк +Ñĥг л +Ñĥм н +Ñĥ ÑĤи +ÑĥÑī н +ÑĦ ии +ÑĦ иÑı +ÑĦ ло +ÑĦ об +ÑĦ Ñĥз +Ñħ аÑģ +Ñħ ед +Ñħ иÑĢ +ÑĨ ÑĨи +Ñĩ еÑħ +Ñĩ Ñĥв +Ñĩ Ñijв +Ñĩ Ñijм +ÑĪ еп +ÑĪ он +ÑĪ оп +Ñī Ñĥк +Ñī Ñĥп +ÑĭÑħ л +Ñį лÑı +ÑįÑĤ ÑĤ +Ñİ Ð´Ð¶ +Ñİ Ð´Ð¾ +Ñİ Ð»Ñİ +Ñİ Ð½ÑĮ +ÑİÑĪ к +Ñıд ÑĮ +Ñıз Ñĭ +ĠB ha +ĠG ru +ĠK ha +ĠSw a +Ġwh i +S oci +XV II +asc i +a ugh +equ i +esc u +g all +ida e +i ety +l ith +l ton +m per +r ash +tr ay +ĠÐIJв ÑĤ +ĠÐIJл б +ĠÐIJ лÑı +ĠÐIJÑĢ н +ĠÐij ÑĢÑĥ +ĠÐij ÑijÑĢ +ĠÐĴ иÑĪ +ĠÐĵ ÐĽÐIJ +ĠÐĵ из +ĠÐĵ иÑĢ +ĠÐĵ ом +ĠÐĵ Ñĥм +ĠÐĶ ек +ĠÐĶ ол +ĠÐĶ Ñĥг +ĠÐĶ Ñĥд +ĠÐĸ ал +ĠÐĹÐIJ Ðŀ +ĠÐĹ Ð°Ð¹ +ĠÐĹ Ð¸Ð³ +ĠÐĹ Ð¼Ðµ +ĠÐĹ Ð¾ÑĢ +ĠÐĺ бн +ĠÐĻ ем +ĠÐļÐŁ Ðļ +ĠÐļ ев +ĠÐļ ел +ĠÐļ еÑģ +ĠÐļ оÑĩ +ĠÐļ ÑĥÑĪ +ĠÐĽ еп +ĠÐĽ иÑĢ +ĠÐĽ ож +ĠÐĽ Ñĥб +ĠÐľ ÐĴÑĤ +ĠÐľ ÐļС +ĠÐľ ТС +ĠÐľÐ° о +ĠÐľ иÑĦ +ĠÐľ иÑĩ +ĠÐľÐ¾ Ñħ +ĠÐĿ ÐijÐIJ +ĠÐĿ Ð¥ÐĽ +ĠÐĿ еп +ĠÐŁ ам +ĠÐŁ об +ĠÐŁ Ñģк +ĠÐŁ ÑĥÑĢ +ĠÐł ÐļÐŁ +ĠÐł ÐĽÐ¡ +ĠÐł аÑĪ +ĠÐł иб +ĠÐł ин +ĠÐł иÑħ +ĠÐł Ñĥм +ĠÐł ÑĥÑĤ +ĠÐłÑĭ ж +ĠС ег +ĠС ез +ĠТ аг +ĠТ ег +ĠТ ей +ĠТ ел +ĠТ ин +ĠТ иÑĦ +ĠТ об +ĠТ ÑİÑĤ +ĠФ аÑĤ +ĠФ ев +ĠФ ÑĥÑĤ +ĠÐ¥ оз +ĠÐ¥ Ñĥн +ĠÐ¥ ÑĥÑģ +ĠЧ ен +ĠЧ жÑĥ +ĠЧ ин +ĠШ еп +ĠШ ил +ĠШ иÑĪ +ĠШ оÑĥ +ĠШ ÑĥÑĢ +ĠÐŃ ÐĴÐľ +ĠЮ ÐĿÐķ +ĠЮ ли +Ġав г +Ġа мб +Ġб Ñĥл +Ġв ÑĤÑĢ +ĠвÑĭ к +Ġд ил +Ġд нÑİ +Ġе де +Ġж аб +Ġж иÑĤ +Ġзо о +Ġиг Ñĥ +Ġин г +Ġк ÐĴÑĤ +Ġко ÑĦ +Ġк Ñĥм +Ġл аÑģ +Ġл бÑĥ +Ġл оÑĤ +Ġл ÑĭÑģ +Ġм иÑĪ +Ġм Ñĥл +Ġм Ñİз +Ġн оÑĤ +Ġок н +Ġо Ñģк +Ġо ÑģÑı +ĠоÑī Ñĥ +Ġп иг +Ġп Ñģа +Ġп Ñĥг +Ġп Ñĥп +Ġп ÑĥÑĢ +ĠÑĢаР¿ +ĠÑĢ еÑĤ +ĠÑĢÑĭ Ñģ +ĠÑĢ Ñİк +ĠÑĤ аÑģ +ĠÑĤ иÑĪ +ĠÑĤ ÑĥÑĪ +ĠÑĤ Ñıн +ĠÑĥ ми +ĠÑĥ нÑĭ +ĠÑĥÑĤ к +ĠÑĦ ем +ĠÑĦ ÑİÑĢ +ĠÑĩ ад +ĠÑĩ Ñĥм +ĠÑĪ ам +ĠÑĪ Ñĥб +ĠÑįк ÑĢ +ĠÑį Ñħо +ÐIJÐĿÐĺ Я +ÐIJ меÑĢ +ÐIJн гл +ÐĴ енг +ÐĴ еÑģÑĤ +ÐĴол ÑĪ +Ðĵ ÑĢоз +ÐĶ алÑĮ +ÐĶ вен +ÐĶ ело +ÐĶ енÑĮ +ÐĶ жеÑĢ +ÐĶж он +ÐĶ миÑĤ +ÐĶ нев +Ðķ ван +Ðķ ÑģÑĤÑĮ +Ðĺ ÐĴÐIJТ +ÐĺТ ÐķÐĽ +Ðļ иев +Ðļом п +ÐļоÑĢ Ñģ +Ðļ ÑĢаÑĤ +ÐĽÐµÐ¹ п +Ðľ аÑĢк +Ðľ иÑģÑģ +ÐĿÐŀ ÐĵÐŀ +ÐĿÐŀ СТ +Ðŀ дин +Ðŀ диÑģ +ÐŁÐłÐIJ ÐĴ +ÐŁÑĢ оÑĤ +СÐļÐIJ Я +СТ ÐĴÐŀ +Сам о +СеÑĢ п +Сн еж +Т игÑĢ +Т ÑĢÑĥд +Уб ий +Ф еод +Ц иÑĦÑĢ +ÐŃÑĤ оÑĤ +аб аз +аб ÑĥÑĪ +аг оÑĢ +ад ки +ад ок +аж еÑĤ +ай еÑĢ +ак ÑĤе +али Ñĩ +али Ñī +ал ло +ан ал +анд о +ани л +аÑĢ ел +аÑģ им +аÑĦ он +аÑĩ ÑĥÑģ +аÑī иÑĤ +б окÑģ +бок Ñĥ +б Ñģко +б ÑĥÑħа +вен н +веÑĩ а +во ем +воз ÑĮ +вÑĪ ин +ги ев +гл об +г нев +гÑĢ ен +г ÑĥлÑĮ +дв ÑĥÑħ +дел к +дж аÑĢ +див о +д иÑģк +д ÑĢаÑĦ +дÑĥм а +дÑĥ ÑĢа +еб ÑĢÑı +ев Ñģк +ед иÑİ +ед но +ез во +ей на +ей ÑĢо +ей ÑĨÑĭ +екÑģ а +ел ев +ели и +елÑĮ Ñĩ +ем Ñģк +ен еÑĨ +ен нÑĭ +енÑĭ м +еп ÑıÑĤ +еÑĢ вÑĭ +еÑĢ го +еÑĢ ил +еÑĢ Ñģи +еÑĤ ип +еÑĤ но +еÑĤ Ñıн +еÑı ло +ж ина +зв ав +зеÑĢ о +зн ан +зÑĬ ÑıÑĤ +зÑĭ ка +зÑĭ Ñĩн +иг ен +ик аÑĤ +ик ли +или к +или Ñı +ил ли +илÑĮ з +и лÑĮÑĤ +им ом +ина Ñħ +ин еÑĤ +ин но +иÑĤ им +иÑĤ ма +иÑĤÑĮ б +иÑĨ ко +иÑĨÑĭ н +й оÑĢк +каÑĢ п +к енÑĤ +к лев +к лÑıн +к нÑĥв +к олÑı +к онÑĩ +к оÑĢÑĤ +коÑĪ к +к ÑĢад +к ÑĢÑĥп +кÑģ ен +к ÑĤид +лад к +ле ан +лей ÑĤ +л еÑģк +лиÑĨ о +лиÑĩ а +ло ид +лом а +лоÑĤ ÑĤ +лÑİ Ð´Ð¸ +ма ил +ман н +мей ÑĨ +меÑĢ н +м леÑĢ +мон и +моÑĤ о +мÑĭ ÑĤÑĮ +мÑıн н +н авÑĤ +нап ÑĢ +н геÑĢ +н елл +низ м +ни нÑĭ +ног Ñĥ +но ÑĪÑĥ +н Ñĩик +нÑĮ ко +обÑĭ л +ог ÑĥÑī +од ел +од ил +ож но +ок ин +ок ÑĥÑĢ +ол ка +ом ÑģÑĤ +ом ÑijÑĤ +оÑĢ ам +оÑĢ аÑĢ +оÑĢ ее +оÑĢ еÑĤ +оÑĢ оÑĩ +оÑģ ин +оÑĤ оп +оÑĦ ей +оÑĦ оÑĢ +оÑħ ин +п айк +п енд +пеÑĢ ÑĤ +п онÑĤ +поÑĩ к +п оÑıÑģ +п ÑĢÑĥд +ÑĢаб а +ÑĢаг е +ÑĢам и +ÑĢей н +ÑĢей Ñģ +ÑĢен н +ÑĢ жан +ÑĢи им +ÑĢи ÑĨе +ÑĢи Ñįл +ÑĢ олл +ÑĢ олÑĮ +ÑĢ она +ÑĢÑĥз к +Ñģ айд +Ñģ веÑĩ +Ñģ вин +Ñģ еÑĢÑĤ +Ñģ еÑĤÑĮ +Ñģи ом +ÑģоÑĢ б +Ñģ оÑĢÑĤ +Ñģп еÑĪ +Ñģ ÑģеÑĢ +ÑģÑĤа ÑĦ +ÑģÑĤ Ñĥк +ÑģÑĤÑĭ к +ÑģÑĤÑĭ ÑĢ +ÑĤаб а +ÑĤаб л +ÑĤа Ñĥн +ÑĤи ем +ÑĤи Ñħо +ÑĤон и +ÑĤ ÑĢик +Ñĥем о +Ñĥл ей +Ñĥн ок +ÑĥÑĢ ги +Ñĥ ÑĦак +ÑĦ евÑĢ +ÑĦ или +ÑĦон Ñģ +ÑĦоÑĢ Ñģ +ÑĦÑĥÑĢ ÑĤ +Ñħа ÑĥÑģ +Ñħ ене +Ñħл оп +Ñħ олл +ÑĨ зин +ÑĨ кое +Ñĩай ÑĪ +Ñĩ иÑīа +Ñĩ ком +ÑĩÑij ÑĤе +ÑĪ анÑĮ +ÑĪ ива +ÑĪив к +ÑĪ иÑĤÑĭ +ÑĪн оÑĤ +ÑĪÑĤ ан +Ñĭл ки +Ñĭ пин +ÑĭÑĪ ки +ÑĮ мин +Ñıг ин +Ñıд ок +Ñijл ок +Ñijн ок +Ñij ÑĢов +ÑijÑĢ ÑģÑĤ +ĠMcC a +ĠMc Co +ĠP ala +ĠReg i +ĠSl av +ĠTr ac +Ġdeg C +???? ? +S axon +f asci +met re +n ucle +p ound +temp o +ter ia +ue bec +ĠÐIJз иÑİ +ĠÐIJл еÑĪ +ĠÐijаб а +ĠÐij елÑı +ĠÐij еÑģÑģ +ĠÐij омб +ĠÐij оÑıÑĢ +ĠÐij ÑĢоÑģ +ĠÐij ÑĢÑĥк +ĠÐij ÑĢÑĥн +ĠÐijÑĢ Ñįд +ĠÐij ÑĥÑĢг +ĠÐĴЦ ÐĺÐļ +ĠÐĴ аÑĢи +ĠÐĴ иÑģл +ĠÐĴол к +ĠÐĴÑģ еÑģ +ĠÐĵол д +ĠÐĵ ÑĢаб +ĠÐĵÑĢи б +ĠÐĵÑĥ ан +ĠÐĶ вое +ĠÐĶ ели +ĠÐĶ нем +ĠÐĶ неп +ĠÐĶон б +ĠÐĶ ÑĢез +ĠÐķ ÑĢев +ĠÐĹ Ð²ÐµÑĢ +ĠÐĹв Ñĥк +ĠÐĺм ел +ĠÐļÐŁ ÐłÐ¤ +ĠÐļ анд +ĠÐļ анн +ĠÐļаÑĢ ÑĢ +ĠÐļ аÑģÑģ +ĠÐļей ÑĤ +ĠÐļ ÑĢак +ĠÐļ ÑĢаÑĤ +ĠÐļÑĢ ив +ĠÐļ ÑĢÑĥÑĤ +ĠÐĽ анг +ĠÐĽ анд +ĠÐĽ ибо +ĠÐĽ иге +ĠÐĽÐ¸Ð· а +ĠÐĽ ион +ĠÐĽÑĥн Ñĥ +ĠÐľÐ°ÑĤ Ñĩ +ĠÐľÐ°ÑĪ а +ĠÐľ еÑģÑģ +ĠÐľ еÑĤа +ĠÐľ илÑĮ +ĠÐľ она +ĠÐľ ÑįÑĤÑĤ +ĠÐľÑıÑģ о +ĠÐĿ ÐIJСÐIJ +ĠÐĿа иб +ĠÐĿеб о +ĠÐĿев е +ĠÐĿ оÑĢÑĤ +ĠÐŀÐij СÐķ +ĠÐŀÐĵ ÐŁÐ£ +ĠÐŀб еÑĢ +ĠÐŀд еÑģ +ĠÐŀ ÑģÑĤÑĢ +ĠÐŀÑĤ ÑĨа +ĠÐŁÐķÐł Ðķ +ĠÐŁÐµÑĢ м +ĠÐŁ оло +ĠÐŁ онÑĤ +ĠÐł айÑĤ +ĠÐłÐµÐ¹ Ñħ +ĠÐł еÑĩи +ĠÐł жев +ĠÐł иге +ĠСа Ñĥд +ĠС еÑĢа +ĠСеÑĢ д +ĠСин ÑĮ +ĠС иÑĨи +ĠС кан +ĠС лож +ĠСл ÑĭÑĪ +ĠСоÑĦ и +ĠС пеÑĢ +ĠСп ин +ĠСп иÑĢ +ĠС ÑĤоÑĢ +ĠТ анк +ĠТеб Ñı +ĠТ оже +ĠТ ÑĢав +ĠТ ÑĢад +ĠТ Ñĥда +ĠТ ÑĥлÑĮ +ĠТÑĥÑĢ к +ĠУ вид +ĠУ див +ĠУ илл +ĠУ лан +ĠФ лоÑĤ +ĠФ оÑĢд +ĠÐ¥ анÑģ +ĠÐ¥ иÑĢо +ĠÐ¥ озÑı +ĠЧ жан +ĠШÑĤ аÑĤ +ĠÐŃк Ñģп +ĠаÑģ Ñģо +Ġа ÑģÑĤм +Ġа ÑĦÑĢи +ĠбаÑģ н +Ġбез Ñĭ +Ġб еÑĤа +Ġби аÑĤ +Ġбо ем +Ġб оÑģÑģ +ĠбоÑı з +Ġбо Ñijв +Ġб ÑĢез +ĠбÑĭ ÑĤÑĥ +Ġв аÑģÑģ +Ġв аÑħÑĤ +Ġвек Ñĥ +Ġв елÑĮ +Ġв енÑĤ +ĠвеÑĢ о +Ġвн еÑģ +Ġво ед +Ġвол Ñĩ +Ġвол ÑĪ +ĠвÑģ кÑĢ +ĠвÑĭб ÑĢ +ĠвÑĭз д +ĠвÑı ло +Ġг алл +Ġг ено +Ġг еÑģÑĤ +Ġгип Ñģ +Ġгл Ñĭб +Ġг нил +Ġгн ÑĥÑģ +Ġг ÑĢиÑĦ +Ġг ÑĢоÑĪ +Ġг ÑĢÑĥÑĪ +Ġдан Ñĭ +ĠдаÑĩ Ñĥ +Ġд елÑĮ +Ġд еÑģк +Ġд лиÑĤ +Ġд нÑijм +ĠдÑĢ ож +Ġд ÑĥÑĢа +ĠдÑĥ ÑįÑĤ +ĠдÑĭ ÑĢÑĭ +Ġд ÑĮÑıк +ĠдÑİ Ð¹Ð¼ +ĠдÑıд е +Ġед ой +Ġе ÑĢеÑĤ +Ġз онд +ĠзÑĢ ел +Ġизб ÑĢ +Ġиз об +Ġиз ог +Ġин ди +Ġин дÑĥ +Ġин оп +Ġин ÑģÑĥ +Ġи Ñĥда +ĠиÑĥд е +Ġк ани +Ġкл еÑī +Ġкли ÑĢ +Ġко иÑħ +Ġкон д +Ġк ÑĢип +ĠкÑĢ ок +ĠкÑĥÑĢ д +ĠкÑĥÑĩ е +Ġлег к +Ġл екÑģ +Ġл енÑĮ +Ġли га +Ġли ÑĪи +Ġлож а +Ġл Ñĥна +ĠлÑĥ нÑĭ +ĠлÑĮ ва +Ġмам Ñĥ +Ġмед Ñģ +ĠмеÑĪ а +ĠмÑĥ ка +ĠмÑĥ кÑĥ +Ġна Ñģк +Ġн иÑĤк +ĠноÑģ Ñĥ +Ġоб аÑı +Ġоб оÑĪ +Ġог ни +Ġок ан +ĠоÑĢ ла +ĠоÑĩ аÑĢ +Ġп акÑĤ +Ġп анÑģ +Ġп ели +Ġп еÑģÑģ +ĠпеÑģ Ñĩ +Ġп идж +Ġп ÑĢап +ĠпÑĢ ÑĥÑĤ +ĠпÑĮ еÑĤ +ĠпÑĮ ÑİÑĤ +ĠÑĢаÑģ Ñħ +ĠÑĢ жав +ĠÑĢÑĥд Ñĭ +ĠÑĢÑĥ лÑĮ +ĠÑĢÑĥ лÑı +ĠÑĢÑĥÑĩ ÑĮ +ĠÑĢ ÑĭÑħл +ĠÑģ аÑĤи +ĠÑģем Ñı +ĠÑģ ижÑĥ +ĠÑģ ион +ĠÑģк еп +ĠÑģкÑĥ к +ĠÑģ лиз +ĠÑģл ое +ĠÑģм еÑĤ +ĠÑģм еÑı +ĠÑģн иÑģ +ĠÑģп ÑĢо +ĠÑģÑĥ ÑĦÑĦ +ĠÑģÑĬ ел +ĠÑģÑij ла +ĠÑĤаб Ñĥ +ĠÑĤ оÑĢÑĤ +ĠÑĤÑĥ го +ĠÑĤÑĥ ÑĪи +ĠÑĤÑĮ мÑĭ +ĠÑĤÑı ги +ĠÑĥг лÑĭ +ĠÑĥ ÑĢав +ĠÑĥÑģ во +ĠÑĥÑĩ Ñijн +ĠÑĦаÑĢ ÑĪ +ĠÑĦ ÑĥнÑĤ +ĠÑħоÑĢ е +ĠÑħÑĥд о +ĠÑĨ инк +ĠÑĩ аÑĢÑĤ +ĠÑĩ ÑĥмÑĭ +ĠÑĩ ÑĮей +ĠÑĪ аÑĪк +ĠÑĪ лÑİз +ĠÑįв ак +ĠÑįк оÑģ +ĠÑį лÑĮÑĦ +ĠÑįÑĤ Ñİд +ĠÑİ Ð½ÑĭÑħ +ĠÑıÑĢ Ñĩе +ÐIJй ÑĢеÑģ +ÐIJлÑĮ ÑĦа +Ðij еÑģед +ÐĴаÑģ ил +ÐĵоÑĢ ÑıÑĩ +Ðĵ ÑĢанд +ÐĶ емон +ÐĶи его +ÐĶмиÑĤ ÑĢ +ÐķÑĢ мак +Ðĸ елез +ÐĹв Ñijзд +ÐĹд еÑģÑĮ +Ðĺз мен +Ðĺм пеÑĢ +ÐļоÑĢ ол +Ðļ ÑĢоме +ÐĽ енин +ÐĽ ибеÑĢ +ÐĽ ивеÑĢ +ÐĿ оваÑı +ÐŀÑģв об +ÐŁÐ°ÑĢ ÑĤи +ÐŁÐµÑģ ни +ÐŁÐµÑĩ оÑĢ +ÐŁ омни +ÐŁÑĥÑĤ еÑĪ +ÐłÐ°Ð± оÑĩ +Ðł акеÑĤ +С лова +С поÑĢÑĤ +Те аÑĤÑĢ +ТеÑħ но +Т оÑĢон +Т ÑĢанÑģ +ав иÑĨа +аем Ñĭе +ажд ен +акÑģ иÑģ +ак ÑĨии +ал авÑĢ +алл ел +алÑĮ на +ами ки +ами на +ам Ñijнн +ан ÑĢог +аÑĤ леÑĤ +баÑģÑģ е +без об +бек ов +бел ев +беÑĢ ÑĥÑĤ +бив аÑı +б оÑģоб +бÑĥÑĢ жÑĥ +бÑĭ ÑĤиÑı +ваÑĤ Ñĭй +вей еÑĢ +вз ÑĢоÑģ +в клÑİÑĩ +воз ÑıÑĤ +вÑĭ Ñħод +вÑıз кÑĥ +г ваÑĢд +г идÑĢо +глÑĥб ÑĮ +гоÑĢ Ñĥк +г Ñĥнов +доÑħ нÑĥ +д ÑĢама +дÑĢаÑĦ ÑĤ +дÑĥм ав +един Ñĥ +ед омо +ед ÑĢин +езж аÑı +ей ман +ей ÑĨев +ей ÑĪим +ека ÑİÑī +ек кеÑĢ +ели Ñĩе +елÑı ÑĨи +ем омÑĥ +ени ва +ени ÑĨÑĭ +еÑĢед и +еÑĢи ей +еÑĢ ÑĤиÑĢ +еÑģÑĤ ив +еÑĩ ник +еÑī ени +жим ал +жим аÑı +зд ÑĭÑħа +зем лÑı +зен Ñħа +зов ÑĥÑİ +з Ñĭвал +иг ÑĢал +ид иан +ид ÑĢав +илÑı ÑĨи +имеÑĤ ÑĢ +им Ñĩив +ина ÑĨи +инг ем +ин енÑĤ +ин нов +инов н +ино Ñĩк +иÑĤа лÑı +иÑĤаÑĢ н +иÑĤÑĥÑĤ к +иÑħ онÑĮ +иÑĨ каÑı +кан ÑĮе +каÑĢ ди +кеÑĢ ам +ки лом +ки неÑĤ +кле ен +ков Ñģк +колÑı Ñģ +ком мÑĥ +кон еÑĨ +коп ан +кÑĥп ил +кÑĥ ÑĢил +лаж да +лаÑĤ ин +лен ко +ле ÑģÑĤÑĮ +леÑĤ ÑĥÑĩ +лив ки +ли ней +лин ен +лин Ñģк +лов ка +лов ÑĥÑĤ +лож им +лон но +лÑİ ÑĤеÑĢ +м аков +ман аÑħ +маÑħ ÑĤа +м еждÑĥ +ме ÑģÑıÑĩ +миÑģÑģ и +мод Ñĥл +мол оÑĩ +н венÑĤ +н джел +н джеÑĢ +н еÑģÑĤв +неÑģ ÑĥÑĤ +ни бал +ни ÑģÑĤÑĭ +ниÑĩ ал +ниÑĩ ий +нов ен +ног иÑħ +нож иÑı +нÑĮ ков +об олÑĮ +обÑĢ ел +ован н +оваÑĢ д +ог иÑĤе +огов е +ода ÑİÑĤ +ож жен +оке ан +ок ÑĢÑĥж +ол иÑĩн +ол Ñĩан +он изм +оп еÑĩн +оÑĢ веÑĤ +оÑĢÑĤ аж +оÑĢ Ñīик +оÑģеÑĢ д +оÑģ пиÑĤ +оÑģ пÑĢи +оÑģÑĤ ив +оÑĤ ÑĢоп +оÑĤ ÑĢÑıд +оÑĤÑĥ аÑĢ +оÑĦ ÑĮев +оÑĨен к +оÑĨи ÑĢÑĥ +оÑĩ енн +оÑıÑĤ нÑĭ +пад ÑĥÑĤ +пан Ñģк +пен ди +пиÑĢ иÑĤ +п лекÑģ +плÑĭ ли +п обед +п овед +п оказ +по Ñħож +пÑĢед ÑĪ +пÑĢин ÑĤ +пÑĢ ода +ÑĢав не +ÑĢаж да +ÑĢаж Ñijн +ÑĢай он +ÑĢан но +ÑĢева Ñİ +ÑĢеж но +ÑĢез ки +ÑĢи ÑĢов +ÑĢов Ñģк +ÑĢод но +ÑĢож ел +ÑĢоÑģ ов +ÑĢÑĥ бил +ÑĢÑĥж ен +ÑĢÑħ иÑģÑĤ +ÑĢÑĭв но +ÑĢÑıд но +ÑģеÑĢ еб +Ñģк ÑĢип +Ñģп ока +ÑģÑĤи ла +ÑģÑĤÑĢа ÑĪ +ÑģÑĤ ÑĢиг +ÑģÑĤÑĢ им +ÑģÑıÑĩ но +ÑĤ аÑĤаÑĢ +ÑĤелÑĮ н +ÑĤ инов +ÑĤоÑĩ ки +ÑĤÑĢоп и +ÑĤÑĭ ков +ÑĥÑĢ ман +ÑĥÑģÑĤ аÑĢ +ÑĥÑĩ ива +ÑĥÑİÑī аÑı +ÑĦиг ÑĥÑĢ +Ñħим ик +Ñħим иÑı +Ñħож ан +ÑĨеÑģÑģ а +ÑĨии ÑĢÑĥ +ÑĩаÑĤ ой +ÑĩаÑĤ Ñĭм +Ñĩив аÑı +Ñĩ иÑīен +Ñĩ ника +ÑĪаÑı ÑģÑı +ÑĪев ик +ÑĪеÑĢ ÑģÑĤ +ÑĪÑĤаб а +ÑĪ ÑĤÑĥÑĢм +ÑĪÑĥÑİ ÑģÑı +Ñīей ÑģÑı +Ñĭв ало +Ñįк ÑĢан +Ñİдж еÑĤ +Ñıг ива +Ñıз Ñĩив +ÑıÑģ нен +ÑıÑĤи ем +ÑıÑĤ иÑĤÑĮ +Ġcon ve +mp ress +n ished +stit ut +t imate +t itude +ĠÐIJл лен +ĠÐIJлÑı Ñģк +ĠÐIJн деÑĢ +ĠÐIJн ÑĤаÑĢ +ĠÐIJÑĢ биÑĤ +ĠÐIJÑĢ миÑİ +ĠÐIJÑĢÑħ ив +ĠÐIJÑĦ инÑĭ +ĠÐIJÑħ мад +ĠÐIJÑħ маÑĤ +ĠÐij аÑĢак +ĠÐijиÑĤ ва +ĠÐijог аÑĤ +ĠÐijож ие +ĠÐijож иÑı +ĠÐij олоÑĤ +ĠÐij оÑĢов +ĠÐijÑĢÑĥ но +ĠÐijÑĥд дÑĭ +ĠÐijÑĥд ем +ĠÐijÑĥн ин +ĠÐĴ видÑĥ +ĠÐĴеÑĤ еÑĢ +ĠÐĴз ÑĢÑĭв +ĠÐĴид но +ĠÐĴ новÑĮ +ĠÐĴой Ñģк +ĠÐĴол ге +ĠÐĴол оÑģ +ĠÐĵÐĺ ÐijÐĶÐĶ +ĠÐĵÐĽÐIJ ÐĴÐIJ +ĠÐĵ олÑĮд +ĠÐĵÑĢи бо +ĠÐĶав но +ĠÐĶев ÑıÑĤ +ĠÐĶ олин +ĠÐĶ омин +ĠÐķ ленÑĭ +ĠÐĹ Ð¸Ð½Ð¾Ð² +ĠÐĺ аков +ĠÐĺгÑĢ ал +ĠÐĺде ал +ĠÐĺÑĢак е +ĠÐĻем ен +ĠÐĻ озеÑĦ +ĠÐĻо Ñħан +ĠÐļал Ñĥг +ĠÐļал Ñĥж +ĠÐļаÑĢ ен +ĠÐļ аÑģÑģи +ĠÐļ аÑĤаÑĢ +ĠÐļев ин +ĠÐļ елли +ĠÐļ овал +ĠÐļол еÑģ +ĠÐļоÑĢ аб +ĠÐļоÑĢ еÑı +ĠÐļоÑģÑĤ а +ĠÐļÑĢ иво +ĠÐļÑĢÑĥг л +ĠÐļÑĥз ÑĮм +ĠÐļÑĥп еÑĢ +ĠÐĽÐµÐ² ин +ĠÐĽÐ¸Ð² ии +ĠÐĽÐ¸Ð´ иÑı +ĠÐĽÐ¸ÑĤ ве +ĠÐĽÑİб аÑı +ĠÐĽÑİ ÑĤеÑĢ +ĠÐľÐ°Ð¹ оÑĢ +ĠÐľÐ°Ð» Ñĭй +ĠÐľ енÑĮÑĪ +ĠÐľ еÑģÑģи +ĠÐľ иÑģÑģи +ĠÐľ олоÑĤ +ĠÐľÐ¾Ð» Ñĩа +ĠÐľÐ¾ÑĢ иÑģ +ĠÐľÑĭ ÑģлÑĮ +ĠÐĿ аÑĨий +ĠÐĿиÑĩ ÑĤо +ĠÐĿов ом +ĠÐĿов Ñĭм +ĠÐŀб Ñīие +ĠÐŀ зеÑĢо +ĠÐŀк ÑĢÑĥж +ĠÐŀлÑĮ ги +ĠÐŀ пÑĢед +ĠÐŀÑĤ каз +ĠÐŀÑĤ ноÑģ +ĠÐŀÑĤ ÑĢÑıд +ĠÐŀ ÑħÑĢан +ĠÐŁÐ°Ð½ ам +ĠÐŁÐ° ÑĢад +ĠÐŁ едÑĢо +ĠÐŁÐ¾ езд +ĠÐŁÐ¾Ð»Ñı н +ĠÐŁÐ¾ÑĢ ой +ĠÐŁ ÑĢаге +ĠÐŁÑĢин ÑĨ +ĠÐłÐ¡ ÐĶÐłÐŁ +ĠÐłÐ°Ð¹ он +ĠÐłÐ¾Ð· ен +ĠÐłÑĥÑģ Ñģо +ĠСав ин +ĠСалÑĮ в +ĠСво им +ĠСез он +ĠСем Ñijн +ĠСоб ак +ĠСоÑĦ иÑı +ĠСоÑĦ ÑĮÑı +ĠСп аÑĢÑĤ +ĠСÑĤ олÑĮ +ĠСÑĤ ÑĢем +ĠСÑĤ ÑĢÑĥк +ĠСÑĥд ан +ĠСÑĥм ма +ĠС ÑĬезд +ĠТеÑĢ ез +ĠТим оÑĪ +ĠТиÑħ ом +ĠТиÑħ он +ĠУп ÑĢаж +ĠУÑĢ ала +ĠУ ÑĢале +ĠУ Ñģлов +ĠФили п +ĠФ инал +ĠХаÑģ ан +ĠХв оÑģÑĤ +ĠХолм Ñģ +ĠЦелÑĮ Ñİ +ĠЦ иÑĨеÑĢ +ĠЧеÑĩ не +ĠЧеÑĩ ни +ĠШ еÑģÑĤÑĮ +ĠШиÑĢ ок +ĠШÑĤ ейн +ĠÐŃд гаÑĢ +ĠÐŃйн ÑĪÑĤ +ĠÐŃ ÑĦиоп +ĠЮли ан +ĠабоÑĢ ÑĤ +Ġав анÑģ +ĠавÑĤ оÑĤ +Ġак ÑĨиÑİ +Ġал лег +ĠаÑĤ лаÑģ +Ġбаз иÑģ +Ġбан ан +Ġбанд Ñĭ +Ġб аÑĢак +ĠбаÑĢ ÑĭÑĪ +ĠбаÑĪ нÑİ +Ġбел ог +Ġбел ое +Ġбен зо +Ġб ибли +Ġбл еÑģн +Ġбод ÑĢо +Ġбок ам +Ġбол ел +Ġбол ен +ĠболÑĮ Ñİ +ĠбоÑı ÑģÑĮ +ĠбÑĥд ни +ĠбÑĥк еÑĤ +Ġв аннÑĭ +ĠвеÑĢ ой +ĠвеÑģ на +ĠвеÑĤ ÑĢе +ĠвеÑĤ ÑĢÑĥ +Ġвз има +Ġвид не +ĠвиÑģ иÑĤ +ĠвиÑģ ки +ĠвнÑĥÑĤ ÑĢ +ĠвÑģ еÑģÑĤ +ĠвÑĤÑĢ ое +ĠвÑĭ дав +ĠвÑĭ жил +ĠвÑĭ леÑĩ +ĠвÑĭп Ñĥк +Ġгал лÑİ +Ġг ений +ĠгеÑĢ оÑİ +ĠгеÑĤ ÑĤо +Ġг илÑĮз +Ġг линÑĭ +Ġгл оÑĤк +ĠглÑĥб ÑĮ +ĠгоÑĢ до +ĠгоÑĢ оÑħ +ĠгÑĢан ÑĮ +ĠгÑĢ еко +ĠгÑĢи пп +Ġдал Ñijк +Ġдвиж Ñĥ +Ġдев из +Ġдек ад +Ġдек ан +Ġд елÑĮÑĤ +ĠдеÑĤ ÑıÑħ +Ġдж енÑĤ +Ġдз Ñİдо +Ġд икой +Ġдожд и +Ġд ойÑĤи +ĠдоÑģ ке +Ġдо ÑĪел +Ġдо ÑĪла +ĠдÑĢ ейÑĦ +Ġд ÑĢова +ĠевÑĢе Ñı +Ġеж еме +Ġжил Ñĭе +ĠжÑĥÑĤ ко +Ġзаг лÑı +Ġзак Ñĥп +ĠзаÑĤ еÑı +Ġзим ов +Ġз овеÑĤ +Ġзона Ñħ +ĠинÑĤ ÑĢо +ĠиÑģÑĤ ол +Ġкали Ñı +Ġкам не +Ġкан ав +ĠкаÑĢ ик +Ġка ÑģÑĤÑĢ +ĠкаÑĤ аÑĢ +Ġк ваÑĢÑĨ +ĠкиÑģ ло +ĠкиÑģÑĤ ÑĮ +Ġкл ана +Ġкл ейм +Ġкли ни +Ġкож ей +Ġкоз ÑĭÑĢ +Ġком аÑĢ +Ġкон ей +Ġкоп ÑĮе +Ġкоп ÑĮÑı +ĠкоÑĤ ел +ĠкÑĢем н +ĠкÑĢ омк +ĠкÑĢÑĭ ÑĪÑĥ +ĠкÑĥб ка +ĠкÑĥм иÑĢ +ĠкÑĥп еÑĨ +ĠкÑĥп ÑĨÑĭ +ĠкÑĥÑħ нÑı +ĠленÑĤ е +Ġлим иÑĤ +ĠлиÑĪ Ñijн +Ġлов ли +Ġлок ом +ĠлÑijг ко +Ġмал аÑı +Ġм алин +Ġмам ой +Ġман ÑĤи +ĠмаÑģ кÑĥ +Ġма ÑģÑĤи +ĠмаÑĤ ÑĢи +ĠмеÑĢ ÑĨа +ĠмеÑĩ ом +ĠмеÑĪ ка +Ġмил Ñĭй +ĠмÑĥж ей +ĠмÑıÑĩ ей +Ġнав иг +Ġна лаж +Ġоб вал +Ġоб идÑĭ +Ġоб лиг +Ġоб ÑĢÑĥÑĩ +Ġо коÑĪк +Ġок ÑĢаÑĪ +Ġоп ÑĢок +Ġоп ÑĥÑģÑĤ +ĠоÑĢ деÑĢ +ĠоÑģ адÑĭ +ĠоÑģк ол +ĠоÑģ мел +ĠоÑģÑĤ ÑĢи +ĠоÑģÑı за +ĠоÑĤ ÑĢез +ĠоÑħоÑĤ е +ĠоÑĩ еÑĢÑĤ +ĠоÑĩ ÑĥÑĤи +Ġпад еж +Ġпап кÑĥ +Ġпап ой +Ġпев ÑĨа +Ġп елен +ĠпеÑĢ ÑĨа +ĠпеÑĤ ÑĥÑħ +ĠпиÑĢ ож +ĠпиÑī ей +Ġпл анÑĤ +ĠплеÑĩ а +Ġпл иÑĤÑĭ +Ġпож из +Ġпол нÑĭ +Ġпом еÑĪ +Ġпон ем +ĠпоÑģ еÑĢ +ĠпоÑĩ ва +ĠпоÑĩ ÑĤÑĥ +ĠпоÑį ме +ĠпÑĢи ÑĥÑĢ +Ġп ÑĥлÑĮÑĤ +ĠпÑĥÑĤ ÑıÑħ +ĠпÑıÑĤ ой +ĠÑĢад аÑĢ +ĠÑĢаз оÑĪ +ĠÑĢа Ñĥнд +ĠÑĢеб ÑĢа +ĠÑĢег би +ĠÑĢей Ñħа +ĠÑĢ огов +ĠÑĢÑĥб лÑĮ +ĠÑĢÑĥж ей +ĠÑĢÑĥж ÑĮе +ĠÑĢÑĥ лем +ĠÑĢ ÑĥÑĤин +ĠÑĢÑĥÑĩ ки +ĠÑĢÑĥÑĩ кÑĥ +ĠÑĢÑĭн ки +ĠÑģам ок +ĠÑģам оÑģ +ĠÑģап еÑĢ +ĠÑģ бокÑĥ +ĠÑģв еÑĢг +ĠÑģв еÑĩи +ĠÑģда Ñĩи +ĠÑģем ан +ĠÑģеÑĢ Ñĭй +ĠÑģеÑĤ ÑĮÑİ +ĠÑģ ибиÑĢ +ĠÑģим Ñĥл +ĠÑģин ий +ĠÑģиÑĢ ен +ĠÑģиÑĢ оп +ĠÑģкаж и +ĠÑģка Ñĩк +ĠÑģк иÑĤа +ĠÑģл айд +ĠÑģл ома +ĠÑģлоÑı Ñħ +ĠÑģл Ñĥга +ĠÑģмен е +ĠÑģоÑĤ нÑı +ĠÑģоÑĨи о +ĠÑģоÑĩ ли +ĠÑģп алÑĮ +ĠÑģп аÑģÑĤ +ĠÑģпеÑĪ а +ĠÑģп онÑĤ +ĠÑģ ÑģÑĭла +ĠÑģÑĤад о +ĠÑģÑĤи лÑİ +ĠÑģÑĤоп Ñĭ +ĠÑģÑĥж ен +ĠÑģÑĥм ев +ĠÑģÑĥÑħ ие +ĠÑģÑĥÑħ им +ĠÑģÑĥÑħ иÑħ +ĠÑĤай не +ĠÑĤан ÑĨÑĭ +ĠÑĤаÑĢ ан +ĠÑĤаÑģ ка +ĠÑĤвоÑĢ и +ĠÑĤеÑĢ за +ĠÑĤеÑĩ еÑĤ +ĠÑĤоб оÑİ +ĠÑĤом аÑĤ +ĠÑĤоÑĢг Ñĥ +ĠÑĤоÑĢ оп +ĠÑĤоÑĤ ал +ĠÑĤÑĢ енд +ĠÑĤÑĢ оÑģÑĤ +ĠÑĤ ÑĢÑĥпп +ĠÑĤÑĥн дÑĢ +ĠÑĤÑĥÑĢ бо +ĠÑĤÑĥÑĢ ки +ĠÑĤÑĥÑĪ ен +ĠÑĥда ли +ĠÑĥд обÑĢ +ĠÑĥж ина +ĠÑĥз кие +ĠÑĥз кий +ĠÑĥз ким +ĠÑĥз кой +ĠÑĥз ник +ĠÑĥ йдеÑĤ +ĠÑĥкÑĢ ал +ĠÑĥм ÑĢеÑĤ +ĠÑĥ нÑĤеÑĢ +ĠÑĥ пÑĢоÑĩ +ĠÑĥ ÑĢана +ĠÑĥÑĤе ÑĪи +ĠÑĥÑĩеб Ñĭ +ĠÑĥÑĩÑij бÑĭ +ĠÑĦак ел +ĠÑĦ елÑĮд +ĠÑĦем ин +ĠÑĦил аÑĢ +ĠÑĦ лейÑĤ +ĠÑħ азаÑĢ +ĠÑħол ÑģÑĤ +ĠÑħÑĢом а +ĠÑĨ енил +ĠÑĨеп лÑı +ĠÑĩеÑĢв Ñı +ĠÑĩеÑĢ па +ĠÑĩиÑĤ аÑı +ĠÑĩÑĥж до +ĠÑĩÑijÑĢ но +ĠÑĪаÑħ ÑĤÑĭ +ĠÑĪеп оÑĤ +ĠÑĪ оÑĦеÑĢ +ĠÑĪÑĤ амп +ĠÑĪÑĤ анÑĭ +ĠÑĪÑĥÑĤ ка +ĠÑĪÑĥÑĤ ки +ĠÑīел оÑĩ +ĠÑį лаÑģÑĤ +ĠÑįпоÑħ е +ĠÑį ÑģÑĤаÑĦ +ĠÑİни оÑĢ +ĠÑİ Ð½Ð¾Ð³Ð¾ +ĠÑİно ÑĪи +ĠÑıв нÑĭм +ĠÑıгод Ñĭ +ĠÑıкоÑĢ ÑĮ +ĠÑıÑĢ лÑĭк +ĠÑıÑģ нÑĭм +ÐIJмеÑĢ ик +Ðijаг дад +ÐijаÑĢ баÑĢ +Ðij ÑĢигад +ÐĴз ÑĢоÑģл +ÐĴ оÑģÑĤок +ÐĶжеÑĢ Ñģи +Ðķди наÑı +Ðķдин ой +ÐĹолоÑĤ о +Ðļом Ñģом +ÐļоÑģ моÑģ +ÐļÑĢаÑģ но +ÐĽÑĥÑĩ ÑĪаÑı +ÐĽÑĥÑĩ ÑĪий +Ðľ аÑģÑĤеÑĢ +ÐľÐµÐ´ вед +ÐĿад ежд +Ðŀб оÑĢон +ÐŀдиÑģ Ñģе +ÐŁÐµÑĢ вом +ÐłÐ¾Ð´ ина +С ейÑĩаÑģ +Слав Ñıн +СÑĥд ебн +Ю билей +ав ÑģÑĤÑĢи +ак ÑĤики +алÑĮ ÑĩиÑĪ +аÑĢ мейÑĨ +б ивали +б изнеÑģ +благ оÑĩ +ближ не +бÑĢ алÑģÑı +б ÑĢиÑĤан +бÑĢоÑģ ки +б Ñĭваем +вал иÑĤÑĮ +ваÑĢд ей +ваÑĢи Ñĥм +ваÑĤ елÑı +вед Ñĭва +вели ко +веÑĢ нÑĥв +влек ло +влеÑĩ Ñijн +возд ÑĥÑĪ +воп лоÑī +в Ñģегда +вÑĭ ÑģÑĤав +вÑıз али +гаÑĢ анÑĤ +глÑı нÑĥв +гон ÑıÑİÑĤ +гÑĢÑĥз ил +гÑĢÑĥз ки +да ÑİÑīаÑı +дев аеÑĤ +дел еев +деÑĢж аÑĤ +ди акон +дÑĥм Ñĩив +ед елÑĮн +езап но +ек ÑĨией +енд аÑĢÑĮ +ен ÑĩеÑģк +еп аÑĢаÑĤ +еÑĢед аÑĩ +жÑĥÑĢ нал +з ÑĭваÑİÑĤ +ив ании +ид енÑĨи +изм Ñĥнд +илÑĮÑĤ Ñıн +ина ÑĢии +ин веÑģÑĤ +ин ÑģкÑĥÑİ +инÑĥ емо +иÑĦ агоÑĢ +иÑĨин Ñģк +иÑĩеÑģ ко +йоÑĢк Ñģк +каз ано +калÑĮ ÑĨи +клад кÑĥ +клÑİÑĩ ил +кол лег +кон кÑĥÑĢ +коп аÑĤÑĮ +коÑĢм ил +коÑĢ пÑĥÑģ +коÑĢÑĭ ÑģÑĤ +кÑĢаÑĤ но +кÑĢÑĥ ÑĤил +кÑĢÑĭÑĤ ой +к ÑģÑĤаÑĤи +лаг аеÑĤ +лаг аÑĤÑĮ +лаÑĤÑĭ ни +лен нее +лигаÑĢ Ñħ +лина ÑĢн +лин гов +ли ÑĢова +лиÑĩ аÑİÑĤ +лиÑĩ еÑģк +лиÑĩ нÑĭй +лого об +маз аÑĤÑĮ +ман ÑĮÑıк +маÑĤ Ñĭва +мен едж +моз гов +мон гол +моÑģ ков +мÑĥ зÑĭка +нали ÑģÑĤ +на ÑĥÑĩно +ней ÑĪей +ней ÑĪÑĥÑİ +неÑģ ено +ника еÑĤ +ним иÑĤе +нÑĬ екÑĨи +обав ок +обÑĭÑĤи Ñı +ован ни +од Ñģкой +оз аÑīиÑĤ +озв оно +олн иÑĤÑĮ +олод еÑĨ +олÑĮ нÑĭй +она ÑĢÑĥÑĪ +ополÑĮ д +опÑĭÑĤ но +оÑĢод но +оÑĤ вÑĢаÑĤ +оÑı зÑĭÑĩн +оÑı нием +пав ÑĪие +пло Ñīад +под ÑĬем +поко ен +п оÑģлед +пÑĢав лÑı +пÑĢ епÑıÑĤ +пÑĢ окÑĥÑĢ +пÑĥб лиÑĩ +пÑĥÑģ кал +ÑĢаб анд +ÑĢаниÑĨ а +ÑĢеж иÑģÑģ +ÑĢеж ÑĮÑĤе +ÑĢика Ñģа +ÑĢов одн +ÑģенÑģ ÑĥÑģ +Ñģиг нал +Ñģид еÑĤÑĮ +Ñģ имвол +ÑģинÑĤ ез +Ñģкак ал +ÑģлÑĥÑĪ ав +Ñģол ини +Ñģ оÑģÑĤав +ÑģоÑİ Ð·Ð¾Ð² +ÑģÑĤ абил +ÑģÑĤав ок +ÑģÑĤан ÑĥÑĤ +ÑģÑĤÑĢо ев +ÑģÑĤ ÑĥÑĩал +ÑģÑĭл аеÑĤ +ÑģÑĭла ÑİÑĤ +ÑĤел еÑģн +ÑĤеÑĢ ÑĮеÑĢ +ÑĤи ÑĢаÑĤÑĮ +ÑĥголÑĮ н +ÑĥлÑĮ ÑģÑĤв +ÑĥÑĢов не +ÑĥÑģк аÑĤÑĮ +ÑĥÑģÑĤ имо +ÑĥÑĩ илÑģÑı +ÑĥÑİÑī ими +ÑĦак ÑĤоÑĢ +ÑĦ икаÑĨи +ÑĦоÑģ ÑĦаÑĤ +Ñħ иÑĢÑĥÑĢг +ÑħоÑĢоÑĪ о +ÑĨина ÑĨи +ÑĨи ÑĦÑĢов +ÑĩеÑĢ Ñĩен +ÑĩиÑģÑĤ ил +ÑĩиÑĤ аем +ÑĩиÑĤ аÑĤÑĮ +ÑĪед ÑĪее +ÑĪеп ÑĤал +Ñīего ÑģÑı +ÑĬедин Ñı +Ñĭв алÑģÑı +ÑĭÑĩ еÑģÑĤв +Ñįн еÑĢго +Ñįн ÑĤÑĥзи +Ñıн Ñģкий +ĠCrit ic +anth rop +fant asy +l ateral +t ention +t ically +ĠÐIJв ÑģÑĤÑĢо +ĠÐIJнÑĤон и +ĠÐIJÑĢиÑģÑĤ о +ĠÐIJÑĢк ади +ĠÐIJÑĦ инаÑħ +ĠÐIJÑĦÑĢи кÑĥ +ĠÐijай кал +ĠÐijай ÑĢон +ĠÐijелÑı ев +ĠÐijоÑĢ ÑĮба +ĠÐijÑĢÑİ Ñģов +ĠÐijÑĥд ÑĮÑĤе +ĠÐij ÑĭваеÑĤ +ĠÐĴал еÑĢи +ĠÐĴеÑģÑĮ ма +ĠÐĴнеÑĪ не +ĠÐĴолод Ñı +ĠÐĴол Ñħов +ĠÐĴÑģÑı кий +ĠÐĵали на +ĠÐĵеÑĢ инг +ĠÐĵеÑĢÑĨ ог +ĠÐĵлÑĥб ок +ĠÐĵ оваÑĢд +ĠÐĵом елÑĮ +ĠÐĶани Ñįл +ĠÐĶан ное +ĠÐĶвоÑĢ еÑĨ +ĠÐĶев оÑĩк +ĠÐĶек аÑĢÑĤ +ĠÐĶжеÑĢ ÑĢи +ĠÐĶжон ни +ĠÐĶобав л +ĠÐĶолж но +ĠÐĶÑĢÑĥг им +ĠÐĶÑĥг лаÑģ +ĠÐķÑĢев ан +ĠÐĸ данов +ĠÐĹай ÑĨев +ĠÐĹак лÑİÑĩ +ĠÐĹна еÑĤе +ĠÐļ андид +ĠÐļа ÑĢаба +ĠÐļаÑĢ пов +ĠÐļаÑĢ ÑĤеÑĢ +ĠÐļа ÑģÑĤÑĢо +ĠÐļли енÑĤ +ĠÐļом поз +ĠÐļон ÑĢад +ĠÐļÑĢак ов +ĠÐļÑĢем лÑĮ +ĠÐĽÐ¸Ð¿ еÑĨк +ĠÐĽÐ¸ÑģÑĤ ÑĮÑı +ĠÐĽÑİк Ñģем +ĠÐľÐ°ÑĢи ан +ĠÐľÐ° ÑĪина +ĠÐľÐ¸Ð½ ÑĦин +ĠÐľÐ¸ÑĪ елÑĮ +ĠÐľÐ¾Ð¸Ñģ ей +ĠÐľ оÑĢган +ĠÐľÑİ Ð»Ð»ÐµÑĢ +ĠÐĿаÑĩ ина +ĠÐĿе ожид +ĠÐĿиж нем +ĠÐĿоÑĢм ан +ĠÐŀблад а +ĠÐŀбÑĢаÑĤ и +ĠÐŀб ÑĢаÑīа +ĠÐŀд еÑģÑģÑĭ +ĠÐŀÑĢ леан +ĠÐŀÑģ еÑĤии +ĠÐŀÑģнов Ñĭ +ĠÐŀÑĤ веÑĩа +ĠÐŁÐ°Ð¼ ÑıÑĤÑĮ +ĠÐŁÐ°ÑĢ алл +ĠÐŁÐ°ÑĢ ÑĤии +ĠÐŁÐµÐº ине +ĠÐŁÐµÑĢ мÑģк +ĠÐŁÐ¾Ð± еда +ĠÐŁÐ¾Ð±ÐµÐ´ и +ĠÐŁÐ¾Ð»Ð¾ ÑĨк +ĠÐŁÐ¾Ð»ÑĥÑĩ а +ĠÐŁÐ¾ÑĤ еÑĢÑı +ĠÐŁÐ¾Ñĩ ÑijÑĤа +ĠÐŁÑĢи ÑĩÑijм +ĠÐŁÑĢок оп +ĠÐŁÑĢ оÑģÑĤи +ĠÐłÐ°ÑģÑģ ел +ĠÐłÐµ ÑĦоÑĢм +ĠÐł еÑĩной +ĠÐłÐ¾Ð´ инÑĥ +ĠСеÑĢ ебÑĢ +ĠСим еон +ĠС казал +ĠСл обод +ĠСлов но +ĠСлож но +ĠСлÑĥж ил +ĠС одеÑĢж +ĠС ÑĢавни +ĠСÑĤ анов +ĠСÑĤаÑĢ аÑı +ĠСÑĤоÑĢ он +ĠСÑĤ ÑĢана +ĠСÑĤÑįн ли +ĠСÑĥд ÑĮба +ĠСÑĥл ÑĤан +ĠТак ова +ĠТак овÑĭ +ĠТам бов +ĠТей лоÑĢ +ĠТимоÑĦ е +ĠТиÑĦ лиÑģ +ĠТÑĥÑĢ ÑĨиÑı +ĠТÑİÑĤ Ñĩев +ĠУ веÑĢен +ĠУвид ев +ĠУ голов +ĠУил Ñģон +ĠУол ÑĤеÑĢ +ĠУÑĪ аков +ĠФев ÑĢал +ĠФеÑĢн ан +ĠХаÑĢ ÑĢиÑģ +ĠХозÑı ин +ĠÐ¥ÑĥÑģ ейн +ĠЧеÑĢ нов +ĠЧ еÑģÑĤно +ĠÐŃн ÑĤони +ĠÐŃÑĢн еÑģÑĤ +ĠЮÐĿÐķ СÐļÐŀ +ĠЯ кÑĥÑĤÑģк +ĠЯпон иÑİ +ĠагенÑĤ Ñĭ +Ġак Ñģиом +ĠакÑĤеÑĢ Ñĭ +Ġак ÑĨион +Ġан аÑĤом +ĠаÑĢаб ов +ĠаÑĢбиÑĤ ÑĢ +ĠаÑĢÑĤи лл +ĠаÑģÑģ оÑĢÑĤ +ĠаÑĤе иÑģÑĤ +Ġа ÑĦÑĦекÑĤ +Ġбаз иÑĢÑĥ +Ġбал лон +ĠбаÑĢ ÑħаÑĤ +ĠбаÑĪ киÑĢ +Ġбед нÑıк +Ġбез жал +Ġбл едно +Ġближ ни +Ġбог ини +Ġбог инÑı +Ġбоев аÑı +Ġбоев ое +Ġбок ÑģеÑĢ +ĠбокÑģ ÑijÑĢ +ĠбоÑĢ озд +ĠбоÑı ÑĢин +ĠбÑĢон ев +ĠваÑģÑģ ал +Ġв глÑĥбÑĮ +Ġвд воем +Ġвели ки +ĠвеÑĤ вей +ĠвеÑĤ ÑĢов +Ġвз волн +Ġвз дÑĥма +Ġвз лома +ĠвзÑıÑĤ ки +ĠвиÑĤ ÑĢин +Ġвод ном +Ġводо Ñijм +Ġвожд ей +Ġвоз ÑĮми +Ġвол ÑĪеб +ĠвоÑĤ Ñĩин +Ġвпад ин +ĠвÑģÑı ким +ĠвÑĭда Ñĩе +ĠвÑĭк ÑĢик +ĠвÑĭ мÑĭÑĤÑĮ +ĠвÑĭ ÑĢвал +ĠвÑĭ Ñģлан +ĠвÑĭÑģ ÑĪаÑı +ĠвÑĭÑģ ÑĪÑĥÑİ +Ġгав ани +ĠгекÑĤ аÑĢ +ĠгеÑĤ еÑĢо +Ġгип ноз +ĠгоÑĢ еÑĩÑĮ +ĠгоÑģÑĤ Ñıм +ĠгоÑģÑĤ ÑıÑħ +ĠгÑĢÑĥд ÑĮÑİ +ĠгÑĢÑĥ нÑĤа +ĠгÑĥлÑı ÑĤÑĮ +ĠдеÑĪ ево +ĠдиÑĦ ÑĦÑĥз +Ġдобав к +Ġдоб ÑĢой +Ġдовод Ñĭ +Ġдог адк +Ġдожд ев +Ġдолг ий +Ġдол инÑĥ +ĠдоÑģ пеÑħ +ĠдÑĢÑĥж бе +ĠдÑĢÑĥж бÑĥ +ĠдÑĢÑĥж но +Ġев ÑĢопе +ĠеÑĢеÑĤ ик +Ġжел аÑĤÑĮ +Ġжел аÑİÑĤ +ĠжелÑĥд к +Ġжив Ñĭми +Ġжиз ней +Ġжили Ñīа +Ġжили Ñīе +Ġзаб лок +ĠзабÑĭ ÑĤÑĭ +Ġзад аеÑĤ +Ġзад нем +Ġзад ний +Ġзад ним +Ġзад ниÑħ +Ġзай меÑĤ +Ġзамен е +Ġзап еÑĢÑĤ +Ġзап иÑĢа +Ġзап ÑĥÑĤа +ĠзаÑĢ оди +ĠзаÑĤ ÑıнÑĥ +Ġза ÑĩÑijÑĤе +Ġзвон ка +Ġзел ени +Ġзем нÑĭÑħ +Ġзлод еÑı +ĠигÑĥ мен +Ġизвин и +Ġиз оÑĤоп +ĠизÑĥÑĩ аÑİ +ĠизÑĥÑĩ ил +ĠизÑĬ ÑıÑĤи +ĠизÑıÑī но +Ġим пÑĢов +ĠинÑĦ ÑĢак +ĠиÑĢ ланд +ĠиÑģк ажа +ĠиÑģÑĤ ока +ĠиÑģÑĤоÑĢ и +Ġкаб ине +ĠкаÑĢ ÑĤаÑħ +ĠкаÑģ кад +ĠкаÑģÑģ еÑĤ +Ġкин жал +ĠкиÑĪ еÑĩн +ĠклеÑĤ ке +ĠклеÑĤ кÑĥ +ĠклÑİÑĩ ей +ĠклÑİÑĩ ом +Ġкниж ка +Ġкниж кÑĥ +Ġкноп ка +Ġкол ено +Ġкон вой +Ġкон Ñĥнг +Ġкон ÑĮÑıк +Ġкоп еек +ĠкоÑģÑĤ еÑĢ +ĠкоÑĦ ейн +ĠкÑĢаÑģ ок +ĠкÑĢеÑģ ле +ĠкÑĢив ой +ĠкÑĢип ÑĤо +ĠкÑĢÑĥж ок +ĠкÑĢÑĥÑĤ ой +ĠкÑĢÑĭ лом +ĠкÑĢÑĭ ÑĪей +ĠкÑĥ вÑĪин +ĠкÑĥз неÑĨ +ĠкÑĥп ÑĨов +ĠкÑĥÑĢÑģ аÑħ +ĠкÑĥÑĢ ÑĮеÑĢ +ĠкÑĥÑģ оÑĩк +Ġлед Ñıно +Ġлек ÑĨиÑı +Ġли ÑĨенз +ĠлиÑĪ аеÑĤ +ĠлиÑĪ ниÑħ +Ġлоп аÑģÑĤ +ĠлÑĥÑĩ ами +ĠлÑijг киÑħ +Ġмеб ели +Ġмел кой +ĠмелÑĮ ка +ĠмеÑĩ ами +ĠмеÑĩ еÑĤÑĮ +ĠмеÑĪ ало +ĠмеÑĪ аÑİÑĤ +ĠмиÑģÑģ иÑİ +Ġмн ений +Ġмоз аик +Ġмол нии +Ġмол оже +ĠмоÑĢ Ñīин +ĠмоÑĢÑı ки +ĠмоÑī ной +ĠмÑĥз еев +ĠмÑĭÑģ лÑıÑī +ĠмÑİз икл +ĠмÑıг кий +ĠмÑıг кой +Ġнав одн +Ġназв ав +Ġна лиÑĨо +Ġнам еÑĤи +Ġна ÑģÑĤиг +ĠнаÑģ ÑĥÑīн +Ġн аÑĤÑĥÑĢÑĭ +ĠнаÑĩ нем +Ġнев ÑĢоз +Ġнек Ñĥда +Ġнел епÑĭ +Ġне ÑģÑĤаб +Ġне ÑħваÑĤ +ĠнеÑıÑģ нÑĭ +Ġниж ний +Ġниж нÑİÑİ +Ġниж нÑıÑı +Ġниз каÑı +Ġниз кие +Ġниз ÑĪиÑħ +ĠноÑĤ аÑĢи +ĠноÑĩ нÑĭÑħ +Ġобид ел +Ġобид но +Ġобиж ен +Ġоб илие +Ġоб кома +ĠобÑĥÑĩ ен +ĠобÑıз ал +Ġод еÑıло +Ġод ноÑģÑĤ +Ġокн ами +ĠопеÑĢ ед +ĠоплаÑĤ Ñĥ +ĠоÑĢг азм +ĠоÑģ ажда +ĠоÑģво ил +ĠоÑģна Ñīа +ĠоÑģоб ом +ĠоÑģÑĤ ÑĢÑĭÑħ +ĠоÑģ Ñĥдил +ĠоÑĤмен е +ĠоÑĤ ойÑĤи +ĠоÑĤ омÑģÑĤ +ĠоÑĤ оÑĪли +ĠоÑĤÑĢаз и +ĠоÑħÑĢан а +ĠоÑĨен ен +ĠоÑĪиб ке +ĠоÑīÑĥ ÑĤил +ĠоÑīÑĥÑī аÑİ +Ġпал аÑĤе +Ġпал омн +ĠпалÑĥб е +ĠпаÑĢ ней +ĠпаÑģÑĤ оÑĢ +Ġпа ÑĥÑĤин +Ġпев иÑĨÑĭ +ĠпеÑĢ ебÑĢ +ĠпеÑģ ней +ĠпеÑģÑģ им +ĠпеÑħ оÑĤа +Ġпидж ак +ĠпиÑĤом ÑĨ +ĠплаÑĤ иÑĤ +ĠплаÑĤ ÑıÑĤ +Ġпла ÑĩеÑĤ +Ġплем Ñijн +ĠплеÑĩ аÑħ +ĠплоÑħ аÑı +ĠплоÑħ ие +Ġпло Ñħим +Ġпов озк +Ġпод кÑĥп +ĠподнÑı в +ĠподоÑĪ в +Ġпозн ан +Ġпой дÑĥÑĤ +Ġпой ман +Ġпом нÑıÑĤ +Ġпониж а +ĠпоÑģл ом +Ġпо ÑģÑĭла +ĠпоÑĤеÑĢ е +ĠпоÑĤеÑĢ Ñİ +ĠпоÑĩ еÑĢк +ĠпÑĢав Ñĭм +ĠпÑĢем ий +ĠпÑĢив Ñijл +ĠпÑĢид ÑĥÑĤ +ĠпÑĢиз ем +ĠпÑĢи кÑĢÑĭ +ĠпÑĢоб ил +ĠпÑĢ обÑĭл +ĠпÑĢой дÑı +ĠпÑĢон иÑĨ +ĠпÑĢоÑĢ ез +ĠпÑĢоÑĤ он +ĠпÑĢоÑī ал +ĠпÑĢÑĭж ка +ĠпÑĢÑıм ÑĥÑİ +ĠпÑĥзÑĭ ÑĢÑı +ĠпÑĥÑģÑĤ Ñĭе +ĠпÑĥÑģÑĤ Ñıк +ĠÑĢад ÑĥеÑĤ +ĠÑĢазв ив +ĠÑĢан ним +ĠÑĢап оÑĢÑĤ +ĠÑĢаÑģ каÑı +ĠÑĢаÑģ пÑĥÑĤ +ĠÑĢаÑģ пÑıÑĤ +ĠÑĢаÑģÑĤ оп +ĠÑĢе аним +ĠÑĢез кий +ĠÑĢек ÑĢÑĥÑĤ +ĠÑĢеÑģÑĤ ав +ĠÑĢиÑģ ÑĥеÑĤ +ĠÑĢÑĥб ÑĢик +ĠÑĢÑĥÑĩ ной +ĠÑĢÑĭн ков +ĠÑĢÑĭÑĨ аÑĢÑı +ĠÑĢÑİк зак +ĠÑģал ÑĦеÑĤ +ĠÑģам ÑĨов +ĠÑģапог и +ĠÑģвеж ей +ĠÑģвеж ие +ĠÑģвеж ий +ĠÑģвеж им +ĠÑģвеж иÑħ +ĠÑģв еÑĤод +ĠÑģвин ей +ĠÑģдел аÑİ +ĠÑģдел кÑĥ +ĠÑģемÑĮ Ñijй +ĠÑģеÑģÑĤ еÑĢ +ĠÑģеÑģÑĤ ÑĢÑĥ +ĠÑģеÑĤ ÑĩаÑĤ +ĠÑģказ ке +ĠÑģказ ок +ĠÑģкон Ñĩа +ĠÑģлед ом +ĠÑģлом ан +ĠÑģл онов +ĠÑģлÑĭÑĪ им +ĠÑģм еÑīен +ĠÑģмÑĥÑĤ но +ĠÑģмÑı ÑĤен +ĠÑģнег ом +ĠÑģни жен +ĠÑģним ки +ĠÑģнÑı ÑĤиÑı +ĠÑģов пал +ĠÑģоз ида +ĠÑģок ÑĢÑĥÑĪ +ĠÑģоÑĢ вал +ĠÑģп еÑĪно +ĠÑģпиÑģ кÑĥ +ĠÑģп ÑĥÑģÑĤи +ĠÑģÑģÑĭл ок +ĠÑģÑĤад иÑİ +ĠÑģÑĤи лем +ĠÑģÑĤой ко +ĠÑģÑĤоÑı ло +ĠÑģÑĤÑĢаж Ñĥ +ĠÑģÑĤÑĢ оÑıÑĤ +ĠÑģÑĤÑĥд ий +ĠÑģÑĤÑĥд иÑı +ĠÑģÑĤÑĭ ков +ĠÑģÑĥм ееÑĤ +ĠÑģÑĥм маÑĢ +ĠÑģÑĬ еÑģÑĤÑĮ +ĠÑģÑĬÑijм ки +ĠÑģÑĬÑijм ок +ĠÑĤай нÑĭÑħ +ĠÑĤел ежк +ĠÑĤеÑĢ пиÑĤ +ĠÑĤол ком +ĠÑĤол Ñĩок +ĠÑĤон каÑı +ĠÑĤон ким +ĠÑĤон киÑħ +ĠÑĤонн ел +ĠÑĤоÑĩ каÑħ +ĠÑĤо ÑĪноÑĤ +ĠÑĤÑĢав мÑĥ +ĠÑĤÑĢав Ñıн +ĠÑĤÑĢак ÑĤа +ĠÑĤÑĢак ÑĤÑĥ +ĠÑĤÑĢеб ÑĥÑı +ĠÑĤÑĢ езво +ĠÑĤÑĢи ÑģÑĤа +ĠÑĤÑĢон Ñĥл +ĠÑĤÑĢ оÑĦей +ĠÑĤÑī еÑĤно +ĠÑĤÑıг оÑģÑĤ +ĠÑĥбеж ал +ĠÑĥбий ÑĨÑĭ +ĠÑĥбÑĭÑĤ ки +ĠÑĥвен Ñĩа +ĠÑĥвеÑĢ Ñıл +ĠÑĥвид ен +ĠÑĥв олил +ĠÑĥг неÑĤа +ĠÑĥдал Ñijн +ĠÑĥзна ÑİÑĤ +ĠÑĥлиÑĨ ей +ĠÑĥлÑĭб ка +ĠÑĥ миÑĢал +ĠÑĥп адок +ĠÑĥп аков +ĠÑĥп лаÑĤÑĭ +ĠÑĥÑģили л +ĠÑĥÑģп еÑĤÑĮ +ĠÑĥÑĤи лиз +ĠÑĥÑĩиÑĤ ÑģÑı +ĠÑĥÑĩÑij нÑĭм +ĠÑĥÑī елÑĮе +ĠÑĦин иÑĪи +ĠÑĦиÑĢ мой +ĠÑĦлаг ом +ĠÑĦоÑĢ Ñĥме +ĠÑĦÑİÑĢ еÑĢа +ĠÑħокке Ñİ +ĠÑħоÑĢо ÑĪи +ĠÑħÑĢаб ÑĢо +ĠÑħÑĢаб ÑĢÑĭ +ĠÑħÑĢеб еÑĤ +ĠÑħ ÑĢиÑģÑĤи +ĠÑĨаÑĢ Ñģко +ĠÑĨел Ñĭми +ĠÑĩеÑĢед Ñĥ +ĠÑĩеÑĢ нил +ĠÑĩеÑĢ ном +ĠÑĩеÑĢ нÑĭм +ĠÑĩеÑĢ ÑĤаÑħ +ĠÑĩиÑģÑĤ аÑı +ĠÑĩиÑģÑĤ ÑĥÑİ +ĠÑĩиÑģÑĤ Ñĭе +ĠÑĩÑĥж ого +ĠÑĩÑijÑĢ нÑĭй +ĠÑĪиÑĢи нÑĭ +ĠÑĪкол ой +ĠÑįго изм +ĠÑįкÑĢан Ñĭ +ĠÑįми гÑĢи +ĠÑį миÑģÑģи +ĠÑįп иÑĤеÑĤ +ĠÑįÑģеÑĢ ов +ĠÑįÑĤ алон +ĠÑİж ного +ĠÑıблок и +ĠÑıÑĢ оÑģÑĤи +ĠÑıÑĢ оÑģÑĤн +ÐIJÑĢ Ñģенал +ÐĴ еÑģÑĤник +ÐĴ озвÑĢаÑī +ÐĴолÑĪ ебн +ÐĴÑıз емÑģк +ÐĶнев ник +Ðĸан ейÑĢо +ÐĹапиÑģ ки +ÐĺÑĤ алÑĮÑıн +Ðļап иÑĤал +Ðļом меÑĢÑģ +ÐĽÐµÐ¹Ð¿ ÑĨиг +ÐľÐ¾Ð»Ð¾Ð´ аÑı +ÐĿов оÑģÑĤи +ÐŁ едагог +ÐŁÐ¾Ð¶ алÑĥй +ÐŁÑĢ оÑĦеÑģÑģ +ÐłÑĥÑģ ÑģкаÑı +ÐłÑĥÑģ Ñģкое +СеÑĢ гиев +ТоÑĢон ÑĤо +Феод оÑģи +ШаÑĢ лоÑĤÑĤ +ÐŃкÑģп еÑĢÑĤ +абÑĥÑĪ ник +авиÑģ имо +акÑģ онÑģк +ам оÑģÑĤоÑı +аниз аÑĨи +аÑĤив нÑĭÑħ +аÑĩ иваеÑĤ +аÑĩÑĥÑģ еÑĤÑģ +аÑİÑīие ÑģÑı +бав лÑıеÑĤ +ваÑĢи анÑĤ +взÑĢоÑģ ле +винов ен +вклÑİÑĩ аÑı +в озвÑĢаÑĤ +в ÑĮеÑĤнам +вÑıз алÑģÑı +гваÑĢд ии +ге огÑĢаÑĦ +глÑĥб лен +гоÑĤов ка +гÑĢÑĥж аÑĤÑĮ +дав айÑĤе +днев нÑĭй +дон имом +дÑĢев еÑģн +дÑĥм Ñĭвал +ебÑĢÑı нÑĭй +енн олеÑĤ +ен ÑĪÑĤейн +еÑĤÑĢов Ñģк +за имÑģÑĤв +изм елÑĮÑĩ +из ованн +икли ник +иÑĢов ани +иÑĢÑĥем ой +иÑĢÑĥ емÑĭе +иÑĢÑĥ емÑĭй +иÑĢÑĥ ÑİÑīаÑı +иÑĢÑĥ ÑİÑīее +иÑħонÑĮ кÑĥ +кан ÑģкиÑħ +ков ÑģкаÑı +кон еÑĩно +кон ÑģеÑĢв +конÑĤ акÑĤ +к онÑĩиÑĤÑĮ +коÑģ ÑĢоÑĩн +кÑĢаÑģ нÑĭй +кÑĢе аÑĤив +кÑĢÑĥÑĤ иÑĤÑĮ +кÑĢÑĭ лаÑģÑĮ +лан еÑĤÑıн +леÑĤ немÑĥ +лив ание +лин Ñģкий +ли ÑħоÑĢад +ллеÑĢ иÑģÑĤ +лож ениÑİ +лÑĮ Ñīиков +лÑİÑĤеÑĢ ан +менÑı лÑģÑı +меÑĤÑĢиÑĩ н +мÑĭÑĪ еÑĩнÑĭ +нвенÑĤ аÑĢ +ней ÑĪего +нÑı вÑĪиÑģÑĮ +ован наÑı +ов аннÑĭм +огÑĢад ов +од иноÑĩк +олог ией +опÑĢ олиÑĤ +оÑĢон ниÑħ +оÑģÑĤи жим +пав ÑĪего +паÑĤÑĢи оÑĤ +п едагог +пиÑģ Ñĭвал +пог ÑĢани +полож им +п олÑĮзов +полÑı ÑĢно +п омниÑĤе +пÑĢи знан +пÑĢин ÑĨип +п ÑĢовеÑĢÑı +пÑĢÑĭг ива +пÑĥÑģка ем +пÑĥÑģка ли +ÑĢабоÑĤ ав +ÑĢаж ение +ÑĢаж ениÑİ +ÑĢаÑģÑĤ аÑİÑĤ +ÑĢа ÑĨионн +ÑĢвал аÑģÑĮ +ÑĢеволÑİ ÑĨ +ÑĢ егиÑģÑĤÑĢ +ÑĢÑĥÑģ Ñģкой +ÑģвеÑĩ ива +Ñģвин ÑĨов +Ñģ екÑģÑĥал +ÑģеÑĢ един +Ñģим ÑĦони +ÑģинÑĤ акÑģ +ÑģиÑģÑĤем Ñĭ +ÑģпоÑĢ ÑĤив +ÑģÑĤав кой +ÑģÑĤÑĢаÑħ ов +ÑģÑĤÑĢи жен +ÑģÑĤÑĢой ке +ÑģÑĤÑĢ оном +ÑģÑĥд ебно +ÑĤелÑĮ ÑģÑĤв +ÑĤеÑĢап ии +ÑĤин Ñģкий +ÑĤÑıг ивал +ÑĤÑıж ение +ÑĤÑıнÑĥл ÑģÑı +Ñĥбий ÑģÑĤв +ÑĥÑĦак ÑĤÑĥÑĢ +ÑĦин Ñģкой +ÑĨелÑı ÑĢии +ÑĨенно ÑģÑĤ +Ñĩив ание +Ñĩив аниÑı +ÑĪев Ñģкий +Ñĭва ÑİÑīий +ÑĭÑĪлен но +Ñįн ÑĤÑĢопи +ÑİÑīемÑĥ ÑģÑı +ÑıзÑĭ ÑĩеÑģк +ÑıÑģ нение +Ġcult iva +def inite +m agnetic +ĠÐIJвгÑĥÑģÑĤ а +ĠÐIJв ÑĤомаÑĤ +ĠÐIJк ÑĤивно +ĠÐIJлб ании +ĠÐIJлÑĮ ÑĦонÑģ +ĠÐIJнгли ей +ĠÐIJÑĢн олÑĮд +ĠÐIJÑĦан аÑģÑĮ +ĠÐijаÑĪ коÑĢÑĤ +ĠÐijез опаÑģ +ĠÐijлиж айÑĪ +ĠÐijлиж нем +ĠÐijож еÑģÑĤв +ĠÐijолÑĮ ÑĪие +ĠÐijолÑĮÑĪ ом +ĠÐijоÑĢ один +ĠÐĴалеÑĢ иÑı +ĠÐĴаÑĢи анÑĤ +ĠÐĴели ком +ĠÐĴеÑĢÑħ нÑıÑı +ĠÐĴилÑĮ нÑİÑģ +ĠÐĴо енной +ĠÐĴо еннÑĭй +ĠÐĴ озвÑĢаÑī +ĠÐĴолÑĮ ÑĤеÑĢ +ĠÐĴоÑģ кÑĢеÑģ +ĠÐĴпеÑĢ еди +ĠÐĴÑģеÑģ оÑİз +ĠÐĵаб ÑĢиÑįл +ĠÐĵеÑĢ аÑģим +ĠÐĵеÑĢ беÑĢÑĤ +ĠÐĵим млеÑĢ +ĠÐĵод Ñĥнов +ĠÐĵоÑĢ аздо +ĠÐĵÑĢоз нÑĭй +ĠÐĵÑĥм илев +ĠÐĶени кин +ĠÐĶе ÑıÑĤелÑĮ +ĠÐĶмиÑĤ ÑĢов +ĠÐĶнеп ÑĢоп +ĠÐĶомин ик +ĠÐĶон Ñģкой +ĠÐĶÑĢез ден +ĠÐĺме ÑİÑĤÑģÑı +ĠÐĺн женеÑĢ +ĠÐĺÑģп аниÑİ +ĠÐĺÑģп аниÑı +ĠÐļаб инеÑĤ +ĠÐļ авалеÑĢ +ĠÐļаз имиÑĢ +ĠÐļаÑĢ елии +ĠÐļем еÑĢов +ĠÐļеÑĢ енÑģк +ĠÐļлин ÑĤон +ĠÐļовал ев +ĠÐļод екÑģа +ĠÐļом аÑĢов +ĠÐļом менÑĤ +ĠÐļÑĥз ÑĮмин +ĠÐļÑĥли ков +ĠÐĽÐ°Ð·Ð°ÑĢ ев +ĠÐĽÑĥг анÑģк +ĠÐľÐ°ÑĢ окко +ĠÐľÐ°ÑĢÑĪ алл +ĠÐľÐµÐºÑģ ике +ĠÐľÐµÑģÑĤ нÑĭе +ĠÐľÐ¾Ð¸Ñģ еев +ĠÐľÐ¾Ð»Ð¾Ð´ Ñĭе +ĠÐľÑĥж ÑĩинÑĭ +ĠÐľÑİн Ñħене +ĠÐĿед аÑĢом +ĠÐĿиж него +ĠÐĿикол аÑİ +ĠÐŁÐ¾Ð»Ð¸ ÑĨиÑı +ĠÐŁÐ¾Ð»Ñı ков +ĠÐŁÐ¾ÑĢ Ñıдок +ĠÐŁÐ¾Ñģ Ñijлок +ĠÐŁÑĢи ÑĩинÑĭ +ĠÐŁÑĥг аÑĩев +ĠÐłÐ°Ð· ниÑĨа +ĠÐłÐ¸Ñģ Ñĥнок +ĠСаÑħ аÑĢов +ĠСемÑij нов +ĠСеÑĢа ÑĦим +ĠСеÑĢг еем +ĠСим онов +ĠСиÑĨи лии +ĠС кажиÑĤе +ĠС обÑĭÑĤиÑı +ĠСоÑĢ окин +ĠСÑĢед ние +ĠСÑĤан ÑĨиÑı +ĠСÑĤ ÑĢанно +ĠТаÑĢаÑģ ов +ĠТег еÑĢан +ĠТ елеÑĦон +ĠТиÑħ онов +ĠТÑĢо иÑĨко +ĠУÑģлов иÑı +ĠУÑĩ иÑĤелÑĮ +ĠФÑĢÑįн ÑģиÑģ +ĠФÑĥнкÑĨи Ñı +ĠЦиÑĨеÑĢ он +ĠШ оÑĤланд +ĠÐŃй зенÑħа +ĠÐŃ Ð»ÐµÐ¼ÐµÐ½ÑĤ +ĠЮÑĢÑĮ евиÑĩ +ĠЯпон ией +ĠаванÑĤ ÑİÑĢ +Ġави абаз +ĠагенÑĤ ом +ĠагÑĢ аÑĢно +ĠадÑĢеÑģ аÑĤ +ĠакÑĤ ÑijÑĢов +ĠанÑĤен нÑĭ +ĠаÑĢÑħ еÑĤип +ĠаÑĤом нÑĭÑħ +Ġбаз илик +Ġбаз овÑĭÑħ +Ġбан алÑĮн +Ġбанк ноÑĤ +ĠбаÑĢ окко +ĠбезÑĥм ие +ĠбеÑĢ ежно +ĠбеÑģÑģ онн +ĠбиаÑĤ лон +ĠбилеÑĤ ов +Ġблок адÑĭ +Ġбок овой +Ġбок овÑĭÑħ +ĠбоÑĢол ÑģÑı +ĠбÑĢигад Ñĥ +ĠбÑĢоÑģ аÑĤÑĮ +ĠбÑĢоÑģ аÑİÑĤ +ĠбÑĢоÑģ или +ĠбÑĥдÑĥÑī ие +ĠбÑĭÑĤ овой +ĠбÑĭÑĤов ÑĭÑħ +Ġваж ного +ĠваÑĢÑĮ иÑĢÑĥ +Ġвед ÑĥÑĤÑģÑı +Ġвели кан +Ġвели кÑĥÑİ +Ġвели Ñĩин +ĠвелиÑĩ иÑı +ĠвелÑĮ мож +ĠвеÑĢÑħ нÑİÑİ +ĠвеÑĢÑħ нÑıÑı +ĠвеÑĢÑĪ инÑĥ +ĠвеÑģ овой +Ġв еÑģÑĤник +Ġвлад ели +Ġвлад еÑĤÑĮ +ĠвлаÑģÑĤ нÑĭ +ĠвлиÑı ниÑİ +ĠвмеÑĪ ива +ĠвнеÑģ енÑĭ +ĠвнеÑĪ нее +ĠвнеÑĪ нем +ĠвнеÑĪ нÑıÑı +Ġводо изм +Ġвоед ино +Ġвозв оди +Ġволн ÑĥеÑĤ +ĠвоÑģÑħ иÑĤи +ĠвÑĢаÑĩ ебн +ĠвÑĢед нÑĭÑħ +ĠвÑģкÑĢ Ñĭва +ĠвÑģпл еÑģк +ĠвÑģп ÑĭÑĪки +ĠвÑĭвод ов +ĠвÑĭделÑı л +ĠвÑĭзв авÑĪ +ĠвÑĭзван о +ĠвÑĭз овеÑĤ +ĠвÑĭз ÑĭваÑı +ĠвÑĭлеÑĤ ов +ĠвÑĭ ÑĢезан +ĠвÑĭÑĢоÑģ ло +ĠвÑĭÑģ адки +ĠвÑĭÑģоÑĤ аÑħ +ĠвÑĭÑĤеÑģ нÑı +ĠвÑĭÑıÑģ нен +ĠгалеÑĢ ее +ĠгалеÑĢе и +Ġгал ÑģÑĤÑĥк +ĠгваÑĢд иÑı +Ġгено ÑĨид +ĠгеÑĢ алÑĮд +ĠгеÑĢо ини +ĠгеÑĢо инÑı +ĠгеÑĢоÑı ми +ĠгеÑģÑĤ апо +Ġгод иÑĤÑģÑı +Ġголов ки +ĠголÑĥб ой +Ġгон оÑĢаÑĢ +ĠгоÑĢ ного +ĠгоÑĢÑıÑĩ ий +ĠгоÑĤов иÑĤ +ĠгÑĢам мов +ĠгÑĢÑĥд ной +ĠгÑĢÑĥ нÑĤов +ĠдалÑĮ ниÑħ +Ġдвой ник +ĠдвÑĥÑħ ÑģоÑĤ +Ġдев Ñĩонк +Ġдед ÑĥÑĪка +Ġдела еÑĪÑĮ +Ġдел овÑĭÑħ +ĠделÑĮ ÑĦин +Ġденеж но +ĠденÑĮ гаÑħ +ĠдеÑģк аÑĤÑĮ +ĠдеÑĤа лÑıм +ĠдеÑĤ ÑģкаÑı +Ġдив еÑĢÑģи +Ġдлин наÑı +Ġдлин нее +Ġдлин нÑĭм +ĠдобÑĭ Ñĩей +ĠдÑĢев нем +ĠжелÑĥд ок +Ġжен иÑĤÑĮб +Ġжен ÑģкаÑı +Ġжен Ñģком +Ġжен ÑģкÑĥÑİ +ĠжеÑģÑĤ кой +Ġжив ÑĥÑīие +ĠжиÑĤ ейÑģк +Ġзаб Ñĭвал +Ġзав еÑĢил +ĠзавиÑģÑĤ ÑĮ +Ġзавода Ñħ +Ġзад авал +Ġзад него +Ġзаказ ал +Ġзаказ ов +Ġзамени в +ĠзамеÑĤ ив +ĠзамеÑĤ ки +ĠзамÑĭ ÑģлÑĥ +ĠзанÑıÑĤ ÑĭÑħ +ĠзапиÑģ ка +Ġза Ñħодил +Ġза ÑħоÑĢон +Ġзв енÑĮев +ĠзвÑĥÑĩ ани +Ġзел енÑĭм +Ġзел енÑĮÑİ +Ġзнак ами +ĠзнаÑĩ ило +ĠзнаÑĩ имо +ĠзолоÑĤ аÑı +ĠигÑĢов ÑĭÑħ +Ġиз давал +Ġиздав на +Ġизд аниÑİ +Ġиз обÑĢел +Ġизог нÑĥÑĤ +ĠизÑĢа илÑĮ +Ġиз ÑĢÑıдно +ĠизÑĥÑĩ аем +ĠизÑĥÑĩ аÑİÑĤ +ĠиллÑİ Ð·Ð¸Ð¸ +ĠиллÑİ Ð·Ð¸Ñı +Ġимев ÑĪие +Ġимев ÑĪий +Ġиме ÑİÑīаÑı +Ġиме ÑİÑīее +ĠимпеÑĢ иÑİ +ĠинÑģÑĥ лин +ĠиÑģкÑĥÑģ но +ĠиÑģпÑĥг ан +ĠиÑģÑĤ оков +ĠиÑĥда изм +ĠказаÑĩ ÑĮи +ĠкалÑĮ ÑĨиÑı +Ġкани кÑĥл +ĠкапиÑĤ Ñĥл +ĠкапÑĥÑģÑĤ Ñĭ +ĠкаÑĦед ÑĢÑĥ +ĠкеÑĢ оÑģин +ĠкипÑıÑĤ ка +ĠкиÑĤай ÑĨÑĭ +ĠклеÑĤ каÑħ +ĠклиенÑĤ Ñĥ +Ġкниг ами +Ġколон ий +Ġкол оÑĢиÑĤ +ĠколÑĮ ÑĨев +Ġкон ÑģÑĤÑĢÑĥ +ĠконÑĨеп ÑĤ +ĠконÑĨ еÑĢн +Ġкон ÑĩинÑĭ +ĠкоÑĢ нÑıми +ĠкоÑĢоб ка +ĠкоÑĢоб кÑĥ +ĠкоÑĢол ей +ĠкÑĢаÑģ кой +ĠкÑĢаÑģ оÑĤе +ĠкÑĢаÑħ мал +ĠкÑĢÑĥг лÑĭе +ĠкÑĢÑĥг лÑĭй +ĠкÑĢÑĥп нÑĥÑİ +ĠкÑĢÑĭм Ñģко +ĠкÑĥлÑĮ ÑĤив +Ġлам поÑĩк +ĠлаÑģ ково +Ġлеген де +Ġлег иÑĤим +Ġлег кого +ĠлеÑĤ опиÑģ +ĠлиÑĤ ÑĥÑĢги +ĠлиÑĪи лÑģÑı +Ġлог оÑĤип +Ġлок ализ +ĠлÑİбим аÑı +Ġмай онез +ĠмалÑĮ ÑĩиÑĪ +ĠмаÑĢ аÑĦон +ĠмаÑĤ ÑĢиÑĨÑĭ +ĠмаÑĪина Ñħ +Ġмед ведÑĮ +Ġмед ведÑı +ĠмеÑĢÑĤв еÑĨ +ĠмеÑģÑĤ ное +Ġмин омÑijÑĤ +Ġмин ÑĥÑģов +ĠмиÑĢов Ñĭм +Ġмлад ÑĪиÑħ +ĠмоделÑĮ Ñİ +Ġмод Ñĥлей +Ġмона Ñħов +ĠмоÑī ного +ĠмÑĥж ÑģкиÑħ +ĠмÑĭÑĪ еÑĩно +ĠнабоÑĢ ом +Ġна едине +Ġназ ÑĭваÑı +Ġнайд еÑĤе +ĠнапиÑĤ ка +ĠнапиÑĤ ки +ĠнапиÑĤ ок +ĠнапÑĢÑı га +Ġна ÑĢавне +ĠнаÑĢ оÑĩно +ĠнаÑĢÑĥÑĪ иÑĤ +ĠнаÑĥÑĩ ном +ĠнаÑĪ лоÑģÑĮ +ĠневеÑģÑĤ а +ĠневеÑģÑĤ Ñĭ +Ġнев инно +ĠнеÑĢв нÑĭÑħ +Ġне Ñĥжели +ĠноÑģ овой +ĠноÑĩ ного +ĠобеÑĢ ега +ĠобиÑĤ аеÑĤ +ĠобиÑĤ аÑİÑĤ +ĠобиÑĤ аÑİÑī +Ġобл аков +Ġобог аÑĤи +ĠобоÑģÑĤ ÑĢи +Ġоб ÑĢабаÑĤ +ĠобÑĢаз ÑĨÑĥ +Ġоб ÑĢемен +ĠобÑĢÑıд ов +ĠобÑģ Ñĥдил +ĠобÑĥÑĩ аÑĤÑĮ +ĠобÑĥÑĩ аÑİÑī +ĠобÑīеж иÑĤ +ĠобÑĬ ÑıÑĤиÑı +ĠобÑĭ гÑĢал +ĠобÑĭÑĩ нÑĥÑİ +ĠогоÑĢ Ñĩен +Ġожи даÑİÑĤ +ĠознаÑĩ ал +ĠоконÑĩ ен +ĠоконÑĩ ив +ĠокÑĢаÑģ кÑĥ +ĠопаÑģ ной +ĠопаÑģ нÑĭе +ĠопаÑģ нÑĭй +ĠопеÑĢ ежа +ĠопиÑģ ано +ĠопÑĥÑħ оли +ĠоÑĢган ам +ĠоÑĢÑĥж ейн +ĠоÑģ ажден +ĠоÑģво иÑĤÑĮ +ĠоÑģлож нÑı +ĠоÑģозн ав +ĠоÑģÑĤаÑĤ ок +ĠоÑĤвеÑĩ аÑı +ĠоÑĤклон Ñı +ĠоÑĤмеÑĤ ив +ĠоÑĤмеÑĤ ки +ĠоÑĤоб ÑĢал +ĠоÑĤоб ÑĢан +ĠоÑĤÑĢиÑĨ ал +ĠоÑĤÑĢÑĭв ок +ĠоÑĦоÑĢм ил +ĠоÑħ лажда +ĠоÑħÑĢан ой +ĠоÑĩиÑģÑĤ ки +ĠоÑīÑĥÑī аеÑĤ +ĠоÑīÑĥÑī аÑĤÑĮ +ĠпакеÑĤ ов +ĠпамÑıÑĤÑĮ Ñİ +Ġпан оÑĢам +ĠпанÑģ ион +ĠпаÑĢ алиÑĩ +ĠпаÑĤ оген +ĠпаÑĤÑĢÑĥ лÑĮ +ĠпаÑĤ ÑĤеÑĢн +ĠпеÑĢеб оÑĢ +ĠпеÑĢег он +ĠпеÑĢеÑĪ ло +ĠпеÑĩаÑĤ но +Ġпиг менÑĤ +ĠпиÑī евÑĭÑħ +Ġплав аÑİÑī +Ġплак аÑĤÑĮ +ĠплаÑĤ или +Ġплен ник +Ġпобед ив +Ġпоб Ñĥдил +Ġповед ал +Ġпов еÑģил +Ġпогиб ла +Ġпог лоÑĤи +Ġпод авал +Ġпод делк +ĠподÑĢÑĥг и +Ġпод Ñģозн +Ġпоезд ок +Ġпож аÑĢов +Ġпозд ние +Ġпок ажеÑĤ +Ġпок идал +ĠпокÑĢÑĭ ÑĤо +Ġпол денÑĮ +Ġполез ен +Ġполез на +ĠполеÑĤ ел +Ġполно ÑĩÑĮ +Ġпол овÑĭе +Ġполож ив +ĠполоÑģ ка +Ġпол оÑģÑĤÑĮ +Ġпол оÑĤно +ĠполÑĥÑĩ аÑı +ĠполÑĮ Ñģко +ĠпопеÑĢ ек +Ġпоп олнÑı +ĠпопÑĥÑĤ но +ĠпоÑĢаж ал +ĠпоÑĢоÑĪ ок +ĠпоÑĢÑıд ки +ĠпоÑģел ок +ĠпоÑĤ олка +ĠпоÑħод ов +ĠпÑĢазд но +ĠпÑĢед лог +ĠпÑĢеж ний +ĠпÑĢеÑĢ ван +ĠпÑĢивед ÑĪ +ĠпÑĢи даÑİÑĤ +ĠпÑĢизна Ñİ +ĠпÑĢи клÑİÑĩ +ĠпÑĢиÑģ лан +ĠпÑĢоб ива +ĠпÑĢ одаÑİÑĤ +ĠпÑĢод лил +ĠпÑĢож иÑĤÑĮ +ĠпÑĢоз аик +ĠпÑĢозв ан +ĠпÑĢол еÑĤа +ĠпÑĢоÑģÑĤ Ñĥд +ĠпÑĢоÑģÑĤ ÑĥÑİ +ĠпÑĢоÑģÑĮ бÑĭ +ĠпÑĢоÑĦ илÑı +ĠпÑĢоÑĨ веÑĤ +ĠпÑĥг овиÑĨ +ĠпÑĪ ениÑĨÑĭ +ĠÑĢабоÑĩ аÑı +ĠÑĢабоÑĩ ÑĥÑİ +ĠÑĢаб ÑģÑĤва +ĠÑĢав нинÑĭ +ĠÑĢазв ÑĢаÑĤ +ĠÑĢаз оÑĢÑĥж +ĠÑĢазÑĢе ÑĪи +ĠÑĢан ение +ĠÑĢаÑģ клад +ĠÑĢаÑģÑģ Ñĥди +ĠÑĢаÑģÑģ Ñĥжд +ĠÑĢег ÑĢеÑģÑģ +ĠÑĢез еÑĢвÑĭ +ĠÑĢелиг ий +ĠÑĢелиг иÑİ +ĠÑĢим Ñģким +ĠÑĢиÑĤоÑĢ ик +ĠÑĢоÑģко ÑĪи +ĠÑĢоÑģко ÑĪÑĮ +ĠÑĢÑĭÑĨаÑĢ ей +ĠÑģад иÑĤÑģÑı +ĠÑģ бÑĢоÑģил +ĠÑģвеÑĤ лÑĭе +ĠÑģдел аем +ĠÑģдел аÑİÑĤ +ĠÑģедÑĮ мой +ĠÑģеÑĢ бÑģко +ĠÑģеÑĢвиÑģ Ñĭ +ĠÑģил овой +ĠÑģил овÑĭÑħ +ĠÑģилÑĮ нÑĥÑİ +ĠÑģин агог +ĠÑģион иÑģÑĤ +ĠÑģкаж еÑĪÑĮ +ĠÑģловаÑĢ е +ĠÑģлÑĥÑĪ аеÑĤ +ĠÑģним аÑİÑĤ +ĠÑģниÑģ Ñħод +ĠÑģобак ой +ĠÑģовÑħоз а +ĠÑģоÑĤвоÑĢ и +ĠÑģпаÑģ аеÑĤ +ĠÑģп еÑĢеди +ĠÑģпиÑĢ алÑĮ +ĠÑģпиÑģ ков +ĠÑģпоÑĢ ÑĤом +ĠÑģÑĤад иÑıÑħ +ĠÑģÑĤан ков +ĠÑģÑĤаÑĢ омÑĥ +ĠÑģÑĤаÑĢ оÑģÑĤ +ĠÑģÑĤаÑĢ ÑĥÑĪк +ĠÑģÑĤаÑĢ ÑĪей +ĠÑģÑĤолб ик +ĠÑģÑĤоÑı нки +ĠÑģÑĤÑĢад аÑĤ +ĠÑģÑĤÑĢаж ей +ĠÑģÑĤÑĢел ок +ĠÑģÑĤÑĢог ий +ĠÑģÑĤÑĢог им +ĠÑģÑĤÑĢ оÑĩки +ĠÑģÑĥд оÑĢог +ĠÑģÑĥÑĦÑĦ икÑģ +ĠÑģÑĩеÑĤ Ñĩик +ĠÑĤак ÑĤика +ĠÑĤак ÑĤики +ĠÑĤак ÑĤикÑĥ +ĠÑĤан ками +ĠÑĤвеÑĢд ой +ĠÑĤвоÑĢ иÑĤÑĮ +ĠÑĤекÑģÑĤ аÑħ +ĠÑĤекÑģÑĤ ÑĥÑĢ +ĠÑĤекÑĥÑī ем +ĠÑĤекÑĥÑī иÑħ +ĠÑĤел еком +ĠÑĤемн оÑĤÑĭ +ĠÑĤеÑĢап ев +ĠÑĤеÑĢми нÑĭ +ĠÑĤолÑģÑĤ Ñĭм +ĠÑĤон кими +ĠÑĤоÑĩ ками +ĠÑĤÑĢевог Ñĥ +ĠÑĤÑĢени нг +ĠÑĤÑĢи ггеÑĢ +ĠÑĤÑĢ оÑĤÑĥаÑĢ +ĠÑĤÑī еÑģлав +ĠÑĤÑıжел аÑı +ĠÑĤÑıжел ее +ĠÑĤÑıжел ÑĥÑİ +ĠÑĤÑıжÑijл ой +ĠÑĤÑıн еÑĤÑģÑı +ĠÑĥбеж дал +ĠÑĥбеж иÑīа +ĠÑĥб иваÑİÑĤ +ĠÑĥбиÑĤ ого +ĠÑĥбиÑĤ Ñĭми +ĠÑĥваж аÑĤÑĮ +ĠÑĥглÑĥб лÑı +ĠÑĥда ÑĢами +ĠÑĥдаÑĢ иÑĤÑĮ +ĠÑĥдаÑĢ ной +ĠÑĥдеÑĢж ал +ĠÑĥд линен +ĠÑĥдоб нÑĭй +ĠÑĥдоб нÑĭм +ĠÑĥдоб ÑģÑĤв +ĠÑĥдоÑģÑĤо и +ĠÑĥказ анÑĭ +ĠÑĥ меÑģÑĤно +ĠÑĥми ÑĢаÑĤÑĮ +ĠÑĥмиÑĢа ÑİÑĤ +ĠÑĥмнож ен +ĠÑĥÑĢав нов +ĠÑĥÑģадÑĮ бÑĭ +ĠÑĥÑģ ваива +ĠÑĥÑģеÑĢд но +ĠÑĥÑģлÑĭÑĪ ав +ĠÑĥÑģлÑĭÑĪ ан +ĠÑĥÑģÑĤÑĥп ал +ĠÑĥÑĤом лен +ĠÑĥÑĤÑĢен ни +ĠÑĥÑħод или +ĠÑĥÑĨел евÑĪ +ĠÑĥÑĩаÑģÑĤи Ñİ +ĠÑĥÑĩеб ной +ĠÑĥÑĩеб ном +ĠÑĥÑĩеб нÑĭй +ĠÑĥÑĩ илаÑģÑĮ +ĠÑĦабÑĢи ке +ĠÑĦаÑĪи зма +ĠÑĦедеÑĢ ал +ĠÑĦлаг ман +ĠÑĦоÑĢ ваÑĢд +ĠÑĦоÑĢм иÑĢÑĥ +ĠÑĦоÑĢмÑĥл Ñĥ +ĠÑĦÑİзелÑı ж +ĠÑħвоÑģÑĤ ов +ĠÑĨвеÑĤ ков +ĠÑĨел евой +ĠÑĨеп оÑĩки +ĠÑĩаÑģÑĤ ном +ĠÑĩаÑģÑĤ нÑĭй +ĠÑĩелÑİ ÑģÑĤи +ĠÑĩеÑĢ нÑĭми +ĠÑĩиÑģÑĤ оÑĤÑĭ +ĠÑĩÑĥв ÑģÑĤвÑĥ +ĠÑĪпион аж +ĠÑįк ологи +ĠÑįлег анÑĤ +ĠÑįмб ÑĢион +ĠÑįÑģкад ÑĢи +ĠÑİни оÑĢов +ĠÑıв иÑĤÑĮÑģÑı +ĠÑıзÑĭ ками +ĠÑıÑĢ оÑģÑĤно +ÐIJ меÑĢикан +Ðijал ÑĤийÑģк +ÐĴÑģп омина +Ðķван гели +ÐļоÑĢÑģ аков +ÐĽÐ¸Ð²ÐµÑĢ пÑĥл +ÐŀÑģвоб ожд +ÐŁÐ°ÑĢÑĤи зан +ÐŁÐ¾Ð´ олÑĮÑģк +ÐŁÑĢоÑĤ окол +Сов ÑĢемен +С ÑĩаÑģÑĤлив +алиÑģÑĤ иÑĩе +аÑĨион нÑĥÑİ +аÑĨион нÑĭм +безоб идн +боÑģоб лен +бÑĥдд ийÑģк +веÑĢ оÑıÑĤно +веÑĢ оÑıÑĤнÑĭ +вод илаÑģÑĮ +вод иÑĤелÑĮ +вооÑĢÑĥж ен +вÑģп омним +д иÑĢекÑĤоÑĢ +д окÑĥменÑĤ +доподоб н +доÑħ новен +елÑĮ ников +инÑĤеÑĢ наÑĤ +иÑĢÑĥем ого +иÑĦика ÑĨиÑİ +иÑĩ ноÑģÑĤÑĮÑİ +каз аннÑĭе +каз Ñĭваем +кали беÑĢн +кива ÑİÑĤÑģÑı +клад ÑĭваÑı +коммÑĥ ник +конÑĤÑĢ олÑĮ +кон ÑĦигÑĥÑĢ +коÑĢей Ñģки +коÑĢей Ñģко +лож еннÑĭй +маÑĤ иÑĩеÑģк +мен еджеÑĢ +менÑı лоÑģÑĮ +мил оÑģÑĤив +мÑĭÑģлен нÑĭ +обÑĢаз нÑĭй +ован ного +оваÑĤелÑĮ н +овод ÑģÑĤво +одо ÑħозÑıй +ом мÑĥниÑģÑĤ +омÑĭÑĪлен н +оним ание +оÑģлов аÑĨк +оÑģÑĤоÑĢож н +пад аÑİÑīиÑħ +паÑĢ аллел +под ÑĢазÑĥм +пÑĢав лÑıем +пÑĢи ÑĢодно +ÑĢабоÑĤ аеÑĤ +ÑĢазд елÑĮн +ÑĢедиенÑĤ Ñĭ +ÑĢиÑģ овÑĭва +ÑĢÑĥÑģ Ñģкого +ÑģеÑĢ ебÑĢÑıн +ÑģлÑĥÑĪ айÑĤе +Ñģоедин ен +Ñģпока ива +ÑģÑĤвен ник +Ñģ ÑĩаÑģÑĤлив +ÑĤелÑĮ ниÑĨа +ÑĤол кнÑĥÑĤÑĮ +ÑĤÑıг иваÑĤÑĮ +ÑĤÑıг иваÑİÑĤ +ÑĤÑıнÑĥл аÑģÑĮ +Ñħод ивÑĪие +Ñħод ивÑĪиÑħ +ÑĩиÑģ ление +ÑįлекÑĤ ÑĢик +ĠAlexand r +Hung arian +p lication +s ponsored +ĠÐIJвгÑĥÑģÑĤ ин +ĠÐIJнаÑĤол иÑı +ĠÐIJндеÑĢ Ñģон +ĠÐIJÑĢбиÑĤ ÑĢаж +ĠÐijог данов +ĠÐijого Ñģлов +ĠÐijÑĢÑİÑģÑģ еле +ĠÐĴн езапно +ĠÐĴоÑĢон ÑĨов +ĠÐĴ ÑĢеменно +ĠÐĴÑģп омним +ĠÐĵен ÑĪÑĤаба +ĠÐĵоÑģÑĥдаÑĢ ÑĮ +ĠÐĶалÑĮ него +ĠÐĶ емокÑĢаÑĤ +ĠÐĶж ованни +ĠÐĶол гоÑĢÑĥк +ĠÐĶонб аÑģÑģа +ĠÐĶон баÑģÑģе +ĠÐĶон Ñģкого +ĠÐĶÑĢев него +ĠÐķлиз авеÑĤ +ĠÐĹак авказ +ĠÐĹаним аеÑĤ +ĠÐĹапад наÑı +ĠÐĹапад нÑĭй +ĠÐĹд ÑĢавÑģÑĤв +ĠÐĹинов ÑĮев +ĠÐĹнаÑĩ ение +ĠÐĺзвеÑģÑĤ ен +ĠÐĺз ÑĥÑĩение +ĠÐļандид аÑĤ +ĠÐļаÑĢам зин +ĠÐļем бÑĢидж +ĠÐļиÑĢгиз ии +ĠÐļомиÑģÑģ иÑı +ĠÐļомп лекÑģ +ĠÐļон венÑĨи +ĠÐļонÑĤÑĢ олÑĮ +ĠÐĽÐµ ополÑĮд +ĠÐĽÐ¸Ð½ колÑĮн +ĠÐľÐ°ÐºÑģим ов +ĠÐľÐ°ÑĢгаÑĢ еÑĤ +ĠÐľÐ¾Ð½Ð° ÑģÑĤÑĭÑĢ +ĠÐĿаÑħод ÑıÑģÑĮ +ĠÐĿикол аем +ĠÐŀÑģÑĤ аеÑĤÑģÑı +ĠÐŀÑĤделÑĮ но +ĠÐŀÑĤ кÑĢÑĭÑĤие +ĠÐŁÐµÐ½Ð· енÑģк +ĠÐŁÐµÑĤÑĢов на +ĠÐŁÐ¸Ñģ аÑĤелÑĮ +ĠÐŁÐ»Ð°ÑĤ онов +ĠÐŁÐ¾Ð´ÑĢоб но +ĠÐŁÐ¾Ð¼ огиÑĤе +ĠÐŁÐ¾ÑģÑĤ ÑĢоен +ĠÐłÐ°Ð· говоÑĢ +ĠÐłÐµÐ¶Ð¸ÑģÑģ еÑĢ +ĠСал ÑĤÑĭков +ĠСевеÑĢ нÑĥÑİ +ĠСлов акии +ĠСобÑĢ аниÑı +ĠСÑĤали нÑĭм +ĠСÑĤ андаÑĢÑĤ +ĠСÑĤол Ñĭпин +ĠСÑĤ ÑĢаниÑĨа +ĠСÑĥл ейман +ĠТаг анÑĢог +ĠТоб олÑĮÑģк +ĠТÑĢеÑĤÑĮ его +ĠУголов но +ĠФÑĢанк лин +ĠФÑĥÑĤ болÑĮн +ĠХоÑĢваÑĤ ии +ĠХоÑĤ елоÑģÑĮ +ĠÐ¥ÑĢиÑģÑĤ ова +ĠЧеÑĢ номоÑĢ +ĠабоÑĢ иген +Ġак ваÑĢиÑĥм +Ġаллег оÑĢи +ĠалÑĮ манаÑħ +Ġаналог ов +Ġана ÑĢÑħиÑģÑĤ +ĠанÑģам блÑı +ĠанÑĤи Ñĩной +ĠаÑģпекÑĤ ов +ĠаÑĤлеÑĤ ике +Ġбак алавÑĢ +ĠбакÑĤеÑĢ ии +Ġбез ÑĢабоÑĤ +ĠбезÑĭ мÑıнн +ĠбеÑĢ линÑģк +ĠбеÑģ ÑģÑĤÑĢаÑĪ +Ġближ него +Ġблиз кими +ĠбогаÑĤ ейÑĪ +ĠбогаÑĤ ого +Ġбого ÑģлÑĥж +Ġболез нÑıм +ĠболÑĮ ниÑĩн +ĠбоÑĢол иÑģÑĮ +ĠбÑĢигад иÑĢ +ĠвеÑĢ маÑħÑĤа +Ġвзаим ной +ĠвздоÑħ нÑĥл +Ġвинов аÑĤÑĭ +ĠвиÑĤ амина +Ġвлаг алиÑī +ĠвнеÑĪ немÑĥ +Ġвоз бÑĥдил +Ġвоз ведÑijн +ĠвозÑĢаж ал +Ġвоз ÑĢазил +ĠвозÑĢаÑģÑĤ Ñĥ +Ġвоз ÑĢоÑģла +Ġвоин ÑģкиÑħ +ĠволÑĪ ебно +ĠвÑģем огÑĥÑī +ĠвÑģпÑĭÑħ ива +ĠвÑģÑĤÑĢеÑĤ иÑĤ +ĠвÑģÑĤÑĢеÑĩ аÑħ +ĠвÑģÑĤÑĢеÑĩ ен +ĠвÑĭб ÑĢоÑģил +ĠвÑĭб ÑĢоÑĪен +ĠвÑĭвод иÑĤÑĮ +ĠвÑĭ даваÑĤÑĮ +ĠвÑĭделÑı ÑĤÑĮ +ĠвÑĭзд оÑĢов +ĠвÑĭз Ñĭваем +ĠвÑĭз Ñĭвало +ĠвÑĭ ложиÑĤÑĮ +ĠвÑĭпад аеÑĤ +ĠвÑĭполнÑı Ñı +ĠвÑĭÑĢаж аÑİÑĤ +ĠвÑĭ ÑģкоÑĩил +ĠвÑĭÑģÑĤав ил +ĠгекÑĤ аÑĢов +Ġге ологии +Ġге ополиÑĤ +ĠгипоÑĤез Ñĥ +Ġглав номÑĥ +ĠглÑĥб иной +ĠглÑĥбок аÑı +ĠглÑĥбок ÑĥÑİ +ĠглÑĥп оÑģÑĤи +ĠглÑĥп оÑģÑĤÑĮ +ĠговоÑĢ иÑĪÑĮ +Ġголов ами +ĠгоÑĢд оÑģÑĤи +ĠгоÑĤов или +ĠгÑĢам оÑĤно +ĠгÑĢани ÑĩиÑĤ +ĠгÑĥбеÑĢ ниÑı +ĠгÑĥм анизм +Ġдав ноÑģÑĤи +Ġдвиж ÑĥÑĤÑģÑı +Ġдез еÑĢÑĤиÑĢ +Ġдел алоÑģÑĮ +Ġдел иÑĤÑĮÑģÑı +Ġденеж ной +ĠдеÑĢж алÑģÑı +ĠдеÑĤ екÑĤоÑĢ +Ġдивиз ией +Ġдин амики +Ġдоб леÑģÑĤÑĮ +ĠдобÑĢ алÑģÑı +Ġдоб ÑĢожел +Ġдоб ÑĢоÑģов +Ġдоказ ано +Ġдоказ Ñĭва +ĠдокÑĤÑĢи нÑĭ +ĠдомаÑĪ нем +ĠдомаÑĪ ние +ĠдомаÑĪ ний +ĠдомаÑĪ ним +ĠдопÑĥÑģка л +ĠдоÑģÑĤав ил +ĠдÑĥÑħов наÑı +ĠдÑĥÑĪев ной +Ġедин ÑģÑĤве +ĠжеÑģÑĤок им +Ġзаб ÑĭваеÑĤ +Ġзаг ÑĢÑĥжен +ĠзадаÑĩ ами +ĠзадеÑĢж ал +ĠзадеÑĢж ки +ĠзакÑĢеп ил +Ġзак ÑĢÑĭвал +Ġзамени ли +ĠзамеÑĩ аÑĤÑĮ +Ġзапад нÑĭй +ĠзаÑĢабоÑĤ к +ĠзаÑĤ ÑĢонÑĥÑĤ +ĠзвÑĥк овой +ĠзвÑĥÑĩ ание +ĠздоÑĢов Ñĭм +ĠздоÑĢов ÑĭÑħ +Ġзелен ого +ĠзнаÑĩ ениÑİ +ĠзнаÑĩим ÑĭÑħ +ĠзолоÑĤ Ñĭми +ĠзÑĢел оÑģÑĤи +ĠзÑĢиÑĤелÑı м +ĠизбÑĢ аниÑı +ĠизвеÑģÑĤ иÑı +Ġиз вÑĢаÑīен +Ġиздал ека +ĠизданиÑı Ñħ +ĠиздеÑĢж ки +Ġизмен ÑıеÑĤ +Ġинд ÑĥÑģÑĤÑĢи +Ġин ÑģÑĤанÑĨи +ĠинÑĦ лÑıÑĨии +ĠиÑģпоÑĢ Ñĩен +Ġкам енной +Ġкам еннÑĭй +ĠкаÑĢÑĤин кÑĥ +ĠкаÑĢÑĤоÑĩ ки +ĠкаÑģ аÑİÑĤÑģÑı +ĠкаÑģÑĤÑĢ ÑİлÑİ +ĠкаÑĩ еÑģÑĤвÑĥ +ĠкваÑĢÑĤ ала +ĠкиÑĤай ÑĨев +ĠкиÑĪеÑĩ ник +ĠклиенÑĤ ам +ĠклÑİÑĩ евой +ĠклÑİÑĩ евÑĭм +ĠкнÑıж еÑģÑĤв +Ġкомп онов +Ġкон вейеÑĢ +ĠконÑĤÑĢол е +ĠконÑĤÑĢ олÑİ +ĠкоÑĢ еннÑĭÑħ +ĠкоÑĢоÑĤ каÑı +ĠкÑĢаÑģив ÑĭÑħ +ĠкÑĢаÑģ нÑĭми +ĠкÑĢиÑĤеÑĢ ий +ĠкÑĢиÑĤ икой +ĠкÑĢок одил +ĠкÑĢÑĥÑĪ ение +ĠкÑĢÑĭлÑĮ Ñıми +Ġлед ников +ĠлеÑģÑĤ ниÑĨа +Ġлиней нÑĭÑħ +ĠлиÑģÑĤÑĮÑı ми +ĠмаÑĢÑĪÑĢÑĥ ÑĤÑĭ +ĠмаÑģÑģ овом +ĠмаÑģÑģ овÑĭм +ĠмаÑĪин иÑģÑĤ +ĠмедиÑĨи на +ĠмедÑģ еÑģÑĤÑĢ +ĠмелÑĮ ÑĩайÑĪ +ĠмеÑĢ идиан +ĠмеÑģÑĤ номÑĥ +Ġмиг ÑĢаÑĨии +Ġмол иÑĤÑĮÑģÑı +Ġмолод омÑĥ +ĠмÑĥж еÑģÑĤва +ĠнаблÑİд аÑı +Ġнав ÑıзÑĩив +Ġнаг ÑĢажда +Ġнад ееÑĤÑģÑı +Ġнадеж дой +Ġнадлеж иÑĤ +Ġназв ании +Ġназв аниÑİ +Ġназем нÑĭÑħ +Ġнайд еÑĤÑģÑı +Ġналаж ива +Ġна логооб +ĠнапиÑĤ ков +ĠнаÑĢод ном +ĠнаÑĢÑĥÑĪ иÑĤÑĮ +ĠнаÑģк возÑĮ +ĠнаÑģÑĤ олÑĮн +ĠнаÑĩина ем +ĠнебеÑģ нÑĭÑħ +Ġнеб ÑĢежно +Ġнев едомо +ĠневеÑĢ оÑıÑĤ +Ġневид анн +Ġнев иновн +Ġнезам едл +Ġнеизмен н +Ġне ÑģпоÑģоб +ĠнеÑĦÑĤÑı ной +Ġниз менно +ĠниÑĩÑĤож но +ĠниÑĩÑĤож нÑĭ +Ġнов ÑĪеÑģÑĤв +ĠноÑģ иÑĤели +ĠнÑĢав ÑıÑĤÑģÑı +ĠнÑĭнеÑĪ ний +Ġобвин или +Ġоблад али +ĠоблаÑģÑĤÑĮ Ñİ +Ġобман ÑĥÑĤÑĮ +Ġобоз ÑĢева +Ġобол оÑĩка +ĠобоÑĢон но +ĠобоÑĪ лоÑģÑĮ +ĠобÑĢаз ÑĨом +ĠобÑĢаÑĤ или +ĠобÑĢаÑĤ нÑĥÑİ +ĠобÑĢаÑĤ нÑĭй +ĠобÑĢеÑĤ аеÑĤ +ĠобÑĥÑĩ алÑģÑı +ĠобÑĥÑĩ ении +ĠобÑĪиÑĢ нÑĭе +ĠобÑī ноÑģÑĤи +ĠобÑī ноÑģÑĤÑĮ +ĠобÑĬедин и +Ġог ÑĢажден +Ġожив ленн +Ġожид ание +Ġозв ÑĥÑĩива +Ġок ажÑĥÑĤÑģÑı +Ġокан Ñĩива +ĠокÑĢаÑĪ ива +ĠопиÑģ аниÑİ +ĠопÑĤим изм +Ġоп ÑĥÑģÑĤиÑĤÑĮ +ĠопÑĭÑĤ ного +ĠоÑĢÑĥд иÑıми +ĠоÑģво ение +ĠоÑģкоÑĢб лÑı +ĠоÑģмоÑĤÑĢ ел +ĠоÑģозна еÑĤ +ĠоÑģÑĤÑĢо Ñĥмн +ĠоÑĤвеÑĤ Ñĩик +ĠоÑĤдел иÑĤÑĮ +ĠоÑĤклон ил +ĠоÑĤкÑĢÑĭÑĤ ÑĥÑİ +ĠоÑĤлиÑĩ аеÑĤ +ĠоÑĤлиÑĩ нÑĭм +ĠоÑĤоÑĢ ваÑĤÑĮ +ĠоÑĤпеÑĩаÑĤ к +ĠоÑĤпÑĢав ки +ĠоÑĤÑĢаз иÑĤÑĮ +ĠоÑĤÑĢаÑģ лев +ĠоÑĤÑĢиÑĨ аеÑĤ +ĠоÑĤÑĢиÑĨ аÑĤÑĮ +ĠоÑĤÑģÑĤав ки +ĠоÑĤÑĩаÑı ниÑı +ĠоÑĦиÑĨи анÑĤ +ĠоÑĩаÑĢ ован +ĠоÑĩевид на +Ġпал еÑģÑĤин +ĠпеÑĢед ано +ĠпеÑĢед аÑİÑĤ +ĠпеÑĢед нем +ĠпеÑĢеÑģ каз +ĠпеÑĢ имеÑĤÑĢ +ĠпеÑĢ пенди +ĠпланÑĤ аÑĨи +Ġпогиб аеÑĤ +ĠпоговоÑĢ к +Ġпод боÑĢод +Ġподним ал +Ġпод ножиÑı +Ġподоб нÑĥÑİ +Ġподоб ÑĢал +Ġподоб ÑĢан +Ġпод ойдеÑĤ +Ġпод опеÑĩн +ĠподпиÑģ ав +ĠподпиÑģ ÑĮÑİ +ĠподÑĩеÑĢ кн +ĠподÑĩин ил +ĠподÑĩин Ñijн +Ġпоедин ок +ĠпозволÑı Ñı +ĠпозиÑĨиÑı Ñħ +Ġпо игÑĢаÑĤÑĮ +Ġпокой ник +Ġпок онÑĩил +ĠпокÑĥп аеÑĤ +Ġполно ÑĨен +Ġполож или +ĠполÑĥÑĩ ено +ĠполÑĮ Ñģкие +ĠполÑĮ Ñģким +ĠпомеÑģÑĤÑĮ е +ĠпомеÑģÑĤÑĮ Ñı +Ġпон ÑıÑĤием +ĠпоÑĢÑıд ков +ĠпоÑģад или +ĠпоÑģад иÑĤÑĮ +ĠпоÑģк оÑĢее +ĠпоÑģл аниÑı +ĠпоÑģÑĤав ив +ĠпоÑģÑĤÑĢо ек +ĠпоÑģÑĤÑĥ лаÑĤ +ĠпоÑģÑĭл аÑĤÑĮ +ĠпоÑĤ ÑĢаÑĩен +ĠпÑĢав диво +ĠпÑĢав ÑıÑīей +ĠпÑĢеб Ñĭвал +ĠпÑĢед аниÑİ +ĠпÑĢед веÑīа +ĠпÑĢед елов +ĠпÑĢибÑĭ ÑĤии +ĠпÑĢизн анÑĭ +ĠпÑĢи леÑĤел +ĠпÑĢинÑıÑĤ ÑĭÑħ +ĠпÑĢиобÑĢ Ñijл +ĠпÑĢиÑģÑĤ ани +ĠпÑĢи Ñħожан +ĠпÑĢиÑĩина Ñħ +ĠпÑĢиÑıÑĤ елÑı +ĠпÑĢиÑıÑĤ нÑĭм +ĠпÑĢоб Ñĥжда +ĠпÑĢовеÑĢ ил +ĠпÑĢовеÑĢ Ñıл +ĠпÑĢодав еÑĨ +ĠпÑĢодав ÑĨа +ĠпÑĢодел ал +ĠпÑĢодел ан +ĠпÑĢоиг ÑĢав +ĠпÑĢол ожен +ĠпÑĢоп ÑĥÑīен +ĠпÑĢоÑĤив оп +ĠпÑģиÑħ опаÑĤ +ĠÑĢабоÑĩ ими +ĠÑĢазвед ке +ĠÑĢазвед Ñĭв +ĠÑĢазвиÑĤ ой +ĠÑĢаздел Ñijн +ĠÑĢазлиÑĩ нÑĭ +ĠÑĢазоб ÑĢан +ĠÑĢазоÑĢ вал +ĠÑĢазÑĬÑıÑģ нÑı +ĠÑĢаÑģкоп ки +ĠÑĢаÑģ пÑĢода +ĠÑĢаÑģ пÑĥÑīен +ĠÑĢаÑģÑģвеÑĤ е +ĠÑĢаÑģÑģе ива +ĠÑĢеак ÑĨией +ĠÑĢеализ ма +ĠÑĢегÑĥлÑı ÑĨи +ĠÑĢедак ÑĨиÑİ +ĠÑĢелиги ей +ĠÑĢеп оÑĢÑĤаж +ĠÑĢеÑĨен зии +ĠÑĢиÑģÑĥнк ов +ĠÑģвеÑĢг нÑĥÑĤ +ĠÑģвеÑĤ овÑĭÑħ +ĠÑģвид ание +ĠÑģвобод ен +ĠÑģвобод ой +ĠÑģдел айÑĤе +ĠÑģдел алÑģÑı +ĠÑģелÑĮ Ñģким +ĠÑģемей нÑĭÑħ +ĠÑģеÑĢвеÑĢ ов +ĠÑģеÑĢ единÑĥ +ĠÑģимпаÑĤ ии +ĠÑģлÑĥж ение +ĠÑģлÑĥж ениÑı +ĠÑģлÑĥÑĩ илÑģÑı +ĠÑģмел оÑģÑĤÑĮ +ĠÑģме ÑıÑĤÑĮÑģÑı +ĠÑģобиÑĢа ли +ĠÑģобиÑĢа ÑİÑĤ +ĠÑģобÑĢ алÑģÑı +ĠÑģобÑĢ аний +ĠÑģолдаÑĤ ам +ĠÑģолн еÑĩно +ĠÑģомн ениÑİ +ĠÑģооÑĤ ноÑģи +ĠÑģоÑģед Ñıми +ĠÑģоÑģлов иÑı +ĠÑģоÑħÑĢан ÑıÑı +ĠÑģпаÑģÑĤ иÑģÑĮ +ĠÑģпло ÑĪной +ĠÑģÑĢаж алÑģÑı +ĠÑģÑģÑĭла ÑıÑģÑĮ +ĠÑģÑĤан ÑĨией +ĠÑģÑĤаÑĢ аниÑı +ĠÑģÑĤеп еней +ĠÑģÑĤол еÑĤии +ĠÑģÑĤолов Ñĭе +ĠÑģÑĤоÑĢож ев +ĠÑģÑĤÑĢад аÑĤÑĮ +ĠÑģÑĤÑĢаÑģÑĤ ей +ĠÑģÑĤÑĢаÑĪ наÑı +ĠÑģÑĤÑĢаÑĪ ной +ĠÑģÑĤÑĢаÑĪ нÑĭе +ĠÑģÑĤÑĢаÑĪ нÑĭм +ĠÑģÑĤÑĥпенÑĮ к +ĠÑģÑĥдеб нÑĭе +ĠÑģÑħод ÑģÑĤва +ĠÑģÑĨенаÑĢ иÑİ +ĠÑĤанков Ñĭе +ĠÑĤвоÑĢ ение +ĠÑĤеÑĢмина Ñħ +ĠÑĤип иÑĩнÑĭй +ĠÑĤоп огÑĢаÑĦ +ĠÑĤоÑĢг овÑĭм +ĠÑĤÑĢад иÑĨиÑİ +ĠÑĤÑĢанÑģ ÑĦеÑĢ +ĠÑĤÑĢеÑħ меÑĢн +ĠÑĤÑĢоÑģÑĤ ник +ĠÑĤÑĥлов иÑīа +ĠÑĤÑĥÑĢни ÑĢаÑħ +ĠÑĤÑĥÑĢни ÑĢов +ĠÑĥбед илÑģÑı +ĠÑĥдив илÑģÑı +ĠÑĥказ аний +ĠÑĥказ аниÑİ +ĠÑĥказ ÑĭваÑı +ĠÑĥклад Ñĭва +ĠÑĥлÑĥÑĩÑĪ аеÑĤ +ĠÑĥпоÑĢ ÑģÑĤво +ĠÑĥÑģкоÑĢ иÑĤÑĮ +ĠÑĥÑģпев аеÑĤ +ĠÑĥÑģпеÑĪ нÑĭÑħ +ĠÑĥÑģÑĤÑĢа ива +ĠÑĥÑģÑĤÑĢем лÑı +ĠÑĥÑģÑĤÑĥп аеÑĤ +ĠÑĥÑģÑĤÑĥп иÑĤÑĮ +ĠÑĥÑģÑĥгÑĥб лÑı +ĠÑĥÑĤоÑĩ ниÑĤÑĮ +ĠÑĥÑĩаÑģÑĤв ÑĥÑİ +ĠÑĦаÑĪиÑģÑĤ ов +ĠÑĦелÑĮд ÑĪеÑĢ +ĠÑĦлоÑĤ илии +ĠÑĦÑİзелÑı жа +ĠÑħиÑĢÑĥÑĢг ии +ĠÑħиÑĤÑĢ оÑģÑĤÑĮ +ĠÑħозÑıин ом +ĠÑĨаÑĢ Ñģкого +ĠÑĨел оÑģÑĤно +ĠÑĨиÑĦÑĢов ÑĭÑħ +ĠÑĩаÑģÑĤоÑĤ ой +ĠÑĩÑĥв ÑģÑĤвÑĥÑı +ĠÑĪам панÑģк +ĠÑĪвед Ñģкий +ĠÑĪколÑĮ ной +ĠÑĪколÑĮ нÑĭÑħ +ĠÑįволÑİ ÑĨиÑı +ĠÑįкипаж ей +ĠÑįк ологии +ĠÑįлаÑģÑĤ иÑĩн +ĠÑįÑģÑĤаÑĦ еÑĤе +ĠÑįÑĦÑĦекÑĤ ов +ĠÑıвлÑı ÑĤÑĮÑģÑı +ĠÑıпон Ñģким +ÐIJнджелеÑģ е +ÐĶвен адÑĨаÑĤ +Ðļомп ÑĮÑİÑĤеÑĢ +ÐľÐµÐ´ иÑĨинÑģк +ÐŁÑĢ иÑģÑĥÑĤÑģÑĤв +Сов ÑĢеменн +болÑĮÑĪ евик +венÑĤ илÑıÑĨи +вÑĭÑģÑĤав оÑĩн +вÑĮеÑĤнам Ñģк +генеÑĢ аÑĤоÑĢ +глоб алÑĮно +двинÑĥл аÑģÑĮ +деÑĢж алаÑģÑĮ +деÑĢж иваÑİÑĤ +екÑĤиÑĢов ан +знав аÑĤелÑĮ +илизован н +иÑĢов алоÑģÑĮ +иÑĢован ном +иÑĢован нÑĥÑİ +кв алиÑĦика +клон иÑĤÑĮÑģÑı +комп ÑĮÑİÑĤеÑĢ +конкÑĥÑĢ енÑĤ +конÑĩ алаÑģÑĮ +кÑĢеп ление +лиз ованно +меÑĤа ÑĦизик +миниÑģÑĤ ÑĢом +не опÑĢедел +обÑĢаз ован +ообÑĢаз нÑĭе +ообÑĢаз ÑĥÑİÑī +оÑģÑĤеп ÑĢиим +оÑģÑĤоÑĢож но +оÑģÑĤÑĢо ениÑı +паÑĢ ламенÑĤ +плод оÑĢодн +пÑĢав илаÑģÑĮ +пÑĢав иÑĤÑĮÑģÑı +пÑĢаÑĪ иваÑĤÑĮ +пÑĢо анализ +пÑĢов оÑĨиÑĢÑĥ +пÑĥÑģка лиÑģÑĮ +ÑģеÑĢеб ÑĢиÑģÑĤ +ÑģÑĤой коÑģÑĤÑĮ +ÑģÑĤоÑĢон ний +ÑģÑĤÑĢо еннÑĭй +ÑģÑĤÑĥп аÑİÑīие +ÑģÑĤÑĥп аÑİÑīим +ÑģÑĥб ÑģÑĤанÑĨи +ÑĤиÑĩеÑģ кими +ÑĤÑĢе ÑĥголÑĮн +Ñĥбликов ан +ÑĥÑģÑĤойÑĩив о +ÑĩÑĥв ÑģÑĤвенн +ÑįнÑĤÑĥзи аÑģÑĤ +ĠÐIJбÑĢам овиÑĩ +ĠÐIJнаÑģÑĤаÑģ иÑı +ĠÐIJнÑĤаÑĢ кÑĤид +ĠÐijи огÑĢаÑĦиÑı +ĠÐĴоз никаеÑĤ +ĠÐĴоÑģÑĤоÑĩ ном +ĠÐĴÑģемиÑĢ ной +ĠÐĵÑĢибо едов +ĠÐķванг елиÑı +ĠÐĸÑĥÑĢ налиÑģÑĤ +ĠÐĺзвеÑģÑĤ нÑĭй +ĠÐĺзмен ение +ĠÐļÑĢиÑģÑĤ оÑĦеÑĢ +ĠÐĽÐ°ÑĤ инÑģкой +ĠÐĽÑĥг анÑģкой +ĠÐĽÑİб опÑĭÑĤно +ĠÐľÐ°ÐºÐµÐ´Ð¾Ð½ ии +ĠÐľÐ°ÑĤеÑĢиал Ñĭ +ĠÐľÐµÐ½ делеев +ĠÐľÑĥÑģ Ñģолини +ĠÐĿаг ÑĢаждÑijн +ĠÐŀлимпи аде +ĠÐŀÑģман Ñģкой +ĠÐŀÑĤделÑĮ нÑĭе +ĠÐŀÑĤ ноÑĪениÑı +ĠÐŁÐ¾Ð´ моÑģков +ĠÐŁ олÑĮзоваÑĤ +ĠÐŁÐ¾Ñıв ление +ĠÐŁÑĢедÑģÑĤав и +ĠÐŁÑĢок оÑĦÑĮев +ĠÐŁÑĢоÑĤив ник +ĠÐŁÑģк овÑģкой +ĠÐłÐ°Ð· лиÑĩаÑİÑĤ +ĠÐłÐ¾Ð¶Ð´ еÑģÑĤво +ĠÐłÑıзан Ñģкой +ĠСемен овиÑĩ +ĠСиг измÑĥнд +ĠСкан динав +ĠСовеÑĤ Ñģкие +ĠСолн еÑĩной +ĠСоÑģÑĤоÑı ние +ĠСпаÑģ иÑĤелÑı +ĠСÑĤÑĢÑĥк ÑĤÑĥÑĢа +ĠТимоÑĪ енко +ĠТÑĢад иÑĨион +ĠТ ÑĢанÑģпоÑĢÑĤ +ĠТÑĢеб ÑĥеÑĤÑģÑı +ĠТÑĢеÑĤÑĮ Ñıков +ĠУлÑĮÑıнов Ñģк +ĠУÑĩаÑģÑĤ ники +ĠУÑĩ ÑĢедиÑĤел +ĠФлоÑĢ енÑĨии +ĠФÑĢанк ÑĦÑĥÑĢÑĤ +ĠÐŃйнÑĪÑĤ ейна +ĠавÑĤоном ии +ĠавÑĤоном но +ĠавÑĤоÑĢ ÑģкиÑħ +ĠадÑĢеÑģ ован +ĠалгоÑĢ иÑĤма +ĠаÑĢаб Ñģкого +ĠаÑģÑģо ÑĨииÑĢÑĥ +ĠаÑĥдиÑĤоÑĢ иÑİ +ĠаÑĥдиÑĤоÑĢ иÑı +Ġбд иÑĤелÑĮно +ĠбеÑģед овал +ĠбеÑģпоко иÑĤ +ĠбеÑģÑģпоÑĢ но +Ġби огÑĢаÑĦиÑı +Ġблаг огове +Ġблаж енÑģÑĤв +Ġближай ÑĪей +Ġближай ÑĪий +ĠболелÑĮ Ñīик +ĠбÑĢон зовÑĥÑİ +ĠбÑĢонз овÑĭй +ĠбÑĢонз овÑĭм +ĠбÑĢоÑģ аеÑĤÑģÑı +ĠбÑĢоÑģ илиÑģÑĮ +Ġваж нейÑĪие +Ġваж нейÑĪим +ĠваÑĢианÑĤа Ñħ +Ġведом ÑģÑĤво +Ġвели Ñĩиной +ĠвеÑĢ ованиÑı +Ġвзаим ного +Ġвид имоÑģÑĤÑĮ +ĠвнеÑĪ ноÑģÑĤи +Ġвод иÑĤелей +ĠвоздÑĥÑĪ нÑĭй +ĠвоздÑĥÑĪ нÑĭм +Ġвоз зÑĢениÑı +Ġвозник аÑĤÑĮ +Ġвозник неÑĤ +Ġвоз ÑĢожден +ĠвÑĢемен ами +ĠвÑĢем еннÑĭе +ĠвÑģпомина Ñİ +ĠвÑģÑĤÑĢеÑĩ аем +ĠвÑģÑĤÑĢеÑĩ али +ĠвÑĭбÑĢ аÑĤÑĮÑģÑı +ĠвÑĭглÑıд ели +ĠвÑĭглÑıдел о +ĠвÑĭжив аниÑı +ĠвÑĭполн ено +ĠвÑĭполнÑı ли +ĠвÑĭпÑĥÑģка еÑĤ +ĠвÑĭ ÑĢабоÑĤал +ĠвÑĭÑĢабоÑĤ ки +ĠвÑĭ ÑĢавнива +ĠвÑĭÑĢаж ении +ĠвÑĭÑĢаж ений +ĠвÑĭÑĢв аÑĤÑĮÑģÑı +ĠвÑĭÑģÑĤав иÑĤÑĮ +ĠвÑĭ ÑĤаÑģкива +ĠвÑĭÑıв ление +ĠгенеÑĢ аÑĨии +ĠгоÑĢд оÑģÑĤÑĮÑİ +ĠгоÑĢод ÑģкаÑı +ĠгоÑģп иÑĤалÑı +ĠгоÑĤов илÑģÑı +ĠгÑĢеÑĩеÑģ ким +ĠгÑĢеÑĩеÑģ ком +ĠгÑĢÑĥпп овой +ĠдаÑĤ иÑĢован +Ġдвиг алиÑģÑĮ +Ġделег аÑĨиÑı +ĠдеÑĢевÑĮÑı ми +ĠдикÑĤ аÑĤÑĥÑĢÑĭ +ĠдиÑģкÑĥÑģ ÑģиÑı +ĠдиÑģÑĤан ÑĨиÑİ +Ġдл иÑĤелÑĮно +ĠдобÑĢа лиÑģÑĮ +Ġдоказ Ñĭвал +Ġдоп ÑĥÑģкаÑĤÑĮ +ĠдоÑģÑĤиг неÑĤ +ĠдоÑģÑĤой нÑĭм +ĠдоÑģÑĤÑĥп нÑĭÑħ +ĠдÑĢевеÑģ инÑĭ +ĠевÑĢей Ñģкий +Ġедин олиÑĩн +ĠжелÑĥд оÑĩно +ĠживопиÑģ еÑĨ +Ġжизн еннÑĭе +Ġзабол оÑĩен +ĠзабÑĭв айÑĤе +ĠзаглÑı нÑĥÑĤÑĮ +ĠзаклÑİÑĩ аеÑĤ +ĠзанÑıÑĤ оÑģÑĤи +ĠзапиÑģ Ñĭвал +Ġзап олниÑĤÑĮ +Ġзап омниÑĤÑĮ +ĠзапÑĢеÑĤ иÑĤÑĮ +ĠзапÑĥÑģк аÑĤÑĮ +ĠзаÑĢаж ениÑı +ĠзаÑģед аний +ĠзаÑģÑĤÑĢ елил +Ġза ÑģÑĤÑĢойки +ĠзаÑıв лений +ĠздоÑĢов ого +ĠздÑĢав ÑģÑĤвÑĥ +ĠземелÑĮ нÑĭÑħ +Ġзнаком ого +Ġзнаком ÑģÑĤв +ĠиденÑĤ иÑĩнÑĭ +Ġиде ологиÑı +Ġизбеж ание +ĠизвеÑģÑĤ нÑĥÑİ +Ġиз ложениÑı +Ġизмен иÑĤÑģÑı +ĠизобÑĢаж Ñijн +ĠизобÑĢаз ил +Ġиме ÑİÑīиеÑģÑı +Ġинвали дов +ĠинÑĤеÑĢеÑģ ен +ĠинÑĤеÑĢеÑģ нÑĭ +ĠиÑģпан ÑģкиÑħ +ĠиÑģпан Ñģкой +ĠиÑģÑģлед Ñĥем +ĠиÑģÑĤ еÑĩении +ĠиÑģÑħод ного +Ġкал ендаÑĢÑĮ +Ġкам енного +ĠкаÑĢик аÑĤÑĥÑĢ +ĠкиÑĤай Ñģким +ĠклиенÑĤ ами +ĠкнÑıж еÑģÑĤво +Ġкол лекÑĤоÑĢ +Ġколлек ÑĨиÑİ +Ġкоманд ном +ĠконкÑĥÑĢи ÑĢÑĥ +Ġкон ÑģенÑģÑĥÑģ +ĠконÑĩ аеÑĤÑģÑı +ĠкоопеÑĢ аÑĨи +ĠкоÑĢаблÑı ми +ĠкоÑĢоÑĤ кого +ĠкоÑĢÑĢекÑĤ но +ĠкоÑĢÑĢ елÑıÑĨи +ĠкÑĢай ноÑģÑĤи +ĠкÑĢаÑģ авиÑĨа +ĠкÑĢеп лениÑı +ĠкÑĢиÑĤеÑĢи ев +ĠкÑĢиÑĤеÑĢ иÑıм +ĠкÑĢов еноÑģн +Ġлегк оÑģÑĤÑĮÑİ +ĠлиÑĩ ноÑģÑĤей +ĠлиÑĩ ноÑģÑĤно +Ġлоком оÑĤив +ĠлÑİбопÑĭÑĤ но +ĠмаленÑĮ кое +Ġмед иÑĤаÑĨии +Ġмед леннее +ĠменÑĮ ÑĪевик +ĠмикÑĢоÑģ Ñħем +Ġмолод оÑģÑĤÑĮ +ĠмоÑĤив аÑĨии +ĠмÑĥжÑĩин ами +Ġнавиг аÑĨии +ĠнадеÑı лиÑģÑĮ +Ġназв аннÑĭй +Ġналог овой +Ġнапад ении +ĠнапÑĢав или +ĠнаÑĩ алÑĮнÑĭÑħ +Ġнедав него +ĠнедовеÑĢ ие +ĠнедоÑģÑĤ ойн +Ġнежел ание +Ġнезам еним +Ġнем инÑĥемо +Ġненавид ел +ĠненавиÑģÑĤ н +ĠнеÑģÑĩаÑģÑĤÑĮ Ñı +ĠнеÑĥдоб ÑģÑĤв +ĠнеÑĥк лонно +Ġн идеÑĢланд +Ġобвин ений +ĠобÑĢабоÑĤ ан +ĠобÑĢабоÑĤ кÑĥ +ĠобÑĢаÑī аÑıÑģÑĮ +ĠобÑģÑĥжд аеÑĤ +ĠобÑģÑĥж даÑİÑĤ +ĠобÑĬедин ил +ĠогÑĢаниÑĩ ил +ĠогÑĢом нÑĭми +Ġодн оÑĢодно +ĠодобÑĢ ение +ĠодобÑĢ ениÑı +ĠопиÑĢа еÑĤÑģÑı +ĠопиÑģ ÑĭваÑĤÑĮ +ĠопиÑģ ÑĭваÑİÑĤ +ĠопиÑģ ÑĭваÑİÑī +Ġоппоз иÑĨиÑı +ĠоÑģкоÑĢб лен +ĠоÑģозн анно +ĠоÑģÑĤанов ка +ĠоÑĤвеÑĢг аеÑĤ +ĠоÑĤдел ений +ĠоÑĤделÑĮ ном +ĠоÑĤлиÑĩ илÑģÑı +ĠоÑĤ ложениÑı +ĠоÑĤомÑģÑĤ иÑĤÑĮ +ĠоÑĤпеÑĩаÑĤ ок +ĠоÑĤ пÑĥÑģÑĤиÑĤÑĮ +ĠоÑĤ ÑĢабоÑĤан +ĠоÑĤÑģÑĤÑĥп аÑĤÑĮ +ĠоÑħоÑĤ ников +ĠоÑĨенив аеÑĤ +ĠоÑĨени ваÑİÑĤ +ĠоÑĩевид ÑĨев +ĠоÑĩеÑĢед нÑĥÑİ +ĠоÑĩеÑĢÑĤ аниÑı +ĠпаÑĢалл ели +ĠпаÑĢÑĤий нÑĭй +ĠпаÑĢÑĤнеÑĢ ом +ĠпаÑĤ ологии +ĠпеÑĢв иÑĩной +ĠпеÑĢевоз ок +ĠпеÑĢег ÑĢÑĥзк +ĠпеÑĢед овÑĭÑħ +ĠпеÑĢем еÑīен +ĠпеÑĢеноÑģ иÑĤ +ĠпеÑħоÑĤ ного +ĠпланиÑĢÑĥ ем +ĠпланиÑĢÑĥ ÑİÑĤ +ĠплаÑģÑĤ инки +ĠплаÑĤÑĦоÑĢм Ñĥ +ĠплоÑģ коÑģÑĤÑĮ +Ġпобеж даеÑĤ +Ġпогиб ÑĪего +ĠподвеÑĢг ÑģÑı +Ġпод даннÑĭÑħ +Ġподним аÑĤÑĮ +Ġподоб нÑĭми +Ġпод ождаÑĤÑĮ +ĠподпиÑģ Ñĭва +ĠподÑĢоÑģÑĤ ка +ĠподÑĢÑıд Ñĩик +ĠподÑħод иÑĤÑĮ +Ġпожел аниÑı +Ġпозвон иÑĤÑĮ +Ġпознаком и +Ġпок ажеÑĤÑģÑı +Ġпоказ алÑģÑı +Ġпоказ ÑĭваÑı +ĠпокÑĥÑĪ ениÑı +ĠполиÑĤ олог +ĠполÑĥÑĪ аÑĢиÑı +Ġпонем ногÑĥ +ĠпопеÑĢ еÑĩно +ĠпопÑĥлÑıÑĢ на +ĠпоÑĢаж ений +ĠпоÑĢÑĥÑĩ ение +ĠпоÑĢÑĥÑĩ ениÑİ +ĠпоÑĢÑĥÑĩ ениÑı +ĠпоÑģв ÑıÑĤиÑĤÑĮ +ĠпоÑģ еÑīение +ĠпоÑģолÑĮ ÑģÑĤв +Ġпо ÑģÑĤÑĢойка +ĠпоÑģÑĤÑĥп али +ĠпоÑģÑĤÑĥп ило +ĠпоÑģÑĤÑĥп ков +ĠпоÑĤом ÑģÑĤво +ĠпоÑĤ ÑĢаÑĤиÑĤÑĮ +ĠпоÑĤÑĢеб ÑĥеÑĤ +ĠпоÑıвлÑı лÑģÑı +ĠпÑĢав ового +ĠпÑĢап оÑĢÑīик +ĠпÑĢевÑĭÑĪ аÑĤÑĮ +ĠпÑĢед ÑģÑĤаеÑĤ +ĠпÑĢезид иÑĥм +ĠпÑĢеодол ел +ĠпÑĢеодол ен +ĠпÑĢеÑģ ловÑĥÑĤ +ĠпÑĢеÑģÑĤ аÑĢел +ĠпÑĢивод ило +ĠпÑĢигла ÑĪал +ĠпÑĢиглаÑĪ Ñijн +ĠпÑĢидÑĥм али +ĠпÑĢи езжаеÑĤ +ĠпÑĢизн ании +ĠпÑĢизн аниÑİ +ĠпÑĢиз ÑĭваеÑĤ +ĠпÑĢиказ ано +ĠпÑĢи кÑĢÑĭвал +ĠпÑĢи кÑĢÑĭÑĤиÑı +ĠпÑĢи ноÑģили +ĠпÑĢи ноÑģиÑĤÑĮ +ĠпÑĢин ÑĨеÑģÑģа +ĠпÑĢинÑĨип ам +ĠпÑĢинÑĨип ом +ĠпÑĢинÑı лиÑģÑĮ +ĠпÑĢипод нÑıÑĤ +ĠпÑĢиÑĢод ной +ĠпÑĢиÑĢод нÑĭй +ĠпÑĢиÑĢод нÑĭм +ĠпÑĢиÑĥÑĢ оÑĩен +ĠпÑĢовед ено +ĠпÑĢовин ÑĨиÑİ +ĠпÑĢодвин ÑĥÑĤ +ĠпÑĢодолж иÑĤ +ĠпÑĢодÑĥк ÑĤом +ĠпÑĢож екÑĤоÑĢ +ĠпÑĢож иваÑİÑĤ +ĠпÑĢоизвод Ñı +ĠпÑĢоизоÑĪ ед +ĠпÑĢоника еÑĤ +ĠпÑĢоник нÑĥÑĤ +ĠпÑĢоповед и +ĠпÑĢоÑģ нÑĥлÑģÑı +ĠпÑĢоÑĤ екаÑİÑī +ĠпÑĢоÑĦеÑģÑģ ий +ĠпÑĢоÑĦеÑģÑģ иÑı +ĠпÑĢоÑħод ило +ĠпÑĢоÑĨед иÑĤÑĮ +ĠпÑĢоÑĩ ноÑģÑĤи +ĠпÑĢоÑĪед ÑĪие +ĠпÑĢоÑĪед ÑĪиÑħ +ĠпÑĢоÑıвлÑı ÑİÑĤ +ĠÑĢавен ÑģÑĤво +ĠÑĢазв иваеÑĤ +ĠÑĢазгÑĢом ил +ĠÑĢаздел енÑĭ +ĠÑĢаздÑĢаж ен +ĠÑĢазлиÑĩ аÑİÑĤ +ĠÑĢазмеÑĢ ами +ĠÑĢазмеÑī енÑĭ +ĠÑĢазоб ÑĢаÑĤÑĮ +ĠÑĢазоÑĪ лиÑģÑĮ +ĠÑĢазÑĢеÑĪ ено +ĠÑĢазÑĢÑĥÑĪ аеÑĤ +ĠÑĢазÑĭ Ñģкива +ĠÑĢаÑģка ленн +ĠÑĢаÑģÑĤ Ñıгива +ĠÑĢаÑģÑĨ енива +ĠÑĢедак ÑĨией +ĠÑĢезолÑİ ÑĨии +ĠÑĢеклам нÑĭÑħ +ĠÑĢепÑĢеÑģÑģ ий +ĠÑĢеÑģÑĥÑĢÑģ ами +ĠÑĢоман ÑĤизм +ĠÑĢÑĥковод иÑĤ +ĠÑĢÑĥкопиÑģ ей +ĠÑģанÑĤимеÑĤ ÑĢ +ĠÑģвеÑĤод иод +ĠÑģвобод ном +ĠÑģвÑıз ÑĭваÑİÑī +ĠÑģдел аннÑĭÑħ +ĠÑģемей ного +ĠÑģем инаÑĢии +ĠÑģемÑĮ деÑģÑıÑĤ +ĠÑģеÑĢÑĮез наÑı +ĠÑģимвол изм +ĠÑģинÑĤ акÑģиÑģ +ĠÑģкоп лениÑı +ĠÑģлед овали +ĠÑģлиз иÑģÑĤой +ĠÑģлож илиÑģÑĮ +ĠÑģлÑĥжеб нÑĭÑħ +ĠÑģлÑĥÑĪ аÑĤелÑı +ĠÑģобиÑĢа ÑİÑģÑĮ +ĠÑģобÑĢ аннÑĭе +ĠÑģовеÑĢÑĪ али +ĠÑģовеÑĢÑĪ ено +ĠÑģовеÑĤ ÑģкÑĥÑİ +ĠÑģозд аÑĤелÑĮ +ĠÑģозд аÑĤелÑı +ĠÑģокÑĢов енн +ĠÑģолн еÑĩнÑĭй +ĠÑģоп ÑĢикаÑģа +ĠÑģоÑģÑĤоÑı ÑīаÑı +ĠÑģоÑħÑĢани ли +ĠÑģоÑħÑĢан ÑıÑİÑĤ +ĠÑģпеÑĨиÑĦ ика +ĠÑģпокой нÑĭм +ĠÑģпонÑĤ анно +ĠÑģÑĢаж алиÑģÑĮ +ĠÑģÑĢажениÑı Ñħ +ĠÑģÑĤоÑĢон ник +ĠÑģÑĤÑĢад ание +ĠÑģÑĤÑĥденÑĤ ом +ĠÑĤанков ого +ĠÑĤенден ÑĨий +ĠÑĤенден ÑĨиÑİ +ĠÑĤеÑĢпели во +ĠÑĤÑĢаекÑĤоÑĢ и +ĠÑĤÑĢеб овало +ĠÑĤÑĢеб ÑĥÑİÑĤÑģÑı +ĠÑĤÑĢÑĥд иÑĤÑĮÑģÑı +ĠÑĤÑĢÑĥд олÑİби +ĠÑĤÑĥÑĢ еÑĨкого +ĠÑĥбежд ений +ĠÑĥбежд ениÑİ +ĠÑĥголов ной +ĠÑĥголов нÑĭÑħ +ĠÑĥдеÑĢж ивал +ĠÑĥдив лениÑİ +ĠÑĥказан ной +ĠÑĥказ аннÑĭм +ĠÑĥкÑĢаин ÑĨев +ĠÑĥлÑĥÑĩÑĪ ениÑİ +ĠÑĥм ÑĭÑĪленно +ĠÑĥÑĢавн ение +ĠÑĥÑĢавн ений +ĠÑĥÑģилив аеÑĤ +ĠÑĥÑģкоÑĢ ение +ĠÑĥÑģкоÑĢ ениÑı +ĠÑĥÑģÑĤал оÑģÑĤи +ĠÑĥÑĤвеÑĢд иÑĤÑĮ +ĠÑĥÑĤвеÑĢжд аÑı +ĠÑĥÑħÑĥд ÑĪение +ĠÑĥÑĩени ками +ĠÑĥÑĩиÑĤ ÑĭваеÑĤ +ĠÑĦакÑĤоÑĢ ами +ĠÑĦилаÑĢ мони +ĠÑĦоÑĢм иÑĢÑĥеÑĤ +ĠÑĦÑĥнкÑĨи Ñıми +ĠÑħозÑıй ÑģÑĤвÑĥ +ĠÑħоккей ной +ĠÑħолод ного +ĠÑħоÑĢе огÑĢаÑĦ +ĠÑħÑĢанили Ñīа +ĠÑħÑĢанили Ñīе +ĠÑĨенно ÑģÑĤÑıм +ĠÑĩаÑģÑĤ енÑĮко +ĠÑĩемпион ка +ĠÑĩеÑĤвеÑĢÑĤ ой +ĠÑĩеÑĤвеÑĢ ÑĤом +ĠÑĩиÑģли лоÑģÑĮ +ĠÑĩÑĥвÑģÑĤв ами +ĠÑĪколÑĮ ного +ĠÑįкоÑģ иÑģÑĤем +ĠÑįлекÑĤ ÑĢона +ÐļоммеÑĢÑģ анÑĤ +ÐŀбÑĬедин енн +ÐŀбÑĬедин Ñijнн +ÐŁÐµÑĢвом айÑģк +ÐŁÐ¾Ð¶Ð°Ð»Ñĥй ÑģÑĤа +Ðł ождеÑģÑĤвен +Ч еловеÑĩеÑģк +аÑĤелÑĮ ÑģÑĤвом +бо еÑģпоÑģобн +говаÑĢ иваÑİÑĤ +дейÑģÑĤв овав +демокÑĢаÑĤ ов +егиÑģÑĤ ÑĢиÑĢов +еннолеÑĤ ниÑħ +заимÑģÑĤв ова +иÑģÑĤ иÑĩеÑģком +иÑģÑĤ иÑĩеÑģкÑĥÑİ +кеÑĢам иÑĩеÑģк +килом еÑĤÑĢов +менедж менÑĤ +онаÑĢÑĥÑĪ ениÑı +оÑģпÑĢи имÑĩив +пÑĥÑĤеÑĪ еÑģÑĤвÑĥ +ÑĢегÑĥлиÑĢÑĥ ÑİÑī +ÑĢикоÑģнов ен +Ñģим меÑĤÑĢиÑĩн +ÑģмаÑĤÑĢ иваеÑĤ +ÑģпеÑĨи алиÑģÑĤ +ÑģÑĤоÑĢон него +ÑģÑĤÑĢо иÑĤелей +ÑģÑĤÑĢÑĥ иÑĢован +Ñĥд овлеÑĤвоÑĢ +ÑĦÑĢанÑĨÑĥз Ñģки +ĠÐIJналог иÑĩно +ĠÐIJÑĢÑħ иÑĤекÑĤÑĥÑĢ +ĠÐijез ÑĥÑģловно +ĠÐĴаÑģилÑĮев на +ĠÐĴикÑĤоÑĢ овиÑĩ +ĠÐĴин огÑĢадов +ĠÐĴÑģемиÑĢ ного +ĠÐĵеоÑĢги евиÑĩ +ĠÐĵеоÑĢги евÑģк +ĠÐĵÑĥб еÑĢнаÑĤоÑĢ +ĠÐĹаклÑİÑĩ ение +ĠÐĺеÑĢÑĥÑģали ме +ĠÐĺÑģполÑĮзов а +ĠÐļаз анÑģкого +ĠÐļазаÑħÑģÑĤан е +ĠÐļалиÑĦоÑĢ ниÑı +ĠÐĽÑİкÑģем бÑĥÑĢг +ĠÐľÐ°Ñı ковÑģкий +ĠÐľÐ¸Ñħайлов на +ĠÐĿев озможно +ĠÐĿез авиÑģимо +ĠÐĿеожид анно +ĠÐŀÑĦиÑĨи алÑĮно +ĠÐŁÐ¾Ð´ гоÑĤовка +ĠÐŁÐ¾Ð¿ÑĢоб ÑĥйÑĤе +ĠÐŁÐ¾Ñģ моÑĤÑĢиÑĤе +ĠÐŁÑĢавоÑģлав н +ĠÐŁÑĢи ложение +ĠÐŁÑĢимеÑĩ ание +ĠÐŁÑĢ омÑĭÑĪленн +ĠÐłÐ°Ð· ÑĢабоÑĤка +ĠСаÑĥд овÑģкой +ĠСеÑĢ ебÑĢÑıнÑĭй +ĠСмол енÑģкой +ĠСодеÑĢж ание +ĠСоÑĤÑĢÑĥд ники +ĠСпеÑĨи алÑĮно +ĠСÑĤаÑĤ иÑģÑĤика +ĠТеÑĢÑĢиÑĤоÑĢ иÑı +ĠУзбек иÑģÑĤан +ĠУпÑĢаж нение +ĠЦенÑĤÑĢ алÑĮно +ĠÐŃйзенÑħа ÑĥÑįÑĢ +ĠавиаÑĨион но +ĠакÑĥ ÑģÑĤиÑĩеÑģк +ĠакÑĨион еÑĢов +Ġанглий ÑģкаÑı +ĠанглиÑĩ анин +ĠаппаÑĢаÑĤ ÑĥÑĢÑĭ +ĠаÑĢгÑĥменÑĤ ов +ĠаÑĢеÑģÑĤован Ñĭ +ĠаÑĢмей Ñģкого +ĠаÑĢÑĤеÑĢи алÑĮн +ĠаÑĢÑħе ологии +ĠаÑģÑģоÑĨи аÑĨий +Ġбанков ÑģкиÑħ +ĠбеÑģпомоÑī но +ĠбеÑģп ÑĢоводн +Ġбибли огÑĢаÑĦ +ĠблагодаÑĢ ен +Ġближай ÑĪего +Ġблок иÑĢовки +ĠбоепÑĢипаÑģ Ñĭ +ĠбÑĢиÑĤан Ñģкие +ĠбÑĥÑĢжÑĥаз ной +ĠвелиÑĩай ÑĪиÑħ +Ġвели ÑĩеÑģÑĤво +ĠвеÑīеÑģÑĤв ами +Ġвзволн ован +Ġвлад ÑĭÑĩеÑģÑĤв +ĠвозмÑĥÑī ение +Ġвозобнов лÑı +ĠвозÑĢаж ениÑı +Ġвопло ÑīениÑı +ĠвоÑģпал ение +ĠвоÑģпиÑĤ ании +ĠвоÑģпиÑĤ Ñĭвал +ĠвÑĭÑģказ алÑģÑı +ĠвÑĭÑĩиÑģ лений +ĠвÑĭÑĩиÑģ лиÑĤел +ĠвÑĭÑıÑģнÑı еÑĤÑģÑı +Ġгаз опÑĢовод +ĠгаÑĢмон иÑĩно +ĠгеÑĢман Ñģкие +ĠгеÑĢман Ñģким +Ġглоб алÑĮной +ĠгоÑĤов илиÑģÑĮ +ĠдалÑĮней ÑĪие +ĠдеклаÑĢ аÑĨии +ĠдемокÑĢаÑĤ иÑı +ĠдеÑĢевÑıн наÑı +ĠдеÑĢевÑıн ной +ĠдеÑĢевÑıн нÑĭм +ĠдженÑĤ лÑĮмен +Ġдл иÑĤелÑĮной +Ġдл иÑĤелÑĮнÑĭй +Ġдобав лениÑı +ĠдобÑĢов олÑĮн +Ġдогад аÑĤÑĮÑģÑı +Ġдоказ ÑĭваÑĤÑĮ +ĠдокÑĤоÑĢ ÑģкÑĥÑİ +Ġдолж ноÑģÑĤей +Ġдолж ноÑģÑĤÑıÑħ +Ġдополн ениÑı +ĠдоÑģÑĤав лÑıеÑĤ +ĠдоÑģÑĤигнÑĥÑĤ а +ĠдоÑģÑĤ оÑıнием +ĠевÑĢопей ÑĨев +Ġежеме ÑģÑıÑĩно +Ġежен еделÑĮн +ĠжеÑģÑĤок оÑģÑĤи +ĠзаведениÑı Ñħ +Ġзавед ÑĥÑİÑīим +ĠзавеÑĢÑĪи лÑģÑı +Ġзакон ноÑģÑĤи +Ġзакон ÑĩиÑĤÑģÑı +Ġзалож ников +ĠзапиÑģ ÑĭваÑĤÑĮ +ĠзаÑģлÑĥж енно +Ġземлед елие +Ġземлед елиÑı +ĠзнамениÑĤ аÑı +ĠзнамениÑĤ ом +ĠзнамениÑĤ Ñĭе +Ġизмени лиÑģÑĮ +ĠизобÑĢаж аÑİÑī +ĠизобÑĢаж енÑĭ +ĠизобÑĢаз иÑĤÑĮ +ĠизÑĢа илÑĮÑĤÑıн +ĠиллÑİÑģÑĤÑĢи ÑĢÑĥ +ĠимÑĥÑīеÑģÑĤв ом +Ġинг ÑĢедиенÑĤ +ĠинженеÑĢ нÑĭÑħ +ĠиноÑģÑĤÑĢан ÑĨа +ĠинÑĤеÑĢ венÑĨи +ĠинÑĤеÑĢеÑģ наÑı +ĠинÑĤеÑĢеÑģ нее +ĠинÑĤеÑĢеÑģ ÑĥÑİÑĤ +ĠинÑĤÑĥ иÑĤивно +ĠинÑĦÑĢак ÑĢаÑģн +ĠиÑģполн ениÑİ +ĠиÑģÑģлед ован +ĠиÑģÑĤол кован +Ġкан ÑĨелÑıÑĢии +ĠкаÑģ аÑİÑīиеÑģÑı +Ġколебл еÑĤÑģÑı +Ġколон изаÑĨи +Ġкоманд ного +ĠкоммÑĥ ниÑģÑĤÑĭ +ĠкомпаниÑı ми +Ġкомп илÑıÑĤоÑĢ +Ġкомпоз иÑĨиÑİ +ĠконеÑĩ ноÑģÑĤи +ĠконÑģ ÑĥлÑĮÑģÑĤв +ĠконÑĤ ÑĢабанд +ĠкооÑĢд инаÑĨи +ĠкÑĢиÑĤик овал +ĠкÑĥлÑĮÑĤÑĥÑĢ нÑĭй +ĠкÑĥлÑĮÑĤÑĥÑĢ нÑĭм +ĠлаÑĤ инÑģкого +Ġлегко аÑĤлеÑĤ +ĠлибеÑĢ ализм +ĠмагиÑģÑĤ ÑĢали +ĠмагниÑĤ ного +ĠмагниÑĤ оÑĦон +ĠмаленÑĮ кими +Ġман ÑĥÑĦакÑĤÑĥÑĢ +ĠмаÑģÑĤеÑĢ ÑģкиÑħ +ĠмаÑĤеÑĢиал ам +Ġмог ÑĥÑīеÑģÑĤво +ĠмонаÑģÑĤÑĭ ÑĢей +ĠмоÑĢ алÑĮного +ĠмоÑģков Ñģкие +ĠмоÑģков Ñģким +ĠмÑĥж еÑģÑĤвенн +ĠмÑĥÑĩ иÑĤелÑĮно +Ġнадеж ноÑģÑĤи +Ġнадеж ноÑģÑĤÑĮ +Ġнадоб ноÑģÑĤи +ĠназÑĭваем ое +ĠназÑĭваем ом +ĠназÑĭваем ÑĥÑİ +ĠназÑĭваем Ñĭм +ĠназÑĭв алиÑģÑĮ +ĠназÑĭв алоÑģÑĮ +ĠнаиболÑĮÑĪ ей +ĠнапиÑģан наÑı +ĠнапиÑģан ное +ĠнапиÑģан ной +ĠнапиÑģ аннÑĭй +ĠнапиÑģ аннÑĭÑħ +ĠнапÑĢÑıж енно +ĠнаÑģлед ÑģÑĤва +ĠнаÑģÑĤа иваеÑĤ +ĠнаÑĨиÑģÑĤ Ñģкой +ĠнаÑĩалÑĮ ÑģÑĤва +ĠнаÑĩалÑĮ ÑģÑĤвÑĥ +ĠнегаÑĤив нÑĭе +ĠнедоÑģÑĤÑĥп нÑĭ +ĠнедоÑĥм ение +ĠнеизвеÑģÑĤ на +Ġнеизмен нÑĭм +ĠнеÑĢаз ÑĢÑĭвно +ĠнеÑģÑĩаÑģÑĤ нÑĭÑħ +ĠноÑĢм алÑĮнÑĭм +ĠноÑĢм алÑĮнÑĭÑħ +Ġоблег ÑĩениÑı +ĠобознаÑĩ аÑİÑĤ +ĠобоÑģнов Ñĭва +ĠобÑģÑĥжд ении +ĠобÑĬедин ÑıÑİÑĤ +ĠобÑĬÑıÑģ нений +Ġодинак овой +Ġодинак овÑĭÑħ +Ġознаком лен +ĠокÑĢÑĥжаÑİÑī ие +ĠокÑĢÑĥж ноÑģÑĤи +ĠопÑĢав дание +ĠоÑĢганиз ÑĥеÑĤ +ĠоÑģвоб ождÑijн +ĠоÑģлаб ление +ĠоÑģнован ной +ĠоÑģнов аннÑĭе +ĠоÑģÑĥжден нÑĭÑħ +ĠоÑĤклон ение +ĠоÑĤлиÑĩ аÑĤÑĮÑģÑı +ĠоÑĤноÑģ илаÑģÑĮ +ĠоÑĤпÑĢав лÑıеÑĤ +ĠоÑĤÑĢав лениÑı +ĠоÑĤÑĢаж аеÑĤÑģÑı +ĠпаÑĢÑĤий ного +ĠпаÑĢÑĤнеÑĢ ами +ĠпеÑĢвен ÑģÑĤво +ĠпеÑĢебÑĢ алÑģÑı +ĠпеÑĢевеÑĢ нÑĥл +ĠпеÑĢед аÑİÑĤÑģÑı +ĠпеÑĢекÑĢеÑģÑĤ к +ĠпеÑĢемен нÑĭе +ĠпеÑĢем еÑĪаÑĤÑĮ +ĠпеÑĢем еÑĪива +ĠпеÑĢеноÑģ иÑĤÑĮ +ĠпеÑĢепиÑģ Ñĭва +ĠпеÑĢеÑģек аеÑĤ +ĠпеÑĢеÑģÑĤ ÑĢоен +Ġпик абÑĥÑĪник +ĠповеÑĢ нÑĥлÑģÑı +ĠповеÑģÑĤв ÑĥеÑĤ +ĠповÑģÑĤан ÑĨев +ĠповÑĤоÑĢ ение +ĠповÑĤоÑĢ ениÑı +ĠподклÑİÑĩ иÑĤÑĮ +Ġподоз ÑĢеваÑİ +ĠподÑĩин ении +Ġпожиз ненно +Ġпоказ алаÑģÑĮ +Ġполаг аеÑĤÑģÑı +Ġпол иклиник +Ġполковод ÑĨа +ĠполÑĥÑĩ алоÑģÑĮ +ĠполÑĥÑĩ енной +ĠполÑĥÑĩ еннÑĭй +ĠполÑĥÑĩ илаÑģÑĮ +ĠпомеÑīениÑı Ñħ +ĠпомоÑī ников +ĠпопÑĢоб ÑĥйÑĤе +ĠпопÑĥлÑıÑĢ нÑĭй +ĠпоÑģеÑĢ едине +ĠпоÑģÑĤав Ñīика +ĠпоÑģÑĤоÑıн нÑĥÑİ +ĠпоÑĤ иÑħонÑĮкÑĥ +ĠпÑĢавилÑĮ нÑĭе +ĠпÑĢав иÑĤелем +ĠпÑĢавоÑģÑĥд иÑı +ĠпÑĢазд неÑģÑĤв +ĠпÑĢазд ников +ĠпÑĢевÑĢаÑī аеÑĤ +ĠпÑĢедлаг аÑĤÑĮ +ĠпÑĢедлож ено +ĠпÑĢедмеÑĤ ами +ĠпÑĢедÑĭдÑĥÑī ий +ĠпÑĢедÑĭдÑĥÑī им +ĠпÑĢекÑĢаÑģ нÑĭÑħ +ĠпÑĢеÑģлед ÑĥеÑĤ +ĠпÑĢивил егии +ĠпÑĢивлек аÑİÑĤ +ĠпÑĢивод ÑıÑĤÑģÑı +ĠпÑĢиглаÑģ иÑĤÑĮ +ĠпÑĢизнак ами +ĠпÑĢизн аÑĤÑĮÑģÑı +ĠпÑĢикÑĢÑĭ ÑĤием +ĠпÑĢимен ениÑİ +ĠпÑĢинÑĨип ами +ĠпÑĢиобÑĢеÑĤ ал +ĠпÑĢовед ениÑİ +ĠпÑĢоиз неÑģен +ĠпÑĢоиз ноÑģил +ĠпÑĢоиз ÑĢаÑģÑĤа +ĠпÑĢомежÑĥÑĤ ок +ĠпÑĢом ежÑĥÑĤоÑĩ +ĠпÑĢопаг анда +ĠпÑĢоÑģÑĤ иÑĤÑĥÑĤк +ĠпÑĢоÑĤив ники +ĠпÑĢоÑĤив овеÑģ +ĠпÑĢоÑĦ ÑģоÑİзов +ĠпÑĢоÑĨеÑģÑģ ами +ĠÑĢабоÑĤ аÑİÑīие +ĠÑĢабоÑĤ аÑİÑīий +ĠÑĢаз глÑıдеÑĤÑĮ +ĠÑĢазгÑĢом лен +ĠÑĢазÑĢабоÑĤ ок +ĠÑĢаÑģкÑĢ ÑĭваеÑĤ +ĠÑĢаÑģпÑĢед ели +ĠÑĢаÑģÑģказ Ñĩик +ĠÑĢаÑģÑģмоÑĤÑĢ ел +ĠÑĢаÑģÑģÑĤ аÑĤÑĮÑģÑı +ĠÑĢаÑģÑħ ождени +ĠÑĢеволÑİ ÑĨией +ĠÑĢегÑĥли ÑĢÑĥеÑĤ +ĠÑĢегÑĥлÑıÑĢ нÑĭе +ĠÑĢезид енÑĨии +ĠÑĢекоменд ÑĥÑİ +ĠÑĢеÑĦоÑĢм аÑĤоÑĢ +ĠÑĢоÑģÑģий Ñģкое +ĠÑĢÑĥковод иÑĤÑĮ +ĠÑģаÑĤи ÑĢиÑĩеÑģк +ĠÑģвÑıзан ного +ĠÑģеÑĢебÑĢÑı ной +ĠÑģеÑĢебÑĢÑı нÑĥÑİ +ĠÑģеÑĢебÑĢÑı нÑĭе +ĠÑģеÑĢÑĮез ного +ĠÑģкÑĢ ÑĭваеÑĤÑģÑı +ĠÑģлавÑıн ÑģкиÑħ +ĠÑģлив оÑĩного +ĠÑģновид ениÑı +ĠÑģобиÑĢ алаÑģÑĮ +ĠÑģовеÑĢÑĪ ение +ĠÑģовеÑĤ ником +ĠÑģовпад ение +ĠÑģоглаÑĪ ениÑİ +ĠÑģодейÑģÑĤв ии +ĠÑģодеÑĢжаÑī ий +ĠÑģозд аÑĤелей +ĠÑģомнев алÑģÑı +ĠÑģопоÑģÑĤав им +ĠÑģоÑģÑĤоÑı ÑĤÑĮÑģÑı +ĠÑģоÑĤÑĢÑĥд ниÑĩа +ĠÑģоÑĨи ологии +ĠÑģоÑĩÑĥв ÑģÑĤвие +ĠÑģоÑİз никами +ĠÑģпоÑĢÑĤив нÑĭй +ĠÑģпоÑĢÑĤÑģмен Ñĭ +ĠÑģпÑĢаÑĪ иваÑĤÑĮ +ĠÑģпÑĢаÑĪ иваÑİÑĤ +ĠÑģÑĤандаÑĢÑĤ ам +ĠÑģÑĤаÑĤиÑģÑĤ ика +ĠÑģÑĤаÑĤиÑģÑĤ ике +ĠÑģÑĤеÑĢ лингов +ĠÑģÑĤÑĢелков аÑı +ĠÑģÑĤÑĢелков Ñĭй +ĠÑģÑĤÑĢем лении +ĠÑģÑĩаÑģÑĤлив ой +ĠÑĤанÑĨев алÑĮн +ĠÑĤвоÑĢ ÑĩеÑģкие +ĠÑĤвоÑĢÑĩ еÑģÑĤвÑĥ +ĠÑĤеаÑĤÑĢ алÑĮно +ĠÑĤелегÑĢам мÑĥ +ĠÑĤеÑħни ÑĩеÑģки +ĠÑĤоваÑĢиÑī ами +ĠÑĤ ождеÑģÑĤвен +ĠÑĤолков ание +ĠÑĤолков аниÑı +ĠÑĤоÑĤал иÑĤаÑĢн +ĠÑĤÑĢаекÑĤоÑĢ ии +ĠÑĤÑĢени ÑĢовал +ĠÑĤÑĢениÑĢов ка +ĠÑĤÑĢениÑĢов ок +ĠÑĤÑĢог аÑĤелÑĮн +ĠÑĥвелиÑĩ ении +ĠÑĥволÑĮ нениÑı +ĠÑĥдеÑĢж аÑĤÑĮÑģÑı +ĠÑĥдив лением +ĠÑĥдив лÑıÑĤÑĮÑģÑı +ĠÑĥдоволÑĮ ÑģÑĤв +ĠÑĥказан ного +ĠÑĥкÑĢаин Ñģким +ĠÑĥкÑĢаин Ñģком +ĠÑĥкÑĢеп лений +ĠÑĥкÑĢеп лениÑİ +ĠÑĥникалÑĮ нÑĭм +ĠÑĥниÑĩÑĤож аеÑĤ +ĠÑĥниÑĩÑĤож ено +ĠÑĥпоÑĤÑĢеб лÑıл +ĠÑĥ ÑĢегÑĥлиÑĢов +ĠÑĥÑģÑĤанов кой +ĠÑĥÑģÑĤÑĢа иваÑĤÑĮ +ĠÑĥÑģÑĤÑĢа иваÑİÑĤ +ĠÑĥÑģÑĤÑĢан ение +ĠÑĥÑĩÑĢежд ении +ĠÑĦанÑĤа ÑģÑĤики +ĠÑĦаÑĪиÑģÑĤ Ñģкой +ĠÑĦиз иÑĩеÑģкаÑı +ĠÑĦиз иÑĩеÑģкий +ĠÑĦиз иÑĩеÑģкÑĥÑİ +ĠÑĦиз кÑĥлÑĮÑĤÑĥÑĢ +ĠÑĦилоÑģоÑĦ Ñģко +ĠÑĦинанÑģов ÑĥÑİ +ĠÑĦинанÑģов Ñĭй +ĠÑĦоÑĢм иÑĢовал +ĠÑĦоÑĤогÑĢаÑĦ иÑİ +ĠÑĦÑĢагменÑĤ ов +ĠÑħозÑıй ÑģÑĤвом +ĠÑħоÑĢоÑĪ енÑĮко +ĠÑħÑĢиÑģÑĤи анин +ĠÑĨеÑĢков ного +ĠÑĩеÑĤвеÑĢÑĤ ого +ĠÑįкÑĢ анизаÑĨи +ĠÑįкÑģпед иÑĨиÑİ +ĠÑįкÑģпоз иÑĨии +ĠÑįлекÑĤÑĢон но +ÐĴозвÑĢаÑī ение +Ðļавказ Ñģкого +ÐŁÑĥÑĤеÑĪ еÑģÑĤвие +СовÑĢемен ник +аÑĢÑĤи ллеÑĢиÑģÑĤ +благ ополÑĥÑĩн +благоÑĩ еÑģÑĤив +еÑģÑĤ еÑģÑĤвенно +идÑĢав лиÑĩеÑģк +иннов аÑĨионн +кон ÑģÑĤÑĢÑĥкÑĤоÑĢ +конÑĦеÑĢен ÑĨиÑİ +обÑĢаз ование +обÑĢаз ованиÑı +обÑıз аÑĤелÑĮно +олог иÑĩеÑģкое +повед енÑĩеÑģк +погÑĢани Ñĩник +подÑĢазÑĥм ева +ÑĢаз ÑĢабоÑĤÑĩик +ÑģÑĤойÑĩив оÑģÑĤÑĮ +ÑĤеÑħни ÑĩеÑģкаÑı +ÑĦил акÑĤиÑĩеÑģк +Ñĩелов еÑĩеÑģки +ÑĩеÑħ оÑģловаÑĨк +Ġhouse holder +ĠÐIJÑĦганиÑģÑĤан а +ĠÐĴозмож ноÑģÑĤÑĮ +ĠÐĴолог одÑģкой +ĠÐĴоÑĢонеж Ñģкой +ĠÐĴоÑģкÑĢеÑģ енÑģк +ĠÐĵоÑģÑĥдаÑĢ ÑģÑĤво +ĠÐĶеб ÑİÑĤиÑĢовал +ĠÐĹнаÑĩ иÑĤелÑĮно +ĠÐĺнг ÑĢедиенÑĤÑĭ +ĠÐľÐ°ÑģÑģ аÑĩÑĥÑģеÑĤÑģ +ĠÐŀконÑĩ аÑĤелÑĮн +ĠÐŀлимпий Ñģкие +ĠÐŀÑĢганиз аÑĨии +ĠÐŀÑģÑĤÑĢов Ñģкого +ĠÐŀÑĦиÑĨи алÑĮнаÑı +ĠÐŁÐ°ÑĢалл елÑĮно +ĠÐŁÐ¾Ð»ÑĮзоваÑĤ ел +ĠÐŁÑĢед положим +ĠÐŁÑĢедÑģÑĤав лен +ĠÐłÐ°Ð· ÑĢабоÑĤÑĩик +ĠÐłÐµÐ·ÑĥлÑĮÑĤаÑĤ ом +ĠСаÑĢаÑĤ овÑģкой +ĠСовÑĢемен наÑı +ĠСовÑĢемен нÑĭй +ĠСпеÑĨи алиÑģÑĤÑĭ +ĠУдив иÑĤелÑĮно +ĠУкÑĢа инÑģкого +ĠФедеÑĢ алÑĮной +ĠФедеÑĢ алÑĮнÑĭм +ĠФÑĢанÑĨÑĥз Ñģкой +ĠЦенÑĤÑĢ алÑĮнаÑı +ĠЧай ковÑģкого +ĠЧелÑıбин Ñģкой +ĠЯÑĢоÑģлав Ñģкой +ĠавиаÑĨион нÑĭÑħ +ĠавÑĤоном ного +Ġаналог иÑĩнÑĭй +Ġаналог иÑĩнÑĭм +Ġаналог иÑĩнÑĭÑħ +ĠаÑĢÑĤилл еÑĢией +ĠаÑĢÑħиÑĤекÑĤ ÑĥÑĢа +ĠаÑģÑģоÑĢÑĤ именÑĤ +ĠаÑĦÑĢи канÑģкиÑħ +ĠбаÑģкеÑĤ болÑĮн +Ġбезжал оÑģÑĤно +Ġбелог ваÑĢдей +ĠбеÑģпоÑĢÑıд оÑĩн +ĠблагоÑģ оÑģÑĤоÑı +ĠболелÑĮ Ñīиков +ĠболÑĮÑĪин ÑģÑĤвÑĥ +ĠвзаимоÑģвÑıз и +ĠвиÑĢÑĤÑĥ алÑĮной +ĠвлиÑıÑĤелÑĮ нÑĭÑħ +Ġвним аÑĤелÑĮнÑĭ +Ġвозглав лÑıеÑĤ +ĠвоздейÑģÑĤв иÑİ +Ġвозника ÑİÑīиÑħ +Ġвоз ÑĢождение +ĠвпеÑĩаÑĤ лений +ĠвÑģеÑģÑĤ оÑĢонне +ĠвÑĭполнÑı ÑİÑĤÑģÑı +ĠвÑĭпÑĥÑģк ников +ĠгаллÑİ ÑĨинаÑĨи +ĠгаÑĢанÑĤи ÑĢÑĥеÑĤ +ĠгваÑĢдей ÑģкаÑı +ĠгваÑĢдей Ñģкий +ĠгенеÑĢ алÑĮнÑĭм +Ġглоб алÑĮного +ĠгÑĢаждан Ñģкие +ĠгÑĢаждан Ñģким +ĠгÑĢÑĥпп иÑĢовок +ĠдвигаÑĤелÑı ми +ĠдейÑģÑĤв ÑĥÑİÑīие +ĠдейÑģÑĤв ÑĥÑİÑīий +ĠдеÑģÑıÑĤи леÑĤие +ĠдиагноÑģÑĤи ки +Ġдобав лением +ĠдовеÑĢ иÑĤелÑĮн +ĠдоÑĢого ÑģÑĤоÑıÑī +ĠдоÑģÑĤаÑĤ оÑĩнÑĭм +ĠдÑĥÑħовен ÑģÑĤво +ĠевÑĢопей Ñģком +ĠзавеÑĢÑĪ аеÑĤÑģÑı +Ġзакон омеÑĢно +ĠзаконÑĩ илиÑģÑĮ +ĠзаÑĤÑĢÑĥд нениÑı +ĠзаÑħоÑĢон ениÑı +ĠизобÑĢаж ении +ĠиллÑİÑģÑĤÑĢа ÑĨии +ĠимпеÑĢаÑĤ ÑĢиÑĨа +ĠимпеÑĢаÑĤ ÑĢиÑĨе +ĠимпеÑĢи ализм +Ġиноп ланеÑĤÑıн +ĠинÑĤеÑĢеÑģ ного +ĠиÑģполÑĮз ÑĥйÑĤе +ĠиÑģпÑĢав лениÑı +ĠиÑģÑĤоÑĩ никами +ĠкандидаÑĤ ÑĥÑĢÑĥ +ĠкапиÑĤÑĥ лÑıÑĨии +Ġклини ÑĩеÑģкой +ĠкомменÑĤ аÑĢиÑı +ĠкомменÑĤ аÑĤоÑĢ +ĠкомпеÑĤ енÑĨии +ĠкомÑģом олÑĮÑģк +ĠкооÑĢд инаÑĨии +ĠкоÑĢолев ÑģÑĤво +ĠкоÑģм иÑĩеÑģкие +ĠкоÑģм иÑĩеÑģкий +ĠкоÑģмонав ÑĤов +ĠкÑĢаÑĤ коÑģÑĢоÑĩн +ĠкÑĢиÑĤ иÑĩеÑģкой +ĠкÑĢов опÑĢолиÑĤ +ĠлабоÑĢаÑĤоÑĢ иÑİ +ĠлиÑĤеÑĢаÑĤÑĥÑĢ ой +ĠмаÑĢкÑģ иÑģÑĤÑģко +ĠмаÑĤеÑĢи ализм +ĠмаÑĤеÑĢ инÑģкой +ĠмедиÑĨин Ñģкие +ĠминималÑĮ нÑĭм +Ġмоб илизаÑĨии +Ġмод иÑĦикаÑĨиÑı +ĠмоменÑĤ алÑĮно +ĠмÑĥж еÑģÑĤвенно +ĠназнаÑĩ аеÑĤÑģÑı +ĠнамеÑĢев алÑģÑı +ĠнапÑĢÑıж ением +ĠнаÑģлед ником +ĠнаÑģÑĤÑĥп лении +ĠнаÑĩалÑĮ ников +ĠнаÑĩалÑĮ ÑģÑĤвом +Ġнедоп ÑĥÑģÑĤимо +ĠнедоÑģÑĤаÑĤ ком +ĠнеизвеÑģÑĤ нÑĭÑħ +Ġнеожид аннÑĭм +Ġне оÑģÑĤоÑĢожно +ĠнеÑģÑĤаб илÑĮно +ĠнеÑģÑĩаÑģÑĤ ного +ĠнеÑĤеÑĢп ением +Ġне ÑĥÑģÑĤойÑĩиво +ĠобвинÑıем ого +ĠобеÑģпеÑĩ ении +ĠобоÑģнов ание +ĠобÑĬедин ений +Ġодино ÑĩеÑģÑĤва +Ġодино ÑĩеÑģÑĤво +Ġоказ ÑĭвалиÑģÑĮ +ĠокÑĢеÑģÑĤ ноÑģÑĤи +ĠоÑģвоб ождаеÑĤ +ĠоÑĤказ ÑĭвалÑģÑı +ĠоÑĤноÑģÑı ÑīийÑģÑı +ĠоÑĤноÑģÑı ÑīиÑħÑģÑı +ĠоÑĤобÑĢаж ениÑı +ĠоÑĤÑģÑĤÑĥп лениÑı +ĠпаÑĤÑĢÑĥ лиÑĢова +ĠпеÑĢевод иÑĤÑģÑı +ĠпеÑĢеж ивание +ĠпеÑĢеклÑİÑĩ ени +ĠпеÑĢеÑĢабоÑĤ ки +ĠпеÑĢеÑģ еÑĩении +ĠпеÑĢÑģоналÑĮ но +Ġпобед иÑĤелей +ĠповÑĢежд ение +ĠповÑĤоÑĢ ÑıеÑĤÑģÑı +ĠподавлÑı ÑİÑīее +ĠподвеÑĢг лиÑģÑĮ +ĠподгоÑĤов кой +ĠподдеÑĢж ание +Ġподним аÑĤÑĮÑģÑı +ĠподÑĩин ÑıеÑĤÑģÑı +ĠподÑĩин ÑıÑĤÑĮÑģÑı +ĠпозволÑı ÑİÑīие +ĠпозволÑı ÑİÑīий +Ġпоклон ников +ĠполиÑĤ иÑĩеÑģки +ĠполиÑĨей Ñģким +ĠполÑĮзов ание +ĠпонÑĢав илаÑģÑĮ +ĠпоÑģвÑıÑī еннÑĭе +ĠпоÑģвÑıÑī еннÑĭй +ĠпоÑģледÑĥÑİÑī ем +ĠпоÑģÑĤ оÑĢонниÑħ +ĠпÑĢевоÑģ Ñħодил +ĠпÑĢедан ноÑģÑĤÑĮ +ĠпÑĢедлож ениÑİ +ĠпÑĢедпоÑģ Ñĭлки +ĠпÑĢедÑģÑĤав ÑĮÑĤе +ĠпÑĢезенÑĤ аÑĨии +ĠпÑĢекÑĢаÑģ ного +ĠпÑĢеоблад аÑİÑĤ +ĠпÑĢиближ ение +ĠпÑĢиближ ении +ĠпÑĢизн аÑĤелÑĮн +ĠпÑĢиклÑİÑĩ ений +ĠпÑĢименÑı лиÑģÑĮ +ĠпÑĢиним аÑİÑĤÑģÑı +ĠпÑĢиобÑĢеÑĤ аÑĤÑĮ +ĠпÑĢовед еннÑĭÑħ +ĠпÑĢовод илаÑģÑĮ +ĠпÑĢовод иÑĤÑĮÑģÑı +ĠпÑĢодолж алÑģÑı +ĠпÑĢоизвод ÑģÑĤв +ĠпÑĢокÑĥÑĢ аÑĤÑĥÑĢа +ĠпÑĢолеÑĤаÑĢи аÑĤ +ĠпÑĢоÑĤивоÑĢеÑĩ а +ĠпÑģев донимом +ĠпÑģиÑħ иÑĩеÑģкой +ĠпÑģиÑħоÑĤеÑĢап и +ĠпÑĥбли коваÑĤÑĮ +ĠпÑĥÑĤеÑĪеÑģÑĤв ий +ĠÑĢазвед Ñĩиков +ĠÑĢазвив алаÑģÑĮ +ĠÑĢазв ивалиÑģÑĮ +ĠÑĢаздÑĢаж иÑĤел +ĠÑĢазмнож ениÑı +ĠÑĢазмÑĭÑĪ лений +ĠÑĢазÑĢабоÑĤ али +ĠÑĢазÑĢеÑĪ аеÑĤÑģÑı +ĠÑĢаÑģ ÑģÑĤÑĢелива +ĠÑĢаÑģÑģ Ñĥждений +ĠÑĢеализ ÑĥеÑĤÑģÑı +ĠÑĢекоменд ÑĥÑİÑĤ +ĠÑĢелигиоз нÑĭй +ĠÑĢеÑģпÑĥбли кан +ĠÑĢеÑģÑĤав ÑĢаÑĨии +ĠÑĢоÑģÑģий Ñģкими +ĠÑĢÑĥковод ÑģÑĤве +ĠÑģвÑıÑīен ников +ĠÑģекÑģÑĥ алÑĮнÑĭе +ĠÑģказ ÑĭваеÑĤÑģÑı +ĠÑģледов аÑĤелÑı +ĠÑģлед ÑģÑĤвенно +ĠÑģоблÑİд ением +ĠÑģовеÑĢÑĪ еннÑĭÑħ +ĠÑģовÑĢемен нÑĥÑİ +ĠÑģоглаÑģ илаÑģÑĮ +ĠÑģоздав алиÑģÑĮ +ĠÑģомн иÑĤелÑĮно +ĠÑģоÑģÑĤав ление +ĠÑģоÑģÑĤав лениÑı +ĠÑģоÑħÑĢан ÑıÑİÑĤÑģÑı +ĠÑģпеÑĨи алÑĮном +ĠÑģпоÑĢÑĤив ного +ĠÑģÑĤандаÑĢÑĤ ной +ĠÑģÑĤандаÑĢÑĤ нÑĭÑħ +ĠÑģÑĤаÑĢ аÑĤелÑĮно +ĠÑģÑĤолк нÑĥÑĤÑĮÑģÑı +ĠÑģÑĤоÑĢон ником +ĠÑģÑĤÑĢем иÑĤелÑĮн +ĠÑĤеаÑĤÑĢ алÑĮной +ĠÑĤеаÑĤÑĢ алÑĮнÑĭй +ĠÑĤеаÑĤÑĢ алÑĮнÑĭÑħ +ĠÑĤелевид ениÑİ +ĠÑĤем аÑĤиÑĩеÑģки +ĠÑĤÑĢанÑģли ÑĢова +ĠÑĤÑĢоп иÑĩеÑģкиÑħ +ĠÑĤÑĢÑĥд ноÑģÑĤÑıми +ĠÑĥвелиÑĩ илаÑģÑĮ +ĠÑĥвелиÑĩ илоÑģÑĮ +ĠÑĥдоÑģÑĤовеÑĢ ен +ĠÑĥниÑĩÑĤож ениÑİ +ĠÑĥпомина ÑİÑĤÑģÑı +ĠÑĥпÑĢавлÑı ÑİÑīий +ĠÑĥÑģилив аеÑĤÑģÑı +ĠÑĥÑģÑĤÑĢой ÑģÑĤвом +ĠÑĦедеÑĢ алÑĮной +ĠÑĦедеÑĢ алÑĮном +ĠÑĦедеÑĢ алÑĮнÑĭй +ĠÑĦилоÑģоÑĦ Ñģкие +ĠÑĦилоÑģоÑĦ Ñģкой +ĠÑĦиниÑĪи ÑĢовал +ĠÑĦоÑĢм иÑĢÑĥÑİÑĤÑģÑı +ĠÑĨелоÑģÑĤ ноÑģÑĤÑĮ +ĠÑĨенÑĤÑĢ алÑĮнаÑı +ĠÑĨенÑĤÑĢ алÑĮном +ĠÑĨенÑĤÑĢ алÑĮнÑĥÑİ +ĠÑĨенÑĤÑĢ алÑĮнÑĭм +ĠÑĨивилиз аÑĨий +ĠÑĩемпионаÑĤа Ñħ +ĠÑįкÑģплÑĥаÑĤ иÑĢÑĥ +ĠÑįлекÑĤÑĢон нÑĭе +ĠÑįлеменÑĤ аÑĢно +ĠÑįмигÑĢи ÑĢовал +ĠÑįмпиÑĢи ÑĩеÑģки +ĠÑİÑĢид иÑĩеÑģкий +ĠÑİÑĢид иÑĩеÑģким +ÐŁÑĢоÑĦеÑģÑģ ионал +амеÑĢикан ÑģкиÑħ +г оÑģÑĥдаÑĢÑģÑĤвен +диÑģÑĨип линаÑĢн +иденÑĤ иÑĦикаÑĨи +моÑĤоÑĢ изованн +неÑģ пÑĢаведлив +оÑĤвÑĢаÑĤ иÑĤелÑĮн +пÑĢомÑĭÑĪлен нÑĭй +ÑĢаÑģ пÑĢоÑģÑĤÑĢани +ÑģинÑĤакÑģ иÑĩеÑģк +Ñģлед ÑģÑĤвеннÑĭÑħ +ÑĨив илизованн +ĠÐIJмеÑĢикан Ñģкий +ĠÐijаÑĪкоÑĢÑĤ оÑģÑĤан +ĠÐijезопаÑģ ноÑģÑĤи +ĠÐijелоÑĢÑĥÑģ Ñģкого +ĠÐĴладимиÑĢ Ñģкой +ĠÐĶеÑıÑĤелÑĮ ноÑģÑĤÑĮ +ĠÐķдин ÑģÑĤвеннÑĭм +ĠÐĹдÑĢавÑģÑĤв ÑĥйÑĤе +ĠÐĺÑģ Ñģледование +ĠÐļонÑģÑĤан ÑĤинов +ĠÐĿаÑĨионалÑĮ наÑı +ĠÐŀÑĤноÑģ иÑĤелÑĮно +ĠÐŁÑĢавоÑģлав ной +ĠÐŁÑĢедÑģÑĤав лÑıеÑĤ +ĠÐłÑĥковод иÑĤелÑĮ +ĠавÑĤоби огÑĢаÑĦи +ĠаналиÑĤ иÑĩеÑģки +ĠбаÑģÑģей новомÑĥ +ĠбеÑģÑģ мÑĭÑģленнÑĭ +ĠболÑĮÑĪев иками +ĠвеÑĢоÑıÑĤ ноÑģÑĤÑĮÑİ +ĠвеÑĢÑĤикалÑĮ ной +ĠвзаимоÑģ вÑıзан +Ġводоизм еÑīени +ĠвозвÑĢаÑī алиÑģÑĮ +ĠвоÑģп оминание +ĠвоÑģпÑĢиним аем +ĠвоÑģпÑĢоизвод и +ĠвÑģевозмож нÑĭÑħ +ĠгÑĥбеÑĢнаÑĤоÑĢ ом +ĠдейÑģÑĤв ÑĥÑİÑīего +ĠдемонÑģÑĤÑĢа ÑĨиÑı +ĠдиÑģÑĤан ÑĨионно +Ġдл иÑĤелÑĮноÑģÑĤÑĮ +ĠдобÑĢоволÑĮ ÑĨев +ĠеÑģÑĤеÑģÑĤвен нÑĭе +Ġза ÑĢабаÑĤÑĭваÑĤÑĮ +ĠзаÑħваÑĤ Ñĩиками +Ġземлевлад елÑĮ +ĠиденÑĤ иÑĩноÑģÑĤи +ĠизбиÑĢ аÑĤелÑĮно +ĠиндивидÑĥ ализ +ĠиноÑģÑĤÑĢ аннÑĭми +ĠинÑĦоÑĢм иÑĢован +ĠиÑģкÑĥÑģÑģÑĤв овед +ĠиÑģÑĩез новение +ĠиÑģÑĩез новениÑı +ĠклаÑģÑģ иÑĩеÑģкий +ĠклаÑģÑģ иÑĩеÑģким +ĠклаÑģÑģ иÑĩеÑģкиÑħ +Ġколлек ÑĨионеÑĢ +ĠкоммеÑĢ ÑĩеÑģкой +ĠкомпозиÑĤ оÑĢов +ĠконÑģÑĤÑĢÑĥ иÑĢова +ĠконÑģÑĥлÑĮÑĤ аÑĨии +ĠкоÑĢолев Ñģкого +ĠкÑĢаÑģно аÑĢмейÑĨ +ĠкÑĢеÑģÑĤÑĮÑıн ÑģÑĤва +ĠлиÑĤеÑĢаÑĤÑĥÑĢ ном +ĠнаблÑİд аÑĤелей +Ġнаимен ованиÑı +ĠнапÑĢав лением +ĠнаÑģилÑĮ ÑģÑĤвенн +ĠнаÑħод ивÑĪиеÑģÑı +ĠнаÑħод ивÑĪийÑģÑı +ĠнаÑħод ÑıÑīегоÑģÑı +ĠнаÑĨионалÑĮ ное +Ġнедвиж имоÑģÑĤÑĮ +ĠнедоÑģÑĤаÑĤоÑĩ нÑĭ +ĠнезавиÑģим ого +ĠнеизвеÑģÑĤ ного +ĠнепÑĢиÑıÑĤ ноÑģÑĤи +Ġоб ÑĢабаÑĤÑĭваÑĤÑĮ +ĠобÑĢаз овалаÑģÑĮ +ĠобÑģеÑĢв аÑĤоÑĢии +Ġоб ÑģледованиÑı +ĠобÑīеÑģÑĤвен наÑı +ĠобÑīеÑģÑĤвен нÑĥÑİ +ĠогÑĢаниÑĩен ной +ĠогÑĢаниÑĩен нÑĭм +ĠодноÑģÑĤ оÑĢонне +ĠопÑĢедел еннаÑı +ĠопÑĢеделÑijн ной +ĠопÑĢедел ÑijннÑĭÑħ +ĠоÑĢганиз овали +ĠоÑĢигина лÑĮной +ĠоÑĢигина лÑĮнÑĭй +ĠоÑģвобод иÑĤÑĮÑģÑı +ĠоÑģнов ÑĭваеÑĤÑģÑı +ĠоÑģÑĤанов илаÑģÑĮ +ĠоÑģÑĤоÑĢож ноÑģÑĤÑĮ +ĠоÑģÑĥÑīеÑģÑĤв лÑıем +ĠоÑģÑĥÑīеÑģÑĤв лÑıÑİÑĤ +ĠоÑĤвеÑĤ ÑģÑĤвенно +ĠоÑĤказ ÑĭваÑĤÑĮÑģÑı +ĠоÑĤпÑĢавлÑı ÑİÑĤÑģÑı +ĠпеÑĢÑģоналÑĮ нÑĭÑħ +ĠпиÑģÑĮмен ноÑģÑĤи +ĠпланиÑĢов ание +ĠповоÑĢ аÑĩиваеÑĤ +ĠподвеÑĢг алиÑģÑĮ +ĠподвеÑĢг аÑİÑĤÑģÑı +ĠподÑĢоб ноÑģÑĤей +Ġпозвоно Ñĩника +ĠполиÑĨей Ñģкого +ĠполномоÑĩ иÑıми +Ġпонадоб илоÑģÑĮ +ĠпоÑģÑĤавлен ной +ĠпоÑģÑĤавлен нÑĭÑħ +ĠпÑĢав доподобн +ĠпÑĢавиÑĤелÑĮ ÑģÑĤв +ĠпÑĢевÑĢаÑĤ иÑĤÑĮÑģÑı +ĠпÑĢевÑĢаÑī аÑİÑĤÑģÑı +ĠпÑĢедоÑĤ вÑĢаÑīен +ĠпÑĢедполаг аÑĤÑĮ +ĠпÑĢедÑģказ аниÑı +ĠпÑĢедÑĥпÑĢеж дал +ĠпÑĢедÑĥп ÑĢежден +ĠпÑĢеодолев аÑĤÑĮ +ĠпÑĢеподав аниÑı +ĠпÑĢепÑıÑĤ ÑģÑĤвÑĥеÑĤ +ĠпÑĢеÑģлед оваÑĤÑĮ +ĠпÑĢеÑģÑĤÑĥп ноÑģÑĤи +ĠпÑĢиваÑĤ изаÑĨии +ĠпÑĢинадлеж ало +ĠпÑĢогÑĢеÑģÑģ ивно +ĠпÑĢодолж аÑĤÑĮÑģÑı +ĠпÑĢодолж ением +ĠпÑĢомÑĭÑĪлен нÑĭе +ĠпÑĢониÑĨ аÑĤелÑĮн +ĠпÑĢоÑĦил акÑĤики +ĠÑĢабоÑĤ одаÑĤелÑı +ĠÑĢадио акÑĤивно +ĠÑĢаздÑĢаж иÑĤелÑĮ +ĠÑĢазнообÑĢаз но +ĠÑĢаÑģпоÑĢÑıд илÑģÑı +ĠÑĢаÑģпоÑĢÑıж ениÑİ +ĠÑĢаÑģÑģмоÑĤÑĢ ениÑİ +ĠÑĢаÑģÑģÑĤÑĢой ÑģÑĤво +ĠÑĢаÑģÑģÑĩиÑĤ ÑĭваеÑĤ +ĠÑĢеабил иÑĤаÑĨии +ĠÑĢегионалÑĮ ной +ĠÑĢекоменд аÑĨий +ĠÑĢекоменд аÑĨиÑı +ĠÑĢекоменд ован +ĠÑģвоеобÑĢаз нÑĭм +ĠÑģовеÑĢÑĪен ÑģÑĤвÑĥ +ĠÑģовÑĢемен нÑĭми +ĠÑģоедин иÑĤелÑĮн +ĠÑģопеÑĢ ниÑĩеÑģÑĤв +ĠÑģопÑĢов ождаÑĤÑĮ +ĠÑģоÑģÑĤавлÑı ÑİÑīей +ĠÑģоÑĤÑĢÑĥдниÑĩ аÑĤÑĮ +ĠÑģпеÑĨиализ иÑĢÑĥ +ĠÑģпеÑĨи алÑĮнÑĭми +ĠÑģпоÑģобÑģÑĤв ÑĥÑİÑī +ĠÑģÑĤаб илизаÑĨии +ĠÑģÑĤабилÑĮ ноÑģÑĤÑĮ +ĠÑģÑĤалкив аеÑĤÑģÑı +ĠÑģÑĤал киваÑİÑĤÑģÑı +ĠÑģÑĤолкнов ений +ĠÑģÑĤоÑĢон никами +ĠÑģÑĥÑīеÑģÑĤв еннÑĭм +ĠÑģÑĥÑīеÑģÑĤв ÑĥÑİÑīей +ĠÑģÑĥÑīеÑģÑĤв ÑĥÑİÑīим +ĠÑĤеаÑĤÑĢ алÑĮного +ĠÑĤемпеÑĢаÑĤÑĥÑĢ ой +ĠÑĤеÑĢмин ологии +ĠÑĤÑĢадиÑĨион нÑĭй +ĠÑĤÑĢанÑģпоÑĢÑĤ ной +ĠÑĤÑĢанÑģпоÑĢÑĤ нÑĭе +ĠÑĤÑĢеб оваÑĤелÑĮн +ĠÑĥпÑĢавлÑı ÑİÑīего +ĠÑĥÑģÑĤанов лении +ĠÑĥÑĤвеÑĢжд аеÑĤÑģÑı +ĠÑĦоÑĢм иÑĢованиÑİ +ĠÑĩеловеÑĩеÑģ кÑĥÑİ +ĠÑĩеловеÑĩ еÑģÑĤвÑĥ +ĠÑįлеменÑĤ аÑĢнÑĭÑħ +ĠÑįÑĦÑĦекÑĤив ного +ÐĶалÑĮ невоÑģÑĤоÑĩн +беÑģÑģозн аÑĤелÑĮн +коммÑĥник аÑĤивн +полÑĮзов авÑĪиÑģÑĮ +ÑĢеволÑİÑĨион ной +ÑĢеволÑİÑĨион нÑĭе +ÑĢеволÑİÑĨион нÑĭй +ÑħÑĢон ологиÑĩеÑģк +ĠÐIJлекÑģандÑĢов на +ĠÐIJÑĢÑħангелÑĮ Ñģкой +ĠÐĴÑģеÑĢоÑģÑģий Ñģкой +ĠÐĺÑģ ÑģледоваÑĤели +ĠÐļÑĢаÑģнозн амÑijнн +ĠÐĿижегоÑĢод Ñģкой +ĠÐŁÑĢимеÑĩ аÑĤелÑĮно +ĠЧеÑĢномоÑĢ Ñģкого +ĠавÑĤомобилÑĮ ной +ĠавÑĤоÑĤ ÑĢанÑģпоÑĢÑĤ +ĠамеÑĢикан Ñģкими +Ġанализ иÑĢоваÑĤÑĮ +ĠбеÑģконеÑĩ ноÑģÑĤи +Ġбиолог иÑĩеÑģкой +ĠблагодаÑĢ ноÑģÑĤи +ĠблагоÑģлов ение +ĠболÑĮÑĪев иÑģÑĤÑģко +Ġвозникнов ении +Ġвозникнов ениÑİ +ĠвоÑģпÑĢоизвод иÑĤ +ĠгеополиÑĤ иÑĩеÑģк +Ġдем огÑĢаÑĦиÑĩеÑģк +ĠдемонÑģÑĤÑĢи ÑĢÑĥÑİÑĤ +ĠдиÑĦÑĦеÑĢенÑĨи аÑĨи +ĠдобÑĢожел аÑĤелÑĮ +ĠдобÑĢоÑģов еÑģÑĤно +ĠдоÑģÑĤовеÑĢ ноÑģÑĤÑĮ +Ġзадолж енноÑģÑĤи +ĠзаÑĦикÑģиÑĢован о +ĠзнаÑĩиÑĤелÑĮ ного +ĠиденÑĤ иÑĦикаÑĤоÑĢ +ĠиденÑĤ иÑĦикаÑĨии +ĠизбиÑĢ аÑĤелÑĮной +ĠиндÑĥÑģÑĤÑĢи алÑĮно +ĠинÑĤеÑĢеÑģов алÑģÑı +ĠиÑģкÑĥÑģ ÑģÑĤвеннÑĭÑħ +ĠклаÑģÑģ иÑĦикаÑĨиÑı +ĠколиÑĩ еÑģÑĤвенно +ĠлекаÑĢ ÑģÑĤвеннÑĭÑħ +Ġликвид иÑĢоваÑĤÑĮ +ĠмеждÑĥнаÑĢод наÑı +ĠмеÑĤаллиÑĩеÑģ кие +ĠмеÑĤаллиÑĩеÑģ киÑħ +ĠмеÑĤÑĢополиÑĤ ена +ĠмиÑĢовоз зÑĢение +ĠмиÑĢовоз зÑĢениÑı +Ġмодели ÑĢованиÑı +ĠнаÑģилÑĮ ÑģÑĤвенно +ĠнаÑģлед ÑģÑĤвенно +ĠнаÑģÑĩиÑĤ ÑĭваеÑĤÑģÑı +ĠнеопÑĢедел енно +ĠнÑĢав ÑģÑĤвенного +ĠобоÑĢÑĥд ованием +ĠоконÑĩ аÑĤелÑĮнÑĭй +ĠоÑģÑĥÑīеÑģÑĤв лении +ĠоÑĤвеÑĤÑģÑĤвен нÑĭм +ĠоÑĤÑĢиÑĨ аÑĤелÑĮнÑĭе +ĠпаÑĢламенÑĤ ÑģкиÑħ +ĠпеÑĢпенди кÑĥлÑıÑĢ +ĠподозÑĢ иÑĤелÑĮно +Ġпознаком илиÑģÑĮ +Ġполож иÑĤелÑĮнÑĭм +Ġполож иÑĤелÑĮнÑĭÑħ +ĠпоÑģледÑģÑĤвиÑı ми +ĠпоÑģÑĢед ниÑĩеÑģÑĤв +ĠпÑĢак ÑĤиÑĩеÑģкого +ĠпÑĢедназнаÑĩ енÑĭ +ĠпÑĢедоÑģÑĤав лÑıÑĤÑĮ +ĠпÑĢедоÑģÑĤав лÑıÑİÑĤ +ĠпÑĢедÑĪеÑģÑĤв овал +ĠпÑĢеÑģлед ование +ĠпÑĢинадлеж аÑīиÑħ +ĠпÑĢоизвод иÑĤели +ĠпÑĢоник новениÑı +ĠпÑĢÑıмо ÑĥголÑĮник +ĠпÑģиÑħоÑĤеÑĢап евÑĤ +ĠÑĢазÑĢабаÑĤ ÑĭваÑĤÑĮ +ĠÑĢазÑĢабоÑĤÑĩик ам +ĠÑĢаÑģполож еннаÑı +ĠÑĢаÑģположен ном +ĠÑĢаÑģпÑĢоÑģÑĤÑĢани л +ĠÑĢаÑģÑģмаÑĤÑĢ иваÑİÑĤ +ĠÑĢегÑĥлиÑĢов ание +ĠÑĢекон ÑģÑĤÑĢÑĥкÑĨиÑı +ĠÑĢеоÑĢганиз аÑĨии +ĠÑģлов оÑģоÑĩеÑĤани +ĠÑģниÑģÑħод иÑĤелÑĮн +ĠÑģопÑĢов ождениÑı +ĠÑģоÑģÑĢедоÑĤоÑĩ ива +ĠÑģпÑĢо екÑĤиÑĢован +ĠÑģÑĢедневек овÑĭÑħ +ĠÑģÑĤиÑħоÑĤвоÑĢ ении +ĠÑģÑĥÑīеÑģÑĤв ованиÑİ +ĠÑģÑĥÑīеÑģÑĤв ÑĥÑİÑīего +ĠÑģÑĦоÑĢмÑĥли ÑĢовал +ĠÑĤеоÑĢеÑĤ иÑĩеÑģкиÑħ +ĠÑĤеÑĢапев ÑĤиÑĩеÑģк +ĠÑĤÑĢадиÑĨион ного +ĠÑĤÑĢанÑģÑĦоÑĢм аÑĤоÑĢ +ĠÑĤÑĢанÑģÑĦоÑĢм аÑĨии +ĠÑĥдив иÑĤелÑĮного +ĠÑĥÑģÑĤанавлива ÑİÑĤ +ĠÑĥÑģÑĤановлен ной +ĠÑĦÑĥнкÑĨион иÑĢÑĥеÑĤ +ĠÑħозÑıй ÑģÑĤвеннÑĭÑħ +ĠÑħÑĥдож еÑģÑĤвенно +ĠÑįконом иÑĩеÑģкое +ĠÑįконом иÑĩеÑģкÑĥÑİ +ĠÑįкÑģплÑĥаÑĤ иÑĢова +ĠÑįлекÑĤÑĢи ÑĩеÑģкие +ĠÑįлекÑĤÑĢи ÑĩеÑģкий +ĠÑįлекÑĤÑĢи ÑĩеÑģÑĤва +ĠÑįмоÑĨионалÑĮ ной +квалиÑĦика ÑĨионн +Ñįконом иÑĩеÑģкого +ĠÐĶнепÑĢоп еÑĤÑĢовÑģк +ĠÐĺмпеÑĢаÑĤоÑĢ Ñģкого +ĠÐŁÐ¾ÑģÑĤанов лением +ĠаÑĢÑĤиллеÑĢ ийÑģкий +ĠаÑĢÑĤиллеÑĢ ийÑģкой +ĠвоÑģполÑĮзов алÑģÑı +ĠвоÑģÑģÑĤанов лении +ĠвоÑģÑģÑĤанов лениÑİ +ĠгеогÑĢаÑĦ иÑĩеÑģкиÑħ +ĠдиÑĦÑĦеÑĢенÑĨи алÑĮн +ĠдоговоÑĢ енноÑģÑĤи +ĠдополниÑĤелÑĮ нÑĥÑİ +ĠзаинÑĤеÑĢеÑģован Ñĭ +Ġзаконод аÑĤелÑĮно +ĠимпеÑĢаÑĤоÑĢ Ñģкого +ĠиндивидÑĥ алÑĮнÑĭм +ĠиÑģполÑĮзов алоÑģÑĮ +ĠиÑģÑĤÑĢеб иÑĤелÑĮной +ĠмаÑĤемаÑĤ иÑĩеÑģкой +ĠмаÑĪиноÑģÑĤÑĢо ениÑı +ĠмодеÑĢниз иÑĢован +ĠнапÑĢавлен ноÑģÑĤи +ĠнапÑĢавлен ноÑģÑĤÑĮ +ĠнÑĢав ÑģÑĤвенноÑģÑĤи +ĠобеÑģпеÑĩ иваеÑĤÑģÑı +ĠоконÑĩ аÑĤелÑĮного +ĠоÑģÑĥÑīеÑģÑĤв лÑıÑİÑĤÑģÑı +ĠподдеÑĢж иваеÑĤÑģÑı +ĠпÑĢав онаÑĢÑĥÑĪениÑı +ĠпÑĢедоÑģÑĤав лении +ĠпÑĢедÑģÑĤав иÑĤелÑıм +ĠпÑĢеобÑĢаз ований +ĠпÑĢидеÑĢж иваÑĤÑĮÑģÑı +ĠпÑĢиÑģÑĥÑĤÑģÑĤв ÑĥÑİÑīиÑħ +ĠпÑĢоекÑĤиÑĢов ание +ĠпÑĢоÑĤивоÑģÑĤоÑı ние +ĠпÑĢоÑĤивоÑģÑĤоÑı ниÑı +ĠÑĢаÑģполож енного +ĠÑĢаÑģÑģказ ÑĭваеÑĤÑģÑı +ĠÑĢаÑģÑĤ иÑĤелÑĮноÑģÑĤÑĮ +ĠÑģобÑģÑĤвен ноÑģÑĤÑĮÑİ +ĠÑģоÑĤÑĢÑĥдниÑĩ еÑģÑĤвÑĥ +ĠÑģÑĦоÑĢм ÑĥлиÑĢоваÑĤÑĮ +ĠÑĥÑģÑĤановлен ного +ĠÑĦÑĥндаменÑĤ алÑĮно +ĠÑħÑĥдожеÑģÑĤвен ное +ĠÑħÑĥдожеÑģÑĤвен нÑĭе +ĠÑħÑĥдожеÑģÑĤвен нÑĭм +извод иÑĤелÑĮноÑģÑĤÑĮ +маÑĤемаÑĤ иÑĩеÑģкого +ÑĤеÑĢÑĢиÑĤоÑĢи алÑĮной +ĠÐIJзеÑĢбайджан Ñģкой +ĠÐĵлав нокомандÑĥÑİÑī +ĠÐĶемокÑĢаÑĤ иÑĩеÑģкой +ĠÐļонÑģÑĤанÑĤин ополе +ĠавÑĤомаÑĤ иÑĩеÑģкого +ĠдипломаÑĤ иÑĩеÑģкие +ĠдипломаÑĤ иÑĩеÑģкиÑħ +Ġдоказ аÑĤелÑĮÑģÑĤвом +ĠинÑĦоÑĢмаÑĨион ного +ĠиÑģполн иÑĤелÑĮного +ĠкаÑĤаÑģÑĤÑĢоÑĦ иÑĩеÑģки +ĠмаÑĪино ÑģÑĤÑĢоиÑĤелÑĮ +Ġналогооб ложениÑı +ĠнедоÑģÑĤаÑĤоÑĩ ноÑģÑĤи +ĠнедоÑģÑĤаÑĤоÑĩ ноÑģÑĤÑĮ +Ġнезамедл иÑĤелÑĮно +ĠоÑĢиенÑĤ иÑĢоваÑĤÑĮÑģÑı +ĠоÑģÑĤанавлив аÑĤÑĮÑģÑı +Ġпедагог иÑĩеÑģкого +ĠпеÑĢвонаÑĩ алÑĮного +ĠпокÑĢов иÑĤелÑĮÑģÑĤво +ĠпÑĢедваÑĢ иÑĤелÑĮной +ĠпÑĢедваÑĢ иÑĤелÑĮнÑĭм +ĠпÑĢедназнаÑĩ еннÑĭе +ĠпÑĢедназнаÑĩ еннÑĭÑħ +ĠпÑĢедоÑģÑĤав лÑıеÑĤÑģÑı +ĠпÑĢедÑģед аÑĤелÑĮÑģÑĤв +ĠпÑĢивилег иÑĢованн +ĠпÑĢоÑĤиводейÑģÑĤв иÑı +ĠпÑĢоÑĤивополож ной +ĠпÑĢоÑĤивополож ном +ĠпÑĢоÑĤивополож нÑĭÑħ +ĠпÑģиÑħолог иÑĩеÑģкие +ĠпÑģиÑħолог иÑĩеÑģкий +ĠÑĢазведÑĭв аÑĤелÑĮно +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан ениÑİ +ĠÑģоÑģÑĢедоÑĤоÑĩ иÑĤÑĮÑģÑı +ĠÑģÑĤÑĢаÑĤег иÑĩеÑģкого +ĠÑĤеÑħнолог иÑĩеÑģкиÑħ +ĠÑĥдовлеÑĤвоÑĢ иÑĤелÑĮ +ĠÑĦÑĥндаменÑĤ алÑĮнÑĭÑħ +ĠÑĨеленапÑĢав ленно +ĠÑĨенÑĤÑĢа лизованно +гоÑģÑĥдаÑĢÑģÑĤвен нÑĭми +демокÑĢаÑĤ иÑĩеÑģкого +конкÑĥÑĢенÑĤ оÑģпоÑģоб +непоÑģÑĢед ÑģÑĤвеннÑĭм +овеÑĢÑĪенÑģÑĤв ование +одоÑħозÑıй ÑģÑĤвеннÑĭй +оммÑĥниÑģÑĤ иÑĩеÑģкого +пÑĢедÑĪ еÑģÑĤвенников +пÑĢоанализ иÑĢоваÑĤÑĮ +пÑĢоизвод ÑģÑĤвенной +пÑĢоизвод ÑģÑĤвеннÑĭе +пÑĢоÑĦеÑģÑģионалÑĮ нÑĥÑİ +пÑĢоÑĦеÑģÑģионалÑĮ нÑĭм +ÑĢаÑģпÑĢоÑģÑĤÑĢан ÑıÑĤÑĮÑģÑı +ÑĢаÑģпÑĢоÑģÑĤÑĢан ÑıÑİÑĤÑģÑı +ÑģовеÑĢÑĪ еннолеÑĤниÑħ +ÑģооÑĤвеÑĤÑģÑĤв ÑĥÑİÑīими +ÑģÑģледоваÑĤелÑĮ Ñģкий +ÑģÑģледоваÑĤелÑĮ ÑģкиÑħ +ÑĤеÑĢÑĢиÑĤоÑĢи алÑĮного +ÑĥдовлеÑĤвоÑĢ иÑĤелÑĮн +ÑĩÑĥвÑģÑĤв иÑĤелÑĮноÑģÑĤи +ĠÑ ij +Ìģ г +Ìģ ÑĪ +ÐIJ п +Ðij Ðļ +ÐĴ Ðļ +ÐĴ Ф +ÐĶ Ðĸ +Ðĺ ÑĢ +Ðļ Ðķ +Ðļ в +Ðľ Ðij +Ðľ ÐĹ +Ðľ Ðľ +ÐĿ Ц +Ðŀ Ф +ÐŁ Ðľ +ÐŁ Ч +ÐŁ л +Ðł ÐĽ +Ðł Ю +С ÐĹ +Т ÐĹ +Т Ðľ +У У +У Ч +У д +Ч Ðļ +ÐŃ Ð¦ +Ю Ðł +Ю Т +Ю ÑĢ +б Ñī +й ÑĨ +к м +л н +м г +м Ñģ +м Ñĩ +ÑĢ ÑĪ +Ñį б +Ñİ Ñĩ +Ñı Ñİ +D OS +V II +X II +X IX +X VI +b ou +g ul +h ik +h le +h ut +ib b +k ka +z zi +ĠÐĴ ÐĽ +ĠÐĵ Ñİ +ĠÐļ Ðŀ +ĠÐļ в +ĠÐļ Ñģ +ĠÐľ Ð¥ +ĠС н +ĠС ÑĬ +ĠФ Ðĺ +ĠЦ з +ĠЦ Ñİ +Ġа Ñĥ +Ġв л +Ġе з +Ġж г +Ġж д +Ġж Ñĥ +Ġз м +Ġи в +Ġм и +Ġн Ñĭ +Ġо л +Ġп Ñİ +ĠÑģ ÑĦ +ĠÑĪ и +ĠÑį з +ĠÑı б +ĠÑı Ñĩ +ĠÑı Ñī +ĠÑij м +Ìģ ÑģÑĮ +ÐIJ ÐľÐĺ +ÐIJÐĿ ÐĶ +ÐIJÐł Ðļ +ÐIJÐł Т +Ðij ÐŀÐł +Ðij ав +Ðij иÑģ +ÐĴ ÐķÐĶ +ÐĴÐŀ ÐĶ +ÐĴ ан +ÐĴ ег +ÐĴ еÑģ +ÐĴ ик +ÐĴ ой +ÐĵÐŀ ÐĽ +ÐĶ ÐķÐĿ +ÐĶ ÐķÐł +ÐĶ ÐĺÐĿ +ÐĶ ал +ÐĶ аÑĢ +ÐĶ иÑĢ +ÐĶ об +ÐĶ ок +Ðķ ÐĴÐIJ +Ðķ ÐļТ +Ðķ СС +Ðķ ÑģÑĤ +Ðķ Ñīе +Ðĸ ел +Ðĸ еÑĢ +Ðĸ из +Ðĸ ÑĥÑĢ +ÐĹ ÐłÐļ +ÐĹ Ð°Ð¼ +ÐĹ Ð°Ñĩ +ÐĹ ÐµÐ¼ +ÐĹ ÐµÑĢ +ÐĺÐĶ Ðķ +ÐĺÐĹ Ðľ +Ðĺ ÐľÐŀ +Ðĺ ЧÐķ +Ðĺн ÑĤ +Ðĺ Ñģк +Ðĺ Ñģп +ÐļÐIJ ÐĹ +Ðļ ÐĺÐĿ +Ðļ ÐłÐIJ +ÐļС Ðľ +Ðļ иÑĢ +Ðļ ÑĢÑĭ +ÐĽÐķ Ðļ +ÐĽ ÐķТ +ÐĽ ÐĺТ +ÐĽ еÑĤ +Ðľ ÐIJТ +Ðľ ÐķТ +ÐľÐĺ ÐĿ +ÐľÐĺ Ðł +Ðľ аÑı +Ðľ ог +Ðľ Ñĥж +Ðľ ÑĥÑĢ +ÐĿ ÐķТ +Ðŀ ÐijÐł +ÐŀÐł Т +Ðŀб Ñī +ÐŀÑĢ л +ÐŁ ÐIJС +ÐŁ ÐĺС +ÐŁ аÑĤ +ÐŁÐ¾ Ñį +ÐłÐIJ Ðij +Ðł ÐIJТ +Ðł ÐķÐĿ +ÐłÐķ Т +Ðł ÐĺТ +ÐłÐŀ Ðľ +Ðł ÐŀÐĿ +ÐłÐ£ С +Ðł ен +Ðł оз +Ðł ом +Ðł Ñĥб +СÐļ Ðĺ +СТ ÐĴ +С ад +С ев +С ки +С ÑĤа +С ÑĤи +С Ñĥб +С Ñĭн +ТÐIJ Т +Т ÐķÐĽ +ТÐŀ ÐĽ +Т ÐłÐIJ +Т ÐłÐĺ +ТУ Ðł +Т иÑħ +Т ÑĢо +Т Ñıж +У кÑĢ +У ни +Ф ÑĥÑĤ +Ð¥ ÐŀÐĶ +Ð¥ ол +Ð¥ ÑĮÑİ +Ч ел +Ч ÑijÑĢ +ÐŃ ÐºÐ¾ +ÐŃ Ð½Ð´ +ÐŃ ÑĤа +ÐŃ ÑĤи +ÐŃ Ñħо +ав з +ад о +ай о +ак ÑĢ +ал к +ал Ñĥ +ан Ñħ +ан Ñı +аÑĢ г +аÑĢ ÑĢ +аÑĤ Ñĥ +а ÑĥÑĢ +аÑĩ ÑĮ +а ÑijÑĤ +г ег +го ÑĦ +да Ñħ +д еп +д зе +ди о +д нÑĭ +ев е +ев н +ед ÑĢ +ей ÑĤ +ек е +ек к +е оÑĢ +еÑģ л +еÑħ ÑĤ +ж ел +ж Ñįн +ж Ñijл +з ап +з ва +зе ÑĦ +ив и +ив к +ид ÑĢ +и еÑĢ +из и +ий н +им Ñĭ +иÑĨ к +иÑĨ ÑĨ +иÑĩ к +иÑĪ к +иÑī Ñĥ +й Ñģк +к еп +к еÑģ +ки ÑĪ +л оÑģ +лÑİ Ñī +лÑij й +лÑij к +м аж +на е +н еб +ни ÑĢ +н ол +н ÑĥÑģ +об Ñģ +ов к +ов Ñı +ог и +ое ÑĨ +ож и +ой л +ок и +ок к +ол д +ом и +оп л +оÑĢ ÑĢ +оÑī ÑĢ +п Ñĥз +п ÑĭÑĤ +ÑĢа Ñı +ÑĢе и +ÑĢ еÑĢ +ÑĢÑĭ б +ÑĢÑı ж +ÑĢÑı Ñħ +ÑĢÑı Ñī +Ñģ аÑħ +Ñģ ий +Ñģ иÑĦ +Ñģ ÑĥÑĪ +ÑģÑĭ ÑĢ +ÑģÑı г +ÑģÑı ÑĨ +ÑĤи з +ÑĤи ÑĨ +ÑĤÑĭ ÑĪ +ÑĤÑĮ Ñı +Ñĥв ÑĢ +Ñĥд Ñĭ +Ñĥ ил +Ñĥл к +Ñĥм и +Ñĥн н +Ñĥп к +Ñĥп н +ÑĥÑĢ к +Ñĥ Ñģл +ÑĥÑĪ н +ÑĥÑī и +ÑĦ ол +ÑĦÑĦ е +Ñħ ÑįÑĤ +ÑĨ ан +ÑĨ аÑĤ +ÑĨи ÑĢ +ÑĨ оÑĢ +Ñĩ ег +Ñĩ иÑĨ +Ñĩ иÑĩ +Ñĩ Ñĩо +ÑĪи з +ÑĪи п +ÑĪи ÑĦ +ÑĪ оÑĤ +Ñī ÑĥÑĢ +ÑīÑij в +ÑĬ Ñİн +Ñĭв ÑĪ +Ñĭ гÑĢ +Ñĭж н +Ñĭ ма +Ñĭ Ñģи +ÑĭÑĩ к +ÑĮ Ñijв +Ñį ли +Ñįн ÑĤ +Ñį Ñģк +Ñį ÑĤи +Ñİ Ð¼Ðµ +Ñİм к +Ñİ ÑĪн +ÑİÑī и +Ñı бл +Ñıв Ñĥ +Ñı гÑĥ +Ñıд н +Ñıз к +Ñıз ÑĮ +Ñijв ÑĢ +Ñij кÑĥ +Ñij лÑĮ +Ñijн к +ÑijÑĤ к +ĠE pi +Ġf li +Ġph r +A IDS +C ycl +V III +X III +ab ba +anc i +a unt +bit r +cc um +ch el +d ell +e ira +g gle +gr in +g ust +h orr +k ara +l air +lim b +p lic +pp en +sp or +str u +sy nd +u ery +w itt +ĠÐIJ пп +ĠÐij ÐľÐŁ +ĠÐij Ð¢Ðł +ĠÐij ав +ĠÐij иб +ĠÐij лÑİ +ĠÐijÑĢ Ñį +ĠÐijÑĥ Ñį +ĠÐĴ ÐĺЧ +ĠÐĴ ЧÐļ +ĠÐĴ ав +ĠÐĴ аж +ĠÐĴ еб +ĠÐĴ ей +ĠÐĵ ÐIJÐĹ +ĠÐĵ ÐłÐ£ +ĠÐĵ аÑĤ +ĠÐĵ еб +ĠÐĵ ип +ĠÐĵ оÑĦ +ĠÐĵ ÑĥÑĤ +ĠÐķÑĢ м +ĠÐĸ иÑĤ +ĠÐĸ ол +ĠÐĸ оÑĢ +ĠÐĸ Ñĥк +ĠÐĹ Ð°Ð² +ĠÐĺз м +ĠÐĺз Ñı +ĠÐĺ Ñģл +ĠÐĻ ен +ĠÐļ ÐIJÐļ +ĠÐļ аÑĦ +ĠÐļ иÑģ +ĠÐļ иÑħ +ĠÐļ иÑĪ +ĠÐļ Ñĥв +ĠÐļ ÑįÑĢ +ĠÐĽ ÐĿÐł +ĠÐĽ аб +ĠÐĽ еж +ĠÐĽ иб +ĠÐĽÑĮ в +ĠÐľ ÐĴФ +ĠÐľ ÐĵÑĨ +ĠÐľ еÑĪ +ĠÐĿ ÐĶС +ĠÐĿ ТÐĴ +ĠÐĿ об +ĠÐŀ УÐĿ +ĠÐŀл д +ĠÐŀ ли +ĠÐŀÑĤ ÑĤ +ĠÐŁ аб +ĠÐŁ еÑĪ +ĠÐł ÐijÐļ +ĠÐł ÐŁÐ¦ +ĠÐł ек +ĠÐł еÑĢ +ĠÐł еÑĨ +ĠÐł иÑĪ +ĠÐł ол +ĠС еб +ĠС од +ĠС ом +ĠС оп +ĠС ÑĥÑħ +ĠТ ÐŃЦ +ĠТ ав +ĠТ оÑĩ +ĠТ Ñĥл +ĠТ ÑĥÑħ +ĠУ ÐŁÐļ +ĠУ ÑģÑĤ +ĠФ ад +ĠФ ол +ĠÐ¥ ад +ĠÐ¥ ел +ĠÐ¥ ин +ĠÐ¥ он +ĠÐ¥ Ñįм +ĠЧ ТÐŀ +ĠЧ еб +ĠЧ еÑĪ +ĠЧ иÑĢ +ĠЧ иÑĤ +ĠЧ ка +ĠЧ Ñĥб +ĠЧ Ñĥв +ĠШ еÑĦ +ĠШ ип +ĠШ он +ĠШ оп +ĠШ пи +ĠШ Ñĥв +ĠШ ÑĥÑĤ +ĠÐŃ Ð¢Ðŀ +ĠÐŃ ÐºÐ² +ĠÐŃ Ñģк +ĠÐŃÑĤ н +ĠЮ ÑģÑĤ +ĠЯ йÑĨ +ĠЯ кÑĥ +ĠЯн г +Ġаб б +Ġак в +Ġак Ñģ +Ġал л +Ġал ÑĤ +Ġал Ñĩ +Ġан н +Ġан ÑĤ +Ġа ÑĥÑĤ +Ġб ам +Ġб об +Ġв иб +Ġв иÑħ +Ġв ож +ĠвÑĭ м +Ġг еп +Ġг ÑĥÑī +Ġд еÑģ +Ġд ик +Ġд он +Ġе ÑĢÑĥ +Ġз аж +Ġз ом +Ġз Ñĥд +Ġз Ñĭб +Ġиз в +Ġи ни +Ġй од +Ġк ло +Ġл из +Ġл иÑģ +Ġл оÑħ +Ġл оÑı +Ġл Ñĥг +Ġм еÑĨ +Ġм им +Ġм км +Ġм ÑĥÑĪ +Ġн аж +Ġн ай +Ġо аз +Ġоп л +ĠоÑĢ ÑĦ +Ġп еп +Ġпо ÑĨ +Ġп ÑĮÑı +ĠÑĢ Ñĥл +ĠÑĢ Ñįп +ĠÑģ аÑĢ +ĠÑģ бÑĭ +ĠÑģ иÑı +ĠÑģо ÑĪ +ĠÑģп л +ĠÑģÑĤ в +ĠÑģ Ñĥв +ĠÑģ Ñĭв +ĠÑĤ еÑģ +ĠÑĥ го +ĠÑĥ ÑģÑĭ +ĠÑĥ ÑİÑĤ +ĠÑĦ ал +ĠÑĦ иÑĩ +ĠÑħ еÑĪ +ĠÑħ об +ĠÑħ Ñĥй +ĠÑĨ еÑģ +ĠÑĨ ин +ĠÑĩа Ñİ +ĠÑĩ ÑĥÑĤ +ĠÑĪ им +ĠÑĪ иÑĦ +ĠÑī ед +ĠÑı Ñĩе +ÐIJТ ÐķÐĽ +ÐIJТ УУ +ÐIJ ЦÐĺЯ +ÐIJв ив +ÐIJ мÑĥÑĢ +ÐIJп ок +Ðij анк +Ðij еÑģÑģ +Ðij лаг +Ðij оже +ÐĴ лад +ÐĴ озд +ÐĵеÑĢ м +Ðĵ имн +Ðĵ лоб +ÐĶ еÑĢж +ÐĶе Ñıн +ÐĶ лин +ÐĶ оÑģÑĤ +ÐĶ ÑĢак +ÐĶ ÑĢÑĥг +ÐĶ ÑĢÑĥж +ÐĶ ÑĮÑıв +ÐĹ Ð½Ð°Ð¼ +ÐĺÐł ÐŀÐĴ +ÐĺÑģк ÑĢ +Ðļни ж +Ðļ нÑıж +Ðļ ÑĢик +Ðļ ÑĢÑĭм +ÐĽ анк +ÐĽÐµÐ¹ к +ÐĽÐµ он +ÐĽÑĥ иÑģ +ÐĽÑİ Ð´Ð¸ +Ðľ айн +Ðľ ани +ÐľÐ°ÑĢ ÑĪ +Ðľ еди +Ðľ онг +ÐĿ оÑĢв +ÐĿ оÑĢм +Ðŀ дно +ÐŁ лаÑĤ +ÐŁÐ» ÑĥÑĤ +ÐŁ олÑĮ +ÐŁÐ¾ ÑįÑĤ +ÐŁÑĢ ек +ÐŁÑĢ ин +ÐŁÑĢ оÑī +Ðł ади +Ðł оме +Ðł оÑģÑĤ +СС Ð¡Ðł +СТ ÐłÐIJ +Ски ÑĦ +С лед +С лов +С лÑĥÑĪ +С оÑĨи +С пÑĥÑĤ +Т еле +У ÑĤÑĢо +Ф ени +Ц веÑĤ +Ш ейÑħ +ÐŃ ÑģÑĤе +аб он +ав ин +аг аÑģ +аг аÑİ +аг он +ад еÑĢ +ад оÑĢ +аж еÑĢ +аз еп +аз мÑĭ +аз ов +ай но +ак ÑĤÑĥ +али д +алÑĮ к +алÑĮ м +алÑĮ ÑĦ +анд ж +ан еÑĤ +ан Ñĩо +ап иÑģ +ап иÑĤ +ап ÑĤи +аÑĢ аÑħ +аÑģ ки +аÑģÑĤ а +аÑĤа и +аÑĤ ан +аÑĤ иÑĤ +аÑĤ ÑģÑı +аÑĤ Ñĥм +аÑĤ Ñĭй +аÑĤÑĭ ÑĢ +аÑĤÑĮ и +аÑħ нÑĥ +аÑī ее +аÑİÑī е +б анд +беж н +б еÑģп +б лан +б лаÑĤ +б лег +бле и +б ниÑĨ +бод ж +бÑĢ ел +б ÑĢÑĥк +бÑĢ Ñİк +ва лÑı +ван Ñģ +ваÑĢ ÑĮ +в ека +веÑģ к +ве Ñıн +вз ÑıÑĤ +вин ÑĤ +в кли +воз м +в ÑĢаÑĩ +г елÑı +ген е +г лин +гн ав +г оме +г ÑĢаб +гÑĢ еÑĩ +гÑĥ ан +даÑĤ Ñĭ +дв ен +д веÑĢ +д еÑĢг +дж он +ди ан +д леж +д ÑħаÑĢ +дÑı ев +еб ек +еб им +ев ал +ег иÑı +ед ÑĢа +ез ем +ез нÑĮ +ей ки +ей но +екÑģ и +екÑĤ н +ек Ñĥн +ели в +елÑĮ к +елÑĮ ÑĦ +елÑı м +ем еÑĤ +ен аÑĤ +ен га +ен дÑĢ +ени ÑĢ +енÑĭ ÑĪ +еÑĢ ди +еÑĢ ег +еÑĢи ÑĨ +еÑģ ки +еÑģ оÑİ +еÑģÑĤ о +еÑĤ ие +еÑħ ов +еÑĨ ки +жав е +за им +зам Ñĭ +з год +з енÑĤ +зин ÑĮ +з лок +зоÑĢ н +з ÑĥÑĢÑĭ +зÑĭ Ñģк +ив ен +иг ан +и енÑĤ +из ан +ика ÑĢ +ило Ñİ +илÑĮ Ñģ +ил Ñijв +им еÑĩ +ин ÑĨи +ион н +иÑĢи е +и ÑĢиÑı +иÑĢ ом +и ÑĢоÑģ +иÑģ ан +иÑģÑĤ ÑĢ +иÑĤ ил +иÑĨи д +ка ÑĨи +ка ÑİÑī +к ваÑĢ +кв из +к енÑģ +кип Ñı +к ниг +ков и +коз Ñĭ +кол л +кон ÑĨ +к ÑĢап +к ÑĢем +кÑĢ еÑī +к ÑĢÑĥж +к ÑĤÑĥÑĢ +лав и +лав к +лаж н +лаз к +лаÑĤ о +лег и +лик ÑĤ +ли он +лод к +лож н +лой д +лон г +л оÑģÑģ +лÑĭ ÑĪи +лÑı ÑĢи +лÑıÑħ ÑĤ +лÑijн н +м ега +меÑĤ к +моÑĤ к +мÑĥÑĢ ÑĤ +м ÑĦаÑĤ +не из +но ÑģÑı +н оÑĤÑĭ +но Ñĩи +нÑĥ вÑĪ +н ÑĥÑģÑĮ +об Ñĥз +ов ид +ов Ñģк +од оÑĤ +од ÑĥÑĪ +оз ав +оз иÑĤ +оз ÑĢи +ок аÑĩ +ол аз +ол гÑĥ +олÑĮ б +олÑı ÑĢ +ом иÑĢ +он но +оп ед +оп лÑı +оп ов +оп ÑĢе +оÑĢ ии +оÑĢ Ñĥд +оÑĤ ан +оÑĤ еÑħ +оÑĤ оÑĩ +оÑĦ ан +оÑĦ из +оÑĩ ие +о ÑĪиб +оÑĪ ин +оÑĪ ла +пед о +пиÑģ к +пи ÑĪи +пло Ñħ +п лÑİÑģ +плÑİ Ñī +п нев +поÑģ л +пп ен +пÑģ иÑģ +п Ñģон +ÑĢаб ÑĢ +ÑĢаг м +ÑĢаж к +ÑĢаж н +ÑĢан ж +ÑĢаÑĤ Ñĭ +ÑĢаÑĦ и +ÑĢаÑħ м +ÑĢеб и +ÑĢел л +ÑĢеÑģ и +ÑĢи бÑĥ +ÑĢи ил +ÑĢи оÑĤ +ÑĢиÑĤ в +ÑĢи Ñīе +ÑĢов и +ÑĢов ÑĮ +ÑĢоз и +ÑĢой ÑĤ +ÑĢ оÑĩк +ÑĢÑĥ ем +ÑĢÑĭз г +ÑĢÑı ми +ÑĢÑij ÑģÑĤ +Ñģал м +Ñģи ан +Ñģи ей +Ñģ иÑģÑĤ +Ñģл ÑĥÑĩ +Ñģ олн +Ñģ оÑĢи +ÑģÑĤÑĭ л +ÑģÑĤ Ñıн +Ñģ ÑĥÑħо +Ñģ Ñħем +Ñģ Ñħол +ÑĤ аÑĨи +ÑĤа ÑĪе +ÑĤен н +ÑĤеÑģ н +ÑĤе ÑĩÑĮ +ÑĤи ке +ÑĤ кан +ÑĤ ник +ÑĤов н +ÑĤоÑĢ Ñı +ÑĤ ÑĢид +ÑĤ ÑĢÑıÑħ +ÑĤÑĥ ан +ÑĤÑĥ ÑĢÑĥ +Ñĥб иÑĨ +Ñĥв аж +Ñĥв ÑĪе +Ñĥг ан +Ñĥд ии +Ñĥд нÑı +Ñĥд ÑĢÑı +Ñĥж ев +Ñĥз ен +Ñĥ каз +ÑĥлÑĮ ÑĨ +ÑĥлÑĮ Ñı +Ñĥм но +Ñĥн ин +ÑĥÑĢ ÑĨÑĭ +ÑĥÑĤ он +ÑĥÑĩ Ñĥк +ÑĥÑĩ Ñĩи +Ñĥ ÑĪие +ÑĦ лоÑĤ +ÑĦ ÑĢан +ÑĦ ÑĢиÑĤ +ÑĦÑĤ ва +ÑĦÑĤ ег +ÑĦÑĥÑĤ Ñĥ +ÑĦÑĥ ÑĨи +Ñħ ейм +Ñħ лоÑĢ +ÑĨев ÑĤ +ÑĨен н +ÑĨ кÑĥÑİ +Ñĩ аеÑĤ +ÑĩеÑĤ а +Ñĩ ÑĥÑģÑĮ +ÑĪ енÑĮ +ÑĪ ÑĤÑĥÑĢ +ÑĬÑıÑģ н +Ñĭв ов +Ñĭ лок +Ñĭ нов +ÑĭÑħ ал +Ñį лиÑĤ +Ñįлл Ñģ +Ñį миÑĤ +Ñįн ÑĨе +ÑįÑĢ ÑĢи +Ñıз нÑĮ +Ñıн Ñģк +Ñı пон +ÑıÑĤи Ñİ +Ñijн но +ĠB aha +ĠLuc i +ĠR aja +ĠSch u +ĠY ama +Ġdeg F +Ġkil o +Ġob li +Ġocc u +Ġro bb +L iber +XV III +con ce +e agle +fr anc +in hab +ip per +l iver +l ustr +med ic +m ilit +pl asm +r bitr +r rell +sp ire +t elli +t ique +ĠÐIJга ÑĦ +ĠÐIJ зов +ĠÐIJ ÑĢаг +ĠÐIJÑĢÑħ е +ĠÐij Ð¡Ð¡Ðł +ĠÐij алл +ĠÐij ели +ĠÐij еÑģÑĤ +ĠÐijон н +ĠÐij ÑĢаг +ĠÐij ÑĢак +ĠÐij ÑĢан +ĠÐij ÑĢей +ĠÐij ÑĢок +ĠÐijÑĥк в +ĠÐij Ñĥнд +ĠÐĴС Ð®Ðł +ĠÐĴ ени +ĠÐĴз Ñıл +ĠÐĴз ÑıÑĤ +ĠÐĴ лиÑı +ĠÐĴ ним +ĠÐĴ озд +ĠÐĴ олн +ĠÐĴ ÑĢем +ĠÐĴÑĭ ÑıÑģ +ĠÐĵ ÐŀСТ +ĠÐĵа аг +ĠÐĵ ами +ĠÐĵ аÑģÑĤ +ĠÐĵ еÑĢÑĪ +ĠÐĵ еÑĤе +ĠÐĵ ÑĢÑĥд +ĠÐĵÑĢ Ñıз +ĠÐĵ ÑĥлÑı +ĠÐĵÑİ Ð³Ð¾ +ĠÐĶ виг +ĠÐĶв ÑĥÑħ +ĠÐĶ еÑĢж +ĠÐĶ еÑģÑı +ĠÐĶж Ñĥн +ĠÐĶ иÑģк +ĠÐĶ ойл +ĠÐĶÑİ Ð¼Ð° +ĠÐķж ов +ĠÐĸ алÑĮ +ĠÐĸ елÑĤ +ĠÐĸÑĥ ан +ĠÐĸ ÑİлÑĮ +ĠÐĹ Ð¸Ð½Ð° +ĠÐĹна Ñİ +ĠÐĺде и +ĠÐĺ жев +ĠÐĺз аб +ĠÐĺ меÑı +ĠÐļ адÑĭ +ĠÐļ аÑĢÑĤ +ĠÐļ иÑģл +ĠÐļ онÑĤ +ĠÐļон ÑĦ +ĠÐļ оÑĢÑĤ +ĠÐļÑĥÑĢ б +ĠÐĽÐ° ÑĥÑĢ +ĠÐĽ ига +ĠÐĽ иÑģÑģ +ĠÐĽ опа +ĠÐĽ оÑĢд +ĠÐĽÐ¾ ÑĥÑĢ +ĠÐĽ ÑĥвÑĢ +ĠÐĽÑĥ ка +ĠÐĽÑĥ ÑĨи +ĠÐĽÑİ Ñģи +ĠÐľÐ¥ ÐIJТ +ĠÐľ али +ĠÐľ анÑĮ +ĠÐľ екк +ĠÐľ илл +ĠÐľ иÑģÑģ +ĠÐľ иÑĤÑĢ +ĠÐľ леÑĩ +ĠÐľ нож +ĠÐľÐ¾Ð· г +ĠÐľ ÑĥÑģÑĤ +ĠÐĿ айд +ĠÐĿаÑĢ в +ĠÐĿ елÑĮ +ĠÐĿ епÑĤ +ĠÐĿ еÑĢв +ĠÐĿ ика +ĠÐĿиÑĨ ÑĨ +ĠÐŀб ÑĬÑı +ĠÐŀб Ñıз +ĠÐŀг не +ĠÐŀд нÑĥ +ĠÐŀк ÑĤÑı +ĠÐŀ ÑĨен +ĠÐŀ ÑĩеÑĢ +ĠÐŁÐķÐł ÐĴ +ĠÐŁ ÐłÐķÐĶ +ĠÐŁ аÑĨи +ĠÐŁ енÑĤ +ĠÐŁ лав +ĠÐŁ лен +ĠÐŁÐ» еÑħ +ĠÐŁ озв +ĠÐŁÑĢ ек +ĠÐŁÑĢо Ñħ +ĠÐŁ ÑĤиÑĨ +ĠÐŁ ÑĭÑĤа +ĠÐłÐ°Ð´ ж +ĠÐłÐµ ак +ĠÐłÑĥб и +ĠÐł Ñįнд +ĠСа ид +ĠСв еж +ĠС дел +ĠС елÑĮ +ĠС еÑĢв +ĠСеÑĢ п +ĠС еÑĤи +ĠСе Ñĥл +ĠСн ег +ĠС озн +ĠСп ен +ĠС ÑģÑĭл +ĠСÑĤ аÑģ +ĠС ÑĤил +ĠС ÑĨен +ĠТаб а +ĠТаб л +ĠТам б +ĠТ вое +ĠТ вои +ĠТ вой +ĠТе оÑĢ +ĠТ еÑģл +ĠТеÑħ н +ĠТÑĥ ле +ĠТ ÑıнÑĮ +ĠУ гол +ĠУж аÑģ +ĠУ олл +ĠУ ÑįÑģÑĤ +ĠФÐĺ ФÐIJ +ĠФаб и +ĠФаб ÑĢ +ĠФ ÑĢиÑĨ +ĠÐ¥ айн +ĠÐ¥ анÑĮ +ĠÐ¥ ваÑĤ +ĠÐ¥ илÑĮ +ĠÐ¥ иÑĤÑĢ +ĠХод ж +ĠÐ¥ оÑĢо +ĠÐ¥ ÑĢан +ĠЦ аÑĢи +ĠЦз Ñıн +ĠЦ икл +ĠЧеÑĢ в +ĠЧ жоÑĥ +ĠЧ инг +ĠШ иÑĢи +ĠШ оÑģÑĤ +ĠÐŃд ди +ĠÐŃ Ð´Ð¸Ð½ +ĠÐŃд иÑĤ +ĠÐŃм ма +ĠÐŃн ди +ĠЯ кÑĥб +ĠЯн Ñĥк +Ġа Ñģин +ĠаÑĥ ÑĤо +Ġа ÑĦин +Ġа ÑĦоÑĢ +Ġбан е +ĠбаÑĢ ж +Ġб ейÑģ +Ġб еÑģÑĤ +Ġб ина +Ġби оÑģ +Ġбл он +Ġб обÑĢ +Ġб оеÑĨ +Ġб ÑĢаÑģ +Ġб ÑĢев +Ġб ÑĢок +Ġб Ñĥнк +ĠвеÑĢ б +Ġв ниÑĩ +Ġв ÑĢаÑģ +Ġв ÑĢез +Ġв ÑĥлÑĮ +Ġв Ñıзк +Ġг айк +Ġг анг +Ġг емо +Ġг енд +Ġг енÑģ +Ġг идÑĢ +Ġг овÑı +Ġг ÑĢен +ĠгÑĢ еÑĪ +ĠгÑĢ оÑĤ +Ġг Ñĥгл +Ġг Ñĥнн +ĠгÑĥÑģ и +Ġдам б +Ġдв ÑĥÑģ +Ġдев Ñı +Ġд ели +Ġд емо +Ġди аÑģ +Ġди аÑĦ +Ġди од +Ġд иÑģÑĤ +Ġд иÑĩÑĮ +Ġдоб ÑĮ +Ġдог м +Ġд озв +Ġдом о +Ġд ÑĢаг +Ġе ван +Ġез дÑĭ +Ġж гÑĥÑĤ +Ġжг ÑĥÑĩ +Ġж дем +Ġжд ÑijÑĤ +Ġз аем +Ġза ÑģÑĤ +Ġзл Ñĭе +Ġзл Ñĭм +Ġзл ÑĭÑħ +Ġзм ее +Ġз оди +Ġиз би +Ġиз вл +Ġим ми +Ġин еÑĢ +Ġи поÑĤ +ĠиÑĢ ÑĢа +ĠиÑģÑĤ ÑĨ +Ġи ÑĤеÑĢ +ĠкаÑĢ н +Ġк веÑĢ +Ġк едÑĢ +Ġк ейÑģ +Ġк иев +Ġк ока +Ġкол Ñİ +Ġк ÑĢап +Ġл айк +Ġл ивн +Ġли ÑĢи +Ġли Ñħо +ĠлÑĮ ÑģÑĤ +ĠлÑijÑĤ н +Ġм авз +Ġм авÑĢ +ĠмаÑĢ г +Ġм енÑĤ +Ġм иÑģк +Ġм Ñĥми +ĠмÑĥ ÑĦÑĤ +ĠнаÑĤ к +Ġне ад +Ġне Ñģл +Ġне Ñĥм +Ġн ока +Ġн оÑģÑĤ +ĠноÑı б +ĠнÑĭ ÑĢÑı +Ġоб од +Ġод ол +Ġок нÑĥ +Ġо лив +Ġоп иÑĢ +ĠоÑģ ÑĥÑĪ +ĠоÑĩ иÑī +Ġпал е +Ġп анд +Ġп аÑĪн +ĠпеÑĤ ÑĢ +Ġпи аÑĢ +ĠпиÑģ ÑĨ +Ġп иÑĨÑĨ +Ġп ого +Ġпод ÑĢ +Ġпом п +Ġп ÑĢад +ĠпÑĢ Ñıд +ĠпÑĥÑĤ Ñĩ +ĠпÑĮ ед +ĠпÑİ ÑĢе +ĠÑĢаз г +ĠÑĢам Ñĭ +ĠÑĢ ван +ĠÑĢе ÑĨи +ĠÑĢод о +ĠÑĢом б +ĠÑĢÑĭ Ñĩа +ĠÑĢ Ñİмк +ĠÑģв иÑĢ +ĠÑģ гоÑĢ +ĠÑģей ÑĦ +ĠÑģеÑĢ в +ĠÑģеÑĢ п +ĠÑģ миÑĢ +ĠÑģп ам +ĠÑģ ÑĢод +ĠÑģÑĥж а +ĠÑģ Ñĥнд +ĠÑĤ адж +ĠÑĤ аÑĤÑĥ +ĠÑĤ еÑĤк +ĠÑĤиÑĤ ÑĢ +ĠÑĤ онÑĩ +ĠÑĤоÑĢ ÑĨ +ĠÑĤоÑĢ Ñĩ +ĠÑĤÑĢ лн +ĠÑĤÑĢ Ñİм +ĠÑĤ ÑĥÑģк +ĠÑĤÑĭ кв +ĠÑĤÑĮ ма +ĠÑĤÑĮ ме +ĠÑĤÑı гÑĥ +ĠÑĥг ад +ĠÑĥ кÑĢÑĭ +ĠÑĥл ÑĥÑģ +ĠÑĥм ÑĢÑĥ +ĠÑĥ ÑĤеÑĢ +ĠÑĥÑĤи Ñħ +ĠÑĦ елÑĮ +ĠÑĦл еÑĪ +ĠÑĦ ÑĥÑĢг +ĠÑĦ ÑįнÑĤ +ĠÑħ вой +ĠÑħ лад +ĠÑħ лам +ĠÑħ мÑĥÑĢ +ĠÑħ ÑĢÑĥп +ĠÑħ ÑĢÑıÑī +ĠÑĩ аем +ĠÑĩаÑĪ е +ĠÑĩа ÑĪи +ĠÑĩаÑĪ Ñĥ +ĠÑĩ ÑĢев +ĠÑĪ айк +ĠÑĪ анÑĤ +ĠÑĪ аÑĤа +ĠÑĪ аÑĤÑĢ +ĠÑĪ ейк +ĠÑĪ ейÑħ +ĠÑĪел к +ĠÑĪи иÑĤ +ĠÑĪ иÑĪк +ĠÑĪ оÑĢÑĤ +ĠÑĪ ÑĢам +ĠÑĪ ÑħÑĥн +ĠÑī ели +ĠÑī елÑĮ +ĠÑī еÑĤк +ĠÑį гид +ĠÑį дак +ĠÑį ÑĢиÑĤ +ĠÑıй ÑĨе +ĠÑıÑģ на +ÐIJв ÑĢоÑĢ +ÐIJл маз +ÐIJн дÑĢе +ÐIJÑĢ ÑĤÑĥÑĢ +ÐIJÑĤ лаÑģ +ÐIJÑĤ леÑĤ +Ðij ибли +Ðijлаг о +Ðijо инг +ÐijоÑĢ иÑģ +ÐĴÐļ онÑĤ +ÐĴан кÑĥ +ÐĴег аÑģ +ÐĴеÑģ на +ÐĴой на +ÐĴ ÑĢемÑı +Ðĵ енеÑĢ +Ðĵ овоÑĢ +Ðĵол оÑģ +Ðĵол Ñĥб +ÐĶеÑĢж и +ÐĶлин н +ÐĶ непÑĢ +ÐĶоб ÑĢо +Ðĸиз ни +ÐĹам еÑĩ +ÐĹаÑĩ ем +ÐĹа ÑīиÑĤ +ÐĹем лÑı +ÐĹнам Ñı +ÐĺÑĢ ÑĤÑĭÑĪ +Ðĺ Ñģлам +Ðļаз аÑħ +Ðļ алин +Ðļ амен +ÐļаÑĢ ло +Ðļв анÑĤ +Ðļ иÑĤай +Ðļ нига +Ðļни ге +Ðļол оÑĢ +ÐļоÑģ мо +ÐľÐ°Ðº ла +ÐľÐµÐ´Ð¸ а +ÐľÐµÑĢ кÑĥ +ÐľÐµÑĤ ÑĢо +ÐľÐ¾Ð³ ил +Ðľ ожеÑĤ +ÐĿÐŀ СТÐĺ +ÐĿа Ñĥка +ÐĿоÑĢм а +Ðŀп еÑĢа +ÐŁÐ°ÑĢ иж +ÐŁÐµÑĢ во +ÐŁ еÑĩеÑĢ +ÐŁ омеÑĢ +ÐŁ ÑĢазд +ÐŁÑĥ ÑģÑĤÑĮ +ÐłÐ°Ð´Ð¸ о +ÐłÐ°Ñģ ÑĪи +Ðł евиз +Ðł ивеÑĢ +Ðł ижÑģк +ÐłÐ¾Ð¼ ан +ÐłÐ¾Ð¼Ðµ о +ÐłÑĥб ин +Слов е +С лово +Тай на +Так же +ТиÑħ ий +ФÑĢан к +Ц Ñĭган +Чел Ñģи +Ш ÑĤÑĥÑĢм +ÐŃн еÑĢг +ав аем +авеÑĤ н +ав иÑĤÑĮ +аг аÑİÑī +ад ÑĢен +ай зии +ай ÑĪие +ак ваÑĢ +ак ÑĤеÑĢ +алог и +алÑĮ ги +алÑĮ ÑĤи +анд Ñģк +анд Ñĥм +ап олк +аÑĢ ени +аÑĢи ан +аÑģÑĤ ÑĥÑİ +аÑĤ еÑĢи +аÑĤ ике +аÑĤ ÑĢиÑĨ +аÑĤ Ñĩик +а ÑĥзеÑĢ +аÑİÑī ей +аÑİÑī ÑĥÑİ +беж ав +бек Ñģк +белÑĮ Ñģ +бин Ñģк +би ÑĢай +биÑĢ Ñģк +б лаÑģÑĤ +блег Ñĩ +бон аÑĤ +боÑĢ но +вед ал +вез ла +вез ÑĥÑĤ +веÑĢ ÑıÑİ +веÑģ ил +веÑĤ ÑĢи +в еÑĩно +вид ео +виз оÑĢ +вкли д +вол ен +воÑĢ аÑĩ +воÑĢ он +в ÑĢемÑı +вÑĭ ÑĢаж +вÑĭ Ñģок +вÑĭ ÑĩиÑģ +вÑıз ав +г илÑĮд +гин ек +дав Ñģк +дал ее +двой к +деÑĢ об +дина ÑĢ +дÑĥм ан +дÑĥ ÑĪен +еб нÑĭÑħ +евеÑĢ Ñģ +ев иÑģÑĤ +ев лен +ев ÑĢаз +ед икÑĤ +ед оÑģÑĤ +езд но +ей ÑĪин +елей ÑĪ +ели Ñģк +ел Ñĭва +елÑĮ еÑĦ +елÑİ Ð±Ð½ +елÑı еÑĤ +ени Ñĩн +енÑĮ ÑĪе +еÑĢ енн +еÑĢ иÑĤе +еÑĢ пел +еÑĢÑĤ ан +еÑģ кие +еÑģп еÑĩ +еÑģÑĤ ал +еÑģÑĤ ил +еÑĤ Ñħоз +еÑī иÑĩÑĮ +жел Ñĥд +жÑijн но +заж иг +зд еÑģÑĮ +зем ли +зиÑĢа Ñı +з овÑĭй +иб Ñģко +ива ÑİÑī +ив еÑĢÑģ +ив лен +ид аÑĨи +ид енд +из дан +ик маÑħ +или ан +ил лÑıÑĢ +им ого +ини ан +инок л +инÑĮ он +иÑĢа ли +иÑģ Ñħан +иÑĤ аÑĨи +иÑĩ ков +каÑĤ но +ка Ñĩки +кв али +к иÑĤай +ков ÑĭÑĢ +ком аÑĤ +кон ÑĦÑĥ +коп ал +коÑģ нÑĥ +ко ÑĦаг +коÑĪ но +кÑĢеÑĤ н +к ÑĢипÑĤ +кÑĥ лов +кÑĥл Ñijз +лаг ов +лаÑģÑģ н +лев Ñģк +лен нÑĭ +леÑĢ оз +леÑĤ ев +леÑĤ ни +лин дÑĢ +лов ин +лов ой +лод нÑĭ +лÑĮ ном +лÑĮÑĤ он +лÑİ Ð»Ð¾Ð· +лÑİÑĩ ен +лÑıн но +маж оÑĢ +мак ед +маÑģ ки +мг нов +мед ик +ме ÑģÑıÑĨ +меÑĤ ал +м еÑīал +мов ик +мол ни +моÑĢ ок +моÑĤ ал +моÑĤ ан +моÑĤ ив +мÑĥÑĤ им +над Ñijж +нак аз +наÑĩ ей +н гелÑĮ +нев Ñģк +неÑĤ ик +нов ик +нок оÑĢ +ноÑĢ еÑĩ +ноÑģÑĤ о +об илÑĮ +об ÑĬем +ов ани +овед а +ов едÑĮ +ов еÑĢи +ога Ñīа +од окÑģ +од ÑĢам +од ÑĢом +оев Ñģк +озв ан +озн ав +ои еÑĢе +ой лов +ок окк +окÑģ аÑĢ +ол леж +олок и +ол оÑĩн +она ÑĢд +онд ÑĢи +он иÑģÑĤ +он ÑĤеÑĢ +о оÑĢÑĥж +оп аÑĤÑĢ +оп аÑĪн +опÑĭÑĤ н +оÑĢ биÑĤ +оÑĢ вал +оÑĢон н +оÑĢоÑĤ к +оÑĢ ÑĤеÑĢ +оÑģ веж +оÑģ лаб +оÑģн аб +оÑĤе ин +оÑĩ кин +пад аÑı +пан зе +паÑĤ иÑĩ +пле еÑĢ +пли еÑĢ +пло Ñħо +п окой +поÑģ аб +пÑĢав а +пÑĢÑı га +пÑĢÑıм о +пÑĢÑıм ÑĮ +пÑĥз ÑĭÑĢ +п ÑĥÑģÑĤи +пÑĥÑĤ ал +пÑĥÑĤ ан +ÑĢаб ин +ÑĢаг Ñĥа +ÑĢаз ии +ÑĢа ива +ÑĢа ÑģÑĤв +ÑĢаÑĪ но +ÑĢеб ÑĢо +ÑĢед ак +ÑĢед им +ÑĢек ÑĨи +ÑĢеÑĪ им +ÑĢ жаве +ÑĢик ад +ÑĢин ÑĤе +ÑĢиÑģ ов +ÑĢов нÑı +ÑĢов од +ÑĢож да +ÑĢоз ов +ÑĢон ил +ÑĢон Ñĥл +ÑĢоÑģÑĤ к +ÑĢо ÑĦан +ÑĢо ÑĨиÑĤ +ÑĢ оÑĩен +ÑĢÑĥд аÑĢ +ÑĢÑĥÑĩ нÑĭ +ÑĢÑĪ нев +ÑģаÑħ аÑĢ +Ñģ веÑĢÑħ +ÑģвеÑĤ к +ÑģвÑıз ÑĮ +Ñģем ан +Ñģем иÑĤ +Ñģе ÑıÑĤÑĮ +ÑģиÑĢ оÑĤ +ÑģиÑģ ко +Ñģк ÑĢиÑĤ +Ñģол ен +Ñģ оÑģÑĥд +Ñģ ÑĢеди +ÑģÑĤи ка +ÑģÑĤоÑı л +ÑģÑĤоÑı ÑĤ +ÑģÑĤÑĥп н +ÑĤан ÑĤÑĭ +ÑĤек ла +ÑĤек ло +ÑĤен ев +ÑĤ огда +ÑĤÑĢ олл +ÑĤ ÑĥбеÑĢ +ÑĤÑĮÑı го +Ñĥд ÑĮÑĤе +Ñĥж дал +Ñĥжд Ñijн +Ñĥз ова +Ñĥк ÑĢÑĥг +Ñĥк ÑĤоÑĢ +Ñĥл лин +ÑĥÑĢ бан +ÑĥÑģл Ñĥг +ÑĥÑĩ иÑĤе +ÑĦаг ен +ÑĦим ов +ÑĦоб иÑı +ÑĦ ÑĢовк +Ñħов ен +Ñħ ÑĢабÑĢ +ÑħÑĢон н +ÑĨаÑĢ ÑĤа +ÑĨев ал +ÑĨев ой +ÑĨел еÑģ +ÑĨеп ÑĤÑĥ +ÑĨиÑı ми +ÑĨов ое +Ñĩай ÑĪи +ÑĩаÑĤ Ñģк +ÑĩеÑĢ ез +ÑĩжÑĥ ÑĢи +ÑĩиÑģ лÑı +ÑĩиÑĤ ай +ÑĩиÑĤ аÑİ +ÑĩÑĤ иÑĤе +ÑĩÑĥж ин +ÑĩÑĮ его +ÑĪ ении +ÑĪи ков +ÑĪÑĤаб н +Ñĭв ани +ÑĭÑĪ кин +Ñįл лип +ÑįÑģк ад +Ñİ ÑĢиÑģÑĤ +Ñıж нÑĭÑħ +ÑıзÑĭÑĩ н +Ñı йÑĨев +Ñıн ÑĨев +ÑıÑģ нив +ÑıÑģ нил +ĠPhys i +Ġem igr +Ġem pha +Ġexp ir +Ġhapp i +Ġmut at +Ġrab bi +Ġrep ri +e asant +es cent +f icial +ns ible +ph osph +plic at +s chaft +s olved +u arter +ĠÐIJ аÑĢон +ĠÐIJб баÑģ +ĠÐIJв ÑĤом +ĠÐIJдам Ñģ +ĠÐIJ дÑĢеÑģ +ĠÐIJ зиаÑĤ +ĠÐIJк ÑĤеÑĢ +ĠÐIJл гоÑĢ +ĠÐIJли ев +ĠÐIJн гол +ĠÐIJн дÑĢи +ĠÐIJн каÑĢ +ĠÐIJÑĢ баÑĤ +ĠÐIJÑĢÑĤ Ñijм +ĠÐIJÑħ илл +ĠÐijаÑĢ ÑĢи +ĠÐij еÑģÑģа +ĠÐijож ÑĮи +ĠÐijол он +ĠÐij ÑĢаÑħм +ĠÐijÑį кон +ĠÐĴÐĽ ÐļÐ¡Ðľ +ĠÐĴеб еÑĢ +ĠÐĴ еÑĩно +ĠÐĴз ÑıÑĤÑĮ +ĠÐĴил ли +ĠÐĴилÑĮ н +ĠÐĴин Ñĩи +ĠÐĴиÑĤ ÑĤе +ĠÐĴоз ле +ĠÐĴ оÑĢоб +ĠÐĵав ай +ĠÐĵав ан +ĠÐĵали Ñĩ +ĠÐĵип еÑĢ +ĠÐĵог ол +ĠÐĵ олод +ĠÐĵÑĢан ÑĤ +ĠÐĵ ÑĢоÑģÑģ +ĠÐĵÑĥÑģ ев +ĠÐĶ айÑĤе +ĠÐĶаÑĢ ÑĮÑı +ĠÐĶ вига +ĠÐĶеб ÑİÑĤ +ĠÐĶ еÑĢжа +ĠÐĶжо ан +ĠÐĶж обÑģ +ĠÐĶж ÑĥлÑĮ +ĠÐĶ инам +ĠÐĶ ÑĢама +ĠÐĶÑĥ нае +ĠÐĶÑĥн ай +ĠÐķв док +ĠÐķв ÑĢеи +ĠÐĸ еÑĢÑĤв +ĠÐĸÑĥ ÑĢав +ĠÐĹ Ð°Ð¼ÐµÑĤ +ĠÐĹам ок +ĠÐĹ Ð»Ð°ÑĤо +ĠÐĺн нок +ĠÐĺÑĢ кÑĥÑĤ +ĠÐĺÑģа ев +ĠÐĺÑģ кÑĥÑģ +ĠÐĺÑģÑĤ ок +ĠÐļаб Ñĥл +ĠÐļам ÑĭÑĪ +ĠÐļ винÑĤ +ĠÐļеÑĢ ÑĢи +ĠÐļиÑħ оÑĤ +ĠÐļиÑĪ ин +ĠÐļ опеÑĢ +ĠÐļоÑĢ ол +ĠÐļ оÑĢон +ĠÐļ ÑĢовÑĮ +ĠÐļÑįÑĢ ол +ĠÐĽÐ°ÑĢ ÑĢи +ĠÐĽ ибеÑĢ +ĠÐĽ лойд +ĠÐľÐ°Ð³ да +ĠÐľÐ°Ð¹ еÑĢ +ĠÐľÐ°ÑĢ аÑĤ +ĠÐľÐ°ÑĢ ÑĮÑı +ĠÐľÐµÐ¹ еÑĢ +ĠÐľÐµÐ» ан +ĠÐľ еÑĢеж +ĠÐľÐµÑģÑĤ а +ĠÐľÐµÑħ ан +ĠÐľÐ¸Ðº ел +ĠÐľÐ¸Ð½ ÑĥÑĤ +ĠÐľÐ¾Ð³ ÑĥÑĤ +ĠÐľ оном +ĠÐľÐ¾ÑĢ ав +ĠÐľ оÑĤив +ĠÐľÑĥж ик +ĠÐľÑĥз ее +ĠÐľÑĥз еÑı +ĠÐľÑĥ ÑĢав +ĠÐľÑĭ Ñģли +ĠÐĿ идеÑĢ +ĠÐĿ илÑĮÑģ +ĠÐĿоб ел +ĠÐŀб ама +ĠÐŀб зоÑĢ +ĠÐŀб ÑĬем +ĠÐŀб ÑĬÑıÑģ +ĠÐŀб Ñıза +ĠÐŀг айо +ĠÐŀк ÑĢÑĥг +ĠÐŁÐ°Ð± ло +ĠÐŁ алÑĮм +ĠÐŁÐµÑĢ еÑı +ĠÐŁÐµÑĢ Ñģе +ĠÐŁÐ¸Ð» оÑĤ +ĠÐŁÐ¸Ñģ ал +ĠÐŁ лаÑģÑĤ +ĠÐŁÐ»Ð¾ Ñħо +ĠÐŁ олов +ĠÐŁÑĢоÑģ в +ĠÐŁÑģиÑħ о +ĠÐłÐ°Ð¹ ан +ĠÐł алÑĮÑĦ +ĠÐł едак +ĠÐłÐµÐ¶ им +ĠÐłÐµÐ¿ ин +ĠÐłÐµÑĢ иÑħ +ĠÐł овно +ĠÐłÑĥб ен +ĠСаÑĤ ан +ĠСв ÑıзÑĮ +ĠС елен +ĠСеÑĢ еж +ĠС кажи +ĠСк ÑĢип +ĠС меÑĢÑĤ +ĠС огла +ĠСо обÑī +ĠСоÑģ ед +ĠСоÑĤ ни +ĠСÑĤо Ñĥн +ĠСÑĥд ÑĮÑı +ĠТав ÑĢи +ĠТаÑĢ ан +ĠТ веÑĢд +ĠТвеÑĢ и +ĠТвоÑĢ ÑĨ +ĠТÑĥл Ñĥз +ĠТ Ñĥман +ĠТÑĥÑĢ ин +ĠТÑĥÑħ аÑĩ +ĠУ ÑģлÑĭÑĪ +ĠУ ÑįллÑģ +ĠФ алÑĮк +ĠФ елÑĮд +ĠФиг ÑĥÑĢ +ĠФ лави +ĠФ омин +ĠХад жи +ĠÐ¥ елен +ĠХоÑĤ ел +ĠЦ зинÑĮ +ĠЦÑİ ÑĢиÑħ +ĠЧаÑĢ лз +ĠЧ Ñĥков +ĠШаÑĢ лÑĮ +ĠШ ÑĥлÑĮÑĨ +ĠÐŃ Ð²Ð°Ð½Ñģ +ĠÐŃл лиÑģ +ĠÐŃми лÑĮ +ĠЮж нÑĥÑİ +Ġад мин +ĠалÑĮ ÑĦа +Ġан гаÑĢ +Ġан еÑģÑĤ +Ġан ÑĤаг +ĠанÑĤи Ñĩ +ĠаÑĢ бÑĥз +ĠаÑĢÑħа и +Ġб аÑģÑĤи +Ġбег лÑĭ +Ġбег Ñĥн +Ġбег ÑĥÑĤ +Ġбел ÑĥÑİ +Ġб елÑĮÑı +ĠбиÑĤ вÑĥ +Ġбл анк +Ġбоб ов +Ġбол ев +Ġбол иÑĤ +ĠбоÑĢ еÑĨ +Ġб ÑĢани +ĠбÑĢез г +Ġб ÑĢемÑı +Ġб ÑĢиÑĤв +Ġб ÑĢови +ĠбÑĢон и +Ġб ÑĢÑĭзг +ĠбÑĢÑİ ÐºÐ¸ +ĠбÑĢÑİ Ñħо +ĠбÑĥ лав +ĠбÑĥл оÑĩ +ĠбÑĥ ÑĦеÑĤ +ĠбÑĥÑħ ÑĤе +ĠбÑĥÑħ ÑĤÑĭ +Ġв алид +Ġван нÑĥ +Ġвд ÑĭÑħа +Ġвед ÑĢо +ĠвеÑĢ ев +ĠвеÑĢ ÑĤе +ĠвеÑĢ ÑĦи +ĠвеÑģ нÑĥ +ĠвеÑģ Ñijл +ĠвеÑĤ ка +ĠвеÑĤ ÑĢÑĭ +ĠвеÑī ам +Ġвз доÑĢ +Ġвз маÑħ +Ġвз ÑĢоÑģ +Ġвиз иÑĢ +ĠвиÑĤ ам +ĠвиÑħ ÑĢе +Ġв кÑĢаÑĤ +Ġвлаг и +Ġвов ÑģÑİ +Ġвод кÑĥ +Ġвод оÑģ +Ġвож ак +Ġвозв ÑĢ +Ġв ÑģÑĤав +ĠвÑĭ ÑĢÑĥÑĩ +Ġгаз он +Ġга ÑģÑĤÑĢ +Ġг возд +Ġг емаÑĤ +Ġгип но +Ġгл оÑĤа +ĠгоÑĢ ÑĪк +ĠгоÑĢ ÑıÑī +ĠгÑĢан ÑĤ +ĠгÑĥÑģ аÑĢ +ĠдвеÑĢ ÑĨ +Ġдвиж к +Ġдв ÑĥÑģÑĤ +ĠдеÑĪ Ñijв +Ġди еÑĤÑĭ +Ġд икаÑĢ +Ġдики е +Ġдики й +Ġдик им +Ġд иков +Ġдил еÑĢ +Ġд ожид +ĠдÑĢак и +ĠдÑĥ Ñįли +ĠдÑĭÑĪ иÑĤ +ĠдÑİ Ð¶Ð¸Ð½ +Ġед инÑĭ +Ġеже ли +Ġе ÑĢеÑģи +ĠеÑĢÑĥ нд +Ġж аждÑĭ +Ġжал ел +ĠжелÑĤ к +Ġжив ÑĥÑİ +Ġж ÑĢеби +Ġзам ки +Ġза оÑģÑĤ +ĠзаÑģ ÑĥÑħ +ĠзаÑģ ÑĥÑĪ +Ġз аÑĤаи +ĠзаÑĤ иÑħ +Ġза ÑĪиÑĦ +Ġзом би +Ġив ÑĢиÑĤ +Ġизд ев +Ġиз оÑīÑĢ +Ġинд ÑĥÑģ +ĠиÑģк аж +ĠиÑģ ÑģÑıк +Ġкаб ан +Ġказ нÑĥ +Ġказ нÑĭ +Ġкам ин +Ġкам ÑĭÑĪ +Ġкан Ñĥн +Ġкап лÑı +Ġкап оÑĤ +ĠкаÑĤ ак +ĠкаÑĪ лÑı +Ġквад ÑĢ +Ġкл ави +Ġкл анÑı +Ġкло Ñĥн +ĠкнÑıж н +Ġкол еÑĨ +ĠкоÑģ мо +Ġко ÑģÑıк +Ġко ÑĪкÑĥ +Ġк ÑĢипÑĤ +ĠкÑĢÑĭ ле +ĠкÑĥб ок +ĠкÑĥп ÑİÑĢ +Ġлав ин +Ġлев ое +Ġлег ла +Ġлег ли +Ġлей бл +ĠленÑĤ Ñĥ +Ġлеп еÑĪ +ĠлиÑģ иÑĨ +Ġлов ил +Ġлов ле +Ġлов ÑıÑĤ +Ġлок ÑĤÑı +ĠлоÑı лÑĮ +ĠлÑĥг ов +ĠлÑĮ вов +ĠлÑĮ дом +Ġмал оÑĩ +Ġмал ÑĥÑİ +Ġман ев +Ġма ÑĦии +ĠмаÑħ ин +Ġмем оÑĢ +ĠмеÑĤ ко +ĠмеÑħ ов +ĠмеÑĩ ÑĤÑĥ +ĠмеÑĪ ки +Ġмим ик +ĠмиÑĤ оÑħ +Ġмним о +Ġмним Ñĭ +Ġм олÑĮб +ĠмÑĥз еи +ĠмÑĥÑĩ ил +Ġнав од +Ġнаж аÑĤ +Ġна изÑĥ +Ġнай ма +Ġнак ид +Ġн акон +Ġна Ñħож +Ġна ÑıвÑĥ +Ġнев оз +Ġн егод +Ġнед ов +Ġнем ал +Ġн еÑĢов +ĠнеÑģ ÑijÑĤ +Ġник ем +Ġн омин +Ġоаз иÑģ +Ġобед н +Ġоб ÑĢÑĥÑĪ +ĠобÑī ен +ĠобÑī еÑĩ +ĠобÑĬ ÑıÑĤ +Ġов ÑĩаÑĢ +Ġод нов +Ġод нок +Ġок опа +Ġол енÑĮ +Ġолен Ñı +Ġоп лак +Ġоп ÑĢоÑĪ +Ġоп ÑĤов +Ġоп ÑĥÑĪк +Ġоп ÑĮÑıн +ĠоÑģ еда +ĠоÑĤ важ +Ġпаз ÑĥÑħ +Ġпа ÑĢаг +ĠпаÑĢ иж +Ġпа ÑĥзÑĭ +Ġпа ÑĨан +Ġпев иÑĨ +Ġпеп ел +ĠпеÑĤ лÑİ +ĠпеÑĤ лÑı +ĠплеÑĩ Ñĥ +Ġпл Ñijнк +Ġпог Ñĥб +Ġпод ог +Ġпой ма +Ġпок ои +Ġпол Ñĥп +Ġпом ил +Ġпоп еÑĩ +ĠпоÑĢ аб +Ġпо ÑģÑıг +ĠпоÑį мÑĥ +ĠпÑĢев з +ĠпÑĢе ем +ĠпÑĢ еле +ĠпÑĢ еÑĢв +ĠпÑĢон з +ĠпÑĢоÑĢ в +ĠпÑĢо ÑıÑģ +Ġп Ñģалм +ĠпÑĥд ов +ĠпÑĥÑĩ ок +ĠпÑĭÑĤ ок +ĠпÑıÑĤ ен +ĠÑĢад Ñĥг +ĠÑĢад Ñĥж +ĠÑĢ анил +ĠÑĢаÑģ пи +ĠÑĢеÑĤ ÑĢо +ĠÑĢеÑĩ ей +ĠÑĢеÑĩ ки +ĠÑĢеÑĪ еÑĤ +ĠÑĢоб ко +ĠÑĢ олев +ĠÑĢ оÑĤоÑĢ +ĠÑĢÑĥб аÑĪ +ĠÑĢÑĥм Ñıн +ĠÑĢÑĥ Ñģле +ĠÑĢÑĥÑĩ ка +ĠÑĢÑĥÑĩ ÑĮÑı +ĠÑģам од +ĠÑģ анов +ĠÑģ близ +ĠÑģбÑĭ ÑĤа +ĠÑģв еÑĢж +ĠÑģвеÑĢ л +ĠÑģеÑĤ ки +ĠÑģеÑĤ Ñıм +ĠÑģжаÑĤ о +ĠÑģиг аÑĢ +ĠÑģ илоÑİ +ĠÑģин им +ĠÑģин од +ĠÑģк ÑĢин +ĠÑģмаз к +ĠÑģми ÑĢи +ĠÑģо иÑģк +ĠÑģ ойÑĤи +ĠÑģоÑĤ нÑİ +ĠÑģп азм +ĠÑģп иÑĩк +ĠÑģп ÑĢов +ĠÑģÑĤеп ÑĮ +ĠÑģÑĤол п +ĠÑģÑĤÑĢÑĥ и +ĠÑģÑĤÑĢÑĥ Ñı +ĠÑģÑĤ ÑĥÑĩа +ĠÑģÑĤÑĭ ке +ĠÑģÑĤ ÑĭÑĩк +ĠÑģÑĥм еÑĢ +ĠÑģÑĥм ки +ĠÑģÑĥм кÑĥ +ĠÑĤел еп +ĠÑĤеÑĢ ке +ĠÑĤеÑĢ ÑıÑı +ĠÑĤеÑĩ ÑijÑĤ +ĠÑĤиÑħ ий +ĠÑĤок ен +ĠÑĤон ÑĥÑģ +ĠÑĤÑĢ иви +ĠÑĤÑĢ оÑıн +ĠÑĤÑĥÑĢ не +ĠÑĤÑİ Ð»ÐµÐ½ +ĠÑĥб ÑĢан +ĠÑĥг аÑģа +ĠÑĥго Ñīа +ĠÑĥз киÑħ +ĠÑĥзна Ñİ +ĠÑĥ кÑĢад +ĠÑĥлÑĭб н +ĠÑĥни жа +ĠÑĥнÑĭ ни +ĠÑĥп лоÑĤ +ĠÑĥп ова +ĠÑĥÑģ нÑĥл +ĠÑĥÑĤеÑĪ а +ĠÑĥÑĩеб Ñĥ +ĠÑĥÑĩÑij бÑĥ +ĠÑĥÑİÑĤ но +ĠÑĦан еÑĢ +ĠÑĦаÑĢ ма +ĠÑħоб би +ĠÑħол еÑĢ +ĠÑħол оп +ĠÑħ оÑħоÑĤ +ĠÑĨаÑĢ ил +ĠÑĨеп ей +ĠÑĨеÑģ аÑĢ +ĠÑĩаÑĪ ки +ĠÑĩаÑĪ кÑĥ +ĠÑĩеÑĢ еÑĪ +ĠÑĩÑĥв аÑĪ +ĠÑĩÑĥж ое +ĠÑĩÑĥж ом +ĠÑĩÑĥж ÑĥÑİ +ĠÑĩÑĥÑĤ ко +ĠÑĪ елÑĮÑĦ +ĠÑĪеÑĢ иÑĦ +ĠÑĪ ланг +ĠÑĪ лÑıÑħÑĤ +ĠÑĪÑĤ анг +ĠÑĪÑĥм еÑĢ +ĠÑīед ÑĢÑĭ +ĠÑī еÑĤин +ĠÑįп опе +ĠÑį ÑĢози +ĠÑį Ñģким +ĠÑİж нÑĭй +ĠÑıб лон +ĠÑıкоÑĢ Ñı +ĠÑıн ÑĤаÑĢ +ĠÑıÑĢ каÑı +ĠÑıÑĢ маÑĢ +ĠÑıÑģ нее +ĠÑıÑĩе ек +ĠÑıÑĩ мен +ÐIJй ленд +ÐIJлÑĮ ÑıнÑģ +Ðijав аÑĢи +Ðijибли о +Ðij лажен +Ðij ÑĢазил +ÐĴели ко +ÐĴик ÑĤоÑĢ +ÐĴ ÑģÑĤÑĢеÑĩ +Ðĵлоб ал +ÐĵовоÑĢ и +ÐĶал лаÑģ +ÐĶ ейÑģÑĤв +ÐĶи алог +ÐĶиÑĢ екÑĤ +ÐĶок ÑĤоÑĢ +ÐĶÑĢак он +ÐĶÑĢÑĥж ба +ÐĶÑĮÑıв ол +Ðķв ÑĢопе +ÐĸеÑĢ мен +ÐĸÑĥÑĢ нал +ÐĹеÑĢ кал +ÐĺЧÐķ СÐļÐĺ +ÐĺнÑĤ егÑĢ +Ðļом еди +ÐļÑĢаÑĤ ко +ÐļÑĢÑĭ лÑĮÑı +ÐļÑĥб анÑĮ +ÐĽÑİб овÑĮ +ÐľÐ°Ð½ ÑħÑįÑĤ +ÐľÐµÑĤ алл +Ðŀд нако +Ðŀ ÑĢиенÑĤ +ÐŀÑĤ кÑĢÑĭÑĤ +ÐŁ аÑģÑģаж +ÐŁÐµÑĢ вÑĭй +ÐŁ ионеÑĢ +ÐŁÐ¾Ñį зиÑı +ÐŁÑĢо екÑĤ +ÐŁÑĢоÑī ай +ÐŁ ÑĥÑĪкин +ÐłÐ¾ÑģÑĤ ов +СТÐĴ ÐķÐĿÐĿ +Сев илÑĮ +СлÑĥÑĪ ай +С меÑĢÑĤÑĮ +С овеÑĢÑĪ +СоÑĨи ал +СÑĤа лин +СÑĤи ÑħоÑĤ +СÑĥб боÑĤ +Т епеÑĢÑĮ +ТеÑĢ ÑĢоÑĢ +Т олÑĮко +ТÑĢо иÑĨк +Уд мÑĥÑĢÑĤ +Фени кÑģ +ФÑĥÑĤ бол +ЧеÑĢ кеÑģ +Ш колÑĮн +ÐŃк оном +Я ндекÑģ +аб елÑĮн +абил иÑĤ +авод Ñģк +ак овиÑĩ +ам блеи +амен ем +ан ного +анÑħ оли +апÑĤи ÑģÑĤ +аÑĢг аÑĢи +аÑĢк анд +аÑĥÑĢ Ñıдн +бав лÑıл +баÑĤ ÑİÑĪк +без лÑİд +бол езн +б ÑĢигад +бÑī евой +бÑĭв ÑĪий +б ÑİджеÑĤ +вал енÑĤ +вен ÑĨии +веÑĢ неÑĤ +в заимо +вид енн +возд ÑĥÑħ +воÑĢ ени +воÑģ пал +в ÑģÑĤÑĢеÑĩ +вÑĭÑģ око +вÑıз кой +гелÑĮ Ñģк +геÑĢ меÑĤ +г иганÑĤ +гиÑĤ аÑĢа +гоÑĢ ани +гоÑĢ еÑĤÑĮ +дав ÑĪий +дал еке +дал еко +двеÑĢ ии +двин Ñĥв +дев аÑİÑĤ +делÑĮ но +деÑĢж ка +деÑĢ нÑĥл +див еÑĢÑģ +д изайн +долж ен +доÑĢ оги +дÑĥм аеÑĤ +д ÑĭваеÑĤ +ег нÑĥÑĤÑĮ +елез об +ел ениÑı +емеÑĤ ев +енд оÑĢÑĦ +ено ÑģÑıÑĤ +ен ÑģÑĤво +епо езд +еÑĢб ÑĢод +еÑĢж ива +еÑĢп ева +еÑĢÑĮез н +еÑģоÑİ Ð·Ð½ +еÑģÑģ ÑĥаÑĢ +еÑģÑĤв ии +еÑģÑĤ ине +еÑģÑĤи нÑĭ +еÑĤ ÑĢажн +жен Ñīин +жив лен +жим аÑĤÑĮ +жим аÑİÑĤ +зд ание +зем лед +злок аÑĩ +зов иÑĤе +з ÑĭваÑĤÑĮ +иаÑĤ ÑĢии +ив аниÑİ +ив ÑĭÑĩно +иеÑĢ аÑĢÑħ +из ÑĬÑıÑģн +ики дзе +им аÑĤÑĥм +ин огда +ин ÑģÑĤÑĢÑĥ +инÑĤ окÑģ +ион оми +иÑĢ ениÑı +иÑĢÑĤÑĥ оз +иÑģка ÑĨи +иÑģлен н +иÑĤеÑĢ Ñģк +иÑĨей Ñģк +иÑĨи зма +иÑĨи озн +иÑĪ вили +каж еÑĪÑĮ +калÑĮ Ñģк +каÑĢ ÑĤин +кеп ÑĤик +клад ок +кли енÑĤ +клон но +кол оÑĤÑĮ +коÑĢ оÑĤк +кÑĢаÑģ ил +к ÑĢизиÑģ +кÑĢÑĥ Ñĩен +кÑĢÑĭ ÑĤии +кÑĢÑĭ ÑĤÑĭм +кÑĥп аÑĤÑĮ +кÑĥÑĢÑģ ив +кÑĥÑĢ Ñģии +кÑĥÑģ иÑĤÑĮ +кÑĥÑĪ аÑĤÑĮ +лам Ñĭва +лан даÑħ +лок аÑĨи +лÑĭÑĪи ÑĪÑĮ +лÑĮз Ñĭва +лÑıнд иÑı +лÑı ÑĨией +маг неÑĤ +маÑĤ ики +маÑĤ ÑĥÑĪк +мед веж +меÑĤ еоÑĢ +меÑĤÑĮ ÑĤе +меÑħ ани +меÑĩ ено +меÑī аÑĤÑĮ +миÑĢал ÑĤ +мод ели +мод елÑĮ +мод еÑĢн +мол вил +моÑĢ алÑĮ +мо ÑĨион +м оÑĩиÑĤÑĮ +мÑĥж Ñĩин +мÑĩ алÑģÑı +неб ÑĢеж +ней ÑĪем +нем еÑĨк +неÑģ анк +неÑģ иÑĤе +ним аем +ниÑĤ еÑģÑĮ +ниÑĩ его +нов лен +нок ожи +нок ÑĢов +нол Ñĭжн +ноÑģ имо +но Ñģлав +н ÑģÑĤÑĢÑĥк +обед им +обоÑĢ Ñĥд +обÑĭÑĤ но +овал ÑİÑĤ +ов аÑĤÑĭй +овоÑĢ ил +ов Ñĭвал +од аÑĤел +од ÑĥÑĪно +ожд анн +ож ениÑı +оз апиÑģ +озн ани +ознаÑĩ н +оказ ан +окÑĢаÑĤ н +олÑĮÑĪ ее +олÑĮ ÑĪий +ом ÑĦоÑĢÑĤ +омÑıн ÑĥÑĤ +онов Ñģк +опоÑĤ ам +оÑĢÑĤ аÑĨи +оÑĢÑĤ иÑĤÑĮ +оÑģ мÑĭÑģл +оÑģÑĤ нÑĭÑħ +оÑģÑĤоÑĩ к +оÑģÑĤоÑı н +оÑĤ веÑĢж +оÑĤ кÑĥда +оÑĥ ÑģÑĤÑĢо +оÑħоÑĤ но +оÑħÑĢан Ñı +пав ÑĪий +пеÑĢ вок +пеÑĢ вÑĭй +пеÑĢ иод +пеÑĢ Ñģон +пин иÑģÑĤ +под ÑĪип +пол нÑıÑı +п олÑĮзÑĥ +пом алÑĥ +поÑģ лÑĥÑĪ +поÑĤ ÑĥÑģÑĤ +пÑĢ ежде +пÑĢ имеÑĩ +пÑĢов ок +пÑĢ оком +пÑĥÑģÑĤ оÑĪ +пÑĥÑģÑĤ ÑıÑĤ +пÑĭÑĤ Ñĭва +ÑĢаз иÑĤÑĮ +ÑĢаз ÑĢÑıд +ÑĢал ÑĤаÑĢ +ÑĢан ÑĤов +ÑĢаÑģÑĤ еÑĤ +ÑĢаÑģ Ñħод +ÑĢаÑħ ман +ÑĢа ÑĨией +ÑĢа ÑĨион +ÑĢед иÑĤÑĮ +ÑĢез еÑĢв +ÑĢек лам +ÑĢеÑģ ÑĥÑĢÑģ +ÑĢиз аÑĨи +ÑĢи ÑĢÑĥеÑĤ +ÑĢоÑģ ÑĪие +ÑĢ оÑĩнÑĭе +ÑĢÑĥга ÑĨк +ÑĢÑĥ менÑĤ +ÑĢÑĥÑĩ аеÑĤ +ÑĢ ÑĭваÑĤÑĮ +Ñģ ейÑĩаÑģ +Ñģек Ñĥнд +Ñģел леÑĢ +ÑģеÑĢ ебÑĢ +ÑģеÑĢ ийн +Ñģк ÑĢипÑĤ +Ñģлед но +Ñģлов аÑĤ +Ñģ меива +Ñģм иÑģÑģи +Ñģ оздан +Ñģ оÑģÑĢед +ÑģпеÑĨи ÑĦ +Ñģ ÑĢавни +ÑģÑĤ алин +ÑģÑĤан но +ÑģÑĤÑĢой к +ÑģÑĤÑĥп аÑħ +ÑģÑĤÑĥп ÑıÑĤ +ÑģÑĥÑĪ иÑĤÑĮ +ÑģÑĩиÑĤ ан +ÑģÑĭп аÑİÑĤ +ÑĤика ли +ÑĤокÑģ ин +ÑĤокÑģ иÑĩ +ÑĤоÑĢм оз +ÑĤоÑĩ нее +ÑĤ ÑĢаÑĤив +ÑĤÑĢой кÑĥ +ÑĤÑĢоп ин +ÑĤÑıнÑĥ ÑĤо +ÑĤÑıнÑĥÑĤ Ñĭ +Ñĥ алÑĮно +Ñĥжден н +ÑĥлÑı ÑĤоÑĢ +ÑĥÑĢк еÑģÑĤ +ÑĥÑĩ еник +ÑĦоÑĢм Ñĥл +ÑĦÑĥÑĤ бол +Ñħа Ñĥзен +ÑħлоÑĢ ид +ÑĨеп ÑĨиÑı +ÑĨов ÑīиÑĨ +ÑĩаÑģÑĤи ÑĨ +ÑĩеÑģ Ñĭва +Ñĩлен ен +ÑĪениÑı Ñħ +ÑĪ кевиÑĩ +ÑīÑĥп Ñĭва +ÑĬ еÑħаÑĤÑĮ +Ñĭв аний +ÑĭваÑı ÑģÑĮ +ÑĭгÑĢ аÑĤÑĮ +Ñįк олог +ÑįкÑģп ед +Ñįм пиÑĢи +ÑįÑĤаж нÑĭ +ÑįÑĤи лен +Ñıбл оÑĩн +Ñıж ениÑı +Ñıно ÑĦил +ÑıÑī имÑģÑı +ĠCons ul +ĠMong ol +ĠR otten +Ġcomm ut +Ġpred at +ar riage +east ern +egot iat +e lected +ll usion +milit ar +synd ica +win ning +ĠÐIJн глий +ĠÐIJн ÑĤÑĥан +ĠÐIJÑĢаг он +ĠÐijеÑĢ инг +ĠÐijеÑĢ наÑĢ +ĠÐijиб лиÑı +ĠÐijоб ÑĢов +ĠÐijоÑģ нии +ĠÐijÑĥнд еÑģ +ĠÐijÑĥÑĢ бон +ĠÐijÑĥÑį ноÑģ +ĠÐĴаж нÑĭм +ĠÐĴаÑĪ его +ĠÐĴей маÑĢ +ĠÐĴеÑĢ неÑĢ +ĠÐĴ заимо +ĠÐĴилÑĮ Ñıм +ĠÐĴин ниÑĨ +ĠÐĴлад ик +ĠÐĴлад Ñĭк +ĠÐĴо евод +ĠÐĴолог д +ĠÐĴ ÑĢемен +ĠÐĴÑĤоÑĢ ÑĥÑİ +ĠÐĴÑĤоÑĢ Ñĭм +ĠÐĵайд аÑĢ +ĠÐĵаÑĤ Ñĩин +ĠÐĵег елÑĮ +ĠÐĵег елÑı +ĠÐĵеÑĢ оев +ĠÐĵим ала +ĠÐĵоÑĦ ман +ĠÐĵÑĢе ÑĨиÑİ +ĠÐĵÑĢе ÑĨиÑı +ĠÐĵÑĢÑĥпп Ñĭ +ĠÐĶал еко +ĠÐĶв аждÑĭ +ĠÐĶеÑģÑı ÑĤÑĮ +ĠÐĶж еÑģÑģи +ĠÐĶжим ми +ĠÐĶ изайн +ĠÐĶ неÑģÑĤÑĢ +ĠÐĶобÑĢ Ñĭй +ĠÐĶок лад +ĠÐĶолж ен +ĠÐĶоÑģÑĤ Ñĥп +ĠÐĶÑĢÑĥж бÑĭ +ĠÐķвг енÑĮ +ĠÐĸен еве +ĠÐĹам еÑģÑĤ +ĠÐĹина ид +ĠÐĹна еÑĪÑĮ +ĠÐĹ Ð½Ð°Ð¼ÐµÐ½ +ĠÐĺ гнаÑĤÑĮ +ĠÐĺжев Ñģк +ĠÐĺнди ан +ĠÐĺÑģ клÑİÑĩ +ĠÐĺÑģ маил +ĠÐĺÑģ Ñģлед +ĠÐļÐŀ ÐIJТУУ +ĠÐļак овÑĭ +ĠÐļан ада +ĠÐļаÑĢ паÑĤ +ĠÐļаÑĢÑĤ ин +ĠÐļв ебек +ĠÐļом Ñģом +ĠÐļоÑĢÑĤ еÑģ +ĠÐļоÑģ ово +ĠÐļÑĢай не +ĠÐļ ÑĢедиÑĤ +ĠÐļÑģ ениÑı +ĠÐļÑĥб ани +ĠÐļÑĥв ейÑĤ +ĠÐļÑįÑĤ ÑĢин +ĠÐĽÐ°ÑĢ иÑģа +ĠÐĽÐµÑģ ков +ĠÐĽÐµÑĤ Ñĩик +ĠÐĽÑĥж ков +ĠÐĽÑĥÑĩ ÑĪие +ĠÐĽÑİб лин +ĠÐľÐ°Ð³ нÑĥÑģ +ĠÐľÐ°Ð½ ÑĥÑįл +ĠÐľÐ°Ñħ мÑĥд +ĠÐľÐµÐ´ иÑĩи +ĠÐľÐµÐ¹ еÑĢÑħ +ĠÐľÐµÑħ ико +ĠÐľÐ¸Ðº оÑıн +ĠÐľÐ¸Ñħ айл +ĠÐľÐ¾Ð¸Ñģ еÑı +ĠÐľÐ¾ÑĢ ÑĢиÑģ +ĠÐľÑĥÑģÑĤ аÑĦ +ĠÐĿав аÑĢÑĢ +ĠÐĿайд ен +ĠÐĿаÑĩ нем +ĠÐĿем ало +ĠÐĿем ÑĨов +ĠÐĿепÑĤ Ñĥн +ĠÐĿеÑģÑĤ оÑĢ +ĠÐĿе Ñĥдив +ĠÐĿиж нÑıÑı +ĠÐŀдеÑģÑģ Ñĥ +ĠÐŀли веÑĢ +ĠÐŀÑĢ джон +ĠÐŀÑĢ еÑħов +ĠÐŀÑĤ кÑĢÑĭв +ĠÐŀÑĤ нÑĭне +ĠÐŀÑĤÑĤ Ñĥда +ĠÐŀÑĨен ка +ĠÐŀÑĩеÑĢ ки +ĠÐŁÐ°ÑĢ енÑĮ +ĠÐŁÐ°ÑĢ кеÑĢ +ĠÐŁÐµÑģ ков +ĠÐŁÐµÑĤÑĢ оз +ĠÐŁÐ»ÐµÐ½ Ñĥм +ĠÐŁÐ» ÑĥÑĤон +ĠÐŁÐ¾Ð·Ð² ол +ĠÐŁÐ¾Ð· иÑĨи +ĠÐŁÐ¾Ð» езн +ĠÐŁÐ¾ÑĤ еÑĢи +ĠÐŁÑĢи бÑĭв +ĠÐŁ ÑĢовеÑĢ +ĠÐłÐ°Ð· вед +ĠÐłÐµÐ· еÑĢв +ĠÐłÐµÐ¹ ган +ĠÐłÐµÐº лам +ĠÐłÐµÑĨ епÑĤ +ĠÐłÐ¸Ñħ аÑĢд +ĠÐłÐ¾Ð´ ине +ĠÐłÐ¾Ð» анд +ĠСай мон +ĠСам Ñģон +ĠСам Ñĥил +ĠСвеÑĤ ло +ĠСеÑĢв иÑģ +ĠСеÑĢг еÑİ +ĠСеÑĢг иÑı +ĠС еÑģÑĤÑĢа +ĠСим ÑĦеÑĢ +ĠСлÑĥж ба +ĠСлÑĥж бÑĭ +ĠСобак а +ĠСоб иÑĢа +ĠСод ÑĢÑĥж +ĠСом али +ĠСпеÑĢ ва +ĠС пÑĢава +ĠСÑģÑĭл ки +ĠСÑĤав ки +ĠСÑĤаÑĤ ÑĥÑģ +ĠСÑĤ аÑĤÑĮи +ĠТвеÑĢ Ñģк +ĠТем пеÑĢ +ĠТол ÑģÑĤÑĭ +ĠТоÑĩ нее +ĠТÑĢен еÑĢ +ĠТÑĢо иÑĨÑĭ +ĠТÑĥÑĢ еÑĨк +ĠТÑĥÑĢ ÑĨиÑİ +ĠУоÑĢ ÑĢен +ĠУ ÑģÑĤÑĢой +ĠУÑĩ еник +ĠФад еев +ĠФе оÑĦан +ĠФÑĢ олов +ĠХоÑĤ иÑĤе +ĠÐ¥ÑĢан иÑĤ +ĠÐ¥ÑĢиÑģÑĤ е +ĠÐ¥ÑĢиÑģÑĤ Ñĥ +ĠÐ¥ÑĢÑĥ ÑīÑijв +ĠЧап лин +ĠЧеÑĢ ног +ĠЧка лов +ĠЧÑĥб айÑģ +ĠШ иллеÑĢ +ĠШиÑĢи на +ĠÐŃд мÑĥнд +ĠЯкÑĥ ÑĤии +Ġабб ÑĢев +Ġав аÑĢиÑı +Ġав ÑģÑĤÑĢо +Ġак коÑĢд +ĠакÑĥ ÑĪеÑĢ +Ġалл еÑĢг +ĠалÑĤ аÑĢÑĮ +Ġапел лÑı +Ġап ÑĤека +ĠаÑĤ ланÑĤ +ĠаÑĤ ÑĤаÑĪе +ĠаÑĥÑĤ енÑĤ +ĠаÑĦин Ñıн +Ġбал лад +Ġбам бÑĥк +ĠбаÑĪ мак +Ġбег леÑĨ +Ġбед нÑĭм +Ġбез ÑĢаз +Ġбина ÑĢн +Ġб инокл +Ġбой коÑĤ +ĠбоÑĢ ÑĨов +ĠбоÑıз нÑĮ +ĠбÑĢод ил +ĠбÑĢод Ñıг +ĠбÑĢок еÑĢ +ĠбÑĥнк еÑĢ +Ġван ной +Ġвед ома +Ġвел оÑģÑĮ +ĠвеÑĤ оÑĩк +ĠвзглÑı н +Ġвз ÑıÑĤие +Ġвз ÑıÑĤиÑı +Ġвлаж но +ĠвлÑİб лÑı +ĠвниÑĩ ÑĮÑİ +ĠвнÑĥÑĪ ал +Ġвоз бÑĥд +Ġвоз зва +Ġво одÑĥÑĪ +Ġв пÑĢÑıмÑĮ +ĠвÑĢаж де +ĠвÑĤоÑĢ Ñĭе +ĠвÑĭ веÑģк +ĠвÑĭ лазк +ĠвÑĭм ога +ĠвÑĭ пиÑģк +ĠвÑĭ ÑĢÑĭва +ĠвÑĭ Ñħлоп +ĠвÑĭÑĪе Ñĥп +Ġгав анÑĮ +Ġгад жеÑĤ +Ġга ÑĥбиÑĨ +ĠгенÑģ ек +Ġгиб нÑĥÑĤ +ĠглаÑģ ил +Ġглоб ÑĥÑģ +Ġгол ени +ĠгоÑĢ ÑĩиÑĨ +ĠгоÑģÑĤ ев +ĠгÑĢ ивен +ĠгÑĢом Ñĩе +ĠгÑĢÑĥб Ñĭе +ĠгÑĢÑĥб Ñĭм +ĠгÑĢÑĥ ÑģÑĤи +ĠгÑĢÑĥ ÑģÑĤÑĮ +ĠгÑĥÑģÑĤ Ñĭм +Ġдав ниÑħ +ĠдаÑĤ Ñĩан +ĠдвеÑĢ Ñıм +ĠдвеÑĢ ÑıÑħ +Ġдев айÑģ +Ġд егÑĢад +ĠдеÑĢев Ñĥ +ĠдеÑģ еÑĢÑĤ +ĠдеÑĤ Ñģко +ĠдеÑı ние +Ġдли лÑģÑı +ĠдобÑĭ Ñĩе +Ġдожд ей +Ġдожд ем +Ġдом ога +ĠдоÑģ еле +ĠдÑĢаг Ñĥн +ĠдÑĥÑĢа ÑĨк +Ġеди наÑı +Ġедин ом +ĠжаÑĢ гон +Ġжел авÑĪ +ĠжелÑĤ Ñĭе +Ġжел ÑĤÑĭй +Ġжел ÑĤÑĭм +Ġжем ÑĩÑĥг +Ġжив ÑĪиÑħ +Ġзаб ÑĥдÑĥ +Ġзад ние +Ġзад ниÑĨ +Ġзад Ñĥма +Ġзад ÑĭÑħа +Ġзам ков +ĠзаÑģ нÑĥл +Ġза ÑģÑĤен +Ġза ÑģÑĤÑĭл +ĠзаÑĤ Ñĭлк +ĠзаÑĤ Ñıжн +ĠзаÑıв ок +Ġзв енÑĮÑı +Ġзем лÑijй +Ġзим ней +Ġзим ние +Ġзим ний +Ġзлод ей +Ġзоди ак +Ġзон ÑĤик +Ġид илли +Ġид ÑĥÑīие +Ġид ÑĥÑīий +Ġид ÑĥÑīиÑħ +Ġизвин Ñı +Ġиздав а +Ġизмен е +ĠизÑĬ ÑıÑĤÑĭ +Ġини ÑĨии +Ġин квиз +Ġин оÑĢод +Ġин ÑĤона +ĠинÑĦ анÑĤ +ĠипоÑĤ ек +ĠиÑĢон ии +ĠиÑģÑĤ оки +ĠиÑĥд еев +Ġкаб инÑĥ +Ġкаб лÑĥк +Ġказ ино +Ġказ Ñijнн +ĠкаÑĢ дио +ĠкаÑĢ низ +ĠкаÑĤоÑĢ г +Ġка ÑĥÑĩÑĥк +ĠкаÑĪ елÑĮ +ĠкаÑĪ ÑĤан +ĠквеÑĢ ÑħÑĥ +Ġки ноÑģÑĤ +ĠкиÑĢ гиз +Ġклад еÑĤ +Ġклад ов +Ġкниж ке +Ġкноп ок +Ġков Ñĩег +Ġкока ин +Ġкол оÑģÑģ +Ġкол пак +Ġком мÑĥÑĤ +Ġкомп аÑģ +Ġкон Ñģол +ĠконÑĦ иÑģ +Ġкон ÑĬÑİн +Ġкон ÑİÑĪн +ĠкоÑĢ оли +ĠкоÑģÑĤ Ñĭл +ĠкоÑĤ леÑĤ +ĠкоÑĪ аÑĩÑĮ +ĠкÑĢап ив +ĠкÑĢи ÑĩаÑĤ +ĠкÑĢов Ñıн +ĠкÑĢÑĥж ев +ĠкÑĢÑĭ ÑĪка +ĠкÑĢÑĭ ÑĪки +ĠкÑĢÑĭ ÑĪкÑĥ +ĠкÑĢÑİ Ñĩок +ĠкÑĥÑħ онн +ĠлаÑĤ ино +Ġлег каÑı +Ġл екÑĤоÑĢ +Ġлек ÑĨиÑİ +Ġлени вÑĭ +Ġлиз инг +Ġлог иÑĩн +Ġлож кой +Ġлож нÑĭе +Ġлож нÑĭм +Ġлож нÑĭÑħ +ĠлопаÑĤ к +ĠлоÑĤ еÑĢе +ĠлÑİб иÑĪÑĮ +ĠлÑİб озн +ĠлÑİ ÑĦÑĤва +Ġмаг наÑĤ +Ġма лÑıÑĢи +Ġмам онÑĤ +Ġман ÑijвÑĢ +ĠмаÑĢ ган +ĠмаÑĢ кеÑĢ +Ġмед вед +Ġмед ико +Ġмел кий +Ġмел ким +Ġмел оÑĩÑĮ +Ġмем оÑĢи +Ġмен едж +ĠмеÑĢ кам +ĠмеÑĪ али +ĠмиÑĢ озд +ĠмиÑĪ енÑĮ +Ġмод Ñĥли +Ġмолод ÑĨ +Ġмол ÑĩиÑĤ +ĠмоÑī наÑı +ĠмоÑī нÑĥÑİ +ĠмÑĥÑĪ кеÑĤ +ĠмÑĭÑģ лÑıÑħ +ĠмÑıг кие +ĠмÑıг киÑħ +Ġнав еки +Ġна илÑĥÑĩ +Ġнап оле +ĠнаÑĩ нÑijÑĤ +Ġнед ÑĢаÑħ +Ġнек оÑĢÑĢ +Ġнеп ÑĢин +ĠнеÑĥд ив +ĠнеÑĥк лÑİ +Ġне ÑĩеÑģÑĤ +Ġниж ние +Ġниз кÑĥÑİ +Ġнов изн +Ġнока ÑĥÑĤ +ĠноÑĩ лег +Ġоб лиÑĩа +Ġоб моÑĤк +Ġобн ажа +Ġоб оÑģоб +Ġоб оÑĪел +Ġоб оÑĪли +Ġоб Ñģлед +Ġоб ÑĪивк +ĠобÑĭÑĩа Ñİ +ĠогоÑĢ Ñĩа +Ġог ÑĥÑĢÑĨÑĭ +Ġод олев +Ġожив лÑı +Ġоз аÑĢен +Ġокон еÑĩ +Ġолен ей +Ġо лигаÑĢ +Ġо лимпи +ĠопаÑģ на +ĠопаÑģ нÑĭ +Ġоп екÑĥн +Ġопл аÑĤа +ĠоплаÑĤ е +Ġоп ÑĨион +ĠоÑĢб иÑĤа +ĠоÑĢÑĥж иÑİ +ĠоÑģ енне +ĠоÑģ еÑĤин +ĠоÑģÑĤав а +ĠоÑģÑĤ ÑĢаÑı +ĠоÑĤ вÑĢаÑĤ +ĠоÑĤ клад +ĠоÑĤ ладк +ĠоÑĤ оÑĪла +ĠоÑĤ ÑĢеаг +ĠоÑĤ ÑĤеÑģн +ĠоÑħ лади +ĠоÑħоÑĤ ой +ĠоÑĪиб ÑģÑı +Ġпал иÑĤÑĢ +ĠпалÑĥб Ñĥ +ĠпалÑĥб Ñĭ +Ġпани ке +Ġпани кÑĥ +Ġпан ÑĨиÑĢ +ĠпаÑĢ нем +ĠпаÑĢ оÑĩк +ĠпаÑģÑĤ ÑĭÑĢ +ĠпаÑħ неÑĤ +ĠпеÑĢ Ñģов +ĠпеÑĢ ÑĨем +ĠпеÑĢ ÑĮев +ĠпеÑģ ком +ĠпеÑĤ иÑĨи +Ġплав ал +Ġпл азмÑĭ +Ġплан еÑĢ +ĠплеÑĩ ев +Ġпов еÑģÑĤ +Ġпог оде +Ġпого ÑģÑĤ +Ġпог ÑĢÑĥз +ĠподаÑĩ е +Ġпод ожд +Ġпод Ñĭма +Ġпож иÑĢа +Ġпой мÑĥÑĤ +ĠполÑĮз а +Ġпом ним +Ġпоп олн +ĠпоÑģ ели +Ġпо ÑģпеÑĪ +ĠпоÑģ ÑĥдÑĭ +ĠпоÑħ иÑĤи +ĠпоÑħ иÑīа +ĠпоÑį зиÑİ +ĠпÑĢад ед +ĠпÑĢев оз +ĠпÑĢед ал +ĠпÑĢеÑģ ек +ĠпÑĢим еÑĩ +ĠпÑĢин ÑijÑģ +ĠпÑĢи обÑī +ĠпÑĢов ок +ĠпÑĢÑĭж ок +ĠпÑģиÑħ оз +ĠпÑĥзÑĭ ÑĢе +ĠпÑĥÑĢ пÑĥÑĢ +ĠпÑĥÑĤ аÑĤÑĮ +ĠпÑĥÑĤ ник +ĠпÑĮÑı ниÑĨ +ĠÑĢаз гÑĥл +ĠÑĢаз лив +ĠÑĢаз лÑĥк +ĠÑĢазм ÑĭÑĤ +ĠÑĢазоÑĢ Ñı +ĠÑĢаз ÑĬем +ĠÑĢак ÑĥÑĢÑģ +ĠÑĢан нее +ĠÑĢан ний +ĠÑĢаÑģ каÑĤ +ĠÑĢаÑģÑĤ ÑijÑĤ +ĠÑĢван Ñĥл +ĠÑĢ евеÑĢÑģ +ĠÑĢев нив +ĠÑĢед кий +ĠÑĢез кие +ĠÑĢез киÑħ +ĠÑĢез Ñİме +ĠÑĢеÑĪ ÑijÑĤк +ĠÑĢоз еÑĤк +ĠÑĢоз ово +ĠÑĢÑĥл ево +ĠÑĢÑĭб алк +ĠÑĢÑĭÑĨ аÑĢÑĮ +ĠÑģвин ÑĨа +ĠÑģвÑıз ÑıÑħ +ĠÑģвÑıÑĤ Ñĭе +ĠÑģеÑĢ бов +ĠÑģеÑģÑģ иÑı +ĠÑģжаÑĤ иÑı +ĠÑģид евÑĪ +ĠÑģилÑĮ на +ĠÑģилÑĮ нÑĭ +ĠÑģиÑı ние +ĠÑģказ кÑĥ +ĠÑģк ован +ĠÑģкоÑĢ би +ĠÑģкоÑĢ бÑĮ +ĠÑģкÑĥ днÑĭ +ĠÑģлаб аÑı +ĠÑģлов еÑģ +ĠÑģлÑĥÑħ ам +ĠÑģлÑĥÑĩ ив +ĠÑģл ÑĭÑħал +ĠÑģлÑĭÑĪ аÑĤ +ĠÑģмеÑģ ÑĮÑİ +ĠÑģним ка +ĠÑģним ок +ĠÑģнÑı ÑĤÑĭй +ĠÑģоб аÑĩк +ĠÑģож гли +ĠÑģоз ÑĢев +ĠÑģом кнÑĥ +ĠÑģоÑģ лан +ĠÑģоÑĨи Ñĥм +ĠÑģ ÑĢабаÑĤ +ĠÑģÑĢод ни +ĠÑģÑĤад ий +ĠÑģÑĤеб ле +ĠÑģÑĤеб лÑı +ĠÑģÑĤек ол +ĠÑģÑĤен ке +ĠÑģÑĤен ок +ĠÑģÑĤеÑĢе о +ĠÑģÑĤой ка +ĠÑģÑĤолк н +ĠÑģÑĤ олÑıÑĢ +ĠÑģÑĤ омаÑĤ +ĠÑģÑĤÑĢаж и +ĠÑģÑĤÑĢо ем +ĠÑģÑĤÑĥд иÑİ +ĠÑģÑĤ ÑĥлÑĮÑı +ĠÑģÑĥдÑĮ ей +ĠÑģÑĥ иÑĨид +ĠÑģÑĥнд Ñĥк +ĠÑģÑĥп ÑĢÑĥж +ĠÑģÑĥÑħ ого +ĠÑģÑĬем ок +ĠÑģÑĭ гÑĢан +ĠÑĤаб лиÑĩ +ĠÑĤадж ик +ĠÑĤай ком +ĠÑĤай меÑĢ +ĠÑĤай ник +ĠÑĤамож н +ĠÑĤанк еÑĢ +ĠÑĤан ÑĨоÑĢ +ĠÑĤвоÑĢ ог +ĠÑĤепл Ñĭе +ĠÑĤепл Ñĭй +ĠÑĤепл Ñĭм +ĠÑĤеÑģ нÑĭе +ĠÑĤиÑĪ ине +ĠÑĤкан ÑıÑħ +ĠÑĤолп ой +ĠÑĤон кÑĥÑİ +ĠÑĤÑĢ аÑģÑģа +ĠÑĤÑĢаÑĤ иÑĤ +ĠÑĤÑĢ ениÑı +ĠÑĤÑĢеÑĤ ей +ĠÑĤÑĢон ÑĥÑĤ +ĠÑĤÑĢÑĥпп Ñĭ +ĠÑĤÑıж кие +ĠÑĥв еков +ĠÑĥвид ÑıÑĤ +ĠÑĥв лажн +ĠÑĥглÑĥб и +ĠÑĥгод ÑĮÑı +ĠÑĥд воен +ĠÑĥдив иÑĤ +ĠÑĥзна ÑijÑĤ +ĠÑĥкÑĢеп и +ĠÑĥкÑĢ опа +ĠÑĥкÑĢ Ñĭва +ĠÑĥлÑĭб кÑĥ +ĠÑĥмнож а +ĠÑĥ пÑĢоÑģÑĤ +ĠÑĥ пÑĢÑıмо +ĠÑĥÑģ адеб +ĠÑĥÑģво ил +ĠÑĥÑģ моÑĤÑĢ +ĠÑĥÑģп ока +ĠÑĥÑĤеÑĢ Ñıн +ĠÑĥÑĤом лÑı +ĠÑĥÑĤ онÑĥл +ĠÑĥÑĤ ÑĢаÑĤÑĭ +ĠÑĥÑĨел ел +ĠÑĥÑĩ аÑĤÑģÑı +ĠÑĥÑĩ ении +ĠÑĥÑĩени ÑĨ +ĠÑĥÑĩ ениÑİ +ĠÑĥÑĩили Ñī +ĠÑĥÑī елÑĮÑı +ĠÑĦал анг +ĠÑĦона ÑĢÑĮ +ĠÑĦона ÑĢÑı +ĠÑĦÑĢаз ой +ĠÑĦÑĢан ко +ĠÑĦÑĥ ÑĢажк +ĠÑĦÑĥÑĢг он +ĠÑħв аÑģÑĤа +ĠÑħвой нÑĭ +ĠÑħокке Ñı +ĠÑħол еÑģÑĤ +ĠÑħÑĢан ÑıÑĤ +ĠÑħÑĢÑĥп ко +ĠÑħÑĥд ÑĪем +ĠÑĨаÑĢ евн +ĠÑĨаÑĢи ÑĨа +ĠÑĨаÑĢи ÑĨÑĭ +ĠÑĨвеÑĤ ÑĥÑī +ĠÑĨиÑĤ иÑĢÑĥ +ĠÑĩай ник +ĠÑĩеÑĢ вей +ĠÑĩеÑĢ дак +ĠÑĩеÑĢ нÑĥÑİ +ĠÑĩиÑģÑĤ ÑĭÑħ +ĠÑĩÑĢев аÑĤ +ĠÑĩÑĤ ениÑİ +ĠÑĩÑijÑĢ ной +ĠÑĩÑijÑĢ нÑĭе +ĠÑĩÑijÑĢ нÑĭм +ĠÑĩÑijÑĢ нÑĭÑħ +ĠÑĪанÑĤ аж +ĠÑĪаÑħ ÑĤеÑĢ +ĠÑĪиÑĢ ине +ĠÑįгид ой +ĠÑįз оÑĤеÑĢ +ĠÑįкÑģÑĤ аз +ĠÑįÑģк оÑĢÑĤ +ĠÑıÑĩей ка +ĠÑıÑī еÑĢиÑĨ +ĠÑijм коÑģÑĤ +ÐIJб ÑģолÑİÑĤ +ÐIJпок али +ÐIJ поллон +ÐIJÑĤлеÑĤ ик +Ðijез опаÑģ +ÐijиÑģ маÑĢк +ÐijолÑĮÑĪ ой +ÐijÑĥд ÑĥÑīее +ÐĴенг ÑĢиÑı +ÐĵенеÑĢ ал +ÐĶейÑģÑĤв Ñĥ +ÐĶеÑĤ ÑĢойÑĤ +ÐĶон баÑģÑģ +ÐĺÑģп овед +Ðļол окол +Ðļон еÑĩно +ÐļоÑĢ олев +ÐļÑĢаÑģ наÑı +ÐĽÐµÑĤ опиÑģ +ÐľÐ¸Ð» лион +ÐľÐ¾Ð»Ð¾Ð´ Ñijж +ÐŁÐ°ÑĤ ÑĢиоÑĤ +ÐŁÐµÑĩеÑĢ Ñģк +ÐŁÐ»ÑĥÑĤ аÑĢÑħ +ÐŁÐ¾Ð² еÑģÑĤи +ÐŁÐ¾Ð¼ÐµÑĢ ан +ÐłÐ°Ð±Ð¾Ñĩ ий +ÐłÐµÐ²Ð¸Ð· оÑĢ +СпÑĥÑĤ ник +СÑĤÑĢ аÑĤег +ТоÑĢ педо +Убий ÑģÑĤв +ФÑĢан ÑĨиÑı +Ð¥ÑĮÑİ ÑģÑĤон +Ш вейÑĨаÑĢ +ÐŃнеÑĢг иÑı +ав ÑĤомаÑĤ +агаÑģ каÑĢ +акваÑĢ ел +алиÑģÑĤ ов +андж ело +аÑĢамеÑĤ ÑĢ +аÑģ ÑĪÑĤабн +аÑĤив ное +аÑİÑīиÑħ ÑģÑı +баÑģÑģ ейн +беÑģп око +биÑĢай ÑĤе +бог аÑĤÑĭÑĢ +бÑĢал аÑģÑĮ +б Ñĭвание +б ÑĭваниÑı +виг аÑĤел +влек аеÑĤ +вод оÑĢод +вод ÑıÑīие +вод ÑıÑīий +вод ÑıÑīиÑħ +вÑĭÑĢаж ен +вÑĭÑĩиÑģ ли +вÑijÑĢÑĤ Ñĭва +гег емон +генеÑĢ ал +гоÑĢ ожен +гÑĢÑĥз оÑĩн +дав аÑıÑģÑĮ +деÑĢг ива +дÑĢоб лен +евÑĢаз ий +ед иÑĩеÑģк +елÑĮ ного +елÑĮ ÑĩеÑģк +елÑı ÑİÑĤÑģÑı +енга ÑĥÑįÑĢ +еÑĢб аков +еÑĢ иÑĩеÑģк +еÑĩен нÑĭм +еÑī аÑĤÑĮÑģÑı +жив аниÑı +зелÑij нÑĭе +зелÑij нÑĭй +ива ÑİÑīие +икмаÑħ еÑĢ +икÑĤ ован +илиз аÑĨи +ина лиÑģÑĤ +ионалÑĮ н +каз Ñĥемо +каз ÑĭваÑı +кап иÑĤал +кипÑı Ñĩен +клÑİÑĩ аем +клÑİÑĩ иÑĤе +ком иÑĤеÑĤ +конÑĨ еÑĢÑĤ +коÑĢм лен +коÑģ венн +кÑĢа ÑĪива +кÑĢеп иÑĤÑĮ +кÑĢеп лÑijн +кÑĢеÑī ива +кÑĥÑĢÑģ ник +лаÑģÑģ ник +леÑĩ ений +ливÑĥд Ñģк +лиз аÑĤоÑĢ +лиÑģÑĤ иÑĩе +лож ений +лок аÑĨии +маÑĤÑĢ ива +м ладÑĪий +моÑĢÑĦ изм +мÑĭÑģл енн +нем еÑĨки +ним айÑĤе +ниÑĨ кого +нолог иÑĩ +ноÑĢ ÑĥÑĩно +обоÑĢ ÑģÑĤв +обÑĥз дан +овеÑĢ оÑıÑĤ +огÑĢаÑĦ ий +озав ÑĢов +озаÑīиÑĤ н +озд оÑĢов +олод оÑĩн +олÑĮ евиÑĩ +омаÑĤ еÑĢи +омеÑĤ ÑĢов +оÑĢ аÑĩива +оÑĢж енно +оÑĢ ÑĤиÑĢов +оÑģеÑĢ диÑı +оÑģпиÑĤ ал +оÑģÑĤ еÑĢег +оÑĤвоÑĢ но +оÑĩеÑĢед н +планеÑĤ н +пли каÑĨи +пов ÑģÑĤан +под озÑĢи +под полÑĮ +поз иÑĨиÑı +полиÑĤ ик +полиÑĤ ой +полн иÑĤе +поÑĢÑĤ ÑĢеÑĤ +пÑĢавлÑı Ñİ +пÑĢав лÑıÑı +пÑĢед меÑĤ +пÑĢоиз во +пÑĢоÑģ иÑĤÑĮ +пÑĢ оÑĤеин +пÑĢо ÑĨенÑĤ +ÑĢаж ениÑı +ÑĢан ÑĤÑĥÑĢÑĥ +ÑĢаÑģÑĤв оÑĢ +ÑĢед елÑĮн +ÑĢеж ение +ÑĢибÑĥ ÑĤив +ÑĢи ÑĢовал +ÑĢиÑģÑĤ ойн +ÑĢов ание +ÑĢов аннÑĭ +ÑĢÑĥж еник +ÑĢÑĭв аÑıÑģÑĮ +Ñģан иÑĤаÑĢ +ÑģколÑĮз а +Ñģк оÑĩиÑĤÑĮ +ÑģкÑĢип ÑĨи +Ñģлед Ñĥем +ÑģовеÑĤ Ñģк +Ñģолн еÑĩн +ÑģÑĤав ÑĪиÑħ +ÑģÑĤанов к +ÑģÑĤан ÑĮÑĤе +ÑģÑĤоÑı ниÑı +ÑģÑĤÑĢ аниÑĨ +ÑģÑĤÑĢÑĥк ÑĨи +ÑģÑħол аÑģÑĤ +ÑĤ андаÑĢÑĤ +ÑĤеÑĢап иÑİ +ÑĤеÑģ ниÑĤÑĮ +ÑĤ оваÑĢиÑī +ÑĤÑĢид ÑĨаÑĤ +ÑĤÑĢой кой +ÑĤÑĢÑıÑħ ива +Ñĥваж аем +Ñĥказ анн +Ñĥли ÑĢÑĥеÑĤ +ÑĥлÑı ÑĤивн +Ñĥ нивеÑĢÑģ +ÑĦÑĢан ÑĪиз +ÑĨел оÑģÑĤн +ÑĨив илиз +ÑĨи линдÑĢ +Ñĩем пион +ÑĪин Ñģкий +ÑĬем лемо +Ñĭва ÑİÑīиÑħ +ÑįкÑģп еÑĢÑĤ +ÑįмиÑĤ енÑĤ +ÑįнÑĨе ÑĦал +Ñijн ноÑģÑĤÑĮ +Ġliber at +Ġpron oun +Ġsimul at +S ullivan +ccum ulat +c ultural +c ylinder +f amilies +inform al +re ceptor +v ocation +ĠÐIJвÑĤ оном +ĠÐIJзов Ñģко +ĠÐIJкÑģ аков +ĠÐIJн ÑĤанÑĤÑĭ +ĠÐIJнÑĤон ий +ĠÐIJнÑĤон иÑı +ĠÐIJпп аÑĢаÑĤ +ĠÐIJÑĢк ÑĤики +ĠÐIJÑĢм ениÑı +ĠÐijаб ÑĥÑĪка +ĠÐijак Ñĥнин +ĠÐijалÑĮ зак +ĠÐijеÑĢ дÑıев +ĠÐijи огÑĢаÑĦ +ĠÐijол езнÑĮ +ĠÐijÑĥÑħ аÑĢин +ĠÐĴав илов +ĠÐĴаÑĢÑĪав Ñĭ +ĠÐĴаÑģ илев +ĠÐĴед ÑĥÑīий +ĠÐĴели ким +ĠÐĴели киÑħ +ĠÐĴели кÑĥÑİ +ĠÐĴеÑĢÑħ ний +ĠÐĴилÑĮ Ñģон +ĠÐĴлиÑı ние +ĠÐĴ озвÑĢаÑĤ +ĠÐĴоз ÑĢаÑģÑĤ +ĠÐĴоз ÑĮмем +ĠÐĴол оÑĪин +ĠÐĴоп ÑĢеки +ĠÐĴÑĢем ени +ĠÐĴÑĤоÑĢ ого +ĠÐĴÑĭÑģок аÑı +ĠÐĴÑĭÑģок ий +ĠÐĴÑĭÑģ ÑĪего +ĠÐĴÑĭ ÑħодиÑĤ +ĠÐĵав ÑĢиил +ĠÐĵенн ади +ĠÐĵеÑĢ одоÑĤ +ĠÐĵолов ин +ĠÐĵоÑģпод Ñĥ +ĠÐĶалÑĮ ний +ĠÐĶем идов +ĠÐĶжей Ñģон +ĠÐĶжеÑĦÑĦ ÑĢи +ĠÐĶжоÑĢ дан +ĠÐĶжÑĥли ан +ĠÐĶик кенÑģ +ĠÐĶÑĢев нем +ĠÐĶÑĢев ние +ĠÐķв ÑĢазии +ĠÐķвÑĢоп ой +ĠÐķ пиÑģкоп +ĠÐķÑĢм олов +ĠÐĸиÑĤ омиÑĢ +ĠÐĹамеÑĤ им +ĠÐĺзаб елл +ĠÐĺз дание +ĠÐĺз обÑĢаж +ĠÐĺзÑı Ñģлав +ĠÐļадÑĭ ÑĢов +ĠÐļажд омÑĥ +ĠÐļам бодж +ĠÐļамен ев +ĠÐļаÑĤ еÑĢин +ĠÐļаÑĦ едÑĢа +ĠÐļаÑĩ еÑģÑĤв +ĠÐļиÑģ елев +ĠÐļли менÑĤ +ĠÐļол леги +ĠÐļон ÑĦÑĥÑĨи +ĠÐļоÑĢаб лÑĮ +ĠÐļоÑĢ ейÑģк +ĠÐļоÑĢоÑĤ ко +ĠÐļÑĥб анÑģк +ĠÐĽÐµÐ¹ бниÑĨ +ĠÐĽÐµ онаÑĢд +ĠÐĽÐ¸Ð±ÐµÑĢ ал +ĠÐĽÐ¾ÑĥÑĢ енÑģ +ĠÐĽÑĭÑģ енко +ĠÐĽÑĮв овиÑĩ +ĠÐľÐ°Ð»Ð¸ нов +ĠÐľÐµÑĢ келÑĮ +ĠÐľÐ¸Ñĩ иган +ĠÐľ ладÑĪий +ĠÐľÐ¾Ð³ илев +ĠÐľÐ¾Ð³ илÑijв +ĠÐľÐ¾Ð¶ айÑģк +ĠÐľÐ¾Ð½Ð¾Ð¼ аÑħ +ĠÐľÐ¾ ÑĨаÑĢÑĤа +ĠÐĿадеж дÑĭ +ĠÐĿаÑĢ одно +ĠÐĿаÑĩ инал +ĠÐĿелÑĮ Ñģон +ĠÐĿигеÑĢ ии +ĠÐĿикак ой +ĠÐĿикиÑĤ иÑĩ +ĠÐĿикол аÑģ +ĠÐĿов оÑĩеÑĢ +ĠÐŀб еÑģпеÑĩ +ĠÐŀконÑĩ ив +ĠÐŀкÑĤÑı бÑĢÑı +ĠÐŀÑģÑĤ алÑĮн +ĠÐŀÑĤ лиÑĩно +ĠÐŁÐ°ÑĨи енÑĤ +ĠÐŁÐ¸ÑĢ огов +ĠÐŁÐ¸Ñģ аниÑı +ĠÐŁÐ¸ÑĤ ание +ĠÐŁ иÑĦагоÑĢ +ĠÐŁÐ¾Ð² ÑĤоÑĢÑı +ĠÐŁÐ¾Ð² ÑĭÑĪен +ĠÐŁÐ¾Ð» агаÑİ +ĠÐŁÐ¾Ð»Ð¾Ð² ин +ĠÐŁÐ¾Ð¿ ÑĥлÑıÑĢ +ĠÐŁÐ¾Ð¿ÑĭÑĤ ка +ĠÐŁÐ¾Ð¿ÑĭÑĤ ки +ĠÐŁÑĢак ÑĤик +ĠÐŁÑĢед меÑĤ +ĠÐŁÑĢи еÑħал +ĠÐŁÑĢод ÑĥкÑĤ +ĠÐŁÑĥг аÑĩÑijв +ĠÐłÐ°Ð± оÑĩие +ĠÐłÐ°Ð·Ð² ива +ĠÐłÐµÐ°Ðº ÑĨиÑı +ĠÐł егиÑģÑĤÑĢ +ĠÐłÐ¾Ð· анов +ĠÐł оналÑĮд +ĠÐłÑĭ бинÑģк +ĠСбоÑĢ наÑı +ĠСвеÑĤ лан +ĠСелÑĮ Ñģко +ĠС еÑĢÑĮезн +ĠСид оÑĢов +ĠСоб олев +ĠСол даÑĤÑĭ +ĠС оÑģÑĤоиÑĤ +ĠСоÑģÑĤоÑı л +ĠСпен ÑģеÑĢ +ĠСÑĢед нев +ĠСÑĤ ÑĢаÑĪно +ĠСÑĥб ÑĬекÑĤ +ĠТаÑĤÑĮÑı нÑĭ +ĠТом пÑģон +ĠТÑĢеб ова +ĠТÑĢÑĥб еÑĨк +ĠТÑĥÑĢ ÑĨией +ĠУÑģлÑĭÑĪ ав +ĠУ ÑģÑĤанов +ĠУÑģÑĤ инов +ĠУÑĩаÑģÑĤ ие +ĠУÑĩиÑĤ елÑı +ĠФед оÑĤов +ĠФил аÑĢеÑĤ +ĠФил аÑĤов +ĠÐ¥ елÑĮÑģин +ĠХоÑĢо ÑĪий +ĠХоÑĩ еÑĤÑģÑı +ĠЦаÑĢи ÑĨÑĭн +ĠЧÑĥв ÑģÑĤво +ĠЧÑĥков Ñģк +ĠШÑĥв алов +ĠÐŃкв адоÑĢ +ĠÐŃÑģÑĤон Ñģк +ĠÐŃÑĦиоп ии +ĠагÑĢ оном +Ġадап ÑĤеÑĢ +Ġа лименÑĤ +Ġанн екÑģи +ĠанÑĤ иÑĤел +Ġа ÑĢиÑĦмеÑĤ +ĠаÑĦоÑĢ изм +Ġбаз овой +Ġбаз овÑĭе +Ġбаз овÑĭй +Ġбан кÑĢоÑĤ +ĠбаÑģÑĤи он +ĠбаÑĤаÑĢ ее +ĠбаÑĤаÑĢ еÑİ +Ġбег ÑģÑĤва +Ġбеж енÑĨа +Ġбез возм +Ġбезд омн +Ġбез оÑĪиб +ĠбезÑĥм иÑı +ĠбейÑģ бол +ĠбеÑģ ÑĨенн +ĠбиоÑģ ÑĦеÑĢ +Ġблок ноÑĤ +Ġблон дин +Ġбок овÑĭе +Ġбол ÑĤовн +ĠболÑĮ ниÑĨ +ĠбоÑĢ еÑĤÑģÑı +ĠбоÑĤ инки +ĠбоÑı лаÑģÑĮ +ĠбÑĢаÑģ леÑĤ +ĠбÑĢÑİ ÑĪной +ĠбÑĥÑĤÑĭл ка +ĠбÑĭÑģÑĤ ÑĢÑĭе +ĠбÑĭÑģÑĤ ÑĢÑĭÑħ +ĠбÑĭÑĤов Ñĭе +ĠведÑĥÑī аÑı +ĠведÑĥÑī ÑĥÑİ +Ġвед ÑijÑĤÑģÑı +ĠвеÑĢ дикÑĤ +ĠвеÑĢ нÑĥÑģÑĮ +ĠвеÑĢ Ñģией +ĠвеÑĢÑģÑĤ аÑħ +ĠвеÑĢÑħ ние +ĠвеÑģ елÑĮе +Ġвзаим оп +Ġвз леÑĤел +Ġвз ÑıлиÑģÑĮ +Ġвиз анÑĤи +ĠвкÑĢаÑĤ ÑĨе +ĠвлаÑģÑĤ но +ĠвлиÑı нии +ĠвлиÑı ÑİÑīи +Ġвовл ека +Ġвод олаз +Ġвозв ели +Ġвозв ÑĭÑģи +Ġвоз глаÑģ +Ġвоз ÑĮмем +Ġвол оÑģÑĤн +Ġво обÑĢаз +ĠвоÑģп ева +ĠвоÑģÑĮ мой +ĠвпÑĢав дÑĥ +ĠвÑĢаÑĤ аÑĢÑĮ +ĠвÑģÑĤав ал +ĠвÑĥлÑĮ гаÑĢ +ĠвÑĭ везен +ĠвÑĭ дÑĥман +ĠвÑĭ еÑħаÑĤÑĮ +ĠвÑĭжив ÑĪи +ĠвÑĭиг ÑĢан +ĠвÑĭп ÑĢÑıми +ĠвÑĭпÑĥк ло +Ġгвозд ик +Ġгеп аÑĤиÑĤ +ĠглÑİ ÐºÐ¾Ð·Ñĭ +ĠговÑı дин +ĠгоÑĢÑıÑĩ ее +ĠгоÑĢÑıÑĩ ие +ĠгоÑĢÑıÑĩ иÑħ +ĠгоÑĢÑıÑĩ ÑĥÑİ +ĠгÑĢеÑĪ ник +ĠгÑĢом кий +ĠгÑĢом ким +ĠгÑĢоÑĤ еÑģк +Ġдалек ие +Ġдалек иÑħ +ĠдалÑĮ ние +ĠдалÑĮ ний +Ġдвой нÑĭм +Ġдел айÑĤе +Ġдеп озиÑĤ +ĠдеÑģÑıÑĤ кÑĥ +ĠдеÑĤ енÑĭÑĪ +ĠдеÑĤ Ñģким +ĠдеÑĤ ÑģкÑĥÑİ +ĠдиаÑģ поÑĢ +Ġдиков ин +ĠдиÑĢ екÑĨи +ĠдиÑĢи жеÑĢ +Ġдли лаÑģÑĮ +Ġдли лоÑģÑĮ +Ġдлин нÑĥÑİ +Ġдобав им +ĠдовеÑĢ Ñıл +Ġдон еÑģÑĤи +ĠдоÑĢож ка +ĠдоÑĢож ки +ĠдÑĢ аÑĤÑĮÑģÑı +ĠдÑĢев нÑıÑı +ĠдÑĥбли ÑĢÑĥ +Ġем коÑģÑĤи +Ġжал оÑģÑĤи +Ġжал оÑģÑĤÑĮ +ĠжелÑĥд оÑĩ +Ġжен Ñģкое +ĠжеÑģÑĤ кие +ĠжеÑģÑĤ кий +ĠжеÑģÑĤ ким +ĠжеÑģÑĤ киÑħ +Ġзабл Ñĥди +ĠзавиÑģÑĤ и +Ġзав ÑĭÑĪен +Ġзагад ка +Ġзагад ки +Ġзаг ÑĢажд +Ġзад аниÑİ +Ġзаем Ñīик +ĠзакÑĢеп и +ĠзакÑĥп ки +Ġзам аÑģки +Ġзамен иÑĤ +ĠзамеÑĢ за +ĠзамеÑĤ иÑĤ +ĠзамеÑĤ на +ĠзапиÑģ ке +ĠзапиÑģ Ñıм +Ġзап озда +ĠзаÑĢ ожда +Ġза ÑģÑĤÑĢой +ĠзаÑģÑĤÑĢ Ñıл +ĠзаÑģÑĤ ÑĭвÑĪ +ĠзаÑĤ онÑĥл +ĠзаÑĤ оÑĩен +ĠзаÑĤÑĢÑĥд н +ĠзаÑħоÑĤ ÑıÑĤ +Ġзвон иÑĤÑĮ +Ġзвон ков +Ġзелен ÑĭÑħ +ĠзеÑĢка ле +Ġзим него +ĠзнаÑĤ нÑĭÑħ +ĠзолоÑĤ Ñĭм +ĠзÑĢиÑĤ елÑİ +ĠигÑĢÑĥÑĪ ек +ĠигÑĢÑĥÑĪ ка +Ġизбав лÑı +Ġизби ени +Ġизв еÑīен +Ġиздели е +ĠизлиÑĪ ни +Ġизмен иÑĤ +Ġизм ÑĥÑĩен +ĠизÑıÑī нÑĭÑħ +ĠиллÑİ Ð·Ð¸Ð¹ +ĠиллÑİ Ð·Ð¸Ñİ +Ġимел аÑģÑĮ +Ġимен ÑĥÑİÑĤ +Ġиндей ÑĨа +Ġиндей ÑĨÑĭ +ĠиндÑĥ иÑģÑĤ +ĠинеÑĢ ÑĨии +Ġин ÑģÑĤÑĢÑĥк +Ġин ÑģÑĥлÑĮÑĤ +ĠиÑģпан ÑĨа +ĠиÑģпан ÑĨÑĭ +ĠиÑģÑĩез ал +ĠиÑģÑĩез ло +ĠиÑģÑĩеÑĢ па +ĠиÑģ ÑĩиÑģлÑı +ĠиÑĤеÑĢ аÑĨи +ĠказаÑĩ ÑĮе +Ġка ÑĢабин +ĠкаÑĢ дина +ĠкаÑĤоÑĢ жн +ĠкваÑĢÑĤ еÑĤ +ĠкиÑĤай ÑĨа +Ġкноп кой +ĠкнÑıгин и +ĠкнÑıгин Ñı +Ġколод ÑĨа +Ġколон иÑİ +Ġколон ки +Ġкомб айн +Ġкон ниÑĨÑĭ +ĠконÑģ олÑĮ +ĠконÑĨ лаг +Ġкоп ейки +ĠкоÑĢоб ке +Ġк оÑģÑĤоÑĩк +ĠкоÑĪ елÑĮк +ĠкÑĢай ниÑħ +ĠкÑĢаÑĤ кий +ĠкÑĢеп кие +ĠкÑĢеп кий +ĠкÑĢеп ким +ĠкÑĢÑĥг лоÑģ +ĠкÑĢÑĥг лÑĭм +ĠкÑĢÑĥп нее +ĠкÑĥÑĢ аÑĤоÑĢ +Ġлед окол +ĠлекÑģ ико +ĠлеÑĩ ениÑİ +Ġли ÑĨевой +ĠлиÑĩ инки +ĠлиÑĪ него +Ġлов ÑĥÑĪкÑĥ +Ġлог икой +Ġлож иÑĤÑģÑı +ĠлÑİб езнÑĭ +Ġмавз оле +Ġмак аÑĢон +ĠмаÑĢ Ñģиан +ĠмаÑģÑģ ово +ĠмаÑĤеÑĢ ей +ĠмаÑı ÑĤник +Ġмел кого +ĠмемÑĥ аÑĢÑĭ +ĠменÑĮ ÑĪий +ĠменÑĮ ÑĪиÑħ +ĠменÑĮ ÑĪÑĥÑİ +ĠмеÑĢÑĤв Ñĭм +ĠмеÑģÑĤ она +ĠмеÑĨ енаÑĤ +ĠмеÑĩÑĤ аеÑĤ +ĠмеÑĩÑĤ аÑĤÑĮ +Ġмили ÑĨиÑİ +Ġмили ÑĨиÑı +Ġмин овал +Ġмин ÑĥвÑĪе +ĠмиÑĢов ое +Ġмод елÑıм +Ġмод елÑıÑħ +Ġмолод еÑĨ +Ġмон олиÑĤ +ĠмоÑĢе Ñħод +ĠмоÑĢ кови +ĠмÑĥÑĢав ÑĮи +ĠмÑĥÑĤ аÑĨии +ĠмÑĥÑĩ ениÑı +Ġнаг неÑĤа +Ġнад евал +Ġнад зиÑĢа +Ġнадо ело +Ġнап Ñĥган +ĠнаÑĢÑĥÑĪ ал +ĠнаÑģÑĤоÑı л +ĠнаÑħод ка +ĠнаÑħод ок +Ġнев згод +Ġнед аÑĢом +Ġней ÑĤÑĢал +Ġнеоб ÑĢаÑĤ +Ġне опÑĭÑĤн +Ġнеп окол +ĠнеÑĢов но +ĠнеÑģ ÑĢавн +ĠнеÑĥдоб н +Ġне ÑĥпÑĢав +Ġнов енÑĮк +Ġнов иÑĩка +ĠобаÑı ние +Ġобвин ен +Ġоб елиÑģк +ĠобеÑī аÑİÑĤ +Ġоб иÑĤели +Ġоблад аÑı +Ġоблом ки +Ġобман Ñĥл +Ġоб моÑĢок +Ġоб наÑĢод +Ġоб огаÑīа +ĠобоÑĢ вал +ĠобоÑĢ она +ĠобоÑģÑĤ ÑĢÑı +ĠобÑĢаÑī аÑı +Ġоб ÑĢиÑģов +Ġоб ÑģÑĤоÑıÑĤ +ĠобÑī алÑģÑı +ĠобÑĬÑıв ив +ĠобÑĭ Ñĩаев +Ġог ненно +Ġог неÑģÑĤÑĢ +Ġодеж дой +Ġозв ÑĥÑĩен +ĠокÑĢаÑģ ки +ĠокÑĢÑĥж ал +ĠокÑĢÑĥж Ñijн +ĠопеÑĢ еÑĤÑĤ +Ġоп оÑģÑĢед +ĠопÑĥÑħ олÑĮ +ĠоÑĢ динаÑĢ +ĠоÑģкол ки +ĠоÑģÑĤав иÑĤ +ĠоÑģÑĤаÑĤ ка +ĠоÑģ ÑĥждÑijн +ĠоÑĤмеÑĤ им +ĠоÑĤозв ал +ĠоÑĤозв ан +ĠоÑĤоÑĢ вал +ĠоÑĤоÑĢ ван +ĠоÑĤÑĢез ок +ĠоÑĤÑģ ÑĢоÑĩк +ĠоÑĤÑģ ÑĩеÑĤа +ĠоÑĤÑĤен ка +ĠоÑĤÑĤен ки +ĠоÑĤÑĭ гÑĢал +ĠоÑħÑĢан Ñıл +ĠоÑĨен кой +ĠоÑīÑĥÑĤ иÑĤÑĮ +Ġпад ении +Ġпал оÑĩки +Ġпанд еми +Ġпап иÑĢоÑģ +ĠпеÑĢев еÑģ +ĠпеÑĢеÑĢ аÑģ +ĠпеÑģÑĩ ано +ĠпилоÑĤ аж +ĠпиÑĤ ании +Ġплав аÑĤÑĮ +Ġплак ала +ĠплоÑģ кие +ĠплоÑģ ким +ĠплоÑĤ ник +Ġповел ел +ĠподаÑĢ ен +Ġпод лодк +ĠподнÑı ÑĤÑĭ +Ġпод олгÑĥ +Ġпод ÑĢазд +Ġпоезд ке +Ġпожал ел +Ġпожил ой +Ġпожил ÑĭÑħ +Ġпоз абоÑĤ +Ġпозд ний +Ġпозд ним +Ġпокин ÑĥÑĤ +ĠпокоÑĢ ен +ĠпокоÑĢ ил +ĠпокÑĥп ка +Ġпол века +Ġпол ноÑĤÑĭ +ĠполоÑĤ ни +Ġпол ÑĤоÑĢÑĭ +Ġпол ÑĥднÑı +ĠпонÑıÑĤ нÑĭ +Ġпоп ÑĢиÑīе +ĠпоÑĢоÑĪ ка +ĠпоÑģад ке +ĠпоÑģеÑĤ ив +ĠпоÑģл ево +ĠпоÑģоб ий +ĠпоÑģ ÑģоÑĢи +ĠпоÑģÑĤ иÑĩÑĮ +Ġпо ÑģÑĤоÑıл +ĠпоÑĤеÑĢ ей +ĠпоÑħ иÑĤил +ĠпоÑĩ ÑĤенн +ĠпоÑıÑģ ниÑĨ +ĠпÑĢав дой +ĠпÑĢед нам +ĠпÑĢеж нем +ĠпÑĢез ÑĢен +ĠпÑĢек ÑĢаÑĤ +ĠпÑĢем ией +ĠпÑĢив ивк +ĠпÑĢив неÑģ +ĠпÑĢи лавк +ĠпÑĢи ноÑģÑı +ĠпÑĢиÑĢод о +ĠпÑĢиÑģÑĥÑī а +ĠпÑĢиÑģ ÑıгÑĥ +ĠпÑĢиÑģ Ñıжн +ĠпÑĢиÑĤ еÑģн +ĠпÑĢиÑĩ иÑĤа +ĠпÑĢиÑĪ елÑĮ +ĠпÑĢовед Ñı +ĠпÑĢо еÑħал +ĠпÑĢомÑĭ ÑĤÑĮ +ĠпÑĢоÑģÑĤ ил +ĠпÑĢоÑĪл Ñĭй +ĠпÑĥÑģÑĤ оÑĤа +ĠпÑĥÑģÑĤ оÑĤÑĥ +ĠпÑĥÑģÑĤ оÑĤÑĭ +ĠпÑĥÑģÑĤÑĭ нÑİ +ĠпÑĥÑģÑĤÑĭ нÑı +ĠпÑĭÑĤа ÑİÑģÑĮ +ĠпÑıÑĤÑĮ ÑģоÑĤ +ĠÑĢабоÑĤ од +ĠÑĢаз веÑĢÑĤ +ĠÑĢаз меÑĤк +ĠÑĢаз ÑĬезд +ĠÑĢай кома +ĠÑĢаÑģ кинÑĥ +ĠÑĢаÑģ плаÑĤ +ĠÑĢаÑģÑģе Ñıл +ĠÑĢаÑģÑģ Ñĭлк +ĠÑĢаÑģÑĤи ÑĢа +ĠÑĢаÑģÑĪи ÑĢи +ĠÑĢевиз ии +ĠÑĢели кви +ĠÑĢелÑĮ Ñģов +ĠÑĢемеÑģ ла +ĠÑĢемеÑģ ло +ĠÑĢе ÑĦеÑĢен +ĠÑĢеÑĨи див +ĠÑĢим Ñģкие +ĠÑĢоб оÑĤов +ĠÑĢод ÑģÑĤве +ĠÑĢоÑģ пиÑģи +ĠÑĢоÑģ пиÑģÑĮ +ĠÑĢоÑģ пÑĥÑģк +ĠÑĢÑıд овÑĭÑħ +ĠÑģад овод +ĠÑģ баланÑģ +ĠÑģблиз ил +ĠÑģвадÑĮ ба +ĠÑģвадÑĮ бе +ĠÑģвадÑĮ бÑĥ +ĠÑģв еÑĢÑĪен +ĠÑģвеÑĤ лÑĭй +ĠÑģвеÑĤ лÑĭм +ĠÑģвÑıз ÑĥÑİÑī +ĠÑģеб еÑģÑĤо +ĠÑģелÑĮ Ñħоз +ĠÑģ епаÑĢаÑĤ +ĠÑģеÑĤ евой +ĠÑģеÑĤ евÑĭÑħ +ĠÑģ еÑĩениÑı +ĠÑģид енÑĮе +ĠÑģид енÑĮÑı +ĠÑģказ Ñĭва +ĠÑģка Ñĩива +ĠÑģкоÑĢ лÑĥп +ĠÑģкÑĢип аÑĩ +ĠÑģкÑĢÑĭ лÑģÑı +ĠÑģлад кий +ĠÑģлиÑı ние +ĠÑģлÑĥж анк +ĠÑģлÑĥж бой +ĠÑģмаз Ñĭва +ĠÑģмеÑĤ анÑĭ +ĠÑģмож еÑĪÑĮ +ĠÑģним ков +ĠÑģнÑı лаÑģÑĮ +ĠÑģобÑĭÑĤи и +ĠÑģозд аÑģÑĤ +ĠÑģоз ÑĢева +ĠÑģоз Ñĭвов +ĠÑģообÑī ен +ĠÑģооÑĢÑĥж а +ĠÑģоÑĢ ваÑĤÑĮ +ĠÑģоÑģÑĤ ÑĢад +ĠÑģоÑĤ нÑıми +ĠÑģоÑĩин ил +ĠÑģоÑĪ лиÑģÑĮ +ĠÑģпаÑģ аÑĤÑĮ +ĠÑģп иÑĢали +ĠÑģп леÑĤни +ĠÑģпÑĢав ки +ĠÑģп ÑĢинÑĤе +ĠÑģÑĢав нил +ĠÑģÑĤав ÑĪаÑı +ĠÑģÑĤав ÑĪей +ĠÑģÑĤав ÑĪие +ĠÑģÑĤаниÑĨ е +ĠÑģÑĤаниÑĨ Ñĭ +ĠÑģÑĤаÑĢ инÑĥ +ĠÑģÑĤаÑĢ ÑĪаÑı +ĠÑģÑĤаÑĢ ÑĪие +ĠÑģÑĤаÑĤÑĥ ÑįÑĤ +ĠÑģÑĤв олов +ĠÑģÑĤеÑģ нен +ĠÑģÑĤÑĢелÑĮ ÑĨ +ĠÑģÑĤÑĢог ие +ĠÑģÑĤÑĢ оÑĩкÑĥ +ĠÑģÑĥб боÑĤа +ĠÑģÑĥв ениÑĢ +ĠÑģÑĥÑĢов Ñĭм +ĠÑģÑħваÑĤ ке +ĠÑģÑħваÑĤ ки +ĠÑģÑĭгÑĢа еÑĤ +ĠÑģ Ñįконом +ĠÑĤай ного +ĠÑĤак ÑģиÑģÑĤ +ĠÑĤаÑĢел ки +ĠÑĤаÑĢел кÑĥ +ĠÑĤвеÑĢд Ñĭм +ĠÑĤекÑĥÑī ие +ĠÑĤеÑĩ ений +ĠÑĤолÑģÑĤ Ñĭе +ĠÑĤолÑģÑĤ Ñĭй +ĠÑĤол Ñīина +ĠÑĤол ÑīинÑĭ +ĠÑĤонÑĩ айÑĪ +ĠÑĤÑĢак ÑĤиÑĢ +ĠÑĤÑĢак ÑĤов +ĠÑĤÑĢам ваÑı +ĠÑĤÑĢей деÑĢ +ĠÑĤÑĢей леÑĢ +ĠÑĤÑĢени ÑĢÑĥ +ĠÑĤÑĢи ллеÑĢ +ĠÑĤÑĢог аÑĤÑĮ +ĠÑĤÑĥÑĢ ками +ĠÑĤÑĥÑĢ кмен +ĠÑĤÑıжÑijл Ñĭе +ĠÑĤÑıжÑijл Ñĭм +ĠÑĤÑıжÑijл ÑĭÑħ +ĠÑĥб ивали +ĠÑĥбÑĭÑĤ ков +ĠÑĥвен Ñĩан +ĠÑĥвид иÑĪÑĮ +ĠÑĥволÑĮ нÑı +ĠÑĥгад Ñĭва +ĠÑĥда лÑıÑĤÑĮ +ĠÑĥда лÑıÑİÑĤ +ĠÑĥдаÑĩ лив +ĠÑĥдаÑĩ нÑĭм +ĠÑĥделÑı ÑĤÑĮ +ĠÑĥ езжаеÑĤ +ĠÑĥз бекÑģк +ĠÑĥзн авал +ĠÑĥкоÑĢ ени +ĠÑĥкÑĢад ен +ĠÑĥ кÑĢÑĭÑĤиÑı +ĠÑĥÑĢож енÑĨ +ĠÑĥÑģадÑĮ ба +ĠÑĥÑģкоÑĢ ил +ĠÑĥÑģлÑĭÑĪ иÑĤ +ĠÑĥÑģпев ал +ĠÑĥÑģÑĤаÑĢ ел +ĠÑĥÑģÑĤÑĥп ки +ĠÑĥÑħÑĥд ÑĪил +ĠÑĥÑĩеб нÑĭм +ĠÑĥÑĩ ÑĢедил +ĠÑĥÑĩÑij ного +ĠÑĥÑıзвим Ñĭ +ĠÑĦамили й +ĠÑĦаÑĪи ÑģÑĤÑĭ +ĠÑĦона ÑĢик +ĠÑĦÑįнÑĤ ези +ĠÑħан ÑģÑĤва +ĠÑħозÑıй ки +ĠÑĨаÑĢ Ñģкий +ĠÑĨаÑĢ ÑģкиÑħ +ĠÑĨ еловал +ĠÑĨен зÑĥÑĢÑĭ +ĠÑĨеп оÑĩка +ĠÑĨеп оÑĩкÑĥ +ĠÑĩаÑģÑĤ наÑı +ĠÑĩаÑģÑĤ нÑĥÑİ +ĠÑĩелÑİ ÑģÑĤÑĮ +ĠÑĩеÑģÑĤ нÑĭй +ĠÑĩеÑģÑĤ нÑĭм +ĠÑĩиÑģÑĤ оÑĤе +ĠÑĩиÑģÑĤ оÑĤÑĥ +ĠÑĩÑĥд еÑģно +ĠÑĩÑĥж езем +ĠÑĩÑijÑĢ ного +ĠÑĪеÑĢ ÑģÑĤÑıн +ĠÑĪ еÑģÑĤвие +ĠÑĪеÑģÑĤ ого +ĠÑįкв аÑĤоÑĢ +ĠÑįнеÑĢг ий +ĠÑįп иÑĤели +ĠÑįÑģкад ÑĢа +ĠÑįÑģким оÑģ +ĠÑįÑģмин ÑĨа +ĠÑİж нокоÑĢ +ĠÑİмоÑĢ иÑģÑĤ +ĠÑıпон ÑĨам +ĠÑıÑĢ коÑģÑĤи +ĠÑıÑĢ коÑģÑĤÑĮ +ÐIJÑįÑĢо ÑĦлоÑĤ +ÐijеÑģÑģ меÑĢÑĤ +ÐĴанкÑĥ веÑĢ +ÐĴлад имиÑĢ +ÐĴозд ÑĥÑĪнÑĭ +ÐĴо оÑĢÑĥжен +ÐĵеÑĢм аниÑı +ÐĹаÑīиÑĤ ник +ÐĹд ÑĢавÑģÑĤв +Ðĺ ноÑģÑĤÑĢан +Ðļам ÑĩаÑĤÑģк +ÐļолоÑĢ адо +ÐļомÑģом ол +ÐľÐ°Ð½Ð¸ ÑĦеÑģÑĤ +ÐľÐµÑĢкÑĥ ÑĢий +ÐĿоÑĢв егиÑı +ÐŁÐ°ÑģÑģаж иÑĢ +ÐŁÑĢазд ник +ÐŁÑĢек ÑĢаÑģн +ÐŁÑĢин ÑĨеÑģÑģ +ÐłÐ°ÑģÑĪи ÑĢен +С веÑĢдлов +СовеÑĢÑĪ ен +С оглаÑģно +Уни веÑĢÑģи +ФонÑĤан ке +ФонÑĤан ки +адап ÑĤаÑĨи +адап ÑĤивн +ализ аÑĤоÑĢ +ализ аÑĨиÑİ +алÑĮ пийÑģк +анал иÑĤик +а ÑģÑĤÑĢоном +бив алиÑģÑĮ +вали лаÑģÑĮ +вали лиÑģÑĮ +веÑī аÑĤелÑĮ +виг аÑĤÑĮÑģÑı +вÑģп омина +вÑıз ÑĭваÑİÑĤ +генеÑĢ алÑĮ +гоме опаÑĤ +гÑĢани Ñĩно +гÑĢ еÑĩеÑģки +гÑĥÑģ ениÑĩн +дав аемÑĭе +дав аемÑĭÑħ +дейÑģÑĤв иÑı +длеж аÑīее +доÑĢож ник +евиÑģÑĤ Ñģки +евод ÑģÑĤво +едоÑģÑĤ Ñĥпн +енÑģÑĤв ова +еÑĦ лекÑĤоÑĢ +еÑĨеденÑĤ н +желÑĥд оÑĩн +жиз ненно +зав еÑĢÑĪен +зак лÑİÑĩен +запад ном +ивеÑĢÑģ анÑĤ +избиÑĢ ком +из волÑĮно +инÑĨи алÑĮн +иÑĢов аний +иÑģÑĤ иками +иÑĦика ÑĨий +кан Ñģкого +каÑĢ бонаÑĤ +киÑĤай Ñģки +клаÑģÑģ ник +клÑİÑĩ илÑģÑı +команд иÑĢ +ком бинаÑĤ +комп ании +комп аний +комп аниÑı +комп лекÑģ +кон ÑĨепÑĤÑĥ +коÑĢ ÑĢекÑĨи +к ÑĢиÑģÑĤалл +лаг аÑİÑĤÑģÑı +лен ников +леÑĤа ÑİÑīиÑħ +линг виÑģÑĤ +линей нÑĭе +лож еннÑĭм +мгнов енн +мед ленно +меÑģÑıÑĩ нÑĭй +мил оÑģеÑĢд +моÑĢ ажива +неиз бежн +нем аÑĤеÑĢи +неÑģ еннÑĭе +ним аÑİÑīий +ним аÑİÑīиÑħ +нодоÑĢож н +нÑĤ енданÑĤ +об ÑĬекÑĤив +обÑĬем лÑİÑī +овав ÑĪиÑģÑĮ +овеÑīен Ñģк +овод ÑģÑĤва +огÑĢаÑĦ иÑĩе +оедин ени +олин ейно +опл аÑĤелÑĮ +оÑĢÑĤ одокÑģ +оÑĢÑĥд овал +оÑģлаб ева +оÑģÑĤеп енн +оÑĤ ÑģÑĥÑĤÑģÑĤв +оÑĩеÑĢед но +пад аÑİÑīие +пеÑĤ ÑĢовÑģк +пеÑĩаÑĤ Ñĭва +пиÑģ авÑĪий +пиÑĤан ник +под ÑĢоÑģÑĤк +покой ÑģÑĤв +пом еÑīиÑĩÑĮ +помина еÑĤ +п оÑģÑĤижим +пÑĢав овой +пÑĢед ÑģÑĤав +пÑĢи емник +пÑĢимеÑĢ но +пÑĢокÑĥÑĢ оÑĢ +пÑĢÑĭг нÑĥÑĤÑĮ +ÑĢаÑģÑģ Ñĥжда +ÑĢаÑĦи олеÑĤ +ÑĢе абилиÑĤ +ÑĢежиÑģÑģ еÑĢ +ÑĢ еÑģпÑĥбли +ÑĢиÑĢован н +ÑĢиÑĦмеÑĤ ик +ÑĢ ÑĭваÑİÑĤÑģÑı +Ñģ акÑģонÑģк +Ñģам оÑģÑĤоÑı +Ñģим паÑĤиÑĩ +Ñģлед овав +ÑģлÑĥÑĩ айно +ÑģÑĤÑĢа ивал +ÑĤан ÑĨевал +ÑĤоÑĢм ожен +ÑĤ ÑĢебован +ÑĤÑıнÑĥÑĤÑĮ ÑģÑı +ÑĦиÑĨи ÑĢова +ÑĦÑĥÑĤÑĥ ÑĢиÑģÑĤ +Ñħод ивÑĪей +Ñħод ивÑĪий +ÑħÑĥдож ниÑĨ +ÑĨел лÑİлоз +ÑĨенÑĤÑĢи ÑĢÑĥ +ÑĨион ного +ÑįкÑģп лÑĥаÑĤ +ÑıйÑĨев идн +Ñıпон Ñģкой +ĠTom atoes +Ġg arrison +Univers it +auth entic +inhab ited +ĠÐIJд миÑĢалÑĤ +ĠÐIJкадем ик +ĠÐIJкадем иÑİ +ĠÐIJкадем иÑı +ĠÐIJлгоÑĢ иÑĤм +ĠÐIJлекÑģ еем +ĠÐIJндÑĢ опов +ĠÐIJÑĢÑħе олог +ĠÐIJÑĤлан ÑĤид +ĠÐijен едикÑĤ +ĠÐijеÑģÑģа ÑĢаб +ĠÐijеÑģÑĤ Ñĥжев +ĠÐijеÑĤ Ñħовен +ĠÐijлиж него +ĠÐijÑĥÑħаÑĢ еÑģÑĤ +ĠÐĴен еÑĨиан +ĠÐĴени амин +ĠÐĴиÑĪ невÑģк +ĠÐĴним ание +ĠÐĴод иÑĤелÑĮ +ĠÐĴозвÑĢаÑī а +ĠÐĴозмож нÑĭ +ĠÐĴоз ÑĮмиÑĤе +ĠÐĴоÑĢоб ÑĮев +ĠÐĴÑĭÑģо ÑĨкий +ĠÐĵаб ÑģбÑĥÑĢг +ĠÐĵан нибал +ĠÐĵеб белÑĮÑģ +ĠÐĵоÑģпод ин +ĠÐĵоÑģпод нÑı +ĠÐĵоÑģÑĥдаÑĢ Ñı +ĠÐĶв адÑĨаÑĤÑĮ +ĠÐĶ вижениÑı +ĠÐĶейÑģÑĤв иÑı +ĠÐĶеÑĢж авин +ĠÐĶжеÑĢ алÑĮд +ĠÐĶжон аÑĤан +ĠÐĶжÑĥлÑĮ еÑĤÑĤ +ĠÐĶмиÑĤÑĢи ем +ĠÐĶобав иÑĤÑĮ +ĠÐķж егодно +ĠÐķÑĦим овиÑĩ +ĠÐĹаÑĩ аÑģÑĤÑĥÑİ +ĠÐĹлаÑĤо ÑĥÑģÑĤ +ĠÐĺгнаÑĤÑĮ ев +ĠÐĺзм айлов +ĠÐĺннок енÑĤ +ĠÐĺнÑĤеÑĢ вÑĮÑİ +ĠÐĺÑģкÑĥÑģ ÑģÑĤв +ĠÐĺÑģл андии +ĠÐļаÑĢ ибÑģко +ĠÐļаÑĢ ÑĦаген +ĠÐļиÑĢгиз Ñģк +ĠÐļле опаÑĤÑĢ +ĠÐļомп ании +ĠÐļон кÑĢеÑĤн +ĠÐļонÑģÑĤан ÑĨ +ĠÐļонÑĦ ликÑĤ +ĠÐļопеÑĢ ник +ĠÐļÑĥÑĤ Ñĥзова +ĠÐĽÐ¸ÑģÑģ абон +ĠÐĽÐ¸ÑĤ винов +ĠÐľÐ°ÐºÑģ велл +ĠÐľÐ°Ð» айзии +ĠÐľÐ°Ð» енков +ĠÐľÐ°ÑĢÑĤ Ñĭнов +ĠÐľÐµÐ½ ÑĪиков +ĠÐľÐµÑħ анизм +ĠÐľÐ¸Ð½ здÑĢав +ĠÐľÐ¸ÑĤ ÑĢоÑĦан +ĠÐľÐ¸Ñħал ков +ĠÐľÑĥÑĢав ÑĮев +ĠÐĿаÑĢ ÑĭÑĪкин +ĠÐĿаÑĩ алаÑģÑĮ +ĠÐĿед оÑģÑĤаÑĤ +ĠÐĿемеÑĨ кие +ĠÐĿем еÑĨкий +ĠÐĿеÑģÑĤ еÑĢов +ĠÐĿикак ого +ĠÐŀб ÑĥÑĩение +ĠÐŀдеÑģ Ñģкой +ĠÐŀлимпи ад +ĠÐŀпеÑĢ аÑĨиÑı +ĠÐŀпÑĢед ели +ĠÐŀÑģип овиÑĩ +ĠÐŀÑĤ кÑĢовен +ĠÐŁ аÑĢамеÑĤÑĢ +ĠÐŁÐµÐ½ÑĤ агон +ĠÐŁÐµÑĤеÑĢ гоÑĦ +ĠÐŁÐ»ÐµÑħ анов +ĠÐŁÐ¾Ð´Ð¾Ð± наÑı +ĠÐŁÐ¾Ð´Ð¾Ð± нÑĭй +ĠÐŁÐ¾Ð»Ð¸ÑĤ ика +ĠÐŁÑĢи гоÑĤов +ĠÐŁÑĢиказ ом +ĠÐŁÑĢовеÑĢ ка +ĠÐŁÑĢо ÑħодиÑĤ +ĠÐŁÑĢоÑħ оÑĢов +ĠÐłÐµÐ³ ÑĥлÑıÑĢн +ĠÐłÐµÐ´Ð°Ðº ÑĤоÑĢ +ĠÐłÑĥм ÑıнÑĨев +ĠСам ойлов +ĠСан ÑĤÑĮÑıго +ĠСеÑĢп ÑĥÑħов +ĠСим биÑĢÑģк +ĠСлав ÑıнÑģк +ĠС моÑĤÑĢиÑĤе +ĠСозн ание +ĠСолов ÑĮÑijв +ĠСоп ÑĢоÑĤив +ĠСоÑĢ евнов +ĠСÑĢед ÑģÑĤва +ĠСÑĤ ÑĢÑĥгаÑĨк +ĠС ÑĥÑīеÑģÑĤво +ĠСÑĨен аÑĢий +ĠТвоÑĢ ÑĩеÑģк +ĠТимоÑĦ еев +ĠТÑĢо ÑĦимов +ĠТÑĥлÑĮ Ñģкой +ĠУкÑĢа иной +ĠЧеб окÑģаÑĢ +ĠЧеÑĢ каÑģÑģк +ĠЧеÑĢÑĩил лÑı +ĠЧиÑĤ аÑĤелÑĮ +ĠÐŃдин бÑĥÑĢг +ĠÐŃкÑģп еÑĢÑĤÑĭ +ĠÐŃн ÑĨиклоп +ĠЮÑģÑĤ иниан +ĠЯнÑĥк овиÑĩ +Ġави аполк +Ġави аÑĨией +ĠавÑĤ огÑĢаÑĦ +Ġаг иÑĤаÑĨии +ĠагÑĢеÑģÑģ иÑİ +ĠагÑĢеÑģÑģ оÑĢ +Ġакв аÑĤоÑĢи +ĠакÑĤÑĢиÑģ ой +Ġак ÑĨионеÑĢ +ĠалÑİмин иÑı +ĠаналиÑĤ иÑĩ +ĠанаÑĤом ии +ĠанеÑģÑĤ ези +Ġаним аÑĨии +ĠанÑģам бле +ĠанÑĤи кваÑĢ +ĠанÑĤи ÑĩнÑĭÑħ +Ġапел лÑıÑĨи +ĠаÑĢеÑģÑĤ анÑĤ +ĠаÑĤак ован +ĠаÑįÑĢоп лан +Ġбаз ового +Ġбан алÑĮно +ĠбаÑĢ елÑĮеÑĦ +ĠбаÑĢ ÑĢикад +Ġбед ноÑģÑĤÑĮ +Ġбед ÑģÑĤвие +Ġбед ÑģÑĤвий +Ġбез наказ +ĠболÑĮ номÑĥ +ĠбÑĢаÑĤ ÑģÑĤва +ĠваÑĢи аÑĨии +Ġвд обавок +ĠвеÑĢб алÑĮн +ĠвеÑĢ ÑĥÑİÑīим +ĠвеÑĢÑħ ÑĥÑĪки +ĠвеÑĩ ноÑģÑĤи +ĠвеÑĩ ноÑģÑĤÑĮ +Ġвз веÑĪива +ĠвзÑĢоÑģл ой +ĠвзÑĢоÑģ лом +ĠвзÑĢоÑģл Ñĭй +Ġвиб ÑĢаÑĨии +Ġвидео игÑĢ +Ġвинов нÑĭÑħ +ĠвинÑĤов ка +ĠвклÑİÑĩ авÑĪ +Ġвлад ении +Ġвл еÑĩениÑı +ĠвлÑİб илÑģÑı +ĠвнедÑĢ иÑĤÑĮ +Ġвод оÑģнаб +Ġвозв еÑģÑĤи +Ġвоз ложил +Ġвоз ÑĢожда +Ġвоз ÑĢоÑģло +Ġвоз ÑĮмиÑĤе +Ġвок алиÑģÑĤ +Ġвол онÑĤеÑĢ +ĠвоплоÑĤ ил +ĠвоÑĢоÑĤ ник +ĠвоÑģÑħ валÑı +ĠвÑĢажеÑģ ко +ĠвÑĢаÑģ плоÑħ +ĠвÑĢез алÑģÑı +ĠвÑģ еÑģоÑİзн +ĠвÑģпомн иÑĤ +ĠвÑĭб еÑĢиÑĤе +ĠвÑĭделÑı ем +ĠвÑĭиг ÑĢÑĭва +ĠвÑĭ клÑİÑĩен +ĠвÑĭполн иÑĤ +ĠвÑĭ ÑĢаÑģÑĤеÑĤ +ĠвÑĭÑģ меива +ĠвÑĭÑģÑĤав кÑĥ +ĠвÑĭÑģÑĤав ок +ĠвÑĭ ÑĤаÑīиÑĤÑĮ +ĠвÑĭ ÑĤÑıнÑĥÑĤо +ĠвÑĭ ÑĤÑıнÑĥÑĤÑĭ +Ġганг ÑģÑĤеÑĢ +ĠгаÑĢан ÑĤиÑı +ĠгаÑĢ деÑĢоб +ĠгаÑĢмон иÑİ +ĠгаÑģÑĤÑĢ оли +Ġгиб коÑģÑĤÑĮ +Ġгимназ иÑİ +ĠгоÑĢ оÑģкоп +ĠгоÑĢÑİ Ñĩего +ĠгоÑĢÑıÑĩ его +ĠгоÑģÑĥдаÑĢ Ñİ +ĠгÑĢад иенÑĤ +ĠгÑĢаÑĦ ÑģÑĤва +ĠгÑĢен адеÑĢ +ĠгÑĢоб ниÑĨÑĭ +ĠгÑĢÑĥз овÑĭÑħ +ĠгÑĥбеÑĢ ний +Ġдав лении +ĠдаÑĤ иÑĢовк +Ġдвиг алÑģÑı +Ġдвой ного +ĠдежÑĥÑĢ ÑģÑĤв +ĠдейÑģÑĤв ÑĥÑı +Ġдемон ÑģÑĤÑĢ +ĠдеÑĢев ÑĥÑĪк +ĠдиаÑĦ ÑĢагм +Ġдив иденд +ĠдинаÑģÑĤ иÑı +ĠдиÑģк вали +Ġдоб илаÑģÑĮ +Ġдозв олен +ĠдокÑĤÑĢи на +ĠдомаÑĪ нее +Ġдомин анÑĤ +ĠдоÑģÑĤ авал +ĠдÑĢамаÑĤ иÑĩ +ĠдÑĢевеÑģ ин +ĠдÑĥÑĪев нÑĭÑħ +Ġжад ноÑģÑĤÑĮ +Ġжал ÑĥеÑĤÑģÑı +Ġжела ÑİÑīие +Ġжелез нÑĭм +Ġжем ÑĩÑĥжин +ĠжеÑģÑĤок ий +ĠжеÑģÑĤок иÑħ +Ġзаб лагов +Ġзаб ÑĥдÑĮÑĤе +Ġзаб ÑĭваÑİÑĤ +Ġзавоев ав +Ġзагад кой +Ġзад анной +ĠзадеÑĢж ка +Ġзаказ ник +ĠзакÑĢÑĭÑĤ ÑĭÑħ +Ġзамед лил +ĠзамеÑĩ аÑİÑĤ +ĠзаоÑģÑĤ ÑĢен +Ġзап олнил +ĠзапÑĢеÑī Ñijн +ĠзаÑģÑĤав иÑĤ +ĠзаÑĤ ÑĢонÑĥл +ĠзаÑīиÑĤ нÑĭе +ĠзаÑīиÑĤ нÑĭÑħ +ĠзаÑīиÑī аÑİÑĤ +ĠзаÑıвлÑı ÑİÑĤ +ĠздоÑĢов Ñĭй +ĠзеÑĢ новÑĭÑħ +ĠзнаÑĩ имÑĭе +ĠзнаÑĩим Ñĭм +ĠигÑĢов ого +Ġиде ализм +Ġизвин иÑĤе +Ġизгн ание +Ġизгн аниÑı +Ġизд аÑĤелÑı +ĠиздеÑĢж ек +Ġизмен ник +ĠизмеÑĢ иÑĤÑĮ +ĠизолÑı ÑĤоÑĢ +Ġикон опиÑģ +ĠиллÑİ Ð·Ð¾ÑĢн +ĠимпеÑĢ ией +ĠинÑĤег ÑĢал +ĠинÑĤÑĥ иÑĨии +ĠинÑĦ екÑĨиÑı +ĠиÑģклÑİÑĩ ил +ĠиÑģлам иÑģÑĤ +ĠиÑģпан ÑĨев +ĠиÑģп аÑĢени +ĠиÑģп оведа +ĠиÑģполн иÑĤ +ĠиÑģпоÑĢ ÑĤил +ĠиÑģÑĤин наÑı +ĠиÑģÑĤин нÑĥÑİ +ĠиÑģÑĤин нÑĭе +ĠиÑģÑĤин нÑĭÑħ +ĠиÑģÑħод иÑĤÑĮ +ĠиÑģÑħод ное +ĠиÑģÑħод нÑĭм +ĠиÑģÑĩез неÑĤ +ĠиÑģÑĩеÑĢ пан +Ġказ наÑĩей +Ġкамп аний +Ġкап иллÑıÑĢ +ĠкаÑĢ анÑĤин +ĠкаÑĢн авал +ĠкаÑĢÑĤоÑĩ ка +ĠкаÑĢÑĤоÑĩ кÑĥ +ĠкаÑģ алоÑģÑĮ +ĠкипÑıÑĤ ком +Ġколон иÑģÑĤ +ĠкомиÑģÑģ ий +ĠкоммеÑĢ ÑĨи +Ġкомп ÑĢеÑģÑģ +ĠконеÑĩ нÑĭй +ĠконеÑĩ нÑĭÑħ +Ġкон ÑĩиÑĤÑģÑı +ĠкоÑĢ еннÑĭм +ĠкоÑĢоб оÑĩк +ĠкоÑĢоÑĤ кÑĥÑİ +ĠкоÑĤ ловин +ĠкÑĢаÑģив ÑĥÑİ +ĠкÑĢаÑģ ками +ĠкÑĢ еÑīение +ĠкÑĢÑĥг лого +ĠкÑĢÑĥÑĪ ениÑı +ĠкÑĢÑĭм ÑģкиÑħ +Ġлег алÑĮно +ĠлеÑĤ опиÑģÑĮ +ĠлиÑĨенз иÑİ +ĠлÑİб иÑĤели +ĠлÑİбов нÑĭÑħ +ĠмаÑĢг инал +ĠмаÑĢкÑģ изм +ĠмаÑģÑģ овÑĭй +Ġмед иÑĤаÑĨи +Ġмел одÑĢам +ĠмемÑĥ аÑĢаÑħ +ĠмеÑģÑĤеÑĩ ке +ĠмеÑģÑĤеÑĩ ко +Ġмод иÑĦиÑĨи +Ġмол давÑģк +ĠмолÑĩ аниÑı +Ġмон голов +ĠнавÑĭ ками +ĠнагÑĢад ил +ĠнагÑĢÑĥз ок +Ġнаде емÑģÑı +ĠнаизÑĥ ÑģÑĤÑĮ +Ġнаимен ее +Ġнапад авÑĪ +Ġнап аÑĢник +ĠнаÑĢÑĥÑĪ аÑĤÑĮ +ĠнаÑĢÑĥÑĪ аÑİÑĤ +ĠнаÑģ меÑĢÑĤÑĮ +ĠнаÑģÑĤÑĢо ек +ĠнаÑħож ÑĥÑģÑĮ +ĠнаÑĨиÑģÑĤ ов +ĠнаÑĩ еÑĢÑĤан +Ġнев зиÑĢаÑı +Ġнев ÑĢедим +Ġнедав ниÑħ +Ġнедвиж им +Ġнеж ноÑģÑĤÑĮ +ĠнемеÑĨ кÑĥÑİ +ĠнеоÑĤ ложн +Ġне оÑħоÑĤно +ĠнепÑĢ еÑĢÑĭв +ĠнепÑĢи лиÑĩ +ĠнепÑĢ имиÑĢ +ĠнеÑĢв ниÑĩа +ĠнеÑģл ожно +ĠнеÑģ оÑģÑĤоÑı +ĠнеÑĤ ÑĢонÑĥÑĤ +ĠнеÑĥм олим +ĠнеÑĦÑĤÑı нÑĭÑħ +ĠнеÑħваÑĤ ки +Ġнов ейÑĪиÑħ +Ġнов иÑĩков +ĠноÑĤаÑĢи ÑĥÑģ +ĠнÑĭнеÑĪ нее +ĠнÑĭнеÑĪ ние +ĠнÑĭнеÑĪ ним +Ġобвин ÑıеÑĤ +Ġобвин ÑıÑİÑĤ +Ġоблад авÑĪ +ĠоблаÑģÑĤ Ñıм +Ġоблег Ñĩен +Ġоблом ков +Ġобнов иÑĤÑĮ +Ġобол оÑĩек +Ġобол оÑĩкÑĥ +ĠобÑĢаÑĤ иÑĤе +ĠобÑĢаÑĤ наÑı +ĠобÑĢаÑī аÑİÑĤ +ĠобÑĢÑĥÑĪ ива +ĠобÑĥÑĩ ениÑİ +ĠобÑĬÑıвлÑı л +ĠобÑĬÑıÑģ ним +ĠобÑĬÑıÑģ ниÑĤ +Ġожид аний +ĠознаÑĩ аÑİÑĤ +ĠокÑĢÑĥж авÑĪ +ĠокÑĢÑĥж аеÑĤ +ĠокÑĢÑĥж аÑİÑĤ +ĠокÑĢÑĥж или +Ġолив ково +ĠолигаÑĢ Ñħи +Ġолимпи ад +ĠопаÑģ алÑģÑı +ĠопеÑĢед ил +Ġоплак ива +ĠоплаÑĤ иÑĤÑĮ +Ġоп овеÑīен +ĠоÑģведом и +ĠоÑģлаб иÑĤÑĮ +ĠоÑĤвеÑĢг ал +ĠоÑĤд елÑıеÑĤ +ĠоÑĤдÑĭÑħ аÑĤÑĮ +ĠоÑĤмеÑĩ аÑĤÑĮ +ĠоÑĤоб ÑĢаÑĤÑĮ +ĠоÑĤÑĢаж аÑĤÑĮ +ĠоÑĤÑĢаÑģ лÑıÑħ +ĠоÑĤÑĤен ков +ĠоÑĤÑĤен ком +ĠоÑĤÑĩаÑı нии +ĠоÑĦоÑĢм иÑĤÑĮ +ĠоÑħÑĢан ÑıÑĤÑĮ +ĠоÑĩиÑī ениÑı +ĠпаÑĢаг ÑĢаÑĦ +ĠпаÑĢÑĤий но +ĠпаÑĤ ологи +Ġпен алÑĮÑĤи +ĠпеÑĢед аÑijÑĤ +ĠпеÑĢед ниÑħ +ĠпеÑĢед ÑĭÑĪк +ĠпеÑĢеж иÑĤо +ĠпеÑĢеÑģ адк +ĠпеÑĢеÑĥл ка +ĠпеÑĢеÑĥл ке +ĠпеÑħоÑĤ нÑĭй +ĠпеÑħоÑĤ нÑĭÑħ +ĠпеÑĩаÑĤ нÑĭÑħ +ĠпиÑģ аÑĤелÑİ +ĠпиÑĤ аÑİÑĤÑģÑı +Ġпл аменем +ĠплоÑģк оÑģÑĤ +ĠплоÑīад ей +ĠплоÑīад ок +Ġпов ÑĢедил +ĠповÑĤоÑĢ ен +ĠповÑĭÑĪ аÑĤÑĮ +Ġпогиб ÑĪим +ĠподаÑĢ иÑĤÑĮ +ĠподаÑĢ ков +ĠподклÑİÑĩ и +Ġпод конÑĤÑĢ +Ġподлеж ал +Ġпод оÑĢвал +ĠподпиÑģ ей +ĠподполÑĮ е +Ġпод ÑĢÑĥÑĩнÑĭ +Ġпод ÑģвеÑĤк +ĠподÑģказ к +ĠподÑĬ еÑħал +Ġпозвол ив +Ġпоз иÑĨией +Ġпок аÑĩива +Ġпокид аÑĤÑĮ +ĠпокÑĥп аÑİÑĤ +Ġпол ÑĥкÑĢÑĥг +ĠполÑĥ ноÑĩи +Ġпом енÑĮÑĪе +ĠпомеÑĪ ало +ĠпомеÑī аÑİÑĤ +Ġпомог аÑİÑī +Ġпомог иÑĤе +Ġпоп олнил +ĠпопÑĢав ок +ĠпопÑĭÑĤ кой +ĠпоÑĢÑĤ ÑĦелÑĮ +ĠпоÑģел ков +ĠпоÑģеÑī аеÑĤ +ĠпоÑģеÑī аÑİÑĤ +ĠпоÑģ моÑĤÑĢи +ĠпоÑģол иÑĤÑĮ +ĠпоÑģÑĤав кÑĥ +ĠпоÑĩÑĤ ение +ĠпоÑĩÑĤ овой +ĠпоÑĩÑĤов Ñĭе +ĠпоÑĩÑĤов Ñĭй +ĠпоÑĩÑijÑĤ нÑĭй +ĠпÑĢав овÑĭе +ĠпÑĢакÑĤи Ñĩн +ĠпÑĢед икаÑĤ +ĠпÑĢеле ÑģÑĤÑĮ +ĠпÑĢеÑĢв аÑĤÑĮ +ĠпÑĢивед Ñijн +ĠпÑĢивез ен +ĠпÑĢивÑĭÑĩ ек +ĠпÑĢивÑĭÑĩ ке +ĠпÑĢивÑĭÑĩ кÑĥ +ĠпÑĢигод но +ĠпÑĢизна ÑijÑĤ +ĠпÑĢи кован +ĠпÑĢи коÑģнÑĥ +ĠпÑĢим кнÑĥл +ĠпÑĢинеÑģ ло +ĠпÑĢин Ñĥжда +ĠпÑĢиÑĩ иÑģлÑı +ĠпÑĢиÑıÑĤ нÑĭе +ĠпÑĢиÑıÑĤ нÑĭй +ĠпÑĢовед еÑĤ +ĠпÑĢовеÑĢ ок +ĠпÑĢод лева +ĠпÑĢод лиÑĤÑĮ +ĠпÑĢо еÑħаÑĤÑĮ +ĠпÑĢозв али +ĠпÑĢозв иÑīÑĥ +ĠпÑĢоиг ÑĢÑĭÑĪ +ĠпÑĢок лина +ĠпÑĢолеÑĤ ел +ĠпÑĢомÑĭ Ñģел +ĠпÑĢом ÑĭÑģла +ĠпÑĢон изан +ĠпÑĢон икал +ĠпÑĢоп авÑĪи +ĠпÑĢоп иÑģан +ĠпÑĢоÑģвеÑĤ л +ĠпÑĢоÑģÑĤ Ñĥпк +ĠпÑĢоÑĤек ал +ĠпÑĢо Ñħодим +ĠпÑĢоÑĩиÑĤ ав +ĠпÑĢоÑī ание +ĠпÑĭÑĤ аемÑģÑı +ĠпÑıÑĤи леÑĤк +ĠÑĢади аÑĤоÑĢ +ĠÑĢади аÑĨии +ĠÑĢади олок +ĠÑĢаз бÑĥдил +ĠÑĢаз воÑĢаÑĩ +ĠÑĢазделÑı Ñİ +ĠÑĢазлиÑĩ ен +ĠÑĢазлиÑĩ но +ĠÑĢазоÑĢ ван +ĠÑĢаненÑĭ ми +ĠÑĢаÑģкоп ок +ĠÑĢаÑģп аÑħнÑĥ +ĠÑĢаÑģÑģ еÑĢди +ĠÑĢаÑģÑģ пÑĢоÑģ +ĠÑĢебÑijн ком +ĠÑĢев ноÑģÑĤи +ĠÑĢев ноÑģÑĤÑĮ +ĠÑĢез иÑģÑĤоÑĢ +ĠÑĢек визиÑĤ +ĠÑĢеп оÑĢÑĤеÑĢ +ĠÑĢеп ÑĩаÑĤÑĭй +ĠÑĢеÑĪ аÑİÑīее +ĠÑĢеÑĪ аÑİÑīий +ĠÑĢеÑĪ аÑİÑīим +ĠÑĢеÑĪ аÑİÑīÑĥÑİ +ĠÑĢогаÑĤ ого +ĠÑĢод илоÑģÑĮ +ĠÑĢод иÑĤелÑı +ĠÑĢоÑģ коÑĪно +ĠÑĢÑĥк опаÑĪн +ĠÑģам озван +ĠÑģанов ник +ĠÑģан ÑģкÑĢиÑĤ +ĠÑģаÑĢ коÑĦаг +ĠÑģ бÑĢоÑģиÑĤÑĮ +ĠÑģвеÑĢ каÑİÑī +ĠÑģвеÑĤ оÑĦоÑĢ +ĠÑģвобод нÑĭ +ĠÑģгоÑĢ аниÑı +ĠÑģедÑĮм ого +ĠÑģелÑĮ Ñģкие +ĠÑģеман ÑĤик +ĠÑģеÑĤ евого +ĠÑģибиÑĢ Ñģко +ĠÑģигна лÑĮн +ĠÑģимÑĦон ии +ĠÑģиÑģÑĤем аÑĤ +ĠÑģкÑĢин ÑĪоÑĤ +ĠÑģкÑĢом нÑĭй +ĠÑģкÑĢом нÑĭм +ĠÑģкÑĢ ÑĭваÑİÑĤ +ĠÑģкÑĢÑĭ ÑĤÑĮÑģÑı +ĠÑģлож илÑģÑı +ĠÑģлож нейÑĪ +ĠÑģлÑĥж аÑīие +ĠÑģлÑĥж аÑīий +ĠÑģлÑĥÑĪ аниÑı +ĠÑģмел оÑģÑĤи +ĠÑģм еÑīениÑı +ĠÑģмеÑı лиÑģÑĮ +ĠÑģниж ении +ĠÑģовеÑĢÑĪ Ñijн +ĠÑģовеÑĤ ÑĥеÑĤ +ĠÑģовм еÑīен +ĠÑģовпад ал +ĠÑģоедин ил +ĠÑģоедин Ñijн +ĠÑģозн авал +ĠÑģообÑī аÑĤÑĮ +ĠÑģообÑī ник +ĠÑģоÑģед нем +ĠÑģоÑģед ние +ĠÑģоÑħÑĢан иÑĤ +ĠÑģпл оÑĩенн +ĠÑģпÑĢов оÑĨи +ĠÑģпÑĢоÑģ иÑĤе +ĠÑģÑĢавн иÑĤе +ĠÑģÑĤав ÑĪего +ĠÑģÑĤ алÑĮной +ĠÑģÑĤаÑĢ аÑİÑģÑĮ +ĠÑģÑĤаÑĢ оÑģÑĤÑĮ +ĠÑģÑĤаÑĢ ÑĪемÑĥ +ĠÑģÑĤеÑĢ илиз +ĠÑģÑĤол еÑĤие +ĠÑģÑĤолов аÑı +ĠÑģÑĤолов ÑĥÑİ +ĠÑģÑĤоÑı Ñīего +ĠÑģÑĤÑĢа ÑģÑĤÑĮÑİ +ĠÑģÑĤÑĢелÑĮ ба +ĠÑģÑĤÑĢелÑĮ бÑĥ +ĠÑģÑĤÑĢо ений +ĠÑģÑĤÑĢ оÑıÑĤÑģÑı +ĠÑģÑĤÑĥп еней +ĠÑģÑĥб маÑĢин +ĠÑģÑĥб ÑģÑĤÑĢаÑĤ +ĠÑģÑĥд оÑģÑĤÑĢо +ĠÑģ Ñĥждений +ĠÑģÑĥммаÑĢ но +ĠÑģÑĥпÑĢÑĥг ой +ĠÑģÑħод ÑıÑĤÑģÑı +ĠÑģÑĭв оÑĢоÑĤк +ĠÑĤам плиеÑĢ +ĠÑĤанков Ñĭй +ĠÑĤем аÑĤике +ĠÑĤеп ловой +ĠÑĤеÑĢп ениÑı +ĠÑĤип иÑĩнÑĭе +ĠÑĤип иÑĩнÑĭм +ĠÑĤоÑĢг овал +ĠÑĤоÑĢгов ÑĨа +ĠÑĤоÑĢгов ÑĨÑĭ +ĠÑĤÑĢаг едиÑİ +ĠÑĤÑĢен ажеÑĢ +ĠÑĤÑĢÑĥд илÑģÑı +ĠÑĤÑĢÑĥд овÑĥÑİ +ĠÑĤÑĢÑĥд овÑĭе +ĠÑĤÑĥлов иÑīе +ĠÑĤÑĥÑĢ еÑĨкий +ĠÑĤÑĥÑĢеÑĨ ким +ĠÑĤÑĥÑĢеÑĨ киÑħ +ĠÑĤÑıж елейÑĪ +ĠÑĥбеж даеÑĤ +ĠÑĥбÑĢан ÑģÑĤв +ĠÑĥдал ении +ĠÑĥзнав аем +ĠÑĥзн аваÑĤÑĮ +ĠÑĥкоÑĢ оÑĩен +ĠÑĥкÑĢаин ÑĨÑĭ +ĠÑĥкÑĢÑĭ ÑĤÑĮÑģÑı +ĠÑĥлÑĭб аÑıÑģÑĮ +ĠÑĥпаков ки +ĠÑĥплоÑĤ нен +ĠÑĥÑĢож енеÑĨ +ĠÑĥ ÑģколÑĮза +ĠÑĥÑģлож нен +ĠÑĥÑģпеÑĪ нÑĭе +ĠÑĥÑģпеÑĪ нÑĭй +ĠÑĥÑĤеÑĪ ение +ĠÑĦамили ей +ĠÑĦелÑĮ еÑĤон +ĠÑĦигÑĥ ÑĢанÑĤ +ĠÑĦина лиÑģÑĤ +ĠÑħÑĢан ении +ĠÑħÑĢÑĥÑģÑĤ алÑĮ +ĠÑĩеÑĢ новик +ĠÑĩиÑģ ленно +ĠÑĩÑĥд оÑĤвоÑĢ +ĠÑĪим панзе +ĠÑĪколÑĮ нÑĭе +ĠÑįволÑİ ÑĨиÑİ +ĠÑįкÑģÑĤ ÑĢакÑĤ +ĠÑįми гÑĢаÑĨи +ĠÑįмо ÑĨиÑıми +ĠÑįÑģмин ÑĨев +ĠÑįÑģÑĤ еÑĤики +ĠÑıв ÑģÑĤвенн +ĠÑıзÑĭ ÑĩеÑģко +ĠÑıпон ÑģкаÑı +ĠÑıпон Ñģком +ÐijолÑĮÑĪ евик +ÐĴÐļонÑĤ акÑĤе +ÐĴ нÑĥÑĤÑĢенне +ÐĶоÑģÑĤ оевÑģк +ÐĺÑģлам Ñģкое +ÐļазаÑħ ÑģÑĤан +ÐĽ енингÑĢад +ÐľÐ°Ð½ÑħÑįÑĤ ÑĤен +ÐľÐµÑĤалл ÑĥÑĢг +ÐľÐ¾Ð½Ð³ олÑĮÑģк +ÐĿе извеÑģÑĤн +ÐŁÐ¾Ð» иÑĨейÑģк +ÐŁÑĢ езиденÑĤ +ÐłÐµÐ½ еÑģÑģанÑģ +С видеÑĤелÑĮ +СибиÑĢ Ñģкой +СовеÑĤ ÑģкаÑı +Фин лÑıндиÑı +ШвейÑĨаÑĢ иÑı +ÐŃконом ика +акÑĤÑĥ алÑĮнÑĭ +апиÑĤ алиÑģÑĤ +аÑĨионалÑĮ н +бай калÑĮÑģк +беÑģ пÑĢепÑıÑĤ +бÑĢаÑģ ÑĭваÑİÑĤ +влек аеÑĤÑģÑı +воздÑĥÑĪ нÑĭÑħ +воÑģ ÑģÑĤанов +вÑĢемен наÑı +вÑĭÑģок оÑĤеÑħ +гене алоги +геÑĢмеÑĤ иÑĩн +гинек олог +глÑıд ÑĭваÑĤÑĮ +гÑĢани ÑĩнÑĭе +гÑĢани ÑĩнÑĭй +двен адÑĨаÑĤ +двиг алаÑģÑĮ +двиг аÑĤелÑĮ +дев ÑģÑĤвенн +дейÑģÑĤв ÑĥеÑĤ +долж ноÑģÑĤн +егеÑĤ аÑĢиан +егеÑĤ аÑĤивн +жеÑĢÑĤв опÑĢи +инÑĤеÑĢ пÑĢеÑĤ +иÑĢовав ÑĪий +иÑĢовав ÑĪиÑħ +квали ÑĦиÑĨи +киÑĪ еÑĩного +клад Ñĭваем +клон ÑıлиÑģÑĮ +клон ÑıÑİÑĤÑģÑı +конÑĤ иненÑĤ +конÑĦÑĥ ÑĨиан +коÑĢиÑĩнев о +кÑĢем левÑģк +кÑĢÑĭв аÑĤÑĮÑģÑı +магнеÑĤ изм +макед онÑģк +маÑģки ÑĢовк +мÑĥÑģ ÑĥлÑĮман +мÑĦаÑĤ иÑĩеÑģк +на ÑģÑĤÑĢаива +ноÑĢм алÑĮно +нÑĤ еллекÑĤÑĥ +обÑĢаÑī ениÑı +озвоно ÑĩнÑĭ +ознав аниÑı +окиÑģ лиÑĤел +опиÑģ аÑĤелÑĮ +опол агаÑİÑī +ополож ник +опÑĢедел ен +опÑĢиÑıÑĤ нÑĭе +оÑĢиенÑĤ аÑĨи +оÑĢÑĤиÑĢов ки +оÑĤан ковÑĭÑħ +подÑĪип ник +полн иÑĤелÑĮ +поÑģаб лива +пÑĢав илÑĮно +пÑĢи клÑİÑĩен +пÑĢи коÑģнов +пÑĢовод ник +пÑĢов олоÑĩн +пÑĢоизвод Ñı +пÑĥÑģÑĤи лаÑģÑĮ +ÑĢазвед Ñĩик +ÑĢеаг иÑĢова +ÑĢ езÑĥлÑĮÑĤаÑĤ +ÑĢен еÑģÑģанÑģ +ÑĢод ÑģÑĤвенн +ÑģекÑĢеÑĤ аÑĢÑı +Ñģка лÑĮзÑĭва +Ñģлед ÑģÑĤвие +ÑģоÑĨи алÑĮно +ÑģпаÑģ аÑĤелÑĮ +ÑģÑĤанов иÑĤÑĮ +ÑģÑĤв ованиÑı +ÑģÑĤой коÑģÑĤи +ÑģÑĤоÑĢон ней +ÑģÑĤÑĢа иваем +ÑģÑĤÑĢо илаÑģÑĮ +ÑģÑĤÑĥп аÑİÑīей +ÑģÑĤÑĥп ивÑĪиÑħ +ÑģÑĩиÑĤ ÑĭваÑĤÑĮ +ÑģÑĩиÑĤ ÑĭваÑİÑĤ +ÑĤеÑĢÑĢоÑĢ иÑģÑĤ +ÑĤиÑĢов аниÑı +ÑĥÑĩ ÑĢедиÑĤел +ÑħваÑĤ ÑĭваеÑĤ +ÑĩиÑģлен нÑĭÑħ +ÑĪÑĤÑĥÑĢ мовик +ÑįÑģкад ÑĢилÑĮ +ĠByz antine +Ġacceler at +aff iliated +ĠÐIJбÑģолÑİÑĤ но +ĠÐIJнÑĤон овиÑĩ +ĠÐIJÑĦанаÑģÑĮ ев +ĠÐIJÑħмаÑĤ овой +ĠÐijели нÑģкий +ĠÐijлиж айÑĪие +ĠÐijÑĢон зовÑĭй +ĠÐijÑĥкв алÑĮно +ĠÐĴÑģп омниÑĤе +ĠÐĴÑĭ ÑĢажение +ĠÐĴÑĭÑģо ÑĨкого +ĠÐĵами лÑĮÑĤон +ĠÐĵеÑĢаÑģим ов +ĠÐĵиб ÑĢалÑĤаÑĢ +ĠÐĶвиг аÑĤелÑĮ +ĠÐĶзеÑĢж инÑģк +ĠÐķванг елие +ĠÐĹаним алÑģÑı +ĠÐĺзмен ениÑı +ĠÐĺÑĢкÑĥÑĤ Ñģкой +ĠÐĺÑģÑģлед ова +ĠÐļаз анÑģкой +ĠÐļазаÑħ Ñģкой +ĠÐļалÑĥж Ñģкой +ĠÐļол лекÑĤив +ĠÐļон ÑĨепÑĨиÑı +ĠÐļÑĢаÑģ нодаÑĢ +ĠÐĽÑĥка ÑĪенко +ĠÐľÐ°Ð½ÑĮ ÑĩжÑĥÑĢи +ĠÐľÐµÐ»ÑĮ ников +ĠÐľÐµÑģ опоÑĤам +ĠÐľÐ½Ð¾Ð¶ еÑģÑĤво +ĠÐĿез адолго +ĠÐĿика ÑĢагÑĥа +ĠÐĿоÑĢм андии +ĠÐŀбÑĢаз ован +ĠÐŀ гÑĢаниÑĩен +ĠÐŀ пÑĢеделен +ĠÐŀÑĢлов Ñģкой +ĠÐŀÑĤеÑĩ еÑģÑĤва +ĠÐŀÑĤ ноÑĪение +ĠÐŁÐ°Ð» еÑģÑĤине +ĠÐŁÐ°Ð» еÑģÑĤинÑĭ +ĠÐŁÐ°ÑĢиж Ñģкой +ĠÐŁÐµÑĢеÑı Ñģлав +ĠÐŁÐµÑĢм Ñģкого +ĠÐŁÐ¾Ð´ деÑĢжка +ĠÐŁÐ¾Ð´ÑĢоб нее +ĠÐŁÐ¾Ð» ноÑģÑĤÑĮÑİ +ĠÐŁÐ¾Ñģлед ним +ĠÐŁÐ¾Ñģ моÑĤÑĢим +ĠÐŁÐ¾Ñıв илиÑģÑĮ +ĠÐŁÑĢезиди Ñĥм +ĠÐŁÑĢек ÑĢаÑģно +ĠÐŁÑĢиним аÑĤÑĮ +ĠÐłÐ°Ð· лиÑĩнÑĭе +ĠÐłÐ°Ñģ полага +ĠÐłÐ¾Ð¼Ð°Ð½Ð¾Ð² ÑĭÑħ +ĠÐłÐ¾ÑģÑĤ иÑģлав +ĠСам аÑĢканд +ĠСамаÑĢ Ñģкой +ĠСвÑıÑī енной +ĠСемÑij новиÑĩ +ĠСеÑĢгеев на +ĠСлед ÑģÑĤвие +ĠСлед ÑĥÑİÑīаÑı +ĠСлед ÑĥÑİÑīие +ĠСлед ÑĥÑİÑīим +ĠСовеÑĤ Ñģким +ĠСовеÑĤ Ñģкое +ĠСов меÑģÑĤно +ĠУÑģÑĤанов ка +ĠФедеÑĢ аÑĨиÑı +ĠФÑĢан ÑģиÑģко +ĠФÑĢан ÑĩеÑģко +ĠХелÑĮÑģин ки +ĠХлеб ников +ĠЧинг иÑģÑħан +ĠШеÑĢ емеÑĤев +ĠавианоÑģ ÑĨа +ĠакÑģ еÑģÑģÑĥаÑĢ +ĠакÑĤив иÑģÑĤÑĭ +Ġалког олик +ĠалÑĮ пиниÑģÑĤ +Ġамб иÑĨиозн +ĠаÑĢенд аÑĤоÑĢ +ĠаÑĢмей Ñģкий +ĠаÑĢмей ÑģкиÑħ +ĠаÑĢмей Ñģкой +ĠаÑĢÑħа иÑĩеÑģк +ĠаÑģин ÑħÑĢонн +Ġбезнад ежн +Ġбез оговоÑĢ +ĠбеÑĢем еннÑĭ +ĠбеÑģп лоднÑĭ +ĠбеÑģ Ñģледно +ĠбиблиоÑĤ еÑĩ +Ġблагод аÑĤи +Ġблагод аÑĤн +Ġблагод аÑĤÑĮ +ĠблеÑģÑĤ ÑıÑīие +ĠблеÑģÑĤ ÑıÑīий +ĠблеÑģÑĤ ÑıÑīим +Ġближай ÑĪим +Ġбож еÑģÑĤвен +ĠбÑĢонз овÑĭе +ĠбÑĥÑĢжÑĥаз иÑı +ĠбÑĥÑĤ еÑĢбÑĢод +ĠваÑĢÑĮ иÑĢова +ĠвдоÑħнов ил +ĠвеÑĢоÑıÑĤ нее +ĠвеÑĢ ÑĤикали +ĠвзÑĢÑĭв ÑĩаÑĤк +Ġвидеок аÑĢÑĤ +ĠвиÑĤам инов +ĠвладелÑĮ ÑĨÑĥ +Ġвлаж ноÑģÑĤи +Ġвлаж ноÑģÑĤÑĮ +Ġвоз гоÑĢани +Ġвозд елÑĭва +Ġвозника ло +Ġвозник ÑĪие +Ġвоз ÑĢазиÑĤÑĮ +ĠволÑĪеб ник +ĠвоплоÑĤ иÑĤÑĮ +ĠвоÑģÑģ оздан +ĠвоÑģÑģÑĤ ании +ĠвоÑģÑĤоÑĩ нÑĭе +ĠвÑĢажеÑģ кие +ĠвÑĢажеÑģ кой +ĠвÑĢаÑī аеÑĤÑģÑı +ĠвÑĢемен нÑĭм +ĠвÑģад ников +ĠвÑģпом инаÑı +ĠвÑĭбÑĢоÑģ иÑĤÑĮ +ĠвÑĭжив ание +ĠвÑĭзÑĭва ÑİÑīе +ĠвÑĭиг ÑĢÑĭвал +ĠвÑĭплаÑĤ иÑĤÑĮ +ĠвÑĭÑĢабоÑĤ ке +ĠвÑĭÑģказ анн +ĠвÑĭÑģок окаÑĩ +ĠвÑĭÑģÑĤÑĢ елил +ĠвÑĭÑģÑĤÑĥп авÑĪ +ĠвÑĭÑĩиÑģл иÑĤÑĮ +ĠвÑĭÑıÑģ нениÑı +ĠгаÑĢанÑĤи ÑĢÑĥ +Ġголов олом +ĠгоÑĢд иÑĤÑĮÑģÑı +ĠгоÑĢ нолÑĭжн +ĠгоÑģÑĤин иÑĨÑĥ +ĠгÑĢеÑĩеÑģ кие +ĠдевÑı ноÑģÑĤо +ĠдегÑĢад аÑĨи +ĠдейÑģÑĤв ÑĥÑİÑī +ĠдекоÑĢ аÑĨии +Ġдели каÑĤно +Ġденеж ного +Ġдеп оÑĢÑĤаÑĨи +ĠдепÑĢеÑģÑģ иÑı +Ġдинам иÑĩно +ĠдиÑģкÑĢим ин +ĠдиÑģкÑĥÑģ Ñģий +ĠдиÑģ локаÑĨи +ĠдиÑģÑģ иденÑĤ +Ġдобав лÑıем +Ġдоб ивалÑģÑı +ĠдобÑĢод ÑĥÑĪн +Ġдогад алÑģÑı +Ġдожд аÑĤÑĮÑģÑı +Ġдожид аÑıÑģÑĮ +Ġдолгов еÑĩн +ĠдополнÑı еÑĤ +ĠдоÑģÑĤ алаÑģÑĮ +ĠдоÑģÑĤ алоÑģÑĮ +ĠдоÑģÑĤиг нÑĥв +ĠдÑĢÑĥж елÑİбн +ĠдÑĢÑĥж еÑģкие +ĠдÑĥбли ÑĢова +ĠдÑĮÑıв олÑĮÑģк +ĠевÑĢей Ñģкие +ĠевÑĢей Ñģким +ĠевÑĢопей ÑĨа +ĠевÑĢопей ÑĨÑĭ +Ġжал овалÑģÑı +Ġжалован ÑĮе +Ġжен ÑģÑĤвенн +Ġжизнен нÑĭм +Ġзабл Ñĥжден +ĠзабоÑĤ иÑĤÑģÑı +Ġзавед овал +Ġзав еÑīание +Ġзавоев Ñĭва +Ġзаголов ка +Ġзаголов ок +ĠзадÑĥм алÑģÑı +ĠзадÑĥм Ñĩиво +ĠзаклÑİÑĩ аÑĤÑĮ +Ġзак ÑĢÑĭваÑİÑĤ +ĠзамеÑĩ аний +Ġзанима ÑİÑģÑĮ +Ġзаним аÑıÑģÑĮ +ĠзаÑģÑĤен Ñĩив +ĠзаÑıв лениÑİ +Ġиде алÑĮнÑĭй +Ġиде алÑĮнÑĭм +Ġизвин ениÑı +ĠизгоÑĤов ил +ĠизÑĭÑģк аниÑı +Ġимен ÑĥеÑĤÑģÑı +Ġимми гÑĢаÑĨи +ĠимпеÑĢ аÑĤив +Ġинд ийÑģкиÑħ +Ġинквиз иÑĨи +ĠинÑģп екÑĨии +ĠиÑĢланд Ñģко +ĠиÑģкаж ениÑı +ĠиÑģкÑĢ ивлен +ĠиÑģпан Ñģким +ĠиÑģпан Ñģком +ĠиÑģпол кома +ĠиÑģполнÑı ем +ĠиÑģполнÑı ÑİÑĤ +ĠиÑģп оÑĢÑĤиÑĤÑĮ +ĠиÑģпÑĥг алÑģÑı +ĠиÑģпÑĭÑĤ ÑĭваÑİ +ĠиÑģÑģлед ÑĥеÑĤ +ĠиÑģÑĤ еÑĩениÑı +ĠиÑģÑĩез нÑĥвÑĪ +ĠиÑģÑĩез нÑĥÑĤÑĮ +ĠиÑĤалÑĮÑıн ÑĨÑĭ +ĠказаÑĩ ÑĮего +ĠкаÑĢ аÑĤелÑĮн +ĠкаÑĢÑĤ огÑĢаÑĦ +ĠкаÑĤак лизм +ĠкаÑĤегоÑĢ иÑĩ +ĠкаÑĤол иков +Ġкиев Ñģкого +ĠкиÑĤай ÑģкаÑı +ĠкиÑĤай Ñģком +ĠколÑħоз ник +ĠкомиÑģÑģ ией +Ġкомп анÑĮон +Ġкон венÑĨии +ĠконÑĤ ÑĢÑĥдаÑĢ +ĠконÑĨеп ÑĨий +ĠконÑĩ илаÑģÑĮ +ĠконÑĩ илоÑģÑĮ +ĠкоÑĢм лениÑı +ĠкоÑĢÑĢ екÑĨии +ĠкоÑģм одÑĢом +ĠкÑĢаÑĤ ÑĩайÑĪи +ĠкÑĢеп оÑģÑĤей +ĠкÑĥÑģ оÑĩками +ĠлиÑħоÑĢад ка +ĠлиÑħоÑĢад ки +Ġлок алÑĮнÑĭÑħ +ĠлÑİÑĦÑĤва ÑĦÑĦе +ĠмагиÑģÑĤ ÑĢаÑĤ +ĠмалÑĮÑĩиÑĪ ка +Ġманев ÑĢенн +ĠмаÑĢки ÑĢовк +ĠмаÑĤеÑĢ иков +Ġмгнов ениÑı +Ġмел анÑħоли +Ġмиг ÑĢанÑĤов +Ġмилли меÑĤÑĢ +Ġмиллион еÑĢ +ĠмиÑĤÑĢоп оли +Ġмлад енÑĨев +ĠмобилÑĮ ной +ĠмобилÑĮ нÑĭе +ĠмобилÑĮ нÑĭй +ĠмонаÑģÑĤÑĭ ÑĢи +ĠмоÑī ноÑģÑĤей +ĠнаблÑİд аеÑĤ +ĠнагÑĢÑĥз кой +Ġнадлеж ало +Ġнад ÑģÑĤÑĢойк +ĠназнаÑĩ аÑĤÑĮ +ĠнаилÑĥÑĩ ÑĪим +Ġнаказ аний +Ġналог овÑĭÑħ +ĠнамеÑĢ ений +Ġнапад ений +Ġнапад ениÑİ +ĠнапиÑģ ании +ĠнаÑģеком Ñĭе +ĠнаÑģÑĤоÑı ниÑİ +ĠнаÑĤк нÑĥлÑģÑı +ĠнаÑħодим ÑģÑı +ĠнаÑĩалÑĮ наÑı +ĠнаÑĩалÑĮ ном +ĠнаÑĩина еÑĪÑĮ +Ġнеад екваÑĤ +Ġнедов олен +ĠнедоÑģÑĤ аÑİÑī +ĠнедоÑĥм ева +Ġнез аÑĥÑĢÑıдн +Ġнезнаком ÑĨ +Ġненавид иÑĤ +ĠнеобÑĭ ÑĩнÑĭм +Ġнеп обедим +Ġнеп оÑģÑĤоÑıн +ĠнепÑĢи ÑıзнÑĮ +Ġнеп ÑĢодолж +ĠнеÑģк олÑĮкÑĥ +ĠнеÑģ ÑĩаÑģÑĤÑĮÑİ +ĠнеÑĥ ÑģÑĤанно +Ġномина ÑĨиÑı +ĠноÑģ иÑĤелем +ĠноÑģÑĤ алÑĮги +ĠобеÑĢ нÑĥлÑģÑı +ĠобеÑģпеÑĩ иÑĤ +ĠобиÑĤ аÑĤели +ĠобиÑĤ аÑĤелÑı +Ġоблег ÑĩаеÑĤ +Ġоблиг аÑĨий +ĠобнаÑĢÑĥж иÑĤ +ĠобобÑī ениÑı +ĠобознаÑĩ ил +Ġобоз ÑĢение +Ġобойд еÑĤÑģÑı +ĠобÑĢеÑĤ ениÑı +ĠобÑģÑĥжд аем +ĠобÑħод иÑĤÑģÑı +ĠобÑīежиÑĤ иÑı +ĠобÑĬедин Ñıл +Ġовлад ение +Ġодино Ñĩном +Ġодн ознаÑĩн +ĠокÑĢеÑģÑĤ нÑĭÑħ +ĠопаÑģ аÑĤÑĮÑģÑı +ĠопеÑĢ аÑĨией +ĠопиÑĢ аÑĤÑĮÑģÑı +Ġопол ÑĩениÑı +Ġоппоз иÑĨиÑİ +ĠопÑĢедели в +ĠопÑĢедел иÑĤ +ĠопÑĥÑģÑĤ оÑĪен +ĠопÑĮÑıн ениÑı +ĠоÑĢÑĦ огÑĢаÑĦи +ĠоÑģоб еннÑĭм +ĠоÑģозн авал +ĠоÑģозн аниÑı +ĠоÑģÑĤанов иÑĤ +ĠоÑģÑĤанов ке +ĠоÑģÑĤаÑĤ ками +ĠоÑĤ бÑĢоÑģиÑĤÑĮ +ĠоÑĤвеÑĢÑģÑĤ ий +ĠоÑĤдал енно +ĠоÑĤеÑĩ еÑģÑĤва +ĠоÑĤклад Ñĭва +ĠоÑĤкÑĢ ÑĭваÑİÑĤ +ĠоÑĤозв алÑģÑı +ĠоÑĤÑĢиÑĨ аниÑı +ĠоÑĤÑģÑĤа ивал +Ġо ÑħаÑĢакÑĤеÑĢ +ĠоÑħоÑĤниÑĩ ÑĮе +ĠоÑħоÑĤниÑĩ ÑĮи +ĠоÑĩеÑĢед наÑı +ĠоÑĩеÑĢед ное +ĠоÑĩеÑĢед ном +ĠоÑīÑĥÑī аеÑĤÑģÑı +ĠпеÑĢв иÑĩнÑĭÑħ +ĠпеÑĢевод ил +ĠпеÑĢедвиж н +ĠпеÑĢед него +ĠпеÑĢее ÑħаÑĤÑĮ +ĠпеÑĢе издан +ĠпеÑĢеклÑİÑĩ и +ĠпеÑĢек ÑĢÑĭва +ĠпеÑĢек ÑĢÑijÑģÑĤ +ĠпеÑĢем иÑĢие +ĠпеÑĢем иÑĢиÑı +ĠпеÑĢен еÑģли +ĠпеÑĢ еноÑģÑıÑĤ +ĠпеÑĢепиÑģ ка +ĠпеÑĢепиÑģ ке +ĠпеÑĢепиÑģ ки +ĠпеÑĢепиÑģ кÑĥ +ĠпеÑĢеÑģÑĤ аÑĤÑĮ +ĠпеÑĢеÑģÑĤ аÑİÑĤ +ĠпеÑģÑģим иÑģÑĤ +ĠпланиÑĢов к +ĠпобеÑĢеж ÑĮÑİ +Ġпов ÑĢедиÑĤÑĮ +ĠповÑĤоÑĢ ÑıÑİÑĤ +ĠповÑĭÑĪ ении +Ġпогиб нÑĥÑĤÑĮ +ĠподбоÑĢод к +Ġпод елилÑģÑı +Ġподзем нÑĭе +ĠподкÑĢеп лÑı +Ġподлин ник +Ġподлин нÑĭе +Ġподлин нÑĭй +Ġподлин нÑĭм +Ġподог ÑĢева +ĠподÑĢаж аÑĤÑĮ +ĠподÑĢоб нÑĭе +ĠподÑĢоб нÑĭй +ĠподÑĢоÑģÑĤ ки +ĠподÑĢ оÑģÑĤок +Ġпод ÑģиÑģÑĤем +Ġпод ÑģÑĤÑĥпаÑħ +Ġпод ÑħваÑĤил +ĠпоздÑĢав ил +ĠпоздÑĢав лÑı +Ġпо инÑĤеÑĢеÑģ +Ġпокол ениÑİ +Ġпок ÑĢÑĭваÑİÑĤ +ĠпокÑĥÑĪ ение +ĠполоÑĤен ÑĨе +ĠполÑĥÑĪ аÑĢии +Ġпомил ован +Ġпониж ение +Ġпопад ание +ĠпопÑĢоб Ñĥем +ĠпопÑĥлÑı ÑĢен +ĠпоÑĢаб оÑīен +ĠпоÑģÑĤ аменÑĤ +ĠпоÑģÑĤ олÑĮкÑĥ +Ġпо ÑģÑĤÑĢойке +ĠпоÑĨ еловал +ĠпÑĢав иÑĤели +ĠпÑĢеб ÑĭваеÑĤ +ĠпÑĢедвид ел +ĠпÑĢедлож ив +ĠпÑĢедпоÑĩ ел +ĠпÑĢедÑĬÑıв ил +ĠпÑĢекÑĢаÑī ал +ĠпÑĢепод неÑģ +ĠпÑĢеÑĤенд ÑĥÑİ +ĠпÑĢеÑĤ еÑĢпел +ĠпÑĢ еÑĨеденÑĤ +ĠпÑĢиб авиÑĤÑĮ +ĠпÑĢивлек ла +ĠпÑĢивÑĭÑĩ нÑĭм +ĠпÑĢием лемо +ĠпÑĢизем лен +ĠпÑĢи коÑģнов +ĠпÑĢикÑĢеп лÑı +ĠпÑĢимен Ñıли +ĠпÑĢимÑĭка еÑĤ +ĠпÑĢимÑĭка ÑİÑī +ĠпÑĢинÑĨ еÑģÑģÑĭ +ĠпÑĢиÑģ ÑıжнÑĭÑħ +ĠпÑĢоб иÑĤÑĮÑģÑı +ĠпÑĢовеÑĢ Ñıем +ĠпÑĢовеÑĢ ÑıÑİÑĤ +ĠпÑĢов олоки +ĠпÑĢодел Ñĭва +ĠпÑĢод олÑĮно +ĠпÑĢожив авÑĪ +ĠпÑĢомÑĭ Ñģлов +ĠпÑĢоник аÑĤÑĮ +ĠпÑĢоника ÑİÑĤ +ĠпÑĢоповед Ñĥ +ĠпÑĢоп оведÑĮ +ĠпÑĢоÑĢабоÑĤ к +ĠпÑĢоÑģлав лÑı +ĠпÑĢоÑĤ оиеÑĢе +ĠпÑĢоÑĦеÑģÑģ иÑİ +ĠпÑĢоÑħлад но +ĠпÑĢоÑĩÑĤ ениÑı +ĠпÑĥбликÑĥ еÑĤ +ĠпÑĥб лиÑĩнÑĭе +ĠпÑĮед еÑģÑĤал +ĠÑĢаз делÑĮно +ĠÑĢаздÑĢаж ал +ĠÑĢазмаÑħ ива +ĠÑĢазмеÑī аÑĤÑĮ +ĠÑĢазмÑĭÑĪ лÑıл +ĠÑĢазобла Ñĩа +ĠÑĢазоÑĢ ваÑĤÑĮ +ĠÑĢаÑģка Ñĩива +ĠÑĢаÑģ кÑĢÑĭÑĤиÑı +ĠÑĢаÑģпоÑĢÑıж а +ĠÑĢаÑģÑģ кажем +ĠÑĢаÑģÑģ кажеÑĤ +ĠÑĢаÑģÑģлаб лÑı +ĠÑĢаÑģ ÑģÑĤÑĢоен +ĠÑĢаÑģÑģ Ñĥждал +ĠÑĢаÑģÑĤвоÑĢ им +ĠÑĢаÑģ Ñĩленен +ĠÑĢаÑģÑĪиÑĢ ÑıÑĤÑĮ +ĠÑĢеаг иÑĢÑĥÑİÑĤ +ĠÑĢеализ Ñĥем +ĠÑĢеализ ÑĥеÑĤ +ĠÑĢеализ ÑĥÑİÑĤ +ĠÑĢеволÑİ ÑĨий +ĠÑĢезеÑĢв ÑĥаÑĢ +ĠÑĢезолÑİ ÑĨиÑİ +ĠÑĢепеÑĤ иÑĨии +ĠÑĢепÑĢеÑģÑģ ии +ĠÑĢепÑĥÑĤ аÑĨии +ĠÑĢепÑĥÑĤ аÑĨиÑı +ĠÑĢеÑĨен зенÑĤ +ĠÑĢеÑĪ имоÑģÑĤи +ĠÑĢеÑĪ имоÑģÑĤÑĮ +ĠÑĢиÑģ коваÑĤÑĮ +ĠÑĢиÑĤÑĥ алÑĮно +ĠÑĢоÑģÑģиÑı нин +ĠÑĢÑĥковод им +ĠÑģам обÑĭÑĤно +ĠÑģамод елÑĮн +ĠÑģамо оÑĨенк +ĠÑģближ ение +ĠÑģближ ениÑı +ĠÑģвеÑĢж ениÑı +ĠÑģвидеÑĤ ели +ĠÑģвобод наÑı +ĠÑģвобод нÑĥÑİ +ĠÑģвÑıз аÑĤÑĮÑģÑı +ĠÑģвÑıÑī еннÑĭе +ĠÑģвÑıÑī еннÑĭй +ĠÑģвÑıÑī еннÑĭм +ĠÑģвÑıÑī еннÑĭÑħ +ĠÑģеÑĢÑĮез нÑĥÑİ +ĠÑģеÑĢÑĮÑijз нÑĭе +ĠÑģим меÑĤÑĢии +ĠÑģкоп ление +ĠÑģкоÑĢ оÑģÑĤей +ĠÑģлив оÑĩное +ĠÑģлÑĥжеб ной +ĠÑģлÑĥÑĩ аÑİÑĤÑģÑı +ĠÑģлÑĥÑĩ илаÑģÑĮ +ĠÑģмеÑĪ анной +ĠÑģмеÑĪ аннÑĭе +ĠÑģмеÑĪ аннÑĭÑħ +ĠÑģмеÑĪ иваÑİÑĤ +ĠÑģмиÑĢ иÑĤÑĮÑģÑı +ĠÑģниз илаÑģÑĮ +ĠÑģобÑĢал аÑģÑĮ +ĠÑģовеÑĢÑĪ аем +ĠÑģоединÑı ÑİÑī +ĠÑģожал ение +ĠÑģозвезд ии +ĠÑģозд аÑĤели +ĠÑģоиÑģк ание +ĠÑģолн еÑĩнÑĭе +ĠÑģообÑī ениÑİ +ĠÑģопеÑĢ ниÑĩа +ĠÑģопоÑģÑĤав и +ĠÑģоÑģед него +ĠÑģоÑģÑĤоÑı Ñīее +ĠÑģоÑģÑĤоÑı Ñīие +ĠÑģоÑĤÑĢÑĥд ниÑĨ +ĠÑģоÑĩин ении +ĠÑģоÑĩÑĥв ÑģÑĤвÑĥ +ĠÑģпаÑģ иÑĤелÑĮ +ĠÑģпеÑĨиÑĦ икÑĥ +ĠÑģпÑĢав илÑģÑı +ĠÑģпÑĥÑģÑĤи лÑģÑı +ĠÑģÑĢавни вал +ĠÑģÑģÑĭл аеÑĤÑģÑı +ĠÑģÑĤаж иÑĢовк +ĠÑģÑĤанов ÑıÑģÑĮ +ĠÑģÑĤаÑĢ алаÑģÑĮ +ĠÑģÑĤаÑĢ ейÑĪин +ĠÑģÑĤаÑĢ ейÑĪиÑħ +ĠÑģÑĤаÑĢин нÑĭе +ĠÑģÑĤаÑĢин нÑĭÑħ +ĠÑģÑĤаÑĢÑĤ овом +ĠÑģÑĤаÑĤ иÑĩеÑģк +ĠÑģÑĤек лÑıнно +ĠÑģÑĤÑĢаÑĤег ий +ĠÑģÑĨен аÑĢиев +ĠÑģÑĩиÑĤ аннÑĭе +ĠÑĤанÑĨев аÑĤÑĮ +ĠÑĤан ÑĨовÑīиÑĨ +ĠÑĤаÑĤÑĥ иÑĢовк +ĠÑĤенниÑģ иÑģÑĤ +ĠÑĤогда ÑĪней +ĠÑĤоÑĢг оваÑĤÑĮ +ĠÑĤоÑĢгов ÑĨев +ĠÑĤоÑĢоп ливо +ĠÑĤÑĢад иÑĨией +ĠÑĤÑĢадиÑĨиÑı Ñħ +ĠÑĤÑĢеб ÑĥÑİÑīиÑħ +ĠÑĤÑĢиви алÑĮн +ĠÑĤÑıгоÑĤ ениÑı +ĠÑĥбед илиÑģÑĮ +ĠÑĥвеÑĢ еннÑĭм +ĠÑĥвлек алÑģÑı +ĠÑĥвл еÑĩениÑı +ĠÑĥголов нÑĭм +ĠÑĥделÑı еÑĤÑģÑı +ĠÑĥдеÑĢж аниÑı +ĠÑĥдобÑĢ ений +ĠÑĥказан ном +ĠÑĥ комплекÑĤ +ĠÑĥкÑĢа ÑĪение +ĠÑĥкÑĢеп лÑijнн +ĠÑĥлÑĭб аеÑĤÑģÑı +ĠÑĥменÑĮÑĪ аеÑĤ +ĠÑĥниÑĩÑĤож ал +ĠÑĥниÑĩÑĤож ив +ĠÑĥпоÑĢÑıд оÑĩи +ĠÑĥпÑĢав лÑıÑİÑĤ +ĠÑĥпÑĢоÑģÑĤ иÑĤÑĮ +ĠÑĥÑģÑĤÑĢо илÑģÑı +ĠÑĥÑģÑĭ новлен +ĠÑĥÑĤвеÑĢж даÑİ +ĠÑĦаÑĢма ÑĨевÑĤ +ĠÑĦедеÑĢ аÑĨиÑı +ĠÑĦиз иономи +ĠÑĦина лÑĮной +ĠÑĦина лÑĮном +ĠÑĦоÑĢм иÑĢÑĥÑİÑĤ +ĠÑĨеÑĢков нÑĭе +ĠÑĨеÑĢков нÑĭй +ĠÑĨеÑĢков нÑĭм +ĠÑĩеÑĢ нокожи +ĠÑĩеÑģÑĤ ноÑģÑĤÑĮ +ĠÑĩеÑĤвеÑĢÑĤ аÑı +ĠÑĩеÑĤвÑijÑĢÑĤ Ñĭй +ĠÑĪаÑħмаÑĤ иÑģÑĤ +ĠÑĪвед Ñģкого +ĠÑįконом иÑĩн +ĠÑįкÑģ кÑĥÑĢÑģии +ĠÑįкÑģÑĤÑĢ енно +ĠÑįлеганÑĤ но +ĠÑįлекÑĤÑĢи Ñĩк +ĠÑįлекÑĤÑĢо нÑĭ +ĠÑįÑĢиÑĤ ÑĢоÑĨиÑĤ +ÐķÑģÑĤ еÑģÑĤвенн +ÐĹдÑĢавÑģÑĤв Ñĥй +ÐĺмпеÑĢ аÑĤÑĢиÑĨ +ÐľÐ¾Ñģ ковÑģкий +ÐŁÑĢед полага +бÑīевой Ñģков +взаимо оÑĤно +геÑĢман Ñģком +дивеÑĢÑģ ионн +доÑģÑĤ аÑĤоÑĩно +елезоб еÑĤон +еÑĤÑħоз авеÑĤн +замÑĭ ÑģловаÑĤ +инÑģÑĤÑĢÑĥ менÑĤ +иÑĦиÑĨи ÑĢовал +каз ÑĭваеÑĤÑģÑı +коÑĢиÑĩнев Ñĭе +коÑĢиÑĩнев Ñĭй +коÑģм ополиÑĤ +менÑĤ иÑĢовал +меÑĤеоÑĢ олог +молни еноÑģн +неÑģанк ÑĨион +нÑģÑĤÑĢÑĥк ÑĨией +обоÑĢÑĥд ован +обÑĢаз ÑĨовое +овлеÑĤвоÑĢ ен +один надÑĨаÑĤ +ополож ного +опоÑģÑĤав иÑĤÑĮ +оп позиÑĨион +оÑĢганиз мов +оÑģнов аÑĤелÑĮ +оÑĤвеÑĢж енно +пиÑģ ÑĭвалиÑģÑĮ +полн омоÑĩен +пÑĢав ивÑĪиÑģÑĮ +пÑĢед полага +ÑĢовод ников +ÑģенÑģ аÑĨионн +ÑģмаÑĤÑĢ иваÑİÑĤ +ÑģовмеÑģÑĤим Ñĭ +ÑģоÑģÑĢед оÑĤоÑĩ +ÑģоÑģÑĥд иÑģÑĤой +ÑģÑĤÑĥп аÑİÑīего +ÑĤÑĢан ÑģмиÑģÑģи +ÑĤÑĥбеÑĢ кÑĥлÑijз +ÑĥÑĢкеÑģÑĤ анÑģк +ÑĥÑīеÑģÑĤв овал +ÑĩÑĥвÑģÑĤв овал +ÑįмпиÑĢи ÑĩеÑģк +Ġdiscontin u +ĠÐIJбÑģолÑİÑĤ наÑı +ĠÐIJвÑĤом обилÑĮ +ĠÐIJмеÑĢикан ÑĨÑĭ +ĠÐIJнглий Ñģкий +ĠÐijалÑĤий Ñģком +ĠÐijог омаÑĤеÑĢи +ĠÐĴÑĢемен ного +ĠÐĴÑĭÑıÑģ нилоÑģÑĮ +ĠÐĶалÑĮ нейÑĪее +ĠÐķвгенÑĮ евиÑĩ +ĠÐĸÑĥк овÑģкого +ĠÐĹакавказ ÑĮе +ĠÐĺнÑģÑĤ ÑĢÑĥменÑĤ +ĠÐĺÑģклÑİÑĩ ение +ĠÐļомпоз иÑĤоÑĢ +ĠÐľÐ°Ð´ агаÑģкаÑĢ +ĠÐľÐ°ÐºÑģим овиÑĩ +ĠÐľÐµÐ¹ÐµÑĢÑħ олÑĮд +ĠÐľÐµÑĢеж ковÑģк +ĠÐĿаиб олÑĮÑĪее +ĠÐĿаÑĩина еÑĤÑģÑı +ĠÐĿе извеÑģÑĤно +ĠÐŀÑģнов аÑĤелÑĮ +ĠÐŁÐ¾Ð´ деÑĢжива +ĠÐŁÐ¾Ñģ полиÑĤой +ĠÐŁÑĢоиÑģ ÑħодиÑĤ +ĠÐłÐµ ализаÑĨиÑı +ĠСвÑıÑī енного +ĠСогла ÑĪение +ĠСÑĤÑĢем ление +ĠТамб овÑģкой +ĠТвоÑĢ ÑĩеÑģÑĤво +ĠТеÑħн ологиÑı +ĠТимоÑĦ еевиÑĩ +ĠТÑĢеб ованиÑı +ĠУÑģÑĤÑĢой ÑģÑĤво +ĠЧеÑĢног оÑĢии +ĠШоп енгаÑĥÑįÑĢ +ĠШоÑģÑĤ аковиÑĩ +ĠаванÑĤ ÑİÑĢиÑģÑĤ +ĠавÑĤоном ной +ĠавÑĤоном нÑĭÑħ +ĠакÑĤив иÑģÑĤов +ĠакÑĤÑĥ алÑĮнÑĭм +Ġалкогол изм +ĠамеÑĢикан еÑĨ +Ġанализ аÑĤоÑĢ +Ġаналог иÑĩна +Ġанглий Ñģкое +Ġангло ÑıзÑĭÑĩн +Ġаним аÑĨионн +ĠанÑĤаг ониÑģÑĤ +ĠанÑĤиÑĩ ноÑģÑĤи +ĠаÑĢеÑģÑĤ оваÑĤÑĮ +ĠаÑĢÑĤиллеÑĢ иÑİ +ĠаÑĥдиÑĤоÑĢ ией +Ġбаз иÑĢÑĥеÑĤÑģÑı +Ġбанков Ñģкой +ĠбеÑģплаÑĤ нÑĭй +ĠбеÑģпомоÑī нÑĭ +ĠбеÑģпоÑĢÑıд ка +ĠбеÑģпоÑĢÑıд ки +ĠбеÑģпоÑīад но +ĠбеÑģÑĤ ÑģеллеÑĢ +ĠблагодаÑĢ иÑĤ +ĠблагодаÑĢ нÑĭ +ĠбÑĢиÑĤан ÑģкаÑı +ĠбÑĢиÑĤан Ñģком +ĠбÑĢон епоезд +ĠбÑĥÑĢжÑĥаз нÑĭÑħ +ĠвелиÑĩай ÑĪим +Ġвели ÑĩеÑģÑĤва +ĠвенÑĤ илÑıÑĤоÑĢ +ĠвеÑĢÑħов ного +Ġвиде озапиÑģ +Ġвидеок амеÑĢ +ĠвклÑİÑĩ аÑİÑīий +ĠводоÑģ боÑĢно +ĠвозвÑĢаÑī аем +Ġвозглав иÑĤÑĮ +Ġвоздвиг нÑĥÑĤ +Ġвозд еÑĢжива +Ġвозм еÑīениÑı +ĠвозмÑĥÑī ениÑı +ĠвозÑĢаж ений +ĠвообÑĢаз иÑĤÑĮ +ĠвоÑģпал ениÑı +ĠвоÑģпиÑĤ аниÑİ +ĠвоÑģпÑĢи ÑıÑĤии +ĠвоÑģпÑĢи ÑıÑĤиÑİ +ĠвоÑģ ÑģÑĤавÑĪиÑħ +ĠвоÑģÑĤок овед +ĠвÑģевозмож н +ĠвÑģпомина ÑİÑĤ +ĠвÑģÑĤÑĥп лении +ĠвÑĭда ÑİÑīимÑģÑı +ĠвÑĭиг ÑĢÑĭваеÑĤ +ĠвÑĭ ÑĢабоÑĤаÑĤÑĮ +ĠгенеÑĢ иÑĢÑĥеÑĤ +ĠгеÑĢман Ñģкий +ĠгиганÑĤ Ñģкие +ĠгиганÑĤ ÑģкиÑħ +ĠгиÑĤлеÑĢов ÑĨÑĭ +Ġглоб алÑĮнÑĭÑħ +Ġгол ливÑĥдÑģк +ĠгоÑģ безопаÑģ +ĠгÑĢав иÑĤаÑĨии +ĠгÑĢам маÑĤики +ĠгÑĢанаÑĤ омеÑĤ +ĠгÑĢÑĥпп ового +ĠдалÑĮней ÑĪÑĥÑİ +ĠдаÑĤ иÑĢÑĥеÑĤÑģÑı +ĠдвоÑĢÑıн ÑģÑĤво +ĠдвÑĥÑħ ÑįÑĤажнÑĭ +Ġдин озавÑĢов +ĠдипломаÑĤ ии +ĠдиÑģк омÑĦоÑĢÑĤ +Ġдл иÑĤелÑĮнÑĭе +Ġдл иÑĤелÑĮнÑĭÑħ +Ġдолг ожданн +ĠдоÑģÑĤиж ениÑİ +ĠдÑĢеÑģÑģ иÑĢовк +Ġеван гелÑĮÑģк +ĠегипеÑĤ ÑģкиÑħ +ĠегипеÑĤ Ñģкой +Ġедин одÑĥÑĪно +Ġжал оваÑĤÑĮÑģÑı +ĠживоÑĤ новод +Ġзавоев ание +Ġзакан Ñĩивал +ĠзаклÑİÑĩ алÑģÑı +Ġзаним авÑĪий +ĠзапеÑĩаÑĤ лен +ĠзаÑĢÑĥбеж нÑĭе +ĠзаÑģÑĤÑĢой Ñīик +ĠзаÑĪиÑĦ ÑĢован +Ġзнаком иÑĤÑģÑı +ĠзнаÑĩ иÑĤелÑĮн +Ġиде алÑĮного +Ġизвл еÑĩениÑı +ĠизгоÑĤов иÑĤÑĮ +Ġизмен ÑıÑİÑĤÑģÑı +ĠизмеÑĢ иÑĤелÑĮ +ĠизобÑĢаж аÑĤÑĮ +ĠизобÑĢаж аÑİÑĤ +ĠинÑģÑĤÑĢÑĥк ÑĨий +ĠинÑĤег ÑĢаÑĨиÑı +ĠиÑĢон иÑĩеÑģки +ĠиÑĤалÑĮÑıн ÑĨев +ĠкаÑģ аÑĤелÑĮно +ĠкаÑģ аÑİÑīиÑħÑģÑı +ĠкаÑĤегоÑĢиÑı м +ĠкаÑĤол иÑĨизм +ĠкибеÑĢ неÑĤик +Ġкин еÑĤиÑĩеÑģк +ĠкиноÑģÑĤ Ñĥдии +Ġклави аÑĤÑĥÑĢÑĭ +Ġкомбина ÑĨиÑı +ĠкоммÑĥÑĤ аÑĤоÑĢ +Ġкомп лименÑĤ +Ġкомпоз иÑĨий +Ġкомп ÑĢеÑģÑģоÑĢ +Ġконд иÑĤеÑĢÑģк +ĠконкÑĢеÑĤ нÑĥÑİ +ĠконÑģÑĤаÑĤ иÑĢÑĥ +ĠконÑĦ иденÑĨи +ĠконÑĦ иÑģкаÑĨи +ĠконÑĬÑİн кÑĤÑĥÑĢ +ĠкоÑĢолев ÑģÑĤв +ĠкоÑĢпоÑĢ аÑĨий +ĠкÑĢеп оÑģÑĤнÑĭÑħ +ĠкÑĢÑĥпней ÑĪей +ĠкÑĢÑĥпней ÑĪие +ĠкÑĥб омеÑĤÑĢов +Ġлог иÑĩеÑģкой +Ġмал овеÑĢоÑıÑĤ +ĠмаÑģÑĤеÑĢ ÑģкÑĥÑİ +Ġмеж планеÑĤн +ĠмемоÑĢ андÑĥм +ĠменÑĤ алиÑĤеÑĤ +ĠмеÑģÑĤ ноÑģÑĤÑıÑħ +ĠмеÑħаниз аÑĨи +Ġмиг ÑĢаÑĨионн +Ġмил оÑģеÑĢдиÑı +ĠмиÑĢозд аниÑı +ĠмиÑĤоÑħ ондÑĢи +ĠмобилÑĮ ного +ĠмогÑĥÑīеÑģÑĤв а +ĠмолодÑijж ной +Ġмон огÑĢаÑĦии +Ġмон огÑĢаÑĦий +ĠмÑıÑĤеж ников +Ġнавод нениÑı +Ġнаиб олÑĮÑĪий +Ġнакон еÑĩник +Ġнакоп ление +Ġналог ового +ĠнапÑĢÑı жÑijнно +ĠнаÑĢÑĥÑĪ аеÑĤÑģÑı +ĠнаÑģлед ÑģÑĤве +ĠнаÑģлед ÑģÑĤвÑĥ +ĠнаÑģÑĤÑĢо ений +ĠнаÑĩ алÑĮного +ĠнаÑĩина лаÑģÑĮ +ĠнаÑĩина лоÑģÑĮ +ĠнаÑĩина ÑİÑīиÑħ +Ġневозмож ен +Ġневозмож на +Ġневоз мÑĥÑĤим +ĠневÑĭ ноÑģимо +ĠнегаÑĤив нÑĭÑħ +ĠнедоÑģÑĤÑĥп но +Ġнезакон нÑĭм +ĠнекоÑĢÑĢ екÑĤн +Ġнеодн оÑĢодн +Ġнеподал ÑijкÑĥ +ĠнепÑĢ ивÑĭÑĩно +ĠнепÑĢи емлем +Ġнеп ÑĢиÑģÑĤойн +ĠнепÑĢи ÑģÑĤÑĥпн +ĠнепÑĢиÑıÑĤ нÑĭе +ĠнепÑĢиÑıÑĤ нÑĭй +ĠнепÑĢиÑıÑĤ нÑĭм +ĠнепÑĢиÑıÑĤ нÑĭÑħ +ĠнепÑĢо Ñħодим +ĠнеÑĢаз ÑĢеÑĪим +ĠнеÑģпоÑģоб нÑĭ +ĠнеÑģÑĩаÑģÑĤ нÑĭй +ĠнеÑĤеÑĢп елив +Ġномина лÑĮно +ĠноÑĢм алÑĮнаÑı +ĠноÑĢм алÑĮнÑĭе +ĠобвинÑıем ÑĭÑħ +Ġоблад аÑĤелÑı +Ġоблад аÑİÑīие +Ġоблад аÑİÑīий +Ġоблад аÑİÑīиÑħ +ĠобознаÑĩ иÑĤÑĮ +ĠобоÑģнов аÑĤÑĮ +ĠобÑĢабоÑĤ Ñĩик +ĠобÑĢаз оваÑĤÑĮ +ĠобÑĢаз ÑĥÑİÑīие +ĠобÑĢаз ÑĥÑİÑīиÑħ +ĠобÑģлед ован +Ġоб ÑģÑĤÑĢелива +Ġоказ авÑĪиÑģÑĮ +ĠокÑĢÑĥжаÑİÑī ем +ĠокÑĢÑĥж аÑİÑīий +ĠокÑĢÑĥжаÑİÑī ÑĥÑİ +ĠопаÑģ ноÑģÑĤей +Ġопла ÑĩиваÑĤÑĮ +ĠопÑĢав даниÑı +ĠопÑĢедел ено +ĠопÑĢоÑĪ еннÑĭÑħ +Ġоп ÑĤиÑĩеÑģкиÑħ +ĠоÑĢганиз ÑĥÑİÑĤ +ĠоÑĢиенÑĤ аÑĨиÑı +ĠоÑģлож нений +ĠоÑģлож нениÑı +ĠоÑģозн аваÑĤÑĮ +ĠоÑģÑĤав ÑĪийÑģÑı +ĠоÑģÑĤав ÑĪÑĥÑİÑģÑı +ĠоÑģÑĤ алÑĮного +ĠоÑģÑĤанов оÑĩн +ĠоÑĤкÑĢов ение +ĠоÑĤкÑĢов ениÑı +ĠоÑĤноÑģ илоÑģÑĮ +ĠоÑĤÑĢаз илоÑģÑĮ +ĠоÑĤÑģÑĤа иваÑĤÑĮ +ĠоÑĤÑĩеÑĤ ноÑģÑĤи +ĠоÑħлажд ение +ĠпаÑĢ икмаÑħеÑĢ +ĠпеÑĢеб ÑĢоÑĪен +ĠпеÑĢевеÑĢ нÑĥÑĤ +ĠпеÑĢевод иÑĤÑĮ +ĠпеÑĢев ооÑĢÑĥж +ĠпеÑĢед аваем +ĠпеÑĢед аÑĤÑĩик +ĠпеÑĢем еÑģÑĤил +ĠпеÑĢе оÑģмÑĭÑģл +ĠпеÑĢеплеÑĤ ен +ĠпеÑĢеÑģÑĤ авал +ĠпеÑĢеÑģÑĤ анеÑĤ +ĠпиÑģÑĮмен ной +ĠпиÑģÑĮмен нÑĭÑħ +Ġпоб ÑĥждениÑı +ĠповеÑģÑĤв ова +Ġпогло ÑīениÑı +ĠпогÑĢеб алÑĮн +ĠпогÑĢеб ениÑı +ĠпогÑĢÑĥж ениÑı +Ġподав ление +Ġпод баÑģÑģейн +ĠподкÑĢеп лен +Ġподним алÑģÑı +ĠподозÑĢ ениÑİ +ĠподÑĢаж аниÑı +Ġпод ÑģолнеÑĩн +Ġпод ÑħодÑıÑīий +Ġпод ÑħодÑıÑīим +Ġпожал оваÑĤÑĮ +Ġпознаком ил +Ġпоказ алиÑģÑĮ +Ġпоклон ениÑı +ĠпокÑĥп аÑĤели +Ġполаг алоÑģÑĮ +Ġполи ÑįÑĤилен +Ġполковод еÑĨ +ĠполÑĥÑĩ еннÑĭм +ĠполÑĥÑĩив ÑĪаÑı +ĠполÑĥÑĩ ивÑĪие +ĠполÑĥÑĩ ивÑĪиÑħ +ĠполÑı ÑĢизаÑĨи +ĠпонÑĢав иÑĤÑģÑı +Ġпо оÑĩеÑĢедно +ĠпопеÑĩ иÑĤелÑĮ +Ġпополн ениÑı +ĠпопÑĭÑĤ алаÑģÑĮ +ĠпоÑģели лиÑģÑĮ +ĠпоÑģеÑĤ иÑĤели +ĠпоÑģÑĢед ÑģÑĤве +ĠпоÑģÑĤанов кÑĥ +ĠпоÑģÑĤаÑĢ алÑģÑı +ĠпоÑģÑĤаÑĢ аÑİÑģÑĮ +ĠпоÑĤÑĢÑıÑģ аÑİÑīе +ĠпÑĢедвид еÑĤÑĮ +ĠпÑĢед двеÑĢии +ĠпÑĢед оÑħÑĢанÑı +ĠпÑĢедпоÑģ Ñĭлк +ĠпÑĢедÑģказ ал +ĠпÑĢедÑģÑĤав иÑĤ +ĠпÑĢедÑĬÑıв иÑĤÑĮ +ĠпÑĢекÑĢаÑģ нÑĥÑİ +ĠпÑĢекÑĢаÑī ено +ĠпÑĢе обÑĢажен +ĠпÑĢеÑģ еÑĩениÑı +ĠпÑĢеÑģлед ÑĥÑİÑĤ +ĠпÑĢеÑģÑĤÑĥп нÑĭÑħ +ĠпÑĢеÑĤенд ÑĥеÑĤ +ĠпÑĢеÑĤ еÑĢпева +ĠпÑĢиб егнÑĥÑĤÑĮ +ĠпÑĢибÑĢеж нÑĭÑħ +ĠпÑĢивилег ий +ĠпÑĢиглаÑĪ аеÑĤ +ĠпÑĢиговоÑĢ Ñijн +ĠпÑĢигод иÑĤÑģÑı +ĠпÑĢидвоÑĢ нÑĭÑħ +ĠпÑĢим иÑĢениÑı +ĠпÑĢиним авÑĪи +ĠпÑĢи ÑĢавнива +ĠпÑĢиÑĤ ÑıжениÑı +ĠпÑĢиÑĤ ÑıзаниÑı +ĠпÑĢог овоÑĢил +ĠпÑĢоиз неÑģÑĤи +ĠпÑĢомежÑĥÑĤ ка +ĠпÑĢопаганд е +ĠпÑĢопаганд Ñĥ +ĠпÑĢоÑĢв аÑĤÑĮÑģÑı +ĠпÑĢоÑģлеж ива +ĠпÑĢоÑĪ еÑģÑĤвии +ĠпÑģиÑħ иаÑĤÑĢии +ĠпÑĥблика ÑĨиÑİ +ĠÑĢабоÑĤ авÑĪий +ĠÑĢавнод ÑĥÑĪие +ĠÑĢавнод ÑĥÑĪно +ĠÑĢавнод ÑĥÑĪнÑĭ +ĠÑĢад оваÑĤÑĮÑģÑı +ĠÑĢазг ÑĢаблен +ĠÑĢаздÑĢаж аеÑĤ +ĠÑĢаз дÑĢоблен +ĠÑĢаз ложениÑı +ĠÑĢазÑĢеÑĪ ении +ĠÑĢаÑģ плаÑĩива +ĠÑĢаÑģÑģ елениÑı +ĠÑĢаÑģ ÑģÑĤановк +ĠÑĢаÑģ ÑģÑĤÑĢаива +ĠÑĢаÑģÑģÑĥжд аÑĤÑĮ +ĠÑĢаÑģÑģÑĩиÑĤ аÑĤÑĮ +ĠÑĢаÑģÑħод ÑıÑĤÑģÑı +ĠÑĢаÑģÑĪиÑĢ ениÑİ +ĠÑĢаÑģÑĪи ÑĦÑĢовк +ĠÑĢеаг иÑĢовал +ĠÑĢеализ овал +ĠÑĢегÑĥли ÑĢÑĥем +ĠÑĢегÑĥли ÑĢÑĥÑİÑĤ +ĠÑĢегÑĥлÑıÑĢ нÑĭÑħ +ĠÑĢенÑĤ абелÑĮн +ĠÑĢоÑģÑģий ÑģкÑĥÑİ +ĠÑģвеÑĤ илÑĮник +ĠÑģем идеÑģÑıÑĤи +ĠÑģем надÑĨаÑĤÑĮ +ĠÑģепаÑĢаÑĤ иÑģÑĤ +ĠÑģеÑĢебÑĢÑı нÑĭÑħ +ĠÑģилÑĮ нейÑĪиÑħ +ĠÑģказ анного +ĠÑģклон ноÑģÑĤи +ĠÑģлав ÑıноÑĦил +ĠÑģлÑĥжеб ного +ĠÑģмеÑĢÑĤ ноÑģÑĤи +ĠÑģнаÑĢÑı жение +ĠÑģнаÑĢÑı жениÑı +ĠÑģновид ений +ĠÑģобиÑĢа емÑģÑı +ĠÑģобиÑĢ аÑĤелÑĮ +ĠÑģоблÑİд ении +ĠÑģовмеÑģÑĤ нÑĭе +ĠÑģовмеÑģÑĤ нÑĭм +ĠÑģовпад ениÑı +ĠÑģоглаÑģ иÑĤÑģÑı +ĠÑģодейÑģÑĤв иÑı +ĠÑģодеÑĢжаÑī аÑı +ĠÑģодеÑĢжаÑī ей +ĠÑģозÑĢев аниÑı +ĠÑģомнев аÑİÑģÑĮ +ĠÑģопоÑģÑĤав лÑı +ĠÑģоÑģÑĤавлÑı вÑĪ +ĠÑģоÑģÑĤоÑı вÑĪий +ĠÑģоÑģÑĤ ÑıзаниÑı +ĠÑģоÑħÑĢан ениÑİ +ĠÑģоÑĩеÑĤ аеÑĤÑģÑı +ĠÑģпекÑĤак лей +ĠÑģпоÑĢÑĤив нÑĥÑİ +ĠÑģпоÑĢÑĤив нÑĭм +ĠÑģÑĢавнив аеÑĤ +ĠÑģÑĤаÑĤиÑģÑĤ икÑĥ +ĠÑģÑĤ илизован +ĠÑģÑĤомаÑĤ олог +ĠÑģÑĤÑĢелков ÑĭÑħ +ĠÑģÑĤÑĢем илаÑģÑĮ +ĠÑģÑĥб ÑģÑĤанÑĨии +ĠÑģÑįконом иÑĤÑĮ +ĠÑĤамож еннÑĭÑħ +ĠÑĤвоÑĢ ÑĩеÑģкаÑı +ĠÑĤвоÑĢ ÑĩеÑģкое +ĠÑĤвоÑĢ ÑĩеÑģком +ĠÑĤвоÑĢ ÑĩеÑģкÑĥÑİ +ĠÑĤелегÑĢам ма +ĠÑĤелегÑĢам мÑĭ +ĠÑĤогда ÑĪнего +ĠÑĤоÑĢм ожениÑı +ĠÑĤÑĢанÑģ лÑıÑĨии +ĠÑĤÑĢин адÑĨаÑĤи +ĠÑĤÑĢин адÑĨаÑĤÑĮ +ĠÑĤÑĢÑĥд оÑĥÑģÑĤÑĢо +ĠÑĥглÑĥб ление +ĠÑĥдеÑĢж иваеÑĤ +ĠÑĥдоÑģÑĤ овеÑĢи +ĠÑĥдоÑģÑĤо илÑģÑı +ĠÑĥкÑĢаин ÑģкаÑı +ĠÑĥлÑĭб нÑĥлаÑģÑĮ +ĠÑĥлÑĮÑĤ имаÑĤÑĥм +ĠÑĥникалÑĮ нÑĭе +ĠÑĥникалÑĮ нÑĭÑħ +ĠÑĥниÑĩÑĤож аÑĤÑĮ +ĠÑĥниÑĩÑĤож аÑİÑĤ +ĠÑĥпоÑĤÑĢеб лен +ĠÑĥÑģмоÑĤÑĢ ениÑİ +ĠÑĥÑĤом иÑĤелÑĮн +ĠÑĥÑıзв имоÑģÑĤи +ĠÑĦанÑĤа ÑģÑĤика +ĠÑĦигÑĥ ÑĢиÑĢÑĥеÑĤ +ĠÑĦилоÑģоÑĦ ией +ĠÑĦÑĥÑĤболÑĮ нÑĭÑħ +ĠÑħим иÑĩеÑģкаÑı +ĠÑħлад нокÑĢов +ĠÑħолеÑģÑĤ еÑĢин +ĠÑĩеÑĢед овани +ĠÑĩÑĥвÑģÑĤвÑĥ еÑĪÑĮ +ĠÑĪиÑĦ ÑĢованиÑı +ĠÑįконом икой +ĠÑįкÑģпед иÑĨий +ĠÑįÑģкадÑĢи лÑĮÑı +ĠÑįÑĤни ÑĩеÑģкой +ĠÑıвлÑı ÑİÑīиеÑģÑı +ĠÑıвлÑı ÑİÑīийÑģÑı +ĠÑıвлÑı ÑİÑīиÑħÑģÑı +ĠÑıзÑĭк ознани +ÐIJпокали пÑģиÑģ +ÐĹамеÑĩ аÑĤелÑĮн +ÐŀбÑī еÑģÑĤвенно +ÐŁÑĢи клÑİÑĩениÑı +ÐŃн ÑĨиклопеди +деп аÑĢÑĤаменÑĤ +евÑĢопей ÑģкаÑı +зажиг аÑĤелÑĮн +инÑĤокÑģ икаÑĨи +клад ÑĭвалиÑģÑĮ +конÑĦеÑĢен ÑĨий +кон ÑĨенÑĤÑĢиÑĢÑĥ +коÑĢиÑĩнев ого +олог иÑĩеÑģком +ообÑĢаз ноÑģÑĤи +опÑĢедел ение +оÑĢганиз ован +оÑģвобод иÑĤел +оÑģ пÑĢоизводÑı +оÑĤÑģÑĥÑĤÑģÑĤв ÑĥÑİÑī +пеÑĢвок лаÑģÑģн +повÑģÑĤан ÑĩеÑģк +поÑĤÑĥÑģÑĤ оÑĢонн +пÑĢав озаÑīиÑĤн +пÑĢед оÑģÑĤоÑĢож +Ñģеман ÑĤиÑĩеÑģк +ÑģÑĤаб илизаÑĨи +ÑģÑĤÑĢа иваеÑĤÑģÑı +ÑĤеÑħни ÑĩеÑģкие +ÑĦаÑĪиÑģÑĤ Ñģкими +ÑĩÑĥвÑģÑĤв оваÑĤÑĮ +Ñįллип ÑĤиÑĩеÑģк +Ñįн ÑĨиклопеди +ĠÐIJнаÑĤ олÑĮевиÑĩ +ĠÐijелоÑĢÑĥÑģ Ñģкой +ĠÐĴаÑĢÑĪав Ñģкого +ĠÐĴладик авказ +ĠÐĴоÑģ пиÑĤанник +ĠÐĴÑģеÑģоÑİз ного +ĠÐķвÑĢопей Ñģкий +ĠÐĹакон одаÑĤел +ĠÐĹамеÑģÑĤ иÑĤелÑĮ +ĠÐĺзобÑĢаж ение +ĠÐĺÑģполÑĮз ÑĥйÑĤе +ĠÐļоманд ÑĥÑİÑīий +ĠÐļомменÑĤ аÑĢии +ĠÐļомÑģом олÑĮÑģк +ĠÐļонÑģÑĤиÑĤÑĥ ÑĨиÑı +ĠÐļоÑĢолев ÑģÑĤва +ĠÐļоÑģÑĤÑĢом Ñģкой +ĠÐľÐ°ÐºÑģим илиан +ĠÐĿидеÑĢ ландаÑħ +ĠÐĿижегоÑĢод Ñģк +ĠÐĿобел евÑģкой +ĠÐŀбÑıз аÑĤелÑĮно +ĠÐŀп Ñĥбликован +ĠÐŀÑĢганиз аÑĤоÑĢ +ĠÐŀÑģоб енноÑģÑĤи +ĠÐŁÐ¾Ð´Ð¼Ð¾Ñģков ÑĮе +ĠÐŁÑĢодолж ение +ĠÐŁÑĢоÑģв еÑīениÑı +ĠÐłÐ°ÑģÑģ маÑĤÑĢива +ĠÐłÐµÑģпÑĥбли кой +ĠСеваÑģÑĤ ополе +ĠСимÑĦеÑĢ ополÑĮ +ĠСовÑĢемен ное +ĠСодÑĢÑĥж еÑģÑĤва +ĠСоедин ÑijннÑĭÑħ +ĠСпеÑĨи алÑĮнÑĭй +ĠСÑĢедизем ном +ĠСÑĥÑīеÑģÑĤв овал +ĠТавÑĢи ÑĩеÑģкой +ĠТемпеÑĢ аÑĤÑĥÑĢа +ĠТÑĢадиÑĨион но +ĠФедеÑĢ алÑĮнÑĭй +ĠФÑĢанÑĨÑĥз Ñģкий +ĠХаÑĢÑĮков Ñģкой +ĠаббÑĢев иаÑĤÑĥÑĢ +ĠавиаÑĨион наÑı +ĠавÑģÑĤÑĢий Ñģкий +ĠавÑģÑĤÑĢий Ñģкой +Ġадап ÑĤиÑĢован +ĠаллеÑĢг иÑĩеÑģк +ĠапеллÑı ÑĨионн +ĠаÑĢÑħиÑĤекÑĤ ÑĥÑĢÑĥ +ĠаÑģпи ÑĢанÑĤÑĥÑĢÑĥ +Ġбаз иÑĢованиÑı +ĠбанкÑĢоÑĤ ÑģÑĤва +Ġбез гÑĢаниÑĩно +ĠбезоÑĪиб оÑĩно +ĠбезÑĢабоÑĤ иÑĨÑĭ +ĠбезÑĢаз лиÑĩно +ĠбелоÑĢÑĥÑģ Ñģкий +ĠбелоÑĢÑĥÑģ ÑģкиÑħ +ĠбелоÑĢÑĥÑģ Ñģкой +ĠбеÑģкон еÑĩнÑĭе +ĠбеÑģконеÑĩ нÑĭм +ĠбеÑģпоÑĢÑıд ков +ĠбеÑģп ÑĢеделÑĮн +ĠбеÑģпÑĢ еÑĢÑĭвно +ĠблагоÑģлов иÑĤ +ĠблагоÑĤвоÑĢ но +ĠбомбаÑĢд иÑĢом +ĠбÑĥÑĢжÑĥаз ного +ĠвдоÑħнов ение +ĠвдоÑħнов ениÑı +ĠвеÑĢо иÑģповед +ĠвзаимоÑģвÑıз ÑĮ +ĠвиногÑĢад ник +ĠвиÑĢÑĤÑĥ алÑĮнÑĭÑħ +ĠвмеÑĪ иваÑĤÑĮÑģÑı +Ġвоенноп ленн +ĠвозвÑĢаÑī аÑıÑģÑĮ +ĠвоздейÑģÑĤв ии +ĠвоздейÑģÑĤв ий +ĠвозлÑİб леннÑĭ +Ġвозобнов иÑĤÑĮ +ĠвообÑĢаж ении +ĠвоодÑĥÑĪ евлен +ĠвоÑģемÑĮ деÑģÑıÑĤ +ĠвоÑģпиÑĤ ÑĭваÑĤÑĮ +ĠвоÑģÑĤ оÑĢженно +ĠвÑģе обÑĬемлÑİÑī +ĠвÑĭда ÑİÑīегоÑģÑı +ĠвÑĭдеÑĢж иваеÑĤ +ĠвÑĭÑģказ ÑĭваеÑĤ +ĠвÑĭÑģÑĤÑĥп авÑĪий +ĠвÑĭÑģÑĤÑĥп аÑİÑīий +ĠвÑĭÑģÑĤÑĥп лении +ĠвÑĭÑĪе Ñĥказанн +Ġгенд иÑĢекÑĤоÑĢ +ĠгиÑĤлеÑĢов ÑĨев +Ġглоб ализаÑĨи +ĠголоÑģов ании +ĠгÑĢаждан ÑģкаÑı +ĠгÑĢаждан Ñģком +ĠгÑĢаждан ÑģкÑĥÑİ +ĠгÑĢÑĥпп иÑĢовкÑĥ +ĠдвÑĥÑģ мÑĭÑģленн +ĠдвÑĥÑģÑĤ оÑĢонне +ĠдиÑģÑĤ ÑĢибÑĥÑĤив +ĠдолжноÑģÑĤ нÑĭм +ĠдÑĢагоÑĨен нÑĭе +ĠдÑĢагоÑĨен нÑĭÑħ +ĠдÑĢамаÑĤÑĥÑĢг ии +ĠдÑĭÑħ аÑĤелÑĮнÑĭÑħ +ĠевÑĢопей Ñģкий +Ġедин обоÑĢÑģÑĤв +Ġедин оглаÑģно +Ġзабл ÑĥждениÑı +Ġзавед ÑĥÑİÑīего +ĠзавеÑĢÑĪи лоÑģÑĮ +ĠзагÑĢажд ениÑı +ĠзагÑĢÑıз нениÑı +ĠзаÑģлÑĥж иваÑİÑĤ +ĠзаÑģлÑĥж иваÑİÑī +ĠзаÑħваÑĤ Ñĩиков +ĠзаÑħваÑĤ ÑĭваеÑĤ +ĠиллÑİÑģÑĤÑĢа ÑĨиÑı +ĠимпÑĢов изаÑĨи +ĠиноÑģÑĤÑĢ аннÑĭй +ĠиÑģкÑĢен ноÑģÑĤÑĮ +ĠиÑģполн иÑĤели +ĠиÑĤалÑĮÑıн Ñģкие +ĠиÑĤалÑĮÑıн Ñģким +ĠиÑĤалÑĮÑıн Ñģком +ĠкаÑĢдина лÑĮно +ĠкаÑĤа лизаÑĤоÑĢ +ĠклаÑģÑģ иÑĨизма +ĠколоколÑĮ Ñĩик +ĠколоÑģÑģ алÑĮно +Ġкоманд оваÑĤÑĮ +ĠкомиÑģÑģ аÑĢиаÑĤ +ĠкомпенÑģ аÑĨиÑİ +ĠконкÑĥÑĢен ÑĨиÑİ +ĠконкÑĥÑĢен ÑĨиÑı +ĠконÑģол идаÑĨи +ĠконÑĦиÑģ кован +Ġкоп иÑĢованиÑı +ĠкоÑĢолев Ñģкий +ĠкоÑĢолев ÑģкиÑħ +ĠкоÑģм иÑĩеÑģким +ĠкоÑģм иÑĩеÑģком +ĠкÑĢим иналиÑģÑĤ +ĠкÑĢипÑĤ овалÑİÑĤ +ĠкÑĢÑĥпней ÑĪего +Ġлог иÑĩеÑģкого +Ġлок ализаÑĨии +Ġмало извеÑģÑĤн +ĠмалоÑĩ иÑģленн +Ġманип ÑĥлÑıÑĨии +ĠмаÑĢкеÑĤинг ов +ĠмаÑģÑģ иÑĢованн +ĠмедиÑĨин Ñģким +ĠмедиÑĨин Ñģкое +ĠмедиÑĨин Ñģком +ĠмедиÑĨин ÑģкÑĥÑİ +Ġменедж менÑĤа +ĠмеÑĤаллÑĥÑĢг ии +ĠмеÑĤод ологии +ĠминеÑĢ алÑĮнÑĭÑħ +ĠминималÑĮ нÑĭй +Ġмод иÑĦикаÑĨий +ĠмÑĥзÑĭкалÑĮ наÑı +ĠмÑĥзÑĭкалÑĮ нÑĭм +ĠмÑĥлÑĮÑĤ ÑģеÑĢиал +ĠнаблÑİдал оÑģÑĮ +ĠнаблÑİд аÑĤели +ĠнапÑĢав илиÑģÑĮ +ĠнаÑģел Ñijнного +ĠнаÑģлажд ениÑı +ĠнаÑħод ÑıÑīейÑģÑı +ĠнаÑħод ÑıÑīимÑģÑı +ĠневеÑĢоÑıÑĤ нÑĭм +Ġнегод ование +ĠнеизвеÑģÑĤ нÑĭй +ĠнейÑĤÑĢал иÑĤеÑĤ +Ġнеодн окÑĢаÑĤн +ĠнеоÑĤ ÑĬемлемо +Ġнепокол ебим +Ġнеп онимание +ĠнеÑĢав енÑģÑĤво +ĠнеÑģÑĢавн енно +ĠнеÑĥпÑĢав лÑıем +Ġномин иÑĢован +ĠобеÑģпеÑĩ иваÑı +ĠобнаÑĢод ован +ĠобнаÑĢÑĥж ение +ĠобнаÑĢÑĥж ивал +ĠобоÑģнов аниÑı +ĠобоÑģоб ленно +ĠобÑĢазов алÑģÑı +ĠобÑģеÑĢв аÑĤоÑĢи +ĠобÑģÑĤанов кой +ĠобÑī едоÑģÑĤÑĥпн +Ġодин надÑĨаÑĤи +Ġоднов ÑĢеменн +ĠожеÑģÑĤоÑĩ енно +ĠоконеÑĩ ноÑģÑĤи +Ġолимпий Ñģкий +ĠопоÑģÑĢед ован +ĠопÑĢав дÑĭваеÑĤ +ĠопÑĢедел ений +ĠоÑģкоÑĢб ление +ĠоÑģкоÑĢб лениÑı +ĠоÑģнов аÑĤелем +ĠоÑģнов ÑĭваÑıÑģÑĮ +ĠоÑĤкÑĢ ÑĭваÑİÑĤÑģÑı +ĠоÑĤобÑĢаж ение +ĠоÑĤÑģлеж иваÑĤÑĮ +Ġпале онÑĤолог +ĠпеÑĢедвиж ени +ĠпеÑĢеÑĢабоÑĤ ке +ĠпеÑĢеÑģÑĤ ÑĢаива +ĠпиÑīеваÑĢ ениÑı +Ġплод оÑĤвоÑĢно +ĠпогÑĢани Ñĩной +ĠпогÑĢани ÑĩнÑĭÑħ +ĠподвеÑĢг алÑģÑı +ĠподвеÑĢг лаÑģÑĮ +ĠподвеÑĢг нÑĥÑĤÑĮ +Ġподвиж ноÑģÑĤÑĮ +ĠподдеÑĢж иваÑı +Ġпод желÑĥдоÑĩн +ĠподклÑİÑĩ ение +Ġподним алиÑģÑĮ +Ġподним аÑİÑĤÑģÑı +ĠподозÑĢев аеÑĤ +ĠподпиÑģ Ñĩиков +ĠподÑĤвеÑĢж дал +ĠподÑĩин еннÑĭм +ĠпожеÑĢÑĤв ован +ĠпозволÑı ÑİÑīаÑı +ĠпозволÑı ÑİÑīиÑħ +Ġпозвоно Ñĩник +Ġпозвоно ÑĩнÑĭÑħ +ĠпоздÑĢав лени +Ġпоказ аÑĤелем +ĠполноÑĨен нÑĭй +ĠполÑĥÑĩ ивÑĪего +ĠпоÑģледÑĥÑİÑī ее +ĠпоÑģÑĤав Ñīиков +ĠпоÑģÑĤаÑĢ аÑĤÑĮÑģÑı +ĠпоÑģÑĤ ÑģовеÑĤÑģк +ĠпоÑĩÑĥвÑģÑĤв ÑĥеÑĤ +ĠпÑĢавоÑģлав ие +ĠпÑĢавоÑģлав иÑı +ĠпÑĢакÑĤи ковал +ĠпÑĢевÑĢаÑĤ иÑĤÑģÑı +ĠпÑĢедан ноÑģÑĤи +ĠпÑĢедиÑģлов ие +ĠпÑĢедиÑģлов ии +ĠпÑĢедлож ении +ĠпÑĢед оÑģÑĤеÑĢег +ĠпÑĢед пиÑģаниÑı +ĠпÑĢедполаг аÑİ +ĠпÑĢедпÑĢин ÑıÑĤа +ĠпÑĢедпÑĢин ÑıÑĤÑĭ +ĠпÑĢедÑģказ аÑĤÑĮ +ĠпÑĢедÑģказ Ñĥем +ĠпÑĢедÑģÑĤавлÑı Ñı +ĠпÑĢедÑģÑĤоÑıÑī ей +ĠпÑĢедÑģÑĤоÑıÑī иÑħ +ĠпÑĢеоблад аеÑĤ +ĠпÑĢеодол ение +ĠпÑĢепод аваÑĤÑĮ +ĠпÑĢеÑĤенд овал +ĠпÑĢиближ ениÑı +ĠпÑĢиблиз илÑģÑı +ĠпÑĢиглаÑĪ ениÑİ +ĠпÑĢигла ÑĪениÑı +ĠпÑĢиказ ÑĭваеÑĤ +ĠпÑĢин ÑĥждениÑı +ĠпÑĢовод илоÑģÑĮ +ĠпÑĢод икÑĤован +ĠпÑĢож иваÑİÑīиÑħ +ĠпÑĢоиз ноÑģиÑĤÑĮ +ĠпÑĢонз иÑĤелÑĮн +ĠпÑĢоÑĢоÑĩ еÑģÑĤва +ĠпÑĢоÑĢоÑĩ еÑģÑĤво +ĠпÑĢоÑĦил акÑĤик +ĠпÑĢо Ñħождение +ĠпÑģиÑħ иÑĩеÑģкое +ĠпÑĥÑĤеÑĪеÑģÑĤв ии +ĠÑĢазв леÑĩений +ĠÑĢаздÑĢаж ениÑı +ĠÑĢазмеÑī алиÑģÑĮ +ĠÑĢазноглаÑģ ий +ĠÑĢаÑģполож иÑĤÑĮ +ĠÑĢаÑģÑģÑĤÑĢелÑı ли +ĠÑĢаÑģÑĪиÑĢÑı еÑĤÑģÑı +ĠÑĢеализ аÑĨией +ĠÑĢегиÑģÑĤ ÑĢаÑĨиÑİ +ĠÑĢегиÑģÑĤ ÑĢаÑĨиÑı +ĠÑĢекомендÑĥ ем +ĠÑĢекоменд ÑĥеÑĤ +ĠÑĢелигиоз наÑı +ĠÑĢеÑĪ иÑĤелÑĮнÑĭй +ĠÑĢеÑĪ иÑĤелÑĮнÑĭм +ĠÑĢод ÑģÑĤвеннÑĭÑħ +ĠÑĢÑĥковод ÑıÑīиÑħ +ĠÑģамо обоÑĢонÑĭ +ĠÑģвидеÑĤелÑı ми +ĠÑģвоеобÑĢаз ие +ĠÑģвойÑģÑĤвен на +ĠÑģегоднÑı ÑĪней +ĠÑģекÑĢеÑĤ аÑĢиаÑĤ +ĠÑģекÑģÑĥ алÑĮное +ĠÑģкеп ÑĤиÑĩеÑģки +ĠÑģловеÑģ ноÑģÑĤи +ĠÑģлÑĥÑĩай ноÑģÑĤи +ĠÑģобиÑĢа еÑĤеÑģÑĮ +ĠÑģовеÑĢÑĪ еннÑĭе +ĠÑģовеÑĢÑĪ еннÑĭм +ĠÑģоглаÑģ овÑĭва +ĠÑģодеÑĢж имого +ĠÑģоедин ÑıÑİÑĤÑģÑı +ĠÑģокÑĢаÑĤ илоÑģÑĮ +ĠÑģокÑĢаÑī аеÑĤÑģÑı +ĠÑģооÑĤно ÑĪении +ĠÑģоп ÑĢикоÑģнов +ĠÑģоÑģÑĤав лении +ĠÑģоÑħÑĢан ноÑģÑĤи +ĠÑģоÑĨи алиÑģÑĤов +ĠÑģпокой ÑģÑĤвиÑı +ĠÑģпÑĢав лÑıеÑĤÑģÑı +ĠÑģÑĢабаÑĤ Ñĭвани +ĠÑģÑĤалкив алÑģÑı +ĠÑģÑĤанов ление +ĠÑģÑĤим ÑĥлиÑĢÑĥеÑĤ +ĠÑģÑĤÑĢаÑħ ование +ĠÑģÑĥпеÑĢ маÑĢкеÑĤ +ĠÑĤаланÑĤ ливÑĭй +ĠÑĤаланÑĤлив ÑĭÑħ +ĠÑĤелеком пани +ĠÑĤелеп еÑĢедаÑĩ +ĠÑĤÑĢаг иÑĩеÑģкой +ĠÑĤÑĢан ÑģкÑĢипÑĨи +ĠÑĤÑĭÑģÑıÑĩел еÑĤий +ĠÑĥведом ление +ĠÑĥведом лениÑı +ĠÑĥвели ÑĩиваÑİÑĤ +ĠÑĥглевод оÑĢод +ĠÑĥнаÑģлед ован +ĠÑĥпомина лоÑģÑĮ +ĠÑĥпоÑĤÑĢеб лÑıем +ĠÑĥпÑĢавлÑı ÑİÑīим +ĠÑĥпÑĢавлÑı ÑİÑīиÑħ +ĠÑĥÑĢавнов еÑĪен +ĠÑĥÑģÑĤÑĢем лениÑı +ĠÑĥÑĤвеÑĢжд ении +ĠÑĥÑĩаÑģÑĤв ÑĥÑİÑīиÑħ +ĠÑĥÑĩиÑĤелÑĮ ниÑĨа +ĠÑĦÑĢанÑĨÑĥз Ñģкое +ĠÑĦÑĢанÑĨÑĥз ÑģкÑĥÑİ +ĠÑĨелеÑģ ообÑĢаз +ĠÑĪеÑģÑĤ идеÑģÑıÑĤи +ĠÑĪеÑģÑĤ надÑĨаÑĤи +ĠÑĪеÑģÑĤ надÑĨаÑĤÑĮ +ĠÑįлекÑĤÑĢон ики +ĠÑįлекÑĤÑĢон нÑĭй +ĠÑįÑĦÑĦекÑĤив нее +ĠÑİжнокоÑĢ ейÑģк +ĠÑİÑĢид иÑĩеÑģкие +ĠÑİÑĢид иÑĩеÑģкое +СÑĤиÑħоÑĤ воÑĢени +воÑģпал иÑĤелÑĮн +конÑĨепÑĤÑĥ алÑĮн +меÑħани ÑĩеÑģкий +немаÑĤеÑĢи алÑĮн +оппозиÑĨион еÑĢ +оÑĢÑĤодокÑģ алÑĮн +пнев маÑĤиÑĩеÑģк +полиÑĤ иÑĩеÑģкиÑħ +пÑĢов инÑĨиалÑĮн +пÑĢовок аÑĨионн +пÑĢоизвод ÑģÑĤво +Ñģледов аÑĤелей +Ñģлед ÑģÑĤвенной +Ñģлед ÑģÑĤвеннÑĭе +ÑģпеÑĨиÑĦ иÑĩеÑģки +ÑģÑĤанавлив аÑĤÑĮ +ÑįкÑģпед иÑĨионн +ĠÐIJмеÑĢикан ÑģкаÑı +ĠÐIJмеÑĢикан Ñģкие +ĠÐIJмеÑĢикан Ñģкой +ĠÐijлаг овеÑīенÑģк +ĠÐĴладимиÑĢов на +ĠÐĴÑģеÑĢоÑģÑģий Ñģки +ĠÐĶзеÑĢж инÑģкого +ĠÐķдин ÑģÑĤвеннаÑı +ĠÐĺзд аÑĤелÑĮÑģÑĤво +ĠÐĺÑģполÑĮз ÑĥеÑĤÑģÑı +ĠÐļоманд ование +ĠÐļоÑĢолев Ñģкого +ĠÐľÐ¸ÐºÐµÐ» анджело +ĠÐľÐ¸Ð½Ð¸ÑģÑĤеÑĢ ÑģÑĤве +ĠÐĿаÑĨионалÑĮ ном +ĠÐĿовоÑĩеÑĢ каÑģÑģк +ĠÐŀÑĢджон икидзе +ĠÐŀÑĢенбÑĥÑĢг Ñģкой +ĠÐŁÐµÑĤÑĢоз аводÑģк +ĠÐŁÑĢедÑģед аÑĤелÑı +ĠСоÑĢевнов аниÑı +ĠСÑĢедизем ного +ĠТеоÑĢ еÑĤиÑĩеÑģки +ĠФоÑĢм иÑĢование +ĠÐŃнÑĨиклоп едиÑı +Ġавиакомп аниÑı +ĠавÑģÑĤÑĢий Ñģкого +Ġадап ÑĤиÑĢоваÑĤÑĮ +ĠамеÑĢикан Ñģкое +ĠамеÑĢикан ÑģкÑĥÑİ +ĠанÑĤиÑģемиÑĤ изм +ĠанÑĤÑĢоп ологии +ĠаÑĢиÑģÑĤокÑĢаÑĤ ии +ĠаÑĢиÑĦмеÑĤ иÑĩеÑģк +ĠбалеÑĤ мейÑģÑĤеÑĢ +ĠбаÑģкеÑĤбол иÑģÑĤ +Ġбезвозм ездно +Ġбезнаказ анно +ĠбелоÑĢÑĥÑģ Ñģкого +ĠбеÑĢем енноÑģÑĤÑĮ +ĠбеÑģпоко иÑĤÑĮÑģÑı +ĠбеÑģпокой ÑģÑĤва +ĠбеÑģ ÑĩиÑģленнÑĭе +ĠбеÑģ ÑĩиÑģленнÑĭÑħ +ĠблагополÑĥÑĩ ие +ĠблагополÑĥÑĩ иÑı +ĠблагоÑģ клонно +ĠбогоÑģлÑĥж ениÑı +ĠвклÑİÑĩ иÑĤелÑĮно +ĠвмеÑĪ аÑĤелÑĮÑģÑĤв +ĠвозвÑĢаÑĤ иÑĤÑĮÑģÑı +ĠвозлÑİб ленной +Ġвозмож ноÑģÑĤÑıм +Ġвозмож ноÑģÑĤÑıÑħ +ĠвоÑģем надÑĨаÑĤи +ĠвоÑģем надÑĨаÑĤÑĮ +ĠвоÑģÑģ оединени +ĠвÑĭÑģказ Ñĭваний +ĠвÑĭÑĪеÑĥп омÑıнÑĥÑĤ +ĠгÑĥманиÑĤаÑĢ нÑĭÑħ +Ġдл иÑĤелÑĮноÑģÑĤи +ĠдокÑĥменÑĤ аÑĨиÑİ +Ġдомо ÑħозÑıйÑģÑĤв +ĠдÑĢеÑģÑģ иÑĢовÑīик +ĠединÑģÑĤвен нÑĥÑİ +Ġжизн еÑģпоÑģобн +ĠжÑĥÑĢнали ÑģÑĤики +Ġзаблок иÑĢован +ĠзамаÑģки ÑĢован +Ġзанима ÑİÑīиÑħÑģÑı +ĠзаÑĦикÑģ иÑĢовал +ĠзлоÑĥпоÑĤÑĢеб лÑı +ĠигноÑĢ иÑĢоваÑĤÑĮ +ĠиденÑĤ иÑĩноÑģÑĤÑĮ +ĠизгоÑĤов лении +ĠинвеÑģÑĤ иÑĢован +ĠинÑģÑĤинк ÑĤивно +ĠиÑģполÑĮзÑĥем Ñĭй +ĠкандидаÑĤ ÑģкÑĥÑİ +ĠквалиÑĦика ÑĨиÑİ +ĠклаÑģÑģ иÑĩеÑģкие +ĠклаÑģÑģ иÑĩеÑģком +Ġкоманд ованиÑİ +ĠкоммÑĥника ÑĨиÑı +ĠконÑĤÑĢол иÑĢÑĥÑİÑĤ +ĠконÑĦигÑĥÑĢа ÑĨиÑı +ĠкÑĢиÑĤ иÑĩеÑģкого +ĠкÑĢовопÑĢолиÑĤ н +ĠкÑĢÑĥглоÑģ ÑĥÑĤоÑĩн +ĠкÑĥлÑĮÑĤив иÑĢова +ĠлабоÑĢаÑĤоÑĢ ией +ĠлиÑĤеÑĢаÑĤÑĥÑĢ наÑı +ĠлÑİбозн аÑĤелÑĮн +ĠмакÑģималÑĮ нÑĥÑİ +ĠмакÑģималÑĮ нÑĭй +ĠмаÑĤеÑĢи алÑĮнÑĥÑİ +ĠмаÑĤеÑĢи алÑĮнÑĭм +ĠмемоÑĢи алÑĮнаÑı +ĠмеÑħани ÑĩеÑģкой +ĠмногообÑĢаз ие +Ġнаполе оновÑģк +ĠнаÑģлажд аÑĤÑĮÑģÑı +ĠнаÑģÑĤоÑıÑĤелÑĮ но +ĠнедоволÑĮ ÑģÑĤва +Ġнезам еÑĩеннÑĭм +Ġнеодн ознаÑĩно +ĠнепÑĢед виденн +ĠнепÑĢин Ñĥжденн +ĠнеÑĢав номеÑĢно +Ġне ÑģовмеÑģÑĤимÑĭ +ĠнÑĢав ÑģÑĤвеннÑĭе +ĠнÑĢав ÑģÑĤвеннÑĭÑħ +ĠобÑĢабаÑĤ ÑĭваеÑĤ +ĠобÑĢазов алиÑģÑĮ +ĠобÑĢаз оваÑĤелÑĮ +Ġоб Ñģледование +ĠобÑģÑĤоÑıÑĤелÑĮ но +ĠобÑĬедин илиÑģÑĮ +ĠобÑĭкнов еннаÑı +ĠобÑĭкнов еннÑĭй +ĠогÑĢани ÑĩиваеÑĤ +ĠогÑĢани ÑĩиваÑĤÑĮ +Ġодноим Ñijнного +Ġоднок лаÑģÑģник +Ġолимпий Ñģкого +ĠопÑĢеделÑı ÑİÑīим +ĠопÑĢеделÑijн нÑĭе +ĠопÑĢовеÑĢг нÑĥÑĤÑĮ +ĠопÑĥбликов аÑĤÑĮ +ĠоÑĢгани ÑĩеÑģкой +ĠоÑģвоб ождениÑİ +ĠоÑģобенно ÑģÑĤÑıÑħ +ĠоÑĤказ ÑĭвалиÑģÑĮ +ĠоÑĤказ ÑĭваÑİÑĤÑģÑı +ĠоÑĤÑĢеаг иÑĢовал +ĠпаÑĢадокÑģ алÑĮн +ĠпаÑģÑģажиÑĢ ÑģкиÑħ +ĠпеÑĢв оÑģÑĤепенн +ĠпеÑĢев оÑĢаÑĩива +ĠпеÑĢем еÑīаÑĤÑĮÑģÑı +ĠпеÑĢеÑģелен ÑĨев +ĠпеÑĢеÑģмоÑĤÑĢ еÑĤÑĮ +ĠпеÑĢиÑĦ еÑĢиÑĩеÑģк +ĠпиÑģаÑĤелÑĮ ниÑĨа +ĠповеÑĢÑħ ноÑģÑĤей +ĠподконÑĤÑĢ олÑĮн +ĠподкÑĢеп ление +ĠподкÑĢеп лениÑı +ĠподÑĢазÑĥмев ал +ĠподÑĢоб ноÑģÑĤÑıÑħ +ĠпожеÑĢÑĤв оваÑĤÑĮ +ĠпозабоÑĤ иÑĤÑĮÑģÑı +Ġполном еÑĤÑĢажн +ĠполÑĮзов алаÑģÑĮ +ĠпоÑģлево еннÑĭе +ĠпоÑģовеÑĤ оваÑĤÑĮ +ĠпоÑģÑĤа ÑĢайÑĤеÑģÑĮ +ĠпоÑģÑĤÑĢадав ÑĪим +ĠпоÑĤеÑĢпев ÑĪего +ĠпоÑį ÑĤиÑĩеÑģкого +ĠпÑĢавилÑĮ ноÑģÑĤи +ĠпÑĢавилÑĮ ноÑģÑĤÑĮ +ĠпÑĢавоÑģлав наÑı +ĠпÑĢавоÑģлав нÑĭе +ĠпÑĢавоÑģлав нÑĭй +ĠпÑĢавоÑģлав нÑĭм +ĠпÑĢазднов аниÑı +ĠпÑĢак ÑĤиÑĩеÑģкое +ĠпÑĢевÑĢаÑĤ илоÑģÑĮ +ĠпÑĢедлаг алоÑģÑĮ +ĠпÑĢеднам еÑĢенн +ĠпÑĢедоÑģÑĤав лÑıл +ĠпÑĢедпоÑĩÑĤ ениÑı +ĠпÑĢедпÑĢиним ал +ĠпÑĢедÑģÑĤав лÑıем +ĠпÑĢедÑĥпÑĢеж даÑİ +ĠпÑĢедÑĪеÑģÑĤв ÑĥеÑĤ +ĠпÑĢекÑĢаÑĤ илиÑģÑĮ +ĠпÑĢекÑĢаÑī аеÑĤÑģÑı +ĠпÑĢеподав ание +ĠпÑĢеподоб ного +ĠпÑĢеÑģÑĤÑĥп лении +ĠпÑĢеÑĤенд оваÑĤÑĮ +ĠпÑĢеÑĥвели Ñĩива +ĠпÑĢиблиз иÑĤÑĮÑģÑı +ĠпÑĢивеÑĢж енÑĨев +ĠпÑĢивеÑĤ ÑģÑĤвÑĥеÑĤ +ĠпÑĢинадлеж аÑĤÑĮ +ĠпÑĢиоÑģÑĤанов ил +ĠпÑĢиÑĩаÑģÑĤ ноÑģÑĤи +ĠпÑĢоизвод ÑıÑĤÑģÑı +ĠпÑĢоиÑģÑħодÑıÑī ем +ĠпÑĢоиÑģÑħодÑıÑī ие +ĠпÑĢоиÑģÑħодÑıÑī им +ĠпÑĢоиÑģÑħодÑıÑī иÑħ +ĠпÑĢоиÑģÑĪеÑģÑĤв ие +ĠпÑĢоиÑģÑĪеÑģÑĤв ий +ĠпÑĢоповед овал +ĠпÑĢоÑĤивоÑĢ еÑĩаÑĤ +ĠпÑĢоÑĤив оÑģÑĤоиÑĤ +ĠпÑĢоÑĤивоÑģÑĤоÑı л +ĠпÑĢоÑĤивоÑģÑĤоÑı Ñī +ĠпÑĢÑıм олинейно +ĠÑĢадиоÑģÑĤан ÑĨиÑı +ĠÑĢазнообÑĢаз иÑı +ĠÑĢаÑģкÑĢ ÑĭваеÑĤÑģÑı +ĠÑĢаÑģÑģлаб иÑĤÑĮÑģÑı +ĠÑĢаÑģÑĤ иÑĤелÑĮное +ĠÑĢаÑģÑĤ иÑĤелÑĮнÑĭм +ĠÑĢаÑģÑĤ иÑĤелÑĮнÑĭÑħ +ĠÑĢеаг иÑĢованиÑı +ĠÑĢегионалÑĮ нÑĭе +ĠÑĢегÑĥлиÑĢов аÑĤÑĮ +ĠÑĢекон ÑģÑĤÑĢÑĥкÑĨи +ĠÑģамоÑģ ознаниÑı +ĠÑģовеÑĢÑĪен ÑģÑĤве +ĠÑģовеÑĢÑĪен ÑģÑĤво +ĠÑģоглаÑģ ованиÑı +ĠÑģокÑĢÑĥÑĪ иÑĤелÑĮн +ĠÑģолидаÑĢ ноÑģÑĤи +ĠÑģоÑĢевнов ание +ĠÑģоÑģÑĤавлÑı ÑİÑīаÑı +ĠÑģÑĤабилиз аÑĤоÑĢ +ĠÑģÑĤолкнов ении +ĠÑģÑĤÑĢоиÑĤелÑĮ нÑĭе +ĠÑģÑĤÑĥден ÑĩеÑģкиÑħ +ĠÑģÑĥÑīеÑģÑĤв еннÑĥÑİ +ĠÑģÑĥÑīеÑģÑĤв еннÑĭй +ĠÑģÑĥÑīеÑģÑĤв ÑĥÑİÑīий +ĠÑĤоваÑĢиÑī еÑģÑĤва +ĠÑĥдив иÑĤелÑĮнÑĭм +ĠÑĥдовлеÑĤвоÑĢ ил +ĠÑĥлÑĮÑĤ ÑĢаÑĦиолеÑĤ +ĠÑĥпоÑĤÑĢеб лении +ĠÑĥÑģÑĤанов лениÑİ +ĠÑĦилоÑģоÑĦ Ñģкого +ĠÑĦоÑĢм иÑĢований +ĠÑĦоÑĢмÑĥлиÑĢов ка +ĠÑĦоÑĢмÑĥлиÑĢов ки +ĠÑħÑĢиÑģÑĤиан Ñģкие +ĠÑħÑĢиÑģÑĤиан Ñģким +ĠÑĨаÑĢÑģÑĤв ование +ĠÑĩеÑĤÑĭÑĢ надÑĨаÑĤи +ĠÑĩеÑĤÑĭÑĢ надÑĨаÑĤÑĮ +ĠÑĩÑĢезвÑĭÑĩай нÑĭÑħ +ĠÑįкÑģплÑĥаÑĤ аÑĨиÑı +ĠÑįлекÑĤÑĢон ного +Ðĸелез нодоÑĢожн +ÐŁÐµÑĤеÑĢбÑĥÑĢг Ñģкий +болÑĮÑĪ евиÑģÑĤÑģки +далÑĮ невоÑģÑĤоÑĩн +диагноÑģÑĤ иÑĩеÑģк +егиÑģÑĤÑĢиÑĢов ано +землед елÑĮÑĩеÑģк +злокаÑĩ еÑģÑĤвенн +кон ÑĨенÑĤÑĢиÑĢова +оздоÑĢов иÑĤелÑĮн +полиÑĤ иÑĩеÑģкого +пÑĢиклÑİÑĩен ÑĩеÑģк +пÑĢимеÑĩ аÑĤелÑĮно +пÑĢоизвод иÑĤелÑĮ +Ñįконом иÑĩеÑģкиÑħ +Ñįконом иÑĩеÑģкой +ĠÐIJдминиÑģÑĤ ÑĢаÑĨиÑı +ĠÐIJдмиÑĢалÑĤ ейÑģÑĤв +ĠÐķкаÑĤеÑĢи ноÑģлав +ĠÐļонÑģÑĤиÑĤÑĥ ÑĨионн +ĠÐļÑĢаÑģноÑıÑĢ Ñģкого +ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢад Ñģком +ĠÐľÐµÐ¶Ð´ÑĥнаÑĢод ном +ĠÐĿеобÑħодим оÑģÑĤÑĮ +ĠÐĿеÑĥдив иÑĤелÑĮно +ĠÐŁÐ¾ÑģÑĤанов ление +ĠÐŁÑĢигоÑĤов ление +ĠÐŁÑĢоиÑģ Ñħождение +ĠСопÑĢоÑĤив лениÑı +ĠСÑĢедизем номоÑĢ +ĠСÑĢеднев ековÑĮÑı +Ġакадем иÑĩеÑģкой +ĠаналиÑĤ иÑĩеÑģкой +ĠаÑĢÑĤиллеÑĢ ийÑģко +ĠаÑĢÑħиÑĤекÑĤÑĥÑĢ нÑĭÑħ +ĠаÑģÑģоÑĨииÑĢÑĥ еÑĤÑģÑı +ĠаÑĥÑĤенÑĤ иÑĦикаÑĨи +ĠбезоговоÑĢ оÑĩно +ĠбеÑģп озвоноÑĩнÑĭ +ĠбеÑģпÑĢ еÑĨеденÑĤн +Ġблаг опÑĢиÑıÑĤнÑĭе +Ġблаг опÑĢиÑıÑĤнÑĭÑħ +ĠбожеÑģÑĤвен ного +ĠбомбаÑĢд иÑĢовки +ĠвелиÑĩ еÑģÑĤвенно +ĠводоÑģнаб жениÑı +ĠводоÑħÑĢанили Ñīе +ĠвозвÑĭÑĪ енноÑģÑĤи +ĠвоÑģпÑĢоиз веÑģÑĤи +ĠвÑĭздоÑĢов лениÑı +ĠгаÑĢан ÑĤиÑĢоваÑĤÑĮ +ĠгоÑģпод ÑģÑĤвовал +ĠдиÑģкÑĢим инаÑĨии +ĠдобÑĢоволÑĮ ÑĩеÑģк +ĠдоÑģÑĤовеÑĢ ноÑģÑĤи +ĠдÑĢамаÑĤ иÑĩеÑģкий +Ġзадолж енноÑģÑĤÑĮ +ĠзамеÑĩ аÑĤелÑĮнÑĭе +ĠзамеÑĩ аÑĤелÑĮнÑĭм +ĠзамеÑĩ аÑĤелÑĮнÑĭÑħ +ĠзаÑĦикÑģ иÑĢоваÑĤÑĮ +ĠземлеÑĤÑĢÑıÑģ ение +ĠизбиÑĢ аÑĤелÑĮнÑĭÑħ +Ġиздев аÑĤелÑĮÑģÑĤв +ĠинÑĤеллиген ÑĨиÑı +ĠинÑĤеÑĢ наÑĨионал +ĠинÑĤеÑĢпÑĢеÑĤ аÑĨиÑı +ĠиÑģкÑĥÑģ ÑģÑĤвеннÑĭе +ĠиÑģкÑĥÑģ ÑģÑĤвеннÑĭй +ĠиÑģкÑĥÑģ ÑģÑĤвеннÑĭм +ĠиÑģÑĤоÑĢи огÑĢаÑĦии +ĠкавалеÑĢ ийÑģкой +Ġквали ÑĦиÑĨиÑĢова +ĠкиноÑĦеÑģÑĤ ивале +ĠкиноÑĦеÑģÑĤ ивалÑı +ĠкоммеÑĢ ÑĩеÑģкого +ĠконÑģÑĤаÑĤ иÑĢовал +ĠкоÑĢпоÑĢ аÑĤивнÑĭÑħ +ĠмеждÑĥнаÑĢод ное +ĠмеждÑĥнаÑĢод нÑĥÑİ +ĠмеÑģÑĤоÑĢ ождение +ĠмеÑĤаллиÑĩеÑģ кий +ĠмеÑĤаллиÑĩеÑģ ким +ĠмеÑĤаллиÑĩеÑģ кой +ĠмеÑħани ÑĩеÑģкого +Ġмодели ÑĢование +ĠмодиÑĦиÑĨи ÑĢован +ĠнапÑĢÑıжен ноÑģÑĤи +ĠнапÑĢÑıжен ноÑģÑĤÑĮ +ĠнаÑĨиона лиÑģÑĤов +ĠнепÑĢиÑıÑĤ ноÑģÑĤей +Ġне ÑģовеÑĢÑĪенÑģÑĤв +ĠнеÑģоÑģÑĤоÑı ÑĤелÑĮн +ĠнеÑĥдив иÑĤелÑĮно +ĠоÑĢганиз овÑĭвал +ĠоÑģÑĥÑīеÑģÑĤв лениÑİ +ĠоÑĤвеÑĤÑģÑĤвен нÑĭй +ĠоÑĤвеÑĤÑģÑĤвен нÑĭÑħ +ĠоÑĤвÑĢаÑĤ иÑĤелÑĮно +ĠоÑĤождеÑģÑĤв лени +ĠоÑĤÑĢиÑĨ аÑĤелÑĮнÑĭй +ĠоÑĤÑĢиÑĨ аÑĤелÑĮнÑĭм +ĠоÑĤÑĢиÑĨ аÑĤелÑĮнÑĭÑħ +ĠпаÑĢадокÑģ алÑĮно +ĠпеÑĢво иÑģÑĤоÑĩник +ĠпеÑĢед вигаÑĤÑĮÑģÑı +ĠпиÑīеваÑĢ иÑĤелÑĮн +ĠподозÑĢев аемÑĭÑħ +ĠпожеÑĢÑĤв ованиÑı +Ġпознаком илаÑģÑĮ +ĠполÑĮзоваÑĤ елем +ĠпоÑģÑĤанов лениÑİ +ĠпоÑģÑĤÑĢад авÑĪего +ĠпоÑģÑıг аÑĤелÑĮÑģÑĤв +ĠпоÑĤенÑĨи алÑĮнÑĭм +ĠпÑĢавоÑģлав ного +ĠпÑĢевоÑģÑħод ÑģÑĤва +ĠпÑĢед аÑĤелÑĮÑģÑĤво +ĠпÑĢед опÑĢеделен +ĠпÑĢедоÑģÑĤав лÑıем +ĠпÑĢедÑģÑĤав лениÑİ +ĠпÑĢедÑĥпÑĢежд аеÑĤ +ĠпÑĢеждев ÑĢеменн +ĠпÑĢенеб ÑĢежение +ĠпÑĢеподав аÑĤели +ĠпÑĢепÑıÑĤ ÑģÑĤвовал +ĠпÑĢивÑıзан ноÑģÑĤи +ĠпÑĢивÑıзан ноÑģÑĤÑĮ +ĠпÑĢидеÑĢж ивалÑģÑı +ĠпÑĢимеÑĩ аÑĤелÑĮнÑĭ +ĠпÑĢинадлеж аÑīие +ĠпÑĢинадлеж аÑīий +ĠпÑĢиÑģоедин ение +ĠпÑĢиÑģ поÑģаблива +ĠпÑĢоизвод илиÑģÑĮ +ĠпÑĢоизоÑĪед ÑĪего +ĠпÑĢомежÑĥÑĤоÑĩ нÑĭÑħ +ĠпÑĢоник новение +ĠпÑĢоÑĤив олодоÑĩн +ĠпÑĢоÑĤÑıж ÑijнноÑģÑĤÑĮ +ĠпÑĥÑĤеÑĪеÑģÑĤв овал +ĠÑĢазвеÑĢÑĤ ÑĭваниÑı +ĠÑĢазвива ÑİÑīиÑħÑģÑı +ĠÑĢазÑĢÑĥÑĪ иÑĤелÑĮно +ĠÑĢаÑģп ознаваниÑı +ĠÑĢаÑģполож илиÑģÑĮ +ĠÑĢаÑģпоÑĢÑıж аÑĤÑĮÑģÑı +ĠÑĢаÑģÑģлед ованиÑİ +ĠÑĢеализ овÑĭваÑĤÑĮ +ĠÑĢеволÑİÑĨион нÑĭм +ĠÑĢемеÑģ ленников +ĠÑĢеоÑĢганиз ован +ĠÑĢепÑĢеÑģÑģ иÑĢован +ĠÑĢодо наÑĩалÑĮник +ĠÑĢоман ÑĤиÑĩеÑģкой +ĠÑģбаланÑģ иÑĢован +ĠÑģинÑħÑĢон изаÑĨии +ĠÑģопÑĢов ождение +ĠÑģоÑģÑĢедоÑĤоÑĩ иÑĤÑĮ +ĠÑģоÑħÑĢани вÑĪиÑħÑģÑı +ĠÑģпеÑĨиализ аÑĨии +ĠÑģпеÑĨи алÑĮноÑģÑĤÑĮ +ĠÑģпеÑĨиÑĦ иÑĩеÑģкие +ĠÑģпеÑĨиÑĦ иÑĩеÑģким +ĠÑģпеÑĨиÑĦ иÑĩеÑģкиÑħ +ĠÑģÑĢеднев ековÑĮÑı +ĠÑģÑĤабилиз иÑĢова +ĠÑģÑĤилиÑģÑĤ иÑĩеÑģки +ĠÑĤелевизион нÑĭÑħ +ĠÑĥдовлеÑĤвоÑĢ ÑıеÑĤ +ĠÑĥдовлеÑĤвоÑĢ ÑıÑĤÑĮ +ĠÑĥдоÑģÑĤовеÑĢ ение +ĠÑĥкомплекÑĤ ован +ĠÑĥнивеÑĢÑģ алÑĮнÑĭй +ĠÑĥÑģÑĤанавлив аем +ĠÑħозÑıй ÑģÑĤвеннÑĭй +ĠÑĨивилиз ованно +ĠÑĩÑĥвÑģÑĤв иÑĤелÑĮно +ĠÑįк ологиÑĩеÑģкой +ĠÑįлекÑĤÑĢи ÑĩеÑģким +ĠÑįмоÑĨионалÑĮ нÑĭе +ĠÑįмоÑĨионалÑĮ нÑĭй +ĠÑįмоÑĨионалÑĮ нÑĭÑħ +ÑįкÑģплÑĥаÑĤ аÑĨионн +ĠÐIJÑĤлан ÑĤиÑĩеÑģкого +ĠÐĴеликобÑĢиÑĤ аниÑİ +ĠÐĴÑģеÑĢоÑģÑģий Ñģкого +ĠÐļÑĢаÑģнодаÑĢ Ñģкого +ĠÐľÐ½Ð¾Ð³Ð¾ ÑĩиÑģленнÑĭе +ĠÐŁÑĢедполаг алоÑģÑĮ +ĠавÑĤоби огÑĢаÑĦиÑĩе +ĠавÑĤомаÑĤ иÑĩеÑģкой +ĠадминиÑģÑĤ ÑĢаÑĨией +Ġакадем иÑĩеÑģкого +ĠаÑĢÑĤиллеÑĢ ийÑģкие +ĠаÑĢÑĤиллеÑĢ ийÑģким +Ġбиолог иÑĩеÑģкого +ĠблагоÑģоÑģÑĤоÑı ниÑı +ĠвзаимодейÑģÑĤв ий +ĠвоенноÑģлÑĥж аÑīие +ĠвоздейÑģÑĤв оваÑĤÑĮ +ĠвознагÑĢажд ениÑı +ĠвÑĭÑĩиÑģл иÑĤелÑĮной +ĠгÑĢад оÑģÑĤÑĢоиÑĤелÑĮ +ĠдейÑģÑĤв иÑĤелÑĮнÑĭй +ĠдейÑģÑĤв иÑĤелÑĮнÑĭм +ĠдемонÑģÑĤÑĢ аÑĤивно +ĠдокÑĥменÑĤ алÑĮнÑĭй +ĠдополниÑĤелÑĮ наÑı +ĠдÑĢамаÑĤ иÑĩеÑģкого +Ġедином ÑĭÑĪленник +ĠеÑģÑĤеÑģÑĤв ознаниÑı +ĠзакономеÑĢ ноÑģÑĤÑĮ +Ġзападно евÑĢопей +ĠзаÑĤÑĢÑĥдн иÑĤелÑĮно +Ġидеолог иÑĩеÑģкой +ĠизбиÑĢ аÑĤелÑĮного +ĠимпеÑĢи алиÑģÑĤиÑĩе +ĠинвеÑģÑĤи ÑĨионнÑĭÑħ +ĠиндивидÑĥ алÑĮнÑĭй +ĠинÑĦоÑĢмаÑĨион нÑĭе +ĠинÑĦоÑĢмаÑĨион нÑĭй +ĠинÑĦоÑĢмаÑĨион нÑĭм +ĠиÑģклÑİÑĩ иÑĤелÑĮнÑĭÑħ +ĠкомпенÑģ иÑĢоваÑĤÑĮ +ĠконÑģÑĤиÑĤÑĥ ÑĨионно +ĠкÑĢово обÑĢаÑīениÑı +ĠлаÑĤино амеÑĢикан +ĠмеÑĤод ологиÑĩеÑģк +ĠмногоÑĩиÑģлен нÑĭм +ĠнаÑģÑĤÑĥп аÑĤелÑĮной +ĠнаÑģÑĤÑĥп аÑĤелÑĮнÑĭÑħ +ĠнаÑĨиона лиÑģÑĤиÑĩе +Ġнеблаг опÑĢиÑıÑĤно +ĠнеÑĥд овлеÑĤвоÑĢен +ĠобеÑģпеÑĩ иваÑİÑīие +ĠобеÑģпеÑĩ иваÑİÑīиÑħ +ĠобоÑĢон иÑĤелÑĮнÑĭе +ĠобоÑĢон иÑĤелÑĮнÑĭÑħ +ĠобÑīен аÑĨионалÑĮн +ĠобÑīеÑĩ еловеÑĩеÑģк +ĠогнеÑģÑĤÑĢ елÑĮного +ĠопÑĥбликован ном +ĠоÑĢганиз овÑĭваÑĤÑĮ +ĠоÑģнов ополагаÑİÑī +ĠоÑģнов оположник +ĠоÑģÑĥÑīеÑģÑĤвлÑı лаÑģÑĮ +ĠоÑģÑĥÑīеÑģÑĤвлÑı лоÑģÑĮ +Ġпедагог иÑĩеÑģкий +Ġпедагог иÑĩеÑģкиÑħ +Ġпедагог иÑĩеÑģкой +ĠпеÑĢвонаÑĩ алÑĮнÑĭй +ĠпеÑĢе обоÑĢÑĥдован +ĠпеÑĢе ÑĦоÑĢмиÑĢован +ĠпеÑĤеÑĢбÑĥÑĢг Ñģкого +ĠповеÑģÑĤв оваÑĤелÑĮ +ĠподÑĢазд елÑıÑİÑĤÑģÑı +ĠподÑģозн аÑĤелÑĮно +Ġполож иÑĤелÑĮного +ĠпÑĢед оÑħÑĢаниÑĤелÑĮ +ĠпÑĢедпоÑĩÑĤ иÑĤелÑĮн +ĠпÑĢед ÑĢаÑģположен +ĠпÑĢедÑģÑĤавлÑı лоÑģÑĮ +ĠпÑĢедÑģÑĤавлÑı ÑİÑīие +ĠпÑĢедÑģÑĤавлÑı ÑİÑīий +ĠпÑĢедÑģÑĤавлÑı ÑİÑīиÑħ +ĠпÑĢедÑĪеÑģÑĤв ÑĥÑİÑīиÑħ +ĠпÑĢеждев ÑĢеменно +ĠпÑĢивеÑĢж енноÑģÑĤÑĮ +ĠпÑĢидеÑĢж иваеÑĤÑģÑı +ĠпÑĢидеÑĢж иваÑİÑĤÑģÑı +ĠпÑĢиÑģоедин илаÑģÑĮ +ĠпÑĢиÑģоедин ÑıеÑĤÑģÑı +ĠпÑĢиÑģпоÑģоб ление +ĠпÑĢиÑģÑĥÑĤÑģÑĤв овавÑĪ +ĠпÑĢогноз иÑĢовани +ĠпÑĢоекÑĤиÑĢов ании +ĠпÑĢоÑģлеж иваеÑĤÑģÑı +ĠпÑĢоÑģ ÑĥÑīеÑģÑĤвовал +ĠпÑĢоÑĤивоп оказан +ĠпÑĢоÑĦеÑģÑģиона лов +ĠпÑĥÑĤеÑĪеÑģÑĤв оваÑĤÑĮ +ĠÑĢадиолок аÑĨионн +ĠÑĢазновид ноÑģÑĤей +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан иÑĤÑĮ +ĠÑĢаÑģÑĤ иÑĤелÑĮноÑģÑĤи +ĠÑĢедак ÑĤиÑĢованиÑı +ĠÑģамо оÑĤвеÑĢженно +ĠÑģовеÑĢÑĪ енÑģÑĤвова +ĠÑģопÑĢоÑĤив лÑıÑĤÑĮÑģÑı +ĠÑģÑĢедневек ового +ĠÑģÑĤÑĢаÑĤег иÑĩеÑģкой +ĠÑģÑĥдоÑģÑĤÑĢо иÑĤелÑĮн +ĠÑĤÑĢанÑģÑĦоÑĢм иÑĢова +ĠÑĥÑĢегÑĥлиÑĢов аниÑı +ĠÑĦÑĥнкÑĨионалÑĮ нÑĭе +ĠÑĦÑĥнкÑĨионалÑĮ нÑĭÑħ +ĠÑĦÑĥнкÑĨион иÑĢовал +ĠÑħаÑĢакÑĤеÑĢиз овал +ĠÑħозÑıй ÑģÑĤвенного +ĠÑħÑĥдожеÑģÑĤвен наÑı +ĠÑħÑĥдожеÑģÑĤвен нÑĥÑİ +ĠÑįлекÑĤÑĢоÑģÑĤан ÑĨии +ĠÑįлекÑĤÑĢоÑģÑĤан ÑĨий +ĠÑįмоÑĨионалÑĮ ного +ĠÑįнеÑĢг еÑĤиÑĩеÑģкой +воÑģÑģÑĤанов иÑĤелÑĮн +демокÑĢаÑĤ иÑĩеÑģкаÑı +оÑģвобод иÑĤелÑĮной +пÑĢавиÑĤелÑĮ ÑģÑĤвенн +ÑĤеÑĢÑĢиÑĤоÑĢи алÑĮнаÑı +ĠÐIJдминиÑģÑĤ ÑĢаÑĤивно +ĠÐĵоÑģÑĥдаÑĢÑģÑĤвен ном +ĠÐĵоÑģÑĥдаÑĢÑģÑĤвен нÑĥÑİ +ĠÐļонÑģÑĤанÑĤин ополÑı +ĠÐĿеп оÑģÑĢедÑģÑĤвенно +ĠаÑĢиÑģÑĤокÑĢаÑĤ иÑĩеÑģк +ĠаÑĢÑħеолог иÑĩеÑģкиÑħ +ĠвоÑģполÑĮзов алиÑģÑĮ +ĠвоÑģпÑĢоиз ведениÑı +ĠвоÑģ ÑģÑĤанавливаÑĤÑĮ +ĠвÑģпомог аÑĤелÑĮнÑĭе +ĠвÑģпомог аÑĤелÑĮнÑĭÑħ +ĠвÑĭÑģококаÑĩ еÑģÑĤвен +ĠгеогÑĢаÑĦ иÑĩеÑģкого +ĠгоÑģбезопаÑģ ноÑģÑĤи +ĠдипломаÑĤ иÑĩеÑģкой +ĠдиÑĦÑĦеÑĢенÑĨи ÑĢован +ĠжелезнодоÑĢож ник +ĠжелезнодоÑĢож нÑĭе +ĠжелезнодоÑĢож нÑĭй +Ġзаблагов ÑĢеменно +ĠзакономеÑĢ ноÑģÑĤей +ĠзаÑĢегиÑģÑĤ ÑĢиÑĢовал +ĠзлоÑĥпоÑĤÑĢеб лениÑı +ĠинÑĤеллекÑĤ ÑĥалÑĮно +ĠинÑĤеÑĢ наÑĨионалÑĮн +ĠконÑĤиненÑĤ алÑĮнÑĭй +ĠконÑĦиденÑĨи алÑĮно +ĠконÑĨенÑĤ ÑĢиÑĢованн +ĠмеÑģÑĤона Ñħождение +ĠмеÑĤаллÑĥÑĢг иÑĩеÑģко +ĠмеÑĤеоÑĢ ологиÑĩеÑģк +ĠмикÑĢо оÑĢганизмов +ĠнаÑĨионалÑĮ ноÑģÑĤей +Ġнеблаг опÑĢиÑıÑĤнÑĭÑħ +ĠнепÑĢодолж иÑĤелÑĮн +ĠоÑħаÑĢакÑĤеÑĢ изовал +ĠпеÑĢеÑĢаÑģ пÑĢеделен +ĠпоинÑĤеÑĢеÑģ овалÑģÑı +ĠполÑĥп ÑĢоводников +ĠпÑĢедвод иÑĤелÑĮÑģÑĤв +ĠпÑĢедпÑĢиним аÑĤели +ĠпÑĢоÑĤиводейÑģÑĤв ие +ĠпÑĢоÑĤивополож нÑĥÑİ +ĠпÑĢоÑĤив оÑĤанковÑĭÑħ +ĠпÑĢоÑĦеÑģÑģиона лизм +ĠпÑģиÑħолог иÑĩеÑģкаÑı +ĠпÑģиÑħолог иÑĩеÑģкое +ĠÑĢазвоÑĢаÑĩ иваеÑĤÑģÑı +ĠÑĢаÑģÑģмаÑĤÑĢ ивалиÑģÑĮ +ĠÑĢекон ÑģÑĤÑĢÑĥиÑĢован +ĠÑĢеÑģпÑĥбликан Ñģкой +ĠÑĢÑĥковод ÑģÑĤвоваÑĤÑĮ +ĠÑģамоÑģÑĤоÑı ÑĤелÑĮнÑĥÑİ +ĠÑģамоÑģÑĤоÑı ÑĤелÑĮнÑĭе +ĠÑģамоÑģÑĤоÑı ÑĤелÑĮнÑĭй +ĠÑģамоÑģÑĤоÑı ÑĤелÑĮнÑĭм +ĠÑģамоÑģÑĤоÑı ÑĤелÑĮнÑĭÑħ +ĠÑģобÑģÑĤвен ноÑĢÑĥÑĩно +ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑī аÑı +ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑī ем +ĠÑģопÑĢикоÑģнов ениÑı +ĠÑĤÑĢанÑģп оÑĢÑĤиÑĢовки +ĠÑĦÑĥндаменÑĤ алÑĮнÑĭе +ĠÑĦÑĥнкÑĨион иÑĢоваÑĤÑĮ +ĠÑħаÑĢакÑĤеÑĢиз ÑĥÑİÑĤÑģÑı +ĠÑįкÑģпеÑĢименÑĤ аÑĤоÑĢ +ĠÑįлекÑĤÑĢод вигаÑĤел +ĠÑįнÑĨиклоп едиÑĩеÑģк +ÐŁÑĢед положиÑĤелÑĮно +админиÑģÑĤÑĢаÑĤив ной +админиÑģÑĤÑĢаÑĤив нÑĭе +амоÑģÑĤоÑı ÑĤелÑĮноÑģÑĤÑĮ +апиÑĤалиÑģÑĤ иÑĩеÑģкиÑħ +беÑģпÑĢепÑıÑĤ ÑģÑĤвенно +беÑģÑģозн аÑĤелÑĮного +взаимооÑĤно ÑĪениÑıÑħ +воÑģ полÑĮзовавÑĪиÑģÑĮ +вÑĭÑģокоÑĤеÑħ нологиÑĩ +жеÑĢÑĤвопÑĢи ноÑĪениÑı +заим одейÑģÑĤвоваÑĤÑĮ +заÑĢ егиÑģÑĤÑĢиÑĢовано +иденÑĤ иÑĦиÑĨиÑĢоваÑĤÑĮ +индивидÑĥ алÑĮноÑģÑĤи +индивидÑĥ алÑĮноÑģÑĤÑĮ +инÑĤеллекÑĤÑĥ алÑĮнÑĭÑħ +инÑĤеÑĢпÑĢеÑĤ иÑĢоваÑĤÑĮ +иÑģÑģледоваÑĤелÑĮ Ñģки +квалиÑĦиÑĨи ÑĢованнÑĭ +коммÑĥниÑģÑĤ иÑĩеÑģкиÑħ +неопÑĢедел енноÑģÑĤи +неÑģанкÑĨион иÑĢован +неÑģпÑĢаведлив оÑģÑĤи +нÑĤеллекÑĤÑĥ алÑĮного +обÑĢазоваÑĤелÑĮ ного +овеÑĢÑĪенÑģÑĤв ованиÑİ +поÑģлед оваÑĤелÑĮнÑĭÑħ +пÑĢедоÑģÑĤоÑĢож ноÑģÑĤи +пÑĢедÑģÑĤав иÑĤелÑĮÑģÑĤв +пÑĢогÑĢамм иÑĢование +пÑĢоком менÑĤиÑĢовал +пÑĢоÑĤив оположного +пÑĢоÑĤив опоÑģÑĤавиÑĤÑĮ +пÑĢоÑĦеÑģÑģионалÑĮ наÑı +ÑĢазведÑĭв аÑĤелÑĮной +ÑĢазведÑĭв аÑĤелÑĮнÑĭÑħ +ÑĢаÑģпÑĢоÑģÑĤÑĢан еннÑĭÑħ +ÑĢеÑģпÑĥбли канÑģкого +ÑģамоÑģÑĤоÑı ÑĤелÑĮного +ÑģвидеÑĤелÑĮ ÑģÑĤвовал +ÑģовеÑĢÑĪенÑģÑĤв оваÑĤÑĮ +ÑģÑģледоваÑĤелÑĮ Ñģкой +ÑĤеÑĢÑĢоÑĢ иÑģÑĤиÑĩеÑģкиÑħ +ÑĦÑĥнкÑĨионалÑĮ ноÑģÑĤÑĮ +ÑĦÑĥнкÑĨион иÑĢование +ÑħаÑĢакÑĤеÑĢ иÑģÑĤиками +ÑĨелеÑģ ообÑĢазноÑģÑĤи +ÐIJ Ñħ +ÐIJ Ñı +Ðij Ñħ +ÐĴ ÐĽ +Ðĵ Т +ÐĶ ÐĿ +ÐĶ в +ÐĹ Ñĥ +Ðļ Ð¥ +Ðľ Ñĥ +Ðŀ Ч +Ðŀ Ñĩ +С ÐĶ +Ю Ðij +а ÑĨ +а Ñį +г ÑĤ +д ÑĤ +м п +о Ñij +ÑĦ ÑĮ +ÑĦ Ñİ +PL A +rr h +x sl +ĠÐIJ Ñį +ĠÐĴ д +ĠÐĵ н +ĠÐļ Ðĺ +ĠÐļ Ñĭ +ĠÐļ Ñij +ĠÐĽ ÐĶ +ĠÐĿ С +ĠÐŀ Ñī +ĠÐŁ Ñħ +ĠÐŁ ÑĮ +ĠТ в +ĠШ в +ĠШ к +ĠЮ Ñģ +Ġа й +Ġа ÑĦ +Ġа ÑĨ +Ġв и +Ġе ÑĢ +Ġм Ñı +ĠÑģ а +ĠÑģ г +ĠÑģ и +ĠÑĨ а +ĠÑį й +Ðij аÑĤ +Ðij ÑįÑĤ +ÐĴÐŀ ÐĽ +ÐĴ еÑĤ +ÐĴ иÑĪ +ÐĵÐij Т +Ðĵ иÑĢ +ÐĶÐIJ ÐŁ +ÐĶÐĿ Ð¥ +Ðĸ иг +Ðĸ Ñijл +ÐĹ Ð°Ð± +ÐĺÐĹ Ðŀ +Ðĺн г +Ðĺ ÑĤа +Ðļ Ñĥз +ÐĽÐIJ Ðĵ +ÐĽ ек +Ðľ еÑĦ +Ðľ од +ÐĿ УТ +ÐĿ ем +ÐĿ оÑĢ +ÐŀÐł Ðľ +ÐŀЧ ÐĿ +Ðŀ ÑģÑĤ +ÐŁ ÐķТ +Ðł аÑħ +Ðł Ñĭб +С им +С пÑĢ +С Ñĥл +Т иÑĤ +Т Ñĥп +УÐij ÐĶ +У им +Ð¥ оÑĤ +Ч ÐĺТ +Ч ай +Ч Ñĥд +Ш аÑħ +ÐŃк з +ÐŃ ÑĤÑĮ +Я бл +ад Ñĥ +аж и +ак о +ан ÑĪ +ап Ñģ +аÑĢ н +аÑĤ к +б аг +б ом +ва е +в зÑı +в ие +в об +в ÑĥÑģ +в Ñıж +в ÑijÑĢ +г ем +г Ñĩе +д аж +д ап +д ил +еб и +ев к +ее ÑĨ +ем к +еÑĤ н +еÑĪ к +жа о +ж ид +ж не +ж Ñĥж +з аг +з аÑģ +за Ñī +зÑĭ л +и ал +иж к +ий ÑĨ +ин з +ип и +иÑģ е +иÑĦ ÑĤ +иÑħ Ñĥ +к кÑĥ +к ни +ли й +лÑĭ л +мп ÑĦ +мÑĭ к +м Ñįн +мÑı ÑĤ +н гл +н ел +н об +нÑı г +ов ÑĨ +оз ÑĮ +о им +о иÑĨ +ой Ñģ +он ÑĦ +о оÑī +оÑģ ÑĢ +оÑģ Ñħ +оÑĦ ÑĢ +оÑĪ а +оÑĪ л +оÑī а +о Ñijв +п еп +п еÑĨ +по Ñħ +п Ñĭл +ÑĢ еÑī +ÑĢÑĥ Ñİ +ÑĢÑĭ ж +ÑģÑı н +ÑĤ ев +ÑĤ кн +ÑĤо е +ÑĤ Ñĭе +ÑĤÑĮ Ñİ +Ñĥб н +Ñĥг ÑĢ +Ñĥ ле +Ñĥл Ñĥ +Ñĥп л +Ñĥп ÑĮ +Ñĥ ÑĢи +ÑĥÑī е +ÑĦ иб +ÑĦ ли +ÑĦ Ñıн +Ñħа е +Ñħ аз +Ñħ иÑĤ +Ñħ ни +ÑĨ ек +ÑĨ ог +ÑĪе и +ÑĬ ез +ÑĬ Ñijм +Ñĭ Ñģл +ÑĮ ез +ÑĮ оÑĢ +ÑĮÑı Ñħ +Ñįй в +Ñįй Ñİ +Ñį кв +ÑįÑĤ л +Ñİ Ñįл +Ñİ ÑİÑī +Ñıд Ñı +Ñıн к +Ġib n +B enz +L ith +am bo +e iss +gly c +gre S +h ark +h ief +ph or +ph yl +she v +w icz +ĠÐIJÑĢ Ñģ +ĠÐĴ ÐIJШ +ĠÐĴ аÑħ +ĠÐĴа ÑĨ +ĠÐĴ Ñıз +ĠÐĵ ÐĵÑĨ +ĠÐĵ лÑı +ĠÐĵ Ñİн +ĠÐĶ ип +ĠÐĶ иÑĤ +ĠÐĶ Ñıг +ĠÐķв ÑĦ +ĠÐĸ ÐļÐ¥ +ĠÐĸ ел +ĠÐĸ из +ĠÐĺ пп +ĠÐļ аг +ĠÐļ еп +ĠÐļ ÑĢÑİ +ĠÐĽ СÐĶ +ĠÐĽ ЮÐij +ĠÐĽ оп +ĠÐĿ Ñįн +ĠÐŀÐIJ ÐŃ +ĠÐŀн ÑĤ +ĠÐŁ Ñĭл +ĠÐŁ ÑĭÑĤ +ĠÐł ем +ĠС ÐIJÐĿ +ĠС кв +ĠС пи +ĠС Ñĥз +ĠС ÑĥÑī +ĠСÑĬ е +ĠТ Ñİм +ĠТ Ñıг +ĠУ ин +ĠУ ок +ĠУ оÑĤ +ĠФ оÑĤ +ĠШ Ñĥк +ĠÐŃ Ð»Ðµ +ĠÐŃ ÑĦÑĦ +Ġа гл +ĠаÑĢ ÑĮ +Ġа ÑįÑĢ +ĠбÑİ Ð» +Ġв ик +Ġв он +Ġво ÑĨ +ĠвÑĭ й +Ġг иÑĢ +Ġз иг +Ġз од +Ġи Ñģл +ĠиÑģ ÑĨ +Ġк ог +Ġл ез +Ġл Ñĥн +Ġм иÑĩ +Ġм оÑĩ +Ġм ÑģÑĤ +Ġни Ñī +Ġн Ñĥм +Ġо ÑĢе +ĠоÑĤ к +Ġп аг +Ġп гÑĤ +Ġп ед +ĠÑĢ аÑĤ +ĠÑĢ ел +ĠÑģ ав +ĠÑģ иÑĦ +ĠÑģ ÑģÑĭ +ĠÑģ Ñĥг +ĠÑĤ еÑĤ +ĠÑĥÑĩ а +ĠÑĦ ей +ĠÑĦ еÑĤ +ĠÑĦ еÑħ +ĠÑĦ иÑĤ +ĠÑĦ Ñĥг +ĠÑħ лÑĭ +ĠÑĨ иÑĢ +ĠÑĨ Ñĥн +ĠÑĩ аÑĢ +ĠÑĩ еп +ĠÑĪ аÑĪ +ĠÑĪ из +ĠÑĪ кв +ĠÑī ег +ĠÑįÑĢ ÑĨ +ĠÑİ ÑĢÑĤ +ĠÑı иÑĩ +ÐIJ ван +ÐIJÑı кÑģ +ÐijУ ÐłÐĵ +ÐijаÑĢ Ñģ +Ðij ÑĢÑĥк +ÐijÑħ аг +ÐĴ едÑĮ +ÐĴ оÑģÑĤ +ÐĴ оÑģÑĮ +ÐĴ Ñģем +ÐĴÑĭ Ñģо +ÐĵТ ÐŀÐĿ +ÐĵиÑĢ е +ÐĶ ени +ÐĶ ожд +Ðķ ниÑģ +ÐĸÑijл ÑĤ +ÐĹÑĥ ев +Ðĺн ÑĨи +Ðļ ажд +Ðļ лив +Ðļ ÑĢов +Ðľ анÑģ +ÐľÐ°Ñı к +Ðľ екÑģ +Ðľ еÑĤе +ÐĿ аÑĨи +ÐŀÐĴ ÐĺЧ +Ðŀп ÑĭÑĤ +Ðŀ ÑħоÑĤ +ÐŁ лан +ÐŁ ÑĢак +ÐŁ ÑĢиз +ÐŁ ÑĢов +ÐŁÑĢ ок +СÐļ ÐĺÐķ +СТ ÐĴÐIJ +СТ ÐłÐŀ +С едÑĮ +С иÑĢи +С каз +С лÑĥж +С озд +С паÑģ +СÑĤ ÑĢо +Т ÑĢаг +Т ÑĢак +Ф ÐŀÐłÐľ +Ф еÑģÑĤ +ХоÑĤ Ñı +Ц иÑĢк +ЧÐIJ СТ +Ч иÑģл +ЧÑĥд о +Ш аÑħÑĤ +Ш ÑĤÑĥÑĤ +ÐŃ Ð½ÐµÑĢ +аб ол +ав иÑı +ад ан +ад Ñģк +адÑĮ б +ай ÑĪе +але Ñİ +али и +алÑĮ Ñģ +ам ей +ам Ñģк +ан ой +ано Ñį +анÑĤ н +анÑĮ Ñĩ +ап но +аÑĢ ди +аÑĢ ев +аÑĢи о +аÑĢ иÑİ +аÑĢ нÑĭ +аÑĢÑı г +аÑģ ий +аÑģ ÑĨи +аÑĤ ки +аÑĤÑĤ л +аÑĤ ÑĭÑħ +аÑĨ еÑĤ +аÑī им +аÑį дÑĢ +беж к +бел л +бÑĥк Ñģ +бÑĥÑĢ н +бÑĮ ÑijÑĤ +в аÑģÑĤ +веÑĢ к +веÑģ и +во оÑĤ +в ÑģÑıк +в ÑĨев +вÑıз и +вÑijÑĢ к +гад к +ган г +г аÑĢÑĤ +глÑı Ñħ +г оло +гÑĢи Ñİ +г Ñĩен +да ÑĦи +деÑĤ н +дж Ñĥк +д неп +дÑĥ ÑĨи +дÑĭ ма +еб нÑĭ +ев ед +ег ал +ег ид +ед ло +ек ен +екÑĤ ÑĢ +ели н +ел ÑģÑı +елÑĮ ÑĨ +елÑİ Ð± +ем ал +ем еÑı +ен ов +ен Ñıм +еп пе +еп по +еп Ñģи +еÑĢÑĪ а +еÑģ ей +еÑģ оÑģ +еÑĤ ан +еÑĨи Ñİ +еÑĨ ко +еÑĩ ей +еÑī ив +жид к +ж имо +зав е +зап ÑĢ +з аÑĨи +з ией +з лÑİб +зой д +з оÑģÑĤ +и анÑĤ +ив ии +из од +ик ам +ик Ñģк +или Ñģ +ил лÑİ +им Ñģк +им ÑĭÑħ +ин ад +ин ÑģÑĤ +ин ÑĥÑĤ +иÑĢ иÑģ +иÑĢ Ñıз +иÑģ он +иÑĨи ÑĢ +иÑĩ ей +йд Ñijм +ка Ñģп +ка ÑģÑĤ +ков Ñĭ +кол Ñĭ +кон ÑĦ +коÑĤ ÑĮ +к ÑĢай +кÑĢ ÑİÑĩ +лаб о +лаж к +л апÑģ +лаÑģ к +лаÑĤ е +лед ж +лей к +лей ÑĦ +лем м +л еÑģÑĤ +ли ей +ли ка +лим п +лин з +лиÑĤ к +лиÑĩ н +лой к +лон н +лоÑĤ ÑĮ +л ÑĤав +лÑĥÑĩ ÑĪ +лÑı нÑĭ +май к +мак о +м ани +м емÑĥ +меÑĪ к +ми ак +м нож +моз г +мÑĥÑĢ н +мÑı гÑĩ +наз а +нд ок +н ело +н елÑĮ +ни ел +ниÑĩ е +ни ÑĪÑĮ +ной Ñģ +нÑĭ ÑĪк +об нÑĭ +об ÑĥÑģ +ов нÑĥ +ов оÑģ +ог оÑĢ +од иÑĩ +од нÑĭ +од оз +од оÑģ +од Ñģк +оев а +оем к +оз ли +оз но +оз оÑĢ +ок он +ок оÑĢ +она Ñħ +он оÑĢ +оп он +оÑĢг е +оÑĢ еж +оÑĢ но +оÑĢ оп +оÑĢо Ñħ +оÑĢ Ñĥк +оÑĤ ал +оÑĤ ид +оÑĤ ин +оÑĩ Ñĥв +оÑĪ ло +оÑĪ ни +п лин +пп ин +п ÑĢаг +пÑĢи ÑĨ +пÑĢ оз +пÑĢÑĭ Ñģ +п ÑĥдÑĢ +пÑĥ ÑĤи +ÑĢав л +ÑĢад ÑĮ +ÑĢаж и +ÑĢан ÑĮ +ÑĢаÑħ е +ÑĢей к +ÑĢеÑģ е +ÑĢ еÑħÑĤ +ÑĢи ке +ÑĢин н +ÑĢ нÑĭÑħ +ÑĢов о +ÑĢоÑģ п +ÑĢоÑĤ м +ÑĢ ÑģÑĤв +ÑĢÑĥд и +ÑĢÑĥд н +ÑĢÑĥÑģ н +ÑĢÑĥÑĪ к +Ñģ алÑĮ +Ñģ дам +Ñģ енÑĤ +Ñģи ÑĢи +Ñģк ав +Ñģли в +Ñģм ей +Ñģп ÑĥÑĤ +ÑģÑĤ аг +ÑģÑĤ ег +ÑģÑĤ им +ÑģÑĤ нÑĭ +ÑģÑĤ ÑĥÑĩ +Ñģ ÑĥлÑĮ +ÑģÑĭл к +ÑģÑıÑĩ и +ÑĤан г +ÑĤ ани +ÑĤ едж +ÑĤе он +ÑĤив о +ÑĤи ко +ÑĤи ÑĨи +ÑĤол к +ÑĤ ÑĢев +ÑĤÑĥл к +Ñĥб но +Ñĥд аÑĩ +Ñĥд ок +Ñĥем Ñĭ +Ñĥли Ñģ +Ñĥна Ñģ +Ñĥп ов +ÑĥÑĢ аÑģ +ÑĥÑĢ еÑĤ +ÑĥÑĢ од +ÑĥÑĤ еÑĢ +ÑĥÑĩ иÑĤ +ÑĥÑī ей +ÑĥÑī им +ÑĥÑİÑī и +ÑĦей Ñģ +ÑĦ ика +ÑĦи оз +ÑĦ леÑĤ +ÑĦол ÑĤ +ÑĦоÑĢ и +Ñħ ого +Ñħод н +ÑĨ еби +ÑĨен д +ÑĨ иÑģÑģ +ÑĩаÑĤ о +ÑĩаÑĤ Ñĭ +Ñĩ ейн +Ñĩ елл +Ñĩ жÑįн +ÑĪ еÑģÑĤ +ÑĪ нем +Ñī инÑĥ +Ñĭн Ñģк +Ñĭ Ñģки +ÑĭÑĤ ож +ÑįÑĢ ÑĤо +Ñı нов +ÑıÑī Ñijн +Ñij зов +Ñijм ки +ĠBon n +ĠCos m +B rien +M obil +et ian +ll ows +p atri +r avel +tol er +to oth +ĠÐIJ гÑĢи +ĠÐIJ зеÑĦ +ĠÐIJ ким +ĠÐIJ ÑĢиз +ĠÐIJÑĢ ÑĤи +ĠÐij анг +ĠÐijлÑİ Ð¼ +ĠÐĴ ÐĶÐĿÐ¥ +ĠÐĴ олж +ĠÐĴ ÑıÑĤк +ĠÐĵ ваÑĢ +ĠÐĵ ваÑĤ +ĠÐĵ инз +ĠÐĵ онд +ĠÐĵоÑĢ Ñĩ +ĠÐĵ ÑĢег +ĠÐĶ еÑĢб +ĠÐĶж Ñĥз +ĠÐĶ обÑĭ +ĠÐĶ Ñįйв +ĠÐĶ ÑıдÑı +ĠÐķв ÑĤÑĥ +ĠÐķ лиÑģ +ĠÐĸ еÑģÑĤ +ĠÐĺ лли +ĠÐĺ мен +ĠÐļÐĺ ÐķÐĴ +ĠÐļл ÑįÑĢ +ĠÐļоÑģ м +ĠÐļ ÑĢоп +ĠÐļ Ñįмп +ĠÐĽ ÐĵÐijТ +ĠÐĽÐĶ ÐŁÐł +ĠÐľÐ°Ðº д +ĠÐľÐ¸ лÑİ +ĠÐľ ног +ĠÐľ окÑĢ +ĠÐĿ анÑģ +ĠÐĿа ÑĥÑĩ +ĠÐĿе ап +ĠÐĿи кÑĥ +ĠÐŀб ол +ĠÐŀÑī ÑĥÑī +ĠÐŁ ика +ĠÐŁÐ¾Ñĩ в +ĠÐŁ ÑĢаж +ĠÐŁÑĢ ог +ĠÐŁ ÑĤол +ĠÐŁ ÑĮеÑĤ +ĠÐŁ ÑıÑĤи +ĠÐł ели +ĠС ÐĺÐĹÐŀ +ĠС УÐijÐĶ +ĠСа ак +ĠСво Ñij +ĠСеб е +ĠСеб Ñı +ĠСк об +ĠСл ÑĥÑħ +ĠС лÑĥÑĩ +ĠСо ÑĨи +ĠС ÑĨип +ĠС ÑĮеÑĢ +ĠС ÑįйÑİ +ĠТв оÑı +ĠУ ваÑĢ +ĠУ ÑĢÑĥг +ĠУ ÑĦим +ĠÐ¥ айд +ĠЧеÑħ о +ĠЧ жао +ĠЧ жÑįн +ĠШа лÑı +ĠШ ÑĤÑĢа +ĠЮ зеÑĦ +ĠЯ ÑĨен +Ġа маз +Ġам би +Ġа моÑĢ +Ġа ном +Ġа ÑĤеÑĢ +Ġб алÑĮ +ĠбеÑģ ÑĪ +Ġб инÑĤ +Ġбом ж +Ġб ÑĢиÑĦ +Ġб ÑĢож +Ġб Ñĥбн +Ġб ÑĥгÑĢ +ĠбÑĥд к +ĠбÑĥл л +Ġвиз г +Ġви ол +Ġвн еб +Ġв ÑĤай +ĠвÑĭ на +ĠвÑĭ но +Ġг алÑĮ +Ġг онÑĩ +Ġг ÑĢеÑĨ +Ġг ÑĢоÑģ +Ġг ÑĢÑĭж +Ġг ÑĢÑĭз +Ġдж Ñĥн +Ġдз Ñįн +ĠдÑĢ ог +Ġд Ñĥпл +ĠдÑıд Ñİ +Ġжид к +Ġза им +Ġим пл +Ġи ÑĢак +Ġкол Ñĭ +ĠкÑĥп ÑĨ +Ġл аÑģÑĤ +Ġлом к +Ġми оÑĦ +ĠмоÑĢ ÑĦ +Ġна ÑĥÑĪ +Ġна Ñijм +Ġн екÑĤ +Ġне оÑģ +Ġне Ñĥз +Ġоб оÑĩ +Ġог лÑĭ +Ġог нÑİ +Ġод ев +Ġоз аг +Ġок иÑģ +Ġо лед +Ġоп аз +Ġо ÑĢак +ĠоÑģ ва +ĠоÑĤ ов +ĠоÑĤ од +Ġо ÑĨеп +ĠоÑĩ нÑĥ +Ġо ÑĪей +ĠпеÑĢ г +Ġпе ÑĪи +Ġп ÑĤен +ĠÑĢ аÑĨи +ĠÑĢ еÑģп +ĠÑĢ ожд +ĠÑģ акÑĢ +ĠÑģка ÑĦ +ĠÑģо оÑĢ +ĠÑģп ек +ĠÑģÑĤ иÑĢ +ĠÑģÑĦ оÑĤ +ĠÑĤ али +ĠÑĤ екÑĤ +ĠÑĤÑıж б +ĠÑĥб еÑĢ +ĠÑĥв ол +ĠÑĥ миÑĢ +ĠÑĥ ниÑĤ +ĠÑĥ ÑĢоÑĩ +ĠÑĥ ÑģÑĭп +ĠÑĦоÑĤ к +ĠÑĩ акÑĢ +ĠÑĩаÑĪ а +ĠÑĩ Ñĥлк +ĠÑĩ ÑijÑĢÑĤ +ĠÑĪ аÑĤк +ĠÑĪеп Ñĩ +ĠÑĪ еÑĢо +ĠÑĪ каÑĤ +ĠÑį лли +ĠÑįп иг +ĠÑįп ил +ĠÑİ Ð±Ð¸Ð» +ĠÑıзÑĭ Ñĩ +ÐIJÑħ маÑĤ +ÐĴоÑģÑĮ м +ÐĴÑĭ пол +ÐĵоÑĢ из +ÐĶожд ÑĮ +Ðķв ÑĢаз +Ðĸиг Ñĥл +ÐĹаб ав +ÐĹ ÐµÐ»ÐµÐ½ +Ðĺнг ÑĥÑĪ +Ðĺ ниÑĨи +Ðĺ оÑģиÑĦ +Ðļни гÑĥ +ÐĽÐµÐº аÑĢ +ÐĽ иÑĤов +ÐĽÑĥÑĩ ÑĪе +Ðľ ожно +ÐŀÑģ енÑĮ +ÐŀÑĩ енÑĮ +ÐŁÐķТ ÐķÐł +ÐŁÐ° Ñĥза +ÐŁÐ° ÑĥлÑĥ +ÐŁ оÑĩеÑĤ +ÐŁÐ¾Ñĩ ÑĤа +ÐŁÑĢе од +С анкÑĤ +СедÑĮ м +Си ÑįÑĤл +С ладк +СлÑĥж б +С ÑĢеди +Тай мÑģ +Там ож +ТеÑĢ ек +Т огда +Убий ÑĨ +Уим бл +У ника +Чай ка +ÐŃÑĤÑĮ ен +ав иÑģÑĤ +авод к +ав ÑĪиÑħ +аг анд +аг иÑģÑĤ +ада ев +ад елÑĮ +а евой +аем Ñĭй +азв иÑĤ +аз дел +аз Ñĩик +ай мак +ак ива +ак ÑĨий +али ва +али ни +ал ког +ам оÑĢÑĦ +анда Ñĥ +анд еÑģ +ан евÑĢ +ани но +ан ном +аÑĢ деÑĢ +аÑĢ иÑĦм +аÑĢ Ñģел +аÑģ енÑģ +аÑģÑĤ ик +аÑĤ иÑĩн +аÑĤ лан +аÑĤÑĥÑĢ е +аÑĤÑĥÑĢ к +аÑĤÑĮ ев +аÑĩ кал +аÑī его +беÑĢ иÑħ +бÑĢ еÑħÑĤ +бÑĥд им +вали в +веÑģÑĤ ÑĢ +взÑı ÑĤо +виз ан +в иÑĤеÑĢ +виÑĤ иÑı +вÑıж еÑĤ +гем ог +г ноÑģÑĤ +год но +г омеÑĢ +гоÑĢ Ñģк +гÑĢоб и +гÑĢÑĥз к +дели м +деÑĢ еÑı +дÑĥм ÑĮÑı +еб ниÑĨ +еб ойн +ев енн +евиÑĩ ÑĮ +ев оле +ев ÑĢей +ег геÑĢ +ед иÑĨи +ед ник +езж ей +ей ник +еком п +ели кÑĤ +ел лан +ело нÑĭ +елÑĮ ев +елÑı ÑİÑī +ем кин +ен ени +енно н +ен ÑĨиÑİ +енÑĮ Ñıн +еÑĢ аÑĨи +еÑĢ ега +еÑĢÑĮ ÑĤе +еÑģ кой +еÑģп он +еÑĤ анÑĤ +еÑĤ ÑĢан +еÑĩ енÑĮ +еÑĩ кин +жев Ñĭй +жив оÑĤ +ж изнÑĮ +ж ÑĢаÑĤÑĮ +жÑĥж жа +зв Ñijзд +зÑĢ ени +зÑĢ еÑĤÑĮ +ив нÑĭÑħ +ид аÑĤÑĮ +ид ной +ид Ñĭва +из иÑĢÑĥ +из лиÑı +илÑĮ нÑĭ +ип еÑĤи +ип ноÑĤ +иÑĢ наÑı +иÑģ ипи +иÑģк ан +иÑģÑģ аÑĢ +иÑģÑģ ÑijÑĢ +иÑģÑĤ ик +иÑģÑĤ Ñģк +иÑĤ аем +иÑĤ иÑĩе +иÑĤ оли +иÑħÑĥ ан +й Ñģкой +кв аÑĢÑĤ +ки пеÑĢ +кни жн +к нÑĥÑĤо +коб еж +кон Ñģк +ко ÑĨиÑĤ +кÑĢÑĥÑĤ к +кÑĥб ка +кÑĥл еÑģ +кÑĥ ÑĢиÑı +лаг ал +лад еÑĪ +лад ин +лаж ан +лак ал +лаÑĤ ан +лаÑĤ еÑĢ +лем еÑĤ +леÑĤ ок +ли лÑģÑı +лим ÑĦо +лин но +л иÑĤÑģÑı +лиÑı еÑĤ +лоб ин +л одно +лÑĥж да +лÑĥÑĩ ен +лÑİ Ð´ÐµÐ½ +маÑĤ оз +маÑĤ ÑĥÑĢ +маÑĩ еÑħ +мен нÑĭ +менÑĤ Ñĭ +меÑĢ он +меÑĢ ÑĪи +меÑģÑĤ н +меÑĤ ик +моÑĤÑĢ е +моÑĤÑĢ Ñİ +мÑı гÑĩе +на Ñģел +нгл оÑģ +неÑģ оÑĤ +ни жне +ни ÑĦеÑĢ +нов еÑĢ +нÑĥÑĤ ÑģÑı +об ежн +обод Ñĭ +оваÑĢ ÑĮ +ов еÑĢн +овод н +ов озд +ов олн +овоÑĢ Ñĭ +од ева +од еÑĤн +ож аÑĢн +озд ки +озд ов +олж Ñģк +олж ÑĮÑı +олл аÑĢ +ол леÑĢ +олн ов +олÑĮ ÑĪи +ом енн +омоÑī и +она ли +он Ñģал +онÑĤ ов +онÑĮ ко +он Ñıми +о оÑĤеÑĩ +ооÑī ÑĥÑī +опол к +оп ÑĢед +опÑĥÑĤ н +оÑĢ ова +оÑĢ ого +оÑĢ озк +оÑĢоÑĤ ÑĮ +оÑģ веÑĤ +оÑģ коÑĢ +оÑģÑĤ Ñĭн +оÑģÑĤ ÑıÑħ +оÑĤ кин +оÑħод н +оÑĩ аÑģÑĤ +оÑĩ иÑĤо +оÑī ник +оÑij ван +паÑĤ Ñģк +пеÑĢ Ñģи +пл анк +по иÑģк +поп еÑĩ +поÑģ ад +пÑĢÑĭ Ñģк +ÑĢав нÑĭ +ÑĢап ин +ÑĢаÑģ нÑĭ +ÑĢаÑģÑģ е +ÑĢе але +ÑĢеж да +ÑĢем он +ÑĢе ÑĨеп +ÑĢиг еÑģ +ÑĢид он +ÑĢик оÑģ +ÑĢоб аÑĤ +ÑĢов Ñĭй +ÑĢод иÑĤ +ÑĢод Ñĥк +ÑĢок ом +ÑĢоп оÑĢ +ÑĢоÑĤ еÑħ +ÑĢÑĥ йÑģк +Ñģам од +Ñģед еÑģ +Ñģон аж +ÑģÑĤв ов +ÑģÑĤ мод +ÑģÑĤÑĢа Ñı +ÑģÑĤÑĢо ÑĦ +ÑģÑİ Ð¶ÐµÑĤ +ÑģÑıÑĤ ÑĭÑħ +ÑĤим он +ÑĤов Ñĭй +ÑĤоÑĢ оп +ÑĤÑĢи но +Ñĥг ода +Ñĥж нÑĭм +Ñĥ лива +Ñĥ лиÑģÑĮ +ÑĥлÑı нÑĤ +ÑĥÑĤÑĮ ÑģÑı +ÑĥÑĩ ени +ÑĥÑĪ ной +ÑĦоб ии +ÑĦÑĮ оÑĢд +ÑĦÑİ Ð¼ÐµÑĢ +ÑĦÑİÑĢ ÑģÑĤ +Ñħов аÑĤ +Ñħод но +Ñħож иÑħ +ÑħоÑĤ ал +ÑĨел Ñĥй +ÑĨенÑĤ н +ÑĩаÑĤ ки +ÑĩаÑĤ ов +Ñĩ ÑĤиво +ÑĪел ек +ÑĪем ÑģÑı +ÑĪи лÑĮд +ÑĬез жа +Ñĭв авÑĪ +Ñıж ени +Ñıзв им +Ñı ÑĢÑĥÑģн +ÑijÑĢ нÑĥÑĤ +ĠMet ac +ĠRh ine +Cla ude +Exec ut +Greg or +Surv iv +ceph al +e asing +e opard +opol is +uan ian +ĠÐIJ генÑĤ +ĠÐIJÑĢ еÑģÑĤ +ĠÐIJÑĢÑħ иÑĤ +ĠÐIJÑį ÑĢоп +ĠÐijен дж +ĠÐijен Ñĥа +ĠÐijл анк +ĠÐij лейк +ĠÐij лиже +ĠÐĴÐIJШ ÐĺÐĿ +ĠÐĴ езде +ĠÐĴид ел +ĠÐĴиÑĪ нÑĥ +ĠÐĴ клÑİÑĩ +ĠÐĴ конÑĤ +ĠÐĴоÑģ ÑģÑĤ +ĠÐĴ ÑĢанг +ĠÐĴÑĭÑģ оÑĩ +ĠÐĴÑıз ÑĮм +ĠÐĵУ ÐĽÐIJÐĵ +ĠÐĵ ваÑĢд +ĠÐĵей ÑĤÑģ +ĠÐĵлÑı дÑı +ĠÐĵн езд +ĠÐĶж ойÑģ +ĠÐĶ ÑĢейк +ĠÐķ мелÑĮ +ĠÐĸиз не +ĠÐĹим ни +ĠÐĹ Ð¾ÑĢге +ĠÐĺл лаÑĢ +ĠÐĺÑģ Ñĩез +ĠÐļал аÑĪ +ĠÐļаÑĢ ÑĤо +ĠÐļон дÑĢ +ĠÐļ ÑĥдÑĢÑı +ĠÐļÑĭ зÑĭл +ĠÐļÑij лÑĮн +ĠÐĽÐ¾Ð¿ еÑģ +ĠÐľÐ°ÑĤ ви +ĠÐľÐ¾ Ñħам +ĠÐľÑį ÑĤÑĮÑİ +ĠÐĿС ÐĶÐIJÐŁ +ĠÐĿе одн +ĠÐĿÑĥж на +ĠÐĿÑĥж нÑĭ +ĠÐĿÑįн Ñģи +ĠÐŀб ÑĬÑijм +ĠÐŀ гÑĢом +ĠÐŀд оев +ĠÐŀ кÑĢаÑģ +ĠÐŀк ÑĤав +ĠÐŀп иÑĢа +ĠÐŁÐ° оло +ĠÐŁÐµÑĢ ег +ĠÐŁÐµÑĢм ÑĮ +ĠÐŁ оказ +ĠÐŁÐ¾ÑģÑĤ а +ĠÐŁ ÑĢÑĥÑģÑĤ +ĠÐŁ ÑĥнкÑĤ +ĠÐŁÑĮ еÑģа +ĠÐłÑĥб ин +ĠСÐIJÐĿ ÐļТ +ĠСв иÑĦÑĤ +ĠС еÑģил +ĠСинг Ñħ +ĠС лабо +ĠСоÑĦ ÑĮи +ĠСоÑĩ ин +ĠС ÑĢавн +ĠСÑĤо Ñıл +ĠСÑĤ ÑĢаÑģ +ĠСÑĤ ÑĢог +ĠСÑĥд ÑĮб +ĠСÑĥÑħ Ñĥм +ĠТÑİ Ð¼ÐµÐ½ +ĠУ вели +ĠУ лÑĥÑĩÑĪ +ĠУок еÑĢ +ĠХаÑĢ мÑģ +ĠЧ елов +ĠШк лов +ĠШ колÑĭ +ĠÐŃÑĢ миÑĤ +ĠЯ майк +Ġаб Ñħаз +Ġад епÑĤ +Ġаз бÑĥк +Ġам баÑĢ +Ġамб Ñĥл +Ġам ÑĦиб +Ġан ноÑĤ +Ġано нÑģ +Ġан ÑĤив +Ġа плод +Ġа ÑĢанж +Ġа ÑģÑĤÑĢо +ĠаÑĤ олл +ĠаÑĦ ган +ĠаÑĨ ÑĤек +Ġбез ÑĭÑģ +ĠбеÑĢ Ñijз +Ġб илÑĮÑı +Ġб ÑĢанÑĮ +ĠбÑĥÑħ ÑĤÑĥ +Ġв алÑĮÑģ +Ġв аÑĢÑıг +ĠваÑĢ ÑıÑĤ +Ġвз ÑĭÑģк +ĠвиÑģ ÑıÑī +Ġвоз зÑĢ +Ġво иÑģÑĤ +Ġв олог +Ġвол Ñħв +Ġвон ÑİÑĩ +ĠвоÑģ кÑĢ +Ġво ÑİÑİÑī +Ġв ÑĤÑĥлк +ĠвÑĭ емк +Ġг илÑĮд +Ġдем об +Ġдем оÑĢ +ĠдÑĢож ÑĮ +ĠдÑĥÑĢа Ñĩ +ĠдÑĭÑĪ ал +Ġезд иÑĤ +ĠеÑĢ еÑģÑĮ +Ġжад нÑĭ +Ġж алеÑİ +ĠжÑĥ лик +Ġзав оÑĢ +Ġзаг оÑĢ +Ġзаж иг +Ġзаж иÑĤ +Ġзам еÑĪ +Ġиг олк +Ġи еÑĢом +Ġиз воз +ĠизÑĬ Ñıн +ĠиÑģ кÑĥп +ĠиÑģ ÑĨел +Ġк аноÑį +ĠкаÑĤ ап +Ġки оÑģк +Ġкл оÑĩк +Ġког ÑĤи +ĠкоÑĢ иÑĨ +Ġк ÑĢажи +ĠкÑĢÑĥ Ñĩе +ĠкÑĥз ен +ĠкÑĥк ла +ĠкÑĥк лÑĭ +ĠкÑĥ лаÑĩ +ĠкÑĥп ли +Ġлаг Ñĥн +Ġл азаÑĢ +Ġл акон +ĠлеÑĩ иÑĤ +Ġлож ке +ĠлоÑģ оÑģ +ĠлоÑĤ оÑģ +ĠлÑĮ дин +Ġм анÑĮÑĩ +Ġми лиÑĨ +Ġмол лÑİ +Ġмон оÑĤ +ĠмоÑģ кв +Ġна лож +Ġне ÑĩаÑı +Ġне ÑįÑĦÑĦ +Ġнов ов +Ġоб лиÑĨ +Ġоб ÑĢам +Ġов ÑģÑıн +Ġод ÑĭÑĪк +Ġоз лоб +Ġоз ноб +Ġо лимп +Ġоп еки +Ġоп лод +Ġоп ÑĢиÑĩ +Ġо ÑĢанж +ĠоÑĢе ол +ĠоÑģ анк +ĠоÑģÑĤ ео +ĠоÑĤ ÑģÑĤÑĢ +ĠоÑī ÑĥпÑĮ +ĠпеÑģ нÑĮ +Ġпл овÑĨ +Ġпоб ои +Ġпов ин +Ġпог аÑĪ +Ġпоз ол +Ġпо обÑī +ĠпоÑĢ ад +ĠпоÑĢ ож +ĠпоÑģ оÑħ +ĠпÑĢез ÑĢ +ĠпÑĢоз а +ĠпÑĥÑĤ Ñıм +ĠпÑĭ лÑĮÑĨ +ĠпÑĭÑĤ ки +ĠÑĢаÑĤ ÑĥÑĪ +ĠÑĢем нÑı +ĠÑĢ овеÑģ +ĠÑĢолÑı м +ĠÑĢÑĭн кÑĥ +ĠÑģал ÑİÑĤ +ĠÑģап ÑijÑĢ +ĠÑģа Ñĥнд +ĠÑģ бÑĢаÑģ +ĠÑģв иÑĤк +ĠÑģда Ñĩе +ĠÑģей Ñģм +ĠÑģид им +ĠÑģи ÑĢий +ĠÑģл оÑijв +ĠÑģм Ñĥгл +ĠÑģоз ид +ĠÑģп ÑĥÑģÑĤ +ĠÑģп ÑıÑīе +ĠÑģÑĤ анд +ĠÑģÑĤ аÑĩк +ĠÑģÑĥм аÑģ +ĠÑģÑĥÑħ аÑı +ĠÑģÑĬ еÑģÑĤ +ĠÑģÑĭ Ñīик +ĠÑĤ ваÑĢÑĮ +ĠÑĤек ÑĥÑĩ +ĠÑĤиÑħ им +ĠÑĤол еÑĢ +ĠÑĤол Ñĩе +ĠÑĤÑĢ алÑĮ +ĠÑĤ ÑĢаÑħе +ĠÑĤÑĢ оиÑĨ +ĠÑĤÑĥ ÑĦли +ĠÑĤÑĭ лов +ĠÑĥв ижÑĥ +ĠÑĥг лек +ĠÑĥз каÑı +ĠÑĥ лиÑĤк +ĠÑĥнÑĭ ло +ĠÑĥÑģ меÑħ +ĠÑĥÑĤ онÑĩ +ĠÑĦаб Ñĥл +ĠÑĦалÑĮ ÑĪ +ĠÑĦей еÑĢ +ĠÑĦеÑĤ иÑĪ +ĠÑĦ лажк +ĠÑĦолÑĮ г +ĠÑĦоÑĢ ÑĤи +ĠÑĦÑĢаз е +ĠÑĦÑĥг аÑģ +ĠÑħ аÑĢÑĤи +ĠÑĨаÑĢ Ñijм +ĠÑĩеп ÑĥÑħ +ĠÑĩÑĥд ак +ĠÑĩÑĥж ак +ĠÑĪ аÑĤÑĤл +ĠÑĪкв ал +ĠÑĪ лейÑĦ +ĠÑĪ оÑĢоÑħ +ĠÑĪ пÑĢиÑĨ +ĠÑīег ол +ĠÑīел Ñĩк +ĠÑī иÑĤов +ĠÑįлег и +ĠÑįÑģÑĤ еÑĤ +ĠÑį ÑĦиоп +ĠÑİно ÑĪÑĥ +ĠÑıй ÑĨек +ĠÑıÑĢ дов +ĠÑı ÑĢоÑģл +Ðijал ÑĤик +ÐijаÑĤ ÑİÑĪк +ÐijеÑģ кон +ÐijÑįÑĤ мен +ÐĴÐĽ ÐķÐĿÐĺÐķ +ÐĴиÑĪ нев +ÐĴоз ÑĮми +ÐĴ Ñĥлкан +ÐĴÑĭÑģо ÑĨк +Ðĵ иганÑĤ +ÐķниÑģ ей +Ðĸелез н +ÐĹап ÑĢеÑī +Ðĺ ÑģÑĤÑĢеб +ÐĺÑĤа лиÑı +Ðļажд Ñĭй +ÐļÑĢов ав +ÐļÑĥ ÑĢилÑĮ +Ðľ акÑģим +ÐľÐ°ÑĤ еÑĢи +ÐľÐµÑĤе оÑĢ +ÐľÐµÑĦ оди +ÐľÐ¾Ð´ еÑĢн +ÐľÐ¾Ð½ ако +ÐľÐ¾Ñģ ков +ÐŀÐĴ СÐļÐĺÐĻ +ÐŀÑģÑĤ ÑĢов +ÐŀÑĤ елло +ÐŁÐ¸ÑģÑĮ мо +ÐŁ оÑģлед +ÐŁÑĢав дÑĭ +ÐłÐ°Ñħ ман +ÐłÐ¾Ñģ коÑģ +Св адÑĮб +СиÑĢи ÑĥÑģ +Сказ ка +Сп екÑĤÑĢ +СпÑĢ инг +ХаÑĢ боÑĢ +ШаÑħ маÑĤ +ШаÑħÑĤ ÑijÑĢ +ÐŃнеÑĢ го +Ябл око +абоÑĤ ки +ажен нÑĭ +акÑģ аÑĨи +ал лÑıÑĨи +алон ии +алÑĮ бом +алÑĮ ниÑĨ +амей ке +анов иÑĩ +аÑĢди но +аÑĢ енко +аÑĢм ееÑĨ +аÑĤоÑĢ иÑİ +аÑĨеÑĤ ил +баг ÑĢов +беÑĢ лен +бÑĢан дÑĤ +бÑĢеÑĤ ÑĤо +вен нÑĭм +венÑĨи м +веÑĢ пен +веÑĢÑĤ Ñĭй +вÑĤоÑĢ ой +ге оÑĦиз +геÑĢ ÑĨог +гид ÑĢаÑĤ +гомеÑĢ и +г оÑģпиÑĤ +гÑĢоз ил +делÑı ÑİÑĤ +ден ÑĨии +див изи +дÑĥк ÑĨиÑı +ев ожен +ела еÑĪÑĮ +елик ок +ем енно +ен джеÑĢ +енÑĤ ÑĮев +енÑĨи ей +ен ÑĩаÑĤо +еод ези +еÑĢ вооÑĤ +еÑĢг аÑĢд +еÑĢниз м +еÑĢÑĤ они +еÑģп ÑĮеÑĢ +еÑģÑĤ иÑĤÑĮ +еÑĩ еÑģÑĤв +жаÑĢ ива +жим аем +жÑijл ÑĤÑĭе +жÑijл ÑĤÑĭй +зв олил +зв олиÑĤ +илÑĮ нÑĭм +илÑı ÑĨии +инам ик +иÑĢ аÑĤоÑĢ +иÑĢов иÑĩ +иÑĢÑıз ев +иÑģл ого +иÑģ пÑĥÑģк +иÑģп ÑĭÑĤа +иÑĤан ÑĨи +иÑĤе Ñħни +иÑĩ еÑģÑĤв +кад ÑĢов +каÑĤ аÑĤÑĮ +ккÑĥ ÑĢаÑĤ +ков Ñģко +ком ÑĭÑģл +кон ÑģÑĥл +кÑĢай не +кÑĥÑĢ ива +кÑĥÑĢÑĥз Ñĭ +кÑĥÑģ Ñĭва +лав лен +лад еÑĤÑĮ +лад Ñĭва +леÑĤ ене +лÑİб езн +лÑİдо ед +лÑı ннÑĭе +маÑĤ изм +мели ва +мемÑĥ аÑĢ +меÑĢ имо +м ногие +м ÑĢаÑĩен +мÑĥ ника +нав аем +наÑĢ ком +н елÑĮзÑı +неÑģ ÑĥÑīе +не ÑĦÑĤег +ниÑģÑĤ ии +ниÑĩ ной +н нибал +ноÑģÑĤ аÑģ +облад а +обÑĢаж а +овоÑĢ оÑĤ +ог аÑĤив +огоÑĢ Ñģк +одоб лÑı +одоÑģ ий +од ÑģÑĤво +озд анн +олов но +олог еÑĤ +олÑİб ие +ом менÑĤ +оноÑģ но +оноÑģ нÑĭ +онÑĩ ели +ополÑĮ н +оп оÑĢÑıд +оÑĢг нÑĥÑĤ +оÑĢод иÑı +оÑĢож но +оÑĢ олик +оÑģ вÑıзи +оÑģн ежн +оÑĤип нÑĭ +оÑĤов ки +оÑĩ иÑĤел +паÑĢ ÑĤии +пеп ÑĤид +пеÑĨ наз +пеÑĩаÑĤ л +пиÑĪ еÑĪÑĮ +под ÑĢоб +поÑħ мел +пÑĢ аÑĢод +пÑĢед ÑĥÑģ +пÑĥÑĤ Ñĭва +ÑĢаÑģÑĤ но +ÑĢаÑĩ ива +ÑĢаÑĩ нÑĭм +ÑĢиÑģÑĤ ов +ÑĢоб анк +ÑĢ ождÑijн +ÑĢом ожд +Ñģел оне +ÑģмеÑĢÑĤ н +ÑģпеÑĪ нÑĭ +ÑģÑĤв ами +ÑģÑĤв ÑĥÑİÑī +ÑģÑĤÑĢ ека +ÑģÑĤÑĢ онг +ÑģÑĤÑĢÑĥк ÑĤ +ÑģÑĥл ÑĤан +ÑĤ епеÑĢÑĮ +ÑĤеÑĢ дам +ÑĤиз аÑĨи +ÑĤиÑĨи зм +ÑĤов ани +ÑĤов аÑĤо +ÑĥлÑĮÑĤ еÑĤ +ÑĥлÑı ÑĨий +ÑĥÑĢ аÑĤÑĥÑĢ +ÑĥÑģÑĤим Ñĭ +ÑĥÑīиÑħ ÑģÑı +ÑĦел леÑĢ +ÑĦол оме +ÑħозÑı ин +ÑĨвеÑĤ нÑĭ +Ñĩен Ñģко +Ñĩив аем +ÑĪед ÑĪÑĥÑİ +ÑīÑĥп аÑĤÑĮ +Ñĭв ании +ÑĭÑĪ алÑģÑı +ÑįкÑģп еÑĢ +Ñıз аний +ÑıÑīаÑı ÑģÑı +ĠElect r +ĠGust av +ĠJes uit +ĠREG NUM +ĠSp arta +ĠSt akes +ĠVent ur +Ġim itat +Ġobs cur +Ġrev olv +Ġsmugg l +Contin u +Don nell +Pr incip +c igaret +ind uced +patri ot +ster oid +ĠÐIJгÑĢи пп +ĠÐIJким ов +ĠÐIJл еппо +ĠÐIJÑĢав иÑı +ĠÐIJÑĢиз он +ĠÐIJÑģ ÑģиÑĢи +ĠÐijа Ñĥман +ĠÐijаÑħ ÑĤин +ĠÐijеÑĢ кли +ĠÐijибли Ñİ +ĠÐijлÑİ ÑħеÑĢ +ĠÐij ÑİджеÑĤ +ĠÐĴаÑĨ лав +ĠÐĴозд ÑĥÑħ +ĠÐĴп лоÑĤÑĮ +ĠÐĴÑĭÑģ ÑĪаÑı +ĠÐĴÑĭÑģ ÑĪее +ĠÐĴÑĭÑģ ÑĪие +ĠÐĴÑĭÑģ ÑĪий +ĠÐĵваÑĢ ди +ĠÐĵеÑĢм еÑģ +ĠÐĵÑİн ÑĤеÑĢ +ĠÐĶан ÑĨиг +ĠÐĶем ÑĮÑıн +ĠÐĶ енниÑģ +ĠÐĶип лом +ĠÐĶиÑĤ ÑĢиÑħ +ĠÐĶоб ÑĢÑĭн +ĠÐĶобÑĭ Ñĩа +ĠÐĶÑį ниел +ĠÐķвÑĦ ÑĢаÑĤ +ĠÐĸеÑģÑĤ ок +ĠÐĹап ÑĢеÑĤ +ĠÐĺз маил +ĠÐĺмен ем +ĠÐĺмпеÑĢ и +ĠÐĺнд екÑģ +ĠÐĺ ноÑģÑĤÑĢ +ĠÐļан заÑģ +ĠÐļап ÑĥÑģÑĤ +ĠÐļа ÑĥнаÑģ +ĠÐļеп леÑĢ +ĠÐļол омн +ĠÐļ ÑĢизиÑģ +ĠÐļÑĢÑİ ÐºÐ¾Ð² +ĠÐĽ андаÑĥ +ĠÐĽ еннон +ĠÐĽÑĥб Ñıнк +ĠÐĽÑĥÑĩ ÑĪим +ĠÐĽÑİд мил +ĠÐľÐ°Ð³ ниÑĤ +ĠÐľÐ°ÑĤ вей +ĠÐľÐµÑħ мед +ĠÐľÐ¸Ñħа Ñįл +ĠÐľÐ½Ð¾Ð³ им +ĠÐĿанÑģ ен +ĠÐĿе ÑĥдаÑĩ +ĠÐŀÑģ иÑĢиÑģ +ĠÐŀÑģоб ÑĥÑİ +ĠÐŀÑģоб Ñĭй +ĠÐŀÑĤ лиÑĩа +ĠÐŁÐ¾Ð³ ода +ĠÐŁ олÑĮзÑĥ +ĠÐŁÐ¾Ð¼ ога +ĠÐŁÐ¾ÑĢ ÑĦиÑĢ +ĠÐŁÐ¾Ñı влÑı +ĠÐŁÑĢаж Ñģк +ĠÐŁÑĥ ÑįÑĢÑĤо +ĠÐŁÑĮеÑĤ ÑĢо +ĠÐłÐ¸Ñħ ÑĤеÑĢ +ĠÐłÐ¾Ðº оÑģÑģ +ĠÐłÐ¾Ñģ ком +ĠСад дам +ĠСв ÑıÑīен +ĠСдел ав +ĠСел евк +ĠС еÑĢиал +ĠСиг нал +ĠСкв озÑĮ +ĠСлед ÑĥÑı +ĠС моÑĤÑĢÑİ +ĠСобак и +ĠСоб Ñĩак +ĠСок ÑĢаÑī +ĠСолн ÑĨÑĥ +ĠСÑĤ ÑĢаÑģÑĤ +ĠСÑĬ Ñijмки +ĠСÑĮеÑĢ ÑĢа +ĠСÑįм ÑİÑįл +ĠТал мÑĥд +ĠТиÑħ вин +ĠТÑĢо иÑĨе +ĠТÑĢÑĥ мÑįн +ĠТÑĥлÑĮ Ñģк +ĠТÑĥÑĢ ниÑĢ +ĠТÑĭ ÑģÑıÑĩи +ĠТÑİм ени +ĠУваÑĢ ов +ĠУол леÑģ +ĠУоÑĤ Ñģон +ĠУÑĦим Ñģк +ĠУÑĩен Ñĭй +ĠШан Ñħае +ĠШан Ñħай +ĠШв еÑĨиÑİ +ĠШев ÑĩÑĥк +ĠШÑĤÑĢа ÑĥÑģ +ĠШÑĥк ÑĪин +ĠÐŃд иÑģон +ĠÐŃн ÑĢике +ĠÐŃп изод +ĠЮÑģ Ñĥпов +ĠЯпон ÑĨÑĭ +ĠЯÑĨен Ñİк +Ġав аÑĢиÑİ +Ġамаз он +Ġам миак +Ġан нÑĥли +ĠаÑĤе изм +ĠаÑĤ ÑĤÑĢак +Ġбан неÑĢ +Ġбег ÑĥÑīи +Ġбед ноÑĤ +Ġбед нÑıг +Ġбез мÑıÑĤ +Ġбел леÑĤ +ĠбеÑĢ еÑĩÑĮ +ĠбеÑģ пеÑĢ +ĠбеÑģ ÑĩиÑģ +Ġбио Ñħим +ĠбоÑĤ ани +ĠбоÑıз ни +ĠбÑĢев ен +ĠбÑĢев на +ĠбÑĢод ÑıÑĩ +Ġвен геÑĢ +ĠвенÑĤ ил +ĠвеÑĤ ÑĢÑıн +Ġвз веÑģи +Ġвз дÑĭма +Ġвид жеÑĤ +Ġвик онÑĤ +ĠвоÑĨ аÑĢи +ĠвÑĢаж дÑĥ +ĠвÑĢаж дÑĭ +ĠвÑģ кÑĢÑĭл +ĠвÑģп лÑĭл +ĠвÑģпÑĭÑħ н +ĠвÑĤай не +ĠвÑĬ еÑħал +ĠвÑĭда ÑĩÑĥ +ĠвÑĭй дÑĥÑĤ +ĠвÑĭп еÑĩк +ĠвÑĭÑģ воб +ĠвÑĭ ÑģÑĭлк +ĠвÑĭ ÑĪивк +Ġгиб неÑĤ +ĠглÑı диÑĤ +ĠгонÑĩ аÑĢ +ĠгоÑĢ дÑĭн +ĠгÑĢан Ñĥл +ĠгÑĢеÑĨ ки +ĠгÑĢÑĥб Ñĭй +ĠгÑĢÑĥб ÑĭÑħ +ĠгÑĥÑģÑĤ Ñĭе +Ġдвиж ок +Ġд евиÑĩÑĮ +Ġде ÑĦолÑĤ +ĠдеÑı ний +Ġди лемм +ĠдобÑĭ ÑĤо +ĠдобÑĭ ÑĤÑĭ +ĠдоÑģ Ñĥга +ĠдÑĢож аÑī +Ġеж егод +Ġжал еÑĤÑĮ +Ġжел Ñĩно +Ġжел ÑĩнÑĭ +ĠжÑĥ ÑĢавл +Ġзаг ÑĢад +Ġзад нÑİÑİ +ĠзадÑĥм к +Ġзак лÑıÑĤ +Ġзам еÑīа +Ġзам кнÑĥ +ĠзаÑģ адÑĥ +ĠзаÑĤ ева +ĠзаÑıв ка +Ġзв аний +Ġзв аниÑİ +Ġзд аниÑİ +Ġзем ÑģÑĤв +Ġзиг заг +Ġзим нее +Ġзна ÑħаÑĢ +Ġиз веÑĢж +ĠизлиÑĪ к +Ġиз ÑĥÑĢод +Ġиме еÑĪÑĮ +Ġинд ийÑĨ +ĠиÑģп аÑĢи +ĠиÑģп аÑĢÑı +ĠиÑģÑĤ оÑīа +ĠиÑģÑĤ Ñıза +ĠиÑģÑĨ ели +ĠиÑģ ÑĨелÑı +Ġкаб аÑĩк +Ġказ нÑijн +Ġкал иÑĤк +Ġкал мÑĭк +ĠкалÑĮ кÑĥ +Ġкам пÑĥÑģ +ĠкаÑģÑģ иÑĢ +ĠкаÑĦ ÑĤан +Ġк лаÑģÑĤÑĮ +Ġкноп ке +Ġколон и +ĠколÑİ Ñĩи +Ġком бин +ĠкоÑĢ еÑĪк +ĠкоÑĢ оÑĩк +ĠкоÑģÑĤ Ñijл +ĠкÑĥз ниÑĨ +ĠкÑĥп леÑĤ +ĠкÑĥÑĢ ÑĮез +ĠкÑĥÑģ ков +Ġлав оÑĩк +Ġлез вие +ĠлиÑĢи ки +ĠлиÑĤов ÑĨ +Ġлод кой +Ġлок оÑĤÑĮ +Ġлок ÑĤев +Ġлоп нÑĥл +ĠлоÑģ кÑĥÑĤ +ĠлÑijг кие +Ġмак ÑĥÑĪк +Ġма ÑĦиоз +ĠмаÑħ нÑĥл +Ġмел каÑı +ĠмеÑĪ ков +Ġмик ÑĢов +Ġмик ÑĢок +ĠмиÑģÑģ ий +ĠмиÑĩ ман +ĠмиÑĪ ени +Ġмлад ен +Ġмног ок +Ġмод Ñĥле +Ġмол оке +ĠмÑıг каÑı +ĠмÑı коÑĤÑĮ +Ġнаб еги +Ġнам еÑģÑĤ +ĠнаÑģл ад +Ġнег ÑĢов +Ġнед вÑĥÑģ +ĠнекÑĤ аÑĢ +Ġне один +Ġнеп ÑĢев +Ġнеп ÑĢек +Ġнеп ÑĢиг +Ġне ÑĦÑĤег +Ġниж ним +Ġник оим +ĠниÑī еÑĤÑĭ +Ġоб заве +Ġобн ажи +Ġог лаÑģк +Ġо говоÑĢ +ĠогоÑĢ Ñĩи +Ġодол ел +ĠоÑĢак Ñĥл +ĠоÑģ едло +ĠоÑģ мÑĭÑģл +ĠоÑģÑĤ ÑĢÑĥÑİ +ĠоÑģÑĤ Ñĭва +ĠоÑĤваж и +ĠоÑĤÑĤ иÑģк +Ġп аводк +ĠпаÑĢ олÑı +Ġпев ÑĨов +Ġпед анÑĤ +ĠпеÑĢв оÑģ +ĠпеÑĢ Ñģид +ĠпеÑģ оÑĩн +ĠпеÑħ оÑĤе +ĠпеÑħоÑĤ Ñĥ +ĠпиÑģÑĮ мÑĥ +ĠпиÑĪ ÑĥÑīи +Ġпоб лаг +Ġпож ени +Ġпозн ав +Ġпоз нал +ĠполÑĮз е +ĠпоÑģел к +ĠпÑĢид ÑijÑĤ +ĠпÑĢи иÑģк +ĠпÑĢиÑĤ Ñıг +ĠпÑĢоп аж +ĠпÑĥÑģÑĤ ÑĭÑĢ +ĠпÑĭÑĤ кам +ĠÑĢав ноп +ĠÑĢаз бой +ĠÑĢаÑģÑĨ ве +ĠÑĢе алÑĮн +ĠÑĢев анÑĪ +ĠÑĢелÑĮ ÑģÑĭ +ĠÑĢем енÑĮ +ĠÑĢеÑģ ниÑĨ +ĠÑĢом аÑĪк +ĠÑĢоÑģ ÑģÑĭп +ĠÑĢо ÑĥÑĤеÑĢ +ĠÑĢÑĭн ком +ĠÑģав анн +ĠÑģ беÑĢеж +ĠÑģвеÑĢ ÑģÑĤ +ĠÑģв еÑĩей +ĠÑģвин ÑĮи +ĠÑģв иÑĤеÑĢ +ĠÑģг ÑĥÑīен +ĠÑģек ÑĨий +ĠÑģеÑģÑĤ ÑijÑĢ +ĠÑģин ÑĮоÑĢ +ĠÑģкан еÑĢ +ĠÑģка Ñĩок +ĠÑģкоÑĢ ÑĥÑİ +ĠÑģк оÑĤов +ĠÑģкÑĥ дно +ĠÑģлож ив +ĠÑģлÑĭÑĪ ен +ĠÑģлÑĭÑĪ нÑĭ +ĠÑģолн ÑĨÑĥ +ĠÑģоÑĢ нÑıк +ĠÑģп екÑĥл +ĠÑģп лоÑĤи +ĠÑģÑĤеп ей +ĠÑģÑĤеп ÑıÑħ +ĠÑģÑĤой кÑĥ +ĠÑģÑĤ опÑĢо +ĠÑģÑĤÑĢаж е +ĠÑģÑĤÑĢа ÑĥÑģ +ĠÑģÑĤÑĢ ижк +ĠÑģÑĤ ÑĥÑĩиÑĤ +ĠÑģÑĥг ÑĢоб +ĠÑģÑĥм оÑĩк +ĠÑģÑĦ окÑĥÑģ +ĠÑģÑĬ еÑħал +ĠÑĤвоÑĢ ÑĨа +ĠÑĤекÑĤ он +ĠÑĤеÑĢ мод +ĠÑĤиÑĪ инÑĥ +ĠÑĤи ÑĪинÑĭ +ĠÑĤоваÑĢ о +ĠÑĤон ÑĮÑĪе +ĠÑĤоÑĢ ÑĦÑıн +ĠÑĤоÑĢ Ñĩал +ĠÑĤÑĢеп еÑī +ĠÑĤÑĢог ал +ĠÑĤÑĢÑĥпп Ñĥ +ĠÑĤÑĥÑģк ло +ĠÑĤÑĥÑģк лÑĭ +ĠÑĤÑıж киÑħ +ĠÑĥв идал +ĠÑĥдал ÑģÑı +ĠÑĥлÑĭб ки +ĠÑĥм ÑĥдÑĢÑı +ĠÑĥниÑĤ аз +ĠÑĥп лаÑĤе +ĠÑĥÑģ меÑĪк +ĠÑĥÑĤ ваÑĢÑĮ +ĠÑĦаÑĢ иÑģе +ĠÑĦиÑĤ неÑģ +ĠÑĦл акон +ĠÑĦÑĥÑĤ лÑıÑĢ +ĠÑħлÑĭ нÑĥл +ĠÑħÑĢан ÑıÑī +ĠÑĨин изм +ĠÑĨÑĥн ами +ĠÑĩаÑĢ оде +ĠÑĩаÑĪ еÑĩк +ĠÑĩÑijÑĢ наÑı +ĠÑĪап оÑĩк +ĠÑĪаÑĢ ниÑĢ +ĠÑĪаÑĪ лÑĭк +ĠÑĪеÑĢ енг +ĠÑĪиз оÑĦÑĢ +ĠÑįй ÑĦоÑĢи +ĠÑįк Ñģкав +ĠÑįлли пÑģ +ĠÑİбил еÑı +ĠÑıв иÑĤÑģÑı +ĠÑıгод иÑĨ +ĠÑıиÑĩ ник +ĠÑı ÑģÑĤÑĢеб +ÐijолÑĮÑĪ аÑı +ÐijÑĢÑĥк лин +ÐijÑħаг ава +ÐĴели каÑı +ÐĴели кий +ÐĴенг ÑĢии +ÐĴеÑĤ еÑĢан +ÐĴ икипед +ÐĴÑģп омни +ÐĴÑĭпол нÑı +ÐĶв адÑĨаÑĤ +ÐĹакон од +ÐĺмпеÑĢ иÑı +Ðļ ваÑĢÑĤиÑĢ +ÐļÑĢаÑĤ кий +ÐļÑĥз баÑģÑģ +ÐĽÐ¸ÑĤов Ñģк +ÐľÐµÐºÑģ ико +ÐľÐ¾Ð»Ð¾Ð´ еж +ÐľÑĥ ниÑĨип +ÐĿем еÑĨко +Ðŀд наждÑĭ +Ðŀ ÑģÑĤоÑĢож +ÐŀÑħоÑĤ ник +ÐŁÐ»Ð°Ð½ еÑĤа +ÐŁÐ¾ ÑħоÑĢон +ÐŁÑĢиз ÑĢак +ÐŁÑĢов анÑģ +ÐŁÑĢок лÑıÑĤ +ÐłÐ°Ð±Ð¾Ñĩ аÑı +Ðł Ñĥковод +Сим ÑĦони +Созд аÑĤÑĮ +СпаÑģ ибо +ТиÑĤ аник +Т оваÑĢиÑī +ТÑĢак ÑĤоÑĢ +ТÑĥп олев +У пÑĢавлÑı +Ю гоÑģлав +абол изм +аб ÑģолÑİÑĤ +ав ÑģÑĤÑĢий +аг ÑĢегаÑĤ +аем оÑģÑĤи +аз иÑĢова +амоÑĢÑĦ оз +аÑĢÑģел он +аÑĤегоÑĢ и +аÑĤелÑĮ на +аÑĤив ной +бав лÑıÑĤÑĮ +бав лÑıÑİÑĤ +бÑĥдд иÑģÑĤ +ваÑĢд Ñģко +виж ениÑİ +влаÑģÑĤ нÑĭ +влек аÑİÑĤ +гип оÑĦиз +глÑĥб око +доб ÑĢово +дÑĥм аеÑĪÑĮ +екÑĤив нÑĭ +екÑĤоÑĢ аÑĤ +елÑĮ джÑĥк +енеÑĢ аÑĨи +еÑģен ний +еÑģÑĤ анно +еÑīив ани +забоÑĤ но +зап овед +заÑīиÑĤ нÑĭ +заÑī иÑīен +зелÑij нÑĭÑħ +зол оÑĩен +из иÑĢова +из иÑĢÑĥÑİÑī +излиÑı ни +илли аÑĢд +инд икаÑĤ +ипноÑĤ из +иÑģлов ие +иÑģ менÑĤÑĭ +иÑĨион еÑĢ +кап лива +кнÑĥл аÑģÑĮ +конÑĦ еÑģÑģ +коÑĤоÑĢ ое +коÑĤоÑĢ ÑĭÑħ +кÑĢад Ñĭва +кÑĢа евед +леÑģÑĤ нÑĭй +манд аÑĤн +мани нов +меÑī ениÑİ +множ иÑĤÑĮ +наÑĢÑĥж ен +на ÑģÑĭÑīен +нд ÑĥкÑĤоÑĢ +нел егал +новод нÑĭ +номоÑĢ Ñģк +ноÑĢеÑĩ ив +обÑĢаз ил +овав ÑĪаÑı +овал оÑģÑĮ +овид наÑı +овид ной +одаÑĢ иÑĤÑĮ +одоз ÑĢил +озн анно +оз обнов +окон ник +олÑĥÑĩ иÑĤÑĮ +олÑĮ ÑģкаÑı +омеÑĢ аÑĨи +омин авÑĪ +она лизм +оноÑģ ÑĨев +опеÑĢ аÑĨи +опиÑģ ани +опон неÑģ +оÑĢ азвиÑĤ +оÑĢм оÑĤал +оÑĢоÑĤ ник +оÑģеÑĢд ие +оÑģлед ок +оÑģÑħ иÑīен +оÑĤвоÑĢ ен +оÑĤвоÑĢ ÑĨа +п иÑĦагоÑĢ +плав лен +п озвоно +пон ÑıÑĤно +поÑĩ венн +пÑĢак ÑĤик +пÑĢед Ñģед +пÑĢоб лем +пÑĥ лемеÑĤ +пÑĭл еÑģоÑģ +ÑĢабоÑĤ ки +ÑĢав нÑıÑĤÑĮ +ÑĢаз влек +ÑĢеп ÑĢеÑģÑģ +ÑĢÑģÑĤв ова +ÑĢÑĥж елÑİб +Ñģк леÑĢоз +Ñģоедин Ñı +ÑģпоÑĢ ÑĤеÑĢ +ÑģпÑĥÑĤ ник +ÑģÑĤан Ñģки +ÑģÑĤвен нÑĭ +ÑģÑĤег ива +ÑģÑĤÑĢÑĥ аÑĨи +ÑģÑĤÑĥ кива +ÑģÑĤÑĥÑĩ аÑĤÑĮ +ÑģÑĥд опÑĢо +ÑģÑĥлÑĮ ÑĦаÑĤ +ÑĤ аплива +ÑĤ елеÑĦон +ÑĤем нело +ÑĤиз аÑĤоÑĢ +ÑĤÑĥ алÑĮно +ÑĥÑģлов нÑĭ +ÑĦика ÑĨии +ÑĦÑĢов Ñĭва +ÑĦÑĦеÑĢ Ñģон +Ñħлажд ен +Ñħлоп Ñĭва +Ñħо ÑħоÑĤал +ÑĨеби ени +ÑĨион ной +ÑĩеÑĢп аем +ÑĪколÑĮ но +ÑĪÑĤам пов +ÑĪÑĤ ÑĢаÑģÑģе +Ñįк ÑģпоÑĢÑĤ +Ñįк ÑģÑĤÑĢем +ÑıÑīим иÑģÑı +ĠBav aria +ĠCaval ry +ĠCrus ade +ĠMid land +Ġden ounc +Ġdi ocese +Ġharmon i +Ġparas it +Ġpilgr im +f lection +produ ced +ut rition +ĠÐIJвÑĤ обÑĥÑģ +ĠÐIJкÑģ енов +ĠÐIJлекÑģ еÑİ +ĠÐIJÑĢк ÑĤике +ĠÐIJÑĦ ÑĢодиÑĤ +ĠÐijав аÑĢии +ĠÐijав аÑĢÑģк +ĠÐijеÑĢез ин +ĠÐijеÑĢ Ñijзов +ĠÐijол ивии +ĠÐijÑĥÑĢ ÑıÑĤии +ĠÐĴаÑħ ÑĤанг +ĠÐĴен гÑĢиÑİ +ĠÐĴеÑĢ ÑģалÑĮ +ĠÐĴеÑĤ Ñħого +ĠÐĴин ÑģенÑĤ +ĠÐĴнеÑĪ ний +ĠÐĴнеÑĪ нÑıÑı +ĠÐĴ нÑĥÑĤÑĢен +ĠÐĴолж Ñģко +ĠÐĴол окол +ĠÐĴ пеÑĩаÑĤл +ĠÐĵаÑĢ олÑĮд +ĠÐĵлÑĥб ина +ĠÐĵоÑģдÑĥм Ñĥ +ĠÐĵÑĢег оÑĢи +ĠÐĵÑĢоз ном +ĠÐĶел егаÑĤ +ĠÐĶеÑĢб енÑĤ +ĠÐĶеÑĢев Ñıн +ĠÐĶмиÑĤÑĢи Ñİ +ĠÐĶобав им +ĠÐĶÑĢ оздов +ĠÐĶÑıг илев +ĠÐķв ÑĢоком +ĠÐĹав еÑĢÑĪа +ĠÐĹав оева +ĠÐĹаÑĢ анее +ĠÐĺде олог +ĠÐĺеÑĢ оним +ĠÐĺпп олиÑĤ +ĠÐĺÑģп олнÑı +ĠÐĺÑĤа лией +ĠÐĺÑĤ алÑĮÑıн +ĠÐļад даÑĦи +ĠÐļазаÑħ Ñģк +ĠÐļалÑĥж Ñģк +ĠÐļамеÑĢ Ñĥн +ĠÐļан адÑģк +ĠÐļиÑĪин ев +ĠÐļиÑĪин Ñijв +ĠÐļ леменÑĤ +ĠÐļол ледж +ĠÐļол линз +ĠÐļон ÑģеÑĢв +ĠÐļонÑĤ акÑĤ +ĠÐļоÑĢаб ли +ĠÐļоÑĢол Ñijв +ĠÐļÑĥзÑĮм иÑĩ +ĠÐļÑį меÑĢон +ĠÐĽÐ¾Ð± анов +ĠÐľÐ°Ð³ адан +ĠÐľÐ°Ð³ иÑģÑĤÑĢ +ĠÐľÐ°ÑĢÑĪ ÑĢÑĥÑĤ +ĠÐľÐ°Ñģ ÑĪÑĤаб +ĠÐľÐ°ÑĤ илÑĮд +ĠÐľÐ¸Ð»Ñİ ÐºÐ¾Ð² +ĠÐľÐ¸ÑģÑģ ÑĥÑĢи +ĠÐľÐ¸ÑĤ Ñĩелл +ĠÐľÐ¸Ñĩ ÑĥÑĢин +ĠÐĿавеÑĢ но +ĠÐĿаг оÑĢно +ĠÐĿаÑĤалÑĮ и +ĠÐĿаÑĥÑĩ нÑĭе +ĠÐĿаÑĩина Ñİ +ĠÐĿеап оле +ĠÐĿеп ÑĢиÑıÑĤ +ĠÐĿикÑĥ лин +ĠÐŀб лаÑģÑĤÑĮ +ĠÐŀб ÑĬедин +ĠÐŀбÑĬÑıÑģ ни +ĠÐŀбÑĬÑıÑģ нÑı +ĠÐŀкÑĢаÑģ ка +ĠÐŀнÑĤ аÑĢио +ĠÐŀÑģ валÑĮд +ĠÐŀÑģнов ой +ĠÐŀÑģÑĤ аÑĤки +ĠÐŁÐ¸ÐºÐ° ÑģÑģо +ĠÐŁÐ¸Ñģ аÑĢев +ĠÐŁÐ¸Ñģ аÑĤел +ĠÐŁÐ¾Ð² ÑģÑİдÑĥ +ĠÐŁÐ¾Ð³ один +ĠÐŁÐ¾ÑĤ Ñģдам +ĠÐŁÑĢи ближ +ĠÐŁÑĢин ÑıÑĤо +ĠÐŁÑĢи ÑıÑĤно +ĠÐŁ ÑĢовеÑĢÑı +ĠÐŁÑĢог ноз +ĠÐŁÑĢÑĥÑģ ÑģиÑı +ĠÐŁÑħ енÑĮÑıн +ĠÐŁÑĭÑĤ аÑıÑģÑĮ +ĠÐłÐ°Ð´ иÑīев +ĠÐłÐ°Ñģ колÑĮ +ĠÐłÐµÐ»Ð¸ гиÑı +ĠÐłÑĥм ÑĭнÑģк +ĠСиÑģÑĤем Ñĭ +ĠСл оваÑĢÑĮ +ĠСоб Ñıнин +ĠСоÑĦ ийÑģк +ĠСÑĤеп енÑĮ +ĠСÑĤÑĢ елÑĮÑĨ +ĠСÑĥз далÑĮ +ĠСÑĨип ион +ĠТаÑĤ иÑīев +ĠТÑĢи поли +ĠУин ÑģÑĤон +ĠУÑĢÑĥг ваÑı +ĠУÑģп еÑĪно +ĠÐ¥ÑĢиÑģÑĤ ом +ĠЧа адаев +ĠШалÑı пин +ĠШаÑħ овÑģк +ĠÐŃле оноÑĢ +ĠÐŃÑĢик Ñģон +ĠЯвлÑı лÑģÑı +Ġаб ÑĢикоÑģ +Ġави аÑĨиÑİ +ĠагÑĢ аÑĢнÑĭ +Ġай ÑģбеÑĢг +Ġак ÑĢобаÑĤ +Ġамби ÑĨии +Ġан ÑĤимон +ĠаÑĢ маÑĤÑĥÑĢ +ĠаÑĤеÑĢ оÑģк +Ġбаб оÑĩек +Ġбаб оÑĩки +Ġбаб ÑĥÑĪке +Ġбал еÑĢин +ĠбалÑĮ зам +ĠбаÑĢ ÑĢелÑĮ +Ġбез деÑĤн +Ġбез лиÑĩн +ĠбеÑģ коÑĢÑĭ +ĠбилÑĮÑı ÑĢд +Ġблин даж +Ġбо екомп +Ġбом бежк +Ġб ÑĢаÑħман +ĠбÑĢез енÑĤ +ĠбÑĢиÑĦ инг +ĠбÑĢон ÑħиÑĤ +ĠбÑĭ ÑģÑĤÑĢаÑı +ĠваÑĢ енÑĮе +ĠведÑĥÑī ее +ĠвеÑĢев ки +ĠвеÑĢев кÑĥ +ĠвлиÑı ний +ĠвлÑİб лÑijн +ĠвнÑĥÑĪ аеÑĤ +ĠвнÑĥÑĪ иÑĤÑĮ +ĠвооÑĢÑĥж а +ĠвоÑģÑģ еда +ĠвоÑģ ÑģÑĤал +ĠвÑĭ меÑĢÑĪи +ĠвÑĭпÑĥк лÑĭ +ĠвÑĭ ÑĢабаÑĤ +ĠвÑĭÑĢÑĥÑĩ ки +ĠвÑĭÑĢÑĥÑĩ кÑĥ +ĠгалеÑĢе Ñİ +ĠгалÑĮ ван +ĠгилÑĮд ии +ĠгиÑĢ лÑıнд +ĠгоÑĢ кома +ĠгоÑĢ ÑĤани +ĠгÑĥм анно +Ġдвой ное +Ġдвой нÑĥÑİ +Ġдев оÑĩке +ĠдикÑĤ ÑĥеÑĤ +ĠдиÑģ плей +Ġдожд лив +Ġдолг оÑģÑĢ +ĠдоÑĢож ке +ĠдÑĢев нÑİÑİ +ĠдÑĢог нÑĥл +ĠдÑĢож жей +ĠдÑĭÑħ ании +ĠепаÑĢÑħ иÑı +Ġжив ÑĥÑīий +Ġжив ÑĥÑīим +Ġжид кого +ĠжилÑĮ ÑĨов +Ġзав еÑīал +Ġзагад кÑĥ +Ġзагад ок +Ġзак ÑĥлиÑģ +ĠзакÑĥп ок +Ġзамен ой +Ġзамен Ñijн +ĠзамеÑĤ им +ĠзамеÑĤ кÑĥ +ĠзамеÑĤ ок +ĠзамеÑĩ аÑİ +ĠзамеÑĩ аÑı +Ġзам еÑīен +ĠзамÑĭ ÑģлÑĭ +ĠзапиÑģ ок +ĠзапиÑģ ÑıÑħ +Ġза ÑĢабаÑĤ +ĠзаÑģ нÑĥÑĤÑĮ +Ġза ÑģÑĤÑĢаÑħ +ĠзаÑĤ Ñĭлок +ĠзаÑīиÑī Ñijн +ĠздÑĢав Ñĭй +ĠзÑĥб ÑĩаÑĤÑĭ +Ġиз лагал +Ġизмен Ñijн +ĠизÑĥм ÑĢÑĥд +Ġимев ÑĪим +Ġиме ÑİÑīем +Ġиме ÑİÑīÑĥÑİ +Ġимпл анÑĤ +Ġин веÑĢÑģи +Ġинд онез +ĠиндÑĥ изм +ĠинÑģÑĤ иÑĤÑĥ +ĠинÑĤег ÑĢи +ĠинÑĦ иÑĨиÑĢ +ĠиÑĢак Ñģки +ĠиÑĢланд ÑĨ +ĠиÑĢон ией +ĠиÑģк онно +ĠиÑģп олин +ĠкалÑĮ маÑĢ +ĠкаÑĢÑĤоÑĩ н +Ġкин оÑĢеж +Ġкол лапÑģ +ĠколÑİ Ñĩей +Ġком едиÑİ +ĠконÑĩ ено +ĠкоÑĢаб лÑİ +ĠкоÑĤ ÑĤедж +Ġко ÑĪелек +ĠкÑĢаÑĤ кие +ĠкÑĢаÑĤ ким +ĠкÑĢив изн +ĠкÑĢÑĥж оÑĩк +ĠкÑĥк олÑĮн +ĠлазаÑĢ еÑĤ +ĠлаÑģÑĤ оÑĩк +ĠлекÑģ ики +Ġлиней ки +ĠлиÑĩ инок +ĠлоÑĪад ÑıÑħ +ĠлÑĥн ного +Ġман екен +ĠмаÑĢ инад +ĠмаÑģки ÑĢÑĥ +ĠмаÑģ лÑıнÑĭ +Ġмедвед и +Ġмед ÑĢеÑģе +ĠменÑĮ ÑĪие +ĠмеÑĢ зоÑģÑĤ +ĠмиÑģÑģ ией +Ġмлад ÑĪаÑı +Ġмлад ÑĪие +Ġмон голо +Ġнаг ÑĢÑĥдн +ĠнажаÑĤ ии +ĠнажаÑĤ иÑı +ĠнапÑĢ оÑĩÑĮ +ĠнаÑĢÑĥÑĪ ив +ĠнаÑĢ ÑĨиÑģÑģ +ĠнаÑģили Ñİ +ĠнаÑijм ник +ĠневеÑģÑĤ Ñĥ +Ġнемал ÑĥÑİ +Ġнемал Ñĭе +Ġнеп окоÑĢ +Ġнеп оÑģÑĤи +ĠнеÑĤ оÑĢоп +ĠнеÑĩеÑģÑĤ н +Ġник оÑĤин +ĠноÑĢм анн +ĠноÑģ оÑĢог +Ġобид еÑĤÑĮ +ĠобиÑĤ аем +ĠобиÑĤ али +Ġобнов ил +ĠобоÑĩ ине +ĠобÑĥÑĩ аем +ĠобÑĥÑĩ аÑİÑĤ +Ġодол еÑĤÑĮ +Ġозв ÑĥÑĩил +ĠоÑģв ÑıÑīÑijн +ĠоÑģлож ни +ĠоÑģна ÑīÑijн +ĠоÑĤваж но +ĠоÑĤ лÑĥÑĩен +ĠоÑĤмеÑĩ аÑı +ĠоÑĤ пÑĢÑĭÑģк +ĠоÑĤ ÑĢедак +ĠоÑĤÑĢез ка +ĠоÑĤ ÑĢемон +ĠоÑĤÑĭ Ñģкал +ĠоÑĨеп ене +ĠоÑĪей ник +ĠоÑīÑĥÑī аем +Ġпаг Ñĥбно +Ġпам ÑĦлеÑĤ +Ġпан ÑĤеон +Ġпап иÑĢÑĥÑģ +ĠпаÑģ мÑĥÑĢн +ĠпаÑĤÑĢи ÑĨи +ĠпеÑĤ ÑĢÑĥÑĪк +Ġпи анино +ĠпиÑī еваÑı +Ġпл еваÑĤÑĮ +Ġповез еÑĤ +ĠповеÑĢ иÑĤ +Ġпов инов +ĠпогÑĥб ил +Ġпод каÑģÑĤ +Ġподоб ен +Ġподоб нÑĭ +ĠподÑĢÑĥг Ñĥ +Ġпод ÑĭÑĤож +Ġпожил Ñĭе +ĠпокÑĥп ок +Ġпол пÑĥÑĤи +Ġпом еÑĩен +Ġпом ниÑĪÑĮ +ĠпоÑĢаз ив +ĠпоÑĢ овнÑĥ +ĠпоÑĤ ÑĢÑĥди +ĠпоÑħ ваÑģÑĤ +Ġпо ÑĨелÑĥй +ĠпоÑį зией +ĠпÑĢав нÑĥк +ĠпÑĢеж нÑİÑİ +ĠпÑĢи лиÑĩи +ĠпÑĢиобÑī и +ĠпÑĢиÑģ лон +ĠпÑĢоб оин +ĠпÑĢов изи +ĠпÑĢо иллÑİ +ĠпÑĢоÑĪл Ñĭе +ĠпÑĢоÑıÑģ нÑı +ĠпÑģиÑħ икÑĥ +ĠпÑĤен ÑĨов +ĠпÑĥÑĢ иÑĤан +ĠпÑĥÑģÑĤÑĭ нÑĮ +ĠÑĢазбоÑĢ к +ĠÑĢаз веÑĤв +ĠÑĢазв ÑĢаÑī +ĠÑĢаз гадк +ĠÑĢаз мÑıгÑĩ +ĠÑĢаз озли +ĠÑĢам ками +ĠÑĢ еÑģпонд +ĠÑĢеÑĤ ÑĢоÑģп +ĠÑĢеÑĩ евой +ĠÑĢеÑĪеÑĤ ки +ĠÑĢеÑĪеÑĤ кÑĥ +ĠÑĢÑĥбаÑĪ ки +ĠÑĢÑĥбаÑĪ кÑĥ +ĠÑģам опÑĢо +ĠÑģам оÑĩÑĥв +ĠÑģбли жен +ĠÑģв алива +ĠÑģв аÑģÑĤик +ĠÑģвеÑĢ нÑĥÑĤ +ĠÑģвиÑĢ епо +ĠÑģвиÑĢ епÑĭ +ĠÑģекÑĤ анÑĤ +ĠÑģеÑĢд иÑĤо +ĠÑģиÑĦ илиÑģ +ĠÑģк овÑĭва +ĠÑģл обода +ĠÑģл ободÑĭ +ĠÑģлов еÑĩк +ĠÑģмаз анн +ĠÑģмеÑı лÑģÑı +ĠÑģмÑı гÑĩен +ĠÑģнаб дил +ĠÑģокÑĢÑĥÑĪ а +ĠÑģол нÑĭÑĪк +ĠÑģообÑī ив +ĠÑģоÑĢ одиÑĩ +ĠÑģоÑĨ ÑģеÑĤи +ĠÑģпалÑĮ не +ĠÑģпалÑĮ ни +ĠÑģпалÑĮ нÑİ +ĠÑģпÑĥÑĤ ниÑĨ +ĠÑģÑģÑĭ лÑĮнÑĭ +ĠÑģÑĤеб елÑĮ +ĠÑģÑĤоÑı нке +ĠÑģÑĤоÑı Ñīим +ĠÑģÑĤÑĢог иÑħ +ĠÑģÑĥб ÑĤÑĢоп +ĠÑģÑĥмеÑĢ ки +ĠÑģÑĥÑĢов Ñĭе +ĠÑģÑĥÑĢов Ñĭй +ĠÑģÑħваÑĤ ка +ĠÑģÑĬем оÑĩн +ĠÑģÑĬÑijм оÑĩн +ĠÑĤаб ÑĥÑĢеÑĤ +ĠÑĤак ÑĤике +ĠÑĤак ÑĤико +ĠÑĤам оÑĪни +ĠÑĤаÑĢел ка +ĠÑĤекÑĥÑī ее +ĠÑĤекÑĥÑī им +ĠÑĤекÑĥÑī ÑĥÑİ +ĠÑĤеÑĤ ÑĢадÑĮ +ĠÑĤолÑī инÑĥ +ĠÑĤон енÑĮк +ĠÑĤоÑĢ опил +ĠÑĤоÑĩ еÑĩнÑĭ +ĠÑĤÑĢам вае +ĠÑĤÑĢан ÑĪеи +ĠÑĤÑĥн нелÑĮ +ĠÑĤÑıжÑijл Ñĭй +ĠÑĥбежд Ñijн +ĠÑĥбеÑĢ еÑĩÑĮ +ĠÑĥвеÑĢ ова +ĠÑĥвеÑĢ ÑıеÑĤ +ĠÑĥвлек ÑģÑı +ĠÑĥвол иÑĤÑĮ +ĠÑĥгÑĢож аÑı +ĠÑĥделÑı еÑĤ +ĠÑĥзна еÑĪÑĮ +ĠÑĥкÑĢа ÑģÑĤÑĮ +ĠÑĥни ÑĦоÑĢм +ĠÑĥпÑĢаж нÑı +ĠÑĥÑĢоÑĩ иÑīе +ĠÑĥÑģадÑĮ бе +ĠÑĥÑģво иÑĤÑĮ +ĠÑĥÑģлож ни +ĠÑĥÑģÑĥгÑĥб и +ĠÑĥÑĩиÑĤ елÑİ +ĠÑĦанаÑĤ ик +ĠÑĦаÑĢ мако +ĠÑĦÑĢей лин +ĠÑħиÑī ениÑı +ĠÑħоÑģÑĤ инг +ĠÑĨа ÑĢапин +ĠÑĨаÑĢ Ñģкие +ĠÑĨаÑĢ Ñģким +ĠÑĨел ебнÑĭ +ĠÑĨеп оÑĩке +ĠÑĨин иÑĩно +ĠÑĩеÑĤ вÑijÑĢк +ĠÑĩиÑģÑĤ ейÑĪ +ĠÑĪеÑģÑĤ иде +ĠÑĪкаÑĤ Ñĥлк +ĠÑĪÑĤÑĥÑĢ вал +ĠÑįпиг ÑĢаÑĦ +ĠÑįÑģмин еÑĨ +ĠÑıÑĢмаÑĢ ка +ĠÑıÑĢмаÑĢ ки +ÐIJван гаÑĢд +ÐIJв ÑģÑĤÑĢали +ÐĴоÑģÑĤ оÑĩно +ÐĵеÑĢ кÑĥлеÑģ +ÐĵоÑĢиз онÑĤ +ÐĶан Ñĩенко +ÐĺнÑĨи денÑĤ +Ðļлив ленд +Ðļ ÑĢиÑģÑĤалл +ÐļÑĥÑĢилÑĮ Ñģк +ÐĽÐµÐºÐ°ÑĢ ÑģÑĤв +ÐľÐ°Ð½Ñģ ийÑģк +ÐľÐ°Ñı ковÑģк +ÐľÐµÑĢ ÑģедеÑģ +ÐľÐ¸Ð½ неÑģоÑĤ +ÐľÐ¾Ñģ ÑĦилÑĮм +ÐĿаÑĨи онал +ÐĿоÑĢ илÑĮÑģк +ÐŁÐ¾ÑĩеÑĤ нÑĭй +ÐŁÑĢед ÑĭдÑĥÑī +ÐŁÑĢеод оле +СкоÑĢ пион +Тамож енн +ТÑĢаг едиÑı +Уимбл дон +Уника лÑĮн +ФонÑĤан ка +ШÑĤÑĥÑĤ гаÑĢÑĤ +ÐŃкÑģп ÑĢеÑģÑģ +агиÑģÑĤ ÑĢал +аделÑĮ ÑĦии +акÑĤив нÑĭÑħ +алког олÑĮ +алÑĮд егид +аÑĢÑĤи заÑĨи +аÑĤа ÑģÑĤÑĢоÑĦ +беÑģÑģ мÑĭÑģл +бÑĥкÑģ иÑĢов +ваÑĢÑĤиÑĢ нÑĭ +влеÑĩ ении +воз бÑĥдим +вол акива +вÑıÑīен ник +голов ник +дап ÑĤаÑĨиÑı +доп ÑĥÑģÑĤим +евÑĢей Ñģки +едеÑĢ аÑĨии +енно ÑģÑĤей +еÑĤан ковÑĭ +еÑħваÑĤ Ñĩик +жидк оÑģÑĤн +зÑĭÑģк ание +зÑĭÑģк аний +инÑģÑĤ иÑĤÑĥÑĤ +ин Ñįконом +иÑĢован но +иÑĤелÑĮ нее +иÑĤелÑĮ ном +иÑĤик овал +иÑĤ иÑĢован +каÑĢ паÑĤÑģк +каÑģп ийÑģк +клад ÑĭваÑİ +кол аÑĩива +ком иÑģÑģаÑĢ +кон ÑģÑĤиÑĤÑĥ +кÑĢеп лÑıÑİÑĤ +кÑĢÑĭв аÑĤел +лиз иÑĢова +лимÑĦо ÑĨиÑĤ +линей нÑĭм +ллеÑĢ ийÑģк +лÑĥÑĩ аÑĤелÑı +маÑĤоз оид +мÑĥника ÑĨи +наÑĢод нÑĭе +ндок ÑĢинн +нен авиÑģÑĤ +неÑĦÑĤег аз +ниÑĩ еÑģÑĤве +ноÑĢеÑĩ иво +обÑĢеÑĤ аÑİÑĤ +овод ÑĩеÑģк +овоÑģ пали +ож еÑģÑĤвен +олÑĮзов ан +оним аниÑı +ооÑīÑĥÑī ени +ополож ен +опоÑĢÑıд ка +опÑĢед елÑı +оÑĢож енно +оÑģ пÑĢепÑıÑĤ +оÑģÑĤаÑĤ оÑĩн +оÑĤвоÑĢ ени +оÑĩаÑģÑĤ оÑĤн +пиÑģ Ñĭваем +планк ÑĤон +под линно +пÑĢед поÑĩÑĤ +пÑĢÑĥд енÑĨи +пÑģиÑħ иаÑĤÑĢ +ÑĢаз виÑĤиÑı +ÑĢазлиÑĩ ие +ÑĢедак ÑĤоÑĢ +ÑĢежиÑģÑģ ÑijÑĢ +ÑĢеÑĨеп ÑĤоÑĢ +ÑĢождÑijн но +ÑĢоÑĤм иÑģÑĤÑĢ +ÑĢÑĥг оÑģвеÑĤ +ÑĢÑĥпп иÑĢов +Ñģлив оÑģÑĤÑĮ +Ñģмей ÑģÑĤеÑĢ +ÑģÑĤÑĢи ÑĢова +ÑĤÑĢев ожил +ÑĥÑĩ ÑĢежден +ÑĦедеÑĢ аÑĨи +ÑħÑĥдож ник +ÑĨен ноÑģÑĤи +ÑĭÑģки ваÑĤÑĮ +Ñįкв аÑĤоÑĢи +ĠAnglic an +ĠPost greS +ĠVal entin +ĠVen etian +Ġin ducted +Ġnob ility +Ġtermin us +Phil osoph +arr ington +cigaret te +develop ed +m putation +sym metric +toler ance +ĠÐIJзиаÑĤ Ñģки +ĠÐIJзиаÑĤ Ñģко +ĠÐIJлÑĮ бÑĢеÑħÑĤ +ĠÐIJÑĢÑģ енÑĮев +ĠÐIJÑĢÑħанг ел +ĠÐIJ ÑģÑĤÑĢоном +ĠÐIJÑĦан аÑģий +ĠÐIJÑħмаÑĤ ова +ĠÐIJÑįÑĢоп оÑĢÑĤ +ĠÐijоб ÑĢÑĥйÑģк +ĠÐijол еÑģлав +ĠÐijÑĢаз илиÑı +ĠÐijÑĢÑİÑģÑģ елÑĮ +ĠÐĴд обавок +ĠÐĴен геÑĢÑģк +ĠÐĴеÑĢ немÑģÑı +ĠÐĴклÑİÑĩ аеÑĤ +ĠÐĴозд ÑĥÑĪно +ĠÐĴол конÑģк +ĠÐĴÑĢанг елÑı +ĠÐĴÑģп омнил +ĠÐĴÑĭ делÑıÑİÑĤ +ĠÐĵан новеÑĢ +ĠÐĵваÑĤ емал +ĠÐĵинз бÑĥÑĢг +ĠÐĵонд ÑĥÑĢаÑģ +ĠÐĵоÑĢб аÑĩÑijв +ĠÐĵоÑĢÑĩ аков +ĠÐĶжÑĥз еппе +ĠÐĶимиÑĤ ÑĢов +ĠÐĶобав ÑĮÑĤе +ĠÐķлиÑģ авеÑĤ +ĠÐĹак азÑĩик +ĠÐĺзвеÑģÑĤ на +ĠÐĺллаÑĢ ион +ĠÐĺлли нойÑģ +ĠÐĺндон ези +ĠÐļам ÑĩаÑĤки +ĠÐļап иÑĤоли +ĠÐļаÑĢ динал +ĠÐļ аÑĤегоÑĢи +ĠÐļÑĥÑĢ ÑĩаÑĤов +ĠÐļÑįмп белл +ĠÐĽÑĥк ÑĮÑıнов +ĠÐľÐ°Ð³ еллан +ĠÐľÐ°Ð¼ онÑĤов +ĠÐľÐ°Ñħ аÑĩкал +ĠÐľÐµÐ´ ленно +ĠÐľÐµÐ»ÑĮ бÑĥÑĢн +ĠÐľÐµÐ½ еджеÑĢ +ĠÐľÐµÑĢ кÑĥÑĢиÑı +ĠÐľÐ¾Ð½ ÑĢеале +ĠÐľÐ¾Ñħам мед +ĠÐĿап ÑĢаÑģно +ĠÐĿаÑĢком аÑĤ +ĠÐĿеÑĤ ÑĢÑĥдно +ĠÐŀб наÑĢÑĥжи +ĠÐŀбол енÑģк +ĠÐŀгÑĢом ное +ĠÐŀкÑĤав иан +ĠÐŀпиÑĢа ÑıÑģÑĮ +ĠÐŀпÑĢед елÑı +ĠÐŀÑģ венÑĨим +ĠÐŀÑīÑĥÑī ение +ĠÐŁÐµÑĢ еÑĩенÑĮ +ĠÐŁÐµÑĢ Ñģонаж +ĠÐŁÐ¾Ð² олжÑĮÑı +ĠÐŁÐ¾Ð´Ð¾Ð± нÑĭм +ĠÐŁÐ¾Ð¼ оÑīник +ĠÐŁÐ¾ÑĤ емкин +ĠÐŁÐ¾Ñĩ ÑĤовÑĭй +ĠÐŁÑĢ епаÑĢаÑĤ +ĠÐŁÑĢодолж и +ĠÐŁÑĢод ÑİÑģеÑĢ +ĠÐŁÑĤол емеÑı +ĠÐłÐ°Ð±Ð¾ÑĤ ник +ĠÐłÐ¾Ð±Ð¸Ð½ Ñģон +ĠÐłÐ¾Ð´ ÑĢигеÑģ +ĠÐłÐ¾ÑĤ ÑĪилÑĮд +ĠСав елÑĮев +ĠСав Ñĩенко +ĠСдел айÑĤе +ĠСкоб елев +ĠСлов ении +ĠСпеÑĢ анÑģк +ĠСпи ÑĢидон +ĠС ÑĢажение +ĠСÑĤÑĢем ÑıÑģÑĮ +ĠСÑĥÑħ опÑĥÑĤн +ĠСÑĥÑī ноÑģÑĤÑĮ +ĠТадж икÑģк +ĠУ ÑĤвеÑĢжда +ĠФе одоÑģий +ĠФ ÑĢагменÑĤ +ĠÐ¥ÑĢиÑģÑĤ ово +ĠЦвеÑĤ аева +ĠÐŃ ÑĢенбÑĥÑĢг +ĠÐŃÑĢмиÑĤ ажа +ĠÐŃÑĦÑĦ екÑĤив +Ġави алини +ĠагÑĢеÑģÑģ иÑı +Ġам ниÑģÑĤии +ĠанноÑĤ аÑĨи +Ġаном алии +Ġап ологеÑĤ +ĠаÑĥди енÑĨи +ĠаÑĦган Ñģки +ĠаÑįÑĢ оÑģÑĤаÑĤ +Ġбаб ÑĥÑĪкой +Ġбак лажан +Ġбан комаÑĤ +Ġбез меÑĢно +ĠбеÑģп еÑĩно +ĠбеÑģп ÑĢиÑģÑĤ +ĠбеÑģÑģ ÑĢоÑĩн +ĠбеÑģÑĪ Ñĥмно +Ġблаж енно +Ġбл аженнÑĭ +Ġблиз оÑĢÑĥк +Ġблок Ñĩейн +Ġболез нÑıÑħ +ĠбÑĢиÑĤан ÑĨÑĭ +ĠбÑĢож ениÑı +ĠвеÑĢ нÑĥÑĤÑģÑı +Ġвзаим нÑĭÑħ +Ġв ложений +Ġвнеб ÑĢаÑĩн +Ġвним аниÑİ +ĠвоиÑģÑĤ инÑĥ +Ġвок алÑĮно +ĠвÑģеобÑī им +ĠвÑģÑĤÑĢеÑĤ ÑıÑĤ +ĠвÑĭна ÑĪива +ĠвÑĭÑĤеÑģ нил +ĠгаÑĢмон иÑı +ĠгенеÑĢ аÑĨи +Ġгимназ иÑı +Ġгол кипеÑĢ +Ġголод овк +ĠгÑĢÑĭз Ñĥнов +ĠгÑĥбеÑĢ ниÑİ +Ġд агеÑģÑĤан +Ġдев оÑĩкой +Ġденеж наÑı +Ġденеж нÑĭй +Ġденеж нÑĭм +ĠджÑĥн глÑıÑħ +ĠдикÑĤ овал +Ġдил еÑĤанÑĤ +ĠдиÑģ пеÑĢÑģи +ĠдополнÑı л +ĠдоÑģÑĤиж им +ĠдÑĢев еÑģно +ĠеÑģÑĤ еÑģÑĤво +Ġжал ÑĥÑİÑĤÑģÑı +Ġжела ÑİÑīий +Ġжела ÑİÑīим +Ġзаб лÑĥжда +ĠзавеÑĢÑĪ Ñijн +Ġзав оÑijван +Ġзад анном +Ġзад аннÑĭм +Ġзамед лиÑĤ +ĠзамеÑĩ аем +Ġзам оÑĢозк +Ġзап лакал +ĠзаÑħоÑĤ иÑĤе +Ġзвезд оÑĩк +Ġзнамен ем +Ġизвоз Ñĩик +Ġизоб илие +Ġизоб илии +Ġизоб илиÑı +Ġимев ÑĪего +Ġимен Ñĥемо +Ġимен ÑĥемÑĭ +ĠиммÑĥн ной +ĠинÑĤÑĥ иÑĨиÑı +ĠинÑĦек ÑĨий +ĠиÑģклÑİÑĩ Ñijн +ĠиÑģкÑĥп лен +ĠиÑģл андÑģк +ĠиÑģÑĤÑĢеб лÑı +ĠкаÑĢÑĤоÑĩ ек +ĠкаÑĢÑĤо ÑĪкÑĥ +ĠкванÑĤ ово +Ġкв иÑĤанÑĨи +ĠклеÑĤ ÑĩаÑĤк +ĠклÑİÑĩ евÑĥÑİ +ĠковаÑĢ ÑģÑĤв +Ġкож евенн +ĠколÑĭ белÑĮ +Ġкон веÑĢÑģи +ĠконеÑĩ нÑĭм +ĠконÑĦ еÑģÑģи +ĠкоÑĢнев иÑī +ĠкоÑĢÑĭ ÑģÑĤнÑĭ +ĠкоÑģ меÑĤик +ĠкÑĢаÑģ оÑĩно +ĠкÑĢ еÑīениÑı +ĠкÑĢиÑĤеÑĢ иÑı +ĠкÑĢиÑĤ иÑĩно +ĠкÑĢÑĥг озоÑĢ +ĠкÑĥ кÑĥÑĢÑĥзÑĭ +ĠкÑĥÑĢ ÑĦÑİÑĢÑģÑĤ +Ġлав ÑĢовÑĭй +Ġлад онÑıми +Ġлей коÑĨиÑĤ +ĠлеÑģ оÑģÑĤеп +ĠлеÑģÑĤ ниÑĨÑĥ +ĠлеÑĤопиÑģ н +ĠлеÑĩ ебниÑĨ +ĠлеÑĩ ебнÑĭÑħ +Ġли бÑĢеÑĤÑĤо +Ġлид иÑĢÑĥÑİÑī +Ġлиней нÑĭй +ĠлиÑĨенз ий +ĠлиÑĨен зиÑı +Ġлог аÑĢиÑĦм +Ġлог иÑģÑĤик +ĠлÑİбов нÑĭе +ĠманÑĮÑĩ жÑĥÑĢ +ĠмаÑĢ иÑħÑĥан +Ġмедвед ей +ĠмедиÑĨи нÑĥ +ĠмелÑĮ кнÑĥл +ĠмемÑĥ аÑĢов +Ġмил оÑģÑĤÑĭн +ĠмиоÑĦ аÑģÑĨи +ĠмиÑĢ олÑİби +Ġмлад енеÑĨ +ĠмолодÑijж ÑĮ +Ġмон ÑĤиÑĢов +ĠмоÑĩ евого +ĠмÑģÑĤ иÑĤелÑĮ +ĠмÑĥÑĢав ÑĮев +Ġнад гÑĢоби +Ġнаде ÑİÑĤÑģÑı +ĠнадпиÑģ ей +Ġназем нÑĭм +ĠналиÑĩ нÑĭÑħ +Ġналож ниÑĨ +Ġнап ÑĢаÑģнÑĭ +ĠнаÑĢ оÑĩиÑĤо +ĠнаÑĢ ÑĢаÑĤив +ĠнаÑģ елÑıÑİÑī +ĠнаÑĥÑĪ ники +Ġнедав нем +Ġнед оÑĢого +Ġней ÑĤÑĢино +Ġненав ижÑĥ +Ġнен ÑĥжнÑĭм +ĠнеÑĥклÑİ Ð¶Ðµ +ĠнеÑĥклÑİ Ð¶Ð¸ +ĠнеÑĥ Ñıзвим +ĠнеÑħваÑĤ ка +ĠнеÑĩаÑı нно +ĠнеÑĩеÑģÑĤ ив +Ġниз меннÑĭ +ĠноÑĩ еваÑĤÑĮ +ĠнÑĥм еÑĢаÑĨи +Ġобвин иÑĤÑĮ +Ġоблег Ñĩил +ĠоблиÑĨ овк +Ġобман Ñĩив +Ġобог ÑĢева +Ġобол оÑĩке +ĠобоÑĢон нÑĭ +ĠобÑĢам лен +Ġоб ÑģÑĤоÑıло +ĠобÑī алиÑģÑĮ +ĠобÑĭ гÑĢÑĭва +ĠоговоÑĢ ен +Ġозлоб лен +Ġопаз дÑĭва +ĠопеÑĢед ив +ĠопÑĥÑģÑĤ оÑĪа +ĠопÑĥÑħ олей +ĠоÑĢанж ево +ĠоÑģкол ков +ĠоÑģлож нен +ĠоÑģ мелива +ĠоÑģÑĤан ков +ĠоÑģÑĤ еÑĢега +ĠоÑĤзÑĭв Ñĩив +ĠоÑĤлиÑĩ нÑĥÑİ +ĠоÑĤноÑĪ ÑĥÑģÑĮ +ĠоÑĤов ÑģÑİдÑĥ +ĠоÑĤод вига +ĠоÑĤÑĢаÑģ лÑıм +ĠоÑĤÑĭ Ñģкива +ĠоÑħÑĢан ÑıеÑĤ +ĠоÑĩевид ен +Ġпак иÑģÑĤан +ĠпаÑĢ ÑĦÑİмеÑĢ +ĠпеÑĢеж иÑĤк +ĠпеÑĢем ежа +ĠпеÑĢеÑģ Ñĭлк +ĠпеÑĢеÑĪ ейк +ĠпеÑĢ ипеÑĤи +ĠпеÑĢ иÑģкоп +ĠпеÑģÑĩ аник +ĠпеÑħоÑĤ наÑı +ĠпеÑħоÑĤ нÑĭе +ĠпиÑĤом ник +ĠпиÑĤÑĮ евой +Ġплав ании +ĠплоÑīад ÑıÑħ +Ġпоб оÑĢоÑĤÑĮ +Ġпоб оÑĩнÑĭÑħ +Ġпоб ÑĭвавÑĪ +Ġповел ева +Ġпов еÑĢÑĮÑĤе +ĠповеÑģÑĤ ей +ĠповеÑģÑĤ кÑĥ +Ġпов идаÑĤÑĮ +Ġпов лиÑıеÑĤ +Ġпов ÑĢежда +Ġпогод нÑĭÑħ +ĠпогÑĥб иÑĤÑĮ +Ġподоб аеÑĤ +ĠподпиÑģ кÑĥ +ĠподполÑĮ Ñı +Ġпожел аеÑĤ +Ġпожил ого +Ġпок оиÑĤÑģÑı +Ġпол Ñĥгода +ĠполÑĥÑĩ иÑĪÑĮ +ĠполÑı ÑĢнÑĭÑħ +ĠпомеÑĪ аеÑĤ +Ġпон еволе +ĠпопÑĢоб ÑĥÑİ +ĠпопÑĥÑĤ Ñĩик +ĠпоÑĢаж аÑİÑĤ +ĠпоÑĢаз иÑĤÑĮ +ĠпоÑĢÑĤ ÑĦелÑı +ĠпоÑģлÑĥж иÑĤ +ĠпоÑĩÑijÑĤ ное +ĠпоÑĩÑijÑĤ нÑĭм +ĠпоÑįÑĤ апно +ĠпÑĢевз оÑĪл +ĠпÑĢевÑĭÑģ иÑĤ +ĠпÑĢедваÑĢ Ñı +ĠпÑĢивед ÑijÑĤ +ĠпÑĢиглаÑģ и +ĠпÑĢим еÑģей +ĠпÑĢиобÑī ен +ĠпÑĢиÑıÑĤ нее +ĠпÑĢоб Ñĥдил +ĠпÑĢов ианÑĤ +ĠпÑĢог ÑĢева +ĠпÑĢодав ÑĨÑĭ +ĠпÑĢо езжей +ĠпÑĢоиг ÑĢан +ĠпÑĢоиз вед +ĠпÑĢоÑģ лойк +ĠпÑĢо ÑħожиÑħ +ĠпÑĥбли кой +ĠÑĢаз гÑĢÑĥзк +ĠÑĢазд воен +ĠÑĢаз дÑĥмÑĮÑı +ĠÑĢаз ÑĬезжа +ĠÑĢаÑģÑģ кажи +ĠÑĢаÑģÑģлаб и +ĠÑĢаÑģÑģ Ñĥдок +ĠÑĢаÑģÑĤ ÑĥÑīей +ĠÑĢед ÑĥкÑĤоÑĢ +ĠÑĢ езиденÑĤ +ĠÑĢейÑħ ÑģÑĤаг +ĠÑĢеп ÑĢодÑĥк +ĠÑĢеÑĨен зий +ĠÑĢиÑģÑĥнк ом +ĠÑĢовеÑģ ник +ĠÑĢÑĭно ÑĩнÑĭÑħ +ĠÑĢÑĭÑĨаÑĢ Ñģки +ĠÑģам одеÑĢж +ĠÑģв еÑĩение +ĠÑģдел аеÑĪÑĮ +ĠÑģимпаÑĤ иÑİ +ĠÑģк амейке +ĠÑģкаÑĦ андÑĢ +ĠÑģкÑĢÑĭ лиÑģÑĮ +ĠÑģмеÑĤ аной +ĠÑģмоÑĤÑĢи ÑĪÑĮ +ĠÑģнег опад +ĠÑģоб лÑİден +ĠÑģовеÑĢÑĪ иÑĤ +ĠÑģоглаÑģ на +ĠÑģозд адим +ĠÑģол оменн +ĠÑģооÑĢ Ñĥдил +ĠÑģопеÑĢ ниÑĨ +ĠÑģоÑģлов ий +ĠÑģпеÑĨ наза +ĠÑģÑĢед изем +ĠÑģÑĤеÑĢж енÑĮ +ĠÑģÑĤиÑĢ алÑĮн +ĠÑģÑĤÑĢелÑı еÑĤ +ĠÑģÑĤÑĥп енÑıм +ĠÑģÑĥд оÑħодн +ĠÑģÑĥмеÑĢ каÑħ +ĠÑģÑĥммаÑĢ нÑĭ +ĠÑģÑĬед обнÑĭ +ĠÑĤаб леÑĤок +ĠÑĤаблиÑĩ ка +ĠÑĤаблиÑĩ ки +ĠÑĤали Ñģман +ĠÑĤелеÑģ нÑĭÑħ +ĠÑĤип иÑĩнÑĭÑħ +ĠÑĤиÑħ онÑĮко +ĠÑĤÑĢаг едий +ĠÑĤÑĢалÑĮ Ñīик +ĠÑĤÑĢам плин +ĠÑĤÑĢÑĥд оемк +ĠÑĤÑĥÑĢеÑĨ кие +ĠÑĤÑıжÑijл ого +ĠÑĥгÑĢож аÑĤÑĮ +ĠÑĥмиÑĢа ÑİÑīе +ĠÑĥпаков ке +ĠÑĥп одоблÑı +ĠÑĥпÑĢоÑī аеÑĤ +ĠÑĥÑģпеÑĪ нÑĥÑİ +ĠÑĥÑģпоко иÑĤ +ĠÑĥÑĤÑĢен ней +ĠÑĥÑĩа ÑģÑĤвÑĥÑı +ĠÑĥÑĩаÑģÑĤ ком +ĠÑĥÑĩÑĢежд Ñijн +ĠÑĦабÑĢи Ñĩно +ĠÑĦили ппин +ĠÑĦлоÑĤ илиÑı +ĠÑĨиÑĢ кÑĥлÑıÑĢ +ĠÑĩеÑĤвеÑĢ ÑĭÑħ +ĠÑĪаÑĢ лаÑĤан +ĠÑįлекÑĤ ÑĢоп +ĠÑįпил епÑģи +ÐijаÑĢÑģ елонÑĭ +ÐijеÑģкон еÑĩн +ÐĴаÑĪ ингÑĤон +ÐĴикипед иÑı +ÐĴÑģем иÑĢнаÑı +ÐķвÑĢаз ийÑģк +ÐĺнгÑĥÑĪ еÑĤии +ÐĺниÑĨи аÑĤив +ÐŀÑģÑĤоÑĢож но +ÐŁÐķТÐķÐł ÐijÐ£ÐłÐĵ +ÐŁÐ¾Ñģлед ний +ÐłÐ¾ÑģкоÑģ моÑģ +СибиÑĢ Ñģкий +С оÑĨиалиÑģÑĤ +СÑĤÑĢаÑĤег иÑı +СÑĤÑĢо иÑĤелÑĮ +УпÑĢавлÑı ÑİÑī +ФеÑģÑĤ ивалÑĮ +Ч ÑĢезвÑĭÑĩай +ЮгоÑģлав иÑı +ализ оваÑĤÑĮ +анал иÑĤиÑĩе +бÑĢон еÑĤÑĢан +возвÑĢаÑĤ но +воздÑĥÑĪ нÑĥÑİ +диÑģÑĨип лин +днеп ÑĢовÑģк +доволÑĮ ÑģÑĤв +домин икан +дÑĥÑĨи ÑĢован +езжал оÑģÑĤн +еÑģÑĤвен наÑı +завиÑģ имÑĭÑħ +за инÑĤеÑĢеÑģ +злÑİб ленно +извод ÑģÑĤва +изиÑĢован н +инам иÑĩеÑģк +иненÑĤ алÑĮн +инÑĤеÑĢ ÑĦейÑģ +инÑĦоÑĢм аÑĨи +иÑĢовав ÑĪие +иÑģпÑĥÑģк ани +иÑĤелÑĮ ÑģÑĤвÑĥ +кон ÑģÑĤÑĢÑĥкÑĤ +кÑĢÑĭвал аÑģÑĮ +лаÑĤеÑĢ алÑĮн +меÑģÑıÑĩ ного +наÑģел Ñijнно +ноÑĢм андÑģк +нÑĥкле оÑĤид +ован ноÑģÑĤÑĮ +озаÑīиÑĤ ник +окÑĢÑĥж ение +онÑģал ÑĤинг +онÑĤÑĢ оллеÑĢ +онÑĦ иденÑĨи +оÑĢан жевÑĭй +оÑģкоÑĢ оÑģÑĤн +оÑģнов анно +оÑħ аÑĢакÑĤеÑĢ +подполÑĮ нÑĭ +подÑĢоб нее +позвоно Ñĩн +пол иÑĤеÑħни +п оминаний +попеÑĩ иÑĤел +пÑĢ иÑģÑĥÑĤÑģÑĤв +пÑĢоиз ноÑģи +пÑĢоп аганд +ÑĢ ождаеÑĤÑģÑı +ÑĢоÑĤеÑħ ниÑĩе +Ñģлед ÑĥÑİÑīаÑı +ÑģÑĤавлÑı еÑĪÑĮ +ÑģÑĤавлÑı йÑĤе +ÑģÑĤоÑĢон нÑıÑı +ÑģÑĤÑĥп авÑĪиÑħ +ÑĤоÑĢоп илÑģÑı +ÑĤÑĢин адÑĨаÑĤ +Ñĥм ÑĥлÑıÑĤивн +ÑĦоÑĢм алÑĮно +ÑħваÑĤ ÑĭваÑĤÑĮ +ÑĨионалÑĮ на +ÑįлекÑĤÑĢон н +ĠArt illery +Ġcont amina +Ġdisb anded +Ġguerr illa +Ġillumin at +Ġpsychiat r +Ġundert ook +Lith uanian +song writer +ĠÐIJвÑģÑĤÑĢа лиÑİ +ĠÐIJгенÑĤ ÑģÑĤво +ĠÐIJнÑĤ веÑĢпен +ĠÐIJÑĢеÑģÑĤ ован +ĠÐIJÑĢм ÑģÑĤÑĢонг +ĠÐIJÑģÑģ амблеи +ĠÐIJÑĤлан ÑĤики +ĠÐijанг ладеÑĪ +ĠÐijаÑĢ Ñģелоне +ĠÐijендж амин +ĠÐĴÐIJШÐĺÐĿ ÐĵТÐŀÐĿ +ĠÐĴаÑĢ ÑĦоломе +ĠÐĴконÑĤ акÑĤе +ĠÐĴолÑĮÑĦ ганг +ĠÐĴоÑģÑģÑĤ ание +ĠÐĴоÑģÑĤоÑĩ нÑĥÑİ +ĠÐĴÑģемиÑĢ нÑĭй +ĠÐĴÑĭÑģоÑĩ айÑĪе +ĠÐĵваÑĢд ейÑģк +ĠÐĵен пÑĢокÑĥÑĢ +ĠÐĵол ландÑģк +ĠÐĶжен ниÑĦеÑĢ +ĠÐķвÑĤÑĥ ÑĪенко +ĠÐķмелÑĮ Ñıнов +ĠÐļаб аÑĢдино +ĠÐļаг ановиÑĩ +ĠÐļаÑĢам азов +ĠÐļаÑĢÑĤо ÑĦелÑĮ +ĠÐļаÑĤ алонии +ĠÐļеÑĢ ÑĩенÑģко +ĠÐļом паÑĢÑĤии +ĠÐļомпоз иÑĨи +ĠÐļоÑĢол енко +ĠÐļÑĢоп оÑĤкин +ĠÐļÑĥдÑĢÑı вÑĨев +ĠÐĽ иÑĤеÑĢаÑĤÑĥÑĢ +ĠÐľÐ°ÑĢгаÑĢ иÑĤÑĭ +ĠÐľÐ°ÑĤви енко +ĠÐľÐ¸ÑģÑģ иÑģипи +ĠÐĿавеÑĢ нÑıка +ĠÐĿаиб олÑĮÑĪи +ĠÐĿедоÑģÑĤаÑĤ к +ĠÐĿекоÑĤоÑĢ Ñĭм +ĠÐĿем иÑĢовиÑĩ +ĠÐŀб наÑĢÑĥжен +ĠÐŀдеÑģ Ñģкого +ĠÐŁÐ¾Ð»ÑĮзÑĥ ÑıÑģÑĮ +ĠÐŁ онимание +ĠÐŁÐ¾Ð¿ÑĢоб Ñĥем +ĠÐŁÑĢе облада +ĠÐŁÑĢив олжÑģк +ĠÐŁÑĢоиз оÑĪло +ĠÐŁÑıÑĤи гоÑĢÑģк +ĠÐłÐ°ÑģÑģ моÑĤÑĢе +ĠÐłÐµÐ¼ бÑĢандÑĤ +ĠÐłÐ¾Ð± еÑģпÑĮеÑĢ +ĠÐłÐ¾Ð· енбеÑĢг +ĠÐłÐ¾Ðº ÑĦеллеÑĢ +ĠÐłÐ¾ÑĤ ÑĤеÑĢдам +ĠÐłÑĥковод ил +ĠСвÑıÑĤ ополк +ĠСвÑıÑīен ник +ĠСилÑĮ веÑģÑĤÑĢ +ĠСлÑĥÑĩ илоÑģÑĮ +ĠСов наÑĢком +ĠСообÑī ение +ĠСоÑĤÑĢÑĥд ник +ĠСоÑĨи алÑĮно +ĠСоÑĩин ениÑı +ĠСÑĢавн ение +ĠСÑĤÑĢаÑģ бÑĥÑĢг +ĠСÑĤÑĢог анов +ĠСÑĩиÑĤ алоÑģÑĮ +ĠТеÑĢÑĢиÑĤоÑĢ и +ĠТим иÑĢÑıзев +ĠТиÑħом иÑĢов +ĠТÑİмен Ñģкой +ĠФак ÑĥлÑĮÑĤеÑĤ +ĠФеÑĢн андеÑģ +ĠФиз иÑĩеÑģки +ĠФинлÑıнд иÑİ +ĠФинлÑıнд Ñģк +ĠФоÑĢм алÑĮно +ĠХайд еггеÑĢ +ĠÐ¥ÑĢиÑģÑĤ оÑĦоÑĢ +ĠЦвеÑĤ аевой +ĠЧем беÑĢлен +ĠЧеÑĤ веÑĢÑĤÑĭй +ĠЧ ÑĢезвÑĭÑĩай +ĠÐŃкÑģп едиÑĨи +ĠамбÑĥл аÑĤоÑĢ +ĠанÑĤив иÑĢÑĥÑģ +ĠанÑĤи Ñĩного +ĠаÑĢанж иÑĢов +ĠаÑĢмей Ñģкие +ĠаÑĢÑĮ еÑĢгаÑĢд +ĠаÑģÑģ амблеи +ĠбезÑĭÑģ Ñħодн +Ġбел оÑģнежн +ĠбеÑĢем енна +ĠбеÑģп лодно +ĠбеÑģÑģ илÑĮнÑĭ +ĠбеÑģÑģпоÑĢ нÑĭ +ĠбеÑģ ÑĨвеÑĤнÑĭ +ĠблагодаÑĢ Ñİ +ĠблеÑģÑĤ ÑıÑīиÑħ +ĠбÑĢиÑĤан ÑĨев +ĠбÑĥд илÑĮник +ĠбÑİл леÑĤене +Ġваж нейÑĪей +Ġваж нейÑĪий +ĠвеÑĢ ований +ĠвеÑĢо ÑĥÑĩени +ĠвеÑĢÑħов ÑĮÑıÑħ +ĠвзÑĭÑģк аниÑı +Ġвидеок лип +ĠвиÑĢÑĤÑĥ озно +ĠвлаÑģÑĤ елин +ĠвмеÑĪ аÑĤÑĮÑģÑı +Ġвод иÑĤелем +Ġвоен комаÑĤ +ĠвозбÑĥд иÑĤÑĮ +ĠвоздÑĥÑĪ наÑı +ĠвоззÑĢ ений +Ġвозмож нÑĥÑİ +Ġволог одÑģк +ĠволÑĪеб ÑģÑĤв +ĠвоÑģкÑĢ еÑĪен +ĠвоÑģп олÑĮзÑĥ +ĠвоÑģÑĤоÑĩ нÑĥÑİ +ĠвÑĢажеÑģ кий +ĠвÑĢажеÑģ ким +ĠвÑĤоÑĢ оÑģÑĤеп +ĠвÑĭздоÑĢов е +Ġгип еÑĢÑĤони +Ġглав енÑģÑĤв +Ġгодов ÑīинÑĥ +ĠгÑĢом оздки +ĠдвÑĥÑħ меÑģÑĤн +Ġделег аÑĨиÑİ +ĠдемоÑĢ ализ +ĠдепÑĢеÑģÑģ иÑİ +Ġдиаг онали +Ġдиаг оналÑĮ +ĠдовеÑĢ Ñĩиво +ĠдополнÑı ÑİÑĤ +ĠдоÑĢ абоÑĤки +Ġдо ÑĪколÑĮно +Ġежегод нÑĭй +Ġжел аÑĤелÑĮн +Ġжел ÑĤоваÑĤо +ĠжеÑģÑĤ оÑĩайÑĪ +Ġжидк оÑģÑĤей +ĠжиÑĤелÑĮ ниÑĨ +ĠзавеÑĢÑĪ аÑİÑī +Ġзав ладеÑĤÑĮ +ĠзагоÑĢ елÑģÑı +Ġзаг оÑĤовки +Ġзажиг аниÑı +ĠзажиÑĤ оÑĩнÑĭ +Ġзалож ника +Ġзалож ники +ĠзаÑģед аÑĤел +ĠзаÑģÑĤÑĢ елен +ĠзаÑĤ ÑĢаÑĩива +Ġзл ополÑĥÑĩн +Ġзод ÑĩеÑģÑĤва +ĠиеÑĢом онаÑħ +ĠизмеÑĢ ении +ĠизÑĥÑĢод ова +ĠизÑıÑī еÑģÑĤво +Ġико ноÑģÑĤаÑģ +ĠинÑĤона ÑĨии +ĠинÑĤона ÑĨиÑı +ĠиÑģкÑĢен ним +ĠиÑģпан Ñģкие +ĠиÑģпÑĭÑĤ ÑĭваÑı +ĠиÑģÑĨел ениÑı +ĠкаÑĤап ÑĥлÑĮÑĤ +Ġколлек ÑĨий +Ġкоманд аÑĢм +ĠконÑĦеÑĢен ÑĨ +ĠконÑĩ илиÑģÑĮ +ĠконÑĮ кобеж +ĠкоÑĢолев ой +ĠкоÑĢон ован +ĠкоÑĢÑĢ еÑģпон +ĠкоÑģ веннÑĭм +ĠкÑĢиÑĤеÑĢи ем +Ġлакон иÑĩно +Ġлег комÑĭÑģл +ĠлеÑĤопиÑģ еÑĨ +ĠлеÑĤопиÑģ ÑıÑħ +ĠлÑİб иÑĤелÑıм +ĠмалÑĮÑĩиÑĪ ки +Ġмгнов ений +ĠмилиÑĨ ейÑģк +ĠмиÑģÑĤ иÑĨизм +Ġмног одеÑĤн +Ġмног ознаÑĩ +Ġмог илÑĮник +ĠмоллÑİ Ñģков +Ġмолод енÑĮк +ĠмонаÑģÑĤÑĭ ÑĢÑİ +ĠмоноÑĤ онно +ĠмоÑģкв иÑĩей +Ġнав еÑģÑĤиÑĤÑĮ +Ġнаг ÑĢоможд +ĠнадпиÑģ Ñıми +Ġнаказ аниÑİ +Ġнак ладÑĭва +ĠналиÑĩ нÑĭми +ĠнаÑģ илÑĮник +ĠнаÑģлажд ен +Ġна ÑģÑĤÑĢойке +ĠневÑĭ годно +ĠнедовеÑĢ иÑı +ĠнезамеÑĤ нÑĭ +Ġнеоб иÑĤаем +ĠнеоÑĤ делим +Ġнеп омеÑĢно +ĠнеÑĢаз Ñĥмно +Ġне ÑģовмеÑģÑĤ +ĠнеÑĥд оволÑĮ +ĠнÑĢав илаÑģÑĮ +ĠобаÑı ÑĤелÑĮн +Ġоблад ание +ĠоблаÑģÑĤ ном +Ġоблиг аÑĨии +Ġобнов лÑıÑĤÑĮ +Ġобол оÑĩкой +ĠобÑĥÑģлов ил +ĠобÑīеж иÑĤие +ĠобÑīежиÑĤ ии +ĠобÑī иÑĤелÑĮн +Ġовлад ениÑı +Ġодев аÑĤÑĮÑģÑı +Ġодн оÑĤипнÑĭ +ĠокиÑģ лениÑı +Ġолед енени +ĠопÑĢок инÑĥл +ĠопÑĢок инÑĥÑĤ +ĠоÑĢгани Ñĩно +ĠоÑģва иваÑĤÑĮ +ĠоÑģмÑĭÑģл иÑĤÑĮ +ĠоÑģÑĤ алÑĮнаÑı +ĠоÑģÑĤанов кÑĥ +ĠоÑĤеÑĩ еÑģÑĤво +ĠоÑĤк ажеÑĤÑģÑı +ĠоÑĤ ложений +ĠоÑĤобÑĢаж ен +ĠоÑĤ ÑĢабоÑĤки +ĠоÑĤÑģÑĤÑĢ анил +ĠоÑħоÑĤ иÑĤÑĮÑģÑı +ĠоÑĩеÑĢед нÑĭе +ĠоÑĩеÑĢед нÑĭм +ĠпаÑĢиж ÑģкиÑħ +ĠпаÑĢиж Ñģкой +ĠпеÑĢв енÑģÑĤв +ĠпеÑĢв иÑĩнÑĭе +ĠпеÑĢг аменÑĤ +ĠпеÑĢек лика +ĠпеÑĢе одева +ĠпеÑĢе оÑĨенк +ĠпеÑģÑģим изм +ĠплоÑīад кой +ĠповÑĢежд Ñijн +ĠповÑģÑĤан ÑĨÑĭ +ĠпогаÑĪ ениÑı +Ġпог оловно +Ġподвиж ной +Ġпод елаеÑĪÑĮ +Ġподзем нÑĭй +Ġподлин наÑı +Ġподлин нÑĭÑħ +Ġпод ÑģÑĤÑĢека +Ġпозвол ено +ĠпозволÑı вÑĪ +Ġпозд оÑĢова +Ġпокол ении +ĠполоÑĤни Ñīа +ĠполоÑĤни Ñīе +ĠпопÑĥлÑı ÑĨиÑı +ĠпоÑĢад овал +ĠпоÑĢож даÑİÑĤ +ĠпоÑĢÑĤ аÑĤивн +ĠпоÑģеÑī ении +ĠпоÑĩÑijÑĤ ного +ĠпоÑıÑģ нениÑı +ĠпÑĢав едник +ĠпÑĢевз ойÑĤи +ĠпÑĢед взÑıÑĤо +ĠпÑĢедлож иÑĤ +ĠпÑĢедпоÑĩ ли +ĠпÑĢекÑĢаÑģ на +ĠпÑĢе обÑĢажа +ĠпÑĢеобÑĢаз и +ĠпÑĢеÑģ виÑĤеÑĢ +ĠпÑĢеÑĤен зиÑı +ĠпÑĢибÑĭв ÑĪиÑħ +ĠпÑĢи гÑĢозил +ĠпÑĢипод нÑıл +ĠпÑĢиÑģво иÑĤÑĮ +ĠпÑĢиÑĪелÑĮ ÑĨа +ĠпÑĢо анализ +ĠпÑĢоб ÑĥдиÑĤÑĮ +ĠпÑĢовод ивÑĪ +ĠпÑĢог Ñĥлива +ĠпÑĢодав ÑĨов +ĠпÑĢодав ÑĨом +ĠпÑĢод лиÑĤÑģÑı +ĠпÑĢоÑĤек аÑİÑĤ +ĠпÑĢоÑĨвеÑĤ ал +ĠпÑĢоÑıÑģ ниÑĤÑĮ +ĠпÑĥблиÑĩ нÑĭм +ĠÑĢади оволн +ĠÑĢазв ÑijÑĢнÑĥÑĤ +ĠÑĢаÑģкоп каÑħ +ĠÑĢаÑģÑĤ Ñıжени +ĠÑĢев маÑĤизм +ĠÑĢезолÑİ ÑĨиÑı +ĠÑĢел акÑģаÑĨи +ĠÑĢиÑģ ованиÑı +ĠÑĢоз ниÑĩной +ĠÑĢÑĥкопиÑģ нÑĭ +ĠÑģакÑĢ алÑĮно +ĠÑģам олÑİбие +ĠÑģамо ÑĥпÑĢав +ĠÑģамо Ñħодно +ĠÑģаÑĥнд ÑĤÑĢек +ĠÑģбÑĢаÑģ Ñĭвал +ĠÑģекÑĢеÑĤаÑĢ ÑĪ +ĠÑģекÑĢеÑĤаÑĢ Ñİ +ĠÑģелÑĮ деÑĢеÑı +ĠÑģенÑĤ именÑĤ +ĠÑģеÑĢд еÑĩник +ĠÑģибиÑĢ ÑģкиÑħ +ĠÑģиÑĢий Ñģкой +ĠÑģкоÑĢ оÑģÑĤÑıÑħ +ĠÑģлÑĥж аÑīего +ĠÑģлÑĥжеб нÑĭе +ĠÑģлÑĥÑĩ алиÑģÑĮ +ĠÑģмеÑĪ аннÑĭм +ĠÑģовпад аÑİÑī +ĠÑģозвезд ие +ĠÑģозвезд иÑı +ĠÑģо обÑĢазил +ĠÑģооÑĤ неÑģен +ĠÑģоÑģÑĤоÑı Ñīим +ĠÑģоÑģÑĤоÑı ÑīиÑħ +ĠÑģоÑĩин иÑĤел +ĠÑģпек ÑĥлÑıнÑĤ +ĠÑģпеÑĨиÑĦ ики +ĠÑģпокой нее +ĠÑģÑĤаÑĢ аемÑģÑı +ĠÑģÑĤаÑĢин ной +ĠÑģÑĤаÑĢин нÑĭй +ĠÑģÑĥд оÑĢожно +ĠÑģÑĥÑī ноÑģÑĤей +ĠÑģÑĦоÑĤ огÑĢаÑĦ +ĠÑĤеÑĢм омеÑĤÑĢ +ĠÑĤолеÑĢ анÑĤн +ĠÑĤÑĢакÑĤов ка +ĠÑĤÑĢакÑĤов ке +ĠÑĤÑĢанÑģли ÑĢÑĥ +ĠÑĤÑĢанÑģ ÑĨенд +ĠÑĤÑĢеб овавÑĪ +ĠÑĤÑĢеб ÑĥÑİÑīие +ĠÑĤÑĢидÑĨ аÑĤÑĭÑħ +ĠÑĥбед иÑĤеÑģÑĮ +ĠÑĥваж аемÑĭй +ĠÑĥведом лен +ĠÑĥвеков еÑĩи +ĠÑĥголов нÑĭе +ĠÑĥдобÑĢ ениÑı +ĠÑĥказ аÑĤелÑı +ĠÑĥни ÑĦикаÑĨи +ĠÑĥÑĤонÑĩ енно +ĠÑĥÑħÑĥд ÑĪениÑı +ĠÑĦейеÑĢ веÑĢк +ĠÑĦеÑħ ÑĤовани +ĠÑĦинанÑģ иÑģÑĤ +ĠÑĩеÑĤвеÑĢ ÑĤое +ĠÑĩиÑĤ аÑĤелем +ĠÑĩÑĥвÑģÑĤвÑĥ ем +ĠÑĪеÑĢо ÑħоваÑĤ +ĠÑĪÑĤÑĥк аÑĤÑĥÑĢк +ĠÑįкÑģÑĤÑĢ еннÑĭ +ĠÑįлеганÑĤ нÑĭ +ĠÑįÑĢÑĨ геÑĢÑĨог +ĠÑįÑģкад ÑĢенн +ĠÑıзÑĭ ÑĩеÑģкиÑħ +ĠÑıзÑĭÑĩ ников +ĠÑıйÑĨек леÑĤк +ÐĺÑģÑĤÑĢеб иÑĤел +ÐľÐ¾Ñģков Ñģкие +ÐŁÑĢак ÑĤиÑĩеÑģк +ÐłÑĥковод ÑģÑĤв +ЧÑĢезвÑĭÑĩай н +авÑģÑĤÑĢий Ñģко +ализ иÑĢован +валив аеÑĤÑģÑı +гемог лобин +гноÑģÑĤ иÑĩеÑģк +гÑĢеÑģÑģ ивнÑĭй +живоÑĤ новод +заповед ник +запÑĢ огÑĢамм +коÑĢиÑĩнев Ñĭм +меÑĤод иÑĩеÑģк +моÑĤÑĢ иÑĤелÑĮн +нодоÑĢож наÑı +об ÑģÑĤоÑıÑĤелÑĮ +оваÑĤелÑĮ нÑĭм +овозд ÑĥÑĪной +оÑĤвеÑĤ ÑģÑĤвен +пек ÑĥлÑıÑĤивн +пеÑĢ ÑģпекÑĤив +подполÑĮ Ñīик +поÑģад оÑĩной +пÑĢаÑĢод иÑĤел +пÑĢоз ÑĢаÑĩнÑĭм +пÑĢоиз веден +ÑĢаÑģ ноÑĢеÑĩив +ÑĢепÑĢеÑģÑģ ивн +Ñģоб ÑģÑĤвенно +ÑģÑĤим ÑĥлÑıÑĤоÑĢ +ÑģÑĤÑĥп енÑĩаÑĤо +ÑĦÑĢанÑĨ иÑģкан +ÑĪеÑģÑĤ надÑĨаÑĤ +ĠMetac ritic +Ġinterrog at +Ġprecip itat +Ġreleg ation +dimension al +threat ening +ĠÐIJÑĢÑħиÑĤ екÑĤоÑĢ +ĠÐijелоÑĢÑĥÑģ ÑģиÑı +ĠÐijонд аÑĢенко +ĠÐĴнÑĥÑĤÑĢен нÑıÑı +ĠÐĴооÑĢÑĥж ение +ĠÐĴÑģеÑģоÑİз ной +ĠÐĵаÑĢ ваÑĢдÑģко +ĠÐĵоÑĢÑĮ ковÑģко +ĠÐĵÑĢаждан Ñģки +ĠÐĵÑĢаждан Ñģко +ĠÐĵÑĢен ландии +ĠÐĶалÑĮ нейÑĪие +ĠÐĶейÑģÑĤв ÑĥÑİÑīи +ĠÐĶже ÑĦÑĦеÑĢÑģон +ĠÐĸел аÑĤелÑĮно +ĠÐĹакавказ Ñģк +ĠÐĺноÑģÑĤÑĢ аннÑĭ +ĠÐĺÑģполÑĮз ÑĥÑİÑĤ +ĠÐĺÑĤалÑĮÑıн Ñģко +ĠÐļондÑĢ аÑĤÑĮев +ĠÐļоÑģм иÑĩеÑģки +ĠÐĽÐ°Ð²ÑĢ енÑĤÑĮев +ĠÐĽÐ°ÑĤв ийÑģкой +ĠÐľÐ°ÐºÐ´ оналÑĮд +ĠÐľÐ¸ÑĤ ÑĢополиÑĤ +ĠÐľÐ¾Ð½ÑĤ гомеÑĢи +ĠÐľÐ¾Ñģков ÑģкÑĥÑİ +ĠÐĿедоÑģÑĤаÑĤ ок +ĠÐŀказ авÑĪиÑģÑĮ +ĠÐŀÑģ ÑĥÑīеÑģÑĤвлÑı +ĠÐŀÑĤеÑĩ еÑģÑĤвом +ĠÐŁÐµÐ» опоннеÑģ +ĠÐŁÐµÑĢег овоÑĢÑĭ +ĠÐŁÐ¾ÐºÐ°Ð· аÑĤелÑĮ +ĠÐŁÐ¾ÑıвлÑı еÑĤÑģÑı +ĠÐŁÑĢавоÑģлав и +ĠÐŁÑĢоиÑģ Ñħодил +ĠÐŁÑĢок ÑĥÑĢаÑĤÑĥÑĢ +ĠÐłÐ°Ð· ÑĢабоÑĤан +ĠÐłÐ°Ñħ манинов +ĠÐłÐµÐ³ ионалÑĮн +ĠÐłÐµÑģпÑĥбли кÑĥ +ĠÐłÐ¾ÐºÐ¾ÑģÑģ овÑģк +ĠÐłÑĥбин ÑĪÑĤейн +ĠСаак аÑĪвили +ĠСообÑī аеÑĤÑģÑı +ĠСпеÑĨи алÑĮнÑĭ +ĠСÑĤоÑĢон ники +ĠСÑĥпеÑĢ кÑĥбка +ĠУвели Ñĩение +ĠФоÑĤ огÑĢаÑĦии +ĠФÑĥнкÑĨи онал +ĠЦенÑĤ ÑĢобанк +ĠЧÑĥд оÑĤвоÑĢÑĨа +Ġагл омеÑĢаÑĨи +ĠакÑĤив изиÑĢÑĥ +ĠакÑĨионеÑĢ нÑĭ +ĠамоÑĢ ÑĤизаÑĨи +Ġанглий ÑģкÑĥÑİ +ĠаÑģÑĤÑĢо ÑĦизик +ĠаÑĤÑĤÑĢак ÑĨион +ĠбаÑĢабан Ñīик +Ġбез забоÑĤно +Ġбез заÑīиÑĤнÑĭ +ĠбезмÑıÑĤ ежно +Ġбез ÑĥÑģловнÑĭ +ĠбезÑĥ ÑģпеÑĪнÑĭ +ĠбеллеÑĤ ÑĢиÑģÑĤ +ĠбеÑģплаÑĤ нÑĭе +ĠбеÑģплаÑĤ нÑĭÑħ +ĠбеÑģпокой но +ĠбеÑģпокой нÑĭ +Ġблок иÑĢовка +Ġбод ÑĢÑģÑĤвова +ĠбÑĢиÑĤан Ñģкое +ĠвдоÑħнов лен +ĠвелиÑĩай ÑĪей +ĠвенгеÑĢ Ñģкий +Ġвиде оÑĢолик +Ġвиол онÑĩели +ĠвклÑİÑĩ аÑİÑīаÑı +Ġвне оÑĩеÑĢедн +ĠводоÑĢ аздел +ĠвозÑĢаж ение +ĠвÑĢажд ебнÑĭÑħ +ĠвÑĢед оноÑģнÑĭ +ĠвÑģÑĤÑĢ евожен +ĠвÑĭдеÑĢж ивал +ĠвÑĭÑĢаÑī иваÑĤÑĮ +ĠвÑĭÑĢаÑī иваÑİÑĤ +ĠвÑĭÑģвоб ожда +Ġглоб алÑĮнÑĭе +Ġглоб алÑĮнÑĭй +ĠдалÑĮней ÑĪаÑı +ĠдалÑĮней ÑĪий +ĠдалÑĮней ÑĪим +Ġдвиж ÑĥÑīиÑħÑģÑı +ĠдеклаÑĢ аÑĨиÑı +Ġделег иÑĢова +ĠдеÑĢевÑıн нÑĥÑİ +ĠдеÑĤ ализаÑĨи +Ġдл иÑĤелÑĮнÑĭм +Ġдоб леÑģÑĤнÑĭй +Ġдожд авÑĪиÑģÑĮ +Ġдомин иÑĢÑĥеÑĤ +ĠдÑĢев ноÑģÑĤей +ĠегипеÑĤ Ñģкие +Ġжал овалиÑģÑĮ +ĠзавоÑĢ ажива +Ġзаголов ком +ĠзагÑĢад иÑĤел +Ġзап одозÑĢил +Ġзап олÑĥÑĩиÑĤÑĮ +Ġзем новоднÑĭ +ĠизвеÑĢж ениÑı +ĠизвеÑģÑĤ нÑıка +Ġикон огÑĢаÑĦи +ĠиноÑģÑĤÑĢан ÑĨÑĭ +ĠинÑģÑĤ аллÑıÑĨи +ĠиÑĢÑĢа ÑĨионал +ĠиÑģкоп аемÑĭе +ĠиÑģпÑĭÑĤ Ñĭваем +ĠказаÑĩ еÑģÑĤва +Ġканон иÑĩеÑģк +ĠкапиÑĤÑĥ лÑıÑĨи +ĠкаÑģÑģ аÑĨионн +ĠколоколÑĮ ни +ĠколоколÑĮ нÑı +Ġкомбина ÑĨий +Ġкомбина ÑĨиÑİ +Ġкомп илÑıÑĨии +ĠконÑĨенÑĤ ÑĢаÑĤ +ĠконÑĨеп ÑĨией +ĠконÑĨлаг еÑĢе +ĠконÑĨлаг еÑĢÑı +ĠкоÑĢÑĢÑĥп ÑĨией +ĠкоÑĩев ников +ĠкÑĢÑĥг овоÑĢоÑĤ +ĠкÑĢÑĥпней ÑĪаÑı +ĠкÑĥлÑĮÑĤив иÑĢÑĥ +Ġлег ализаÑĨи +Ġликвид аÑĨиÑİ +Ġликвид аÑĨиÑı +ĠлоÑıлÑĮ ноÑģÑĤи +ĠлоÑıлÑĮ ноÑģÑĤÑĮ +ĠлÑİбопÑĭÑĤ нÑĭй +ĠмаÑĢкеÑĤ олог +Ġмен ÑģÑĤÑĢÑĥаÑĨи +ĠмеÑģÑģ енджеÑĢ +ĠмеÑĤ аболизм +ĠмеÑĤ амоÑĢÑĦоз +Ġмилли аÑĢдеÑĢ +Ġмил оÑģеÑĢдие +ĠмолодÑijж ном +ĠмолодÑijж нÑĥÑİ +Ġмон огÑĢаÑĦиÑı +ĠмоÑģков Ñģкое +ĠмÑĥÑĢав ейник +ĠнаблÑİд ении +ĠнаблÑİд ениÑİ +ĠнаиболÑĮÑĪ аÑı +ĠнаиболÑĮÑĪ им +ĠнаиболÑĮÑĪ ÑĥÑİ +Ġнап оминавÑĪ +Ġнап оÑģледок +ĠнаÑģеком Ñĭми +ĠнаÑģел еннÑĭе +ĠнаÑģлед овал +ĠнаÑħод иÑĤеÑģÑĮ +Ġнед оÑģÑĤижим +Ġнезакон нÑĭÑħ +Ġнезнаком Ñĭм +Ġнезнаком ÑĭÑħ +ĠнеизвеÑģÑĤ ен +Ġнеиз меÑĢимо +ĠнеобÑĢаÑĤ имо +ĠнеобÑĢаÑĤ имÑĭ +ĠнеобÑĭÑĩай нÑĭ +Ġнеодин аков +ĠнепÑĢев зойд +ĠнепÑĢек лонн +ĠнепÑĢиг однÑĭ +ĠнеÑĢаз беÑĢиÑħ +ĠнеÑĥз наваем +ĠнеÑĦÑĤег азов +ĠниÑĩÑĤож еÑģÑĤв +ĠноÑĢм алÑĮнÑĥÑİ +ĠноÑĤаÑĢи алÑĮн +ĠобознаÑĩ аÑİÑī +ĠобÑģÑĥжд ений +ĠобÑģÑĥжд ениÑİ +ĠобÑĬедин ÑıÑĤÑĮ +ĠожеÑģÑĤоÑĩ Ñijнн +Ġозаг лавлен +ĠоккÑĥп анÑĤов +Ġопла Ñĩиваем +Ġопла ÑĩиваеÑĤ +Ġоппоз иÑĨией +ĠопÑĢок идÑĭва +ĠоÑĢиенÑĤ аÑĨиÑİ +ĠоÑģ видеÑĤелÑĮ +ĠоÑĤÑĢедак ÑĤиÑĢ +ĠоÑĤÑģÑĤав ание +Ġпап оÑĢоÑĤник +ĠпеÑĢв озданн +ĠпеÑĢедел Ñĭва +ĠпеÑĢеж иваем +ĠпеÑĢек ладин +ĠпеÑħоÑĤ инÑĨев +ĠпиÑģÑĮмен нÑĭм +Ġплан омеÑĢно +Ġплод оÑĢодиÑı +Ġпобед иÑĤели +Ġпоб Ñĥждений +Ġповел иÑĤелÑĮ +Ġповин ноÑģÑĤи +ĠповÑģÑĤан ÑĨам +ĠпогÑĢÑĥз илÑģÑı +ĠподбоÑĢод ок +Ġподвиж ного +Ġпод влаÑģÑĤнÑĭ +Ġподзем ного +ĠподозÑĢев аÑı +ĠподозÑĢ ений +Ġпод оконник +ĠподполÑĮ ной +Ġпожени лиÑģÑĮ +ĠпоздÑĢав иÑĤÑĮ +Ġпозол оÑĩенн +ĠпокÑĥп аÑĤелÑİ +ĠполномоÑĩ нÑĭ +ĠпообÑī аÑĤÑĮÑģÑı +ĠпопÑĭÑĤ аеÑĤÑģÑı +ĠпоÑģел иÑĤÑĮÑģÑı +ĠпоÑģл ÑĭÑĪалÑģÑı +ĠпоÑģ ÑĩаÑģÑĤлив +ĠпÑĢавилÑĮ нее +ĠпÑĢав омеÑĢно +ĠпÑĢавоÑģÑĥд ие +ĠпÑĢазднов ал +ĠпÑĢед ÑģмеÑĢÑĤн +ĠпÑĢепод ноÑģи +ĠпÑĢеÑĢ огаÑĤив +ĠпÑĢеÑģÑĤÑĥп нÑĭм +ĠпÑĢивилег иÑı +ĠпÑĢигоÑĤов лÑı +ĠпÑĢим еÑĩаниÑı +ĠпÑĢипод нима +ĠпÑĢиÑĤ Ñıзаний +ĠпÑĢиÑĪелÑĮ ÑĨев +ĠпÑĢовок аÑĤоÑĢ +ĠпÑĢовок аÑĨии +ĠпÑĢок омменÑĤ +ĠпÑĢомежÑĥÑĤ ке +ĠпÑĢомежÑĥÑĤ ки +ĠпÑĢоÑĢоÑĩ еÑģки +ĠпÑĢоÑĨвеÑĤ аÑİÑī +ĠÑĢади оÑģвÑıзи +ĠÑĢазмÑĭÑĪ лÑıÑĤÑĮ +ĠÑĢаÑģ плавлен +ĠÑĢаÑģÑģÑĤ алиÑģÑĮ +ĠÑĢаÑģÑģÑĤоÑı ний +ĠÑĢаÑģÑģÑĥжд аеÑĤ +ĠÑĢаÑģÑĤ оÑĢгнÑĥÑĤ +ĠÑĢаÑģÑĤ оÑĩиÑĤел +ĠÑĢег енеÑĢаÑĨи +ĠÑĢегÑĥлиÑĢов к +ĠÑĢезиденÑĤ ÑĥÑĢ +ĠÑĢезид енÑĨиÑİ +ĠÑĢезид енÑĨиÑı +ĠÑĢекоÑĢд Ñģмен +ĠÑĢепÑĢеÑģÑģ иÑıм +ĠÑĢепÑĥÑĤ аÑĨией +ĠÑĢеÑģп иÑĢаÑĤоÑĢ +ĠÑģбеÑĢеж ениÑı +ĠÑģейÑģм иÑĩеÑģк +ĠÑģеÑĢебÑĢÑı наÑı +ĠÑģкеп ÑĤиÑĨизм +ĠÑģкÑĢ еÑīивани +ĠÑģовмеÑģÑĤ иÑĤÑĮ +ĠÑģовмеÑģÑĤ наÑı +ĠÑģовмеÑģÑĤ нÑĥÑİ +ĠÑģовмеÑģÑĤ нÑĭй +ĠÑģодеÑĢжаÑī ее +ĠÑģодеÑĢжаÑī им +ĠÑģоÑĩÑĥв ÑģÑĤвиÑı +ĠÑģпоÑĢÑĤив наÑı +ĠÑģпоÑĢÑĤив ном +ĠÑģпÑĢÑıÑĤ аÑĤÑĮÑģÑı +ĠÑģпÑĥÑģÑĤи лиÑģÑĮ +ĠÑģпÑĥÑģÑĤ иÑĤÑĮÑģÑı +ĠÑģÑĢавни ваÑİÑĤ +ĠÑģÑĤа ÑĢайÑĤеÑģÑĮ +ĠÑģÑĤаÑĢин ного +ĠÑģÑĤек лÑıннÑĭе +ĠÑģÑĤим ÑĥлÑıÑĨии +ĠÑģÑĤÑĢад аÑİÑīиÑħ +ĠÑģÑĤÑĢаÑħов Ñīик +ĠÑģÑĥпÑĢÑĥж еÑģки +ĠÑĤоÑĢм ожение +ĠÑĤоÑĢоп иÑĤÑĮÑģÑı +ĠÑĤÑĢанз акÑĨии +ĠÑĤÑĢанз акÑĨий +ĠÑĥбед ивÑĪиÑģÑĮ +ĠÑĥвеков еÑĩен +ĠÑĥглÑĥб лениÑı +ĠÑĥдоÑģÑĤовеÑĢ Ñı +ĠÑĥникалÑĮ нÑĥÑİ +ĠÑĥпоÑĤÑĢеб иÑĤÑĮ +ĠÑĥпÑĢав лений +ĠÑĥÑģмеÑħ нÑĥлÑģÑı +ĠÑĥÑģпока ивал +ĠÑĥÑģÑĤойÑĩив Ñĭе +ĠÑĥÑģÑĤойÑĩив Ñĭм +ĠÑĥÑģÑĤойÑĩив ÑĭÑħ +ĠÑĥÑģÑĭп алÑĮниÑĨ +ĠÑĥÑĤÑĢа ÑĩиваеÑĤ +ĠÑĦикÑģ иÑĢовал +ĠÑĦÑĢазе ологи +ĠÑĦÑĥнкÑĨион еÑĢ +ĠÑħÑĢон ологии +ĠÑĨенÑĤÑĢ обежн +ĠÑĨеÑĢемон иал +ĠÑĪизоÑĦÑĢ ении +ĠÑīиÑĤов идной +ĠÑįкÑģкав аÑĤоÑĢ +ĠÑįкÑģпоз иÑĨиÑı +ĠÑįкÑģÑĤÑĢ аÑģенÑģ +ĠÑįÑģкадÑĢи лий +ĠÑįÑĦÑĦекÑĤив ен +ÐIJвÑģÑĤÑĢали йÑģк +ÐĴоз ÑĢождение +ÐĹ Ð°ÑģлÑĥженнÑĭй +ÐľÑĥниÑĨип алÑĮн +аÑĤлан ÑĤиÑĩеÑģк +гал акÑĤиÑĩеÑģк +ген еÑĤиÑĩеÑģки +геоÑĦиз иÑĩеÑģк +дина ÑģÑĤиÑĩеÑģк +евÑĢопей Ñģкое +евÑĢопей Ñģкой +един омÑĭÑĪлен +иÑģ полниÑĤелÑĮ +иÑģп олÑĮзован +колон изаÑĤоÑĢ +лог оплаÑĤелÑĮ +обÑıз аÑĤелÑĮна +оплаÑĤелÑĮ Ñīик +ополож ников +оп Ñĥбликован +оÑģ ÑģÑĤанавлив +пеÑĢ еÑħваÑĤÑĩик +пеÑĢ маÑĤозоид +ÑĢ егиÑģÑĤÑĢиÑĢов +ÑĢезÑĥлÑĮÑĤаÑĤ но +ÑĢомагниÑĤ нÑĭÑħ +ÑģÑĤмод еÑĢнизм +ÑģÑĤойÑĩив оÑģÑĤи +ÑĤеÑħни ÑĩеÑģким +ÑĤолк нÑĥвÑĪиÑģÑĮ +ÑĤÑĢÑĥд оÑģпоÑģоб +ÑįкÑģпеÑĢ именÑĤ +ĠHeavy weight +Ġrehabilit at +ĠÐIJналог иÑĩнÑĭе +ĠÐIJÑĢÑħи епиÑģкоп +ĠÐIJÑĦанаÑģÑĮ евиÑĩ +ĠÐĴозвÑĢаÑī аÑıÑģÑĮ +ĠÐĴолокол амÑģк +ĠÐĵÑĢаждан ÑģкаÑı +ĠÐķвÑĢоком иÑģÑģи +ĠÐķдин ÑģÑĤвенно +ĠÐĹнаÑĩ иÑĤелÑĮнÑĭ +ĠÐļалаÑĪ никова +ĠÐļомменÑĤ аÑĢий +ĠÐļон ÑģÑĤÑĢÑĥкÑĨиÑı +ĠÐļон ÑĦедеÑĢаÑĨи +ĠÐļо ÑįÑĦÑĦиÑĨиенÑĤ +ĠÐĽÐ¸ÑĤеÑĢаÑĤÑĥÑĢ но +ĠÐŁÐ¾Ð´Ð¼Ð¾Ñģков ÑĮÑı +ĠÐŁÐ¾Ñģлед ÑģÑĤвиÑı +ĠÐŁÐ¾Ñģлед ÑĥÑİÑīие +ĠÐŁÑĢед иÑģловие +ĠСлед ÑģÑĤвеннÑĭ +ĠСоедин еннÑĭм +ĠСÑĢедизем ное +ĠТÑĢадиÑĨион нÑĭ +ĠТÑĥÑħаÑĩ евÑģкий +ĠФил аделÑĮÑĦии +ĠФÑĢанÑĨÑĥз ÑģкаÑı +ĠЧелов еÑĩеÑģÑĤв +ĠЧÑĢезвÑĭÑĩай но +ĠÐŃлекÑĤ ÑĢиÑĩеÑģк +ĠавиаÑĨион нÑĭе +Ġаз еÑĢбайджан +Ġанализ иÑĢÑĥеÑĤ +ĠаннÑĥли ÑĢован +ĠанонÑģ иÑĢовал +ĠбезÑĢабоÑĤ нÑĭÑħ +Ġбез ÑĢазлиÑĩие +ĠбеÑģконеÑĩ нÑĭÑħ +ĠбеÑģкоÑĢÑĭ ÑģÑĤно +ĠбеÑģпеÑĢ ебойн +ĠбеÑģÑĩиÑģ ленно +Ġблагод енÑģÑĤв +ĠблагоÑģлов ил +ĠблагоÑģлов лÑı +Ġблиз лежаÑīиÑħ +Ġбоекомп лекÑĤ +ĠболÑĮÑĪев икам +ĠбоÑĤани ÑĩеÑģки +ĠвдоÑħнов иÑĤел +ĠвмеÑģÑĤ имоÑģÑĤÑĮ +ĠвозбÑĥд иÑĤелÑı +ĠвооÑĢÑĥж ÑijннÑĭе +ĠвÑĭда ÑİÑīимиÑģÑı +ĠвÑĭдеÑĢж иваÑĤÑĮ +ĠвÑĭÑĢаÑī ивание +ĠвÑĭÑĢаÑī иваниÑı +ĠглÑĥбок оводн +ĠдейÑģÑĤвÑĥÑİÑī ее +ĠдейÑģÑĤвÑĥÑİÑī ÑĥÑİ +Ġдекаб ÑĢиÑģÑĤов +ĠдеÑĢевÑıн ного +ĠдеÑĦоÑĢм иÑĢова +ĠдиагноÑģÑĤи ка +ĠдиÑģквали ÑĦиÑĨ +Ġдомин иÑĢовал +ĠдÑĢевнеÑĢ имÑģк +ĠегипеÑĤ Ñģкого +Ġзаим ÑģÑĤвовал +ĠзаÑģÑĤÑĢаÑħ ован +ĠигноÑĢ иÑĢовал +ĠизÑĢаилÑĮ Ñģкий +ĠизÑĢаилÑĮ ÑģкиÑħ +ĠизÑĢаилÑĮ Ñģкой +ĠиллÑİÑģÑĤÑĢа ÑĨий +ĠимпеÑĢи алиÑģÑĤ +Ġиндонез ийÑģк +ĠиниÑĨии ÑĢовал +ĠиниÑĨии ÑĢован +ĠиноÑģÑĤÑĢан ном +ĠинÑĦоÑĢм аÑĤивн +ĠиÑģÑĤоÑĢи огÑĢаÑĦ +ĠкалÑĮкÑĥ лÑıÑĤоÑĢ +ĠкаÑĤол иÑĩеÑģÑĤв +Ġконд иÑĨионеÑĢ +ĠкооÑĢдин аÑĤоÑĢ +ĠкоÑĢолев Ñģким +ĠкоÑĢолев Ñģком +ĠкоÑģм иÑĩеÑģкое +ĠкÑĢиÑĤ иÑĩеÑģкое +ĠлабоÑĢаÑĤоÑĢ ий +ĠлеÑĤ аÑĤелÑĮнÑĭÑħ +ĠлиÑĢи ÑĩеÑģкого +ĠлиÑħоÑĢад оÑĩно +Ġлок ализован +ĠлÑİбопÑĭÑĤ ÑģÑĤва +Ġманип ÑĥлÑıÑĤоÑĢ +Ġманип ÑĥлÑıÑĨий +ĠманиÑĦеÑģÑĤ аÑĨи +ĠмеÑĢопÑĢи ÑıÑĤии +ĠмикÑĢов олнов +ĠминималÑĮ нÑĭÑħ +ĠмиÑĢ ооÑīÑĥÑīени +Ġмладен ÑĩеÑģÑĤв +ĠмÑĥзÑĭкалÑĮ нÑĥÑİ +ĠнаиболÑĮÑĪ его +ĠнаÑģел енного +ĠнаÑģлад иÑĤÑĮÑģÑı +ĠнаÑģÑĤоÑı ÑĤелем +ĠнаÑģÑĤÑĥп лениÑİ +ĠнаÑħод ÑıÑīаÑıÑģÑı +ĠневеÑĢоÑıÑĤ нÑĭе +Ġнедоп ÑĥÑģÑĤимÑĭ +ĠнедоÑģÑĤ овеÑĢн +ĠнеиÑģ ÑĩеÑĢпаем +ĠнеоÑģ ознанно +ĠнепоÑģÑĤи жимо +ĠнепÑĢеÑĢÑĭв нÑĭй +ĠнепÑĢеÑĢÑĭв нÑĭм +ĠнепÑĢиемлем о +ĠнепÑĢиемлем Ñĭ +ĠнепÑĢимиÑĢ имо +ĠнепÑĢимиÑĢ имÑĭ +ĠнеÑĤоÑĢоп ливо +ĠобÑĭкнов ениÑİ +Ġодноим енной +Ġолимпий ÑģкиÑħ +Ġолимп ийÑģкой +ĠоÑģÑĤанов имÑģÑı +ĠоÑĦиÑĨи алÑĮнÑĥÑİ +ĠпаÑĢ ализован +ĠпеÑĢеговоÑĢ ам +ĠпеÑĢеÑģказ Ñĭва +ĠпеÑĢÑģид Ñģкого +ĠпиÑĤ аÑĤелÑĮнÑĭÑħ +Ġпобед оноÑģно +ĠпогÑĢÑĥз иÑĤÑĮÑģÑı +ĠподавлÑı ÑİÑīем +Ġподвиж ноÑģÑĤи +ĠподозÑĢев аÑĤÑĮ +ĠподÑģозн аниÑı +ĠподÑĩеÑĢ кнÑĥÑĤо +ĠпожеÑĢÑĤв овал +ĠполноÑĨен нÑĭм +Ġпонадоб ÑıÑĤÑģÑı +ĠпонÑĢав илиÑģÑĮ +ĠпонÑĢав иÑĤÑĮÑģÑı +ĠпопеÑĢ еменно +ĠпоÑģеÑĤ иÑĤелÑıм +ĠпоÑģлед ÑĥÑİÑīий +ĠпоÑģÑĤаÑĢ алиÑģÑĮ +ĠпоÑģÑĤоÑıн ÑģÑĤво +ĠпоÑģÑĤÑĥп лении +ĠпоÑĤÑĢеб иÑĤели +ĠпÑĢевоÑģÑħод ÑıÑĤ +ĠпÑĢедоÑģÑĤав ив +ĠпÑĢедполож им +ĠпÑĢедпоÑģ Ñĭлок +ĠпÑĢезенÑĤ аÑĨиÑı +ĠпÑĢивеÑĤ ÑģÑĤвиÑı +ĠпÑĢигод иÑĤÑĮÑģÑı +ĠпÑĢизем лилÑģÑı +ĠпÑĢиоÑģÑĤанов к +ĠпÑĢиÑģоедин Ñijн +ĠпÑĢоб оÑĢмоÑĤал +ĠпÑĢод вижениÑİ +ĠпÑĢоза иÑĩеÑģки +ĠпÑĢоизвод нÑĭе +ĠпÑĢокÑĥÑĢ аÑĤÑĥÑĢе +ĠпÑĢокÑĥÑĢ аÑĤÑĥÑĢÑĥ +ĠпÑĢопаганд ой +ĠпÑĢоÑĤ екÑĤоÑĢаÑĤ +ĠпÑĢоÑĨвеÑĤ аниÑı +ĠÑĢавноп ÑĢавнÑĭ +ĠÑĢазбой ников +ĠÑĢазвеÑĤв ленн +ĠÑĢазмнож ение +ĠÑĢазоÑĩаÑĢ овал +ĠÑĢаÑģÑĤвоÑĢ иÑĤел +ĠÑĢаÑĨи онализм +ĠÑĢезид енÑĨией +ĠÑĢелигиоз нÑĥÑİ +ĠÑĢиÑĤоÑĢ иÑĩеÑģки +ĠÑĢодÑģÑĤвен ниÑĨ +ĠÑĢожд аемоÑģÑĤи +ĠÑĢÑĥковод ÑıÑīие +ĠÑĢÑĥк оположен +ĠÑģвеÑĢÑģÑĤ ников +ĠÑģегоднÑı ÑĪнем +ĠÑģекÑģÑĥ алÑĮнÑĭм +ĠÑģеÑĢд ÑĨебиени +ĠÑģлож ивÑĪиÑħÑģÑı +ĠÑģложив ÑĪÑĥÑİÑģÑı +ĠÑģлÑĥÑĩив ÑĪееÑģÑı +ĠÑģлÑĥÑĩив ÑĪемÑģÑı +ĠÑģоавÑĤоÑĢ ÑģÑĤве +ĠÑģобÑĢав ÑĪиÑħÑģÑı +ĠÑģоглаÑģ иÑĤеÑģÑĮ +ĠÑģоглаÑģ оваÑĤÑĮ +ĠÑģоглаÑģ ÑĥеÑĤÑģÑı +ĠÑģодеÑĢжаÑī его +ĠÑģозид аÑĤелÑĮн +ĠÑģоÑģÑĤÑĢад ание +ĠÑģоÑģÑĤÑĢад аниÑı +ĠÑģоÑħÑĢан ноÑģÑĤÑĮ +ĠÑģпеÑĨ опеÑĢаÑĨи +ĠÑģп ланиÑĢован +ĠÑģÑĤанов лении +ĠÑģÑĤол кнÑĥлаÑģÑĮ +ĠÑģÑĤопÑĢо ÑĨенÑĤн +ĠÑģÑĥмаÑģ ÑĪедÑĪий +ĠÑģÑĥпÑĢÑĥж еÑģкой +ĠÑģÑĦокÑĥÑģ иÑĢова +ĠÑĤекÑĤон иÑĩеÑģк +ĠÑĤеÑħнолог ией +ĠÑĥваж иÑĤелÑĮно +ĠÑĥглек иÑģлого +ĠÑĥмиÑĢ оÑĤвоÑĢен +ĠÑĥÑģпока иваеÑĤ +ĠÑĥÑĩиÑĤ ÑĭваÑİÑĤÑģÑı +ĠÑĦедеÑĢ алÑĮнÑĭе +ĠÑĦикÑģ иÑĢоваÑĤÑĮ +ĠÑĦоÑĢÑĤи ÑĦикаÑĨи +ĠÑħÑĢон иÑĩеÑģкой +ĠÑĨивилиз аÑĨиÑİ +ĠÑĪÑĤÑĥÑĢмов иков +ĠÑįкÑģпед иÑĨией +ĠÑįлекÑĤÑĢон нÑĭм +ĠÑİÑĢид иÑĩеÑģком +ĠÑİÑĢид иÑĩеÑģкÑĥÑİ +СÑĤÑĢаÑĤег иÑĩеÑģк +еликок нÑıжеÑģк +нглоÑģ акÑģонÑģк +обÑıз аÑĤелÑĮнÑĭй +озобнов ление +пÑĢаг маÑĤиÑĩеÑģк +пÑĢедÑģед аÑĤелÑĮ +пÑĢомÑĭÑĪлен наÑı +ÑĢеволÑİÑĨион еÑĢ +ÑĭÑģок оÑĩаÑģÑĤоÑĤн +ÑįкваÑĤоÑĢи алÑĮн +ÑįкÑģÑĤÑĢем иÑģÑĤÑģк +d etermination +ĠÐIJÑĢÑĤи ллеÑĢийÑģк +ĠÐĵе огÑĢаÑĦиÑĩеÑģк +ĠÐĹнаÑĩ иÑĤелÑĮнаÑı +ĠÐļÑĢаÑģнозн амен +ĠÐľÐ°Ð³Ð½Ð¸ÑĤ огоÑĢÑģк +ĠÐĿаÑĨионалÑĮ ное +ĠÐĿеодн окÑĢаÑĤно +ĠÐŀбÑĬедин еннÑĭÑħ +ĠÐŁÐ¾ÑģÑĤа ÑĢайÑĤеÑģÑĮ +ĠÐŁÑĢоиз ведениÑı +ĠÐłÐ°ÑģколÑĮ ников +ĠÐłÐ¾Ñģком надзоÑĢ +ĠТÑĥÑħаÑĩ евÑģкого +ĠакÑĨионеÑĢ ного +ĠанаÑĤом иÑĩеÑģки +ĠанÑĤиÑģовеÑĤ Ñģки +Ġаплод иÑģменÑĤÑĭ +ĠаÑĤеÑĢоÑģк леÑĢоз +Ġбез возвÑĢаÑĤно +ĠбеÑģпÑĢ еÑģÑĤанно +ĠбиоÑħим иÑĩеÑģки +ĠбогоÑģлÑĥж ение +ĠбÑĢон еÑĤанковÑĭ +Ġвзаимоп омоÑīи +ĠвизанÑĤи йÑģкой +ĠвизÑĥ ализаÑĨии +ĠвоздейÑģÑĤв ÑĥеÑĤ +Ġвознаг ÑĢажден +ĠвоÑģÑĮм идеÑģÑıÑĤи +ĠвÑĭно ÑģливоÑģÑĤÑĮ +ĠвÑĭÑģок оÑĢазвиÑĤ +ĠгаÑĢан ÑĤиÑĢовал +ĠгенеÑĢ иÑĢоваÑĤÑĮ +Ġген еÑĤиÑĩеÑģкой +ĠгÑĢоÑģ ÑģмейÑģÑĤеÑĢ +Ġдез инÑĦоÑĢмаÑĨи +ĠдекоÑĢ аÑĤивнÑĭе +ĠдекоÑĢ аÑĤивнÑĭÑħ +ĠдемонÑģÑĤÑĢа ÑĨиÑİ +Ġдинам иÑĩеÑģкой +ĠдобÑĢоволÑĮ ÑĨем +Ġдогад ÑĭваÑĤÑĮÑģÑı +ĠдолгоÑģÑĢ оÑĩной +ĠединÑģÑĤвен нÑĭе +Ġежен еделÑĮник +ĠеÑģÑĤеÑģÑĤвен наÑı +Ġжизне опиÑģани +Ġзаблок иÑĢовал +ĠзавиÑģим оÑģÑĤей +ĠзамеÑģÑĤ иÑĤелей +ĠзаÑĢабаÑĤ ÑĭваеÑĤ +Ġземлевлад ени +ĠигноÑĢ иÑĢовани +ĠиденÑĤ иÑĦиÑĨиÑĢÑĥ +ĠиеÑĢаÑĢÑħ иÑĩеÑģко +ĠизобÑĢеÑĤ аÑĤелÑı +ĠинÑĤеÑĢ акÑĤивно +ĠинÑĦоÑĢм иÑĢовал +ĠиÑģполн иÑĤелем +ĠиÑģполÑĮз ÑĥÑİÑīиÑħ +ĠказаÑħ ÑģÑĤанÑģки +ĠкаÑĤол иÑĩеÑģкий +ĠкаÑĤол иÑĩеÑģкиÑħ +ĠкиноÑĢеж иÑģÑģÑijÑĢ +Ġколони алÑĮной +Ġкоманд иÑĢован +ĠкомпенÑģ иÑĢÑĥеÑĤ +ĠконÑģеÑĢваÑĤ изм +ĠконÑģÑĥлÑĮÑĤ аÑĨий +ĠконÑĦ едеÑĢаÑĨии +ĠконÑĦигÑĥÑĢа ÑĨиÑİ +ĠконÑĨенÑĤ ÑĢаÑĨиÑİ +ĠкоÑģмонав ÑĤики +ĠкÑĢаÑģно аÑĢмееÑĨ +ĠкÑĢаÑģ ноÑĢеÑĩиво +ĠкÑĢеÑģÑĤ оноÑģÑĨев +ĠкÑĢово излиÑıни +ĠкÑĢовопÑĢолиÑĤ и +Ġликвид иÑĢовал +ĠлиÑĤеÑĢаÑĤÑĥÑĢ нÑĥÑİ +ĠмеÑĤÑĢополиÑĤ ен +ĠмиÑĢовоз зÑĢени +ĠмногообÑĢаз иÑı +ĠмногообÑĢаз нÑĭ +ĠмодеÑĢниз аÑĨиÑİ +Ġнаимен ований +Ġнапомина ÑİÑīие +Ġнапомина ÑİÑīий +ĠнаÑģÑĤ оÑĢоженно +ĠнаÑħод ивÑĪейÑģÑı +ĠнаÑħод ÑıÑīимиÑģÑı +ĠнедоÑģÑĤаÑĤоÑĩ на +ĠнепÑĢав илÑĮнÑĭм +ĠнеÑģовмеÑģÑĤ имо +ĠнеÑįÑĦÑĦ екÑĤивнÑĭ +Ġновов ведениÑı +ĠноÑĢм ализаÑĨии +ĠнÑĢав ÑģÑĤвеннÑĭм +ĠобнаÑĢÑĥж иваем +ĠобÑĢабаÑĤ Ñĭваем +ĠобÑĢаз овалоÑģÑĮ +ĠобÑĭкнов еннÑĭе +ĠобÑĭкнов еннÑĭм +ĠобÑĭкнов еннÑĭÑħ +ĠокÑĢеÑģÑĤ ноÑģÑĤей +ĠопеÑĢ аÑĨионнÑĭÑħ +ĠопÑĢеделÑı ÑİÑīие +ĠопÑĢеделÑı ÑİÑīиÑħ +ĠпеÑĢво оÑĩеÑĢедн +ĠпеÑĢеб азиÑĢова +Ġповинов аÑĤÑĮÑģÑı +Ġпонадоб иÑĤÑĮÑģÑı +ĠпоÑħваÑģÑĤ аÑĤÑĮÑģÑı +ĠпÑĢав опоÑĢÑıдка +ĠпÑĢазднов ание +ĠпÑĢак ÑĤиÑĩеÑģкаÑı +ĠпÑĢак ÑĤиÑĩеÑģком +ĠпÑĢак ÑĤиÑĩеÑģкÑĥÑİ +ĠпÑĢед опÑĢеделÑı +ĠпÑĢедÑģед аÑĤелÑİ +ĠпÑĢезÑĢ иÑĤелÑĮно +ĠпÑĢепÑıÑĤ ÑģÑĤвÑĥÑİÑī +ĠпÑĢиÑĤÑıг аÑĤелÑĮн +ĠпÑĢоблем аÑĤиÑĩн +ĠпÑĢодвин ÑĥлиÑģÑĮ +ĠпÑĢодвин ÑĥÑĤÑĮÑģÑı +ĠпÑĢоиз ноÑĪение +ĠпÑĢоизоÑĪед ÑĪее +ĠпÑĢопаганд иÑĢÑĥ +ĠÑĢабоÑĤод аÑĤелÑĮ +ĠÑĢаÑģÑĪи ÑĦÑĢовÑĭва +ĠÑĢегионалÑĮ ном +ĠÑĢегионалÑĮ нÑĭм +ĠÑĢепÑĢодÑĥк ÑĤивн +ĠÑĢеÑģпонд енÑĤов +ĠÑĢеÑĤÑĢоÑģп екÑĤив +ĠÑĢÑĥковод иÑĤелÑİ +ĠÑģамодеÑĢж авиÑı +ĠÑģамоÑĥ веÑĢенно +ĠÑģамоÑĩÑĥв ÑģÑĤвие +ĠÑģвоеобÑĢаз наÑı +ĠÑģеман ÑĤиÑĩеÑģки +ĠÑģеÑĢÑĤи ÑĦикаÑĨии +ĠÑģкоÑĤов одÑģÑĤво +ĠÑģлÑĥÑĩ ивÑĪегоÑģÑı +ĠÑģопÑĢов ождаеÑĤ +ĠÑģоÑĢевнов ании +ĠÑģпеÑĨиÑĦика ÑĨии +ĠÑģÑĤалкив аемÑģÑı +ĠÑģÑĤалкив алиÑģÑĮ +ĠÑģÑĤалкив аÑĤÑĮÑģÑı +ĠÑģÑĤÑĥден ÑĩеÑģкие +ĠÑģÑĤÑĥден ÑĩеÑģкой +ĠÑĤеÑĢмод инамик +ĠÑĤоваÑĢо обоÑĢоÑĤ +ĠÑĤÑĢадиÑĨион наÑı +ĠÑĤÑĢанÑģÑĦоÑĢм иÑĢÑĥ +ĠÑĥни ÑĦиÑĨиÑĢован +ĠÑĥÑĢавнов еÑĪива +ĠÑĦинанÑģ иÑĢовал +ĠÑħÑĢон иÑĩеÑģкого +ĠÑĪеÑģÑĤиде ÑģÑıÑĤÑĭÑħ +ĠÑįвакÑĥ иÑĢоваÑĤÑĮ +ĠÑįволÑİ ÑĨионной +ĠÑįÑģÑĤ еÑĤиÑĩеÑģкой +ĠÑİÑĢиÑģ пÑĢÑĥденÑĨи +ÐļомÑģом олÑĮÑģкаÑı +ÐľÐµÐ¶Ð´Ñĥ наÑĢоднÑĭе +конÑģÑĥлÑĮÑĤ аÑĤивн +кÑĢаевед ÑĩеÑģкий +моÑĢÑĦ ологиÑĩеÑģк +онÑĦиденÑĨи алÑĮн +ÑĢазвлек аÑĤелÑĮн +ÑĢеволÑİÑĨион наÑı +ÑĢопоÑĢ ÑĨионалÑĮн +Ñģамод оÑģÑĤаÑĤоÑĩн +ĠÐIJдминиÑģÑĤ ÑĢаÑĨии +ĠÐIJмеÑĢикан Ñģкого +ĠÐĴозник новение +ĠÐĵенпÑĢокÑĥÑĢ аÑĤÑĥÑĢ +ĠÐļонÑĤ иненÑĤалÑĮн +ĠÐľÐµÐ¶Ð´ÑĥнаÑĢод нÑĭм +ĠÐŀÑĤеÑĩ еÑģÑĤвеннаÑı +ĠÐŁÑĢавиÑĤелÑĮ ÑģÑĤве +ĠÐŁÑĢедÑģед аÑĤелем +ĠСлед ÑģÑĤвенного +ĠÐŃÑĦÑĦекÑĤив ноÑģÑĤÑĮ +Ġавиак аÑĤаÑģÑĤÑĢоÑĦ +ĠавÑĤом агиÑģÑĤÑĢал +ĠадминиÑģÑĤ ÑĢаÑĨиÑİ +Ġакадем иÑĩеÑģкий +Ġакадем иÑĩеÑģкиÑħ +ĠанÑĤимон ополÑĮн +Ġближ невоÑģÑĤоÑĩн +ĠбомбаÑĢдиÑĢов ка +ĠбÑĢак оÑģоÑĩеÑĤани +ĠвизанÑĤи йÑģкого +ĠгипоÑĤ еÑĤиÑĩеÑģки +ĠгоÑģпиÑĤ ализаÑĨи +Ġдемоб илизаÑĨии +ĠдÑĢагоÑĨен ноÑģÑĤи +ĠдÑĢамаÑĤ иÑĩеÑģкиÑħ +ĠдÑĢамаÑĤ иÑĩеÑģком +ĠзадейÑģÑĤв оваÑĤÑĮ +ĠиллÑİÑģÑĤÑĢи ÑĢован +ĠинÑĤегÑĢи ÑĢоваÑĤÑĮ +ĠинÑĤеÑĢпÑĢеÑĤ аÑĤоÑĢ +ĠинÑĤеÑĢпÑĢеÑĤ аÑĨиÑİ +ĠиÑĢÑĢа ÑĨионалÑĮно +ĠкаÑĤол иÑĩеÑģкого +ĠклаÑģÑģ иÑĦикаÑĨиÑİ +ĠконкÑĥÑĢи ÑĢоваÑĤÑĮ +ĠконÑģеÑĢв аÑĤоÑĢиÑİ +ĠконÑĨеп ÑĤÑĥалÑĮно +ĠкоÑĢпоÑĢ аÑĤивной +ĠкоÑģм ологиÑĩеÑģк +ĠлегкомÑĭÑģл енно +ĠмаÑĢÑĪÑĢÑĥ ÑĤизаÑĤоÑĢ +Ġмеж наÑĨионалÑĮн +ĠмиоÑĦаÑģÑĨи алÑĮнÑĭ +ĠмоÑĩе иÑģпÑĥÑģкани +ĠмоÑĪен ниÑĩеÑģÑĤва +ĠмоÑĪен ниÑĩеÑģÑĤве +ĠмоÑĪен ниÑĩеÑģÑĤво +ĠнамеÑģÑĤ ниÑĩеÑģÑĤв +ĠнаÑħод ивÑĪегоÑģÑı +Ġнеоб оÑģнованно +ĠнеопÑĢедел Ñijнно +ĠнепÑĢав доподоб +ĠнепÑĢо изволÑĮно +ĠнеÑģпоÑģоб ноÑģÑĤи +Ġоплод оÑĤвоÑĢени +ĠоÑĤеÑĩеÑģÑĤвен нÑĭе +ĠпеÑĢег ÑĢÑĥппиÑĢов +ĠпеÑĤеÑĢбÑĥÑĢг ÑģкиÑħ +ĠпеÑĤеÑĢбÑĥÑĢг Ñģкой +Ġпоблаг одаÑĢиÑĤÑĮ +ĠподÑĢазÑĥмев аÑİÑĤ +Ġпознав аÑĤелÑĮно +Ġполож иÑĤелÑĮнÑĥÑİ +ĠпоÑģÑĢед ÑģÑĤвенно +ĠпоÑģÑĤанов лении +ĠпоÑģÑĤанов лений +ĠпоÑĤенÑĨи алÑĮнÑĭе +ĠпÑĢав озаÑīиÑĤник +ĠпÑĢедполож ений +ĠпÑĢедÑģÑĤав иÑĤелÑİ +ĠпÑĢедÑĥÑģмоÑĤÑĢ еÑĤÑĮ +ĠпÑĢеÑģлед ований +ĠпÑĢеÑģÑĤÑĥп ноÑģÑĤÑĮÑİ +ĠпÑĢикоÑģнов ение +ĠпÑĢикоÑģнов ениÑı +ĠпÑĢиоÑģÑĤанов иÑĤÑĮ +ĠпÑĢогÑĢеÑģÑģ ивнÑĭÑħ +ĠпÑĢомежÑĥÑĤоÑĩ нÑĭе +ĠпÑĢоÑĤивоп ожаÑĢн +ĠпÑģиÑħо аналиÑĤик +ĠÑĢабоÑĤод аÑĤелей +ĠÑĢадио акÑĤивнÑĭÑħ +ĠÑĢазÑĢабаÑĤ Ñĭваем +ĠÑĢаÑģкÑĢ иÑĤиковал +ĠÑĢаÑģпÑĢоÑģÑĤÑĢан Ñıл +ĠÑĢаÑģÑģлед овании +ĠÑĢеволÑİÑĨион нÑĥÑİ +ĠÑĢекоменд оваÑĤÑĮ +ĠÑģебеÑģÑĤо имоÑģÑĤи +ĠÑģебеÑģÑĤо имоÑģÑĤÑĮ +ĠÑģекÑģÑĥ алÑĮноÑģÑĤи +ĠÑģимвол изиÑĢÑĥÑİÑī +ĠÑģиÑģÑĤемаÑĤ изаÑĨи +ĠÑģобеÑģед ование +ĠÑģобеÑģед ованиÑı +ĠÑģоблазн иÑĤелÑĮн +ĠÑģовмеÑģÑĤ имоÑģÑĤи +ĠÑģовÑĢемен ноÑģÑĤÑĮ +ĠÑģодеÑĢж аÑĤелÑĮно +ĠÑģо обÑĢазиÑĤелÑĮн +ĠÑģоÑħÑĢани вÑĪиеÑģÑı +ĠÑģпеÑĨиÑĦ иÑĩеÑģкий +ĠÑģпеÑĨиÑĦ иÑĩеÑģкой +ĠÑģпÑĢовоÑĨи ÑĢовал +ĠÑģÑĢедневек овÑĭе +ĠÑģÑĤанд аÑĢÑĤизаÑĨи +ĠÑģÑĥбÑĤÑĢоп иÑĩеÑģки +ĠÑĤелевизион ной +ĠÑĤÑĢанÑģÑĦоÑĢм аÑĨиÑı +ĠÑĥнивеÑĢÑģ алÑĮнÑĭм +ĠÑĦÑĥнкÑĨион иÑĢÑĥÑİÑĤ +ĠÑħаÑĢакÑĤеÑĢиз ÑĥÑİÑĤ +ĠÑįмоÑĨионалÑĮ наÑı +ĠÑįмоÑĨионалÑĮ нÑĥÑİ +ĠÑįмоÑĨионалÑĮ нÑĭм +ĠÑįÑģÑĤеÑĤ иÑĩеÑģкого +влекаÑĤелÑĮ ноÑģÑĤÑĮ +еÑĢвооÑĤ кÑĢÑĭваÑĤел +конÑĦеÑģÑģ ионалÑĮн +маÑĤемаÑĤ иÑĩеÑģкий +пÑĢопаганд иÑĢова +ÑĦÑĥнкÑĨионалÑĮ нÑĭм +ĠConstantin ople +ĠаÑĢÑĤиллеÑĢ ийÑģкаÑı +ĠаÑįÑĢод инамиÑĩеÑģк +Ġбез ÑĢезÑĥлÑĮÑĤаÑĤно +ĠбеÑģпÑĢиÑģÑĤ ÑĢаÑģÑĤно +ĠблагоÑģоÑģÑĤоÑı ние +ĠвзаимодейÑģÑĤв иÑİ +ĠвоенноÑģлÑĥж аÑīим +ĠвÑģпомог аÑĤелÑĮно +ĠвÑĤоÑĢоÑģÑĤеп еннÑĭÑħ +ĠвÑĭÑĢабаÑĤ ÑĭваеÑĤÑģÑı +ĠвÑĭÑģок оÑģкоÑĢоÑģÑĤн +ĠвÑĭÑĩиÑģл иÑĤелÑĮнÑĭÑħ +Ġголов окÑĢÑĥжение +ĠдиÑģквали ÑĦикаÑĨи +ĠеÑģÑĤеÑģÑĤво иÑģпÑĭÑĤа +ĠживоÑĤновод ÑģÑĤва +ĠживоÑĤновод ÑģÑĤво +ĠзаинÑĤеÑĢеÑģ оваÑĤÑĮ +ĠзаклÑİÑĩ иÑĤелÑĮной +ĠзаклÑİÑĩ иÑĤелÑĮном +ĠзамеÑĪ аÑĤелÑĮÑģÑĤво +ĠиндивидÑĥ алÑĮнаÑı +ĠинÑĦоÑĢмаÑĨион наÑı +ĠиÑģклÑİÑĩ иÑĤелÑĮнÑĭм +ĠкавалеÑĢ ийÑģкого +Ġкомбин иÑĢованно +ĠконÑģеÑĢв иÑĢованн +ĠконÑģÑĤаÑĤ иÑĢоваÑĤÑĮ +ĠконÑĨенÑĤ ÑĢаÑĨионн +ĠкÑĢÑĥпном аÑģÑĪÑĤабн +Ġманип ÑĥлиÑĢоваÑĤÑĮ +ĠмаÑĤеÑĢи алиÑģÑĤиÑĩе +ĠмаÑĪиноÑģÑĤÑĢо ение +Ġмногок ваÑĢÑĤиÑĢнÑĭ +ĠмоÑĢÑĦ ологиÑĩеÑģки +ĠнедвÑĥÑģ мÑĭÑģленно +ĠнеÑĥдоволÑĮ ÑģÑĤвие +ĠобоÑĢон иÑĤелÑĮной +ĠопÑĤим изиÑĢоваÑĤÑĮ +ĠоÑĤÑĢемон ÑĤиÑĢован +ĠпеÑĢвонаÑĩ алÑĮнÑĭÑħ +ĠпеÑĢвоÑģ вÑıÑīенник +ĠподÑĤвеÑĢж даÑİÑīие +ĠпÑĢедÑĥпÑĢед иÑĤелÑĮ +ĠпÑĢедÑĪеÑģÑĤв овавÑĪ +ĠпÑĢепÑıÑĤ ÑģÑĤвоваÑĤÑĮ +ĠпÑĢоизвод иÑĤелем +ĠпÑĢоÑĤив овоÑģпали +ĠпÑĢоÑĤивоÑģÑĤоÑı нии +ĠпÑģиÑħо аналиÑĤиÑĩе +ĠÑĢадио ÑįлекÑĤÑĢонн +ĠÑĢаÑģпÑĢедел иÑĤелÑĮ +ĠÑĢеабил иÑĤиÑĢован +ĠÑĢеÑģпÑĥбликан ÑĨев +ĠÑģамоÑģ оÑħÑĢанениÑı +ĠÑģамоÑĥпÑĢав ление +ĠÑģенÑĤименÑĤ алÑĮно +ĠÑģкон ÑģÑĤÑĢÑĥиÑĢован +ĠÑģпеÑĨиализ иÑĢова +ĠÑģпÑĢовоÑĨи ÑĢоваÑĤÑĮ +ĠÑģÑĤÑĢаÑĤег иÑĩеÑģкое +ĠÑģÑĤÑĢÑĥкÑĤÑĥ ÑĢиÑĢован +ĠÑģÑĥÑīеÑģÑĤв овавÑĪаÑı +ĠÑģÑĥÑīеÑģÑĤв овавÑĪиÑħ +ĠÑģÑĦоÑĤогÑĢаÑĦ иÑĢова +ĠÑĤелевизион ного +ĠÑĤеоÑĢеÑĤ иÑĩеÑģкого +ĠÑĤеÑĢÑĢиÑĤоÑĢ иалÑĮно +ĠÑĥÑĢегÑĥлиÑĢов аниÑİ +ĠÑĨеленапÑĢав ленн +ĠÑĪиÑĢоком аÑģÑĪÑĤабн +ĠÑįк ологиÑĩеÑģкого +ĠÑįлекÑĤÑĢоп еÑĢедаÑĩ +ĠÑįлекÑĤ ÑĢоÑĤеÑħниÑĩе +логоплаÑĤелÑĮ Ñīика +ÑģоÑģÑĤоÑı ÑĤелÑĮноÑģÑĤÑĮ +ÑĤеÑĢÑĢиÑĤоÑĢи алÑĮное +respons ibilities +ĠÐĴеликобÑĢиÑĤ анией +ĠÐĸелез нодоÑĢожнаÑı +ĠÐŀÑĤвеÑĤ ÑģÑĤвенноÑģÑĤÑĮ +ĠСÑĢедиземномоÑĢ ÑĮе +ĠСÑĢедиземномоÑĢ ÑĮÑı +ĠазеÑĢбайджан Ñģкий +ĠанÑĤÑĢоп ологиÑĩеÑģк +ĠвеÑĢоиÑģповед аниÑı +ĠвзаимодейÑģÑĤв ÑĥеÑĤ +ĠвзаимодейÑģÑĤв ÑĥÑİÑĤ +Ġвзаимоп ониманиÑı +ĠвоÑģпÑĢоизвод ÑģÑĤва +ĠдоговоÑĢ енноÑģÑĤей +ĠжелезнодоÑĢож ном +ĠжелезнодоÑĢож нÑĭм +ĠизобÑĢаз иÑĤелÑĮнÑĭÑħ +ĠимпÑĢов изиÑĢованн +ĠинвеÑģÑĤи ÑĨионного +ĠинÑģÑĤиÑĤÑĥ ÑĨионалÑĮн +ĠкоÑĢÑĢеÑģпон денÑĨии +ĠмикÑĢок онÑĤÑĢоллеÑĢ +ĠмногознаÑĩ иÑĤелÑĮн +Ġмного наÑĨионалÑĮн +ĠнаÑĨиона лизиÑĢова +Ġнеполно ÑĨенноÑģÑĤи +ĠобÑĢазоваÑĤелÑĮ ной +ĠобÑĢазоваÑĤелÑĮ нÑĭе +ĠоÑĢганиз аÑĨионнÑĭе +ĠоÑĢганиз аÑĨионнÑĭÑħ +ĠоÑģвидеÑĤелÑĮ ÑģÑĤвов +ĠпоÑģÑĩаÑģÑĤлив илоÑģÑĮ +ĠпÑĢедваÑĢ иÑĤелÑĮнÑĭе +ĠпÑĢедваÑĢ иÑĤелÑĮнÑĭй +ĠпÑĢедваÑĢ иÑĤелÑĮнÑĭÑħ +ĠпÑĢедÑĥÑģмаÑĤÑĢива ÑİÑī +ĠпÑĢеем ÑģÑĤвенноÑģÑĤи +ĠпÑĢеем ÑģÑĤвенноÑģÑĤÑĮ +ĠпÑĢоанализ иÑĢовал +ĠпÑĢоиллÑİ ÑģÑĤÑĢиÑĢова +ĠпÑĢокомменÑĤ иÑĢова +ĠпÑĢопоÑĢ ÑĨионалÑĮна +ĠпÑĢоÑĦеÑģÑģионалÑĮ нÑĭ +ĠÑĢазÑĢабаÑĤ ÑĭваÑİÑĤÑģÑı +ĠÑģамопÑĢо изволÑĮно +ĠÑģиÑģÑĤемаÑĤ изиÑĢова +ĠÑģÑĢедизем номоÑĢÑģк +ĠÑĤелеком мÑĥникаÑĨи +ĠÑĤеÑħнолог иÑĩеÑģкой +ĠÑĤеÑħнолог иÑĩеÑģком +ÐĴоÑģ полÑĮзовавÑĪиÑģÑĮ +ÐĹаконод аÑĤелÑĮного +СоÑĨиалиÑģÑĤ иÑĩеÑģкой +админиÑģÑĤÑĢаÑĤив наÑı +амоÑģÑĤоÑı ÑĤелÑĮноÑģÑĤи +бÑĢонеÑĤÑĢан ÑģпоÑĢÑĤеÑĢ +видеÑĤелÑĮ ÑģÑĤвоваÑĤÑĮ +гоÑģпиÑĤ ализиÑĢован +доволÑĮÑģÑĤв оваÑĤÑĮÑģÑı +единомÑĭÑĪлен ников +заинÑĤеÑĢеÑģ ованнÑĭÑħ +запÑĢогÑĢамм иÑĢован +индÑĥÑģÑĤÑĢи ализаÑĨии +инÑĤеллекÑĤÑĥ алÑĮнÑĭе +инÑĤеллекÑĤÑĥ алÑĮнÑĭй +инÑĤеллекÑĤÑĥ алÑĮнÑĭм +инÑĤеÑĢеÑģ ованноÑģÑĤÑĮ +инÑįконом ÑĢазвиÑĤиÑı +конÑģÑĤиÑĤÑĥ ÑĨионного +налог оплаÑĤелÑĮÑīик +наÑģлед ÑģÑĤвенноÑģÑĤи +неопÑĢедел енноÑģÑĤÑĮ +непоÑģÑĢед ÑģÑĤвеннÑĭй +непоÑģÑĢед ÑģÑĤвеннÑĭÑħ +неÑģпÑĢаведлив оÑģÑĤÑĮ +обÑģÑĤоÑıÑĤелÑĮ ÑģÑĤвами +ооÑĤеÑĩ еÑģÑĤвенников +оÑģвобод иÑĤелÑĮного +оÑģнов оположников +оÑģпÑĢепÑıÑĤ ÑģÑĤвоваÑĤÑĮ +оÑģÑģÑĤанавлив аеÑĤÑģÑı +оÑģÑĥдаÑĢÑģÑĤвен ноÑģÑĤи +оÑĤвеÑĤÑģÑĤвен ноÑģÑĤÑĮÑİ +оÑħаÑĢакÑĤеÑĢ изоваÑĤÑĮ +полиÑĤеÑħни ÑĩеÑģкого +поÑģлед оваÑĤелÑĮнÑĭм +пÑĢедпоÑĩÑĤ иÑĤелÑĮнее +пÑĢедÑĥÑģ моÑĤÑĢиÑĤелÑĮн +пÑĢикоÑģнов енноÑģÑĤи +пÑĢикоÑģнов енноÑģÑĤÑĮ +пÑĢодолж иÑĤелÑĮного +пÑĢоÑĤив овоздÑĥÑĪной +пÑĢоÑĦеÑģÑģионалÑĮ ном +пÑĥÑĤеÑĪ еÑģÑĤвенников +ÑĢазведÑĭв аÑĤелÑĮнÑĭе +ÑĢаÑģпÑĢоÑģÑĤÑĢани лаÑģÑĮ +ÑĢаÑģпÑĢоÑģÑĤÑĢани лиÑģÑĮ +ÑĢаÑģпÑĢоÑģÑĤÑĢани лоÑģÑĮ +ÑĢегиÑģÑĤÑĢиÑĢов аÑĤÑĮÑģÑı +ÑģовмеÑģÑĤ иÑĤелÑĮÑģÑĤвÑĥ +ÑģÑĥдопÑĢо изводÑģÑĤва +ÑĤÑĢÑĥдоÑģпоÑģоб ноÑģÑĤи +ÑĦÑĥнкÑĨионалÑĮ ноÑģÑĤи +ÑįлекÑĤ ÑĢомагниÑĤнÑĭÑħ diff --git a/model-00001-of-00002.safetensors b/model-00001-of-00002.safetensors new file mode 100644 index 0000000..60ac03e --- /dev/null +++ b/model-00001-of-00002.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:78d625497b470a4e2ca4b4e41223b9694859b8f6d48dd5b3f537dd7a8b2486bf +size 4982828640 diff --git a/model-00002-of-00002.safetensors b/model-00002-of-00002.safetensors new file mode 100644 index 0000000..551ed16 --- /dev/null +++ b/model-00002-of-00002.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f1ce29823d548fffc6e3b2679bea25e856e12a3053a8bbbb55384ab1dc2f8c5a +size 1169277800 diff --git a/model.safetensors.index.json b/model.safetensors.index.json new file mode 100644 index 0000000..f99c60a --- /dev/null +++ b/model.safetensors.index.json @@ -0,0 +1,441 @@ +{ + "metadata": { + "total_size": 6152056832 + }, + "weight_map": { + "model.embed_tokens.weight": "model-00001-of-00002.safetensors", + "model.layers.0.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.0.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.0.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.0.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.0.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.0.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.0.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.0.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.0.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.0.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.0.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.0.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.1.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.1.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.1.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.1.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.1.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.1.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.1.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.1.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.1.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.1.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.1.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.1.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.10.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.10.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.10.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.10.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.10.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.10.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.10.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.10.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.10.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.10.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.10.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.10.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.11.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.11.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.11.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.11.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.11.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.11.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.11.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.11.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.11.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.11.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.11.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.11.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.12.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.12.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.12.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.12.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.12.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.12.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.12.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.12.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.12.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.12.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.12.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.12.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.13.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.13.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.13.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.13.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.13.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.13.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.13.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.13.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.13.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.13.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.13.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.13.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.14.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.14.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.14.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.14.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.14.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.14.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.14.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.14.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.14.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.14.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.14.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.14.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.15.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.15.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.15.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.15.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.15.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.15.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.15.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.15.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.15.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.15.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.15.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.15.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.16.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.16.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.16.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.16.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.16.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.16.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.16.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.16.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.16.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.16.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.16.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.16.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.17.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.17.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.17.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.17.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.17.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.17.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.17.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.17.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.17.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.17.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.17.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.17.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.18.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.18.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.18.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.18.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.18.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.18.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.18.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.18.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.18.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.18.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.18.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.18.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.19.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.19.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.19.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.19.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.19.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.19.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.19.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.19.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.19.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.19.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.19.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.19.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.2.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.2.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.2.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.2.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.2.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.2.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.2.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.2.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.2.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.2.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.2.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.2.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.20.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.20.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.20.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.20.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.20.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.20.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.20.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.20.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.20.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.20.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.20.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.20.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.21.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.21.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.21.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.21.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.21.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.21.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.21.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.21.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.21.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.21.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.21.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.21.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.22.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.22.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.22.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.22.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.22.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.22.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.22.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.22.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.22.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.22.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.22.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.22.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.23.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.23.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.23.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.23.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.23.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.23.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.23.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.23.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.23.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.23.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.23.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.23.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.24.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.24.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.24.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.24.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.24.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.24.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.24.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.24.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.24.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.24.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.24.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.24.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.25.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.25.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.25.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.25.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.25.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.25.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.25.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.25.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.25.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.25.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.25.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.25.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.26.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.26.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.26.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.26.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.26.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.26.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.26.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.26.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.26.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.26.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.26.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.26.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.27.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.27.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.27.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.27.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.27.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.27.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.27.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.27.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.27.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.27.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.27.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.27.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.28.input_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.28.mlp.down_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.28.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.28.mlp.up_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.28.post_attention_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.28.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.28.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.28.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.28.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.28.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.28.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.28.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.29.input_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.29.mlp.down_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.29.mlp.gate_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.29.mlp.up_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.29.post_attention_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.29.self_attn.k_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.29.self_attn.k_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.29.self_attn.o_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.29.self_attn.q_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.29.self_attn.q_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.29.self_attn.v_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.29.self_attn.v_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.3.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.3.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.3.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.3.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.3.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.3.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.3.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.3.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.3.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.3.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.3.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.3.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.30.input_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.30.mlp.down_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.30.mlp.gate_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.30.mlp.up_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.30.post_attention_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.30.self_attn.k_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.30.self_attn.k_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.30.self_attn.o_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.30.self_attn.q_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.30.self_attn.q_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.30.self_attn.v_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.30.self_attn.v_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.31.input_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.31.mlp.down_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.31.mlp.gate_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.31.mlp.up_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.31.post_attention_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.31.self_attn.k_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.31.self_attn.k_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.31.self_attn.o_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.31.self_attn.q_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.31.self_attn.q_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.31.self_attn.v_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.31.self_attn.v_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.32.input_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.32.mlp.down_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.32.mlp.gate_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.32.mlp.up_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.32.post_attention_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.32.self_attn.k_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.32.self_attn.k_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.32.self_attn.o_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.32.self_attn.q_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.32.self_attn.q_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.32.self_attn.v_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.32.self_attn.v_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.33.input_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.33.mlp.down_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.33.mlp.gate_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.33.mlp.up_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.33.post_attention_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.33.self_attn.k_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.33.self_attn.k_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.33.self_attn.o_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.33.self_attn.q_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.33.self_attn.q_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.33.self_attn.v_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.33.self_attn.v_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.34.input_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.34.mlp.down_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.34.mlp.gate_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.34.mlp.up_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.34.post_attention_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.34.self_attn.k_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.34.self_attn.k_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.34.self_attn.o_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.34.self_attn.q_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.34.self_attn.q_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.34.self_attn.v_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.34.self_attn.v_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.35.input_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.35.mlp.down_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.35.mlp.gate_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.35.mlp.up_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.35.post_attention_layernorm.weight": "model-00002-of-00002.safetensors", + "model.layers.35.self_attn.k_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.35.self_attn.k_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.35.self_attn.o_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.35.self_attn.q_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.35.self_attn.q_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.35.self_attn.v_proj.bias": "model-00002-of-00002.safetensors", + "model.layers.35.self_attn.v_proj.weight": "model-00002-of-00002.safetensors", + "model.layers.4.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.4.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.4.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.4.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.4.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.4.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.4.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.4.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.4.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.4.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.4.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.4.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.5.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.5.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.5.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.5.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.5.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.5.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.5.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.5.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.5.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.5.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.5.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.5.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.6.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.6.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.6.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.6.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.6.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.6.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.6.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.6.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.6.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.6.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.6.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.6.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.7.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.7.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.7.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.7.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.7.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.7.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.7.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.7.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.7.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.7.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.7.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.7.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.8.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.8.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.8.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.8.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.8.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.8.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.8.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.8.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.8.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.8.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.8.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.8.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.9.input_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.9.mlp.down_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.9.mlp.gate_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.9.mlp.up_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.9.post_attention_layernorm.weight": "model-00001-of-00002.safetensors", + "model.layers.9.self_attn.k_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.9.self_attn.k_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.9.self_attn.o_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.9.self_attn.q_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.9.self_attn.q_proj.weight": "model-00001-of-00002.safetensors", + "model.layers.9.self_attn.v_proj.bias": "model-00001-of-00002.safetensors", + "model.layers.9.self_attn.v_proj.weight": "model-00001-of-00002.safetensors", + "model.norm.weight": "model-00002-of-00002.safetensors" + } +} diff --git a/special_tokens_map.json b/special_tokens_map.json new file mode 100644 index 0000000..3fb4474 --- /dev/null +++ b/special_tokens_map.json @@ -0,0 +1,38 @@ +{ + "additional_special_tokens": [ + "<|im_start|>", + "<|im_end|>", + "<|object_ref_start|>", + "<|object_ref_end|>", + "<|box_start|>", + "<|box_end|>", + "<|quad_start|>", + "<|quad_end|>", + "<|vision_start|>", + "<|vision_end|>", + "<|vision_pad|>", + "<|image_pad|>", + "<|video_pad|>" + ], + "bos_token": { + "content": "<|endoftext|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + }, + "eos_token": { + "content": "<|im_end|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + }, + "pad_token": { + "content": "<|endoftext|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + } +} diff --git a/tokenizer.json b/tokenizer.json new file mode 100644 index 0000000..35f05de --- /dev/null +++ b/tokenizer.json @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:84b9483a1bfb5b8bb09b0269429a5e7fd89ee2868eb31cc70d5f695b64b95852 +size 12441282 diff --git a/tokenizer_config.json b/tokenizer_config.json new file mode 100644 index 0000000..a2ea52e --- /dev/null +++ b/tokenizer_config.json @@ -0,0 +1,207 @@ +{ + "add_bos_token": false, + "add_prefix_space": false, + "added_tokens_decoder": { + "147075": { + "content": "<|endoftext|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147076": { + "content": "<|im_start|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147077": { + "content": "<|im_end|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147078": { + "content": "<|object_ref_start|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147079": { + "content": "<|object_ref_end|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147080": { + "content": "<|box_start|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147081": { + "content": "<|box_end|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147082": { + "content": "<|quad_start|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147083": { + "content": "<|quad_end|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147084": { + "content": "<|vision_start|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147085": { + "content": "<|vision_end|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147086": { + "content": "<|vision_pad|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147087": { + "content": "<|image_pad|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147088": { + "content": "<|video_pad|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147089": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147090": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147091": { + "content": "<|fim_prefix|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147092": { + "content": "<|fim_middle|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147093": { + "content": "<|fim_suffix|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147094": { + "content": "<|fim_pad|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147095": { + "content": "<|repo_name|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "147096": { + "content": "<|file_sep|>", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + } + }, + "additional_special_tokens": [ + "<|im_start|>", + "<|im_end|>", + "<|object_ref_start|>", + "<|object_ref_end|>", + "<|box_start|>", + "<|box_end|>", + "<|quad_start|>", + "<|quad_end|>", + "<|vision_start|>", + "<|vision_end|>", + "<|vision_pad|>", + "<|image_pad|>", + "<|video_pad|>" + ], + "bos_token": "<|endoftext|>", + "chat_template": "{%- if tools %}\n {{- '<|im_start|>system\\n' }}\n {%- if messages[0]['role'] == 'system' %}\n {{- messages[0]['content'] }}\n {%- else %}\n {{- 'You are Qwen, created by Alibaba Cloud. You are a helpful assistant.' }}\n {%- endif %}\n {{- \"\\n\\n# Tools\\n\\nYou may call one or more functions to assist with the user query.\\n\\nYou are provided with function signatures within XML tags:\\n\" }}\n {%- for tool in tools %}\n {{- \"\\n\" }}\n {{- tool | tojson }}\n {%- endfor %}\n {{- \"\\n\\n\\nFor each function call, return a json object with function name and arguments within XML tags:\\n\\n{\\\"name\\\": , \\\"arguments\\\": }\\n<|im_end|>\\n\" }}\n{%- else %}\n {%- if messages[0]['role'] == 'system' %}\n {{- '<|im_start|>system\\n' + messages[0]['content'] + '<|im_end|>\\n' }}\n {%- endif %}\n{%- endif %}\n{%- for message in messages %}\n {%- if (message.role == \"user\") or (message.role == \"system\" and not loop.first) or (message.role == \"assistant\" and not message.tool_calls) %}\n {{- '<|im_start|>' + message.role + '\\n' + message.content + '<|im_end|>' + '\\n' }}\n {%- elif message.role == \"assistant\" %}\n {{- '<|im_start|>' + message.role }}\n {%- if message.content %}\n {{- '\\n' + message.content }}\n {%- endif %}\n {%- for tool_call in message.tool_calls %}\n {%- if tool_call.function is defined %}\n {%- set tool_call = tool_call.function %}\n {%- endif %}\n {{- '\\n\\n{\"name\": \"' }}\n {{- tool_call.name }}\n {{- '\", \"arguments\": ' }}\n {{- tool_call.arguments | tojson }}\n {{- '}\\n' }}\n {%- endfor %}\n {{- '<|im_end|>\\n' }}\n {%- elif message.role == \"tool\" %}\n {%- if (loop.index0 == 0) or (messages[loop.index0 - 1].role != \"tool\") %}\n {{- '<|im_start|>user' }}\n {%- endif %}\n {{- '\\n\\n' }}\n {{- message.content }}\n {{- '\\n' }}\n {%- if loop.last or (messages[loop.index0 + 1].role != \"tool\") %}\n {{- '<|im_end|>\\n' }}\n {%- endif %}\n {%- endif %}\n{%- endfor %}\n{%- if add_generation_prompt %}\n {{- '<|im_start|>assistant\\n' }}\n{%- endif %}\n", + "clean_up_tokenization_spaces": false, + "eos_token": "<|im_end|>", + "errors": "replace", + "model_max_length": 131072, + "pad_token": "<|endoftext|>", + "split_special_tokens": false, + "tokenizer_class": "Qwen2Tokenizer", + "unk_token": null +} diff --git a/vocab.json b/vocab.json new file mode 100644 index 0000000..f882435 --- /dev/null +++ b/vocab.json @@ -0,0 +1 @@ +{"!":0,"\"":1,"#":2,"$":3,"%":4,"&":5,"'":6,"(":7,")":8,"*":9,"+":10,",":11,"-":12,".":13,"/":14,"0":15,"1":16,"2":17,"3":18,"4":19,"5":20,"6":21,"7":22,"8":23,"9":24,":":25,";":26,"<":27,"=":28,">":29,"?":30,"@":31,"A":32,"B":33,"C":34,"D":35,"E":36,"F":37,"G":38,"H":39,"I":40,"J":41,"K":42,"L":43,"M":44,"N":45,"O":46,"P":47,"Q":48,"R":49,"S":50,"T":51,"U":52,"V":53,"W":54,"X":55,"Y":56,"Z":57,"[":58,"\\":59,"]":60,"^":61,"_":62,"`":63,"a":64,"b":65,"c":66,"d":67,"e":68,"f":69,"g":70,"h":71,"i":72,"j":73,"k":74,"l":75,"m":76,"n":77,"o":78,"p":79,"q":80,"r":81,"s":82,"t":83,"u":84,"v":85,"w":86,"x":87,"y":88,"z":89,"{":90,"|":91,"}":92,"~":93,"¡":94,"¢":95,"£":96,"¤":97,"¥":98,"¦":99,"§":100,"¨":101,"©":102,"ª":103,"«":104,"¬":105,"®":106,"¯":107,"°":108,"±":109,"²":110,"³":111,"´":112,"µ":113,"¶":114,"·":115,"¸":116,"¹":117,"º":118,"»":119,"¼":120,"½":121,"¾":122,"¿":123,"À":124,"Á":125,"Â":126,"Ã":127,"Ä":128,"Å":129,"Æ":130,"Ç":131,"È":132,"É":133,"Ê":134,"Ë":135,"Ì":136,"Í":137,"Î":138,"Ï":139,"Ð":140,"Ñ":141,"Ò":142,"Ó":143,"Ô":144,"Õ":145,"Ö":146,"×":147,"Ø":148,"Ù":149,"Ú":150,"Û":151,"Ü":152,"Ý":153,"Þ":154,"ß":155,"à":156,"á":157,"â":158,"ã":159,"ä":160,"å":161,"æ":162,"ç":163,"è":164,"é":165,"ê":166,"ë":167,"ì":168,"í":169,"î":170,"ï":171,"ð":172,"ñ":173,"ò":174,"ó":175,"ô":176,"õ":177,"ö":178,"÷":179,"ø":180,"ù":181,"ú":182,"û":183,"ü":184,"ý":185,"þ":186,"ÿ":187,"Ā":188,"ā":189,"Ă":190,"ă":191,"Ą":192,"ą":193,"Ć":194,"ć":195,"Ĉ":196,"ĉ":197,"Ċ":198,"ċ":199,"Č":200,"č":201,"Ď":202,"ď":203,"Đ":204,"đ":205,"Ē":206,"ē":207,"Ĕ":208,"ĕ":209,"Ė":210,"ė":211,"Ę":212,"ę":213,"Ě":214,"ě":215,"Ĝ":216,"ĝ":217,"Ğ":218,"ğ":219,"Ġ":220,"ġ":221,"Ģ":222,"ģ":223,"Ĥ":224,"ĥ":225,"Ħ":226,"ħ":227,"Ĩ":228,"ĩ":229,"Ī":230,"ī":231,"Ĭ":232,"ĭ":233,"Į":234,"į":235,"İ":236,"ı":237,"IJ":238,"ij":239,"Ĵ":240,"ĵ":241,"Ķ":242,"ķ":243,"ĸ":244,"Ĺ":245,"ĺ":246,"Ļ":247,"ļ":248,"Ľ":249,"ľ":250,"Ŀ":251,"ŀ":252,"Ł":253,"ł":254,"Ń":255,"ĠĠ":256,"ĠĠĠĠ":257,"in":258,"Ġt":259,"ĠĠĠĠĠĠĠĠ":260,"er":261,"ĠĠĠ":262,"on":263,"Ġa":264,"re":265,"at":266,"st":267,"en":268,"or":269,"Ġth":270,"ĊĊ":271,"Ġc":272,"le":273,"Ġs":274,"it":275,"an":276,"ar":277,"al":278,"Ġthe":279,";Ċ":280,"Ġp":281,"Ġf":282,"ou":283,"Ġ=":284,"is":285,"ĠĠĠĠĠĠĠ":286,"ing":287,"es":288,"Ġw":289,"ion":290,"ed":291,"ic":292,"Ġb":293,"Ġd":294,"et":295,"Ġm":296,"Ġo":297,"ĉĉ":298,"ro":299,"as":300,"el":301,"ct":302,"nd":303,"Ġin":304,"Ġh":305,"ent":306,"id":307,"Ġn":308,"am":309,"ĠĠĠĠĠĠĠĠĠĠĠ":310,"Ġto":311,"Ġre":312,"--":313,"Ġ{":314,"Ġof":315,"om":316,");Ċ":317,"im":318,"čĊ":319,"Ġ(":320,"il":321,"//":322,"Ġand":323,"ur":324,"se":325,"Ġl":326,"ex":327,"ĠS":328,"ad":329,"Ġ\"":330,"ch":331,"ut":332,"if":333,"**":334,"Ġ}":335,"em":336,"ol":337,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":338,"th":339,")Ċ":340,"Ġ{Ċ":341,"Ġg":342,"ig":343,"iv":344,",Ċ":345,"ce":346,"od":347,"Ġv":348,"ate":349,"ĠT":350,"ag":351,"ay":352,"Ġ*":353,"ot":354,"us":355,"ĠC":356,"Ġst":357,"ĠI":358,"un":359,"ul":360,"ue":361,"ĠA":362,"ow":363,"Ġ'":364,"ew":365,"Ġ<":366,"ation":367,"()":368,"Ġfor":369,"ab":370,"ort":371,"um":372,"ame":373,"Ġis":374,"pe":375,"tr":376,"ck":377,"âĢ":378,"Ġy":379,"ist":380,"----":381,".ĊĊ":382,"he":383,"Ġe":384,"lo":385,"ĠM":386,"Ġbe":387,"ers":388,"Ġon":389,"Ġcon":390,"ap":391,"ub":392,"ĠP":393,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":394,"ass":395,"int":396,">Ċ":397,"ly":398,"urn":399,"Ġ$":400,";ĊĊ":401,"av":402,"port":403,"ir":404,"->":405,"nt":406,"ction":407,"end":408,"Ġde":409,"00":410,"ith":411,"out":412,"turn":413,"our":414,"ĠĠĠĠĠ":415,"lic":416,"res":417,"pt":418,"==":419,"Ġthis":420,"Ġwh":421,"Ġif":422,"ĠD":423,"ver":424,"age":425,"ĠB":426,"ht":427,"ext":428,"=\"":429,"Ġthat":430,"****":431,"ĠR":432,"Ġit":433,"ess":434,"ĠF":435,"Ġr":436,"os":437,"and":438,"Ġas":439,"ect":440,"ke":441,"rom":442,"Ġ//":443,"con":444,"ĠL":445,"(\"":446,"qu":447,"lass":448,"Ġwith":449,"iz":450,"de":451,"ĠN":452,"Ġal":453,"op":454,"up":455,"get":456,"Ġ}Ċ":457,"ile":458,"Ġan":459,"ata":460,"ore":461,"ri":462,"Ġpro":463,";čĊ":464,"ĉĉĉĉ":465,"ter":466,"ain":467,"ĠW":468,"ĠE":469,"Ġcom":470,"Ġreturn":471,"art":472,"ĠH":473,"ack":474,"import":475,"ublic":476,"Ġor":477,"est":478,"ment":479,"ĠG":480,"able":481,"Ġ-":482,"ine":483,"ill":484,"ind":485,"ere":486,"::":487,"ity":488,"Ġ+":489,"Ġtr":490,"elf":491,"ight":492,"('":493,"orm":494,"ult":495,"str":496,"..":497,"\",":498,"Ġyou":499,"ype":500,"pl":501,"Ġnew":502,"Ġj":503,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":504,"Ġfrom":505,"Ġex":506,"ĠO":507,"20":508,"ld":509,"Ġ[":510,"oc":511,":Ċ":512,"Ġse":513,"Ġle":514,"--------":515,".s":516,"{Ċ":517,"',":518,"ant":519,"Ġat":520,"ase":521,".c":522,"Ġch":523,"":591,"ust":592,"que":593,"Ġres":594,"))":595,"'s":596,"Ġk":597,"ans":598,"yst":599,"unction":600,"********":601,"Ġi":602,"Ġus":603,"pp":604,"10":605,"one":606,"ail":607,"====":608,"name":609,"Ġstr":610,"Ġ/":611,"Ġ&":612,"ach":613,"div":614,"ystem":615,"ell":616,"Ġhave":617,"err":618,"ould":619,"ull":620,"pon":621,"ĠJ":622,"_p":623,"Ġ==":624,"ign":625,"St":626,".Ċ":627,"Ġpl":628,");ĊĊ":629,"form":630,"put":631,"ount":632,"}ĊĊ":633,"dd":634,"ite":635,"Ġget":636,"rr":637,"ome":638,"ĠâĢ":639,"aram":640,"cc":641,"Ġ*/":642,"ER":643,"In":644,"les":645,"_s":646,"ong":647,"ie":648,"Ġcan":649,"ĠV":650,"erv":651,"pr":652,"Ġun":653,"row":654,"ber":655,"Ġdo":656,"ll":657,"Ġel":658,"Ġself":659,"ated":660,"ary":661,"Ġ.":662,"']":663,"ud":664,"Ġen":665,"ĠTh":666,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":667,"te":668,"_c":669,"uct":670,"Ġab":671,"ork":672,".get":673,"Ġ#":674,"aw":675,"ress":676,"ob":677,"Name":678,"201":679,"app":680,"['":681,"Ġall":682,"ory":683,"ition":684,"ance":685,"ear":686,"Ġcont":687,"vent":688,"ia":689,"Ġwill":690,"IN":691,"ĠĠĠĠĠĠĠĠĠ":692,"return":693,"Ġ":760,"\",Ċ":761,"ec":762,"ĠIn":763,"ph":764,"Ġ|":765,"_f":766,"Ġvar":767,"ence":768,"Id":769,"ree":770,"ink":771,"lect":772,"ug":773,"eth":774,"Ġelse":775,"----------------":776,"19":777,"cont":778,"Ġso":779,"atic":780,"Ġlo":781,"pro":782,"ton":783,"ss":784,"own":785,"abel":786,"oint":787,"ous":788,"eld":789,"ST":790,"The":791,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":792,"RE":793,"\":":794,"olor":795,"tp":796,"eg":797,"key":798,"ude":799,"ĠSt":800,"ound":801,"Ġar":802,"\");Ċ":803,"ener":804,"ser":805,"11":806,"bject":807,"essage":808,"fer":809,"Ġmore":810,"ations":811,"ents":812,"Ġhis":813,"Ġthey":814,".S":815,"ĠY":816,"use":817,"ne":818,"ish":819,"old":820,"_d":821,"io":822,"ield":823,"Ġper":824,"Cont":825,"ings":826,"####":827,"Ġdata":828,"Ġsa":829,"ef":830,"fo":831,"Ġone":832,"eng":833,"Ġdis":834,"AT":835,"Ġname":836,"Ġtrue":837,"val":838,"led":839,".f":840,"Ġne":841,"Ġend":842,"32":843,".T":844,"16":845,"cre":846,"ark":847,"log":848,"Ex":849,"error":850,"_id":851,"urre":852,"ange":853,"Ġnull":854,"rray":855,"Ġmy":856,"pan":857,"ict":858,"ator":859,"View":860,"List":861,"ĉreturn":862,"âĢĿ":863,"Ġpre":864,"Ġx":865,"clude":866,"arg":867,"15":868,"ov":869,".h":870,"Ġ>":871,"Ġtheir":872,"')":873,"irst":874,"ick":875,"gh":876,"LE":877,"OR":878,"Ġprivate":879,"tem":880,"čĊčĊ":881,"user":882,"Ġ)":883,"com":884,".A":885,"\";Ċ":886,"Ġid":887,"read":888,"Ġwho":889,"_b":890,"\">Ċ":891,"Ġtime":892,"Ġman":893,"ry":894,"========":895,"roup":896,"rop":897,"public":898,"vel":899,"umber":900,"ble":901,"Ġwhich":902,"****************":903,"Ġany":904,"Ġfalse":905,"we":906,"Ġvalue":907,"Ġli":908,"\")":909,"nder":910,"gr":911,"Ġno":912,"param":913,"25":914,"fig":915,".com":916,"Ġapp":917,"_l":918,"ions":919,".D":920,"ĠCh":921,"Ġabout":922,"Ġadd":923,"Ġsu":924,"Ġstring":925,"ID":926,"Ġover":927,"string":928,".l":929,"ource":930,"000":931,"_C":932,"]Ċ":933,"Ġqu":934,"ĠString":935,"ca":936,"SE":937,"Ġro":938,"sh":939,"ual":940,"Type":941,"son":942,"new":943,"ern":944,"Ġag":945,"AR":946,"];Ċ":947,"].":948,"Ġ?":949,"ical":950,"Ġdes":951,"uth":952,"ix":953,"ays":954,"Ġtype":955,"'t":956,"ault":957,"Ġinter":958,"var":959,".b":960,"Ġpart":961,".d":962,"urrent":963,"IT":964,"EN":965,"30":966,"enc":967,"(f":968,"ra":969,"value":970,"cho":971,"18":972,"utton":973,"ose":974,"14":975,"Ġ!=":976,"ater":977,"é":978,"reate":979,"oll":980,"pos":981,"yle":982,"ng":983,"AL":984,"using":985,"ames":986,"Ġ{čĊ":987,"ates":988,"ely":989,"Ġwork":990,"Ġem":991,"inal":992,"Ġsp":993,"Ġwhen":994,".set":995,"ĠĠĠĠĠĠ":996,"):Ċ":997,"to":998,"quire":999,"indow":1000,"lement":1001,"pect":1002,"ash":1003,"[i":1004,"Ġuse":1005,".F":1006,"pec":1007,"Ġad":1008,"ove":1009,"ception":1010,"ength":1011,"include":1012,"ader":1013,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":1014,"atus":1015,"Th":1016,"itle":1017,"rit":1018,"void":1019,"().":1020,"(Ċ":1021,"Ġoff":1022,"Ġother":1023,"Ġ&&":1024,"';Ċ":1025,"ms":1026,"Ġbeen":1027,"Ġte":1028,"ml":1029,"co":1030,"nc":1031,"13":1032,"ervice":1033,"Ġ%":1034,"**Ċ":1035,"ann":1036,"ade":1037,"ĊĊĊĊ":1038,"lock":1039,"const":1040,"100":1041,"ponse":1042,"Ġsup":1043,"++":1044,"date":1045,"Ġacc":1046,"Ġhad":1047,"Ġbu":1048,"200":1049,"ĠRe":1050,"Ġwere":1051,"Ġfile":1052,"Ġwould":1053,"ĠâĢľ":1054,"ven":1055,"iss":1056,"Ġour":1057,"class":1058,"raw":1059,"Ġyear":1060,"Data":1061,"Ġval":1062,"Ġsome":1063,"fter":1064,"ys":1065,"Ġ///":1066,"round":1067,"view":1068,"Ġpe":1069,"Ġthere":1070,"Ġsaid":1071,"du":1072,"of":1073,"line":1074,"/*":1075,"duct":1076,"Ġher":1077,"ĠĠĠĠĠĠĠĠĠĠĠĠĠ":1078,"Res":1079,"Ġco":1080,"Ġcomm":1081,"ise":1082,"min":1083,"ĠĠĠĠĊ":1084,"#include":1085,"ethod":1086,".P":1087,"ute":1088,"Ġass":1089,"Int":1090,"ask":1091,"loc":1092,"Ġlike":1093,"ody":1094,"Ġlet":1095,"load":1096,"Ġam":1097,"rol":1098,"Ġgr":1099,"yp":1100,"Ġalso":1101,"ĠIt":1102,"url":1103,"ific":1104,"ors":1105,"_P":1106,"_n":1107,"igh":1108,"Ġthan":1109,"Com":1110,"AN":1111,"UL":1112,"ating":1113,"17":1114,"ĠThis":1115,"ref":1116,"_S":1117,"Ġstatic":1118,"roll":1119,"Ġjust":1120,"Ġresult":1121,"ian":1122,"idth":1123,"Ġthem":1124,"));Ċ":1125,"der":1126,"reak":1127,"Con":1128,"://":1129,"ule":1130,"...":1131,"arch":1132,"ement":1133,"Ġ<<":1134,"50":1135,"ush":1136,"ense":1137,"arr":1138,"Ġinto":1139,"cess":1140,"amp":1141,"ied":1142,"ument":1143,"Ġ\\":1144,"],":1145,"wo":1146,"als":1147,"Ġwhat":1148,"anc":1149,"Value":1150,"='":1151,"olum":1152,"Ġpos":1153,"ages":1154,"ayer":1155,"Ġsc":1156,"ues":1157,"\")Ċ":1158,"_T":1159,"Ġlist":1160,"(s":1161,"Ġcase":1162,"Ch":1163,"ĉĉĉĉĉ":1164,"////////":1165,"ponent":1166,"Ġz":1167,"Ġkn":1168,"let":1169,"DE":1170,"red":1171,"Ġfe":1172,"Ġ},Ċ":1173,"Ġ,":1174,"(t":1175,"Ġfirst":1176,"');Ċ":1177,"word":1178,"Ġimport":1179,"Ġact":1180,"Ġchar":1181,"CT":1182,"ĠTr":1183,"ople":1184,"={":1185,"ĉf":1186,"24":1187,"ient":1188,"cent":1189,".j":1190,"lection":1191,"))Ċ":1192,"Ġonly":1193,"Ġprint":1194,"mer":1195,".W":1196,"ock":1197,"Ġ--":1198,"Text":1199,"Ġop":1200,"ank":1201,"Ġits":1202,"Ġback":1203,"[\"":1204,"Ġneed":1205,"Ġcl":1206,"Ġsub":1207,"Ġla":1208,"((":1209,".\"":1210,"Object":1211,"Ġstart":1212,"file":1213,"(self":1214,"ner":1215,"ey":1216,"Ġuser":1217,"Ġent":1218,"ĠCom":1219,"its":1220,"ĠCon":1221,"ouble":1222,"ower":1223,"item":1224,"very":1225,"ĠWe":1226,"64":1227,"lick":1228,"ĠQ":1229,"php":1230,"ttp":1231,"':":1232,"ics":1233,"Ġunder":1234,"Ġ*Ċ":1235,".L":1236,");":1237,"ices":1238,"Ġreg":1239,")čĊ":1240,"ĉpublic":1241,"SS":1242,"Ġthen":1243,"reat":1244,"ious":1245,".G":1246,"ek":1247,"irect":1248,"heck":1249,"cript":1250,"ning":1251,"ĠUn":1252,"Ġmay":1253,"ĠWh":1254,"Bo":1255,"Item":1256,"struct":1257,".st":1258,"ream":1259,"ible":1260,"loat":1261,"Ġorg":1262,"und":1263,"sum":1264,"_in":1265,"../":1266,"_M":1267,"Ġhow":1268,"rite":1269,"'Ċ":1270,"To":1271,"40":1272,"ww":1273,"Ġpeople":1274,"index":1275,".n":1276,"http":1277,"(m":1278,"ector":1279,"Ġind":1280,"Ġjav":1281,"],Ċ":1282,"ĠHe":1283,"_st":1284,"ful":1285,"ole":1286,"){Ċ":1287,"Ġshould":1288,"opy":1289,"elp":1290,"ier":1291,"_name":1292,"erson":1293,"ION":1294,"ote":1295,"Ġtest":1296,"Ġbet":1297,"rror":1298,"ular":1299,"ãĢ":1300,"ĠÐ":1301,"bs":1302,"ting":1303,"Ġmake":1304,"Tr":1305,"Ġafter":1306,"arget":1307,"RO":1308,"olumn":1309,"rc":1310,"_re":1311,"define":1312,"22":1313,"Ġright":1314,"right":1315,"day":1316,"Ġlong":1317,"[]":1318,"(p":1319,"td":1320,"cond":1321,"ĠPro":1322,"Ġrem":1323,"ptions":1324,"vid":1325,".g":1326,"Ġext":1327,"Ġ__":1328,"')Ċ":1329,"pace":1330,"mp":1331,"Ġmin":1332,"stance":1333,"air":1334,"action":1335,"wh":1336,"type":1337,"util":1338,"ait":1339,"ĊĊ":1363,"Ġshe":1364,"\"]":1365,"aph":1366,"Ġexp":1367,"erty":1368,"ĠSe":1369,"Ġpar":1370,"unc":1371,"ET":1372,"Ġread":1373,"print":1374,"Ġrel":1375,"Ġform":1376,"Ġdr":1377,"Exception":1378,"input":1379,"Ġtrans":1380,"########":1381,"order":1382,"By":1383,"Ġaw":1384,"ities":1385,"uff":1386,"play":1387,".add":1388,"ĠâĢĵ":1389,"Ġwant":1390,"Ġcomp":1391,"ments":1392,"Ġ||":1393,"az":1394,"be":1395,"Ġnumber":1396,"Ġrequire":1397,"ĠEx":1398,"60":1399,"Ġcol":1400,"Ġkey":1401,"ember":1402,"Ġtwo":1403,"Ġsize":1404,"Ġwhere":1405,"UT":1406,"result":1407,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":1408,"ough":1409,"orld":1410,"ood":1411,"uch":1412,"ative":1413,"ger":1414,"arent":1415,"Ġ/*":1416,"Ġarg":1417,"Ġwhile":1418,"23":1419,"(this":1420,"Ġrec":1421,"Ġdif":1422,"State":1423,"Ġspec":1424,"ride":1425,"_F":1426,"Ġlook":1427,"AM":1428,"ility":1429,"eter":1430,"âĢĻt":1431,"ĊĊĊ":1432,"ayout":1433,"--------------------------------":1434,"ager":1435,"Ġcould":1436,"Ġbr":1437,"ends":1438,"ures":1439,"Ġknow":1440,"ets":1441,"ĠIf":1442,"ĠSh":1443,".w":1444,"back":1445,"Ġser":1446,"Ġ+=":1447,"Ġfr":1448,"());Ċ":1449,"Ġhand":1450,"Ind":1451,"ULL":1452,"Im":1453,"();ĊĊ":1454,"Ġmost":1455,"Ġtry":1456,"Ġnow":1457,"rough":1458,">čĊ":1459,"ackage":1460,"Ġhim":1461,"._":1462,"ify":1463,"Ġbreak":1464,"Ġ);Ċ":1465,"ren":1466,"#define":1467,"itt":1468,"Ġap":1469,"ĉc":1470,"(n":1471,"ĠYou":1472,":ĊĊ":1473,"-m":1474,"Ġevery":1475,"ustom":1476,"lient":1477,"ocument":1478,"cription":1479,"Error":1480,"-b":1481,"о":1482,"][":1483,"99":1484,"trans":1485,"Ġpoint":1486,"Ġstd":1487,"Ġfil":1488,"Time":1489,"80":1490,"Ġmod":1491,"Ġ->":1492,"Ġerror":1493,"ah":1494,"Ġtext":1495,"roller":1496,"lose":1497,"ql":1498,"Ġpol":1499,"><":1822,".B":1823,"-c":1824,"Ġopen":1825,"Ġest":1826,"ĠĠĠĠĠĠĠĠĊ":1827,"Ġnext":1828,"IM":1829,"ÑĤ":1830,"OT":1831,"ó":1832,"Ġfollow":1833,"content":1834,"ĠĠĠĠĠĠĠĠĠĠĠĠ":1835,"Ġinclud":1836,"HE":1837,"ĠRes":1838,"Ġhref":1839,"и":1840,"Ġcar":1841,"ypes":1842,"image":1843,"Un":1844,"Ġbool":1845,"AD":1846,"Ġgame":1847,".Form":1848,"rows":1849,"*/":1850,"velop":1851,".Drawing":1852,"Ġpath":1853,"ision":1854,"Ġeach":1855,"ĠPl":1856,"_type":1857,"Path":1858,"nection":1859,"Ġav":1860,"').":1861,"Ġsupport":1862,"ENT":1863,"rem":1864,"\").":1865,"Ġown":1866,"Ġcor":1867,"count":1868,"miss":1869,"ually":1870,"Ġmem":1871,"std":1872,"ience":1873,"search":1874,"\"ĊĊ":1875,"Form":1876,"Ġsex":1877,"ename":1878,"Ġsign":1879,"Ġet":1880,"ĠĠĠĠĠĠĠĠĠĠ":1881,"','":1882,"ĠApp":1883,"Ġthose":1884,"off":1885,"Ġerr":1886,"Ġsystem":1887,"Ġbest":1888,"code":1889,"Ġsame":1890,"Ġdi":1891,"uss":1892,"Ġcreate":1893,"ather":1894,"Array":1895,".in":1896,"fe":1897,"Service":1898,"UN":1899,"ats":1900,"ĠZ":1901,"alth":1902,"Ġmade":1903,"true":1904,"AB":1905,"Ġmark":1906,"rid":1907,"ified":1908,",čĊ":1909,"yn":1910,"press":1911,"Ġgroup":1912,"Ġfin":1913,"ĠLicense":1914,"Field":1915,"eger":1916,"Ġworld":1917,"iness":1918,"ty":1919,"Ġprocess":1920,"(b":1921,"Ġcre":1922,"arn":1923,"ives":1924,"Ġmain":1925,"ideo":1926,"36":1927,"_g":1928,"AG":1929,"valid":1930,"img":1931,"PI":1932,"Ġcolor":1933,"Ġreport":1934,"Ġtake":1935,"rib":1936,"OM":1937,"Ġday":1938,"Request":1939,"Ġsk":1940,"bers":1941,"ĉs":1942,".Add":1943,"oot":1944,"Image":1945,"Ġcomple":1946,"ollection":1947,"Ġtop":1948,"Ġfree":1949,"AS":1950,"De":1951,"ĠOn":1952,"IG":1953,"90":1954,"eta":1955,"Date":1956,"Ġaction":1957,"34":1958,"Over":1959,"itor":1960,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":1961,"not":1962,"Ġindex":1963,"her":1964,"icon":1965,"On":1966,";čĊčĊ":1967,"ivity":1968,"mand":1969,".Windows":1970,"OL":1971,"Ġreal":1972,"Ġmax":1973,"land":1974,"....":1975,"raph":1976,"Ġbuild":1977,"leg":1978,"assword":1979,"?ĊĊ":1980,"âĢ¦":1981,"ook":1982,"uck":1983,"Ġmessage":1984,"test":1985,"ivers":1986,"38":1987,"Ġinput":1988,"Ġart":1989,"Ġbetween":1990,"Get":1991,"enter":1992,"ground":1993,"ene":1994,"á":1995,".length":1996,"Node":1997,"(i":1998,"Class":1999,"for":2000,"ĠâĢĶ":2001,"ten":2002,"oin":2003,"Ġke":2004,"ui":2005,"ĠIN":2006,"Ġtable":2007,"sub":2008,"ĠLe":2009,"Ġhead":2010,"Ġmust":2011,"////////////////":2012,".util":2013,"Context":2014,"Ġorder":2015,"Ġmov":2016,"over":2017,"Ġcontin":2018,"Ġsay":2019,"static":2020,".Text":2021,"ĠclassName":2022,"pany":2023,"Ġter":2024,"head":2025,"rg":2026,"Ġproduct":2027,"This":2028,".âĢĿ":2029,"ĠBut":2030,"70":2031,"loy":2032,"Ġdouble":2033,"sg":2034,"Ġplace":2035,".x":2036,"message":2037,"Ġinformation":2038,"private":2039,"Ġoper":2040,"ced":2041,"db":2042,"\">":2228,"aterial":2229,"iled":2230,"Ġput":2231,"Qu":2232,"ÑĢ":2233,"ung":2234,"map":2235,"ĉĉĉĉĉĉĉĉ":2236,"Ġlevel":2237,"Component":2238,"book":2239,"creen":2240,"_RE":2241,"Ġconfig":2242,"ãģ":2243,"Or":2244,".data":2245,"Ġdocument":2246,"\",\"":2247,"tribute":2248,"ux":2249,"Log":2250,"ference":2251,"post":2252,"_e":2253,"Ġlocal":2254,"andom":2255,"assert":2256,"Val":2257,"lected":2258,"ina":2259,"atabase":2260,"Add":2261,"Ġcontent":2262,".print":2263,"signed":2264,"ric":2265,".\"ĊĊ":2266,"Ġfa":2267,"!ĊĊ":2268,"-f":2269,"ived":2270,"Ġquest":2271,".ex":2272,"Ġfloat":2273,"Ġdevelop":2274,"оÐ":2275,"Map":2276,"ading":2277,"Ġposs":2278,"UE":2279,"namespace":2280,"_O":2281,"ĉb":2282,".Get":2283,">(":2284,"json":2285,"etails":2286,"66":2287,"Ġtoo":2288,"Ġextends":2289,"ĠNone":2290,"Ġfore":2291,"(String":2292,"format":2293,"Ġgreat":2294,"inter":2295,"cale":2296,"Ñģ":2297,"ron":2298,"iving":2299,"Ent":2300,"ency":2301,"xt":2302,"oy":2303,"05":2304,"Ġmonth":2305,"Ġhapp":2306,"Ġsuper":2307,"bar":2308,"default":2309,"_de":2310,"ords":2311,"ln":2312,"({Ċ":2313,"ĠInd":2314,"ases":2315,"Ġtitle":2316,"Ġcontext":2317,"08":2318,"oh":2319,"-p":2320,"Em":2321,"Ġmet":2322,"Test":2323,"Ġlife":2324,"_v":2325,"ĠUS":2326,"UI":2327,"ocation":2328,"md":2329,"Ġ[Ċ":2330,"Ġ]":2331,"sw":2332,"Ġincre":2333,"script":2334,"ential":2335,"ways":2336,".de":2337,"Ġsrc":2338,"Ġcatch":2339,"ĠAmeric":2340,"//Ċ":2341,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":2342,"Ġpay":2343,"plit":2344,"âĢĶ":2345,"Ġcoun":2346,"obj":2347,".php":2348,"Ġchange":2349,"ething":2350,"'re":2351,"aster":2352,"los":2353,"lation":2354,"ĠĠĊ":2355,"Le":2356,"ä":2357,"({":2358,"ready":2359,"ĠNo":2360,"Ġposition":2361,"Ġold":2362,"Ġbook":2363,"abled":2364,"bug":2365,"202":2366,"Hand":2367,"};ĊĊ":2368,"isplay":2369,"aving":2370,"04":2371,"Ġgover":2372,"Ġversion":2373,"System":2374,"nect":2375,"response":2376,"Style":2377,"Up":2378,"angu":2379,"Ġthree":2380,"init":2381,"ero":2382,"Ġlaw":2383,"endif":2384,"Ġbase":2385,"email":2386,"(l":2387,"_V":2388,"Ġconf":2389,"ATE":2390,"Ġduring":2391,"tes":2392,"Ġconsole":2393,"ĠPr":2394,"Ġspe":2395,"ves":2396,"65":2397,"path":2398,"ialog":2399,"dition":2400,"_to":2401,"ards":2402,"Ġagainst":2403,"etwork":2404,"ĠPh":2405,"_L":2406,"cur":2407,"imit":2408,"With":2409,"Ġpower":2410,"ium":2411,"';ĊĊ":2412,"Ġwom":2413,"left":2414,"ources":2415,"atri":2416,"ĠIm":2417,"ĠMan":2418,"orth":2419,"${":2420,"88":2421,"quals":2422,"ese":2423,"_size":2424,"Ġiss":2425,"otal":2426,"-g":2427,"ique":2428,"rame":2429,"Ġwidth":2430,"erg":2431,")(":2432,"ittle":2433,"TR":2434,"ĠThey":2435,"ences":2436,"02":2437,"rl":2438,"ons":2439,"Ġlabel":2440,".y":2441,"-t":2442,"update":2443,"anel":2444,"sc":2445,".to":2446,"Ġproject":2447,"ü":2448,"Ġelement":2449,"Ġsuccess":2450,"ĉĉĊ":2451,".sh":2452,"ram":2453,"ched":2454,"())Ċ":2455,"Ġ(Ċ":2456,"Ġdate":2457,"Ġtot":2458,"_ST":2459,"All":2460,"ification":2461,"ĉvar":2462,"Ġtri":2463,"chem":2464,"my":2465,"Ġbig":2466,"ĠAd":2467,"ĠAt":2468,"ots":2469,"num":2470,"Act":2471,"Ġmap":2472,"era":2473,"cope":2474,".$":2475,",âĢĿ":2476,"Ġpop":2477,"Ġfew":2478,"Ġlen":2479,"uid":2480,"eters":2481,"ules":2482,"ÃŃ":2483,"source":2484,"https":2485,"Ġdem":2486,"Ġear":2487,"################":2488,"Ġmatch":2489,"ories":2490,"49":2491,"aces":2492,"ĠCl":2493,"Ġnode":2494,"78":2495,"irc":2496,"local":2497,"unity":2498,"};Ċ":2499,"Ġanother":2500,"<<":2501,"ogle":2502,"Ġsit":2503,"ework":2504,"TE":2505,".I":2506,"NS":2507,"ology":2508,"ought":2509,".Cont":2510,">>":2511,"Ġcare":2512,"state":2513,"ĉprivate":2514,"Ġeffect":2515,"++)":2516,"_file":2517,"ending":2518,"Line":2519,"For":2520,"ior":2521,"ĠSc":2522,"Ġfun":2523,".Size":2524,"ĉelse":2525,"])":2526,"start":2527,"vious":2528,"Ġ},":2529,"ours":2530,"Ġleg":2531,"Ġservice":2532,"Ġsince":2533,"iron":2534,"Label":2535,"Ġnon":2536,"Ġlos":2537,"iction":2538,"Ġfull":2539,"acter":2540,"board":2541,"gress":2542,"Ġturn":2543,"ither":2544,"09":2545,".size":2546,"Ġbody":2547,"resh":2548,"eturn":2549,"199":2550,"(_":2551,"yles":2552,"ormal":2553,"pi":2554,"Ġsomething":2555,"!--":2556,"uint":2557,"Ġprodu":2558,"Ġstand":2559,"Ġproble":2560,"Ġavailable":2561,"mt":2562,"ĠBl":2563,"Ġ...":2564,"Ġblock":2565,"Input":2566,"Ġkeep":2567,"Count":2568,"open":2569,"Ġ['":2570,"Ġthrow":2571,"uilder":2572,"Action":2573,"Ġthings":2574,"True":2575,"Ġurl":2576,"ĠBo":2577,"printf":2578,"Ġred":2579,"js":2580,".create":2581,"ĠOr":2582,"Status":2583,"Instance":2584,"Ġcontrol":2585,"Ġcome":2586,"Ġcustom":2587,"location":2588,"07":2589,"model":2590,"ĠčĊ":2591,"Ġsource":2592,"Ġeas":2593,".out":2594,"]ĊĊ":2595,"oney":2596,"Ġawait":2597,"Ġpartic":2598,"AP":2599,"ublish":2600,"odes":2601,"_pro":2602,"ply":2603,"riter":2604,"Ġprov":2605,"Ġmill":2606,"HT":2607,"])Ċ":2608,"Ġchang":2609,"Ġask":2610,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":2611,"Ġoutput":2612,"Ġemail":2613,"68":2614,".push":2615,"Ġ}čĊčĊ":2616,"ination":2617,"47":2618,"atrix":2619,"Table":2620,"uccess":2621,"]);Ċ":2622,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":2623,"Ġdisc":2624,"([":2625,"Ġbusiness":2626,"height":2627,".html":2628,"ta":2629,"field":2630,"Ġrequired":2631,"_R":2632,"Ġgovern":2633,"}čĊčĊ":2634,"lex":2635,"500":2636,".,":2637,"ĠSet":2638,"urch":2639,"///":2640,"ts":2641,"af":2642,"Ġmight":2643,"istory":2644,"Str":2645,"Ġnever":2646,"Response":2647,"arse":2648,"ada":2649,"ĠHow":2650,"Ġ*)":2651,"Ġ;":2652,"Ġhard":2653,"Ad":2654,"Ġintern":2655,"used":2656,"(data":2657,"mod":2658,"annel":2659,"Ġnp":2660,"ugg":2661,"Ġ/>Ċ":2662,"Ġcalled":2663,"body":2664,"Ġcho":2665,"(r":2666,"_set":2667,"ird":2668,"Ġ>=":2669,"Ġ};Ċ":2670,"Ġoptions":2671,"ĠGener":2672,"Ġheight":2673,"Point":2674,"You":2675,"ety":2676,"Click":2677,"Ġsmall":2678,"Ġide":2679,"Ġaccess":2680,"anguage":2681,"Ġprotected":2682,"Ġjob":2683,"ĠThere":2684,"Def":2685,"Ġaddress":2686,"Ġuint":2687,"Not":2688,"oo":2689,"aps":2690,"":2828,"ĉĠĠĠ":2829,"\"))":2830,"Content":2831,"_W":2832,"plement":2833,"Ġwon":2834,"Ġvideo":2835,"adi":2836,"point":2837,"%%":2838,"03":2839,"Ġgl":2840,"erved":2841,"viron":2842,"IF":2843,"uted":2844,"ãĥ":2845,"'m":2846,"Ġcert":2847,"Ġprof":2848,"Ġcell":2849,"ari":2850,"Ġplayer":2851,"ais":2852,"Ġcost":2853,"Ġhum":2854,"(R":2855,"Ġoffic":2856,"ks":2857,".text":2858,"atures":2859,"Ġtotal":2860,"Ġ*/ĊĊ":2861,"ope":2862,"Ġstat":2863,"UM":2864,"Ġload":2865,"ights":2866,"Ġclear":2867,"uro":2868,"Ġtechn":2869,"upport":2870,"IR":2871,"Ġrow":2872,"Ġseem":2873,"Ġq":2874,"Ġshort":2875,"ĠNot":2876,"ipp":2877,"Group":2878,"section":2879,"max":2880,"irl":2881,"Ġoverride":2882,"Ġcompany":2883,"Ġdone":2884,"\");čĊ":2885,"Ġgre":2886,".Re":2887,"Ġbelie":2888,"rist":2889,"Ġhealth":2890,"ANT":2891,"()ĊĊ":2892,"ĠBe":2893,".value":2894,"ĠGr":2895,"ottom":2896,"Ġargs":2897,"PT":2898,"status":2899,"func":2900,"uments":2901,"-h":2902,"Number":2903,":čĊ":2904,"ĠLog":2905,"erver":2906,"Ġ),Ċ":2907,"ament":2908,"Ġobj":2909,"inc":2910,"Ġchildren":2911,"icy":2912,"IZ":2913,"ands":2914,"ably":2915,"Ġdistrib":2916,"Ġcur":2917,"erial":2918,"Ġdays":2919,"reated":2920,"rect":2921,"-l":2922,"irm":2923,"idden":2924,"omb":2925,"Ġinitial":2926,".js":2927,"Ġâ":2928,"Query":2929,"Ġonline":2930,"imal":2931,".con":2932,"au":2933,"Url":2934,"control":2935,"irection":2936,"Ġinstance":2937,"ORT":2938,"ĠFr":2939,"where":2940,"Ġjavax":2941,"Ġorgan":2942,"apter":2943,"Ġreason":2944,"options":2945,"59":2946,"ĠMar":2947,"(a":2948,"Ġwithin":2949,".âĢĿĊĊ":2950,"ODE":2951,"_DE":2952,"admin":2953,"ended":2954,"Ġdesign":2955,"ĠData":2956,"une":2957,"ĠFile":2958,"root":2959,"Ġcent":2960,"Ġarr":2961,"_add":2962,"len":2963,"page":2964,",'":2965,"_str":2966,"Ġbro":2967,"ability":2968,"outh":2969,"58":2970,"/c":2971,"pose":2972,"irtual":2973,"earch":2974,"_url":2975,"argin":2976,"Http":2977,"Ġschool":2978,"ava":2979,"Ġconsider":2980,".label":2981,"ĠArray":2982,"42":2983,"web":2984,"opt":2985,".println":2986,"ulation":2987,"Ġfunc":2988,"PL":2989,"Ġ\"\\":2990,"ĠText":2991,"actory":2992,"(function":2993,"null":2994,"Ġeng":2995,"down":2996,"Ġinclude":2997,"ĠEn":2998,"ĠDr":2999,"Ġdb":3000,"!!":3001,"side":3002,"Ġinit":3003,"quired":3004,"ĠShe":3005,"Column":3006,"react":3007,"Ġann":3008,"Ġstop":3009,"Ġlater":3010,"ĠThat":3011,"ention":3012,"df":3013,"UG":3014,"ILE":3015,"Ġclient":3016,"raft":3017,"ffer":3018,"POST":3019,"elper":3020,"Ġlove":3021,"quote":3022,"oud":3023,"Ġjson":3024,"Ġable":3025,"Ġmen":3026,"AX":3027,"ĠCopyright":3028,"ö":3029,"avig":3030,"req":3031,"Client":3032,"});Ċ":3033,".Com":3034,"erc":3035,"ilt":3036,"pecial":3037,"_com":3038,"room":3039,".Name":3040,"Ġgive":3041,"amb":3042,"ike":3043,"Ġcondition":3044,"client":3045,"ators":3046,":\"":3047,"Ġcopy":3048,"uture":3049,"iversity":3050,"ernal":3051,"{{":3052,"ĠCan":3053,"ounc":3054,"do":3055,"Ġocc":3056,"Ġappro":3057,"thers":3058,"ze":3059,"Ġeither":3060,"ĠFl":3061,"Ġimportant":3062,"Ġlead":3063,"attr":3064,"ART":3065,"Equal":3066,"Ġda":3067,"etch":3068,"entity":3069,"Ġfamily":3070,"adding":3071,"Ġoption":3072,"Ġexist":3073,"ica":3074,"ĠObject":3075,"69":3076,"'ve":3077,"vers":3078,"itional":3079,"67":3080,"output":3081,"ĠTrue":3082,"ĠOF":3083,"_time":3084,"Ġoffer":3085,"Ġ});ĊĊ":3086,"HER":3087,"egin":3088,"\"\"":3089,"Ġwater":3090,"Ġche":3091,"ĠMy":3092,"ored":3093,"Ġstep":3094,"ances":3095,"CK":3096,"AY":3097,"à¸":3098,"struction":3099,"(C":3100,"300":3101,"ouch":3102,"Stream":3103,"active":3104,"ama":3105,"Entity":3106,"product":3107,"(){Ċ":3108,"Ġgovernment":3109,"ĠID":3110,"ajor":3111,"And":3112,"Ġdisplay":3113,"л":3114,"Ġtimes":3115,"Ġfour":3116,"Ġfar":3117,"Ġpresent":3118,"ĠNS":3119,"Ġ\\Ċ":3120,"uest":3121,"Ġbas":3122,"echo":3123,"child":3124,"ifier":3125,"Handler":3126,"Ġlib":3127,"Property":3128,"translation":3129,"Ġroom":3130,"Ġonce":3131,"Ġ[]":3132,"center":3133,"================================":3134,"Ġresults":3135,"Ġcontinue":3136,"Ġtalk":3137,"_get":3138,"Ġgrow":3139,".sw":3140,"eb":3141,"ĠPublic":3142,"OP":3143,"ecute":3144,"ols":3145,"Ġ**":3146,"\");ĊĊ":3147,"Ġmass":3148,"ured":3149,".class":3150,"omic":3151,"Ġmean":3152,"ips":3153,"Ġaut":3154,");čĊčĊ":3155,"Ġuntil":3156,"Ġmarket":3157,"Ġarea":3158,"uit":3159,"Ġlength":3160,"ĠWith":3161,"structor":3162,"event":3163,"\"><":3164,"ĠSp":3165,"IV":3166,"Ġmus":3167,"iff":3168,"Ġkind":3169,"author":3170,"ounds":3171,"mb":3172,"_key":3173,"41":3174,"width":3175,"pository":3176,"Ġlight":3177,"uk":3178,"Row":3179,"ohn":3180,"alf":3181,"vironment":3182,"apper":3183,"ollections":3184,"Ġside":3185,"_info":3186,"Ġexample":3187,"imary":3188,"Ġwr":3189,"Ġcamp":3190,"cribe":3191,"255":3192,"\"/":3193,"Ġmiss":3194,"way":3195,"Ġbased":3196,"Ġplan":3197,"Vis":3198,"omain":3199,"unk":3200,"Ġaway":3201,"UP":3202,"":3452,"Ġden":3453,"obile":3454,"change":3455,"ĠĠĠĠĠĠĠĠĠĠĠĠĊ":3456,"ici":3457,"na":3458,"ĠForm":3459,"Ġsort":3460,"Select":3461,"pare":3462,"Ġthought":3463,"_con":3464,"Ġtask":3465,"ocus":3466,"ĠDE":3467,"ĠMin":3468,"Ġopt":3469,"ĉbreak":3470,"umer":3471,"KE":3472,"then":3473,"Ġdet":3474,"ĠTest":3475,"ports":3476,"Ġreview":3477,"('/":3478,"move":3479,"Ġswitch":3480,"ERT":3481,"patch":3482,"annot":3483,"ãĤ":3484,"Ġabove":3485,"itive":3486,"56":3487,"Ġquestion":3488,"ĠQu":3489,"ãĢĤĊĊ":3490,"gle":3491,"Ġword":3492,"Ġprovide":3493,"ĠReturn":3494,"Ġresearch":3495,"ão":3496,"ustr":3497,"Ġpublish":3498,"chema":3499,"}}":3500,"ĠCON":3501,"-in":3502,"allback":3503,"Ġcover":3504,"\\\\":3505,"color":3506,"ĠIS":3507,"Ġwhether":3508,"imate":3509,"isc":3510,"Bar":3511,"Ġdiv":3512,"Be":3513,"ourn":3514,"Ġhaving":3515,"lem":3516,"player":3517,"abs":3518,"amera":3519,"ney":3520,"Ġexc":3521,"gether":3522,"plied":3523,"ao":3524,"[$":3525,"Ġ++":3526,"ipe":3527,"show":3528,"/d":3529,"[:":3530,"agement":3531,"lev":3532,"_ID":3533,"97":3534,"rary":3535,"ades":3536,"_se":3537,"ause":3538,"Ġemploy":3539,"Ġ*/čĊ":3540,"Ġfre":3541,"Ġ'@":3542,"Ġcomplet":3543,"Ġlarge":3544,"ral":3545,"\\x":3546,"Ġfac":3547,">":3662,"Ġface":3663,"CTION":3664,"Ġsave":3665,"Ġtyp":3666,"dev":3667,"(\"#":3668,"AGE":3669,"container":3670,"edit":3671,"QL":3672,"Ġitems":3673,"Ġsocial":3674,"ien":3675,"ĠReact":3676,").ĊĊ":3677,"Ġmar":3678,"Ġredu":3679,"ĠRE":3680,".put":3681,"Ġmajor":3682,"Cell":3683,"next":3684,"Ġexpected":3685,"Ġyet":3686,"Ġindiv":3687,"tributes":3688,"atis":3689,"amed":3690,"Ġfood":3691,"Source":3692,"(string":3693,"Ġ+Ċ":3694,"ites":3695,"dr":3696,"Ġmembers":3697,"Ġcomb":3698,"items":3699,"ĠPer":3700,"TH":3701,"=True":3702,"Ġbar":3703,"_SE":3704,"comm":3705,"(w":3706,")ĊĊĊ":3707,"Ġsend":3708,"Ġinc":3709,"unsigned":3710,"FA":3711,"Ġparams":3712,"apping":3713,"ros":3714,"ugin":3715,"fa":3716,"Ġconnection":3717,"Ġ};ĊĊ":3718,"Ġbecome":3719,"Mode":3720,"Ġev":3721,"Ġdiff":3722,"ĠUnited":3723,"Height":3724,"fully":3725,"images":3726,"Ġmakes":3727,"Ġglobal":3728,"Ġcontact":3729,"':Ċ":3730,"Ġabs":3731,"аÐ":3732,"float":3733,"Ġexcept":3734,"ĠPol":3735,"Child":3736,"typ":3737,"Ġcertain":3738,"ión":3739,"OUT":3740,"Ġimpro":3741,"iles":3742,"Ġ-->Ċ":3743,"ĠPart":3744,"values":3745,"oss":3746,"/**":3747,"ilit":3748,"ĠEvent":3749,"curity":3750,"ster":3751,"Ġcharacter":3752,"198":3753,"Ġnews":3754,"Ġ\",":3755,"Ġdevice":3756,"cel":3757,"login":3758,"heet":3759,"Default":3760,"@\"":3761,"ĉĠ":3762,"click":3763,"(value":3764,"ĠAb":3765,"Ġprevious":3766,"ERROR":3767,"ocal":3768,"Ġmaterial":3769,"Ġbelow":3770,"ĠChrist":3771,"Ġmedia":3772,"cover":3773,"ĠUI":3774,"Ġfail":3775,"Ġblack":3776,"Ġcomponent":3777,"ĠAmerican":3778,"Ġadded":3779,"Ġbuy":3780,"stit":3781,"Ġcame":3782,"Ġdelete":3783,"property":3784,"oding":3785,"Ġcard":3786,"rops":3787,"Ġhttps":3788,"Ġroot":3789,"Ġhandle":3790,"CC":3791,"Back":3792,"emplate":3793,"Ġgetting":3794,"_by":3795,"mail":3796,"_sh":3797,".assert":3798,"ĠDec":3799,"(true":3800,"Ġcomput":3801,"Ġclaim":3802,"'=>":3803,"ĠSub":3804,"Ġair":3805,"ops":3806,"nav":3807,"ements":3808,"(id":3809,"Ġenter":3810,"anged":3811,"End":3812,"Ġlocation":3813,"Ġnight":3814,"Ġdoing":3815,"ĠRed":3816,"lin":3817,"}ĊĊĊ":3818,"vider":3819,"Ġpick":3820,"Ġwatch":3821,"essages":3822,"Ġhuman":3823,"Ġdam":3824,"pend":3825,"dir":3826,"Ġtax":3827,"Ġgirl":3828,"reet":3829,"Ġbox":3830,"Ġstrong":3831,"(v":3832,"rel":3833,"Ġinterface":3834,"Ġmsg":3835,"fect":3836,"_at":3837,"Ġhouse":3838,"Ġtrack":3839,"');ĊĊ":3840,"je":3841,"ĠJohn":3842,"istr":3843,"(S":3844,"ube":3845,"Ġce":3846,"itted":3847,"VER":3848,"*)":3849,"parent":3850,"Ġapplication":3851,"any":3852,".swing":3853,"Ġpack":3854,"\\u":3855,"Ġpract":3856,"Ġsection":3857,"ctx":3858,"Ġunsigned":3859,".Point":3860,"ĠOne":3861,"ı":3862,"iple":3863,"aid":3864,"Ñĥ":3865,"Vector":3866,"byte":3867,"Ġwait":3868,"ĠÃł":3869,"Ã¥":3870,"Ġtogether":3871,"Ġthrows":3872,"FO":3873,"'))":3874,"host":3875,"ising":3876,".view":3877,"Ġterms":3878,"framework":3879,"-r":3880,"Ġapply":3881,"Ġsession":3882,"Options":3883,"uggest":3884,"Ġothers":3885,"witter":3886,"Ġfund":3887,"Init":3888,"__(":3889,"ensor":3890,"GET":3891,"Ġseveral":3892,"ii":3893,"[j":3894,"IO":3895,"Ġtemplate":3896,"Position":3897,"Ġecon":3898,"achine":3899,"Ġil":3900,".spring":3901,"main":3902,"elt":3903,"iment":3904,"Rec":3905,"mm":3906,"ĠUniversity":3907,"ursor":3908,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":3909,"GL":3910,"icture":3911,"ithub":3912,"cer":3913,"cast":3914,"From":3915,"ales":3916,"Ġsubject":3917,"password":3918,"ny":3919,"Ġesc":3920,".write":3921,"ï¼Į":3922,"What":3923,".H":3924,"Ġhistory":3925,"ĠFe":3926,"Ġindividual":3927,"unit":3928,"Ġ-->":3929,"Ġdu":3930,"IST":3931,"Ġusers":3932,"fs":3933,"false":3934,"unt":3935,"Title":3936,"Ġmot":3937,"Ġfuture":3938,"ached":3939,"Ġstarted":3940,"Ġmode":3941,"Ġ'<":3942,"_array":3943,"Ġax":3944,"'];Ċ":3945,"ires":3946,"There":3947,"ught":3948,"tml":3949,"posed":3950,"icult":3951,"Ġtook":3952,"Ġgames":3953,"Ġ}}":3954,"Ġ?>Ċ":3955,"Ġproducts":3956,"Is":3957,"Ġbad":3958,"ĠDes":3959,".path":3960,"'ĊĊ":3961,"ĠPost":3962,"avel":3963,"(:":3964,"150":3965,"Ġneeds":3966,"Ġknown":3967,"Fl":3968,"Ġexec":3969,"Ġseen":3970,"51":3971,"ume":3972,"Ġborder":3973,"Ġlive":3974,"temp":3975,"Per":3976,"Ġvariable":3977,"iet":3978,"ĠDef":3979,"Ġge":3980,"eme":3981,"_back":3982,"first":3983,"Ġprovided":3984,"////////////////////////////////":3985,"Ġfilename":3986,"Ġhope":3987,"uly":3988,"auto":3989,"find":3990,"_string":3991,"btn":3992,"itude":3993,"Attribute":3994,"Ġyoung":3995,".txt":3996,"Ġwebsite":3997,"ĠProp":3998,"Ġey":3999,">();Ċ":4000,"ional":4001,"ARR":4002,"ictionary":4003,"urther":4004,".":4085,"tx":4086,"Ġpur":4087,"uel":4088,"ymbol":4089,"uation":4090,"anger":4091,"Ġbackground":4092,"ecess":4093,"efined":4094,"........":4095,"Ġdescription":4096,"Ġrepresent":4097,"\"));Ċ":4098,"pression":4099,"rowser":4100,"Ġseries":4101,"wards":4102,"52":4103,"($_":4104,"aise":4105,"Ġhot":4106,"acity":4107,"ries":4108,"actions":4109,"Create":4110,"adio":4111,"amples":4112,"Ġoriginal":4113,"ensive":4114,"font":4115,"stream":4116,"using":4117,".springframework":4118,"001":4119,"server":4120,"Ġbill":4121,"ACK":4122,"ilename":4123,"Ġframe":4124,"Ġ=Ċ":4125,"Edit":4126,"adius":4127,"Ġdraw":4128,"anks":4129,"Ġdeter":4130,"Ġcomes":4131,"_int":4132,"Ġforeach":4133,"angle":4134,"Ġelect":4135,"pected":4136,"Header":4137,"istration":4138,"False":4139,"ĠGame":4140,"Ġfilter":4141,"Activity":4142,"Ġlarg":4143,"inition":4144,"Ġ\"<":4145,"256":4146,"ised":4147,"Ġremove":4148,"ĠTrans":4149,"met":4150,"see":4151,"Format":4152,"Command":4153,"ĠEX":4154,"None":4155,"Ġfront":4156,"ASE":4157,"ĠRec":4158,"oundation":4159,"Ġvo":4160,"96":4161,"=\\\"":4162,"(*":4163,"Change":4164,".Write":4165,"group":4166,"ients":4167,"uy":4168,"****************************************************************":4169,"Ġdig":4170,"hr":4171,"(-":4172,"Ġgen":4173,"number":4174,"vec":4175,"urope":4176,"entry":4177,"LL":4178,"Ġste":4179,"Valid":4180,"'],":4181,"_param":4182,"Ġselected":4183,"Ġaccording":4184,"ĠDis":4185,"Ġutil":4186,"Buffer":4187,"_error":4188,"Ġassoci":4189,"_SIZE":4190,"Ġwor":4191,"Ġprintf":4192,"rag":4193,"Âł":4194,"DD":4195,"ĠVal":4196,"Ġactiv":4197,"Eng":4198,"etime":4199,"Ġvirtual":4200,"aign":4201,"aur":4202,"ĠPres":4203,"ĠException":4204,"Ġanything":4205,"ĠOff":4206,"Ġhours":4207,"Ġwar":4208,"Args":4209,"aging":4210,"Ġmodels":4211,"ĠTime":4212,"Ob":4213,"ams":4214,"joy":4215,"Ġearly":4216,".read":4217,"86":4218,"Ġcenter":4219,"ĠInitial":4220,"Ġlanguage":4221,"length":4222,"xy":4223,"Ġsn":4224,"Ġinf":4225,"Post":4226,"Ġago":4227,"Ġeasy":4228,"_code":4229,"ĠANY":4230,"_ch":4231,"Ġdownload":4232,"(T":4233,"aved":4234,"âĢĵ":4235,"Ġstudents":4236,"Ġfig":4237,"light":4238,"xx":4239,"Ġbuffer":4240,"ĠDep":4241,"ĠMath":4242,"ITH":4243,"Ġvari":4244,"Ġdue":4245,"Factory":4246,"Ġpor":4247,"Ġep":4248,"otype":4249,"Ġcannot":4250,"Ġwhite":4251,"čĊ":4524,".annot":4525,"Ġcollection":4526,"'.":4527,"Ġsimilar":4528,"Ġtaken":4529,"(\"%":4530,"Order":4531,"']Ċ":4532,"-md":4533,"ĠTH":4534,"aced":4535,"Ġisn":4536,"/j":4537,"Ġson":4538,"graph":4539,"ĠInteger":4540,"Ġnecess":4541,"reen":4542,"Ġum":4543,"Ġ\\<":4544,"Ġmoment":4545,"Ġbring":4546,"Ġindic":4547,"ysis":4548,"Level":4549,"verse":4550,"urrenc":4551,"_test":4552,"Ġentire":4553,"Down":4554,"Ġ}ĊĊĊ":4555,"(result":4556,"ĠRead":4557,"è":4558,"Mod":4559,"Ġtrying":4560,"\"),Ċ":4561,"Ġmember":4562,"ĠCor":4563,"ODO":4564,"-control":4565,"untime":4566,"ĠSim":4567,"Dialog":4568,"plot":4569,"_on":4570,"Ġphys":4571,"}/":4572,"Ġnamespace":4573,"ĉčĊ":4574,"acc":4575,"Player":4576,"ARE":4577,"89":4578,"Ġfoot":4579,"Ġboard":4580,"part":4581,"Ġsus":4582,"wise":4583,"ĠMc":4584,"Ġpush":4585,"ATA":4586,"Ġplease":4587,"ried":4588,"weet":4589,"bit":4590,"ided":4591,"VE":4592,"ĠSw":4593,"UB":4594,"Ġtypes":4595,"edia":4596,"Ġclos":4597,"acebook":4598,"When":4599,"Ġedit":4600,"igger":4601,"Ġenerg":4602,"Container":4603,"Ġphot":4604,"ĠCount":4605,"ĠEurope":4606,".Is":4607,"ĠRuss":4608,"peed":4609,"ĠStr":4610,"Ġpy":4611,"Ġcult":4612,"Ġdefined":4613,"ccount":4614,"Ġobt":4615,".Location":4616,"Ġthread":4617,"ille":4618,"Ġinstead":4619,"strong":4620,"ĠSec":4621,"URE":4622,"Ġidea":4623,".se":4624,"emy":4625,"selected":4626,"Connection":4627,"acing":4628,"thread":4629,".next":4630,"Ġcoll":4631,"Ġfilm":4632,"istic":4633,"Ġcompet":4634,"Ġconn":4635,"though":4636,"Ġcompan":4637,"ocket":4638,"Ġteach":4639,"=(":4640,"Ġphone":4641,"Ġactive":4642,"79":4643,"delete":4644,"101":4645,"tries":4646,"Ġmo":4647,"Ġdeath":4648,"});ĊĊ":4649,"ocol":4650,"Widget":4651,"Ġarticle":4652,"rodu":4653,"andid":4654,"Ñĭ":4655,"ĠCr":4656,"ka":4657,"():":4658,"lood":4659,"ĉĉĉĊ":4660,"Ġalmost":4661,"Ġsell":4662,"ervlet":4663,"rip":4664,"Unit":4665,"Ġapplic":4666,"Ġconnect":4667,"Ġfeature":4668,"Ġvia":4669,"'),":4670,"Ġlim":4671,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":4672,"ĠGu":4673,"Engine":4674,"Ġens":4675,"Ġenvironment":4676,"block":4677,"HERE":4678,"NULL":4679,"gy":4680,"tag":4681,")).":4682,"exp":4683,"Ġcompl":4684,"Ġinstall":4685,"Ġcomplete":4686,"queue":4687,"atural":4688,"Ġgeneral":4689,"thon":4690,"Ġasked":4691,"ores":4692,"(res":4693,"Ġreserved":4694,"SP":4695,"ĠâĢ¦":4696,"ÅĤ":4697,"Ġsignific":4698,"Off":4699,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":4700,"ĠAg":4701,"ĠJust":4702,"ĠError":4703,"Ġinfl":4704,"adata":4705,"Ġicon":4706,"asks":4707,"''":4708,"_LO":4709,"?.":4710,"account":4711,"Ġ(*":4712,"')ĊĊ":4713,"rap":4714,"_var":4715,"ĠFOR":4716,"Ġparty":4717,"ĠYour":4718,"cat":4719,"stry":4720,".new":4721,"boot":4722,"ĠNov":4723,"Ġvector":4724,"Ġnormal":4725,"Ġfurther":4726,"Repository":4727,"800":4728,"Ġdatabase":4729,"attle":4730,"Ġmusic":4731,"Ġspeed":4732,"Ġdoc":4733,"process":4734,"IGHT":4735,".parse":4736,"Ġtaking":4737,"Ġviol":4738,"ceed":4739,"ĠAfter":4740,"Ġforward":4741,"Ġcrit":4742,"\"/>Ċ":4743,"rot":4744,"Ġfailed":4745,"efore":4746,"Ġconcern":4747,"oe":4748,"ba":4749,"Ġsender":4750,"Ġterm":4751,"has":4752,"=\"#":4753,"Ġpotential":4754,"Num":4755,"Ġpublished":4756,".close":4757,"ĠImage":4758,"straint":4759,"UD":4760,"ĠOb":4761,"Ġprobably":4762,"lim":4763,"\":Ċ":4764,"olume":4765,"Ġconsum":4766,"76":4767,"ague":4768,"ensions":4769,"Ġinvestig":4770,"-year":4771,"');":4772,"-sm":4773,"Ġenjoy":4774,"orig":4775,"ering":4776,"cp":4777,"leased":4778,"plements":4779,"Ġreturns":4780,"pat":4781,"BO":4782,"ĠHouse":4783,".Label":4784,"Ġweight":4785,"ighb":4786,"Ġconditions":4787,"Ġexception":4788,"description":4789,"Ġtrad":4790,"-to":4791,"Ġ{}":4792,"Ġmodule":4793,"END":4794,".ap":4795,".props":4796,"Ġconstructor":4797,"aves":4798,"Ġfavor":4799,"ĠNow":4800,";i":4801,"ĠMain":4802,"_k":4803,"eries":4804,"âĢĻll":4805,"transform":4806,"imestamp":4807,"Pre":4808,"Ġmer":4809,".res":4810,"stant":4811,"Location":4812,"_NAME":4813,"Ġloss":4814,"ĠĊĊ":4815,"net":4816,"Ġengine":4817,"Block":4818,"Ġissues":4819,"Ġparse":4820,"ĠBar":4821,"Ġstay":4822,"ĠJSON":4823,"Ġdom":4824,"airs":4825,"wner":4826,"Ġlower":4827,"\",čĊ":4828,"ĠDem":4829,"ufact":4830,"Ġps":4831,"Ġperfect":4832,"RL":4833,"Ġeduc":4834,"ls":4835,"emory":4836,"ARRANT":4837,"uge":4838,"Ġexact":4839,".key":4840,"alled":4841,"ech":4842,"ief":4843,"\\/":4844,"oke":4845,"Ġformer":4846,"alloc":4847,"Ġsix":4848,"ida":4849,"Ġmargin":4850,"Ġheart":4851,"ald":4852,"pack":4853,".getElementById":4854,"ĠWARRANT":4855,"Ġrather":4856,"Ġbuilding":4857,"erman":4858,"lice":4859,"Ġquestions":4860,"izes":4861,"lege":4862,"irectory":4863,"Ġje":4864,"Ġcas":4865,"props":4866,"utf":4867,"Ġsecurity":4868,"Ġhowever":4869,"weight":4870,"Ġinside":4871,"Ġpresident":4872,"Char":4873,"ĠWITH":4874,".map":4875,"Ġgraph":4876,"Ġtag":4877,"_status":4878,"Ġattempt":4879,"opp":4880,"uses":4881,"ĉconst":4882,"Ġround":4883,",$":4884,"Ġfriends":4885,"Email":4886,"?>":4887,"Resource":4888,"KEY":4889,"osp":4890,".query":4891,"ĠNorth":4892,"ables":4893,"istrib":4894,"_class":4895,"ello":4896,"That":4897,"к":4898,"pecially":4899,"ĠPresident":4900,"Ġcampaign":4901,"Ġalt":4902,"area":4903,"Ġchall":4904,"Ġopport":4905,".Con":4906,"Ġenergy":4907,"like":4908,".string":4909,"ington":4910,")*":4911,"yy":4912,"Ġprofession":4913,"irth":4914,"Ġseg":4915,"æľ":4916,"Ġhor":4917,"iers":4918,"can":4919,"Ġbehind":4920,"Product":4921,"fg":4922,"ĠSk":4923,".jpg":4924,"?:":4925,"];ĊĊ":4926,"Ġcallback":4927,"ĠHttp":4928,"ÑĮ":4929,"long":4930,"MS":4931,"ATH":4932,"Ġraise":4933,"Ġwanted":4934,"rown":4935,"utor":4936,"lt":4937,"]=":4938,"eline":4939,"MA":4940,"Ġsepar":4941,"cs":4942,"semb":4943,"Dis":4944,"bserv":4945,"ĠWill":4946,"Ġpolicy":4947,"Ġthird":4948,"phone":4949,"Ġbed":4950,"/g":4951,".__":4952,"ĠInc":4953,"izing":4954,".remove":4955,"instance":4956,".type":4957,"Ġserv":4958,"Each":4959,"Ġhar":4960,"ĠMessage":4961,"(key":4962,"SELECT":4963,"Pos":4964,"));čĊ":4965,"Ġrecomm":4966,"Ġtraining":4967,"ĠEnt":4968,"ĠChar":4969,"icht":4970,"(file":4971,"Ġprior":4972,"Game":4973,"Ġexit":4974,"Params":4975,".core":4976,"PC":4977,"nes":4978,"anced":4979,"(request":4980,"Password":4981,"}>Ċ":4982,"Ġmag":4983,"Ġrelease":4984,"Ġshall":4985,"udent":4986,"ĠSouth":4987,"ando":4988,":'":4989,".TabIndex":4990,"sk":4991,"anner":4992,"isset":4993,"Ġoutside":4994,"ledge":4995,"Ġå":4996,"ĠRob":4997,"Ġimm":4998,"!Ċ":4999,"ĠWeb":5000,"Des":5001,"BC":5002,"ancial":5003,"Route":5004,"Dec":5005,"ferences":5006,"Ġpurch":5007,"ĠModel":5008,"ctor":5009,"gn":5010,"_start":5011,"_un":5012,".*":5013,"ises":5014,"Ġground":5015,"Ġunique":5016,"Ġbeaut":5017,"{\"":5018,"Ġpour":5019,"ĠOct":5020,"Ġtree":5021,"sets":5022,"_res":5023,"')->":5024,"_reg":5025,"(\"\\":5026,"Ġbyte":5027,"Bl":5028,"Ġdating":5029,"Ġmatter":5030,"ĠRem":5031,"Ġ'../":5032,"ĠAug":5033,"ĠLa":5034,"Ġ$(":5035,"ournal":5036,"111":5037,"iam":5038,"Ġshows":5039,"write":5040,"Ġball":5041,"Ġsimply":5042,"Ġfast":5043,"Ġmemory":5044,"ASS":5045,"ĠOf":5046,"oved":5047,"ante":5048,"aul":5049,"istry":5050,")));Ċ":5051,"Ġfit":5052,"_":5239,"\")ĊĊ":5240,"ox":5241,"application":5242,"Ġ]Ċ":5243,"ĊĊĊĊĊĊ":5244,"180":5245,"Ġsoon":5246,"ctions":5247,"inger":5248,"Ġjoin":5249,"ĠPe":5250,"Ġë":5251,"Ġlas":5252,".E":5253,"css":5254,"/or":5255,"ĠStart":5256,"ĠTO":5257,"Ġsubs":5258,"conn":5259,"components":5260,"DEBUG":5261,"quare":5262,"Function":5263,"endar":5264,".index":5265,"Ġfill":5266,"ÄĻ":5267,"Ġchoose":5268,"how":5269,"ĠAmerica":5270,"assets":5271,"------------":5272,"ĠValue":5273,"Ġoffice":5274,"Ġveh":5275,"Ġtransform":5276,"ĠArt":5277,"Ġinde":5278,"Ġfn":5279,"Ġimplements":5280,"ango":5281,"plete":5282,"+\"":5283,"tmp":5284,"amily":5285,"Ġhash":5286,"missions":5287,"EST":5288,"gt":5289,"Provider":5290,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":5291,"Ġflag":5292,"Ġparticip":5293,"den":5294,"ĠReturns":5295,"Ġnote":5296,"ür":5297,"pm":5298,"ideos":5299,"Ġspecified":5300,"ĠEN":5301,"ester":5302,"olid":5303,"Ġupon":5304,"(std":5305,"ĉv":5306,"Ġ'\\":5307,"uz":5308,"Ġvert":5309,"Ġvict":5310,"ĉself":5311,"Ġ\"$":5312,"85":5313,".k":5314,"Ġgroups":5315,"github":5316,"lang":5317,"Ġmut":5318,"TO":5319,"Ġve":5320,"ĠPlease":5321,";ĊĊĊ":5322,"access":5323,"Ġ{\"":5324,"rea":5325,"Ġrisk":5326,"icker":5327,"oggle":5328,"ĉwhile":5329,"ANG":5330,".send":5331,"72":5332,"Ġwoman":5333,"Ġgets":5334,"Ġign":5335,"ĠId":5336,"_log":5337,"ONE":5338,"Ġevid":5339,"ĠHar":5340,"_sub":5341,"Ġendl":5342,"Ġincluded":5343,"());ĊĊ":5344,"ĠAp":5345,"igr":5346,"Ġsem":5347,"ĠBlack":5348,"doc":5349,"_table":5350,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":5351,"-up":5352,"Ġcause":5353,"Ġ..":5354,"Ġvan":5355,"_dict":5356,"Ġfocus":5357,"IND":5358,"CESS":5359,".Log":5360,"Ġmultiple":5361,"ido":5362,"Ġregard":5363,"-M":5364,"andler":5365,"ourse":5366,"Ġdeg":5367,".U":5368,"Ġaddition":5369,"Ġvarious":5370,"Ġreceive":5371,"ен":5372,"ĠHT":5373,"Obj":5374,"DF":5375,"Ġincrease":5376,"ĠOpen":5377,"];":5378,"Ġcommit":5379,"?Ċ":5380,"ategories":5381,"atory":5382,"ship":5383,"ĠMich":5384,"Ġhtml":5385,"romise":5386,"Ġleave":5387,"Ġstrateg":5388,"aven":5389,"ĠConsole":5390,"known":5391,"-n":5392,"_LE":5393,".component":5394,"Ġbre":5395,"Session":5396,"iance":5397,"Ġalign":5398,"typedef":5399,"_result":5400,"ĠWHERE":5401,".split":5402,"Ġreading":5403,"FAULT":5404,"Ġclo":5405,"Ġnotice":5406,"_pr":5407,"arter":5408,"Ġlock":5409,"Ġstandard":5410,"etic":5411,"ellow":5412,"Ġpadding":5413,"ĠHis":5414,"Ġstates":5415,"_cast":5416,"(P":5417,"aa":5418,"Ġinternal":5419,"ean":5420,"ĠPRO":5421,"ĠKey":5422,"Ġespecially":5423,"ming":5424,"Ġcross":5425,"Ġnational":5426,"_object":5427,"filter":5428,"Ġscript":5429,".update":5430,"_i":5431,"ĠAssert":5432,"/core":5433,"%%%%":5434,"Ġproblems":5435,"istor":5436,"Ġ.=":5437,"Ġarch":5438,"Ġwritten":5439,"Ġmilit":5440,"MENT":5441,".ch":5442,"cape":5443,"ĠMus":5444,"_config":5445,"ĠAPI":5446,"foot":5447,"Ġimages":5448,"endl":5449,".In":5450,"First":5451,"Ġplatform":5452,".prot":5453,"Option":5454,"ste":5455,"ĠTODO":5456,"Ġforce":5457,".cont":5458,"ĉecho":5459,"ĠDav":5460,"Ptr":5461,"(B":5462,"RT":5463,"ĠBase":5464,"]['":5465,"Ġannounc":5466,"console":5467,"ĠPy":5468,"ds":5469,".as":5470,"Ġprevent":5471,"apan":5472,"Ġ{'":5473,"}'":5709,"Ġdead":5710,"VAL":5711,"QUE":5712,"************************************************************************":5713,"Ġcharg":5714,"Return":5715,"Ġful":5716,"dom":5717,"Ġrules":5718,"Ġmodify":5719,"Ġeval":5720,"ham":5721,"atement":5722,"\\<":5723,"ula":5724,"=False":5725,"RA":5726,"Ġcontains":5727,"74":5728,"Ġstack":5729,"mar":5730,"Ġ{}Ċ":5731,"Ġundefined":5732,"Ass":5733,"ĠChina":5734,"vey":5735,"*Ċ":5736,"Ġplaying":5737,")/":5738,"actor":5739,"Ġbottom":5740,"lier":5741,"ĠNumber":5742,"Ġcouple":5743,"DC":5744,"ĠSO":5745,"gor":5746,".setText":5747,"success":5748,"command":5749,"Filter":5750,"ĠOur":5751,"_item":5752,"Ġctx":5753,"Ġroad":5754,"Version":5755,"case":5756,"urt":5757,"avior":5758,"ych":5759,"sembly":5760,"ĠProduct":5761,"Ġheld":5762,"afe":5763,"Ġincludes":5764,"&":5909,"CON":5910,"Ġrepl":5911,"Ġregular":5912,"Storage":5913,"ramework":5914,"Ġgoal":5915,"Ġtouch":5916,".widget":5917,"Ġbuilt":5918,"des":5919,"Part":5920,"(re":5921,"Ġworth":5922,"hib":5923,"game":5924,"91":5925,"192":5926,"Ġв":5927,"acion":5928,"ĠWhite":5929,"(type":5930,"(`":5931,"81":5932,"Ġnatural":5933,"Ġinj":5934,"Ġcalcul":5935,"ĠApril":5936,".List":5937,"Ġassociated":5938,"ĉSystem":5939,"~~":5940,"=[":5941,"Ġstorage":5942,"Ġbytes":5943,"Ġtravel":5944,"Ġsou":5945,"Ġpassed":5946,"!=":5947,"ascript":5948,".open":5949,"Ġgrid":5950,"Ġbus":5951,"Ġrecogn":5952,"Ab":5953,"Ġhon":5954,"ĠCenter":5955,"Ġprec":5956,"build":5957,"73":5958,"HTML":5959,"ĠSan":5960,"Ġcountries":5961,"aled":5962,"token":5963,"kt":5964,"Ġqual":5965,"Last":5966,"adow":5967,"Ġmanufact":5968,"idad":5969,"jango":5970,"Next":5971,"xf":5972,".a":5973,"Ġporno":5974,"ĠPM":5975,"erve":5976,"iting":5977,"_th":5978,"ci":5979,"=None":5980,"gs":5981,"Ġlogin":5982,"atives":5983,"']);Ċ":5984,"Äħ":5985,"Ġill":5986,"IA":5987,"children":5988,"DO":5989,"Ġlevels":5990,"Ġ{{":5991,"Ġlooks":5992,"Ġ\"#":5993,"ToString":5994,"Ġnecessary":5995,"ĠĠĠĊ":5996,"cell":5997,"Entry":5998,"Ġ'#":5999,"Ġextrem":6000,"Selector":6001,"Ġplaceholder":6002,"Load":6003,"Ġreleased":6004,"ORE":6005,"Enumer":6006,"ĠTV":6007,"SET":6008,"inq":6009,"Press":6010,"ĠDepartment":6011,"Ġproperties":6012,"Ġrespond":6013,"Search":6014,"ael":6015,"Ġrequ":6016,"ĠBook":6017,"/Ċ":6018,"(st":6019,"Ġfinancial":6020,"icket":6021,"_input":6022,"Ġthreat":6023,"(in":6024,"Strip":6025,"ìĿ":6026,"ção":6027,"71":6028,"Ġevidence":6029,"));":6030,"ĠBro":6031,"Ġ[];Ċ":6032,"Ġou":6033,"buf":6034,"Script":6035,"dat":6036,"Ġrule":6037,"#import":6038,"=\"/":6039,"Serial":6040,"Ġstarting":6041,"[index":6042,"ae":6043,"Ġcontrib":6044,"session":6045,"_new":6046,"utable":6047,"ober":6048,"Ġ\"./":6049,"Ġlogger":6050,"Ġrecently":6051,"Ġreturned":6052,"ččĊ":6053,")))Ċ":6054,"itions":6055,"Ġseek":6056,"Ġcommunic":6057,"Ġ\".":6058,"Ġusername":6059,"ECT":6060,"DS":6061,"Ġotherwise":6062,"ĠGerman":6063,".aw":6064,"Adapter":6065,"ixel":6066,"Ġsystems":6067,"Ġdrop":6068,"83":6069,"Ġstructure":6070,"Ġ$(\"#":6071,"encies":6072,"anning":6073,"ĠLink":6074,"ĠResponse":6075,"Ġstri":6076,"ż":6077,"ĠDB":6078,"æĹ":6079,"android":6080,"submit":6081,"otion":6082,"92":6083,"(@":6084,".test":6085,"82":6086,"ĊĊĊĊĊĊĊĊ":6087,"];čĊ":6088,"Ġdirectly":6089,"Ġ\"%":6090,"ris":6091,"elta":6092,"AIL":6093,"){čĊ":6094,"mine":6095,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":6096,"(k":6097,"bon":6098,"asic":6099,"pite":6100,"___":6101,"Max":6102,"Ġerrors":6103,"ĠWhile":6104,"Ġarguments":6105,"Ġensure":6106,"Right":6107,"-based":6108,"Web":6109,"Ġ-=":6110,"Ġintrodu":6111,"ĠInst":6112,"ĠWash":6113,"ordin":6114,"join":6115,"Database":6116,"Ġgrad":6117,"Ġusually":6118,"ITE":6119,"Props":6120,"?>Ċ":6121,"ĠGo":6122,"@Override":6123,"REF":6124,"Ġip":6125,"ĠAustral":6126,"Ġist":6127,"ViewById":6128,"Ġserious":6129,"Ġcustomer":6130,".prototype":6131,"odo":6132,"cor":6133,"Ġdoor":6134,"ĠWITHOUT":6135,"Ġplant":6136,"Ġbegan":6137,"Ġdistance":6138,"()).":6139,"Ġchance":6140,"Ġord":6141,"came":6142,"pragma":6143,"Ġprotect":6144,"ragment":6145,"ĠNode":6146,"ening":6147,"Ñĩ":6148,"Ġroute":6149,"ĠSchool":6150,"hi":6151,"Ġneighb":6152,"After":6153,"licit":6154,"Ġcontr":6155,"Ġprimary":6156,"AA":6157,".WriteLine":6158,"utils":6159,"Ġbi":6160,"Red":6161,".Linq":6162,".object":6163,"Ġleaders":6164,"unities":6165,"Ġgun":6166,"onth":6167,"ĠDev":6168,"FILE":6169,"Ġcomments":6170,"_len":6171,"arrow":6172,"amount":6173,"Range":6174,"sert":6175,"GridView":6176,"Ġupdated":6177,"ĠMo":6178,"Ġinform":6179,"ociety":6180,"ala":6181,"Access":6182,"Ġhab":6183,"Ġcreat":6184,"_arg":6185,"ĠJanuary":6186,"ĠDay":6187,"\")čĊ":6188,"uple":6189,"document":6190,"gorith":6191,"menu":6192,"ĠOver":6193,"bb":6194,".title":6195,"_out":6196,"Ġled":6197,"uri":6198,"Ġ?>Ċ":6235,"run":6236,"Ġscene":6237,"(array":6238,"device":6239,"_title":6240,"agon":6241,"]čĊ":6242,"aby":6243,"Ġbecame":6244,"boolean":6245,"Ġpark":6246,"ĠCode":6247,"upload":6248,"riday":6249,"ĠSeptember":6250,"Fe":6251,"Ġsen":6252,"cing":6253,"FL":6254,"Col":6255,"uts":6256,"_page":6257,"inn":6258,"Ġimplied":6259,"aling":6260,"Ġyourself":6261,".Count":6262,"conf":6263,"Ġaud":6264,"_init":6265,".)":6266,"Ġwrote":6267,"003":6268,"NG":6269,".Error":6270,"ä»":6271,".for":6272,"Ġequal":6273,"ĠRequest":6274,"Ġserial":6275,"Ġallows":6276,"XX":6277,"Ġmiddle":6278,"chor":6279,"195":6280,"94":6281,"ø":6282,"erval":6283,".Column":6284,"reading":6285,"Ġescort":6286,"ĠAugust":6287,"Ġquickly":6288,"Ġweap":6289,"ĠCG":6290,"ropri":6291,"ho":6292,"Ġcop":6293,"(struct":6294,"ĠBig":6295,"Ġvs":6296,"Ġfrequ":6297,".Value":6298,"Ġactions":6299,"Ġproper":6300,"Ġinn":6301,"Ġobjects":6302,"Ġmatrix":6303,"avascript":6304,"Ġones":6305,".group":6306,"Ġgreen":6307,"Ġpaint":6308,"ools":6309,"ycl":6310,"encode":6311,"olt":6312,"comment":6313,".api":6314,"Dir":6315,"Ġune":6316,"izont":6317,".position":6318,"Ġdesigned":6319,"_val":6320,"avi":6321,"iring":6322,"tab":6323,"Ġlayer":6324,"Ġviews":6325,"Ġreve":6326,"rael":6327,"ĠON":6328,"rics":6329,"160":6330,"np":6331,"Ġcore":6332,"());čĊ":6333,"Main":6334,"Ġexpert":6335,"ĉĉčĊ":6336,"_en":6337,"Ġ/>":6338,"utter":6339,"IAL":6340,"ails":6341,"ĠKing":6342,"*/ĊĊ":6343,"ĠMet":6344,"_end":6345,"addr":6346,"ora":6347,"Ġir":6348,"Min":6349,"Ġsurpr":6350,"Ġrepe":6351,"Ġdirectory":6352,"PUT":6353,"-S":6354,"Ġelection":6355,"haps":6356,".pre":6357,"cm":6358,"Values":6359,"Ġ\"Ċ":6360,"column":6361,"ivil":6362,"Login":6363,"inue":6364,"93":6365,"Ġbeautiful":6366,"Ġsecret":6367,"(event":6368,"Ġchat":6369,"ums":6370,"Ġorigin":6371,"Ġeffects":6372,"Ġmanagement":6373,"illa":6374,"tk":6375,"Ġsetting":6376,"ĠCour":6377,"Ġmassage":6378,"ĉend":6379,"Ġhappy":6380,"Ġfinish":6381,"Ġcamera":6382,"ĠVer":6383,"ĠDemocr":6384,"ĠHer":6385,"(Q":6386,"cons":6387,"ita":6388,"Ġ'.":6389,"{}":6390,"ĉC":6391,"Ġstuff":6392,"194":6393,"Ġ:Ċ":6394,"ĠAR":6395,"Task":6396,"hidden":6397,"eros":6398,"IGN":6399,"atio":6400,"ĠHealth":6401,"olute":6402,"Enter":6403,"'>":6404,"ĠTwitter":6405,"ĠCounty":6406,"scribe":6407,"Ġ=>Ċ":6408,"Ġhy":6409,"fit":6410,"Ġmilitary":6411,"Ġsale":6412,"required":6413,"non":6414,"bootstrap":6415,"hold":6416,"rim":6417,"-old":6418,"ĠDown":6419,"Ġmention":6420,"contact":6421,"_group":6422,"oday":6423,"Ġtown":6424,"Ġsolution":6425,"uate":6426,"elling":6427,"]->":6428,"otes":6429,"ental":6430,"omen":6431,"ospital":6432,"ĠSup":6433,"_EN":6434,"Ġslow":6435,"SESSION":6436,"Ġblue":6437,"ago":6438,"Ġlives":6439,"Ġ^":6440,".un":6441,"inst":6442,"enge":6443,"Ġcustomers":6444,"Ġcast":6445,"udget":6446,"ï¼ģ":6447,"icens":6448,"Ġdetermin":6449,"Selected":6450,"_pl":6451,"ueue":6452,"Ġdark":6453,"//ĊĊ":6454,"si":6455,"thern":6456,"ĠJapan":6457,"/w":6458,"PU":6459,"ĠEast":6460,"ovie":6461,"Ġpackage":6462,"Ġnor":6463,"Ġapi":6464,"bot":6465,"\"];Ċ":6466,"_post":6467,"ulate":6468,"Ġclub":6469,"'));Ċ":6470,"Ġloop":6471,"PIO":6472,"ione":6473,"shot":6474,"Initial":6475,"Ġplayed":6476,"register":6477,"rought":6478,"_max":6479,"acement":6480,"match":6481,"raphics":6482,"AST":6483,"Ġexisting":6484,"Ġcomplex":6485,"DA":6486,".Ch":6487,".common":6488,"mo":6489,"Ġ'../../":6490,"ito":6491,"Ġanalysis":6492,"Ġdeliver":6493,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":6494,"idx":6495,"Ãł":6496,"ongo":6497,"ĠEnglish":6498,"Ċ":10197,"_default":10198,"ĠDatabase":10199,"rep":10200,"ESS":10201,"nergy":10202,".Find":10203,"_mask":10204,"Ġrise":10205,"Ġkernel":10206,"::$":10207,".Q":10208,"Ġoffering":10209,"decl":10210,"ĠCS":10211,"Ġlisted":10212,"Ġmostly":10213,"enger":10214,"Ġblocks":10215,"olo":10216,"Ġgoverning":10217,"\\F":10218,"Ġconcent":10219,".getText":10220,"Ġmb":10221,"Ġoccurred":10222,"Ġchanging":10223,"Scene":10224,"_CODE":10225,"Beh":10226,"\"The":10227,"Ġtile":10228,"ĠAssociation":10229,"ĉP":10230,"alty":10231,"_ad":10232,"odies":10233,"iated":10234,"Ġprepared":10235,"possible":10236,"Ġmort":10237,"TEST":10238,"142":10239,"Ġignore":10240,"Ġcalc":10241,"Ġrs":10242,"ĠassertEquals":10243,"Ġsz":10244,"ĠTHIS":10245,".\"Ċ":10246,"Ġcanvas":10247,"java":10248,"Ġdut":10249,"VALID":10250,".sql":10251,".input":10252,"Ġaux":10253,"Sup":10254,"Ġartist":10255,"Vec":10256,"_TIME":10257,".stringify":10258,"etween":10259,"ĠCategory":10260,"Ġ[-":10261,"ĠDevExpress":10262,"ĠJul":10263,"Ġring":10264,".ed":10265,"YY":10266,"Let":10267,"TextField":10268,"Ġflat":10269,"_print":10270,"ĠOTHER":10271,"adian":10272,"Ġchecked":10273,"ele":10274,"Align":10275,"standing":10276,"Ġ[],":10277,"Ġlab":10278,"ucky":10279,"ĠChristmas":10280,"(image":10281,".module":10282,"Ġlots":10283,"Ġslightly":10284,"(final":10285,"erge":10286,"è¿":10287,"147":10288,"ĠPolice":10289,"143":10290,"ĠRight":10291,"Ġaward":10292,"ĠOS":10293,"Ġ{}ĊĊ":10294,"Ġptr":10295,"oves":10296,"icated":10297,"ем":10298,"Ġmanage":10299,"oliday":10300,"Amount":10301,"oolStrip":10302,"tbody":10303,"Nav":10304,"wrap":10305,"BB":10306,"Ġwatching":10307,"arios":10308,"Ġoptional":10309,"_K":10310,"ĠLicensed":10311,".Map":10312,"Timer":10313,"ĠAP":10314,"ĠRev":10315,"(o":10316,",c":10317,"umin":10318,"etailed":10319,"ĠHy":10320,"Ġblank":10321,"agger":10322,"ĠSelf":10323,"()[":10324,".make":10325,"earn":10326,"channel":10327,";Ċ":10342,"World":10343,"Ġpython":10344,"Ġlif":10345,"Ġtrav":10346,"Ġconven":10347,"company":10348,"ĠClub":10349,"138":10350,"Ver":10351,"Btn":10352,"Ġzone":10353,"products":10354,"ĠEduc":10355,"Ġverify":10356,"ĠMil":10357,"ono":10358,"]);ĊĊ":10359,"ENCE":10360,"Ġpacket":10361,"Ġcer":10362,"Ġenumer":10363,"Ġpars":10364,"formed":10365,"Ġoccup":10366,"tre":10367,"Ġexercise":10368,"Day":10369,"_sum":10370,"Ġasking":10371,"aption":10372,"Ġorders":10373,"Ġspending":10374,"ĠERR":10375,".Dis":10376,"ĠUtil":10377,"âĢľI":10378,"\\'":10379,"?)":10380,"/>Ċ":10381,"Ġemot":10382,"Ġinfluence":10383,"ĠAfrica":10384,"atters":10385,"Ùħ":10386,".session":10387,"Ġchief":10388,"ĉĉĉĉĉĉĉĉĉĉĉ":10389,"Ġtom":10390,"cluded":10391,"serial":10392,"_handler":10393,".Type":10394,"aped":10395,"Ġpolicies":10396,"-ex":10397,"-tr":10398,"blank":10399,"merce":10400,"Ġcoverage":10401,"Ġrc":10402,"_matrix":10403,"_box":10404,"Ġcharges":10405,"ĠBoston":10406,"Pe":10407,"Ġcircum":10408,"Ġfilled":10409,"148":10410,"Ġnorth":10411,"ictureBox":10412,"ĉres":10413,"è®":10414,"Ġtermin":10415,"Ġ[âĢ¦":10416,"IRECT":10417,"Ġber":10418,"Ġ\"../../":10419,"retch":10420,".code":10421,"_col":10422,"ĠGovernment":10423,"Ġargv":10424,"ĠLord":10425,"asi":10426,"Exec":10427,"ĉlet":10428,"vertis":10429,"Ġdiscussion":10430,"enance":10431,"outube":10432,"typeof":10433,"Ġserved":10434,"ĠPut":10435,"ĉx":10436,"Ġsweet":10437,"Before":10438,"ategy":10439,".of":10440,"ĠMaterial":10441,"Sort":10442,"ONT":10443,"igital":10444,"Why":10445,"Ġsust":10446,"Ġç":10447,"abet":10448,"Ġsegment":10449,"Ġ[],Ċ":10450,"ĠMuslim":10451,"ĠfindViewById":10452,"cut":10453,"_TEXT":10454,"ĠMary":10455,"Ġloved":10456,"Ġlie":10457,"ĠJO":10458,"Ġisset":10459,"month":10460,"Ġprime":10461,"ti":10462,"ĠCarol":10463,"Use":10464,"146":10465,"ĠPop":10466,"ĠSave":10467,"Interval":10468,"execute":10469,"dy":10470,"ĠIran":10471,"_cont":10472,"ĉT":10473,"Ġphase":10474,"checkbox":10475,"week":10476,"Ġhide":10477,"Ġtil":10478,"Ġju":10479,"Custom":10480,"burg":10481,"/M":10482,"TON":10483,"Ġquant":10484,"Ġrub":10485,"ixels":10486,"Ġinstalled":10487,"Ġdump":10488,"Ġproperly":10489,"(List":10490,"Ġdecide":10491,"apply":10492,"Has":10493,"Ġkeeping":10494,"Ġcitizens":10495,"Ġjoint":10496,"pool":10497,"Socket":10498,"_op":10499,"Ġweapon":10500,"gnore":10501,"ĠExec":10502,"otten":10503,"ĠMS":10504,"Ġ(-":10505,"ĠReview":10506,"Ġexamples":10507,"Ġtight":10508,"!(":10509,"DP":10510,"ĠMessageBox":10511,"Ġphotograph":10512,"164":10513,"URI":10514,"ét":10515,"low":10516,"ĠGrand":10517,".persistence":10518,"Ġmaintain":10519,"Ġnums":10520,"Ġzip":10521,"ials":10522,"ĠGets":10523,"peg":10524,"ĠBuffer":10525,"~~~~":10526,"rastructure":10527,"ĠPL":10528,"uen":10529,"obby":10530,"sizeof":10531,"Ġpic":10532,"Ġseed":10533,"Ġexperienced":10534,"Ġodd":10535,"Ġkick":10536,"Ġprocedure":10537,"avigator":10538,"-on":10539,",j":10540,"ĠAlthough":10541,"ĠuserId":10542,"accept":10543,"Blue":10544,"IColor":10545,"layer":10546,"available":10547,"Ġends":10548,".table":10549,"Ġdataset":10550,"bus":10551,"Ġexplain":10552,"(pro":10553,"ĠCommittee":10554,"Ġnoted":10555,"]:Ċ":10556,"Dim":10557,"stdio":10558,"154":10559,".\",Ċ":10560,"_source":10561,"181":10562,"ĠWeek":10563,"ĠEdge":10564,"Ġoperating":10565,"Ġeste":10566,"ipl":10567,"330":10568,"agination":10569,"Ġproceed":10570,"Ġanimation":10571,".Models":10572,"ĠWatch":10573,"iat":10574,"Ġoppon":10575,"/A":10576,"Report":10577,"Ġsounds":10578,"_buf":10579,"IELD":10580,"Ġbund":10581,"ĉget":10582,".pr":10583,"(tmp":10584,"Ġkid":10585,">ĊĊĊ":10586,"Ġyang":10587,"NotFound":10588,"ÑĨ":10589,"math":10590,"@gmail":10591,"ĠLIMIT":10592,"redients":10593,"Ġvent":10594,"avigate":10595,"Look":10596,"Ġreligious":10597,"Ġrand":10598,"rio":10599,"(GL":10600,"_ip":10601,"uan":10602,"iciency":10603,"ĠChange":10604,">čĊčĊ":10605,"ĠEntity":10606,"Ġrencontre":10607,"ĠRet":10608,"plan":10609,"én":10610,"BOOL":10611,"uries":10612,"train":10613,"Definition":10614,"============":10615,"zz":10616,"450":10617,"Animation":10618,"ĠOK":10619,"_menu":10620,".bl":10621,"_score":10622,"Ġacad":10623,"(System":10624,"Ġrefresh":10625,"'=>$":10626,".Graphics":10627,"amento":10628,"pid":10629,"tc":10630,"Ġtips":10631,"Ġhomes":10632,"Ġfuel":10633,"âĸ":10634,"_helper":10635,"ĠĠčĊ":10636,"ĠRoom":10637,".Close":10638,"_attr":10639,"ĠMount":10640,"ĠEv":10641,"arser":10642,"_top":10643,"eah":10644,"ĠDelete":10645,"ãĢį":10646,"uke":10647,"Ġusage":10648,"aria":10649,"_dev":10650,"Ġtexture":10651,"Ġconversation":10652,"eper":10653,"Bean":10654,"done":10655,"nonatomic":10656,"ĠSecond":10657,"Ġshooting":10658,"_pre":10659,"Components":10660,"Ġ]ĊĊ":10661,"__,":10662,"stitution":10663,".Char":10664,">();ĊĊ":10665,"Ġpresented":10666,"Ġwa":10667,"oker":10668,"-ĊĊ":10669,"iner":10670,"Ġbecoming":10671,"Ġincident":10672,"Att":10673,"162":10674,"Ġrevealed":10675,"forc":10676,"Ġboot":10677,".page":10678,"Enumerator":10679,"165":10680,"_->":10681,"Photo":10682,"Ġspring":10683,".\",":10684,"ĠDictionary":10685,"BJECT":10686,"Ġlocations":10687,"Ġsamples":10688,"InputStream":10689,"ĠBrown":10690,"Ġstats":10691,"quality":10692,"Ñħ":10693,"-dis":10694,"Ġhelping":10695,"Ġped":10696,"224":10697,"(se":10698,"ĠWho":10699,"alian":10700,"internal":10701,"Ġft":10702,">().":10703,"->{":10704,"Ġmine":10705,"Ġsector":10706,"Ġgro":10707,"Ġopportunities":10708,"Ġü":10709,"Ġmp":10710,"Ġalleged":10711,"Ġdoubt":10712,"Mouse":10713,"About":10714,"_part":10715,"Ġchair":10716,"Ġstopped":10717,"161":10718,"loop":10719,"entities":10720,"Ġapps":10721,"ansion":10722,"Ġmental":10723,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":10724,"FR":10725,"Ġdefend":10726,"care":10727,"Ġideal":10728,"/api":10729,"urface":10730,"011":10731,"Ġele":10732,"ulator":10733,"ĠRights":10734,"anguages":10735,"Ġfunds":10736,"Ġadapt":10737,"Attributes":10738,"Ġdeploy":10739,"opts":10740,"Ġvalidation":10741,"Ġconcerns":10742,"uce":10743,".num":10744,"ulture":10745,"ila":10746,"Ġcup":10747,"Ġpure":10748,".Fore":10749,"183":10750,"ĠHashMap":10751,".valueOf":10752,"asm":10753,"MO":10754,"Ġcs":10755,"Ġstores":10756,"Ġ************************************************************************":10757,"Ġcommunication":10758,"mem":10759,".EventHandler":10760,".Status":10761,"_right":10762,".setOn":10763,"Sheet":10764,"Ġidentify":10765,"enerated":10766,"ordered":10767,"Ġ\"[":10768,"Ġswe":10769,"Condition":10770,"ĠAccording":10771,"Ġprepare":10772,"Ġrob":10773,"Pool":10774,"Ġsport":10775,"rv":10776,"ĠRouter":10777,"Ġalternative":10778,"([]":10779,"ĠChicago":10780,"ipher":10781,"ische":10782,"ĠDirector":10783,"kl":10784,"ĠWil":10785,"keys":10786,"Ġmysql":10787,"Ġwelcome":10788,"king":10789,"ĠManager":10790,"Ġcaught":10791,")}Ċ":10792,"Score":10793,"_PR":10794,"Ġsurvey":10795,"hab":10796,"Headers":10797,"ADER":10798,"Ġdecor":10799,"Ġturns":10800,"Ġradius":10801,"errupt":10802,"Cor":10803,"Ġmel":10804,"Ġintr":10805,"(q":10806,"ĠAC":10807,"amos":10808,"MAX":10809,"ĠGrid":10810,"ĠJesus":10811,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":10812,".DE":10813,"Ġts":10814,"Ġlinked":10815,"free":10816,"ĠQt":10817,"Ġ/**čĊ":10818,"Ġfaster":10819,"ctr":10820,"_J":10821,"DT":10822,".Check":10823,"Ġcombination":10824,"Ġintended":10825,"-the":10826,"-type":10827,"182":10828,"ectors":10829,"ami":10830,"uting":10831,"Ġuma":10832,"XML":10833,"UCT":10834,"Ap":10835,"ĠRandom":10836,"Ġran":10837,".sort":10838,"Ġsorted":10839,".Un":10840,"401":10841,"_PER":10842,"itory":10843,"Ġpriority":10844,"ĠGal":10845,"ĠOld":10846,"hot":10847,"ĠDisplay":10848,"(sub":10849,"_TH":10850,"_Y":10851,"ĠCare":10852,"loading":10853,"Kind":10854,"_handle":10855,",,":10856,"rase":10857,"_replace":10858,".addEventListener":10859,"ĠRT":10860,"172":10861,"Ġentered":10862,"gers":10863,"Ġich":10864,"(start":10865,"205":10866,"/app":10867,"Ġbrother":10868,"Memory":10869,"Outlet":10870,"Ġutf":10871,"prec":10872,"Ġnavigation":10873,"ORK":10874,"Ġdst":10875,"Detail":10876,"Ġaudience":10877,"Ġdur":10878,"Ġcluster":10879,"unched":10880,"Ġ],":10881,"Ġcomfortable":10882,".values":10883,"ĠTotal":10884,"Ġsnap":10885,"Ġstandards":10886,"Ġperformed":10887,"hand":10888,"(\"@":10889,"åŃ":10890,"Ġphil":10891,"ibr":10892,"trim":10893,"Ġforget":10894,"157":10895,"Ġdoctor":10896,".TextBox":10897,"377":10898,"icons":10899,",s":10900,"ĠOp":10901,"Sm":10902,"Stop":10903,"ĉList":10904,"ĉu":10905,"Comment":10906,"_VERSION":10907,".Xtra":10908,"Person":10909,"rb":10910,"LOB":10911,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":10912,"ĠCentral":10913,"270":10914,"ICK":10915,"raq":10916,"Ġputting":10917,"Ġmd":10918,"ĠLove":10919,"Program":10920,"Border":10921,"oor":10922,"Ġallowing":10923,"after":10924,"Ġentries":10925,"ĠMaybe":10926,"]).":10927,"ĠShort":10928,")\\":10929,".now":10930,"friend":10931,"Ġprefer":10932,"ĠGPIO":10933,"osis":10934,"ĠGameObject":10935,"Ġskip":10936,"Ġcompetition":10937,"_match":10938,"lications":10939,"_CONT":10940,".groupBox":10941,"Ġals":10942,"666":10943,"\"We":10944,"_eq":10945,"lan":10946,"_search":10947,"ĠMusic":10948,"asis":10949,"Ġbind":10950,"ĠIsland":10951,"rum":10952,"(E":10953,"Ġseat":10954,"Video":10955,"Ġack":10956,"reek":10957,"={()":10958,"Ġrating":10959,"Ġrestaurant":10960,"456":10961,"DEX":10962,"(buf":10963,"pping":10964,"uality":10965,"Ġleague":10966,"176":10967,"Ġfocused":10968,"apon":10969,"$data":10970,"CLUD":10971,"CLUDING":10972,"Ġabsolute":10973,"(query":10974,"Ġtells":10975,"Ang":10976,"Ġcommunities":10977,"Ġhonest":10978,"oking":10979,"Ġapart":10980,"arity":10981,"/$":10982,"_module":10983,"ĠEnc":10984,".an":10985,".Config":10986,"Cre":10987,"Ġshock":10988,"ĠArab":10989,"IENT":10990,"/re":10991,"Ġretrie":10992,"ycler":10993,"isa":10994,"ĠOrgan":10995,".graph":10996,"Ġí":10997,"ĠBAS":10998,"Enum":10999,"Ġpossibly":11000,"ÑĢаÐ":11001,"ĠJapanese":11002,"Ġcraft":11003,"ĠPlace":11004,"Ġtalent":11005,"Ġfunding":11006,"Ġconfirmed":11007,"Ġcycle":11008,"/x":11009,"GE":11010,"Ġhearing":11011,"Ġplants":11012,"Ġmouth":11013,"pages":11014,"oria":11015,"ĠRemove":11016,"_total":11017,"Ġod":11018,"ollapse":11019,"door":11020,"Ġbought":11021,"Ġaddr":11022,"ARCH":11023,"_dim":11024,"dden":11025,"Ġdecades":11026,"REQUEST":11027,"Ġversions":11028,"fire":11029,"006":11030,"Ġmoves":11031,"fb":11032,"Ġcoffee":11033,".connect":11034,"ĠRow":11035,"Ġschema":11036,"Scope":11037,"-Type":11038,"Ġfighting":11039,"Ġretail":11040,"Ġmodified":11041,"TF":11042,"Files":11043,"nie":11044,"_command":11045,"stone":11046,"ĠÑĤ":11047,"_thread":11048,"Ġbond":11049,"ĠDevelopment":11050,"Ġpt":11051,"FORM":11052,"plet":11053,"Ġidentified":11054,"cpp":11055,"206":11056,"225":11057,"Ġcoding":11058,"oked":11059,"ĠMaster":11060,"IDTH":11061,"Ġresidents":11062,"redit":11063,"ĠPhoto":11064,"=-":11065,"unte":11066,"ateur":11067,"159":11068,"_STATE":11069,"ĠSing":11070,"Ġsheet":11071,".val":11072,"orse":11073,"Ġhers":11074,"Ġdetermined":11075,"Common":11076,"Ġwed":11077,"_queue":11078,"PH":11079,"ĠAtl":11080,"cred":11081,"/LICENSE":11082,"Ġmes":11083,"Ġadvanced":11084,".java":11085,".Sh":11086,"Go":11087,"kill":11088,"fp":11089,"_settings":11090,"Ġpal":11091,"Ġtruck":11092,"Ġcombined":11093,"Ġ\"${":11094,"ĠCorpor":11095,"Ġjoined":11096,"ĠJose":11097,"ĠCup":11098,"uns":11099,"estival":11100,"levision":11101,"Ġbroken":11102,"Ġmarriage":11103,"ĠWestern":11104,"Ġrepresents":11105,"ĠTitle":11106,"Ġss":11107,".Ass":11108,"ongoose":11109,"iento":11110,"<>();Ċ":11111,"Ġabsolutely":11112,"Ġsmooth":11113,"TERN":11114,"ĠUnless":11115,"Word":11116,"Ġmerge":11117,"igan":11118,"ĠVol":11119,"Ġnn":11120,".getId":11121,"Ġз":11122,"171":11123,"Ġsexy":11124,"Ġseeking":11125,"Single":11126,".this":11127,"179":11128,"Ġkom":11129,"bound":11130,";\"":11131,"ĠfontSize":11132,"_df":11133,"Ġinjury":11134,"(H":11135,"Ġissued":11136,"_END":11137,":self":11138,"020":11139,"Ġpatch":11140,"Ġleaves":11141,"Ġadopt":11142,"FileName":11143,"ãĢIJ":11144,"Ġexecutive":11145,"ĠByte":11146,"]))Ċ":11147,"Ġnu":11148,"outing":11149,"cluding":11150,"-R":11151,".options":11152,"Ġsubstant":11153,"avax":11154,"ĠBUT":11155,"Ġtechnical":11156,"Ġtwice":11157,"Ġmás":11158,"Ġunivers":11159,"yr":11160,"Ġdrag":11161,"ĠDC":11162,"Ġsed":11163,"Ġbot":11164,"ĠPal":11165,"ĠHall":11166,"forcement":11167,"Ġauch":11168,".mod":11169,"notation":11170,"_files":11171,".line":11172,"_flag":11173,"[name":11174,"Ġresolution":11175,"Ġbott":11176,"(\"[":11177,"ende":11178,"(arr":11179,"Free":11180,"(@\"":11181,"ĠDistrict":11182,"PEC":11183,":-":11184,"Picker":11185,"ĠJo":11186,"ĠĠĠĠĠĊ":11187,"ĠRiver":11188,"_rows":11189,"Ġhelpful":11190,"Ġmassive":11191,"---Ċ":11192,"Ġmeasures":11193,"007":11194,"ĠRuntime":11195,"Ġworry":11196,"ĠSpec":11197,"ĉD":11198,"ãĢij":11199,"Ġ){Ċ":11200,"Ġworse":11201,"(filename":11202,"Ġlay":11203,"Ġmagic":11204,"ĠTheir":11205,"oul":11206,"stroy":11207,"ĠWhere":11208,"280":11209,"Ġsudden":11210,"Ġdefe":11211,"Ġbinding":11212,"Ġflight":11213,"ĠOnInit":11214,"ĠWomen":11215,"ĠPolicy":11216,"Ġdrugs":11217,"ishing":11218,"('../":11219,"ĠMel":11220,"peat":11221,"tor":11222,"Ġproposed":11223,"Ġstated":11224,"_RES":11225,"Ġeast":11226,"212":11227,"ĠCONDITION":11228,"_desc":11229,"Ġwinning":11230,"folio":11231,"Mapper":11232,"ĠPan":11233,"ĠAnge":11234,".servlet":11235,"Ġcopies":11236,"LM":11237,"Ġvm":11238,"åį":11239,"Ġdictionary":11240,"Seg":11241,"177":11242,"elines":11243,"ĠSend":11244,"Ġiron":11245,"ĠFort":11246,"166":11247,".domain":11248,"Ġdebate":11249,"NotNull":11250,"eq":11251,"acher":11252,"lf":11253,"ĉfmt":11254,"Ġlawy":11255,"178":11256,"ÄŁ":11257,"ĠMen":11258,"Ġtrim":11259,"(NULL":11260,"Ġ!!":11261,"Ġpad":11262,"Ġfollows":11263,"\"][\"":11264,"requ":11265,"ĠEp":11266,".github":11267,"(img":11268,"eto":11269,"('\\":11270,"Services":11271,"umbnail":11272,"_main":11273,"pleted":11274,"fortunately":11275,"Ġwindows":11276,"Ġplane":11277,"ĠConnection":11278,".local":11279,"uard":11280,"}\\":11281,"==\"":11282,"andon":11283,"ĠRoy":11284,"west":11285,"158":11286,"iginal":11287,"emies":11288,"itz":11289,"'):Ċ":11290,"ĠPeter":11291,"Ġtough":11292,"Ġreduced":11293,"Ġcalculate":11294,"Ġrapid":11295,"customer":11296,"Ġefficient":11297,"Ġmedium":11298,"Ġfell":11299,".ref":11300,"ĠCas":11301,"Ġfeedback":11302,"Speed":11303,"(output":11304,"aje":11305,"Ġcategories":11306,"Ġfee":11307,"};":11308,"Ġdeleted":11309,"reh":11310,"Ġproof":11311,"Desc":11312,"Build":11313,"Ġsides":11314,".ArrayList":11315,"-%":11316,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":11317,"ر":11318,".match":11319,"ли":11320,"Ġfeels":11321,"Ġachieve":11322,"Ġclim":11323,"_ON":11324,"ĠCD":11325,"Ġteacher":11326,"_current":11327,"bn":11328,"_PL":11329,"isting":11330,"Enable":11331,"GEN":11332,"Ġtv":11333,"Ġsock":11334,"Ġplays":11335,"Ġdiscount":11336,"ĠKE":11337,"ĠDebug":11338,"Fore":11339,"ĠIraq":11340,"Ġappearance":11341,"Mon":11342,"Ġstyled":11343,"ĠHuman":11344,"iot":11345,"ĠHistory":11346,"Ġsac":11347,"ĠCollection":11348,"Ġrecommended":11349,".Selected":11350,"Ġorganizations":11351,"Ġdiscovered":11352,"cohol":11353,"adas":11354,"ĠThomas":11355,"May":11356,"Ġconserv":11357,"Ġdomin":11358,"ĠFollow":11359,"ĠSection":11360,"ĠThanks":11361,"Username":11362,"Ġrecipe":11363,"Ġwonderful":11364,".sleep":11365,"_if":11366,"ĉĊĉĊ":11367,"orno":11368,"Ġru":11369,"_target":11370,".\"\"":11371,"à¦":11372,"EventArgs":11373,"Ġinputs":11374,"Ġfif":11375,"Ġvision":11376,"cy":11377,"ĠSeries":11378,")(((":11379,"Ġtrading":11380,"Ġmarker":11381,"Begin":11382,"Ġtypically":11383,"Ġcauses":11384,"dropdown":11385,"_DEBUG":11386,"260":11387,"Ġdetect":11388,"country":11389,"!\");Ċ":11390,"ĉR":11391,"appy":11392,"Ġcref":11393,"('<":11394,"\"=>":11395,"ĠLE":11396,"reader":11397,"Ġadministr":11398,"õ":11399,"ucket":11400,"Ġfashion":11401,".char":11402,"izar":11403,"Ġdisable":11404,"Ġsuc":11405,"ĠLive":11406,"issue":11407,"Ġmetadata":11408,"flags":11409,"ĠðŁ":11410,"Ġcommitted":11411,"Ġva":11412,"Ġrough":11413,"Ġ'''Ċ":11414,"Ġhighlight":11415,"_vars":11416,"VO":11417,"Ġencoding":11418,"-Z":11419,"_sign":11420,"$(\"#":11421,"Ġrain":11422,"reatest":11423,"ĠEND":11424,"Selection":11425,"Ġcandidates":11426,"Ġsav":11427,".Empty":11428,"Ġdecisions":11429,"Ġcollabor":11430,"ridge":11431,"feed":11432,"ression":11433,"Ġpersons":11434,"VM":11435,"008":11436,"ega":11437,"_BIT":11438,"According":11439,"acked":11440,"Ġdollars":11441,"_loss":11442,"ĠCost":11443,"}\"Ċ":11444,"Notification":11445,"Ġprostit":11446,"Ġauthority":11447,".rec":11448,"Ġspokes":11449,"ĠToday":11450,"istant":11451,"ĠHead":11452,"âĢĿ.":11453,"ertainment":11454,"cean":11455,"culate":11456,"Ġven":11457,"However":11458,"_arr":11459,"Ġtokens":11460,"Graph":11461,"ĠJud":11462,"ĠVirgin":11463,"ĠSerial":11464,"unning":11465,"Mutable":11466,"agers":11467,".csv":11468,"Ġdeveloping":11469,"Ġinstructions":11470,"Ġpromise":11471,"Ġrequested":11472,"_encode":11473,"/\"":11474,"ĠIcon":11475,"uilt":11476,"-day":11477,"Ġintelligence":11478,".IS":11479,"ĠObservable":11480,"ĠHard":11481,"Bool":11482,"211":11483,"idential":11484,".Anchor":11485,"Ġselling":11486,"CI":11487,"AGES":11488,"tle":11489,"bur":11490,"UFFER":11491,"RY":11492,"Ġbigger":11493,"Ġrat":11494,"Ġfamous":11495,"Ġtypename":11496,"Ġexplained":11497,"}}Ċ":11498,"Ġnuclear":11499,"-N":11500,"Ġcrisis":11501,"ĠEnter":11502,"Ġanswers":11503,"/${":11504,"/pl":11505,"Ġsequ":11506,"_next":11507,"mask":11508,"Ġstanding":11509,"Ġplenty":11510,"ĠCross":11511,"ĉret":11512,"dro":11513,"ĠCast":11514,"167":11515,"=true":11516,"ĠChris":11517,"icio":11518,"ĠMike":11519,"Decimal":11520,"addComponent":11521,"Len":11522,"Ġcock":11523,"Ġ#{":11524,"URN":11525,"":11657,"Ġ*=":11658,"ĠPS":11659,"Ġdangerous":11660,"[p":11661,"OME":11662,"Other":11663,"ĠStringBuilder":11664,"Points":11665,"heading":11666,"Ġcurrency":11667,"Ġpercentage":11668,"_API":11669,"Ġclassic":11670,"thead":11671,"ĠMO":11672,"FE":11673,"Idx":11674,"await":11675,"Ġè":11676,"Ġaccident":11677,"Ġvariant":11678,"Ġmyst":11679,"ĠLand":11680,"ĠBre":11681,"Ġharm":11682,"ĠAcc":11683,"Ġcharged":11684,"iones":11685,"Visibility":11686,"arry":11687,"ĠLanguage":11688,"Ġwalking":11689,"\".ĊĊ":11690,"ifer":11691,"Ġleadership":11692,".From":11693,"ynam":11694,"Ġtimestamp":11695,"ipt":11696,"ĠHas":11697,"REFER":11698,"ĠIts":11699,"Ġlistener":11700,"UTE":11701,"213":11702,"_description":11703,"Ġexperiences":11704,"Ġcreates":11705,"RS":11706,"cart":11707,"black":11708,"Ġchoices":11709,"war":11710,"750":11711,"Ġ'''":11712,"Ġordered":11713,"Ġevening":11714,"Ġpil":11715,"Ġtun":11716,"ĠBad":11717,"(app":11718,"random":11719,"Ġexplicit":11720,"Ġarrived":11721,"Ġfly":11722,"Ġeconom":11723,"-mail":11724,"Ġlists":11725,"Ġarchitect":11726,"234":11727,"ĠPay":11728,"Ġds":11729,"ĠSol":11730,"Ġvehicles":11731,"Hz":11732,"-com":11733,"Ġking":11734,"_equal":11735,"ĠHelp":11736,"Ġabuse":11737,"480":11738,"169":11739,"--;Ċ":11740,"Ġextr":11741,"Ġchemical":11742,"ä¿":11743,"Ġorient":11744,"Ġbreath":11745,"ĠSpace":11746,"(element":11747,"wait":11748,"DED":11749,"igma":11750,"Ġentr":11751,"Ġsob":11752,"-name":11753,"Ġaffected":11754,"ika":11755,"Ġcoal":11756,"_work":11757,"Ġhundreds":11758,"Ġpolitics":11759,"subject":11760,"Ġconsumer":11761,"ANGE":11762,"Ġrepeated":11763,"Send":11764,"Ġ#[":11765,"Ġprotocol":11766,"Ġleads":11767,"useum":11768,"Every":11769,"808":11770,"174":11771,"Import":11772,"(count":11773,"Ġchallenges":11774,"Ġnovel":11775,"Ġdepart":11776,"bits":11777,".Current":11778,"Ġ`${":11779,"oting":11780,"(\\":11781,"Ġcreative":11782,"Ġbuff":11783,"Ġintroduced":11784,"usic":11785,"modules":11786,"Are":11787,"-doc":11788,"language":11789,"_cache":11790,"Ġtod":11791,"?>{{":12026,"ĠResource":12027,"ĠStandard":12028,"ĠPrem":12029,"updated":12030,"ivalent":12031,"Ġassets":12032,"_temp":12033,"Ġinterests":12034,"Ġhardware":12035,"ĠRom":12036,"ĠShare":12037,"Ġ''Ċ":12038,"Ġ*,":12039,"ĠTake":12040,"ĠImages":12041,"_CHECK":12042,"(typeof":12043,"ĠJun":12044,"\\<^":12045,"Ġliqu":12046,"Ġworst":12047,"ymbols":12048,"ĉĉĉĠĠĠ":12049,"Ġdrivers":12050,"ĠDocument":12051,"eno":12052,"ĠTechnology":12053,"Ġapproved":12054,"umps":12055,"Ġsnow":12056,"formance":12057,"_ASSERT":12058,"uits":12059,"207":12060,"ÙĨ":12061,"Ġdifferences":12062,".Visible":12063,"ĉĉĉčĊ":12064,"ĠPs":12065,"_fetch":12066,"Ġtodo":12067,".',Ċ":12068,"Ġsel":12069,"urers":12070,"invalid":12071,"Ġtweet":12072,"VEL":12073,"Ġresearchers":12074,"Ġsprintf":12075,"ĠRO":12076,"Ġpel":12077,".Trans":12078,"Ġillegal":12079,"dialog":12080,"smarty":12081,"lg":12082,"_MIN":12083,"Ġhero":12084,"final":12085,"Ġpp":12086,".Le":12087,"Ġci":12088,"ĉRT":12089,"Ġsuggested":12090,"pdf":12091,"aching":12092,"ĠRo":12093,"ĠProperties":12094,"ĠSi":12095,"Ġbuying":12096,"Ġmu":12097,"Ġlands":12098,"ifiers":12099,"ĠFILE":12100,"ROUP":12101,"Ġholder":12102,"ĠSon":12103,"Ġsympt":12104,".route":12105,")?":12106,"Ġargc":12107,"Ġfort":12108,"Ġcasino":12109,"_category":12110,"Ġforum":12111,"215":12112,"prefix":12113,"apture":12114,"Tube":12115,"ems":12116,"imize":12117,"Ġnue":12118,"aus":12119,"course":12120,"ATOR":12121,"()),":12122,"Advertis":12123,"INGS":12124,"Ġacknow":12125,"ĠKorea":12126,"pling":12127,"Ġworker":12128,"PLIED":12129,"hal":12130,"ĠRichard":12131,"Elements":12132,"ĉĉĉĠ":12133,"star":12134,"Ġrelationships":12135,"Ġcheap":12136,"ACH":12137,"ĠXML":12138,",&":12139,"ĠLouis":12140,"Ġride":12141,"_FAIL":12142,"Ġchunk":12143,"[s":12144,"_OUT":12145,"Ġchosen":12146,"_[":12147,"/(":12148,"ĠJeff":12149,"_sl":12150,"priv":12151,"ĠCanadian":12152,"Ġunable":12153,"_FLAG":12154,"Ġnos":12155,"high":12156,"Ġlift":12157,"fun":12158,"(){":12159,"elly":12160,"yclerView":12161,"_as":12162,"_LIST":12163,"Ġradi":12164,".getValue":12165,"304":12166,"ĠAngeles":12167,"ĠSpan":12168,"_instance":12169,"itors":12170,"208":12171,"Ġmigration":12172,"AK":12173,"Oh":12174,"®":12175,".selected":12176,"ĠGT":12177,"Ġadvance":12178,"ĠStyle":12179,".DataGridView":12180,"ection":12181,"Ñİ":12182,"pio":12183,"rog":12184,"Ġshopping":12185,"ĠRect":12186,"Illuminate":12187,"OU":12188,"ĉarray":12189,"Ġsubstantial":12190,"Ġpregn":12191,"Ġpromote":12192,"IEW":12193,".Layout":12194,"Ġsigns":12195,"/.":12196,"Ġletters":12197,"Board":12198,"ctrl":12199,"\"\\":12200,"ĠJones":12201,"Ġvertex":12202,"Ġja":12203,"Ġaffili":12204,"Ġwealth":12205,"ĉdefault":12206,"Ġsignificantly":12207,"Ġec":12208,"Ġxs":12209,"actual":12210,".per":12211,"_step":12212,"anvas":12213,"mac":12214,"Ġtransl":12215,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":12216,"Iterator":12217,"Ġoch":12218,"agnostic":12219,"ĠDuring":12220,"ĠDEFAULT":12221,"Ġtill":12222,"Ġsignature":12223,"Ġbird":12224,"ĠOl":12225,"310":12226,"ĠIr":12227,"HS":12228,"avatar":12229,"ESSAGE":12230,"Ġelev":12231,"Ġmt":12232,"ĠNav":12233,"Ġrelax":12234,"Ġplate":12235,"ITEM":12236,"(date":12237,".not":12238,"Ġgrade":12239,"Ġ}),Ċ":12240,"?\"ĊĊ":12241,"iences":12242,"High":12243,"ĠDIS":12244,"231":12245,"disabled":12246,"QUI":12247,"Ġnoise":12248,"aux":12249,"ĠUP":12250,"888":12251,"osa":12252,"Ġvoc":12253,"Ġ))":12254,"ocom":12255,"_OFF":12256,"ĠDb":12257,"Lock":12258,".eclipse":12259,",d":12260,"ĠDraw":12261,"Ġ\"(":12262,"Ġvisited":12263,"ĠâĪ":12264,"Ġsucceed":12265,"Ġimpossible":12266,"aire":12267,"ĠTurn":12268,"Ġdish":12269,"FG":12270,"Ġsensor":12271,"ANN":12272,"aba":12273,"Ġsurg":12274,"]);čĊ":12275,"Ġfp":12276,"_an":12277,"-J":12278,"-G":12279,"ĠJob":12280,"Convert":12281,"ĠKEY":12282,"Ġauthors":12283,"_server":12284,"\\r":12285,"Ġ-*-":12286,"flex":12287,"Ġsoc":12288,"Ret":12289,"Ġsalt":12290,"ĠâĢ¦ĊĊ":12291,"ĠClear":12292,"(page":12293,"-danger":12294,"Ġrooms":12295,"conv":12296,"#{":12297,".op":12298,"ĠArea":12299,"_SC":12300,"hen":12301,"Ġbegins":12302,"-y":12303,"Ġexcited":12304,"Ġignored":12305,"Ġbonus":12306,"student":12307,"ĠMember":12308,"Ġrelatively":12309,"ĠLow":12310,"ĠProdu":12311,"ateway":12312,"posure":12313,"Ġthick":12314,"aniel":12315,"(view":12316,"ĠCrush":12317,"Extension":12318,"Il":12319,"eed":12320,"LOC":12321,".im":12322,".Items":12323,"Ġconflict":12324,".prevent":12325,"252":12326,"ĠonCreate":12327,"uv":12328,"iser":12329,"Ġwave":12330,"Mar":12331,"ĠCommunity":12332,"iche":12333,"ĠNothing":12334,"[m":12335,"ĠLee":12336,"riends":12337,"232":12338,"ère":12339,"!!!":12340,"anz":12341,".result":12342,"ĠSK":12343,"_PARAM":12344,"Ġdemocr":12345,"BackColor":12346,".exists":12347,"\"It":12348,"(options":12349,"razy":12350,"aser":12351,"\\Database":12352,"alendar":12353,"_ass":12354,";}Ċ":12355,"vertex":12356,"inecraft":12357,"Warning":12358,"argo":12359,"Ġactor":12360,"ĠInstead":12361,"ĠUsing":12362,"Self":12363,"@interface":12364,"Ġspeaking":12365,"ĠParis":12366,"ĠLICENSE":12367,".node":12368,"ĠFood":12369,"EIF":12370,"ĠBi":12371,".Start":12372,"ĠIB":12373,"Ġuniversity":12374,"254":12375,"ĠHeader":12376,".product":12377,"409":12378,"Copy":12379,"etc":12380,"rical":12381,"Ġ>>>":12382,"books":12383,"Ġalgorithm":12384,"Ġ'__":12385,"(javax":12386,"Ġnumerous":12387,"Share":12388,"Have":12389,"Ġrecru":12390,"Ġprove":12391,".substring":12392,"health":12393,"ел":12394,"Ġdecimal":12395,"Ġcommission":12396,"scription":12397,"xC":12398,"Ġsummary":12399,"atted":12400,"Ġcloser":12401,"finished":12402,"()){Ċ":12403,"ĠWood":12404,"301":12405,"_fields":12406,"ku":12407,"_items":12408,"Flag":12409,"Ġconfidence":12410,"ĠFederal":12411,"dux":12412,"Ġcompat":12413,"Ġvertical":12414,"й":12415,"ès":12416,";\">Ċ":12417,"_manager":12418,"()))Ċ":12419,"IDE":12420,":\",":12421,"235":12422,"__Ċ":12423,"ĠWay":12424,"221":12425,"ÑĪ":12426,"Temp":12427,"ĠSTR":12428,"ritten":12429,"Sync":12430,"ĠAV":12431,"ĠCEO":12432,"ĠGuid":12433,"Ġenvironmental":12434,"Ġcorresponding":12435,"ĉconsole":12436,"Ġjustice":12437,"ĠJS":12438,"Ġlived":12439,"gar":12440,"ĠGraph":12441,"ĠStat":12442,"ĠiPhone":12443,".al":12444,"ĠHD":12445,"Ġoccur":12446,"Ġthreshold":12447,"509":12448,"Ġonclick":12449,"REG":12450,".GraphicsUnit":12451,"Meta":12452,"ž":12453,"Ġcum":12454,".gnu":12455,"ë":12456,"Ġobtained":12457,"Ġcomplaint":12458,"Ġeating":12459,"Ġtar":12460,"_task":12461,"Ġopts":12462,"216":12463,"(to":12464,"Pass":12465,"Ġplastic":12466,"tility":12467,"ĠWin":12468,".preventDefault":12469,"pile":12470,"ĠGar":12471,"Ġquantity":12472,"_last":12473,"Ġgreatest":12474,"Dao":12475,"_DIS":12476,"ĠUsed":12477,"ĠHP":12478,"riting":12479,"SION":12480,"blue":12481,"domain":12482,"Ġscores":12483,"Normal":12484,"_admin":12485,"ĠASSERT":12486,"Then":12487,"***":12488,"dist":12489,"lon":12490,"Ġhate":12491,"shal":12492,"ImageView":12493,"database":12494,"Ġpand":12495,"Ġlogic":12496,"=false":12497,"bg":12498,"ĠConfiguration":12499,"Ġnur":12500,"OG":12501,"Ġmarried":12502,":+":12503,"Ġdropped":12504,"040":12505,"Ġregistration":12506,"ом":12507,"ultiple":12508,"izers":12509,"shape":12510,".copy":12511,"Ġwearing":12512,"ĠCath":12513,"Ġdedicated":12514,"Ġ...Ċ":12515,"Ġadvoc":12516,"ĠFamily":12517,"Ġstatements":12518,"ematic":12519,"ampionship":12520,"Ġmotiv":12521,"ĠHave":12522,"Ġblow":12523,"Job":12524,"cert":12525,"_vector":12526,"install":12527,"ĠCOPY":12528,"embed":12529,"DIR":12530,"ĠSpring":12531,"Ġexhib":12532,"223":12533,"cdn":12534,"ĠComment":12535,"ĠOptional":12536,".player":12537,"ĠDark":12538,"(pos":12539,"ĠShould":12540,"Ġcentre":12541,"ĠGuard":12542,"ów":12543,"Ġtrouble":12544,"ENER":12545,"(unsigned":12546,"_service":12547,"Ġns":12548,"uling":12549,"ĠMexico":12550,"ĠNY":12551,"mysql":12552,"Ġlic":12553,"åľ":12554,"Mr":12555,"-fl":12556,"ĠCustomer":12557,"idi":12558,"Ġ?>ĊĊ":12559,"rible":12560,"ĠпÑĢ":12561,"Ġsizes":12562,"_STRING":12563,"validation":12564,"ĠJon":12565,"(Http":12566,"addClass":12567,"Nodes":12568,"Ġfragment":12569,"Ġspoke":12570,"Ġwaste":12571,"Join":12572,"Ġillustr":12573,"eli":12574,"cient":12575,"Ġaid":12576,"Ġprosec":12577,"'){Ċ":12578,"Ġpassing":12579,"Ġfaces":12580,"Shape":12581,"_Z":12582,"iti":12583,"Ġalle":12584,"Ġrobot":12585,"ĠĠĠĠĠĠĠĊ":12586,"ĠSpe":12587,"Ġreceiving":12588,"ĠDetails":12589,"Ġ\")":12590,"mg":12591,"_REF":12592,"Ġcomparison":12593,"*,":12594,"ĠFound":12595,"_session":12596,"(U":12597,"/F":12598,"Ġxxx":12599,"Network":12600,"ders":12601,"Ġcapture":12602,"Ġcorre":12603,"ĠLtd":12604,"ĠAdv":12605,"[@":12606,"Ġclip":12607,"Mill":12608,"ĠProfile":12609,"Ġendif":12610,"Ġoblig":12611,"describe":12612,".element":12613,"riterion":12614,"LD":12615,"ered":12616,"Ġfavour":12617,"score":12618,"ĠFilter":12619,"attributes":12620,"Ġchecks":12621,"Inflater":12622,"ĠPlus":12623,"Ġscientific":12624,"Ġprivacy":12625,"Head":12626,"Ġfeat":12627,"Ġdegrees":12628,"ĠPale":12629,";\">":12630,"Ġfilms":12631,"ĠAudio":12632,"ĠTag":12633,"ĠEnergy":12634,"itar":12635,"parator":12636,"Ġfellow":12637,"Ġevt":12638,"ĠTri":12639,"ĠDAM":12640,"cloud":12641,"ĠPassword":12642,"ĠDemocrats":12643,"ĠAcad":12644,"$lang":12645,"Ġreb":12646,"())ĊĊ":12647,"нÑĭ":12648,"ĠBur":12649,"readcr":12650,"Ġhex":12651,"209":12652,"Console":12653,"ctl":12654,"ousel":12655,"ĠWilliam":12656,"Ġaz":12657,"_PORT":12658,"Ġpractices":12659,"Ġanywhere":12660,"ĠPosition":12661,"Ġ->Ċ":12662,"iams":12663,".username":12664,"placeholder":12665,"Ġoder":12666,"ĠSecretary":12667,"ĠiT":12668,"mond":12669,"events":12670,"?âĢĿ":12671,".Sub":12672,"Ġattached":12673,"Ġnão":12674,"Ġestate":12675,"365":12676,".action":12677,"Ġfigures":12678,"Ġ});čĊ":12679,"Ġsubscri":12680,".tag":12681,"nam":12682,".plot":12683,"noon":12684,"liament":12685,"Character":12686,".tab":12687,"Ġwinter":12688,"ĠVariable":12689,"Ġtrees":12690,"Ġproud":12691,"(V":12692,"_load":12693,"Ġhier":12694,"ĠEcon":12695,"Ġfd":12696,"Ġvictims":12697,"Rest":12698,"iana":12699,"Ġfake":12700,".Println":12701,"Ġstrlen":12702,"Ġsad":12703,"Ġble":12704,"Prot":12705,"Ġbuttons":12706,"Ġtelevision":12707,"Ġlogo":12708,"extension":12709,"ĉj":12710,"stein":12711,"aciones":12712,"Ġ\"\"\"ĊĊ":12713,"Ġsimp":12714,"Ġrecorded":12715,"Ġbrings":12716,"Ġprincipal":12717,"Ġfees":12718,"(source":12719,"kdir":12720,"Ġutils":12721,"Ġcorrectly":12722,"fil":12723,"Ġwel":12724,"Pair":12725,"-button":12726,"scale":12727,"verify":12728,"[c":12729,"Ġ---":12730,"Ġescape":12731,"ikes":12732,"LowerCase":12733,"ician":12734,"Ġchapter":12735,"ĠTYPE":12736,"Ġshadow":12737,"Ġawesome":12738,"WE":12739,"elif":12740,"Ġlambda":12741,"Ġdistinct":12742,"Ġbare":12743,"-off":12744,"Ġcolour":12745,".appendChild":12746,"olec":12747,"aga":12748,".fill":12749,"ĉsuper":12750,"Ġadj":12751,"(position":12752,".getItem":12753,"242":12754,"Short":12755,"Ġtotally":12756,"VD":12757,"ĠTre":12758,"_ep":12759,"vements":12760,"ĠSolution":12761,"Ġfundament":12762,"Follow":12763,"Ġfacility":12764,"Ġhappening":12765,"OF":12766,".textBox":12767,"Span":12768,"Ġ«":12769,"iden":12770,"Ġexceed":12771,"(parent":12772,"Ġcp":12773,"ç»":12774,"Ġhasn":12775,"Ġpri":12776,"Ġconsequ":12777,"nen":12778,"ĠINTO":12779,"Ignore":12780,"ĠFuture":12781,"Ġcarbon":12782,"ĠSteel":12783,"fmt":12784,"okie":12785,"Ġspl":12786,"(title":12787,"-info":12788,"Ġdeals":12789,"Ġfixture":12790,"ea":12791,"Div":12792,"Ġtested":12793,"_return":12794,")ĊĊĊĊ":12795,"upported":12796,"ĠCook":12797,"Ġpaying":12798,"ĠIll":12799,"Ġarrested":12800,"ĠPrime":12801,"_callback":12802,">,Ċ":12803,"driver":12804,"Once":12805,"abb":12806,"_bytes":12807,"ĠSets":12808,"(Object":12809,"Ġcc":12810,"Ġshell":12811,"alo":12812,");//":12813,"(log":12814,"264":12815,"ctors":12816,")":13301,"218":13302,"Ġ$(\".":13303,".pos":13304,"Ġboys":13305,"Ġwedding":13306,"Ġagents":13307,"=\"_":13308,"ĠArmy":13309,"Ġhint":13310,"vision":13311,"Ġtech":13312,"ĠConnect":13313,"Ġlegend":13314,"ĠBet":13315,".Base":13316,"Subject":13317,"Ġlit":13318,"Remove":13319,"Ġ\":":13320,"ĠFinal":13321,"pearance":13322,"ĠiTunes":13323,"Ġparticipants":13324,"ĠPython":13325,"Ġbusy":13326,"iel":13327,"vertices":13328,"ĠtemplateUrl":13329,"ĠClose":13330,"Img":13331,"ĠCorporation":13332,"timestamp":13333,"Ġextend":13334,"Ġwebsites":13335,"Ġpossibility":13336,"оÑĤ":13337,"Ġkö":13338,"Ġmeat":13339,"Ġrepresentation":13340,"241":13341,"Ġĉĉ":13342,"_START":13343,".apply":13344,"ĠValley":13345,"ĠSuccess":13346,"Hi":13347,"Ġnob":13348,"ĠIEnumerable":13349,"_select":13350,"geo":13351,".\")Ċ":13352,"Ġturning":13353,"Ġfabric":13354,"(\"\");Ċ":13355,"Ġperspective":13356,"éĹ":13357,"ĠSn":13358,"Thank":13359,";j":13360,".Parameters":13361,"ĉĠĠĠĠĠĠĠĠĠĠĠ":13362,"Ġfacts":13363,"305":13364,"Ġunt":13365,".instance":13366,"################################################################":13367,"-end":13368,"ĠJOIN":13369,"ĠHen":13370,"Ġuri":13371,"åIJį":13372,"Ġна":13373,"ĠInfo":13374,"Ġconducted":13375,"ĠÃ¥":13376,"OURCE":13377,"Ġwine":13378,"John":13379,".Errorf":13380,"ĠAge":13381,"ounded":13382,"Ġrealize":13383,"312":13384,"Ġ];":13385,"Ġsubsequ":13386,",m":13387,"(User":13388,"iano":13389,"Ġaccompl":13390,"isp":13391,".std":13392,"éĩ":13393,"ĠBed":13394,".setAttribute":13395,"BR":13396,"keep":13397,"ĠALL":13398,"Ġisol":13399,"amma":13400,"Package":13401,"Ġoccasion":13402,"-success":13403,"ед":13404,"ĠLIMITED":13405,"strip":13406,"()ĊĊĊ":13407,"istribution":13408,"Colors":13409,"Ġ+:+":13410,"DidLoad":13411,"aler":13412,"Ġtid":13413,"ĠLED":13414,"ĠLinked":13415,"ĠCart":13416,"())čĊ":13417,"_READ":13418,"Ġkilling":13419,"ĠPHP":13420,"fection":13421,"Ġinstances":13422,"cv":13423,"\"/>":13424,"Ġsf":13425,"Ġtaxes":13426,"_location":13427,"ĠBitcoin":13428,"uable":13429,"rank":13430,"ignore":13431,"track":13432,"ка":13433,"Ġshouldn":13434,"ĠOP":13435,"=>{Ċ":13436,"Ġkm":13437,"Ġhelper":13438,"_head":13439,"ĠWhether":13440,"oco":13441,"_bl":13442,"Ġstatistics":13443,"Ġbeauty":13444,"Ġtog":13445,"tip":13446,"ëĭ¤":13447,"Ġcsv":13448,"(sql":13449,"stdlib":13450,"weak":13451,"Ġlikes":13452,"Äį":13453,"Ġrepeat":13454,"Ġapartment":13455,"Ġemph":13456,"_edit":13457,"Ġvit":13458,"ĉtype":13459,"217":13460,"Even":13461,"uten":13462,"Ġcircumstances":13463,"bian":13464,"Ġsugar":13465,"Windows":13466,"ìŀ":13467,"Ġobserved":13468,"/data":13469,"Ġcalendar":13470,"Ġstrike":13471,"ĠRES":13472,"_sc":13473,"fony":13474,"orem":13475,"(z":13476,"power":13477,"etect":13478,"ĠSat":13479,".description":13480,"Ġgang":13481,"ĠSports":13482,"ongs":13483,"ĠBundle":13484,".sum":13485,"once":13486,"Ġaccused":13487,"Ġexplore":13488,"Ġapproximately":13489,"Ġlosing":13490,"thesis":13491,"ĠFund":13492,"Ġdiagn":13493,"Autowired":13494,"properties":13495,"Ġ_.":13496,"Ġcnt":13497,"cedure":13498,"Ġyy":13499,"Ġgrant":13500,"sock":13501,".innerHTML":13502,"Ġ]);Ċ":13503,"ĠCONFIG":13504,"='$":13505,"550":13506,"]];Ċ":13507,"UND":13508,"Ġglob":13509,"Ġdire":13510,"uffle":13511,"_MEM":13512,"Ġauthentic":13513,">(\"":13514,"Ġdecade":13515,"ĠImport":13516,"Ġoriginally":13517,"ĠjQuery":13518,"Ġindicate":13519,"Ġourselves":13520,"Sw":13521,".lbl":13522,"enerate":13523,"Ġbasically":13524,"ĠHom":13525,"Ġ+#+":13526,"ĠBritain":13527,"ĠKar":13528,"toEqual":13529,".stop":13530,"Ġmodal":13531,"isi":13532,"Ġsuggests":13533,"Ġdtype":13534,"Ġtur":13535,"bf":13536,"Ġconnections":13537,"ĠBefore":13538,"isted":13539,"mouse":13540,"Ġpulled":13541,".build":13542,"Ġlegislation":13543,"Ġforth":13544,"pad":13545,"ego":13546,".Now":13547,"Ġexciting":13548,"}ĊĊĊĊ":13549,"Ġcompr":13550,"Ġshares":13551,"Ġrig":13552,"green":13553,"_vec":13554,"Ġenumerate":13555,"Auto":13556,"icator":13557,"ĠRay":13558,"asse":13559,"Ġholiday":13560,"Ġnullable":13561,"gun":13562,"_details":13563,"Ġwrapper":13564,"seq":13565,"ĠYoung":13566,"juana":13567,"Ġ\"__":13568,"license":13569,"serve":13570,"^(":13571,"iders":13572,".Remove":13573,"ropdown":13574,"'S":13575,"pin":13576,"(token":13577,".Default":13578,"Ġreasonable":13579,"ampion":13580,"ĠSociety":13581,"Ġbei":13582,"erves":13583,"rad":13584,"ĠFox":13585,"_images":13586,"Ġwheel":13587,"')[":13588,"Ġcfg":13589,"(By":13590,"Constructor":13591,"Ġvary":13592,".swift":13593,"Ġproxy":13594,"ĉH":13595,"ĠAnother":13596,"ĠPen":13597,"Ġchecking":13598,"Ġjest":13599,"manager":13600,"Origin":13601,"ugs":13602,"oir":13603,">čĊ":16336,"Ġrelief":16337,"lap":16338,"quer":16339,"_parent":16340,"heap":16341,"LOSE":16342,"Ġcombine":16343,"ĠRose":16344,"owers":16345,"Ġprocedures":16346,"ĠSort":16347,"anim":16348,"variant":16349,"ehicle":16350,"Ġsigning":16351,"Primary":16352,"currency":16353,"Ġsexe":16354,"oen":16355,"theta":16356,"eman":16357,"Ġimpressive":16358,"('_":16359,"ĉU":16360,"ĠTextStyle":16361,"_cnt":16362,"Ġslice":16363,"(':":16364,"Ġunderstood":16365,"His":16366,"277":16367,"013":16368,"Ġinformed":16369,"Ġnick":16370,"429":16371,"(TAG":16372,"hd":16373,"Ġelections":16374,"esture":16375,"ĠSanta":16376,"ĠCoast":16377,".pdf":16378,"inciple":16379,".clone":16380,"born":16381,"uta":16382,"Ġlicensed":16383,"Cr":16384,"Ġbread":16385,"ĠHouston":16386,"Ġnod":16387,"Ġhopes":16388,"ĠCGRect":16389,"Ġguilty":16390,".gif":16391,"Ġrose":16392,".Common":16393,"Tip":16394,"ANK":16395,"ĠFC":16396,"During":16397,"ĠSymfony":16398,"Ġdefensive":16399,"km":16400,")>":16401,"archive":16402,"ĠURI":16403,"ycling":16404,"-o":16405,"ĠWebsite":16406,"AMP":16407,"405":16408,"ishment":16409,"Ġdoctors":16410,"Direct":16411,"ARI":16412,"ĠRedirect":16413,"ieren":16414,"960":16415,"_dist":16416,"yo":16417,"ĠProgress":16418,"Ġzum":16419,"Ġmemor":16420,"ĠED":16421,"Ġjur":16422,"æį®":16423,"_TABLE":16424,"Ġuuid":16425,"Expr":16426,".head":16427,"('%":16428,"pointer":16429,"Ġestimate":16430,"ĠGreg":16431,"Ġloader":16432,"ĠiOS":16433,"Ġmens":16434,"[y":16435,"Ġrefused":16436,"Ġprecision":16437,"isch":16438,"ĠACTION":16439,"Cloud":16440,"sWith":16441,"(ret":16442,"292":16443,"_ADDR":16444,"_conf":16445,"(df":16446,"Ġlocked":16447,"Ġrising":16448,"ãĥ»ãĥ»":16449,"ĠMs":16450,"Ġscenes":16451,"_EXT":16452,"_raw":16453,"_the":16454,"people":16455,"Ġrecon":16456,"ĠFun":16457,"Ġbless":16458,"ĠUpdated":16459,"422":16460,"ün":16461,"ĠĠĠĠĠĠĠĠĠĠĠĠčĊ":16462,"pection":16463,"Release":16464,".logger":16465,"ĠSY":16466,"Ġcounsel":16467,"urd":16468,"_true":16469,"Ġeverybody":16470,"ivot":16471,"Ġhence":16472,"ĠNAS":16473,"789":16474,"Ġopposed":16475,"unknown":16476,"ĠDESC":16477,"ĠChair":16478,"failed":16479,"ĠINCLUDING":16480,"386":16481,"352":16482,"Ġwriters":16483,"{}Ċ":16484,"ÃŃt":16485,"_copy":16486,"}:":16487,"ĠBat":16488,"Ġconverted":16489,"eding":16490,"placement":16491,"ĠHost":16492,"Sound":16493,"им":16494,"Ġsought":16495,"402":16496,"mid":16497,"Ġsalary":16498,"ogg":16499,"âĦ¢":16500,"bul":16501,"Ġwir":16502,"validator":16503,"_STAT":16504,".store":16505,"ĠBattle":16506,"ın":16507,"Ġ-->ĊĊ":16508,"Trump":16509,"dot":16510,"ĠCONT":16511,".fetch":16512,"Ġcontinu":16513,"was":16514,"Ġfraud":16515,"_tmp":16516,"mitter":16517,".pictureBox":16518,"GA":16519,"Ġtournament":16520,".Input":16521,"343":16522,"[r":16523,"exion":16524,"centage":16525,"ĠKorean":16526,"undef":16527,"ĠAvailable":16528,"reshape":16529,"Ġkit":16530,"ĠStruct":16531,"ĠSUB":16532,"Answer":16533,"_lib":16534,".twitter":16535,"Ġore":16536,"ĠDragon":16537,".Ext":16538,",k":16539,"Ġexplanation":16540,"refs":16541,"ĠDrive":16542,"ĠTraining":16543,"282":16544,".Has":16545,"341":16546,"intage":16547,"big":16548,"ologist":16549,"ennis":16550,"460":16551,"Ùĩ":16552,"Ġchicken":16553,"ĠĠĠĠĠĠĠĠĠĠĊ":16554,"çĽ":16555,"ãģ§":16556,"Ġpeak":16557,"Ġdrinking":16558,"Ġencode":16559,"ĠNEW":16560,"malloc":16561,"ĉfprintf":16562,"Ġ=================================================================":16563,"including":16564,"Ġprinciples":16565,"ĠMah":16566,"267":16567,"storage":16568,"-key":16569,"Ġkeyword":16570,"%;":16571,"Ġtrained":16572,".contrib":16573,"Ġkv":16574,"__':Ċ":16575,"ĠBoy":16576,"parameter":16577,"Ġsuite":16578,"Ġthousand":16579,"Ġcoordinate":16580,"-generated":16581,"íķĺ":16582,"generated":16583,"Ġadmitted":16584,"Ġpussy":16585,"#w":16586,"Ġswim":16587,"union":16588,"Na":16589,"274":16590,"ĠRoyal":16591,".channel":16592,"Updated":16593,"_ROOT":16594,"Ġvital":16595,"335":16596,"raction":16597,"ĠCrusher":16598,"Ġpreced":16599,"Ġhorizontal":16600,"Blueprint":16601,"Ġattrs":16602,"Ġsmoke":16603,"ÐĴ":16604,".Equals":16605,"FB":16606,"ĠResources":16607,"rolling":16608,"Ġpasses":16609,"ĠNum":16610,"rotate":16611,"etype":16612,"\\\",":16613,"Ġsensitive":16614,"Ġtall":16615,"?âĢĿĊĊ":16616,"Proxy":16617,"iy":16618,"_section":16619,"âĢĶâĢĶâĢĶâĢĶ":16620,"brid":16621,"Ġcircuit":16622,"atan":16623,"ENC":16624,"Ġdriven":16625,"Ġvoted":16626,"Ġeducational":16627,"Ġinteraction":16628,"abetes":16629,"Ġtone":16630,"ĠInitializeComponent":16631,"Ġmerely":16632,"Ġìŀ":16633,"cookie":16634,"_div":16635,"ĠUILabel":16636,"vely":16637,"});čĊ":16638,"_ENT":16639,"#+#+":16640,"articles":16641,"ĠSouthern":16642,"Ġstronger":16643,"ĠGiven":16644,"ĠEric":16645,"ĠIR":16646,"abstract":16647,"Under":16648,"nable":16649,"Ġincrement":16650,"oven":16651,"Ġcoin":16652,"_timer":16653,"Ġsuffered":16654,"ĠFREE":16655,"'].\"":16656,"ĠQueen":16657,"stats":16658,"Ġmeetings":16659,"276":16660,"Ġentering":16661,"Ġalongside":16662,"(session":16663,"itals":16664,"Ġfoundation":16665,"ĠCredit":16666,".div":16667,"_ALL":16668,"pcion":16669,"_stat":16670,"icking":16671,"Defaults":16672,"_src":16673,"Ġoutputs":16674,"/B":16675,"Ġenthus":16676,"-bl":16677,".ForeColor":16678,"ĉtemp":16679,"Face":16680,"Ġinteract":16681,"Ġweird":16682,"Mount":16683,"rell":16684,"udents":16685,"Ġrequirement":16686,"ĠSus":16687,"IER":16688,"Ġelected":16689,"reference":16690,"ĠME":16691,"Ġservers":16692,".wait":16693,"Ġsnapshot":16694,"ilton":16695,"Ġtries":16696,"Ġtipo":16697,".Time":16698,">w":16699,"Ġmountain":16700,"Ġpounds":16701,"Ġ[...":16702,"exists":16703,"ĠngOn":16704,"_MAP":16705,"Ġflying":16706,"331":16707,"xiety":16708,"ĉvalue":16709,"_DB":16710,"uno":16711,"Ġseats":16712,"TURN":16713,".author":16714,"!)":16715,"orce":16716,"Ġindicated":16717,"317":16718,".sin":16719,"Ġassignment":16720,"imiento":16721,"ĠFrame":16722,"324":16723,"_gen":16724,"inery":16725,"_)":16726,"messages":16727,".settings":16728,"ĠMean":16729,"ĠMuseum":16730,"irq":16731,"attach":16732,"ĠPalestin":16733,"_QU":16734,"_tags":16735,"Ġcasual":16736,"emen":16737,"ASSWORD":16738,"432":16739,"$s":16740,"ĠCirc":16741,"ой":16742,"etric":16743,"/P":16744,"018":16745,"Ġepoch":16746,"The":16761,"ĠAk":16762,"Ġgrass":16763,"/*čĊ":16764,"(dis":16765,"Ġguns":16766,"Ġtb":16767,"ĠKevin":16768,".args":16769,"ĠAh":16770,"oped":16771,"(J":16772,"columns":16773,"arguments":16774,"ĠWithEvents":16775,"_full":16776,"ĠDefense":16777,"Simple":16778,"Ġdeaths":16779,"295":16780,"Ġextensive":16781,"ĠStill":16782,"ĠExpression":16783,"ĠAgency":16784,"Ġperforming":16785,"FX":16786,"Ġusuario":16787,"UAL":16788,"Side":16789,"odos":16790,"aptop":16791,"Ġcredentials":16792,"_cap":16793,"atient":16794,"ĠDisney":16795,"Ġai":16796,"Ġchip":16797,"Ġvolt":16798,".makeText":16799,"%%%%%%%%%%%%%%%%":16800,"Ġbelief":16801,"_LOC":16802,"ĠCivil":16803,"Navigation":16804,"Ġreveal":16805,"Ġviolent":16806,"ĠFil":16807,"Ġcatalog":16808,"emed":16809,"scan":16810,".control":16811,"Ġconstitution":16812,"Country":16813,"Separator":16814,"_APP":16815,"topic":16816,"uetooth":16817,"MIN":16818,"Ġdescriptor":16819,"yt":16820,"ETHER":16821,"Ġdistribute":16822,"'}Ċ":16823,".trim":16824,".Line":16825,"Ġlbl":16826,"assertEquals":16827,"ĠDet":16828,"ombok":16829,"(width":16830,"Ġtort":16831,"ĠEXPRESS":16832,"aco":16833,"Using":16834,"ĠBrand":16835,"wall":16836,"EMENT":16837,"ĠCommunic":16838,"(Ċ":17492,"?>\"":17493,"Ġ///Ċ":17494,"Ġeiner":17495,"Ġweekly":17496,"ĉlogger":17497,"_pop":17498,"_man":17499,"Ġmigrations":17500,"Ġasks":17501,"Ġbs":17502,"Ġfalls":17503,".Where":17504,"-height":17505,"_feature":17506,".Min":17507,"Ġhyper":17508,"Ġvolatile":17509,"Ġtwenty":17510,"Typography":17511,"Unable":17512,"Det":17513,",f":17514,"-mod":17515,"Ġsettlement":17516,"Ġcontracts":17517,"nome":17518,"Bad":17519,"ĠBrian":17520,"768":17521,"(username":17522,"!!!!":17523,"Ġhack":17524,".Field":17525,"HR":17526,"ĠJordan":17527,"iza":17528,"ĠÂł":17529,"ĠSher":17530,".header":17531,"(other":17532,"ĠDub":17533,"(op":17534,"ĠRound":17535,"Ġvie":17536,"Ġappl":17537,"ĉJ":17538,"ĠInsert":17539,"ĠLP":17540,"regon":17541,"ĠMPI":17542,"Ġanchor":17543,"aca":17544,"ør":17545,"Ġade":17546,"anchor":17547,"quee":17548,"ĠTreeNode":17549,"Ġtargeted":17550,"Ġlaid":17551,"ABEL":17552,"vet":17553,"ĠOrigin":17554,"Ant":17555,".');Ċ":17556,"expect":17557,"edReader":17558,"ĠMajor":17559,"Ġinch":17560,"Compar":17561,"Ġpreview":17562,"Ġillness":17563,"ĠCONTRACT":17564,"ĠIndepend":17565,"uuid":17566,"Ġnome":17567,"Ġtc":17568,"ĠAvenue":17569,"isan":17570,"Ġphrase":17571,"_move":17572,"\")[":17573,"412":17574,"Ġprovision":17575,"Ġconcentr":17576,"_IR":17577,"ĠUt":17578,"()+":17579,"Ġnas":17580,"!,":17581,"ĠRobin":17582,"iations":17583,"atitude":17584,"Ġpx":17585,"ĠWithout":17586,"/bash":17587,"ekt":17588,"reement":17589,"342":17590,"Observer":17591,"318":17592,"ĠRegion":17593,"UBLIC":17594,"Ġ{//":17595,"KN":17596,"å·":17597,"GameObject":17598,"å¾":17599,"encoding":17600,"Ġ***":17601,"projects":17602,"Ġtk":17603,"Ġcheese":17604,"EMPL":17605,"aro":17606,"ĠاÙĦ":17607,"610":17608,"337":17609,"Ġconsists":17610,"refresh":17611,"ureau":17612,"ĠScanner":17613,"Ġsoil":17614,"Ġflavor":17615,"DataSource":17616,"Execute":17617,"ение":17618,"Ġshit":17619,"åĪĨ":17620,"Ċ":17875,"Ġsubsequent":17876,"posable":17877,"-fluid":17878,"Ġthorough":17879,"Ġpublicly":17880,"apters":17881,"ĠWilson":17882,"_PRE":17883,"yard":17884,"ä¼":17885,"ĉin":17886,"339":17887,"Ġrevers":17888,"Ġbullet":17889,"cribed":17890,"nesota":17891,"Ġ($_":17892,"annon":17893,"cursor":17894,"Ġclothing":17895,"ĠMulti":17896,"287":17897,":',":17898,"Ġvess":17899,"ordinator":17900,"Ġeinem":17901,"Cannot":17902,"Ġarmed":17903,"ĉV":17904,"ä¸Ĭ":17905,".Flat":17906,"ĠSep":17907,"ĠSubject":17908,"_font":17909,"Ġcharacteristics":17910,"Done":17911,"eln":17912,"############":17913,"POS":17914,"Ġdensity":17915,"ĠPlatform":17916,"-items":17917,"Ġovers":17918,"Ġpushing":17919,"ç¤":17920,".Connection":17921,"_term":17922,"Ġinitialization":17923,"________________________________":17924,"ç¬":17925,".document":17926,"lesh":17927,"ĉdocument":17928,"ĠPin":17929,"ça":17930,"Ġdefinitions":17931,".Path":17932,"_WRITE":17933,"ĠĉĊ":17934,"?>ĊĊ":17935,"Ġterrible":17936,"bean":17937,"ickets":17938,"ĠSV":17939,"Buy":17940,"(task":17941,"Ġregime":17942,"google":17943,"Ġcrack":17944,".visit":17945,"NUM":17946,"energy":17947,"Ġstruck":17948,"_sample":17949,".payload":17950,"Ġrevis":17951,"ĠScene":17952,"Ġpg":17953,"Ġbreakfast":17954,"URRENT":17955,".charAt":17956,"_exception":17957,"ĠAnton":17958,"Ġguidelines":17959,"Ġexhaust":17960,"ĠFinancial":17961,"Ġindent":17962,"Ġdesktop":17963,"Hidden":17964,"Failure":17965,"Ġprinciple":17966,"Ġiv":17967,"Ġseks":17968,"network":17969,"ĠnumberOf":17970,"ĠAlbert":17971,"ĉlong":17972,"801":17973,",.":17974,"Ġzeros":17975,"fade":17976,"ĠTyp":17977,"ĠTerm":17978,"ĠArts":17979,".Application":17980,"Ġbehalf":17981,"æĪ·":17982,"Ġmere":17983,"(`${":17984,"Ġawareness":17985,"elpers":17986,"flix":17987,"Ġweigh":17988,"Ġestimates":17989,".child":17990,"/O":17991,"ĠBitmap":17992,".bottom":17993,"Ġ**************************************************************************":17994,"Expect":17995,"ento":17996,"ĠForum":17997,"veral":17998,"Ġjail":17999,"Ġabilities":18000,"ĠHOLD":18001,"ĠCit":18002,"Ġdynam":18003,"Ġgray":18004,"ĉĉĉĉĉĉĉĉĉĉĉĉĉ":18005,".nextInt":18006,"antly":18007,"ĠARISING":18008,"(private":18009,"Ġrejected":18010,"ĠNic":18011,"Ġleather":18012,"={Ċ":18013,"alytics":18014,"thetic":18015,".Top":18016,"373":18017,".Page":18018,"={`":18019,"Ġ;čĊ":18020,"depth":18021,"mann":18022,"WD":18023,"ĠSom":18024,".Right":18025,"Ġ)}Ċ":18026,"Ġtrait":18027,"ÃĹ":18028,"iac":18029,"Ġrv":18030,"Sample":18031,".Xml":18032,"opped":18033,"ĠÑĦ":18034,"lists":18035,"Ġtear":18036,"iversary":18037,".collection":18038,"ĠConstitution":18039,"ĠHttpResponse":18040,"Ġbrill":18041,"ĠProm":18042,"hover":18043,"366":18044,"ĠMiami":18045,"Ġargue":18046,"_float":18047,"504":18048,"ĠãĤ":18049,"Ġnat":18050,"ĠTal":18051,"Ġintegration":18052,"(cur":18053,"Ġremoving":18054,"Ġcoeff":18055,"ĠThough":18056,"Ġforecast":18057,"408":18058,"ĠVegas":18059,"Site":18060,"346":18061,"Ġtrab":18062,"ĠHenry":18063,"-i":18064,"Ġinvolves":18065,"BT":18066,"Ġslo":18067,"Invoke":18068,"Ġlucky":18069,"025":18070,"rat":18071,"Ġ?Ċ":18072,"Ġhandled":18073,"(fd":18074,"contents":18075,"ĠOFF":18076,"RF":18077,"Ġsty":18078,"ĠMotor":18079,"tery":18080,"tax":18081,"MAP":18082,"ĠMrs":18083,"Ġphones":18084,"ĠUIView":18085,"\")));Ċ":18086,"(dev":18087,"ĠIrish":18088,"019":18089,"Ġws":18090,"DI":18091,"_OFFSET":18092,"ĠEvents":18093,"Ġstages":18094,"Ġ}//":18095,"Ġhaben":18096,"STANCE":18097,"ĠSin":18098,"ĠMoney":18099,"(top":18100,"Ġappointment":18101,"VERSION":18102,"metadata":18103,"_comment":18104,"Ġcolleagues":18105,"maps":18106,"âĺ":18107,"ĊĉĊ":18108,"(al":18109,"_req":18110,"Ġfut":18111,"Ġarchitecture":18112,"351":18113,"ĠWHETHER":18114,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":18115,"_screen":18116,"ĠstyleUrls":18117,"Ġmonster":18118,".up":18119,"phia":18120,"Ġprocessor":18121,"ĠTerr":18122,"=',":18123,"ĠManufact":18124,"ĠNT":18125,"kel":18126,"ibern":18127,"ĉfile":18128,"Ali":18129,"rientation":18130,"Ġ//!":18131,"apore":18132,"aneous":18133,"ĠCreat":18134,"folder":18135,"415":18136,"Ġhay":18137,"Suppress":18138,"(left":18139,"Ġeuro":18140,"Ġdisclaimer":18141,"ustry":18142,"ships":18143,"_fd":18144,"ĠFa":18145,"_insert":18146,"Ġrol":18147,"ifting":18148,"ĠComments":18149,"_br":18150,"Ġlosses":18151,"ĠAdded":18152,"charg":18153,"Ġпо":18154,"_system":18155,"ĠSometimes":18156,"ĠSpain":18157,"(group":18158,"ialis":18159,"Ġdollar":18160,"ĠArgs":18161,"499":18162,"297":18163,"quires":18164,"ĠTen":18165,".scss":18166,"Ġsurvive":18167,"usage":18168,"Ġjun":18169,"imiter":18170,"ï¼ģĊĊ":18171,"Ġfifth":18172,"toggle":18173,"Ġdecline":18174,"($\"":18175,"(Long":18176,"inge":18177,"Ġpilot":18178,"-light":18179,"-radius":18180,"Ġpodcast":18181,"Ġnaturally":18182,"Pages":18183,"为":18184,"ĠDespite":18185,"Ġlighting":18186,"Ġcrate":18187,"ĠBinary":18188,"Ġreducing":18189,"Ġeleg":18190,"ĠMouse":18191,"ĠTestBed":18192,"ĠbeforeEach":18193,"_ARRAY":18194,"Redirect":18195,"329":18196,"Ġflood":18197,"Ġships":18198,"363":18199,"Ġelectricity":18200,")*(":18201,"ê¸":18202,"ĠViet":18203,"hero":18204,"Ġdia":18205,"ĠKent":18206,"heart":18207,"Ġthreats":18208,"_acc":18209,"Ġsymbols":18210,"ischen":18211,"_inst":18212,"Criterion":18213,"ĠTIM":18214,".Height":18215,"580":18216,"ĠâĢĻ":18217,"();ĊĊĊ":18218,"Products":18219,"_SP":18220,"ĠCy":18221,"Ġdependent":18222,"este":18223,"Ġdatos":18224,"dit":18225,"ав":18226,"IGNAL":18227,"Ġlesson":18228,"\">'":18229,"ĠCover":18230,"ĠHope":18231,"ĠTimer":18232,"Ġdad":18233,"viders":18234,"ĠPhot":18235,"/?":18236,"ropy":18237,"oming":18238,"asion":18239,"Ġ\\(":18240,"ĠET":18241,"ĠReading":18242,"Ġepisodes":18243,"lm":18244,"421":18245,"echa":18246,"Ġneuro":18247,"820":18248,"Ġharmon":18249,"Ġliberal":18250,"-ind":18251,"393":18252,"DATA":18253,"Ġeveryday":18254,"Ġdivided":18255,"ĠActiveRecord":18256,"figure":18257,"UA":18258,"ä¹":18259,"riendly":18260,"tech":18261,"601":18262,".gameObject":18263,"иÑĤÑĮ":18264,"374":18265,"Ġmoon":18266,"ftime":18267,"Ġnoch":18268,"ĠTORT":18269,"ĠVM":18270,".initial":18271,"(child":18272,"Ġmusical":18273,"Ġoc":18274,"bas":18275,"ĠHay":18276,"361":18277,"_long":18278,"Ġmemset":18279,"iley":18280,"adelphia":18281,"SV":18282,"roat":18283,"_tx":18284,"Ġlon":18285,"ĠngOnInit":18286,"bp":18287,"ĠGolden":18288,"ACHE":18289,"Ġworried":18290,"azi":18291,"Ear":18292,"Take":18293,"(fp":18294,"burgh":18295,"_Data":18296,"gres":18297,"ĠOnt":18298,"pus":18299,"Ġtransparent":18300,"Ġpocket":18301,"Ġram":18302,"igrations":18303,".čĊčĊ":18304,"Ġ[(":18305,"Ġadopted":18306,"Ġreportedly":18307,"ĠDream":18308,"Ġ}));Ċ":18309,"losing":18310,"Ġteeth":18311,"ĠBooks":18312,"\",&":18313,"enny":18314,"LEMENT":18315,"Ġgel":18316,"ĠPlant":18317,"437":18318,"!âĢĿ":18319,".host":18320,"ĠReply":18321,"376":18322,"rength":18323,"Ġrecognition":18324,"Ġ}}>Ċ":18325,"LA":18326,"Ġmirror":18327,"Ġassistant":18328,"(device":18329,"Ġspiritual":18330,"builder":18331,"§":18332,"Ġoutr":18333,"Ġtt":18334,"ĠPER":18335,"Ġradical":18336,"Methods":18337,"Ġpace":18338,"udy":18339,"Ġgut":18340,"ĠGreek":18341,"Ġnonatomic":18342,"ĠPaper":18343,"_GPIO":18344,"Ġobst":18345,".Ad":18346,"vironments":18347,"ĠSov":18348,"356":18349,"(con":18350,"ĠTransaction":18351,".assign":18352,"ĉcatch":18353,"elter":18354,"Ġbitcoin":18355,"_GR":18356,"ĠčĊ":18473,"metic":18474,"Ġtransformation":18475,"åı·":18476,"Ġrgb":18477,"istributions":18478,"Ġimplicit":18479,"/in":18480,"destination":18481,"аÑĤÑĮ":18482,"Zero":18483,"Ġunset":18484,"920":18485,".where":18486,".go":18487,"Ġformation":18488,"Ġdeclaration":18489,"()čĊčĊ":18490,"ĠExpl":18491,"ĉĉĉĠĠ":18492,"/pro":18493,".JSON":18494,"441":18495,"Ġdesk":18496,".substr":18497,"//----------------------------------------------------------------------------":18498,"lyn":18499,"pson":18500,"407":18501,"disable":18502,"ĠFunc":18503,"ĉAssert":18504,"ĠMARK":18505,"Ġdefeat":18506,"Ġblind":18507,"Ġconstants":18508,"362":18509,".headers":18510,"UILD":18511,"Ġexpenses":18512,"Pixel":18513,"Ġhr":18514,"Ġfel":18515,"ĠEastern":18516,"424":18517,"490":18518,"_del":18519,"357":18520,"ĠCub":18521,"Ġsq":18522,"ĉcount":18523,"ĠDirectory":18524,"Ġexclus":18525,"Ġhistoric":18526,"Ġ------------------------------------------------":18527,"Ġcomposition":18528,"ĠdataGridView":18529,"ĠBurn":18530,"ĠBC":18531,"Master":18532,"Ġspawn":18533,"Ġbearing":18534,".SetActive":18535,"ilo":18536,"Ġgallery":18537,"Ġfounded":18538,"Ġavailability":18539,".sqrt":18540,"Ġpes":18541,"ĠDOM":18542,"mate":18543,"Oct":18544,"Ġmatched":18545,"itivity":18546,"Ġanxiety":18547,".price":18548,"ĠInstant":18549,"ìĬ":18550,"Ġtut":18551,"ICollection":18552,".shared":18553,"_sql":18554,"tbl":18555,"library":18556,"_destroy":18557,"ermal":18558,"ĠNotes":18559,"ĠEin":18560,"Ġsouthern":18561,"ĠOTHERWISE":18562,"Ġmacro":18563,".lower":18564,"cls":18565,"ContentView":18566,".link":18567,"constant":18568,"ĠBes":18569,"Ġsomebody":18570,"nb":18571,"399":18572,"\">{":18573,"(local":18574,".....":18575,"ĠNull":18576,"mx":18577,"Ġç":18578,"Ġpause":18579,"-----------":18580,"_MO":18581,"ĠCM":18582,"ĠforKey":18583,"ĠDVD":18584,"Ġclosest":18585,"_DEVICE":18586,"ĠStephen":18587,"ĠBBC":18588,"ĠTravel":18589,"Paint":18590,"ĠResults":18591,"ĠRule":18592,"Ġtp":18593,"Ġratings":18594,"cin":18595,"csv":18596,">/":18597,"ĠGOP":18598,"lad":18599,"ĠÑĢ":18600,"ĠindexPath":18601,"matrix":18602,"=f":18603,"arsed":18604,"Ġ});":18605,"ĠCos":18606,"ĠScore":18607,"Ġtak":18608,"ĠESP":18609,"ĠINC":18610,"_NULL":18611,"-flex":18612,"\"][":18613,"into":18614,"eland":18615,"Authorization":18616,"_FALSE":18617,"Ġgate":18618,"Ġvid":18619,"istent":18620,"TIME":18621,"Ġrewrite":18622,"Ġtie":18623,"Ġarchive":18624,"511":18625,".events":18626,".getParameter":18627,"ĠPermission":18628,"Ġprogramme":18629,"Ġé":18630,"jud":18631,"Ġcameras":18632,"338":18633,"349":18634,"(sys":18635,"ĠSyrian":18636,"Ġimprovements":18637,"Ġhip":18638,"Ġsuicide":18639,"Ġscholar":18640,"Ġcompatible":18641,"022":18642,"remote":18643,".down":18644,"FUNCTION":18645,"Ġmanaging":18646,"ĠUIKit":18647,".raw":18648,">>>>":18649,"371":18650,"Ġdemands":18651,"ellite":18652,"Ġdent":18653,"ĠMicro":18654,"åıĸ":18655,"'][$":18656,"ĠIE":18657,"imension":18658,"Ġtrem":18659,"630":18660,"Ġgained":18661,".with":18662,".ok":18663,"hou":18664,"Ġbom":18665,"ampaign":18666,"Ġjoining":18667,"fish":18668,"ĠaddSubview":18669,"860":18670,"Ġnorthern":18671,".cor":18672,"oret":18673,"Die":18674,"inish":18675,"_comp":18676,"Ġattended":18677,"Ġcollapse":18678,"ĠSS":18679,"acent":18680,"_EQUAL":18681,"ĠDeep":18682,"RGB":18683,"ĉtest":18684,"olves":18685,"uset":18686,"UnityEngine":18687,"writer":18688,"Resolver":18689,",%":18690,"ifference":18691,"_remove":18692,"onda":18693,"Ġfemme":18694,"385":18695,"decode":18696,"Branch":18697,"Ġflush":18698,"Ġinnovative":18699,"Tests":18700,"Ġ['./":18701,"Ġcovering":18702,".admin":18703,"ultipart":18704,"(lambda":18705,"namespace":18706,"ĠSport":18707,"Ġ!(":18708,"acles":18709,"Ġdepression":18710,"ĠKong":18711,"570":18712,"Ġpert":18713,"ĠConn":18714,"ĠOtherwise":18715,"/home":18716,"supported":18717,"Ġpink":18718,"Ġinvited":18719,"ños":18720,"_enabled":18721,"Ġ-Ċ":18722,"FW":18723,"eners":18724,"ĠMY":18725,"Ġsuggestions":18726,"Canvas":18727,"Ġfer":18728,"ĠMarketing":18729,"@Test":18730,"untu":18731,"ĠVen":18732,"ĠCou":18733,"ivals":18734,"Donald":18735,"limited":18736,"ĉĉĉĉĉĉĊ":18737,"Ġanalyst":18738,"(entry":18739,"Ġrepresentative":18740,"_attributes":18741,"Ġfur":18742,".hide":18743,"resp":18744,"adores":18745,"rides":18746,"ĠJosh":18747,"robot":18748,"ĠNAT":18749,"Ġsesso":18750,"Ġintegrated":18751,":true":18752,"parts":18753,"Ġstupid":18754,":event":18755,"@endsection":18756,"Ġpu":18757,".Table":18758,"ĠYii":18759,"`;ĊĊ":18760,"Ġclang":18761,"=\"\">":18762,"engan":18763,"_parameters":18764,".internal":18765,"ĠModern":18766,"Ġmetric":18767,"Ġsemi":18768,"={{Ċ":18769,"707":18770,".amazon":18771,"ĠBB":18772,"ainty":18773,"viewport":18774,"367":18775,"ĠstartActivity":18776,"dispatch":18777,"*****":18778,"Ġflav":18779,"ifferent":18780,"382":18781,"[this":18782,"Ġstake":18783,"Ġargued":18784,"viously":18785,".work":18786,"ĠOak":18787,"Old":18788,"(async":18789,"notes":18790,"Ġflip":18791,"Ġdisag":18792,"ĠTE":18793,"ĉerror":18794,"<'":18795,"Ġ»ĊĊ":18796,"Ġfiltered":18797,"ĠMach":18798,"Ġhung":18799,"_dump":18800,"_samples":18801,"-dismiss":18802,"Ġray":18803,"Implemented":18804,"DK":18805,"Ġjed":18806,"090":18807,"Ġbreaks":18808,"Ġfits":18809,".gr":18810,"ĠZero":18811,"oro":18812,"Ġequally":18813,"Ġ'[":18814,"Ġconcerning":18815,"<":18914,"Ġpromot":18915,"Ġincl":18916,"_only":18917,"를":18918,"ĠAttorney":18919,"-date":18920,"Ġlandscape":18921,"Ġfu":18922,"SY":18923,".prop":18924,"ĠArr":18925,"pag":18926,"ParallelGroup":18927,"':čĊ":18928,"Ġlogs":18929,"aunch":18930,"unci":18931,"nama":18932,"TableCell":18933,"issues":18934,".{":18935,"ecurity":18936,"_exec":18937,"olds":18938,"Ġhosts":18939,"Ġproto":18940,"_import":18941,"_sort":18942,"ĠBow":18943,"ĠNormal":18944,"ĠFarm":18945,".createParallelGroup":18946,"Rotation":18947,".err":18948,"Ġpleased":18949,"itage":18950,".Wh":18951,"ĉĉĠĠĠĠ":18952,"MR":18953,"ĠMORE":18954,"ĠNatural":18955,"_transform":18956,"BASE":18957,"eneral":18958,"utdown":18959,".commons":18960,"WT":18961,"Ġaan":18962,".Result":18963,"dog":18964,"Ġclicking":18965,"),ĊĊ":18966,"#line":18967,"Operator":18968,"Ġciv":18969,"Ġmerg":18970,"obuf":18971,"ngthen":18972,"Ġ[{":18973,"Ġcancell":18974,"trigger":18975,".:":18976,"WORK":18977,"declare":18978,"Ġdecrease":18979,"ÅĽci":18980,"loom":18981,".None":18982,"ĠMI":18983,"ĠJason":18984,"Ġhealthcare":18985,"iamond":18986,"sylvania":18987,"*x":18988,"ĠRa":18989,"[b":18990,"Ġprinting":18991,"phabet":18992,"ĠLabour":18993,"opper":18994,"Ġzijn":18995,"-target":18996,"_FUNCTION":18997,"Ġoct":18998,"ениÑı":18999,"åľ¨":19000,"Ġwestern":19001,"Ġcomputers":19002,"ĠRET":19003,"HashMap":19004,"[String":19005,"getValue":19006,"_DATE":19007,".Next":19008,"ĠFif":19009,"él":19010,"icked":19011,"æİ":19012,"-MM":19013,"Ġ{ĊĊĊ":19014,"Ġcontacts":19015,"Ġdigits":19016,"Produ":19017,"Ġunusual":19018,"Ġrapidly":19019,"tures":19020,"Ġangry":19021,"cancel":19022,"xxxx":19023,"_parser":19024,"idity":19025,"_PREFIX":19026,"710":19027,"Ġmehr":19028,"Ġrarely":19029,"ethe":19030,"opes":19031,"Ġ%.":19032,"works":19033,"Ġtheta":19034,"Ġcontribution":19035,"ĠTony":19036,"Ġsquad":19037,"537":19038,"ай":19039,"Ġîn":19040,"there":19041,"outed":19042,"ĉq":19043,"ĻĤ":19044,"good":19045,"LI":19046,"页":19047,"ĠLiving":19048,"izabeth":19049,"Ġkt":19050,"ĠDallas":19051,"]],Ċ":19052,"Ġ/>ĊĊ":19053,"Ġraising":19054,"/router":19055,"_game":19056,"368":19057,"ĠCUR":19058,"zens":19059,".es":19060,"ĠfontWeight":19061,"(func":19062,"notification":19063,"Ġ'../../../":19064,"Ġblame":19065,"ãĢĤĊĊĊĊ":19066,"anco":19067,"980":19068,"Identity":19069,"follow":19070,"Ġarts":19071,"xs":19072,"Ġofficially":19073,"ĠStudio":19074,"Ġrecommendations":19075,"Ġlocale":19076,"Ġamateur":19077,"ĠEnable":19078,"Ġcaps":19079,".End":19080,"388":19081,"-add":19082,"_gshared":19083,"ĠCT":19084,"Force":19085,"ĊĠĠĠĠĠĠĠĠĠĠĠĠĊ":19086,"Ġorange":19087,"Ġlp":19088,"Ġanswered":19089,".Grid":19090,"Ġdual":19091,"Ġstrategic":19092,"Ġnobody":19093,"Ġfatal":19094,"_est":19095,"(el":19096,"Ġìł":19097,"ĠBudd":19098,"AIT":19099,"_factor":19100,"-one":19101,"ĠHAVE":19102,"\"čĊčĊ":19103,"760":19104,"Prof":19105,"Ġär":19106,"strings":19107,"Ġdirty":19108,"ĠFace":19109,"ĠBegin":19110,"ĠBus":19111,"Ġwis":19112,"åŃĹ":19113,"Ġspeaker":19114,"Ġcarrier":19115,"ĠOm":19116,"Ġhadn":19117,"Allow":19118,"::__":19119,"Ġverb":19120,"ĠComplete":19121,"ĠEasy":19122,"Ġbills":19123,"ĠĠĊĊ":19124,"Vertical":19125,"Ġpron":19126,"ĠDefine":19127,"Ġlookup":19128,"variables":19129,"Ġpandas":19130,"umes":19131,"Ġinnoc":19132,"ĠsetUp":19133,"ĠChampionship":19134,"artist":19135,"ĠCType":19136,"Foundation":19137,"à¹Ī":19138,"ĠSetup":19139,"428":19140,"Ġrecipes":19141,"ĠUIColor":19142,"ĠFight":19143,"Ġauthorized":19144,"_click":19145,"990":19146,"_success":19147,"angan":19148,"ĠMountain":19149,"ĠDoctor":19150,"Ġegg":19151,"ĠMedicine":19152,"cles":19153,"`.Ċ":19154,"[int":19155,"dashboard":19156,"ĠAppro":19157,"-dr":19158,"Ġproduces":19159,"Ġrental":19160,"Ġreload":19161,"381":19162,"Ġarrival":19163,"spot":19164,"Ġundert":19165,"378":19166,"Ġequipped":19167,"Ġproved":19168,"Ġcenters":19169,"Ġdefines":19170,"also":19171,"Ġopacity":19172,"ĠUnfortunately":19173,"ĠIllinois":19174,"Ġне":19175,"ĠTemple":19176,"ĠTrail":19177,"ĠKelly":19178,"Ġmeasurement":19179,"Ġseparated":19180,"-circle":19181,"Hey":19182,"ĠREAD":19183,"igits":19184,"Ġib":19185,"ĠMOD":19186,"attery":19187,"аз":19188,"Ġvend":19189,"енÑĤ":19190,"ĠHttpClient":19191,"359":19192,"safe":19193,"_ASS":19194,"icit":19195,"ĠConstruct":19196,"ĠClo":19197,"ĠSix":19198,"_TOKEN":19199,"(block":19200,"Ġwarned":19201,"/*!":19202,"!Ċ":19296,"Ġinnovation":19297,"_\"":19298,"Ġ);čĊčĊ":19299,"Ġspots":19300,"Ġchoosing":19301,".cs":19302,"Ġflexible":19303,"UInt":19304,"435":19305,"930":19306,"Ġscratch":19307,"-al":19308,"Ġfestival":19309,"Ġoutstanding":19310,"================================================":19311,"Mean":19312,"ĠOregon":19313,"symbol":19314,".account":19315,"dney":19316,"'''":19317,"!\",":19318,"901":19319,"Ġparticle":19320,"Ãĥ":19321,"[MAX":19322,"IVER":19323,"ERENCE":19324,"NSMutable":19325,"ĠColumbia":19326,"_ĊĊ":19327,".fr":19328,"Ġcogn":19329,"VR":19330,"ĠMethods":19331,"ĠMade":19332,"ĠBR":19333,"ĠElse":19334,"Ġeggs":19335,"Ġswing":19336,"ĠInv":19337,"Ġdiseases":19338,"Ġfirms":19339,"Ġlemma":19340,"}`);Ċ":19341,"lings":19342,"Ġgym":19343,"uminum":19344,".Trim":19345,"Mem":19346,"Ġcriticism":19347,"ibernate":19348,"_TX":19349,"ioni":19350,"Ġguidance":19351,"Ġrepeatedly":19352,"Ġsupplier":19353,"Ġpainting":19354,"864":19355,".Fragment":19356,"edException":19357,"Ġwiring":19358,"Ġcourts":19359,"WEB":19360,"æľī":19361,"\\.":19362,"illance":19363,"Ġbrows":19364,"ĠPattern":19365,"PLICATION":19366,"ĠSummer":19367,"Chain":19368,"Ġcute":19369,"mercial":19370,"Ġdil":19371,"ĠFranklin":19372,"ĉglobal":19373,"INCLUDING":19374,"history":19375,"Ġlst":19376,"Qt":19377,"SDL":19378,"alia":19379,"iere":19380,"(...":19381,"ĉcin":19382,"iffs":19383,"velope":19384,"ĠRoot":19385,"cluster":19386,"UserName":19387,"igne":19388,"()Ċ":19485,"Ġapplying":19486,"Ġpromised":19487,"Ġox":19488,"ncia":19489,"ĠValidation":19490,"orts":19491,"_cur":19492,"elect":19493,"eye":19494,"(Data":19495,"Ġreporter":19496,"ĠBuff":19497,"395":19498,"Ġsr":19499,"Ġ\";":19500,"icky":19501,"Ġtempor":19502,"SN":19503,"Ġresident":19504,"pires":19505,"ysical":19506,"Ġendorse":19507,"ĠSong":19508,"isEmpty":19509,"leet":19510,"_util":19511,"Ġdistingu":19512,"ĠTalk":19513,"ĠMot":19514,"(default":19515,".Arg":19516,"gorithms":19517,"_words":19518,"immer":19519,"_reset":19520,"family":19521,"WW":19522,"Ġsavings":19523,"ĠâĢĿ":19524,"_enable":19525,"sidebar":19526,"Running":19527,"Ġali":19528,"Ġtestim":19529,"Ġwarnings":19530,"ĠChem":19531,"ĠExit":19532,"Ġfounder":19533,"pector":19534,"Ġrm":19535,"_dataset":19536,"ĠDas":19537,"Ġhan":19538,"Getty":19539,"ál":19540,"Ġny":19541,"Ġpoverty":19542,"Ġresulted":19543,".by":19544,"ĠVisit":19545,"Ġobtaining":19546,"/'.$":19547,"ĠĠĠĠĠĠĠĠĠĠĠĊ":19548,"shall":19549,"_LEFT":19550,"UIImage":19551,"_Name":19552,"have":19553,"ĠNob":19554,"lr":19555,"-footer":19556,"Ġnaked":19557,"ĠGarden":19558,"\\Facades":19559,"Ġgraduate":19560,"417":19561,"Ġfranchise":19562,"plane":19563,"Ġcontributions":19564,"ĠstringWith":19565,"Ġcrypto":19566,"Ġmovements":19567,"athers":19568,"Ġlifetime":19569,"Ġcommunicate":19570,"jar":19571,"ĠFragment":19572,"_IF":19573,"ĠNavy":19574,"ĠFigure":19575,"Ġsimulation":19576,"_stop":19577,"Ġreporters":19578,"Ġversus":19579,"aja":19580,"Ġα":19581,"Ġgovernor":19582,"ListItem":19583,"Ġsealed":19584,".Background":19585,"edi":19586,"ashing":19587,"Ġlip":19588,"ĠIh":19589,"merge":19590,"Ġnec":19591,"024":19592,"elocity":19593,"ATEG":19594,"Ġseeds":19595,"Ġfloating":19596,"701":19597,"_FA":19598,"walk":19599,"ĉuser":19600,"_depth":19601,"Ġwage":19602,"@app":19603,"Nil":19604,"([\"":19605,"(vector":19606,"Ġsecretary":19607,"461":19608,"ĠjPanel":19609,"vez":19610,"³³³³":19611,"direction":19612,"ĠEP":19613,"Ġhunt":19614,"396":19615,"JsonProperty":19616,"ĠPORT":19617,"]\",":19618,"ап":19619,"ĠForeign":19620,"panic":19621,"Ġtrials":19622,"ĠAle":19623,"Ġrural":19624,"-value":19625,"authorized":19626,"ĠScotland":19627,".drop":19628,"ĠMT":19629,"ç±":19630,"391":19631,"rowth":19632,"515":19633,"FilePath":19634,"Ġrecall":19635,"ifle":19636,"Ġcel":19637,"ĠSELECT":19638,"kn":19639,"_case":19640,"Ġcrop":19641,"543":19642,"sure":19643,"pot":19644,"ICS":19645,"Ġstem":19646,"Ġindustries":19647,"Put":19648,"Ġaber":19649,"roadcast":19650,"Icons":19651,")\")Ċ":19652,"æĪIJåĬŁ":19653,"gui":19654,"Ġassumed":19655,"Ġrx":19656,"EA":19657,"è§":19658,"ELL":19659,"Ġdose":19660,"Ġine":19661,"Ġdeeper":19662,"lider":19663,"Ġordinary":19664,"Ġgolf":19665,"605":19666,"_IMAGE":19667,"ĠNAME":19668,"(module":19669,"Ġatom":19670,"Ġbelt":19671,"Ġoffices":19672,"506":19673,"beta":19674,"Ġphilosophy":19675,"(JSON":19676,"-field":19677,"Ġintroduce":19678,"Ġconvenience":19679,"optim":19680,">\"Ċ":19681,"athy":19682,"Ġemployer":19683,"quate":19684,"Ġedited":19685,"Arguments":19686,"ĠNations":19687,"__)":19688,"Ġnose":19689,"ĠSample":19690,"')ĊĊĊ":19691,"Ġcake":19692,".getAttribute":19693,"HD":19694,"392":19695,"Modified":19696,"445":19697,"Ġpredicted":19698,"ÅĦ":19699,"anie":19700,"Sorry":19701,"(doc":19702,"wind":19703,"ieve":19704,"Ġprovisions":19705,"ATER":19706,"OTE":19707,"MY":19708,".Autowired":19709,"ĠBath":19710,"423":19711,".Boolean":19712,"Ġbackend":19713,".Mouse":19714,"ateral":19715,"paper":19716,"Const":19717,"ĠVR":19718,"_entity":19719,"_CTRL":19720,"ĠProtection":19721,"ĠGM":19722,"ĠStudy":19723,"Ġsoup":19724,"otime":19725,"'use":19726,"]\"":19727,"/users":19728,"aug":19729,"ĠHong":19730,"_norm":19731,"ãģ¨":19732,"Ġsecre":19733,"(Build":19734,"ĠContract":19735,"olas":19736,"Ġsauce":19737,"Ġaggressive":19738,"Ġracial":19739,"character":19740,"@@":19741,"Ġcompile":19742,"ĠVoid":19743,"_rem":19744,"_memory":19745,"348":19746,"kk":19747,"Ġmic":19748,"Same":19749,"Utility":19750,"ĠHtml":19751,"ĠXml":19752,"Ready":19753,"Ġgall":19754,"Ġallegedly":19755,"ĉĉĉĉĠĠĠ":19756,"ĠMetal":19757,"ĠPersonal":19758,"ĠborderRadius":19759,"rxjs":19760,"objects":19761,"Ġwanting":19762,"Ġbowl":19763,"vendor":19764,"offsetof":19765,"ĠRs":19766,"ĠRating":19767,"Ġrally":19768,"_NODE":19769,"418":19770,"ĠMix":19771,"Ġadvertis":19772,"485":19773,"667":19774,"Ġnarrative":19775,"sal":19776,"Ġmc":19777,"SError":19778,"Ġfingers":19779,"Ġaccompany":19780,"Ġtired":19781,"Ġstride":19782,"Ġgui":19783,"elist":19784,"Locale":19785,"Ġreleases":19786,"iking":19787,"Ġanger":19788,")))ĊĊ":19789,"allest":19790,"Summary":19791,"(O":19792,"(for":19793,"Ġbasketball":19794,"Ġroads":19795,"ĠInstall":19796,"ĠFab":19797,"itmap":19798,"475":19799,"Ġ))Ċ":19800,"Ġintersection":19801,"ighbor":19802,"ĠBry":19803,"ĠHERE":19804,"Software":19805,"elfare":19806,"acs":19807,"622":19808,"Ġtrailer":19809,".getClass":19810,"chars":19811,"Ġregulation":19812,"Ġrefers":19813,"Ġdestruction":19814,"Ġcontinuous":19815,"ĠAustin":19816,"é¢":19817,"akan":19818,".window":19819,"ĠTemplates":19820,"Ġabsence":19821,":n":19822,"Ġdisorder":19823,"flash":19824,"Ġdelet":19825,"boards":19826,"ĠĠĉ":19827,"ROP":19828,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":19829,"Ġacqu":19830,"Ġlawsuit":19831,"ĠReviews":19832,"Ġgarage":19833,"timer":19834,"Ġej":19835,"ĠRectangle":19836,"Ġflowers":19837,"398":19838,"ilst":19839,"ĠInstance":19840,"Super":19841,"det":19842,"disposing":19843,"ĠES":19844,"ĠIC":19845,"vere":19846,"Sk":19847,"_channels":19848,"puted":19849,"/null":19850,"nnen":19851,"431":19852,"ĠGallery":19853,"_global":19854,"Authentication":19855,"ĠRank":19856,"Ġblocked":19857,"Ġcalm":19858,"market":19859,"ĉval":19860,"Ġaug":19861,"period":19862,"ĠConstant":19863,"Ġ?>\">Ċ":19864,"Ġlobby":19865,"pal":19866,"379":19867,"Ġsink":19868,"508":19869,"iah":19870,"С":19871,"urname":19872,"Ġconver":19873,"Ġinvestigate":19874,"Christ":19875,"Hub":19876,"ĠIND":19877,"ĠPed":19878,"uras":19879,"ĉurl":19880,"ĠTro":19881,"Ġpreferences":19882,"Ġguaranteed":19883,"`ĊĊ":19884,"Ġportions":19885,"Ġevalu":19886,"'>;ĊĊ":19985,".AutoScaleMode":19986,"Ġcats":19987,"465":19988,"Ġregistry":19989,"ulus":19990,"FI":19991,"payload":19992,"-search":19993,"Ġstaying":19994,"acious":19995,"Decoration":19996,"Review":19997,"Inf":19998,"Keep":19999,"itis":20000,",String":20001,"Coord":20002,"Ġpero":20003,"Sex":20004,"ĠAtlanta":20005,"uesta":20006,"Argb":20007,">*":20008,"}_":20009,"Footer":20010,"Ġemployed":20011,"_bound":20012,"vide":20013,".func":20014,"$scope":20015,"Ġspo":20016,"ĠAnal":20017,"ounced":20018,"around":20019,"Ġrestriction":20020,"Ġshops":20021,"åĢ":20022,"ĠLatin":20023,"-col":20024,"Ġbarely":20025,"ĠEuro":20026,"Er":20027,"Ġfaire":20028,"_distance":20029,"_unlock":20030,"Quote":20031,"IVATE":20032,"ĠåĪ":20033,"Ġaimed":20034,"ĠRetrie":20035,".iter":20036,"Ġwrapped":20037,"Ġagreements":20038,"strument":20039,"(product":20040,"Ġstudied":20041,".setValue":20042,"Ġye":20043,"ĠCache":20044,"MBOL":20045,"Ġquarterback":20046,"Ġsyntax":20047,".getElementsBy":20048,".version":20049,"website":20050,"Runner":20051,"_single":20052,"ativ":20053,"ĠAltern":20054,"ĠBeautiful":20055,"rightarrow":20056,"Ġdiversity":20057,"plash":20058,"(co":20059,".Fill":20060,"Ġtyping":20061,"387":20062,"023":20063,"Ġclar":20064,"Hit":20065,"OO":20066,"acco":20067,"507":20068,"worth":20069,"Ġscripts":20070,"ĠMuslims":20071,"ĠLL":20072,"erving":20073,"(boolean":20074,"Ġbaseball":20075,"ĠCAN":20076,"394":20077,"044":20078,"MAIL":20079,"depend":20080,"Ġrespective":20081,"Ġconstexpr":20082,".*;ĊĊ":20083,"']))Ċ":20084,"Ġyard":20085,"Ġidentical":20086,"ifecycle":20087,"USH":20088,"upiter":20089,".validate":20090,"cli":20091,"ISTER":20092,"Indicator":20093,"Fail":20094,"Ġdemocracy":20095,".var":20096,"Ġsatisfied":20097,"-------------":20098,"encer":20099,"hor":20100,"Ġrounds":20101,"DAO":20102,"oa":20103,"Ġflask":20104,"=c":20105,"[]Ċ":20106,"/dist":20107,"Ġparte":20108,"Ġconfirmation":20109,"eron":20110,"aware":20111,"":20112,"Ġdependencies":20113,"ĠVideos":20114,"-row":20115,"Ġ**/Ċ":20116,"Ġnou":20117,"Ġhover":20118,"æŀ":20119,"Ġnin":20120,"ĠUSD":20121,"Mac":20122,"_Load":20123,"Ġoutcomes":20124,"_socket":20125,"Ġqueries":20126,"wm":20127,"592":20128,"Ġhitting":20129,"inux":20130,"Mich":20131,"udge":20132,"ATAB":20133,"Ġvulnerable":20134,"ä¾":20135,"Ġportfolio":20136,":YES":20137,"ĉmap":20138,"Bound":20139,"Ġiteration":20140,"incess":20141,"Ġactors":20142,"ĠQual":20143,"_clean":20144,"ãĢijãĢIJ":20145,"MSG":20146,"Green":20147,"ĠOfficer":20148,"Ġsmoking":20149,">',":20150,"ĠFlo":20151,"++;":20152,"433":20153,"olygon":20154,"Ġbulk":20155,"Ġdrama":20156,"Ġexceptions":20157,"osed":20158,"Ġ+čĊ":20159,"Ġlegacy":20160,"CV":20161,"Ġcontributed":20162,"ĠTerms":20163,"Ġbt":20164,"434":20165,"Ġuntuk":20166,"Ġalien":20167,"===Ċ":20168,"ĉVector":20169,"Ġls":20170,"Online":20171,".facebook":20172,"numeric":20173,"ockets":20174,"Aut":20175,"bury":20176,"-redux":20177,"ĠRedistributions":20178,"GLOBALS":20179,"urrencies":20180,"Ġtons":20181,"âĢĻ,":20182,"Ġê":20183,"(col":20184,"ĠSymbol":20185,"Ġstayed":20186,"ĠML":20187,"Ġmunicip":20188,"Ġsexo":20189,"Sen":20190,"nr":20191,"Ġgains":20192,"Ġshortly":20193,".Menu":20194,"ý":20195,"KNOWN":20196,"Ġoperators":20197,"-V":20198,"ĠPatrick":20199,"/add":20200,"_CO":20201,"iration":20202,"(post":20203,"Posts":20204,"/_":20205,"Ġplug":20206,"Ġintellectual":20207,"Ġmetab":20208,"Ġpregnancy":20209,"ĠPremier":20210,"nm":20211,"Ġprediction":20212,"606":20213,"ĠMinistry":20214,"Three":20215,"valuate":20216,"ĠMini":20217,"bu":20218,"оз":20219,"\";čĊ":20679,"ĠSav":20680,".Bold":20681,"Ġenables":20682,"ĉtmp":20683,"Ġmanually":20684,"ĠSqu":20685,"userid":20686,".function":20687,".cache":20688,"LOPT":20689,".Services":20690,"588":20691,"ddit":20692,"tim":20693,">>":20761,"station":20762,"lore":20763,"atype":20764,"ishop":20765,"/****************************************************************":20766,"521":20767,"ComboBox":20768,"Ġvacation":20769,"Ġinitiative":20770,"ĠdefaultValue":20771,"770":20772,"concat":20773,"ĠKh":20774,"632":20775,"ĠWelcome":20776,"izedName":20777,"Migration":20778,"Ġgradient":20779,"Hot":20780,"Ġhardly":20781,"elo":20782,"ĠStudents":20783,"Ġloose":20784,"730":20785,"atz":20786,".Send":20787,"'/":20788,"Ġuniversal":20789,"Ġenterprise":20790,"Ġregex":20791,"Ġvisitor":20792,"ĠFly":20793,"Seq":20794,"à¸Ļ":20795,"ĠVisual":20796,"Ġlibraries":20797,"atoes":20798,"Payment":20799,"447":20800,"Ġpent":20801,"Ġgathered":20802,"VRTX":20803,"ĠDM":20804,"Split":20805,"Ġletting":20806,"ÐĿ":20807,"_errors":20808,"epoch":20809,"PARAM":20810,"cu":20811,"ÑģÑĤв":20812,"olutions":20813,"Editing":20814,"fonts":20815,"Ġallocated":20816,"ĠBased":20817,"(Y":20818,"ĠJudge":20819,"Ġbrothers":20820,"FILES":20821,"ço":20822,"531":20823,"wb":20824,"_PI":20825,"'^":20826,"Ġsword":20827,".services":20828,"Ġnl":20829,"Tim":20830,"igg":20831,"ĠMoore":20832,"Ġcryptoc":20833,"åĩº":20834,"_posts":20835,"otate":20836,"?'":20837,"....ĊĊ":20838,"Ġkl":20839,"=\"$":20840,"Ġdecoration":20841,"ạ":20842,"ĠDIRECT":20843,"GUI":20844,")=>{Ċ":20845,"Ġnewsletter":20846,"Ġprecis":20847,"(point":20848,"ĠEquipment":20849,"uty":20850,"ĠDave":20851,"Ġparticipation":20852,"uarios":20853,"xit":20854,".As":20855,"ETER":20856,"orous":20857,"Ġshield":20858,"[]>":20859,"ilitary":20860,".origin":20861,"Ġpromotion":20862,"Unt":20863,"Ġct":20864,"TRA":20865,"556":20866,"ViewHolder":20867,"Ġsigma":20868,"delta":20869,"arehouse":20870,"contract":20871,"(Vector":20872,"721":20873,"Ġcompete":20874,"/form":20875,"/components":20876,"Ġnr":20877,"ĠIndones":20878,"ĠоÑĤ":20879,"ĠVolume":20880,".files":20881,"(resp":20882,"/models":20883,"Ġsurf":20884,"standard":20885,"/o":20886,"ĠXCTAssert":20887,"VICES":20888,".Code":20889,"SED":20890,"Ġactivate":20891,"Delta":20892,"Ġlimitation":20893,"rij":20894,"Ġpregnant":20895,":^(":20896,"Ġsour":20897,"pie":20898,"803":20899,"Ġexpense":20900,"ication":20901,"ĠLarge":20902,"Ġ±":20903,"ĠBowl":20904,"(models":20905,"/N":20906,"857":20907,"Pa":20908,".reload":20909,"Ġwondering":20910,"462":20911,"Execution":20912,"ĉĠĠĠĠĠĠ":20913,"ĠGraphics":20914,"ĠContin":20915,"_job":20916,"ĠgetName":20917,"ĠMagn":20918,"ĠDWORD":20919,"mad":20920,"Ġnh":20921,"features":20922,"}\");Ċ":20923,"heets":20924,"(train":20925,"zn":20926,"Ġrecruit":20927,".connection":20928,"Ġbarrel":20929,"Ġsteam":20930,"_setting":20931,"Ġangular":20932,"aneously":20933,"Ġbil":20934,"ĠNorm":20935,"522":20936,"(!$":20937,"ibt":20938,"%(":20939,"Ġposit":20940,"ĠFather":20941,"intendo":20942,"565":20943,"Live":20944,"041":20945,"Ġports":20946,"Ġmej":20947,"Ġlanding":20948,"ponder":20949,"Ġcod":20950,"_HEADER":20951,".Margin":20952,"Ġballs":20953,"Ġdiscussions":20954,"Ġblend":20955,"Hex":20956,"Ġfarmers":20957,"Ġmaintaining":20958,"ĠĠĠčĊ":20959,"syn":20960,"[T":20961,"rus":20962,"439":20963,"uffers":20964,"Ġcontributors":20965,"_sys":20966,".Debug":20967,"Ġconstructed":20968,"omes":20969,"?id":20970,"slider":20971,"Ġsuppliers":20972,"611":20973,"scriber":20974,"pes":20975,"Ðŀ":20976,"\":čĊ":20977,"\\Controller":20978,"))ĊĊĊ":20979,"Ġlua":20980,"Multi":20981,"ENS":20982,"Src":20983,"Ġpetition":20984,"Ġslave":20985,"looking":20986,"VERT":20987,"ĉvector":20988,"Special":20989,"hh":20990,"anne":20991,"ĠNiger":20992,"/views":20993,"zing":20994,"endant":20995,"(":21238,"544":21239,".Product":21240,"Forms":21241,"NEW":21242,"Pay":21243,"ĉboolean":21244,"_contact":21245,"ĠElectric":21246,"skip":21247,"Ġwur":21248,"Ġchronic":21249,"_driver":21250,"940":21251,"ĠSab":21252,"ĠUlt":21253,"ĠRad":21254,"STATUS":21255,"ĠLewis":21256,"OB":21257,"Ġgifts":21258,".Rec":21259,"TRUE":21260,"Ġintensity":21261,"Marker":21262,".compare":21263,"ffic":21264,"Cookie":21265,"ĠBaby":21266,"ĠBigDecimal":21267,"ilet":21268,"ĠHOLDERS":21269,"ĠLady":21270,"Ġlung":21271,"ĠAlabama":21272,"Ġdess":21273,"`);Ċ":21274,"ĠBuilder":21275,"_region":21276,"Ġneutral":21277,"909":21278,"Both":21279,"Ġhp":21280,"Ġhorn":21281,"Ġsegments":21282,"ĠEC":21283,"\"=>\"":21284,"(rec":21285,"ĠPi":21286,"GM":21287,"Ġlaptop":21288,"Scalar":21289,"463":21290,"isd":21291,"-dialog":21292,"ĠAnderson":21293,"Ġmistakes":21294,"708":21295,"ĠHan":21296,"jes":21297,"estination":21298,"436":21299,"Ġpromises":21300,"bid":21301,"ĠScient":21302,"GIN":21303,"ĠPerformance":21304,"bage":21305,".users":21306,"leading":21307,"Ġoral":21308,"Graphics":21309,"488":21310,"_PTR":21311,"518":21312,"hang":21313,"Ġinev":21314,"processing":21315,"Factor":21316,"ĠNA":21317,"$string":21318,"Ġgrounds":21319,".SaveChanges":21320,"clock":21321,"941":21322,"cripcion":21323,"ĠNewton":21324,"gc":21325,".includes":21326,"Ġblast":21327,"Ġ'-'":21328,"Ġpuede":21329,"469":21330,".Session":21331,"Ġgrep":21332,"_final":21333,"ĠGay":21334,"ĠGive":21335,"iri":21336,"-star":21337,"ĠUIImage":21338,"_epoch":21339,"ubb":21340,"enth":21341,"Ġelite":21342,"Ġcampaigns":21343,"ĠPorno":21344,"_assign":21345,"Protocol":21346,"ĠBeing":21347,"ĠAirport":21348,"Ġconventional":21349,"ĠWat":21350,"ĠCI":21351,"ETA":21352,"ĠAnthony":21353,"Ġtablet":21354,"(format":21355,"Ġconsistently":21356,"ĠIowa":21357,"474":21358,"Ġavatar":21359,"027":21360,".cursor":21361,"![":21362,"Ġhanging":21363,"Her":21364,"Such":21365,"';ĊĊĊ":21366,"orgeous":21367,"()==":21368,"ĠviewModel":21369,"Ġãĥ":21370,"Ġels":21371,"ĠAgent":21372,"Fetch":21373,"apor":21374,"Ġcx":21375,"pread":21376,"ĠPier":21377,"oeff":21378,"616":21379,"Sn":21380,"890":21381,"ĠVirtual":21382,"Apr":21383,".White":21384,"615":21385,"_MOD":21386,"ĠPoints":21387,"失":21388,"Ġgenes":21389,"Ġvendor":21390,"Ġmainstream":21391,"Ċ":21421,"Filename":21422,"Ġsne":21423,"ĠFootball":21424,"Ġrival":21425,"Ġdisaster":21426,"ionic":21427,"ĠDamage":21428,".Resource":21429,"-en":21430,"ĠTypes":21431,"getString":21432,"(board":21433,"Ġbol":21434,"plain":21435,"zym":21436,"า":21437,"Ġscanner":21438,"ilder":21439,"_msgs":21440,"æı":21441,"(intent":21442,"Ġdestruct":21443,"Ġbust":21444,"ĠEmploy":21445,"oni":21446,"ĠUIViewController":21447,"Ġodds":21448,"earer":21449,"Geometry":21450,"Ġyii":21451,"_EXPORT":21452,"ĠAttack":21453,"Ġniet":21454,"Ġimpression":21455,"ĠGil":21456,"_prob":21457,"528":21458,"ĠCF":21459,"ĠExperience":21460,"/plugins":21461,".Method":21462,"Ġbeliefs":21463,"Native":21464,"_build":21465,"Ġvig":21466,"Ġranks":21467,"covered":21468,"705":21469,"such":21470,"Guard":21471,".pack":21472,"adder":21473,"809":21474,"ivia":21475,"lng":21476,"ĠвÑĭ":21477,"552":21478,"Timestamp":21479,"_now":21480,"Ġpoker":21481,"Ġunc":21482,"Ġshapes":21483,"-types":21484,"_period":21485,"pk":21486,"Ġveteran":21487,"Ġsono":21488,"Ġappointed":21489,"overflow":21490,".driver":21491,"_cat":21492,"utt":21493,"plant":21494,"imb":21495,"ĠAccept":21496,"Ġconcert":21497,"ĉnode":21498,"ĉz":21499,"?>čĊ":21500,"Ġbanned":21501,"ĉĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":21502,"Ġtoxic":21503,"Ġdisappe":21504,"473":21505,"ÈĽ":21506,"Ġgrace":21507,"ateful":21508,"Reply":21509,"ĠCruz":21510,"486":21511,"Ġscrap":21512,"Ġkeywords":21513,"simp":21514,"Ġmortgage":21515,"Ġcyber":21516,"ĠExecute":21517,"Ġlatitude":21518,"ifu":21519,".COM":21520,"dbo":21521,"Ġsorts":21522,"ĠGas":21523,"omial":21524,".Local":21525,"Cells":21526,".Replace":21527,"Strings":21528,".fit":21529,"ĠThird":21530,"%\",Ċ":21531,"Ġ{}\".":21532,"ĠSony":21533,"Ġ[:":21534,"585":21535,"Ġfallen":21536,".')Ċ":21537,"inh":21538,"ĠMC":21539,"Ġredis":21540,"Codes":21541,"Ġprofiles":21542,"hook":21543,"Reducer":21544,"_FUNC":21545,"Ġnavigate":21546,"strlen":21547,"Ġhorm":21548,"áŀ":21549,"ĠSR":21550,".boot":21551,"Ġdigest":21552,"ĉheader":21553,".findOne":21554,"æģ":21555,"DbType":21556,"nia":21557,"_merge":21558,"Ġdonne":21559,"/Getty":21560,"_CHAR":21561,"Ġbands":21562,".URL":21563,"artial":21564,"Ġfreq":21565,"Ġsist":21566,"Ng":21567,"Ġrendering":21568,"\\Core":21569,"Widgets":21570,"ĠVA":21571,"Ġactivists":21572,"Ste":21573,"=_":21574,"alla":21575,"Stamp":21576,"Ġloads":21577,"Ġxx":21578,"ĠLearning":21579,".Mvc":21580,"uir":21581,"(\"$":21582,"Ġconnecting":21583,"ReadOnly":21584,"uru":21585,"ĠEag":21586,"BIT":21587,"_DEL":21588,"å§":21589,"arrass":21590,"external":21591,"ĠYOUR":21592,"ĠBrew":21593,"ĠFive":21594,"Ġresize":21595,"igid":21596,"eration":21597,"653":21598,"ĠÑį":21599,"536":21600,"åĬł":21601,"039":21602,"ĠCatch":21603,"Ùģ":21604,"ĠLeon":21605,"amil":21606,".Body":21607,"Clip":21608,"/list":21609,".br":21610,"EditText":21611,"ĉdb":21612,".Game":21613,"(BuildContext":21614,"backend":21615,".Red":21616,"facebook":21617,"529":21618,".urls":21619,"mr":21620,"rolled":21621,"-------":21622,"Ġintervention":21623,"Ġretirement":21624,"ĠKit":21625,"ĠPRE":21626,"UpperCase":21627,"ĠSocket":21628,"Ġ:-":21629,"Ġstudying":21630,"ĠMetro":21631,"arded":21632,"Ġconversations":21633,"Called":21634,"Ġexamine":21635,"ertificate":21636,".gz":21637,"-responsive":21638,"Ġrefund":21639,"_network":21640,"026":21641,"allowed":21642,"empt":21643,"Ġmeals":21644,"Categories":21645,"Ġtraveling":21646,"Ġkg":21647,"Ġshame":21648,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":21649,"Ġexplicitly":21650,"Ġmathematic":21651,"ĠSuite":21652,"ĠRGB":21653,"******/":21654,"Ġmixture":21655,"learning":21656,".template":21657,"atts":21658,"wx":21659,"ĉctx":21660,".properties":21661,"Ġdrinks":21662,"ĠEither":21663,"setText":21664,".getData":21665,".zip":21666,"Ġreveals":21667,".Ċ":21681,"Ġranked":21682,"_impl":21683,"ĠHandles":21684,"Ġhosted":21685,"Ġupdating":21686,"album":21687,"éĿ":21688,"Ġshader":21689,"Editors":21690,"-round":21691,"[]{":21692,"Ġsep":21693,"ĠHi":21694,"TEM":21695,"lookup":21696,".man":21697,"_INPUT":21698,"Ġthreatened":21699,"_IMPORT":21700,"Ġdrops":21701,"ruit":21702,"sid":21703,"both":21704,"ĠExcel":21705,"Ġjer":21706,"ordinary":21707,"ей":21708,"VIEW":21709,"reply":21710,"Ġ):Ċ":21711,"colors":21712,"verified":21713,"_Tr":21714,"_parse":21715,"Ġcongress":21716,"617":21717,"Promise":21718,"ints":21719,"ĠMother":21720,".Api":21721,"ĠDuration":21722,"ĠfirstName":21723,"inheritdoc":21724,"ĠMars":21725,"Ġapr":21726,"ODY":21727,"Ġvisits":21728,"631":21729,"Ġhealing":21730,"letters":21731,")));čĊ":21732,"future":21733,".Framework":21734,"Ġkiss":21735,"Ġinvolve":21736,"Ġsilent":21737,"adows":21738,"Ġanybody":21739,"sch":21740,"690":21741,"Ġsolely":21742,"-img":21743,"Ġpropri":21744,"Ġinstruct":21745,"Ġlicenses":21746,"Ġmeth":21747,"Ġcondem":21748,"ĠDomain":21749,"ĠHarris":21750,"ĠsÃ¥":21751,"CEPT":21752,"Batch":21753,"@extends":21754,"ĠCONTRIBUT":21755,".DataFrame":21756,"472":21757,"_packet":21758,"recision":21759,"Ġfocusing":21760,".ht":21761,"__\":Ċ":21762,":Get":21763,"ĠKC":21764,"Ġpassage":21765,"Segment":21766,"_center":21767,"-zA":21768,"_BL":21769,"Ġconvin":21770,"Ġclassified":21771,"ĠNSMutable":21772,"_ap":21773,"tile":21774,"Rectangle":21775,"492":21776,"(nums":21777,"vens":21778,"ĠUIButton":21779,"ĠFeder":21780,"amo":21781,"Ġoutline":21782,"ĠParser":21783,"Ġâī":21784,"ĠWorks":21785,".Schema":21786,"Ġengines":21787,"637":21788,"563":21789,"_common":21790,"542":21791,"_old":21792,"ĠsetContentView":21793,"Ġ///<":21794,"ĠBT":21795,"fm":21796,"Ġdivers":21797,"_weights":21798,"emark":21799,"ĠACT":21800,"Ġproportion":21801,"overlay":21802,".dirname":21803,"ĠGit":21804,"_REFERENCE":21805,"<>":21806,"lb":21807,"_rule":21808,"è´¥":21809,"ĠPutin":21810,"Ġsleeping":21811,"():čĊ":21812,"Ġpreserve":21813,"Ġparliament":21814,"ĠLooking":21815,"Ġpicking":21816,"ĠDispatch":21817,"Ġslip":21818,"ëĵ":21819,"ĠLyn":21820,"_signal":21821,"configuration":21822,"ĠPitt":21823,"491":21824,"aden":21825,"procedure":21826,"Ġenthusi":21827,"fight":21828,"ĠConsider":21829,"Ġtorn":21830,"Connected":21831,".cos":21832,"_groups":21833,"ĠThink":21834,"Ġdeliber":21835,"Ġresid":21836,"working":21837,".columns":21838,"ĠCalled":21839,"Ġeslint":21840,">\",":21841,"_DOWN":21842,"hist":21843,"ĠAdvanced":21844,"Ġrewards":21845,"actors":21846,"Ġsilence":21847,"479":21848,"Ġmyth":21849,"Ġneur":21850,"519":21851,"Ġauction":21852,".GetString":21853,"eks":21854,"(project":21855,"598":21856,"ĉmsg":21857,"ĉoutput":21858,"Ġcomplaints":21859,"551":21860,",S":21861,"Ġtbl":21862,"Ġ,ĊĊ":21863,"riors":21864,"ahren":21865,"Ġlawyers":21866,"redux":21867,"_symbol":21868,"offee":21869,"_RESULT":21870,"(Name":21871,"UTC":21872,".currentTime":21873,"Ġorganis":21874,".arg":21875,"533":21876,"Ġminim":21877,"wick":21878,"Ġreceives":21879,"Balance":21880,"Ġspeaks":21881,"ĠDays":21882,"ĠBelow":21883,"483":21884,"tipo":21885,"Present":21886,"Ġreserv":21887,"hp":21888,"Ġrit":21889,"_RIGHT":21890,"--)":21891,"Ġchairman":21892,"781":21893,"DIS":21894,"ĠBOOST":21895,"Ġexperiments":21896,"687":21897,"__);Ċ":21898,"Ġstamp":21899,"Ġfert":21900,"Ġfond":21901,"Ter":21902,"elve":21903,"uren":21904,"+i":21905,"endency":21906,"Ġvirtually":21907,"...\"":21908,"ï½ŀ":21909,"925":21910,"-cent":21911,"_unique":21912,"Ġpricing":21913,"mic":21914,"RESH":21915,"Ġ:::":21916,"Ġannotation":21917,"ĠCircle":21918,"ongodb":21919,"itas":21920,"Ġ%(":21921,"(component":21922,"Ġоб":21923,"(port":21924,"-hour":21925,".obj":21926,"LBL":21927,"Ġjury":21928,"GBT":21929,"Ġspy":21930,"ĠProfessional":21931,"Ġ\"\";ĊĊ":21932,"Ġstriking":21933,"Ġdiscrimination":21934,"Ġpays":21935,"937":21936,"lict":21937,"entes":21938,"Ġthrowing":21939,"ĠPlugin":21940,"(def":21941,"ĠRuntimeException":21942,"ĠMigration":21943,"599":21944,"Ġdic":21945,"bag":21946,"onia":21947,"Ġcorruption":21948,"704":21949,"(Map":21950,"Ġprz":21951,".dto":21952,"Ġacquire":21953,"StateToProps":21954,"Ġloving":21955,"ож":21956,"_pattern":21957,"Ġemotions":21958,"Ġpublisher":21959,"_be":21960,"Ġcouples":21961,"498":21962,"oj":21963,"ĠChart":21964,"Ġtrop":21965,".tool":21966,"Ġestablishment":21967,"Ġdol":21968,"654":21969,"Ġtower":21970,"Ġlane":21971,"ĠSydney":21972,"Ġfilling":21973,"claimed":21974,"644":21975,"Ġdialogue":21976,"Ġconvention":21977,"booking":21978,"parency":21979,"æ±":21980,"ĠGeneric":21981,"718":21982,"\\Schema":21983,"482":21984,"618":21985,"Ġranges":21986,"/ch":21987,"Ġpanels":21988,"Ġruled":21989,"çĶŁ":21990,".ts":21991,"_sets":21992,"Ġcleanup":21993,"Previous":21994,"ĠAnimal":21995,"607":21996,"($(":21997,"ĠAve":21998,"ollar":21999,"028":22000,"_eval":22001,"ĉName":22002,"(tree":22003,"Ġ\"]":22004,"571":22005,"Ġduties":22006,"='/":22007,"Clicked":22008,"Ġdifferently":22009,"ĠClark":22010,"Ġdit":22011,"ologists":22012,"Ġsynd":22013,"Ġsends":22014,"-known":22015,"kb":22016,"ĠModal":22017,"itative":22018,"Ġracing":22019,"Ġhighlights":22020,"ĠSimon":22021,"ĠCaptain":22022,"ä¿¡":22023,"ĠCB":22024,"contin":22025,"aran":22026,"Ġphysics":22027,"retty":22028,"etal":22029,".md":22030,"axios":22031,"Ġspeakers":22032,"Ġprep":22033,"Ġawarded":22034,"ì§Ģ":22035,"ĠCorn":22036,"ĠNature":22037,"UDIO":22038,"737":22039,"Ġproj":22040,"-pre":22041,"[u":22042,"Features":22043,"ĠisEqual":22044,"Binary":22045,"sig":22046,"Ġconfusion":22047,"546":22048,"568":22049,"ĠHat":22050,"Ġktó":22051,".configure":22052,"MON":22053,"494":22054,"/edit":22055,"_Add":22056,",true":22057,"541":22058,"Ġcli":22059,"ErrorMessage":22060,"-loader":22061,"Dimensions":22062,"ultiply":22063,"Ġ{!!":22064,"ĠSqlCommand":22065,"Ġspoken":22066,"Ġpics":22067,"Ġtoy":22068,"(Key":22069,"ĠLoop":22070,"ب":22071,"EATURE":22072,"inction":22073,"_setup":22074,"wrapper":22075,"Ġtong":22076,"cular":22077,"Opt":22078,".Pl":22079,"=\",":22080,"(length":22081,"umn":22082,"Ġchrom":22083,"Ġsevent":22084,"ĠIllegalArgumentException":22085,"478":22086,"ĉstart":22087,"Ġbegun":22088,"CEPTION":22089,"dataset":22090,"825":22091,"ĠFailed":22092,"cols":22093,"459":22094,"Ġknee":22095,"imore":22096,".splice":22097,"shell":22098,"iggers":22099,"Ġthemes":22100,"995":22101,"ĠDJ":22102,"ĠAssistant":22103,"-$":22104,"Maybe":22105,"Ġordering":22106,"ĠIntelligence":22107,"ĠMassachusetts":22108,"Ġfailing":22109,"elson":22110,"Great":22111,"=i":22112,".rest":22113,"Ġinvite":22114,"-disable":22115,".GroupBox":22116,"âĢĻest":22117,"Ġtackle":22118,"gv":22119,"etter":22120,"Ġ),čĊ":22121,"_rules":22122,".warn":22123,"functions":22124,"ĠChristians":22125,"Ġbacked":22126,"Ġslider":22127,"Ġenjoying":22128,"nest":22129,"Ġhij":22130,"_ms":22131,"//*":22132,"Annotations":22133,"ĠVariables":22134,"":22351,"cycle":22352,"ĠBull":22353,"paths":22354,"Ġunp":22355,"ĠviewDidLoad":22356,"_Model":22357,"ĠassertTrue":22358,"Ġrated":22359,"Decl":22360,"verted":22361,"ĠDat":22362,"brew":22363,"Ġpointing":22364,"Ms":22365,"ĠPointer":22366,")'":22367,"_non":22368,"527":22369,"ĠSEC":22370,"Ġyeah":22371,"gency":22372,"initialize":22373,"fly":22374,"711":22375,"[pos":22376,",g":22377,"Tele":22378,"034":22379,"Ġjoke":22380,"Ġclause":22381,".findById":22382,"enes":22383,"(instance":22384,"626":22385,"£":22386,"915":22387,"Ġslic":22388,"_home":22389,"Ġ*/}Ċ":22390,"_pages":22391,"(service":22392,"905":22393,"RP":22394,"ĠAmong":22395,".getCurrent":22396,"806":22397,"ãĤ¹":22398,"Ġslee":22399,"=[Ċ":22846,"oler":22847,"Ġlibert":22848,"Ġ`Ċ":22849,"Ġwenn":22850,"lated":22851,"Ġimmune":22852,"(Node":22853,"ĠProblem":22854,"ĠAbs":22855,"logs":22856,"Ġ../":22857,"ĠADC":22858,"Ġ}}\">Ċ":22859,">');Ċ":22860,"=b":22861,"ĠWind":22862,"lahoma":22863,"Ġallocate":22864,"orian":22865,"Ġprescription":22866,"-quality":22867,"ĠMayor":22868,"855":22869,"inely":22870,"endforeach":22871,"ĠComplex":22872,"kom":22873,"709":22874,"TY":22875,"790":22876,"]].":22877,".Style":22878,"_many":22879,"','$":22880,"Ġbarrier":22881,"ĠFetch":22882,"ĠMarvel":22883,"Ġresist":22884,"ого":22885,"bidden":22886,"ĠRunnable":22887,":false":22888,"899":22889,"Ġbuilds":22890,"ĠStage":22891,"Ġdub":22892,"empo":22893,".site":22894,"558":22895,";ĊĊĊĊ":22896,"994":22897,"ĠDenver":22898,"Ġrevel":22899,"Ġtriggered":22900,"Ġdice":22901,"_fail":22902,"Ġgc":22903,"833":22904,"589":22905,"ĉX":22906,"ĠThrowable":22907,"775":22908,".router":22909,"ĠRevolution":22910,"ÑĢа":22911,"_NON":22912,"055":22913,"Ł¥":22914,"578":22915,"Ġelder":22916,"Ġabroad":22917,"Ġе":22918,"ĠAdult":22919,"blr":22920,"glyphicon":22921,"613":22922,"Ġpromoting":22923,"Ġiz":22924,"ĠSolid":22925,"645":22926,"_loader":22927,"early":22928,".enabled":22929,"-edit":22930,"ĠUL":22931,"_play":22932,"ĠInterrupt":22933,"Ġadvantages":22934,"ucle":22935,"Ġmechanical":22936,".tableLayoutPanel":22937,"ĠWorking":22938,"Ġanonymous":22939,"Rating":22940,"igious":22941,"_phone":22942,".addActionListener":22943,"Ġfran":22944,"unden":22945,"Ġ*)&":22946,"_bool":22947,"ulative":22948,"Ġcone":22949,"ĠMult":22950,"Ġmö":22951,"ĠForward":22952,"]):Ċ":22953,"Ġconvinced":22954,"acted":22955,"643":22956,"ãģĵ":22957,"ĠConfigure":22958,"Ġceiling":22959,"Der":22960,"Ġpassengers":22961,"Groups":22962,"Ġsoccer":22963,"/W":22964,"aviors":22965,"swith":22966,"ĠZone":22967,".Options":22968,"ĠMom":22969,"ieder":22970,"Arrays":22971,"Ġtreatments":22972,"Ġprotecting":22973,"fac":22974,"Ġpickle":22975,"ButtonItem":22976,"713":22977,"Ġblocking":22978,"strar":22979,"ò":22980,"ĠExport":22981,"Ġthrew":22982,"otta":22983,"ĠBASE":22984,".ws":22985,".LEADING":22986,"orderBy":22987,"_delay":22988,"ĠPu":22989,".dll":22990,"ĠChoose":22991,"992":22992,"Police":22993,"ĠBEGIN":22994,"boxes":22995,"Ġdiamond":22996,",l":22997,"Ġĉĉĉ":22998,"Ġcurious":22999,"624":23000,"tv":23001,"Ġerotische":23002,"ackages":23003,"ĉSet":23004,"Tick":23005,".border":23006,"staticmethod":23007,"Ġcher":23008,"invoice":23009,"Ġcru":23010,"Ġdefect":23011,"_metadata":23012,"relation":23013,"ikan":23014,"[N":23015,"(Qt":23016,"(Base":23017,"æģ¯":23018,"beat":23019,"ĠEmpty":23020,"ĉo":23021,"_shift":23022,"Ġregret":23023,"722":23024,"Those":23025,"Cent":23026,"ĠPortug":23027,"ĠIslands":23028,"ĠTIME":23029,"Management":23030,"996":23031,"-sp":23032,"539":23033,"ême":23034,"Ġnotion":23035,"unifu":23036,"PK":23037,"826":23038,"è¡Į":23039,"ĠCURLOPT":23040,"\\\"\\":23041,"UV":23042,"çº":23043,"dra":23044,"cou":23045,"=`":23046,"ĠDestroy":23047,"rp":23048,".cancel":23049,"GG":23050,"runtime":23051,"ĠVue":23052,"Ġprogressive":23053,"/services":23054,"Ġrunner":23055,"_FRAME":23056,".ToolStripMenuItem":23057,"Ġ','":23058,"delay":23059,"=utf":23060,"Ġscreening":23061,"Ġpulling":23062,"omas":23063,"Ġanth":23064,"-new":23065,"/local":23066,"ĠiPad":23067,"Ġtwitter":23068,"Ġdying":23069,"Ġheaven":23070,"ĠUInt":23071,"ĠSenator":23072,"Ġpresum":23073,"ĠWalker":23074,"Ġovercome":23075,"etection":23076,"Ġembarrass":23077,"China":23078,"639":23079,"Include":23080,"ROLL":23081,"ĠdataType":23082,"David":23083,"ร":23084,"lop":23085,"-month":23086,"Ġscar":23087,"ĠSafe":23088,"Ġ****************************************************************":23089,"Ġaccessories":23090,"Ġramp":23091,"_USE":23092,"Ġcontrad":23093,"))]Ċ":23094,"Ġprest":23095,"ĠHR":23096,"ĠRap":23097,"Ġusize":23098,"Ġcapability":23099,"Ġcort":23100,"-next":23101,"077":23102,"627":23103,"Ġburden":23104,"822":23105,"_reader":23106,"Ġ@@":23107,"regular":23108,"ĠKa":23109,"036":23110,"MAN":23111,"Ġastr":23112,"Ġ'')Ċ":23113,"Ġfed":23114,"Ġparsing":23115,"ĠYears":23116,"Ġbroker":23117,"\":{\"":23118,"Ġakt":23119,"Inventory":23120,"abeled":23121,"Ġargparse":23122,"*******Ċ":23123,"versation":23124,"Ġcord":23125,"ĠTi":23126,"Ġhopefully":23127,"Ġah":23128,"verb":23129,"Ġstolen":23130,".Entry":23131,"Ġexpecting":23132,"Orientation":23133,"Ġpowered":23134,"Ġpersist":23135,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":23136,"']);":23137,"')),Ċ":23138,"ĠCash":23139,"ĉitem":23140,"818":23141,"grades":23142,"ropol":23143,"basic":23144,"Ġ\");čĊ":23145,"Ġawards":23146,"(range":23147,"-all":23148,"ĠIBOutlet":23149,"ĠIndeed":23150,"----------------------------------------------------------------------------":23151,"Ġstomach":23152,"Ġflower":23153,"Ġsew":23154,"_times":23155,"avis":23156,"QString":23157,"ĠRoutes":23158,"_prot":23159,"Ġcomedy":23160,"Ġlogout":23161,"Ġwooden":23162,"Ġposter":23163,"piece":23164,".Join":23165,"ĠPok":23166,"celona":23167,"mutex":23168,";čĊčĊčĊ":23169,"Ġstrikes":23170,"787":23171,"Loaded":23172,")arg":23173,"esa":23174,"United":23175,"Ep":23176,"PELL":23177,"807":23178,"ĠAtlantic":23179,"ullet":23180,"652":23181,"apple":23182,"Ġsettled":23183,"acon":23184,"Ġprinter":23185,"ĠGC":23186,"å®ļ":23187,"Ġrendered":23188,",âĢĻ":23189,"heit":23190,"social":23191,".ge":23192,"714":23193,"ĠRick":23194,"ĠUtah":23195,"got":23196,"onical":23197,"ĠScroll":23198,"ĠSciences":23199,"Ġjug":23200,"Ġampl":23201,"enti":23202,"LEFT":23203,"Ġtabs":23204,"Ġenormous":23205,".getKey":23206,"locate":23207,".EX":23208,".storage":23209,".We":23210,"Ġtoast":23211,"ĠAdditionally":23212,"882":23213,"ĠNOW":23214,"547":23215,"_UPDATE":23216,"Ġtransferred":23217,"tha":23218,".Display":23219,"_ui":23220,"IDEO":23221,"Ġmeaningful":23222,"ĠMoscow":23223,",this":23224,"ĠVictoria":23225,"æĶ¹":23226,"ĠÐŁ":23227,".stack":23228,"ĠBarn":23229,"paredStatement":23230,":string":23231,"Ġbij":23232,"ĠSTATE":23233,"Ġemployers":23234,"ĉinput":23235,"(|":23236,"Ġlex":23237,"invoke":23238,"ĉnum":23239,"++,":23240,"atial":23241,"orses":23242,"Ġfork":23243,"_txt":23244,"ĠAntonio":23245,"Ġ(<":23246,"averse":23247,"Ġdevast":23248,"ãĢĢ":23249,".Dec":23250,"ĠGard":23251,"/ui":23252,".%":23253,"tri":23254,"Ġrolled":23255,"ValuePair":23256,"itten":23257,"ĠTher":23258,"Ġvrou":23259,"ĠFlow":23260,"ĠFinance":23261,"ĠComb":23262,"HC":23263,".setVisible":23264,"isl":23265,"Ġpk":23266,"773":23267,"Ġupset":23268,"(raw":23269,"ĠVice":23270,"eatures":23271,"ĠLang":23272,"029":23273,"Looking":23274,"767":23275,"ĠAST":23276,"Ġtrips":23277,"ĠJustin":23278,"browser":23279,"=\"'.$":23280,".vertices":23281,"821":23282,"-co":23283,"}/{":23284,"Ġ?,":23285,"ĠDomin":23286,"ĠBelg":23287,"\"<":23288,"Ġsuppose":23289,"addy":23290,"Ġwalks":23291,"688":23292,"ERRU":23293,"_filters":23294,"Preferred":23295,"scene":23296,"еÑģ":23297,"ĠAffairs":23298,"Ġ\"#{":23299,"ĠonSubmit":23300,"Ġstocks":23301,"/view":23302,"gree":23303,"-get":23304,"903":23305,"hit":23306,"Jo":23307,".getC":23308,"725":23309,"Initialized":23310,"ÑĤи":23311,"cuts":23312,"(Type":23313,"ĠAgreement":23314,"ĠVietnam":23315,"Ġ/*!":23316,"Ġpizza":23317,"-view":23318,"_em":23319,"Ġlhs":23320,"Ġmuy":23321,"ĠIdent":23322,"ĠFriends":23323,"061":23324,"Ġabund":23325,"_AD":23326,".timestamp":23327,"-'":23328,"Ġduplicate":23329,"Ġhunting":23330,"Ġregulatory":23331,"iao":23332,"amous":23333,"ĠEntertainment":23334,"[A":23335,"iatric":23336,"_CLIENT":23337,"ĠKids":23338,"/pkg":23339,"Break":23340,")));ĊĊ":23341,"ĠShape":23342,"Ġrelating":23343,"Interrupt":23344,"ableOpacity":23345,"embre":23346,"Ġmystery":23347,"Ġjournalists":23348,"ritable":23349,".Link":23350,"Ġstopping":23351,"CRET":23352,".DB":23353,"Ġpopularity":23354,"Ġgew":23355,"Ġimpr":23356,"setValue":23357,"FLAG":23358,"ĉmax":23359,"Ġbake":23360,"wy":23361,"ĠEconomic":23362,"Ġencontr":23363,"Ġfname":23364,"/de":23365,"Rank":23366,"Ġbugs":23367,".sm":23368,"Ġmedian":23369,"DOWN":23370,"ĠSure":23371,"AtIndex":23372,"ĠDick":23373,"Ġ(__":23374,".delta":23375,"Fr":23376,"Ġsuggesting":23377,"ĠRecyclerView":23378,",e":23379,"START":23380,"/****************************************************************************":23381,"xford":23382,"Ġreceipt":23383,"CLAIM":23384,"readonly":23385,"968":23386,"Ġengaging":23387,"619":23388,"Ca":23389,"asma":23390,"Ġensuring":23391,"English":23392,"ĠVancouver":23393,"hyth":23394,"Ġpurchasing":23395,"ĠPI":23396,".word":23397,"(sp":23398,".home":23399,":def":23400,"Ġgig":23401,"574":23402,"671":23403,"ĠVe":23404,"forum":23405,"ĠMitch":23406,"Bay":23407,"_FL":23408,"651":23409,"Ġsoll":23410,"577":23411,"_columns":23412,"Ġminority":23413,"bird":23414,"Ġhanded":23415,"SSL":23416,"STAT":23417,"Ġnervous":23418,"ĥ½":23419,"ĠfilePath":23420,"CREATE":23421,"Aw":23422,"Ġpens":23423,"835":23424,"seed":23425,"ĠCompute":23426,"olk":23427,"594":23428,"ĠAsset":23429,"reach":23430,"'),čĊ":23431,"navigation":23432,"LF":23433,"/util":23434,"ĠPub":23435,"ĠâĶ":23436,"cion":23437,"##Ċ":23438,"072":23439,"III":23440,"TagName":23441,"Ġamid":23442,"permission":23443,"ifiable":23444,"xFFFFFFFF":23445,"ни":23446,".Buffer":23447,"_irq":23448,"dark":23449,"Ġretval":23450,".fire":23451,"production":23452,".listen":23453,"ĠWeather":23454,"Ġbuyers":23455,".ne":23456,"erp":23457,"ĠPent":23458,"699":23459,"Ġwelfare":23460,"ĠpageSize":23461,"ĠStadium":23462,"erta":23463,"Ġlev":23464,"ampa":23465,"Pager":23466,"665":23467,"Ġcharging":23468,"ĠNetflix":23469,"|null":23470,"_random":23471,".xpath":23472,"Ġstere":23473,"ĠISIS":23474,"ponses":23475,"(loc":23476,"566":23477,"eyond":23478,"ĠOfficial":23479,"657":23480,"ĠMaryland":23481,"DataType":23482,"_par":23483,"{},":23484,"ĠEnjoy":23485,"727":23486,"_SHIFT":23487,"ĠAwards":23488,"_ENTRY":23489,"Ġseemingly":23490,"enticate":23491,"Ġhearts":23492,"583":23493,"_;ĊĊ":23494,"ĠHIV":23495,"Ġindivid":23496,"ĠFlag":23497,"_ctrl":23498,"ĠCallback":23499,",z":23500,"ĠGPU":23501,"ĉobj":23502,"ĠPhoenix":23503,"ĠBUS":23504,"907":23505,"Ġrubber":23506,"_AUTH":23507,"ĠSolutions":23508,"(location":23509,"Variables":23510,".setEnabled":23511,"_high":23512,"WO":23513,"Gesture":23514,"Ġretry":23515,"ĠobjectForKey":23516,"alloween":23517,"Ġmos":23518,"ĠCele":23519,"Ġikke":23520,"(cell":23521,"ĠMODE":23522,"rena":23523,"Ġdescribing":23524,"641":23525,"Ġphi":23526,"Ġrd":23527,"Ġdeserve":23528,"Ġwheels":23529,"å¸Ĥ":23530,"Ġcritics":23531,"755":23532,"Namespace":23533,"ĠFra":23534,"ĠĊĊĊĊ":23535,"Ġalla":23536,"Ġrequiring":23537,"æľŁ":23538,"utation":23539,"Ġdelayed":23540,"Ġadministrative":23541,"Ġbay":23542,".hidden":23543,"Tex":23544,"051":23545,"Ġboundaries":23546,"Ġ]);ĊĊ":23547,"ĠFollowing":23548,"~/":23549,"Fi":23550,"_conv":23551,"_TITLE":23552,"Ġdesde":23553,"ICollectionView":23554,"Alias":23555,"Ġbite":23556,"patient":23557,"_COMMAND":23558,"Completed":23559,"ĉelif":23560,"(<":23561,"Business":23562,"ĠPool":23563,"Ġpursue":23564,"ĠBan":23565,"_steps":23566,"_DECL":23567,"umble":23568,"Ġcombo":23569,"ĠLayer":23570,".xr":23571,"Ġdup":23572,"---------":23573,"628":23574,"Ġmodifier":23575,"rob":23576,"rez":23577,"696":23578,"Ġathletes":23579,"Used":23580,"wear":23581,"815":23582,"Ġlegitimate":23583,"Ġ\"ĊĊ":23584,"Ġhv":23585,"Std":23586,"037":23587,"ĠHold":23588,"Ġsurviv":23589,"ĠAlliance":23590,"ĠEarly":23591,"778":23592,"Behavior":23593,"(font":23594,"/libs":23595,"Ġrectangle":23596,"Ġsinger":23597,"Ġamp":23598,"EqualTo":23599,"Ġ\".\"":23600,"Ġgirlfriend":23601,"å±":23602,"linear":23603,"observ":23604,"Ġpiù":23605,"Ġcomplement":23606,"WithValue":23607,"(password":23608,"take":23609,"Blank":23610,"ĠCompar":23611,"'\",":23612,"_policy":23613,"mongoose":23614,"_FAILED":23615,".report":23616,"Ratio":23617,".PerformLayout":23618,"747":23619,"usable":23620,"mers":23621,"_render":23622,"PEED":23623,"772":23624,"Ġlesb":23625,"ĉE":23626,"_tool":23627,"Ġladies":23628,"908":23629,"оÑģ":23630,"))))Ċ":23631,";;;;":23632,".dot":23633,"Ġnest":23634,"peak":23635,"ukkit":23636,"eca":23637,"_SW":23638,"Ġ&(":23639,"ĠOklahoma":23640,"Ġbanking":23641,"569":23642,"ĠNintendo":23643,"752":23644,"Ġreproduce":23645,"_elements":23646,"_mac":23647,"proxy":23648,"Ġremarkable":23649,"}/${":23650,"Ġouts":23651,".hasNext":23652,"MODE":23653,"658":23654,"Ġanime":23655,".conn":23656,"Unique":23657,"Dom":23658,"Ġimportantly":23659,"itty":23660,"Ġjuice":23661,"Tw":23662,"ĠPartners":23663,"Ġattacking":23664,"Ġportable":23665,"amiento":23666,".PictureBox":23667,".gen":23668,"Ġoptimal":23669,"582":23670,"Ġrecre":23671,"Ġjournalist":23672,"ĠExtract":23673,"ĠMoreover":23674,"ĠmarginTop":23675,".Ap":23676,"Ġfiring":23677,"NaN":23678,"ĉtemplate":23679,"ад":23680,".En":23681,"Ġdefence":23682,"ĠTel":23683,"ilen":23684,"jan":23685,"=data":23686,"ĠUrl":23687,"ĠReuters":23688,"(total":23689,"ĠFifth":23690,"Ġessays":23691,"Ġinterpretation":23692,"Ġcharity":23693,"ĠRules":23694,"Ġsubsection":23695,"styled":23696,"azer":23697,"lags":23698,"LIST":23699,"Ġuploaded":23700,"Ġtrash":23701,"Ġregistr":23702,"Ġseller":23703,">';čĊ":23704,"ĠstartTime":23705,"çĻ":23706,"sy":23707,"(HttpServletRequest":23708,"Ġtrap":23709,"GC":23710,"Ġembedded":23711,"Ġsurrounded":23712,"816":23713,"imits":23714,"TX":23715,"ylinder":23716,"685":23717,"ĠFal":23718,"Ġsentences":23719,"ĠJa":23720,"IFICATION":23721,"weapon":23722,"ovation":23723,"Ġcoat":23724,"Ġinterpol":23725,"Ġlips":23726,"ĠKy":23727,"Ġvectors":23728,"_am":23729,"Ġintake":23730,".world":23731,"Ġinbox":23732,"ĠMAC":23733,"_ab":23734,"(nameof":23735,"633":23736,"Ġentert":23737,"Ġgathering":23738,"ĠSIM":23739,"++.":23740,"nya":23741,"'}}":23742,"ĠUPDATE":23743,"Ġpac":23744,"(html":23745,"ĠSant":23746,"iating":23747,"ĠIdeas":23748,"Ġspray":23749,"ĠHart":23750,"Ġverification":23751,"adesh":23752,"/modules":23753,"ĠMind":23754,"ĠSizedBox":23755,"Ġshelter":23756,"Ġheroes":23757,"atty":23758,"Ġcertified":23759,"sj":23760,"Ġêtre":23761,"ÅĤo":23762,"Ġpublishing":23763,"ĠMalays":23764,".getUser":23765,"ĠProvider":23766,"ĠLinkedList":23767,"ĠBor":23768,"ROUND":23769,"did":23770,"tain":23771,"pire":23772,"ĠJenn":23773,"tel":23774,"ande":23775,"757":23776,"_front":23777,"ĠMcG":23778,"TestMethod":23779,"à¸Ń":23780,"Ġoccasionally":23781,"ĠWales":23782,"Ġexercises":23783,"ĠÐĴ":23784,"045":23785,"-plus":23786,"Ġvalidator":23787,"Ġprayer":23788,"LATED":23789,"_author":23790,"Ġlabour":23791,"++Ċ":23792,"-equiv":23793,"ĠGPL":23794,"Ġfacebook":23795,"simple":23796,"gly":23797,"Processor":23798,"ipy":23799,"744":23800,"Ġ*>":23801,"648":23802,"Ġcleared":23803,"ĠPush":23804,"858":23805,"Ġpenis":23806,"Structure":23807,"lij":23808,"ĠMorgan":23809,"Ġhandful":23810,"\".Ċ":23811,"984":23812,"|\\":23813,"Ġ********************************":23814,"ĠAqu":23815,"584":23816,"_IC":23817,".loads":23818,"Ġmeter":23819,"ĠMarine":23820,"::{":23821,"ĠTS":23822,"776":23823,"ĠArrays":23824,".Title":23825,"GRAM":23826,"termin":23827,"Ġcoinc":23828,"Else":23829,"_states":23830,"-run":23831,"members":23832,"782":23833,"astro":23834,"066":23835,"ĠonPress":23836,"Ġbeings":23837,"Ġabandoned":23838,"Ġtaxp":23839,"owners":23840,".mode":23841,"Ġdiagnosis":23842,"Ġ_Ċ":23843,"ĠKnight":23844,"ĉA":23845,"Ġobserve":23846,"),'":23847,"823":23848,"!\")Ċ":23849,"ĠPara":23850,"Ġvariation":23851,"(False":23852,"ĠAnti":23853,"Ġgri":23854,"Ġhomeless":23855,"?v":23856,"Ġbez":23857,".Server":23858,"release":23859,"ĠPatri":23860,"Ġchars":23861,"Ġranking":23862,"activation":23863,"581":23864,"Ġwides":23865,"qr":23866,".Sql":23867,"acular":23868,"ĠBot":23869,"_sync":23870,"Ġhappiness":23871,"Ġvolunteers":23872,"877":23873,"Ġsits":23874,"/<":23875,"[e":23876,"(fileName":23877,"Ġcapac":23878,"832":23879,"ĠMaria":23880,"father":23881,"Ġgram":23882,"*i":23883,"Ġcaso":23884,"_draw":23885,"ĠRaw":23886,"ĠIterator":23887,"664":23888,"ĠPadding":23889,"924":23890,"PD":23891,"BOX":23892,"ĠSPECIAL":23893,"Ġfecha":23894,"Ġvide":23895,"ĠLeader":23896,"以":23897,"$(\".":23898,"Ġdiameter":23899,"Ġmild":23900,"745":23901,"Ġrocks":23902,"appings":23903,"048":23904,"directory":23905,"557":23906,".flush":23907,"ĠJess":23908,"UNIT":23909,"ĠPear":23910,"Ġmandatory":23911,"Sur":23912,"qt":23913,"Ġstreams":23914,"Ġcooperation":23915,"ĠSac":23916,"Ġcheaper":23917,"ĉch":23918,"animation":23919,"fare":23920,"(height":23921,"(True":23922,"NY":23923,"Ġwrest":23924,"Ġpolls":23925,"Ġencountered":23926,"ĠMarketable":23927,"_PASSWORD":23928,"716":23929,"_SELECT":23930,"ĠArabia":23931,"_clock":23932,"Ġvoy":23933,"Ġиз":23934,"Ġstir":23935,"isible":23936,"-effect":23937,".created":23938,"Ġtoys":23939,"ĠTradable":23940,"Ġrust":23941,"Ġstrcpy":23942,"_timestamp":23943,"Ġtalented":23944,",null":23945,"ĠJobs":23946,"ĠPortland":23947,"Ġweakness":23948,"Throw":23949,"ĠAngel":23950,"ä¿®":23951,"754":23952,"Ġuncert":23953,"ï¼īĊ":23954,"ĠìĿ´":23955,"Which":23956,"Ġ[-]:":23957,"Something":23958,"Ġconvicted":23959,"kle":23960,"edium":23961,"Ġbranches":23962,"Ġbases":23963,"ç®":23964,"Ġcomplexity":23965,"ĠFig":23966,".reshape":23967,"$db":23968,"736":23969,"_CONST":23970,"ĠTes":23971,".runtime":23972,"Ġdeny":23973,"ĠBSD":23974,"Ġkr":23975,"hatt":23976,"ĠStatic":23977,"Ġuniversities":23978,"Replace":23979,"Ġdrove":23980,"Ġadoles":23981,"_plugin":23982,"ĠLGBT":23983,"Ġtex":23984,"duction":23985,"751":23986,"799":23987,"EDI":23988,"ĠTed":23989,"_URI":23990,"Ġreception":23991,"arten":23992,".Single":23993,"rice":23994,"scious":23995,"843":23996,"_bg":23997,"Ġwages":23998,"ĠServlet":23999,"UILayout":24000,"Ġformatted":24001,".Mod":24002,"',Ċ":24049,"Ġexpanding":24050,"ĠHamilton":24051,"ĠContrib":24052,".Tables":24053,"728":24054,"Activ":24055,"HH":24056,"ocommerce":24057,"_;":24058,"Ġamongst":24059,"owing":24060,"859":24061,"ĠCold":24062,"APH":24063,"Ġpsychological":24064,"_tensor":24065,"Ġpackaging":24066,"ĠSweden":24067,"Ġpare":24068,"Ġaggregate":24069,"Ġmoderate":24070,"862":24071,"_hand":24072,"Ġdesignated":24073,"Ġdrum":24074,"ĠgetUser":24075,"ĠCreek":24076,"_scope":24077,"ĠTransfer":24078,"ĠMarg":24079,"Ġfighters":24080,"Wnd":24081,"ĠSel":24082,"ĠLaunch":24083,"Ġemerging":24084,"iframe":24085,"ĠAdditional":24086,"Ġfears":24087,"Ġsatellite":24088,"_:":24089,"Ġdisposing":24090,"GetValue":24091,"HttpPost":24092,"ATIVE":24093,"ulary":24094,"Views":24095,"Ġattending":24096,"ĠTennessee":24097,"ĠMission":24098,"Ġmedication":24099,"ĠWy":24100,"ĠAnna":24101,"ع":24102,"ĠVertex":24103,".types":24104,"Organ":24105,".DataGridViewTextBoxColumn":24106,"ĠRS":24107,"Ġtempo":24108,"(App":24109,"892":24110,"VersionUID":24111,".point":24112,"ĠDutch":24113,"Hours":24114,"LU":24115,"Ġquoted":24116,".builder":24117,"ĠPerfect":24118,"ĠAlways":24119,"_two":24120,"Ġexclusively":24121,"ĠCra":24122,"ificar":24123,"ĠAWS":24124,"ingham":24125,"complex":24126,"kernel":24127,"Ġgravity":24128,"Ġwi":24129,"052":24130,"Ġoverview":24131,"661":24132,"ĠWant":24133,"ĠWP":24134,"(sh":24135,".rotation":24136,"States":24137,"ĠTeen":24138,"_components":24139,"ìĪĺ":24140,"Received":24141,"Ġlyrics":24142,"rites":24143,"ĉĉĉĉĉĠ":24144,"-American":24145,"[num":24146,"/python":24147,"ĠUART":24148,"Ġapple":24149,"ĠJonathan":24150,"Ġmomentum":24151,"ั":24152,"Ĥ¹":24153,"Ġmich":24154,"andra":24155,"Ġbiological":24156,"ĠMens":24157,"Ġ%%":24158,"elsea":24159,"ĠMexican":24160,".randint":24161,"Ġtale":24162,"ĠValidate":24163,"Ġdefeated":24164,".htm":24165,"Ġcopper":24166,"=/":24167,"cosystem":24168,"Ġrip":24169,"decimal":24170,".VISIBLE":24171,"ĠTa":24172,"ĉĉĉĉĉĉĉĉĉĉĉĉĉĉ":24173,"Ġdownloaded":24174,"environment":24175,"Ġnomine":24176,"building":24177,"ĠSpot":24178,"ipheral":24179,"Ġalto":24180,"quet":24181,"ĠFT":24182,"/get":24183,"/master":24184,"WIN":24185,"åħĥ":24186,"676":24187,"West":24188,"argc":24189,"Ġproducers":24190,"ĠMuch":24191,"_storage":24192,"credit":24193,"CONT":24194,"Ġvet":24195,"Ġvoices":24196,"('',":24197,"Ġinstruments":24198,"662":24199,"ĠMSG":24200,"esse":24201,"repository":24202,"omics":24203,"Ġdealer":24204,"Still":24205,"Ġbanner":24206,"ascii":24207,"Ġremarks":24208,"[js":24209,"Ġshorter":24210,"gulp":24211,"Ġmyster":24212,"Ġkun":24213,"ĠBird":24214,"Ġtiene":24215,"788":24216,"nut":24217,"ĠUm":24218,"Ġwise":24219,"Yeah":24220,"INESS":24221,"046":24222,"_begin":24223,"-heading":24224,"Course":24225,"ĠčĊčĊ":24226,"ombie":24227,"graded":24228,"ĠGPS":24229,"Ġże":24230,"Fit":24231,"caption":24232,"ön":24233,"/image":24234,"lia":24235,"(mod":24236,"Ġleak":24237,"enza":24238,"629":24239,"/H":24240,"ĠHappy":24241,"993":24242,"Dist":24243,"nx":24244,"ĠGovernor":24245,"(last":24246,"teacher":24247,"ĠSent":24248,"support":24249,"838":24250,"jectory":24251,"ĠÙħ":24252,"Registration":24253,"063":24254,"ĠGray":24255,",false":24256,"Ġadjusted":24257,"(settings":24258,"'Ċ":24324,"-fold":24325,"æĬ":24326,"ĠBetter":24327,"Ġ\"\\<":24328,"spacing":24329,"Ġfurnished":24330,"913":24331,"oser":24332,"]}Ċ":24333,"Ġ$\"":24334,"pull":24335,".Post":24336,"919":24337,"(ip":24338,"Ĺı":24339,".front":24340,"nte":24341,"ĠFM":24342,"guid":24343,"844":24344,"Ġnegotiations":24345,"agonal":24346,"934":24347,"Ġtremend":24348,"ungeon":24349,"Adv":24350,"carousel":24351,"ÃŁe":24352,"_DESC":24353,"Ġhammer":24354,"áºŃ":24355,"ĠĠĠĠĠĠĠĠĊĊ":24356,"-core":24357,"-service":24358,"Ġcorners":24359,"ĠSF":24360,"pred":24361,">A":24362,"ĠJLabel":24363,"Ġromantic":24364,"Ġtestimony":24365,"osc":24366,"ĠGeneration":24367,"asures":24368,"_internal":24369,"Ġprints":24370,"Ġ])Ċ":24371,"ĠCleveland":24372,"repo":24373,"Disc":24374,"677":24375,"762":24376,"Ġ\">Ċ":24377,"����":24378,"Ġnearest":24379,"591":24380,"_tb":24381,"(require":24382,"EOF":24383,"-child":24384,"Ġbudd":24385,".XtraEditors":24386,"alties":24387,"723":24388,"\\\":\\\"":24389,"Words":24390,"917":24391,"Ġlocally":24392,"Ġpurchases":24393,"695":24394,"Drawer":24395,"extract":24396,"Ġexecut":24397,"}'.":24398,"userdata":24399,"Ġfocuses":24400,"-minute":24401,"764":24402,"ĠPublish":24403,"ogo":24404,"Ġmountains":24405,"Bot":24406,"}>{":24407,"Ġtension":24408,"rod":24409,"mesh":24410,"Ġtransformed":24411,",R":24412,"()}Ċ":24413,".long":24414,"Ġgorgeous":24415,"ĠSchedule":24416,"Ġoldest":24417,"Ġsubprocess":24418,"(IN":24419,"yect":24420,"ĠCooper":24421,"arness":24422,"ĠMonitor":24423,".part":24424,"972":24425,"ĠNBC":24426,"668":24427,"Ġcotton":24428,"Ġhol":24429,"726":24430,"Ġrgba":24431,"ĠBio":24432,"Continue":24433,"Pod":24434,"Ġparticipating":24435,"clusions":24436,"(ByVal":24437,"734":24438,"ì":24439,"ĠHOW":24440,"_setopt":24441,"Ġaccompanying":24442,"091":24443,"aton":24444,"Ġ/\\":24445,"ĠAuthentication":24446,"ién":24447,"ĠBarack":24448,"/*.":24449,"Ġeager":24450,"ĠCancel":24451,"$":24502,"OLEAN":24503,"OKIE":24504,"IBILITY":24505,"UAGE":24506,"ĠSurvey":24507,"071":24508,"Ġresign":24509,"wing":24510,"Ġsecrets":24511,"Ġchips":24512,"JSONObject":24513,"Desktop":24514,"596":24515,"_SYMBOL":24516,"(resource":24517,"ĠĊ":24518,"Ġnewest":24519,"uli":24520,"Ġdesert":24521,"Ġdip":24522,"ĠPow":24523,"Ġequation":24524,"Ġpossibilities":24525,"ĠFed":24526,"osph":24527,"Ġ[%":24528,"Ġbubble":24529,"etherlands":24530,"793":24531,"Ġcement":24532,".auto":24533,"_AN":24534,"âĢĻ.":24535,"selection":24536,"ĠBond":24537,"988":24538,"Den":24539,"-O":24540,".getType":24541,"896":24542,".Window":24543,"pres":24544,"Ġswinger":24545,"\"})Ċ":24546,"Ġpip":24547,"Ġmice":24548,"Ġcompound":24549,"-plugin":24550,"iko":24551,"Ġcenturies":24552,"icular":24553,"-inline":24554,"ĉkey":24555,">\\<":24556,"ENSION":24557,"Ġ[čĊ":24558,"Ġprecisely":24559,"Ġété":24560,"ĠPast":24561,"ĠCambridge":24562,"-full":24563,"Ġanalyze":24564,"ĠSteven":24565,"Ġnem":24566,"due":24567,"oren":24568,"Ġmuscles":24569,"ijing":24570,"852":24571,"/-":24572,"ĠKennedy":24573,"597":24574,"RM":24575,"ossible":24576,"Ġactress":24577,"Ġdolor":24578,"914":24579,"å½ķ":24580,"Need":24581,".toggle":24582,"ĠRace":24583,"wers":24584,".material":24585,"ĠDue":24586,"ĠPel":24587,"#print":24588,"Ġindependence":24589,"exus":24590,"Shadow":24591,"Ġencoder":24592,"(level":24593,"ĠSwift":24594,".doc":24595,"_selection":24596,"952":24597,"ĠserialVersionUID":24598,"945":24599,"Labels":24600,"Ġperformances":24601,".Tag":24602,"ĠNHL":24603,"izen":24604,"/UIKit":24605,"991":24606,"_CONTROL":24607,"Ġearnings":24608,"975":24609,"ĠAlt":24610,"_HANDLE":24611,"Ctx":24612,"Ġpersu":24613,"Ġtran":24614,"ç¨":24615,"_CHANNEL":24616,"Ġsatisfaction":24617,"ĠGP":24618,"769":24619,"iox":24620,"mitt":24621,"lando":24622,"Ġpig":24623,"inals":24624,"ência":24625,"731":24626,"Surface":24627,"ĠUUID":24628,"Ġbeneficial":24629,"Ġsequences":24630,"ĉmemset":24631,"Ġmagical":24632,"«":24633,"Ġworn":24634,"ASC":24635,"popup":24636,"COMP":24637,"_before":24638,"eness":24639,"Ui":24640,"Les":24641,".require":24642,".Serializable":24643,"addGap":24644,"Ġauthorization":24645,"085":24646,".pyplot":24647,"urray":24648,"latitude":24649,"845":24650,"frames":24651,"ajs":24652,"Ġcompass":24653,"Ġobservations":24654,"_sup":24655,".environ":24656,"Ġtriple":24657,"ĠRuby":24658,"Ġdrain":24659,"_FILTER":24660,"San":24661,"UMP":24662,"NullException":24663,"ĠGab":24664,"owe":24665,"ĠTurkish":24666,"_sequence":24667,"ĠGrant":24668,"uela":24669,"Ġwo":24670,"Ġcube":24671,"iq":24672,"Ġdisorders":24673,"Ġextraordinary":24674,"Ġctrl":24675,"ĠSeq":24676,"entr":24677,"865":24678,"Ġsanctions":24679,"949":24680,"utsch":24681,"Reports":24682,"Ġinherit":24683,"Period":24684,"Ġphotography":24685,"ĠFramework":24686,"Ġspecialist":24687,"Ġ?ĊĊ":24688,"_selected":24689,".Player":24690,"Ġallocation":24691,"(account":24692,"Ġstructural":24693,"vable":24694,"-offset":24695,".AppCompatActivity":24696,"ам":24697,".AddWithValue":24698,"Ġicons":24699,"Ġshutdown":24700,"_low":24701,"ĠCompare":24702,"ĠCe":24703,"=head":24704,"lam":24705,".predict":24706,"_DEC":24707,"ĠSleep":24708,"ĠGratis":24709,"Ġsuggestion":24710,"ĠDEL":24711,"caff":24712,"avirus":24713,"Nothing":24714,"ŀĭ":24715,"Ġwidespread":24716,"Ġmechanisms":24717,"ĠtextAlign":24718,"occup":24719,"ĠRail":24720,":NS":24721,"Ġfiber":24722,"Ġmk":24723,"Ġvintage":24724,"-long":24725,".reduce":24726,".Entities":24727,"(record":24728,"Ġpleasant":24729,"FRING":24730,".Cells":24731,"OTT":24732,"ĉelseif":24733,"649":24734,"724":24735,"_confirm":24736,"ĠViewGroup":24737,"sym":24738,"Ġpray":24739,"Ġsuspected":24740,"Contains":24741,"983":24742,"Ġborders":24743,"ĠcomponentDid":24744,"ASSERT":24745,"Ġinfinite":24746,"-order":24747,"Ġhello":24748,"ĠGrade":24749,".currentTimeMillis":24750,"apolis":24751,"zh":24752,"ĉObject":24753,":\\\\":24754,"HO":24755,"valuation":24756,"Ġvocab":24757,"719":24758,"Ġcoupon":24759,"atabases":24760,".GetType":24761,"Learn":24762,"792":24763,"]=\"":24764,"ĠGary":24765,"otive":24766,"Ġash":24767,"Ġbib":24768,"XXXX":24769,"Ġbalanced":24770,"VALUE":24771,"ĠNat":24772,"_Ad":24773,"<":24930,"Ġfool":24931,"Ġesk":24932,".Null":24933,"ĠDies":24934,"_OUTPUT":24935,"_TYPED":24936,"Ġpainted":24937,"673":24938,"735":24939,"Ġsophistic":24940,"ĠBear":24941,"*n":24942,"_PACK":24943,"Ġdelivering":24944,"ĠCOUNT":24945,"åįķ":24946,"Ġjeg":24947,"-car":24948,"fname":24949,"Ġranging":24950,"848":24951,"ĠNeg":24952,"/******/":24953,"ĠCHAR":24954,"Ġultra":24955,"Grad":24956,"=t":24957,"Ġjudges":24958,"ĠDise":24959,"anners":24960,"985":24961,"891":24962,"861":24963,"Ġscal":24964,"_cal":24965,"ĠCONNECTION":24966,"_embed":24967,"(fn":24968,"ĠCraft":24969,"047":24970,"ĠPas":24971,"\")->":24972,".convert":24973,".resource":24974,"ĠSTATUS":24975,"ông":24976,"ĠTit":24977,"Ġclassroom":24978,"ĠArchitect":24979,"ĠKings":24980,"Ġsteady":24981,"/*!Ċ":24982,"ĠGene":24983,")\";Ċ":24984,"icia":24985,"stan":24986,"ĠConstruction":24987,"umper":24988,"951":24989,"wc":24990,"ĠCBS":24991,"inging":24992,"-party":24993,"(driver":24994,"MARK":24995,"082":24996,"Ġnested":24997,"eward":24998,"Ġdependency":24999,"Ġmales":25000,"928":25001,"ĠONE":25002,"ĠProduction":25003,"][$":25004,"ãĥ¼ãĥ":25005,"_LOAD":25006,"ĠBol":25007,"elry":25008,"831":25009,"łéĻ¤":25010,"ĠRequire":25011,"Ġplacing":25012,"xxx":25013,"CALE":25014,"Ġthumb":25015,"824":25016,"Choose":25017,"Ġprototype":25018,"VOID":25019,"Ġlesbian":25020,"741":25021,"Ġtraits":25022,"Sharp":25023,"Ġconsume":25024,"Truth":25025,"ĠactionPerformed":25026,"ĠEnvironmental":25027,"ĠDean":25028,"Ġestado":25029,"same":25030,"Ġnumeric":25031,"Ġtransit":25032,".Email":25033,"-side":25034,"_RUN":25035,"ĠVillage":25036,"_OPEN":25037,"è¦":25038,".rem":25039,"-warning":25040,"anya":25041,"PropertyChanged":25042,"Ġ(!_":25043,"(check":25044,"ilia":25045,"ĠSoft":25046,"steps":25047,"ĠMadrid":25048,"MemoryWarning":25049,"Ġhandlers":25050,"Ġexperiencing":25051,"Ġinspect":25052,"buttons":25053,"ReceiveMemoryWarning":25054,"chemy":25055,"Links":25056,"Ġurllib":25057,".SystemColors":25058,"ĠEigen":25059,"Ġpunishment":25060,":UIControl":25061,"bara":25062,"-set":25063,"Ġ}čĊčĊčĊ":25064,"Ġtolerance":25065,"Ġinterfaces":25066,".redirect":25067,"ighbors":25068,"csrf":25069,"_background":25070,".Utils":25071,"_HT":25072,"692":25073,"ĠInterest":25074,"imos":25075,"Ġgrants":25076,"083":25077,"Ġexamined":25078,"ÐĶ":25079,"Ġcf":25080,"forge":25081,"backs":25082,"ĠObjects":25083,"_sent":25084,".entry":25085,"ĠTHEN":25086,"ellido":25087,"cia":25088,",res":25089,"659":25090,"681":25091,"/stdc":25092,".nd":25093,"(Int":25094,"ĠAuthors":25095,"ĠAppCompatActivity":25096,"'{":25097,"Ġmedi":25098,"Music":25099,"igm":25100,"ceipt":25101,"Ġauss":25102,"Ġtargeting":25103,"ĠKeys":25104,"hn":25105,":]Ċ":25106,"Ġmineral":25107,"î":25108,".ca":25109,"761":25110,"omed":25111,"Ġsheets":25112,"Ġcamb":25113,"Ġdeadly":25114,".inject":25115,"(unit":25116,"ĠSelection":25117,".gms":25118,"(connection":25119,"Ġ$(\"":25120,"émon":25121,"ĠCurrently":25122,"pte":25123,"_paths":25124,"847":25125,"leaf":25126,"Ġimplications":25127,"posal":25128,"ä½į":25129,"[/":25130,"ancia":25131,"éĽ":25132,"mul":25133,"cie":25134,"Ġgeile":25135,"679":25136,"imals":25137,"UIView":25138,"Ġsurre":25139,"serialize":25140,"ISO":25141,"Ġarbitrary":25142,"Ġsockaddr":25143,".fn":25144,"ĠMerc":25145,"Ġcasting":25146,"KeyDown":25147,"ĠnewValue":25148,"opens":25149,"717":25150,"Todo":25151,"Ġflexibility":25152,"ĉĉĉĉĠĠ":25153,"Velocity":25154,"ún":25155,"rowing":25156,"Ġcomputed":25157,"`)Ċ":25158,"statement":25159,"Ġri":25160,"_cart":25161,"Low":25162,"transfer":25163,".nav":25164,"Ġgrave":25165,"ĠDoor":25166,"ĉalert":25167,"691":25168,"698":25169,".subscribe":25170,"-profile":25171,"ĉbase":25172,"ĠâĪĴ":25173,"__ĊĊ":25174,"Ġengineers":25175,"Ġexplosion":25176,"Ġdari":25177,"682":25178,"ĉLog":25179,"onal":25180,"Ġisolated":25181,"{i":25182,"ĠMsg":25183,"Future":25184,"Ġracist":25185,"-wrap":25186,"ĠVers":25187,"borg":25188,"ISION":25189,"ĠÑĢаÐ":25190,"ĠYan":25191,"836":25192,"initWith":25193,"Ġnomin":25194,"(empty":25195,"ÃŃn":25196,"ãĤ¤":25197,"ĉwidth":25198,"Ġchamber":25199,"/ajax":25200,"EMP":25201,"093":25202,"Ġneces":25203,"ivos":25204,"logic":25205,"*)&":25206,"cripts":25207,"976":25208,"RowAt":25209,"053":25210,"iblings":25211,"Ġears":25212,"Ġcomputing":25213,"Ġmaker":25214,"ĠNeither":25215,"breadcrumb":25216,"Ġserialize":25217,"ĠWithin":25218,"Ġdell":25219,"_TRACE":25220,"092":25221,"=a":25222,"Ġwishes":25223,"-inch":25224,"ĠDor":25225,"Ġinnocent":25226,"ĠDol":25227,"Ġintens":25228,"forced":25229,"054":25230,"ĠBIT":25231,"Ġphotographs":25232,"Ġcasa":25233,"ĠLen":25234,"\\Framework":25235,".Simple":25236,"Ġdear":25237,"895":25238,")/(":25239,"ippi":25240,"Ġowns":25241,"Players":25242,"Ġproposals":25243,".pi":25244,"usalem":25245,"Damage":25246,"Ġcalories":25247,"ĠCreative":25248,"Ġ[$":25249,"Ġ//čĊ":25250,"786":25251,"AndView":25252,"ème":25253,".custom":25254,"_factory":25255,"commands":25256,"_look":25257,"Ġstrcmp":25258,"YN":25259,"aired":25260,"Ġaudit":25261,"оÑģÑĤ":25262,"ĠReverse":25263,"ropriate":25264,"etics":25265,"';Ċ":25348,"Ġpepper":25349,"989":25350,"Ġshed":25351,"ĠMedium":25352,"ĠCookie":25353,"889":25354,"Ġoverseas":25355,"edor":25356,"asurement":25357,"766":25358,"åŃĺ":25359,"Ġ'.'":25360,"Ġphp":25361,"ĠPROC":25362,"Ġexceptional":25363,"(th":25364,"ĠJet":25365,"Ġoccupied":25366,".setImage":25367,"ĠRelated":25368,"ucker":25369,"Members":25370,"PRINT":25371,"ĠGlo":25372,"_VIEW":25373,"}\",Ċ":25374,"Ġadoption":25375,"[])Ċ":25376,"842":25377,"ĠMissouri":25378,"ĠLincoln":25379,"erald":25380,"Popup":25381,"Ġfate":25382,"-bootstrap":25383,"fections":25384,"ĠPoll":25385,"_ARGS":25386,"inance":25387,"697":25388,"-home":25389,".),":25390,"_done":25391,"694":25392,":ĊĊĊ":25393,"Ġdiscussing":25394,"ĠSQLException":25395,"Ġelectro":25396,"ĉreq":25397,"Ġzw":25398,"886":25399,"Ġlui":25400,"932":25401,"Ġovernight":25402,"$user":25403,"ĠWAY":25404,"Ġallerg":25405,"Ġdisappointed":25406,"Ġradiation":25407,"Ġimpressed":25408,"ificates":25409,"Ġtob":25410,"CLASS":25411,"Ġcuda":25412,"_det":25413,"-post":25414,"ulu":25415,"Translation":25416,"-hand":25417,".year":25418,"ĠMongo":25419,"Ġunclear":25420,".engine":25421,"WEBPACK":25422,"rices":25423,"_ACCESS":25424,"Ġholidays":25425,"percent":25426,".Identity":25427,"ĠGov":25428,"Ġpassionate":25429,"!!.":25430,"ĠGreece":25431,"plusplus":25432,"'));":25433,"GP":25434,"Ġexcit":25435,".tabPage":25436,"_cond":25437,"Ġsponsor":25438,"MODULE":25439,"_proc":25440,"Ġ$Ċ":25441,"Ġrational":25442,".Tool":25443,"Ġihr":25444,"cca":25445,"åĵģ":25446,"ĠEstate":25447,"IBUTE":25448,"ActionPerformed":25449,"ĠSolar":25450,"¦Ĥ":25451,"Ġequity":25452,"tid":25453,"938":25454,"Ġrecip":25455,".simple":25456,"mk":25457,"689":25458,"ĠLuke":25459,"ĠGuardian":25460,"Ġencrypted":25461,"Ġdominant":25462,".place":25463,"ĠNV":25464,"839":25465,"Ġtongue":25466,"(Get":25467,"Ġstainless":25468,".Play":25469,"Ġeb":25470,"aci":25471,".buffer":25472,"readcrumbs":25473,"Ġvaccine":25474,"prom":25475,"979":25476,"ĠuserInfo":25477,"Ġslug":25478,"SerializedName":25479,"-wide":25480,"Ġreactions":25481,"ĠYang":25482,"ĠAdds":25483,"(userId":25484,"Ġplates":25485,"ĠMEM":25486,"Ġbail":25487,"Inside":25488,"eted":25489,"Ġelsif":25490,"Ġsake":25491,"Ġcycles":25492,"ĠìĹ":25493,"ĉI":25494,"-collapse":25495,"841":25496,"ĠGMT":25497,"814":25498,"Declaration":25499,"Ġgros":25500,"Ġreaches":25501,"Ġcustody":25502,"Until":25503,"753":25504,"856":25505,"tu":25506,"ĠChen":25507,"Ġnx":25508,"(addr":25509,"ĠOffer":25510,"Ġcolleg":25511,"assador":25512,"674":25513,"Ġmapper":25514,"854":25515,"ĠSIGNAL":25516,"ĠBloom":25517,"ĠHoll":25518,"ĠImper":25519,"-des":25520,"_site":25521,"Proc":25522,"Equ":25523,"Ġatomic":25524,"ĠWoman":25525,"sent":25526,"738":25527,"817":25528,"scar":25529,"Ġintelligent":25530,"ĠGetting":25531,"ĠRegistration":25532,"ĠPhill":25533,"Ġkiller":25534,"unicode":25535,"ĊĉĉĊ":25536,"ĠJacob":25537,"ĠConst":25538,"Ġlocate":25539,"Ġcaus":25540,"749":25541,"ĠScholar":25542,"Ġconstitutional":25543,"Ġinflation":25544,"ĠGot":25545,"=array":25546,"endum":25547,"Ġtranslated":25548,"Ġdivorce":25549,"Entries":25550,"Ġsor":25551,"ĠQuote":25552,"irlines":25553,"UK":25554,"Ġexcel":25555,"(opt":25556,"ĠADV":25557,",:,":25558,"Ġcontacted":25559,"742":25560,"ĠDA":25561,"Ġrings":25562,"ĠIndustrial":25563,".getContext":25564,"Ġforgotten":25565,"ĠTan":25566,"Ġpants":25567,"Ġov":25568,"Ġdecoder":25569,"ĠPartial":25570,"Ġvc":25571,"Ġbattles":25572,"Arial":25573,"FRINGEMENT":25574,"irates":25575,",w":25576,"aintenance":25577,"ĠOd":25578,"ĠTechnologies":25579,"åīį":25580,"ĠCarter":25581,".findAll":25582,"Nome":25583,"Ben":25584,"ĠUsage":25585,"ĠPicture":25586,"Ġbadly":25587,"_panel":25588,"Ġpatent":25589,"ĠProtocol":25590,"lotte":25591,"ĉplayer":25592,"jections":25593,"746":25594,"Ġdou":25595,"_release":25596,"urniture":25597,"_tax":25598,"ĠFields":25599,".dataset":25600,"_master":25601,"CLUDE":25602,"ĠPharm":25603,"bst":25604,"Ġoperational":25605,".cell":25606,"Ġidentifying":25607,"Ġjwt":25608,"tuple":25609,"ĠTC":25610,"ĠCro":25611,"936":25612,"ixmap":25613,"-components":25614,"general":25615,"Ġoz":25616,"_De":25617,"_double":25618,"ĠToo":25619,"088":25620,".ViewGroup":25621,"879":25622,"gate":25623,"dings":25624,"photos":25625,"Ġgrande":25626,"ollect":25627,"_lin":25628,"Ġawful":25629,"filters":25630,"Ġalternate":25631,"esp":25632,"Ġcompress":25633,"eo":25634,"ĠScale":25635,"Ġindirect":25636,"Ġinvoice":25637,"ĊĊĊĊĊĊĊĊĊĊĊĊĊĊĊĊ":25638,"Starting":25639,"ĠPlayers":25640,"iele":25641,".then":25642,"981":25643,"Ord":25644,"ĠTuple":25645,"Ġbout":25646,"ĠStatistics":25647,"Preview":25648,"Ġpuzzle":25649,"ĠWidth":25650,"STATE":25651,"Ġoverlay":25652,"ĉon":25653,"Ġinfr":25654,"Ġsmallest":25655,"locked":25656,"ÑĤо":25657,"ssl":25658,"779":25659,"Ġdeemed":25660,"Ġsco":25661,"reck":25662,"ĠjButton":25663,"Ġmissions":25664,"871":25665,"称":25666,".SelectedIndex":25667,"TABLE":25668,"Sept":25669,"Ġacknowledge":25670,"Ġstrtotime":25671,"ĠTell":25672,"ĠDak":25673,"Ġaluminum":25674,"Ġfence":25675,"ĠStars":25676,"CONFIG":25677,"Ġretrofit":25678,"Ġemphasis":25679,"/header":25680,"ĠSomething":25681,"inished":25682,"='\".$":25683,"ĠValidators":25684,"Ġpolar":25685,"sections":25686,"944":25687,".aspx":25688,"Ġaspir":25689,".Mock":25690,"CodeGen":25691,"Ġpeut":25692,"971":25693,"Ġaccepting":25694,"Ġbacking":25695,"Picture":25696,"/ap":25697,"ег":25698,"_SEC":25699,"-use":25700,"annotation":25701,"Ġcognitive":25702,"Ġgrip":25703,"hour":25704,"ĠLegal":25705,"Ġepic":25706,".toolStrip":25707,".notify":25708,".Last":25709,"ORIZ":25710,"Middleware":25711,"criptions":25712,"lash":25713,"_FOUND":25714,"ĠLiverpool":25715,"Ġ{}\",":25716,"931":25717,"Install":25718,"Ġnit":25719,"Ġfigured":25720,"[len":25721,".Win":25722,".platform":25723,"853":25724,"Ġgambling":25725,"(dt":25726,"avery":25727,"ĉinclude":25728,"Whether":25729,"Routing":25730,"Ġtherap":25731,"Remote":25732,"ĠLoss":25733,"yll":25734,"Ġapproached":25735,"ĠVehicle":25736,"ĠAlpha":25737,"Ġvocê":25738,"answers":25739,"NSDictionary":25740,"954":25741,"consider":25742,"unused":25743,"ĠFan":25744,"orable":25745,"fre":25746,"873":25747,"ĠDISCLAIM":25748,"ĠActor":25749,".]":25750,"toHave":25751,".userId":25752,"Ġspeeds":25753,"eway":25754,"Ġrecurs":25755,"Ġг":25756,"_priv":25757,"!âĢĿĊĊ":25758,"Choice":25759,"Ġsettle":25760,"Ġplanes":25761,"'},":25762,"Tom":25763,"ITER":25764,"!\"Ċ":25765,"å»":25766,"achelor":25767,"Ġseparation":25768,"Ġdal":25769,"adj":25770,"Ġregisters":25771,"riz":25772,"ĠNotice":25773,"Ġlu":25774,"Ġcourage":25775,"Ġaxes":25776,"cellent":25777,".async":25778,"073":25779,"Ġcompatibility":25780,"ç«":25781,"Ġ!ĊĊ":25782,"ĉtitle":25783,"YLE":25784,"ĉmessage":25785,"UUID":25786,"OLDER":25787,"ĠHH":25788,"ĠStyleSheet":25789,"Ġaccessed":25790,".validation":25791,"tasks":25792,"Ġpollution":25793,".canvas":25794,"Ġingredient":25795,"ĠCabin":25796,"Ah":25797,"oldown":25798,"ĠNOI":25799,"ĠÃĹ":25800,"[f":25801,"educ":25802,"yalty":25803,"(not":25804,"_State":25805,"933":25806,"amen":25807,"795":25808,"739":25809,"Ġdao":25810,"udad":25811,"ellers":25812,"}&":25813,"licity":25814,"_WINDOW":25815,"Ġtatto":25816,"valor":25817,".Range":25818,"Ġreferenced":25819,"ĠReserve":25820,"Money":25821,"874":25822,"SCRIPT":25823,"/product":25824,"choices":25825,"Ġtin":25826,"ãĤĵ":25827,"918":25828,"Ġseparator":25829,"Ġpkg":25830,"ammed":25831,"ĠMAT":25832,"!!ĊĊ":25833,"Ġraid":25834,"Ġmotivation":25835,"ĠXP":25836,"ĠBackground":25837,"ĠQuaternion":25838,".defineProperty":25839,"iker":25840,"ĉparent":25841,"ĠOriginally":25842,"antage":25843,"ĠHans":25844,"Ġtimeline":25845,".cur":25846,"opic":25847,"ĠSequ":25848,"must":25849,"ĠCoal":25850,"Ġformatter":25851,"_RGB":25852,"Ġ_(\"":25853,"'}),Ċ":25854,"Ġ=================":25855,"ĠFUNCTION":25856,"Ġlng":25857,"icates":25858,"live":25859,"_engine":25860,"Ġtowns":25861,"868":25862,"'))ĊĊ":25863,"ĠPK":25864,"(api":25865,"ĉscanf":25866,"089":25867,"packet":25868,".phone":25869,"áĢ":25870,"ĠAndy":25871,"_NAMES":25872,"982":25873,"PLY":25874,"955":25875,"Ġmins":25876,"imi":25877,"Ġbrick":25878,"Ġblade":25879,".stdout":25880,"}`;Ċ":25881,"Shift":25882,"ĉsb":25883,"ĠChecks":25884,"Ġphenomenon":25885,"Avatar":25886,"Ġministry":25887,"rose":25888,"ĉFile":25889,"878":25890,"Ġtitled":25891,"(LOG":25892,"Ġgan":25893,"design":25894,"(),čĊ":25895,"Ġbones":25896,"stm":25897,"ÅĽÄĩ":25898,"ĠInputStream":25899,"Ġvolunt":25900,"ĠSerializable":25901,"Ġfighter":25902,"ĠDrag":25903,"Twitter":25904,"Ġsubsid":25905,"ç¼":25906,"Ġforums":25907,".loading":25908,"logged":25909,"_this":25910,"Ġterrain":25911,"Ġirre":25912,"ĠIng":25913,"ĠCN":25914,"_objects":25915,".uid":25916,"Ġconsciousness":25917,"TINGS":25918,"ĠGall":25919,"Ġportray":25920,"056":25921,"ĠDeveloper":25922,"Ġparticipant":25923,"Ġ\";čĊ":25924,"/model":25925,"794":25926,"ĠOperations":25927,"^\\":25928,"ĠLater":25929,"Ġraises":25930,"-none":25931,".meta":25932,"='.$":25933,"Finished":25934,"Ġreplacing":25935,"Ġsampling":25936,"ĠJen":25937,"\"There":25938,"REAL":25939,"ALE":25940,"ìĬ¤":25941,"Orders":25942,"_parameter":25943,"ĠOlympic":25944,"Ġtrès":25945,"Ġarena":25946,"iol":25947,";?>":25948,"Ġimpacts":25949,"ĠWS":25950,":get":25951,"Ġflights":25952,"ĠRussell":25953,"camera":25954,"Fn":25955,"sigma":25956,"Ġforcing":25957,"Ġlocals":25958,"Ġdeparture":25959,"Ġcelebration":25960,"ĠSay":25961,"884":25962,"ï¼Ĵ":25963,"ĠHills":25964,".hasOwnProperty":25965,"Ġtypings":25966,".API":25967,"Ġdonation":25968,"OperationException":25969,".Activity":25970,"cplusplus":25971,"ĠCharlie":25972,"Ġimported":25973,"Ġdann":25974,"Ġoccasions":25975,"Ġimplementing":25976,"Ġpurple":25977,".dialog":25978,"SQLException":25979,"erno":25980,"Ġwars":25981,"Ġpaste":25982,"Ġdecreased":25983,"Ġharsh":25984,"Ġelabor":25985,"inputs":25986,"ĠViews":25987,"ĠerrorMessage":25988,"_mul":25989,"ĉwrite":25990,"ĠCop":25991,"ĠAnnual":25992,"(button":25993,"Ġvida":25994,"bars":25995,"ĠHarvard":25996,"ĉexpect":25997,"Ġindexes":25998,"Ġdocumentary":25999,"Ġflesh":26000,"ORLD":26001,"ĠDelta":26002,"MAND":26003,"Brush":26004,"-column":26005,"Ġdevelopments":26006,"974":26007,"783":26008,"methodVisitor":26009,"slice":26010,"ĠPDO":26011,"Ġinvesting":26012,"867":26013,"irable":26014,"Ġxmlns":26015,"ï¼Ľ":26016,"arta":26017,"Ġtheories":26018,"_city":26019,"Ġ$__":26020,"Creating":26021,"(pr":26022,"Dropdown":26023,"ismatch":26024,"ĠNET":26025,"926":26026,"'])){Ċ":26027,"ĠValues":26028,"ĠSEO":26029,"ĠSTAT":26030,"Ġecosystem":26031,"Ġtempt":26032,"Ġ\\\\":26033,"Ġ//{Ċ":26034,"ĠChristopher":26035,"ĠKentucky":26036,"ĠHttpServletResponse":26037,"Ġhybrid":26038,"yon":26039,"Ġfeeding":26040,"ĠExtra":26041,"Norm":26042,"ITCH":26043,"ĠSean":26044,"ĠUpload":26045,"mun":26046,"pur":26047,"Ġpersistent":26048,"ĠIDC":26049,"ĠPerform":26050,"863":26051,".merge":26052,"_room":26053,"Meanwhile":26054,"!='":26055,"ĠWel":26056,"ArgsConstructor":26057,"887":26058,".Database":26059,"Ġcounting":26060,"()*":26061,"ĶåĽŀ":26062,"ĠTOP":26063,"mill":26064,"ĠDT":26065,"IGNED":26066,"956":26067,"ĠKB":26068,"Ġcomply":26069,"South":26070,"_collection":26071,"Chapter":26072,"Ġexplaining":26073,"_AM":26074,"_ts":26075,"cards":26076,"Ġquel":26077,"Ġpole":26078,"Ġtouchdown":26079,"ĠOthers":26080,"Ġpeers":26081,"ĠTypeError":26082,"763":26083,"Ġsixth":26084,"Ġcheer":26085,"Ġdispute":26086,"963":26087,"893":26088,"usc":26089,")],":26090,"thumb":26091,"Ġhiding":26092,"ĠSIG":26093,"likes":26094,"ĠPAGE":26095,".Reflection":26096,"Ġheadquarters":26097,"TING":26098,"ĠGhost":26099,"MLE":26100,"$Ċ":26101,"Ġcontrary":26102,"extend":26103,"']).":26104,"FFECT":26105,"ĠPinterest":26106,"úmero":26107,"ricane":26108,"ĉsession":26109,"Ġcrystal":26110,"-Control":26111,"overnment":26112,"ograf":26113,"961":26114,"-action":26115,"volume":26116,"ften":26117,"Ġuncon":26118,"Ġanimate":26119,"Ġlease":26120,"scr":26121,"Ġrefuse":26122,"ãĢĭ":26123,"ftp":26124,"information":26125,"Ġevaluated":26126,"Ġinjection":26127,"Ġjack":26128,"Ġworkshop":26129,"注":26130,"PTH":26131,"ĠTs":26132,"offer":26133,"ĉos":26134,"Ġkingdom":26135,"Missing":26136,"Ġlawmakers":26137,"extField":26138,"Ġsinging":26139,"abi":26140,"/client":26141,".media":26142,"ATEGORY":26143,"Signature":26144,"%',Ċ":26145,"ĠFuck":26146,"][:":26147,"Ġsensors":26148,"/com":26149,"ĠPrimary":26150,".SQL":26151,"_program":26152,"Ġpills":26153,"Ġintegral":26154,"Ġfleet":26155,"Ġdropping":26156,".sl":26157,"Been":26158,"Ġpets":26159,"Ġadvised":26160,"Ġdragon":26161,"_EDIT":26162,"(im":26163,"939":26164,"FER":26165,"ĠDrug":26166,"(random":26167,"Ġcompression":26168,"oust":26169,"[%":26170,"Ġbuyer":26171,"hop":26172,"Roles":26173,"manage":26174,"Ġpainful":26175,"ĠBranch":26176,"-modal":26177,"enant":26178,"ĠMesh":26179,"/font":26180,"ĠGraham":26181,"Ġâĺ":26182,"Ġnc":26183,"ĠFrancis":26184,"Ġspecification":26185,"Ġdamages":26186,"-config":26187,"Ġtheoret":26188,"secure":26189,"_multi":26190,"aceutical":26191,"Ġdemanding":26192,"enne":26193,"ISTS":26194,"094":26195,"()));ĊĊ":26196,"Reason":26197,"Recent":26198,"phase":26199,"Ġpsy":26200,"_MAN":26201,"Ġvolunteer":26202,"å¿":26203,"istributed":26204,"lio":26205,"Ġproductivity":26206,"_comm":26207,"Spring":26208,"nis":26209,".weight":26210,"ĠCancer":26211,"Alloc":26212,"ĠTweet":26213,"Ġseparately":26214,"ĉcheck":26215,"_properties":26216,".Unit":26217,"829":26218,"_CLK":26219,"Ġgt":26220,"Ġ();ĊĊ":26221,"Ġhandy":26222,"834":26223,"ĠThompson":26224,"Ġunnecessary":26225,"ĠReader":26226,"894":26227,"GN":26228,"=request":26229,"ĠUtility":26230,".Repository":26231,"ĠAx":26232,"hydr":26233,"791":26234,"ieu":26235,"Ġthy":26236,"Ġlt":26237,"_mail":26238,"ä¿®æĶ¹":26239,"ailand":26240,"ĠPhilip":26241,"Ġbitter":26242,"Ġbetting":26243,"837":26244,"Ġtimed":26245,"ocks":26246,"076":26247,"'a":26248,"Ġalgorithms":26249,"Ġreinterpret":26250,"Ġtoss":26251,"rogen":26252,"Ġhoped":26253,"(selected":26254,"Ġventure":26255,"TEX":26256,"ĠLeave":26257,".Substring":26258,"Ġgrateful":26259,"743":26260,"uka":26261,"ĠConsumer":26262,"Ġaggreg":26263,"Circle":26264,"à¸ģ":26265,"_blocks":26266,"Ġlegally":26267,"Ġ\"|":26268,"ãĥĥ":26269,".board":26270,".Ab":26271,"Functions":26272,"recipe":26273,"èĩ":26274,"ĠOxford":26275,"Ġwholes":26276,".Build":26277,"_changed":26278,"hai":26279,"Ġdepartments":26280,"964":26281,"Imp":26282,"Ġcoalition":26283,"INFRINGEMENT":26284,"Ġempower":26285,"itches":26286,"North":26287,"Ġinflamm":26288,"ONSE":26289,"Ġmissile":26290,"ĠRaj":26291,"ĠIssue":26292,"Ġatoi":26293,"caled":26294,".Controllers":26295,"ĠWolf":26296,"Ġcrushers":26297,"á»ĩ":26298,".Auth":26299,".addAttribute":26300,"his":26301,"Ġboots":26302,".clean":26303,"camp":26304,"Ġtenant":26305,"Ġtune":26306,"Ġ{}'.":26307,"Ġworkout":26308,"Repo":26309,"Ġpartially":26310,"MISSION":26311,"jamin":26312,"ĠSB":26313,"Ġdetermination":26314,"Ġ'');Ċ":26315,"ĠBeng":26316,"Ġvos":26317,"Ġinhab":26318,"/lang":26319,"sburgh":26320,"Executor":26321,"hone":26322,"ĠChallenge":26323,"_links":26324,".Level":26325,"Ġunderground":26326,"-code":26327,"959":26328,"Ġoptimization":26329,"logging":26330,"_dest":26331,"Ġsnake":26332,"Ġchemicals":26333,"_IMPORTED":26334,"adoop":26335,"ĠTHAT":26336,"managed":26337,"Ġreduces":26338,"ĠREAL":26339,"ĠGuy":26340,"_GENERIC":26341,"/********************************":26342,".amount":26343,"Ġdere":26344,"getTime":26345,"Ġpant":26346,"anonymous":26347,"Ġharmony":26348,"ĠAlan":26349,"Ġscenarios":26350,"Ġdirt":26351,"htags":26352,"Mc":26353,"Shell":26354,"rin":26355,"{čĊčĊ":26356,".pow":26357,"ĉclient":26358,"Ġconspiracy":26359,"Ġadmission":26360,"ĠRegional":26361,"ĠViewController":26362,"ĠPhilippines":26363,"Ġdepos":26364,"Ġpap":26365,"962":26366,"ĠPad":26367,"Paul":26368,".ComboBox":26369,"Ġtutor":26370,"ĠRecipe":26371,"writing":26372,"Ġcontributor":26373,"OTH":26374,"Small":26375,"VI":26376,"Ġhacer":26377,"equ":26378,"ĠExamples":26379,"human":26380,".messages":26381,"ĉtyp":26382,"Ġ(čĊ":26383,"ĠSSL":26384,"LEN":26385,"ĠRomney":26386,"(grid":26387,"ĉmin":26388,"Ġ>ĊĊ":26389,"Ġfruits":26390,"Ġvoter":26391,"Inline":26392,"pane":26393,"ĠCollections":26394,"charset":26395,"Ġspam":26396,"zb":26397,"itemap":26398,"Ġsucceeded":26399,"_COL":26400,"Ġelapsed":26401,"imeter":26402,"Ġrecovered":26403,"Tensor":26404,"hattan":26405,".setup":26406,"isto":26407,"(head":26408,"977":26409,"ĠSIZE":26410,"Ġtactics":26411,"Ġdistur":26412,"Ġpreval":26413,"icios":26414,"(Value":26415,"_cols":26416,"ĠFat":26417,"Ġseal":26418,"Ġsons":26419,"Ġensures":26420,"095":26421,"Ġpressing":26422,"=&":26423,"igenous":26424,"Ġharassment":26425,"_JSON":26426,"Ġignor":26427,"ynomial":26428,"omer":26429,"_static":26430,"Ġsignificance":26431,"Ġcircles":26432,"_System":26433,"Ġdiscipline":26434,"Ġdressed":26435,"Ġsphere":26436,"927":26437,"Ġclimb":26438,"759":26439,"_actions":26440,"ĠBab":26441,"Ġ'=',":26442,"_schema":26443,"\"use":26444,"Ġunders":26445,"Ġcups":26446,".screen":26447,"/new":26448,"Ġappearing":26449,"TOP":26450,"vised":26451,"clang":26452,"Ġinvestigators":26453,"Ġmysterious":26454,"Ġpromising":26455,"Ġqualify":26456,"Ġcave":26457,"Ġequip":26458,"=x":26459,"GT":26460,"(link":26461,".velocity":26462,".erase":26463,"oter":26464,"++++++++":26465,"profit":26466,"Ġzones":26467,"_uid":26468,"-ser":26469,"Ġobjectives":26470,"Ġmilf":26471,"webkit":26472,"(match":26473,"neh":26474,"ĠAssociated":26475,"ĠTodo":26476,"=d":26477,"065":26478,"Cam":26479,"Ġvocal":26480,"Ġsudo":26481,"(EX":26482,"Ġtrou":26483,"ABC":26484,".bean":26485,"ĠGround":26486,"ĠREST":26487,"weets":26488,"Ing":26489,"imon":26490,"946":26491,"_bus":26492,"ĠCOLOR":26493,"unto":26494,"Ġfoss":26495,"ĠLinks":26496,"869":26497,"äng":26498,"/forms":26499,"prises":26500,"Ġachievement":26501,"CALL":26502,"елÑĮ":26503,"ĠVerify":26504,"_SOURCE":26505,"aptcha":26506,"IDD":26507,"_reference":26508,"Gold":26509,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":26510,"947":26511,"Receiver":26512,"099":26513,"Ġaj":26514,"_direction":26515,"}]":26516,"ĠCompet":26517,"Ġbang":26518,"798":26519,"ĠCass":26520,"-url":26521,"techn":26522,"ĠJerusalem":26523,"longitude":26524,"');čĊčĊ":26525,"Ġwinners":26526,"Tasks":26527,"ĠDMA":26528,"Ġtooltip":26529,"İ·":26530,"ĠBra":26531,"_duration":26532,"cury":26533,"parents":26534,"---->(":26607,"ĠKir":26608,"Ġintros":26609,"Ġsketch":26610,"Ġskilled":26611,"Ġimmer":26612,"Ġadequate":26613,"_rep":26614,"(header":26615,"_like":26616,"Ġperceived":26617,"ssh":26618,"Ġassuming":26619,"Ġff":26620,"_uuid":26621,"ulas":26622,"Ġdemocratic":26623,".entities":26624,"Series":26625,"aphore":26626,"Ġnewer":26627,"}(":26628,"SEC":26629,"airo":26630,"Ġcommod":26631,"Ġprivilege":26632,"Ġdeux":26633,"ĠHop":26634,".'/":26635,"ctic":26636,".';Ċ":26637,"C":26712,"ĠWarren":26713,"Ġoptimizer":26714,"ĠSERVICES":26715,"_oper":26716,"getAttribute":26717,"ĠMcK":26718,"_self":26719,"084":26720,".rs":26721,"\")ĊĊĊ":26722,"GetComponent":26723,"erce":26724,"Ġtous":26725,"units":26726,"']);čĊ":26727,"Zoom":26728,"/E":26729,"Ġobsc":26730,"Ġfastest":26731,"online":26732,"Ġpeaceful":26733,"ffen":26734,"Ġcargo":26735,"ĉpr":26736,"Ġseeks":26737,"zu":26738,"074":26739,"Trim":26740,"Ġward":26741,"Ġverd":26742,"Ġblogs":26743,".exceptions":26744,"ĠPremium":26745,"ĠNetherlands":26746,"Safe":26747,"Finish":26748,"ĠAlbum":26749,"_ACC":26750,"=this":26751,"virtual":26752,"]>":26753,"_LABEL":26754,"ĠNich":26755,"_win":26756,"ĠAaron":26757,"WP":26758,";$":26759,"aims":26760,"ĠImageView":26761,"Ġendless":26762,"ERA":26763,"_DISABLE":26764,"Ġcancelled":26765,"-us":26766,"Ġinspection":26767,"emin":26768,"ĠGrey":26769,"-open":26770,"Ġiterations":26771,".owner":26772,"Ġkeras":26773,".Password":26774,"ĠRy":26775,"ĠINS":26776,"Air":26777,"ĠSeveral":26778,".TabStop":26779,"INGLE":26780,"ĠHair":26781,"ĠCanvas":26782,"AAAA":26783,"Ġflaw":26784,"cedes":26785,".Report":26786,"íĬ":26787,"ĠTips":26788,"criptors":26789,".transaction":26790,".Spring":26791,"Ġviewer":26792,"Ġinsights":26793,"è¾ĵ":26794,"ordion":26795,"UINT":26796,"seek":26797,"ĠAuf":26798,"ìŀIJ":26799,"Ġstrain":26800,"Tooltip":26801,"Ġdz":26802,"ignal":26803,"adt":26804,"Ġuc":26805,"finite":26806,"Ġnm":26807,".cmd":26808,"ĠMySql":26809,"[data":26810,".jackson":26811,".tree":26812,"RequestParam":26813,"_agent":26814,"\")]čĊ":26815,"Ġassass":26816,"(Constants":26817,":ss":26818,"ĠMAN":26819,"+-+-":26820,"ĠBottom":26821,"prints":26822,"ĠSame":26823,"@Autowired":26824,"swap":26825,"ición":26826,"Ġprotesters":26827,"Ġhoney":26828,"ĠVeter":26829,"(Calendar":26830,"-ad":26831,"ĠBrooklyn":26832,"Life":26833,"_VAR":26834,"zech":26835,"ĠCALL":26836,"_CAST":26837,"ĠElection":26838,"Ġthickness":26839,"Very":26840,"_INTEGER":26841,"-dev":26842,"))))":26843,"apat":26844,"oooo":26845,"demo":26846,"ĠparseFloat":26847,"ĠRather":26848,"STIT":26849,"maker":26850,"[current":26851,"chrono":26852,"Ġchrist":26853,"ãģª":26854,"ĠDetail":26855,"Æ°á»":26856,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":26857,"Ġsul":26858,"idency":26859,"Que":26860,"Ġelegant":26861,"apons":26862,"Ġdishes":26863,"Ġintegers":26864,"(read":26865,"057":26866,"findViewById":26867,"ĠAmount":26868,"ĠSkip":26869,"Ġhabits":26870,"*)(":26871,"Ġmonsters":26872,"MAC":26873,":end":26874,"Ġfrank":26875,"Assembly":26876,"Ġdfs":26877,"Ġneut":26878,"_TYPES":26879,"equal":26880,"loyd":26881,"(uri":26882,"Ġchi":26883,"Ġdefendant":26884,"Ġconflicts":26885,"Ġvil":26886,"-js":26887,"ĠPeace":26888,"Ġmutable":26889,")sender":26890,"ĠFocus":26891,"建":26892,"Ġappreciated":26893,"sleep":26894,"ĠRED":26895,"Culture":26896,"Ġdesigners":26897,"_generator":26898,"codes":26899,"/ex":26900,".GetValue":26901,"umbled":26902,".scalajs":26903,"peror":26904,"Ġveterans":26905,"Ġ})čĊ":26906,"Ġunfortunately":26907,"_CREATE":26908,"Mass":26909,"ĠCLAIM":26910,"ĠMeet":26911,"_support":26912,"Bank":26913,"().Ċ":26914,"Dark":26915,"_LOW":26916,"ĠMining":26917,"ĠOwner":26918,"iera":26919,"Cliente":26920,"Ġencouraging":26921,">S":26922,"Ġboyfriend":26923,"ĠHalf":26924,"ĠACC":26925,"Aff":26926,"_ar":26927,"-life":26928,"cx":26929,".JButton":26930,"izado":26931,".zero":26932,".openqa":26933,"oton":26934,".textContent":26935,"Ġtoll":26936,"atie":26937,"Ġballot":26938,"-number":26939,".Exception":26940,"ĉparams":26941,"circle":26942,"-map":26943,"Ġnap":26944,"ĠRobot":26945,"ĠIch":26946,"registration":26947,"Amazon":26948,"rollment":26949,"(exp":26950,"Ġtanks":26951,"ĠGordon":26952,"Ġmachinery":26953,"Ġbaseline":26954,"æĭ":26955,"086":26956,"Ø©":26957,"ĠConvention":26958,"ĉconfig":26959,"ookies":26960,"mult":26961,"Records":26962,"ĠEST":26963,"Ġgarbage":26964,"Ġconform":26965,"idal":26966,"Ġbarg":26967,"Ġsurvived":26968,"Ġinvestigations":26969,"935":26970,".containsKey":26971,"--------------------------------------------------------------------------Ċ":26972,"ortion":26973,"Ġhorr":26974,"_http":26975,"Ġmant":26976,"];čĊčĊ":26977,"binary":26978,"948":26979,"empl":26980,"Ġinquiry":26981,"ĠMeanwhile":26982,"098":26983,"Ġcollecting":26984,".EntityFramework":26985,"\",ĊĊ":26986,"ĠPic":26987,"@Inject":26988,"ickness":26989,"ĠBinding":26990,"Ġcontrolling":26991,"reverse":26992,"Ġchairs":26993,"sembled":26994,"(add":26995,"Disabled":26996,"anas":26997,".translate":26998,"-----------Ċ":26999,"Ġreflected":27000,"\"]ĊĊ":27001,"External":27002,"Arrow":27003,"Singleton":27004,"%x":27005,"ĠÅ":27006,"Ġancest":27007,"ĠOrleans":27008,"ĉcmd":27009,"Ġprohibited":27010,"ithmetic":27011,"(channel":27012,"_css":27013,"Forward":27014,".socket":27015,"Ġluc":27016,"âĨ":27017,"ĠFirefox":27018,"ĠMovies":27019,")_":27020,".ends":27021,"(shape":27022,"Ġdealt":27023,"Ġsaves":27024,"Ġglory":27025,"Ġmejor":27026,"Ġbreathing":27027,"Ġeller":27028,"getData":27029,"Ġangles":27030,"Ġtoolbar":27031,"Ġspacing":27032,"059":27033,"IPS":27034,"Ġfloors":27035,"_ACTIVE":27036,"Ġshuffle":27037,"/shared":27038,"ĠEle":27039,"edish":27040,"Ġwebcam":27041,".expect":27042,"iloc":27043,"ĠIncludes":27044,"Ġtweeted":27045,"Ġ:)":27046,"ĠEssay":27047,"Fix":27048,"-between":27049,"_web":27050,".conv":27051,"Ġracism":27052,"Ġreflects":27053,"umm":27054,"иÑĤе":27055,"_footer":27056,"/docs":27057,"ĠPour":27058,"NgModule":27059,".initialize":27060,"patterns":27061,"_In":27062,"ĠAbb":27063,"*čĊ":27064,"Ġsentiment":27065,"buff":27066,"_counts":27067,"Ġreuse":27068,"chunk":27069,"Ġimposed":27070,"PrimaryKey":27071,"Foreground":27072,"Ġconsumed":27073,"?!":27074,"Ġdick":27075,"Ġchron":27076,"ĠFern":27077,"Ġresponsive":27078,"958":27079,"Ġinsect":27080,"iculty":27081,"Ġrw":27082,"Ġalike":27083,"Ġsubset":27084,"ĠCookies":27085,"ĠPair":27086,"Ġtier":27087,"IFO":27088,"avour":27089,"ĠQU":27090,",sizeof":27091,"Ġmerged":27092,"mv":27093,"itol":27094,"ylon":27095,"Ġjumped":27096,".role":27097,"ensaje":27098,"Rules":27099,"Ġbrowse":27100,"Animator":27101,"Ġyoga":27102,"Ġvariants":27103,"Ġcourtesy":27104,"uran":27105,"pbs":27106,"elseif":27107,"Alt":27108,"ĠLane":27109,"CLK":27110,"IMARY":27111,"_PROPERTY":27112,"ï¼IJ":27113,"Ġchan":27114,"Ġgradually":27115,"Ġshake":27116,"Ġblonde":27117,"...\");Ċ":27118,"-sex":27119,"Ġgameplay":27120,"acies":27121,".refresh":27122,"USB":27123,"ĠPlot":27124,"Was":27125,"issippi":27126,"ĠTensor":27127,"Ġcryptocurrency":27128,"Ġdifficulties":27129,"Deleted":27130,"Without":27131,"_append":27132,"_ver":27133,"967":27134,"\"))čĊ":27135,"Ġhonestly":27136,"Ġpivot":27137,"Ġtemps":27138,"_ps":27139,"ĠUnlike":27140,"[:-":27141,"VS":27142,"_inf":27143,"Ġjunior":27144,"Ġanimations":27145,"Ġfilepath":27146,"?{{$":27168,"Ġunicode":27169,"places":27170,"ĠCoffee":27171,".SE":27172,"ĠPAR":27173,"(txt":27174,"gebra":27175,"Ġfires":27176,"MainWindow":27177,"medium":27178,"Ġ(âĢľ":27179,"Ġlg":27180,"Ġcmp":27181,"/base":27182,"_layers":27183,"_entries":27184,"Ġadminister":27185,"ĠSUCH":27186,"BP":27187,"ĠScottish":27188,"ĉčĊĉčĊ":27189,"guard":27190,"ĠStrong":27191,"Insn":27192,"ĠCAP":27193,"asury":27194,"ĠSEE":27195,"Clock":27196,"erie":27197,"\\models":27198,"Ġ$$":27199,"ĠCab":27200,"Ġwurde":27201,"Ġsoldier":27202,"Ġclips":27203,"Ġarrangement":27204,"ĠWonder":27205,"ĠHorn":27206,"Ġscared":27207,"Ġcure":27208,"mkdir":27209,"Ġaligned":27210,"ĠPink":27211,"Ġlanded":27212,"Dimension":27213,"ScrollPane":27214,".chat":27215,".With":27216,"ĠTrain":27217,"].Ċ":27218,"Ġthirty":27219,"Ġdurable":27220,"Ġld":27221,"Ġlateinit":27222,"Ġcharts":27223,"Ġinsult":27224,".Fatal":27225,"_ct":27226,"Ġmasks":27227,"CLUDED":27228,"President":27229,"Ġcolours":27230,"gments":27231,".attributes":27232,"ĠFlex":27233,"ĠClock":27234,"ÃŃcul":27235,"imen":27236,"JO":27237,"ĠRegex":27238,"_LINK":27239,"Ġcouch":27240,"ĠINPUT":27241,"Ġbeating":27242,"business":27243,"preced":27244,".unit":27245,"ĠFel":27246,"Never":27247,"ospel":27248,".startswith":27249,"ĠEPA":27250,".only":27251,"Ġpreventing":27252,"yer":27253,"ColumnName":27254,"Ġelevation":27255,"flu":27256,"icycle":27257,"Ġoffline":27258,"Toolbar":27259,"Ġcompeting":27260,")].":27261,"Ġmog":27262,"ĠisValid":27263,"Ask":27264,"_av":27265,"_lat":27266,"ANC":27267,"ĠJoh":27268,"kers":27269,"Ġguards":27270,"Ġchains":27271,"ĠSimpleDateFormat":27272,".static":27273,"Ġvessel":27274,"Ġmud":27275,"Ġstabil":27276,"Ġstret":27277,"gm":27278,"amation":27279,"çľ":27280,"-with":27281,"Ġros":27282,"_PA":27283,"Ġresultado":27284,"Ġconfidential":27285,"ĠTokyo":27286,"ĉusing":27287,"ĠMathf":27288,"ombine":27289,"ĠESPN":27290,"Ġdealers":27291,"Ġdismissed":27292,"TRY":27293,"Ġteens":27294,"records":27295,"Ġwings":27296,"gallery":27297,"accounts":27298,"_LIB":27299,"Ġjacket":27300,"ĠNSObject":27301,"Ġstones":27302,"ĠDelivery":27303,"ĠDiet":27304,"/watch":27305,"Ġtoilet":27306,"ĠGuest":27307,".day":27308,"067":27309,"Ġintval":27310,"087":27311,"Visit":27312,"Ġinvestigated":27313,"Ġpentru":27314,"ĠTheatre":27315,"andidates":27316,"Lang":27317,"ĠServ":27318,"Ġcontrollers":27319,"ĠsetTitle":27320,"NP":27321,"amy":27322,"flat":27323,"(ui":27324,"069":27325,"_document":27326,"èĥ½":27327,"ĠCoin":27328,"ĠAdams":27329,"ptic":27330,"Ġproductive":27331,"Ġaccomplished":27332,"čĊčĊčĊčĊ":27333,"Ġdeferred":27334,"ientes":27335,"Ġsinc":27336,"olars":27337,"Rightarrow":27338,"Ġvariations":27339,"(offset":27340,"957":27341,".LayoutInflater":27342,"Ġsuspend":27343,"Ġprevention":27344,"_private":27345,"_js":27346,"âĺħ":27347,"Ġwieder":27348,"atum":27349,"ĴĮ":27350,"Ġappearances":27351,".Document":27352,"Ġvalidates":27353,"calendar":27354,"}\";Ċ":27355,".demo":27356,"conut":27357,"Ġcorrection":27358,"ĠDeal":27359,"Ġbatteries":27360,".duration":27361,",\\":27362,"_marker":27363,"multi":27364,"Ġhalt":27365,"Ġcms":27366,"Ġshaped":27367,"Bro":27368,"reduce":27369,"Ġ####":27370,"CTOR":27371,"ĠBenef":27372,"Ġiconic":27373,"Ġpiano":27374,"Ġeffectiveness":27375,"|.Ċ":27376,"Ġajax":27377,"Ġvolumes":27378,"ม":27379,"Ġcljs":27380,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":27381,"aths":27382,"raits":27383,"大":27384,"Ñĸ":27385,"_mult":27386,"Ġfascinating":27387,"Average":27388,"Ġpré":27389,"ĠChairman":27390,".findElement":27391,"_pin":27392,"Ġcomparing":27393,"Ġdarkness":27394,"-Fi":27395,"-server":27396,"Ġselecting":27397,"sterdam":27398,"ĠParts":27399,"FORMATION":27400,"Ġnoting":27401,"Ġpile":27402,"ogs":27403,"Ġpalette":27404,"_do":27405,"itize":27406,"079":27407,"()(":27408,"Ġdefining":27409,"Ġremainder":27410,"Units":27411,"_TASK":27412,"HttpClient":27413,"Social":27414,"Ġfundra":27415,"NR":27416,"chest":27417,"Currency":27418,".adapter":27419,"Ġdop":27420,"unting":27421,"ANGUAGE":27422,"\"He":27423,"ĉindex":27424,"_package":27425,".Icon":27426,"Ġrepet":27427,"mass":27428,"=\".$":27429,"ĠSud":27430,"Ġlid":27431,"province":27432,"ìľ":27433,"GPIO":27434,"Ðļ":27435,"ĠMySQL":27436,"Ġdocs":27437,"ĠGA":27438,"Ġipsum":27439,"Kernel":27440,"Ġaccepts":27441,"Ġfitting":27442,"Ġcuando":27443,"Ġduplic":27444,"ĠBrother":27445,"ĠKle":27446,"nums":27447,"Ġmorph":27448,"Ġ########":27449,"ĠCGPoint":27450,"manual":27765,"ĠTechnical":27766,"Ġcorporation":27767,"ĠHW":27768,"anka":27769,"TAIL":27770,"istas":27771,"Ġperforms":27772,"ĠBehavior":27773,".For":27774,"_ORDER":27775,"ĠKick":27776,"Ġcallbacks":27777,"_dr":27778,"uego":27779,"hub":27780,"ufficient":27781,"sky":27782,"Ġbp":27783,"htable":27784,"ĠONLY":27785,"ĠAUTHORS":27786,".Argument":27787,"\"};Ċ":27788,"ĠThunder":27789,"ĠKom":27790,".Should":27791,"AUTH":27792,"ahu":27793,"_payment":27794,"Ġstarter":27795,"ìĦľ":27796,"ìļ©":27797,"Blog":27798,".patch":27799,"Ġgoverned":27800,"assy":27801,"-found":27802,"Ġtheater":27803,"ĠFontWeight":27804,"ĠBatman":27805,"\"If":27806,".Random":27807,"_delta":27808,"ĠCE":27809,"Authenticated":27810,"Ġdrone":27811,"Ġcous":27812,"radius":27813,"Mer":27814,"(None":27815,"ĠNJ":27816,"_headers":27817,"Ġamer":27818,"pytest":27819,"ĠActions":27820,"ĉĉĉĠĠĠĠ":27821,"Ġett":27822,"Ġholy":27823,"Ġuncomfort":27824,"ĠNin":27825,"ĠDecimal":27826,"ĠMessages":27827,".sender":27828,"]])Ċ":27829,"Ġembrace":27830,"Though":27831,"/sp":27832,"Ġcultures":27833,"Ġhighway":27834,"tar":27835,".fail":27836,"_hidden":27837,"ĠcomponentDidMount":27838,"ĠWright":27839,"Ġjag":27840,"_il":27841,"../../../":27842,"igu":27843,"Food":27844,"Ġace":27845,"Ġaños":27846,"USD":27847,"Ġmutual":27848,"Logic":27849,"Ġtemple":27850,"Ġbriefly":27851,"ĠTrip":27852,"classmethod":27853,"defaults":27854,"Ġchunks":27855,",,,,":27856,"ĠReason":27857,"$id":27858,"-ups":27859,"Ġdamn":27860,"Ġtrucks":27861,"Ġunlimited":27862,"Ġsculpt":27863,"ĠCards":27864,"Ġautor":27865,"ĠTesting":27866,"Ġdiese":27867,"shops":27868,"ç´":27869,"(payload":27870,"ĠPATH":27871,"ĠMemorial":27872,"Ġridiculous":27873,"egree":27874,"-winning":27875,"Ġrehab":27876,"Ġsophisticated":27877,"wpdb":27878,"ĉpath":27879,"!\";Ċ":27880,"_SYS":27881,".speed":27882,"Ġsoap":27883,"suffix":27884,"Wrap":27885,"Ġenhancement":27886,"Ãī":27887,"úb":27888,"Ġplaylist":27889,"Ġmixing":27890,"antidad":27891,"=\"\";Ċ":27892,"ĠRevision":27893,"ĠBeat":27894,".inc":27895,"-way":27896,"encias":27897,"ulers":27898,"Cat":27899,"idel":27900,"ĠShip":27901,".setColor":27902,"Ġthreatening":27903,".modules":27904,"Ġafterwards":27905,"ĠDashboard":27906,"ĊĠĊ":27907,"Signal":27908,"Ġprimer":27909,"orneys":27910,"iciary":27911,"Ġligne":27912,"_predict":27913,"Ġaest":27914,"_https":27915,">:":27916,"ĠLex":27917,"Ġrencontres":27918,"egral":27919,"scala":27920,"_family":27921,"ÃŁen":27922,"_sym":27923,"Ġuncertainty":27924,"ĠVALUE":27925,"Ġ};čĊčĊ":27926,"Ġbroader":27927,"Ġhorses":27928,"ãģĿ":27929,"ĠKal":27930,"oba":27931,"_INET":27932,"ĠKill":27933,"jquery":27934,"amination":27935,"[@\"":27936,"Ġmuj":27937,"###Ċ":27938,"FirstOrDefault":27939,"thenReturn":27940,"Che":27941,"/footer":27942,"Ġparks":27943,"asje":27944,"ĠGulf":27945,"Ġmodest":27946,".Init":27947,"ï¼ŁĊĊ":27948,"Ġprospects":27949,"Ġsvg":27950,"Ġåı":27951,".Dialog":27952,"_NET":27953,"Ġ(($":27954,"Ġek":27955,"ĠWarning":27956,"ĠMK":27957,"":28265,"ĠRepair":28266,"_BE":28267,"Brand":28268,"uart":28269,"preview":28270,"Ġinitiatives":28271,"running":28272,"bang":28273,"ĉupdate":28274,"ĠCoach":28275,"Rich":28276,"Ġyoutube":28277,"Ġritual":28278,"appa":28279,"ĠRobinson":28280,"precision":28281,"////////////////////////////////////////////////////////////////////////////":28282,"=[]Ċ":28283,"Ġcelebrated":28284,"OTO":28285,"Ġinclusion":28286,"JP":28287,"';čĊčĊ":28288,"Ġnotable":28289,"(_.":28290,"Managed":28291,"Ġguides":28292," ":28293,"atedRoute":28294,"ĠAdjust":28295,"Ġcolored":28296,"_scores":28297,"ĠTesla":28298,"_progress":28299,".inst":28300,"['_":28301,".flags":28302,"Ġfclose":28303,"_OPER":28304,"ży":28305,"_note":28306,"Ġtransgender":28307,"åķ":28308,"RIPT":28309,"Ġabsent":28310,"Ġamet":28311,"Ġoperand":28312,"ë©":28313,"Ġhood":28314,"toLowerCase":28315,"avo":28316,"ĠCircuit":28317,"ĠLind":28318,"--}}Ċ":28319,"=m":28320,"Ġsuppress":28321,"ĠMAP":28322,"iang":28323,"-admin":28324,"Ġsidebar":28325,"ĠBu":28326,"ĠHex":28327,",F":28328,"ĠSignal":28329,"Ġtransparency":28330,"ĠFederation":28331,"/V":28332,"Req":28333,"Ġpulse":28334,"Ġtends":28335,"Numbers":28336,"%'":28337,"Ġdeport":28338,"datas":28339,"_UINT":28340,"_tra":28341,"oko":28342,"Ġ\"?":28343,"compet":28344,"solete":28345,"undry":28346,"Ġoverlap":28347,"}`,Ċ":28348,".ly":28349,"_summary":28350,"ĠLost":28351,".Center":28352,"Ġdisability":28353,".Serialization":28354,"Ġgeom":28355,"Ġ?:":28356,"ĠWo":28357,"Ġshipped":28358,"Ĥæķ°":28359,"Ġugly":28360,"Ġexcitement":28361,"Ġexterior":28362,"Ġcheckout":28363,"Ġkur":28364,",D":28365,"ĠAlaska":28366,"Ġsynthetic":28367,"ĠBudget":28368,"ĠSubscribe":28369,"Ġ&Ċ":28370,"ÈĻi":28371,"ĠYu":28372,"ĉquery":28373,"}.Ċ":28374,"Ġtraged":28375,"assen":28376,"Ġaccommodation":28377,"Ġphysician":28378,"Ġrenamed":28379,"Ġtidak":28380,"zÄħ":28381,"Ġminus":28382,"nych":28383,"097":28384,"_EXCEPTION":28385,"threads":28386,"Ġtire":28387,"_created":28388,"ensure":28389,"Ġworthy":28390,"Ġexcuse":28391,"Ġcloth":28392,".parentNode":28393,"/platform":28394,"ĠUFC":28395,"ĠGtk":28396,"unny":28397,"Ġgibt":28398,"keley":28399,"hum":28400,"(tx":28401,"ĉdev":28402,"Ġoutfit":28403,"doors":28404,"Ġfon":28405,"icut":28406,"volatile":28407,"Ġhomosex":28408,"Maximum":28409,"Ġexpend":28410,"Ġ});ĊĊĊ":28411,"Eq":28412,"onders":28413,"department":28414,"ĠPhysics":28415,"\"});Ċ":28416,"Ġparad":28417,".Str":28418,"Ġsele":28419,"IFIED":28420,"Ġdelivers":28421,"ivan":28422,"Ġresponsibilities":28423,"Ġadvocates":28424,"èµ":28425,"ĠRID":28426,".parameters":28427,"Metrics":28428,"ronics":28429,"ĠUITableViewCell":28430,"Absolute":28431,"ipse":28432,"ylum":28433,"MLElement":28434,"_VALID":28435,"\\<^":28630,"Ġios":28631,"sound":28632,"\"];":28633,"Ġfreed":28634,"rottle":28635,"ĠLower":28636,"[count":28637,"åĿ":28638,"Ġpale":28639,"ĠWayne":28640,"earth":28641,"_categories":28642,"UCK":28643,".metadata":28644,"Ġsummon":28645,"HOME":28646,"олÑĮз":28647,"Ġmanufactured":28648,"Ġdock":28649,"Ġcompetitors":28650,"_MODEL":28651,"okia":28652,"ĠHey":28653,"ο":28654,"Ġbackward":28655,"ĠPOSS":28656,"ropa":28657,"Ġcri":28658,"_OBJ":28659,"Transport":28660,"-high":28661,"Ġerotik":28662,"_slot":28663,"Ġartic":28664,"_framework":28665,"-serif":28666,"ĠSqlDbType":28667,"')(":28668,"+\"/":28669,"Ġwore":28670,"Sil":28671,"Ġstoring":28672,"ĠPhase":28673,"uant":28674,"Ġbump":28675,"inho":28676,"Ġdign":28677,"Ġbacks":28678,"qq":28679,"(hash":28680,"Ġgeo":28681,"Ġtender":28682,"Logo":28683,"!)Ċ":28684,"ĠMX":28685,"ĠArthur":28686,"essoa":28687,"_Ch":28688,"Ġbedrooms":28689,"=\"#\"><":28690,"Ġthroat":28691,"insic":28692,".integer":28693,"Ġprimitive":28694,"Truthy":28695,"Ġfacilitate":28696,"Ġcreativity":28697,"ĠDNS":28698,"Ġgra":28699,"uez":28700,"Ġcountless":28701,"ĠPoland":28702,"'M":28703,"ĠDist":28704,"Ġvest":28705,"Ġcertification":28706,"á»ij":28707,"held":28708,"extensions":28709,"(static":28710,"Ġgrades":28711,"ĠUber":28712,"ãģŁ":28713,"Ġ[])Ċ":28714,"datos":28715,"ĠgetData":28716,"ĠCharg":28717,"ĠBS":28718,".microsoft":28719,".video":28720,".direction":28721,"->{'":28722,"lua":28723,"apest":28724,"Ġboiler":28725,"erek":28726,"Ġdecides":28727,".jar":28728,"ISC":28729,"ĠWords":28730,"(CON":28731,"EMPLATE":28732,"reeze":28733,"shots":28734,"apps":28735,"unted":28736,".setName":28737,"::<":28738,"-bold":28739,"ê²":28740,"å¯Ĩ":28741,"Longrightarrow":28742,"Ġunfair":28743,"Ġearning":28744,"Ġshelf":28745,"UREMENT":28746,"Ġidle":28747,"_MENU":28748,".Custom":28749,"AGER":28750,"-\"":28751,"_switch":28752,"because":28753,")view":28754,"mare":28755,"_condition":28756,"ĠStarting":28757,"Mvc":28758,"(pre":28759,"dump":28760,"_LOCK":28761,"atetime":28762,".callback":28763,"ĠCer":28764,"opol":28765,"ibrary":28766,"Ġreservation":28767,"ĉĉĉĉĉĉĉĊ":28768,"lector":28769,"graduate":28770,"Ġgenerous":28771,"Ġion":28772,"ricao":28773,"mq":28774,"_complete":28775,"(cursor":28776,"ĠFormControl":28777,":center":28778,"Ġsubstitute":28779,"ĠPlanning":28780,"Ġpension":28781,"Ġrecommendation":28782,"ĠTags":28783,"Ġgef":28784,"Ġalbums":28785,"Ġwashing":28786,"roc":28787,"Ġtrains":28788,"atings":28789,"Ġexponent":28790,"ackbar":28791,"-ln":28792,"ág":28793,".DataAnnotations":28794,"ĠEIF":28795,"ĠMalaysia":28796,"ĉPORT":28797,"onus":28798,"Ġclever":28799,"Ġpeu":28800,">ĊĊĊĊ":28801,"ĠArguments":28802,"Ġdebugging":28803,"(right":28804,"'D":28805,"compute":28806,"Ġfinest":28807,"ORAGE":28808,"Ġspectacular":28809,"phrase":28810,"Ġindia":28811,"Ġlegendary":28812,"birth":28813,"Ġcomposite":28814,"Ġgrows":28815,"ĠTD":28816,"Ġepid":28817,"Ġlaunching":28818,"]][":28819,"Minutes":28820,"ĠCha":28821,"Ġcleaned":28822,"Ġwitnesses":28823,"ukan":28824,"ĉType":28825,"Ġhabe":28826,"paragraph":28827,"ĠJPanel":28828,"ĠHann":28829,"Ġvaried":28830,"ĠPokemon":28831,"ĠMUST":28832,"åĬ¨":28833,".visibility":28834,"opup":28835,"^[":28836,".expand":28837,"Ġ\"',":28838,".fasterxml":28839,"_auto":28840,"ĠSheet":28841,"marker":28842,"Parcel":28843,"ews":28844,"ĠStrategy":28845,"-making":28846,"Ġunve":28847,"Ġtrailing":28848,"Ġclicks":28849,"ĠGetComponent":28850,"ĉcontent":28851,"IGENCE":28852,"ERNEL":28853,"NSMutableArray":28854,"Ġbreat":28855,"Ġharmful":28856,"¶Ī":28857,"Ġbesides":28858,"Ġboring":28859,"Ġbrutal":28860,"vang":28861,"(parse":28862,"quick":28863,"Ġpytest":28864,"Ġswitching":28865,"()]Ċ":28866,"ĠìĦ":28867,"LER":28868,"ĉfont":28869,"Ġnett":28870,")]ĊĊ":28871,"(/\\":28872,"æŀľ":28873,"toArray":28874,"Ġbreed":28875,"ĠCAR":28876,"ĠWeapon":28877,"Abs":28878,"tot":28879,"ĠsetName":28880,"aptive":28881,"Ġ:,":28882,"Ġescaped":28883,"orden":28884,"ĠPri":28885,"thumbnail":28886,"Ġdescriptions":28887,"/styles":28888,"ĠPCI":28889,"Ġalphabet":28890,"asticsearch":28891,"NOTE":28892,"Ġcialis":28893,"ĠGriff":28894,"Ġporque":28895,"Ġproteins":28896,"plays":28897,"Ġstating":28898,"Ġimagination":28899,"Ġfacial":28900,"ĠMechan":28901,"Ġarranged":28902,"_used":28903,"Ġarrangements":28904,"ĠPipe":28905,"hostname":28906,"Ġprovinc":28907,"Tit":28908,".FlatStyle":28909,"ĠSplit":28910,"ĠLoader":28911,".cc":28912,"Ġclinic":28913,"----------------------------":28914,"Ġbaking":28915,"ĠENT":28916,"neath":28917,"ãĢģĊĊ":28918,"ANE":28919,".EntityFrameworkCore":28920,"appers":28921,".ic":28922,"ĠNgModule":28923,"ĠFORM":28924,"Ġ';":28925,"-profit":28926,"hw":28927,"enemy":28928,"ĠEye":28929,"Ġcaution":28930,"town":28931,"Ġurged":28932,"ĠJimmy":28933,"ynchronous":28934,"-sized":28935,"making":28936,",{":28937,"]',":28938,"_Object":28939,"ahoma":28940,"Ġactivist":28941,"INVAL":28942,"ĠCommercial":28943,"ĠOrlando":28944,"(tab":28945,"Ġب":28946,"Algorithm":28947,"Ġheritage":28948,"GetMapping":28949,"Ġfailures":28950,"rios":28951,"ativa":28952,"Ġtet":28953,"Ġcarpet":28954,"(Z":28955,"three":28956,"Ġdisclosure":28957,".ERROR":28958,"_called":28959,"Ġdial":28960,"Ġoccasional":28961,".Err":28962,"Ġfuncion":28963,"caffold":28964,"Ġreleasing":28965,"ï¼īĊĊ":28966,"_Value":28967,"ĠVari":28968,"yellow":28969,"Ġstruggles":28970,".cal":28971,"ĠDakota":28972,"ĉclose":28973,"Ġsandwich":28974,"Ġanalytics":28975,"Ġ**)":28976,"&#":28977,"ĠJos":28978,"Ġpassive":28979,"ATTR":28980,"Throwable":28981,"ĠMun":28982,"ĠUint":28983,"(disposing":28984,"arak":28985,"ĠLeaders":28986,"Ġaffecting":28987,"ĠitemView":28988,"Ġeconomics":28989,"fv":28990,"à¹Ģ":28991,".rb":28992,"ĠOverall":28993,"Ġwealthy":28994,"Ġevolved":28995,"nda":28996,"ĠHus":28997,"restrict":28998,"umen":28999,"ĠAgricult":29000,"!ĊĊĊ":29001,"Ġexpires":29002,"Ġspokesperson":29003,"interval":29004,"Ġâ":29005,"Ġqueen":29006,"(nil":29007,"ingo":29008,"Heap":29009,"Ùİ":29010,"Ġcomplain":29011,"Sym":29012,"ĠClone":29013,"ĠRu":29014,"ĠWILL":29015,"ĠCrystal":29016,"/content":29017,"ingen":29018,"ointment":29019,"LastName":29020,"avicon":29021,"ĠIBM":29022,"ĠDimension":29023,"anh":29024,"icipants":29025,"ĠAnne":29026,".progress":29027,"Ġalgo":29028,"obil":29029,"ĠVoice":29030,"ĠFE":29031,"Ġgli":29032,"Ġved":29033,"Ġprevents":29034,"\\Column":29035,"Ġfolk":29036,"etti":29037,"Ġmn":29038,"ĠCLASS":29039,"Ġdisplaying":29040,"ĠKl":29041,"ĠFerr":29042,"duto":29043,".ib":29044,"Ġdados":29045,"'name":29046,"-space":29047,"Ġitalian":29048,"Ġinverse":29049,"Ġdense":29050,"uter":29051,"ĠIEnumerator":29052,"-sign":29053,"Ġnationwide":29054,"Ġpersona":29055,"Ġsolved":29056,"Ġdramatically":29057,"Logout":29058,"Ġgrav":29059,"Ġanalyses":29060,"ollo":29061,"Ġlamp":29062,".team":29063,"ĠErot":29064,"=[\"":29065,"Ġdancing":29066,"Ġ?>/":29067,"Ġcater":29068,"ffe":29069,"ĠSha":29070,"ĠBos":29071,"ĠREQUIRE":29072,"ĠMonster":29073,"ĠRB":29074,"ĠIDE":29075,"Ġsuits":29076,"ĠformData":29077,"(theta":29078,"Ġspatial":29079,"=NULL":29080,"ĠSqlConnection":29081,"Ġà":29082,"ĠVenez":29083,"ĠMorning":29084,"Ġpublications":29085,"ĠNONINFRINGEMENT":29086,"firstName":29087,"uds":29088,"Would":29089,"_HEAD":29090,"Ġinvested":29091,"stable":29092,"fred":29093,"Ġcommander":29094,"SES":29095,"âĢĶa":29096,"anche":29097,"ĠMovement":29098,"ë³":29099,"Suite":29100,"Ġjurisdiction":29101,"리":29102,"ĠBeth":29103,"jQuery":29104,"ĠIsa":29105,"Ġdental":29106,",*":29107,"ĠLimit":29108,"iliation":29109,"=\"{":29110,"bast":29111,"Ġturb":29112,"isy":29113,"OOK":29114,"Ġadvocate":29115,"imag":29116,"LECTION":29117,"лÑĮ":29118,"(category":29119,".dec":29120,"Ġuniqu":29121,"_sn":29122,"Ġattracted":29123,"ĠÃī":29124,"ĠRunning":29125,"_edges":29126,"ĠDisable":29127,"_AS":29128,"åĽ¾":29129,"Ġnetworking":29130,"_branch":29131,"Having":29132,"toBeTruthy":29133,"GI":29134,"Ġcamps":29135,"sep":29136,"-part":29137,"Ġ)ĊĊĊĊĊĊĊĊ":29138,"ustralia":29139,"ĠReports":29140,"rito":29141,"Ġwaist":29142,"_plus":29143,"ĠWW":29144,"-person":29145,"April":29146,"Ġsar":29147,".tar":29148,"Ġagricultural":29149,"tic":29150,"Ġtcp":29151,"ĠsetValue":29152,"agento":29153,"ĠAppe":29154,"piler":29155,"CADE":29156,"Ġanche":29157,"atcher":29158,"Ġcomics":29159,"Ġlbs":29160,"_segment":29161,"']=$":29162,"itters":29163,"icher":29164,"GINE":29165,"Ġutilize":29166,"ĠCursor":29167,"_expression":29168,"Ġdag":29169,"x":29357,".Task":29358,"money":29359,"ibaba":29360,"'});Ċ":29361,"ĠSpecific":29362,"ĠLinear":29363,"_OPT":29364,"HashCode":29365,"(Player":29366,".ContainsKey":29367,"Ġcollapsed":29368,"transparent":29369,"_RANGE":29370,"Viewer":29371,"(cfg":29372,"Ġsorting":29373,"Ġinfected":29374,"ĠNach":29375,"Ġaccommodate":29376,".elements":29377,"_PART":29378,"ĠSexy":29379,"=get":29380,"(year":29381,"Ġxhr":29382,":]":29383,"owski":29384,"Ġsummar":29385,"Ġ¿":29386,"Ġinte":29387,"Ġworkflow":29388,"ĠTaiwan":29389,"versions":29390,"åıij":29391,"Ġsurprisingly":29392,"Ġoptical":29393,"Ġproces":29394,"Ġdisagree":29395,"Ġnuevo":29396,"ĠCAM":29397,"sorted":29398,"leases":29399,"istle":29400,"Ident":29401,"ĉevent":29402,"jected":29403,"Chunk":29404,"Vars":29405,".provider":29406,"Ġproceedings":29407,"Ġinclusive":29408,"Ġartwork":29409,"endants":29410,"ï¼ļĊ":29411,"seen":29412,"Ġlig":29413,"Ġmakers":29414,"_fun":29415,"Ġlengths":29416,"PathVariable":29417,"[item":29418,"ี":29419,"Dead":29420,"FFFFFF":29421,"ĠUrban":29422,"uples":29423,"ichen":29424,"(nullptr":29425,".spec":29426,",System":29427,"URATION":29428,"(job":29429,"å¼ı":29430,"Ġtracker":29431,"ÅĻ":29432,"ĠMR":29433,"ĠSQLite":29434,"Ġdto":29435,"Ġ;;Ċ":29436,"Ġmint":29437,"ĠIntroduction":29438,"cao":29439,"Ġquestioned":29440,"Ġfitted":29441,"revision":29442,"sq":29443,"Ġmig":29444,"_units":29445,"_async":29446,"Ġflick":29447,"});ĊĊĊ":29448,"Ġnotre":29449,"}`,":29450,"Filters":29451,"Ġmundo":29452,"_days":29453,"Ġfrm":29454,"utc":29455,"Ġvals":29456,"ewidth":29457,"ĠGenerator":29458,"ĠArtist":29459,"ĠIDs":29460,"ĠArticles":29461,"reater":29462,"ĠComponentFixture":29463,".=":29464,"Ġrou":29465,"-no":29466,".bukkit":29467,"egg":29468,"ĠDiff":29469,"atics":29470,"ÑĥÑĩ":29471,"âĢĶĊĊ":29472,"ĠCharlotte":29473,"bye":29474,"Ġ});čĊčĊ":29475,"ĠVik":29476,"ĠBrow":29477,"Ġlv":29478,"ĠGib":29479,"-wing":29480,"GLIGENCE":29481,"(Il":29482,"ĠEngineer":29483,".Wait":29484,"ĠPictures":29485,"Ġrhet":29486,"Ġthermal":29487,"Ġpraise":29488,"<>();ĊĊ":29489,"ĠSpider":29490,"Pause":29491,"ĠBaker":29492,"Ġslower":29493,"Ġ}]Ċ":29494,"_enqueue":29495,"Ġdisappeared":29496,"ĠTicket":29497,"INUX":29498,"_LOCAL":29499,"аÑģÑģ":29500,"@Injectable":29501,"community":29502,"GestureRecognizer":29503,"åĽ½":29504,"Ġscales":29505,"Ġ-(":29506,"/'+":29507,"ĠSit":29508,"Ġexecutives":29509,"arding":29510,"Ġadvers":29511,"Ġbackwards":29512,"ĉcontext":29513,"ĠHamp":29514,"ĠPF":29515,"ĠDeck":29516,"ĠCraig":29517,"American":29518,"Ġbell":29519,"Ġprol":29520,"ufen":29521,"Ġrng":29522,"arshal":29523,"ĠSimply":29524,"firstname":29525,"shore":29526,"July":29527,"Ġmortality":29528,"ĠâĨĴĊĊ":29529,"Helpers":29530,"Ġbenchmark":29531,"emade":29532,"Ġorganisations":29533,".gson":29534,"ĠTextField":29535,"Ġcivilians":29536,".Arrays":29537,"ĠMississippi":29538,"Ġintermediate":29539,"getUser":29540,"_cluster":29541,"Relative":29542,"foreign":29543,".querySelectorAll":29544,"ForeignKey":29545,"Ġreasonably":29546,"---------Ċ":29547,"Cards":29548,"ĠKam":29549,"ĠThor":29550,"Ġroller":29551,"-element":29552,"ĠCurrency":29553,"ddie":29554,"ALLY":29555,"ĠRA":29556,"Ġpermet":29557,"aaaa":29558,"Ġhomework":29559,"ĠVit":29560,"Ġmold":29561,"ĠFer":29562,"[start":29563,"Ġstatistical":29564,"Ġscary":29565,"_HOME":29566,".Begin":29567,"Construct":29568,"ogenic":29569,"ĠDEALINGS":29570,"Ġtambién":29571,"ixon":29572,".ind":29573,"acre":29574,"Ġtransforms":29575,"ĠNap":29576,".Block":29577,"ussia":29578,"piration":29579,"ulent":29580,"Ġceil":29581,"Clause":29582,"naire":29583,"TES":29584,"Ġneat":29585,"STD":29586,"ĠRegExp":29587,"perform":29588,":)":29589,"Ġunions":29590,"Ġsublic":29591,"Ġwinds":29592,"loating":29593,"glich":29594,"Ġpagination":29595,"Skill":29596,"Apply":29597,"ĠOperator":29598,"istogram":29599,"Ġqualities":29600,"Cross":29601,"Ġdecom":29602,"],\"":29603,"ĠJuan":29604,".modal":29605,".Child":29606,"ĠRoger":29607,"STITUTE":29608,":CGRectMake":29609,"alette":29610,"Ġsta":29611,"aside":29612,"Ġblur":29613,"ĠWa":29614,"ifetime":29615,"reed":29616,"controls":29617,"Ġbins":29618,"Ġпол":29619,"*/,Ċ":29620,"UIS":29621,"ĠRou":29622,"ĠDemo":29623,"-awesome":29624,"ĠChain":29625,"Ġhasta":29626,"ĠBart":29627,".KEY":29628,"Ġvendors":29629,"nofollow":29630,"ĠDest":29631,"_builder":29632,"Ġargues":29633,"_answer":29634,"goto":29635,"ĠRESULT":29636,"ĠMON":29637,"Ġpoder":29638,"oons":29639,"_CASE":29640,"Ġreplic":29641,"Ġfinancing":29642,"ĠDATE":29643,"cern":29644,"_track":29645,"ties":29646,"/logo":29647,"ĠNEGLIGENCE":29648,"getType":29649,">T":29650,"bet":29651,"girl":29652,"ĠINCIDENTAL":29653,"-site":29654,".trigger":29655,"ĠLisa":29656,"_inputs":29657,"Ġrelatives":29658,"LoggedIn":29659,"Configure":29660,"IK":29661,".accept":29662,"Resume":29663,"ĠDraft":29664,"Ġ*>(":29665,"ĠWA":29666,"edian":29667,"erness":29668,"ĠLayoutInflater":29669,"*/čĊčĊ":29670,"othy":29671,"Ġobligation":29672,"Subscribe":29673,"Ġthumbnail":29674,"exist":29675,"Ġinsisted":29676,"ĠUICollectionView":29677,"ĠAngular":29678,"Ġtablets":29679,"ĠImpact":29680,"ãĢįĊĊ":29681,"aho":29682,"Ġcharacteristic":29683,"gd":29684,"Ġ=================================================":29685,"ourt":29686,"`.":29687,"Appro":29688,"Coordinate":29689,"Remember":29690,"Ġmarine":29691,"]=='":29692,"ĠAdministrator":29693,".getDefault":29694,"Ġforgot":29695,"ĠStructure":29696,"Vue":29697,"arsing":29698,"moment":29699,"kw":29700,"_cursor":29701,"Attack":29702,"Ġathletic":29703,"Ġdiagnosed":29704,"Ġende":29705,"åĪłéĻ¤":29706,"House":29707,"ĠPARAM":29708,"Ġwiki":29709,"ĠOpp":29710,"Ġconservation":29711,"Ġsnd":29712,"_tem":29713,"substr":29714,"ĠCape":29715,".sim":29716,"UTION":29717,"anan":29718,"âĢĻun":29719,"Ġgy":29720,"-work":29721,"Ġcompelling":29722,"='#":29723,"ĉsub":29724,"Ġdirectories":29725,"íĬ¸":29726,"Ġtouches":29727,"outines":29728,".Collection":29729,"schedule":29730,".lat":29731,"ĠDoctrine":29732,"CAA":29733,"ĠRefer":29734,"Ġshifts":29735,"Ġlikelihood":29736,"preter":29737,"ĠFemale":29738,"Ġintercept":29739,"Ġlou":29740,"çĻ»":29741,"Ġrug":29742,"ĠCrown":29743,"Ġ****************************************************************************":29744,"-product":29745,"Ġprompted":29746,"ungle":29747,"docker":29748,"ĠTu":29749,"ĠUnique":29750,"_Error":29751,"ulos":29752,"ĠâĦ":29753,"Ġ(`":29754,"Getting":29755,"_scal":29756,"ĠEnh":29757,"üt":29758,"Ġsustained":29759,"Ġpatches":29760,"Ġprosper":29761,"ĠGaza":29762,"_light":29763,"Ġincons":29764,"--------Ċ":29765,"ĉĉĠĠĠĠĠĠ":29766,"SF":29767,"CN":29768,":\";Ċ":29769,"ĠCollins":29770,"(*)":29771,"Ġcompilation":29772,"']čĊ":29773,"Ġconsequence":29774,",...":29775,"Ġdm":29776,"ĠBLOCK":29777,"Cluster":29778,"Ġski":29779,"(argc":29780,"Tuple":29781,"Ġjoins":29782,"ĠSheriff":29783,"War":29784,"indi":29785,"Ġcommented":29786,"HOST":29787,"Ġinvitation":29788,"apanese":29789,"Ġpermits":29790,"precedented":29791,"_zone":29792,"ĠAmy":29793,"_RD":29794,"Minimum":29795,"Ġinvocation":29796,".enable":29797,"ichten":29798,"-owned":29799,"\"id":29800,"_POINTER":29801,"Fac":29802,"Ġspecifications":29803,"Ġnomination":29804,"Ġgp":29805,"<(":29806,"Ġrobots":29807,"ĠJerry":29808,"Ġholders":29809,"Ġwand":29810,"cms":29811,"Ġ}))Ċ":29812,".Toast":29813,"ĠIList":29814,"Based":29815,"zoom":29816,"/style":29817,"ĠBeck":29818,"Men":29819,"Ġcontributing":29820,"Ġundo":29821,"ĠOH":29822,"ĠaddObject":29823,"Ġeigen":29824,"signup":29825,"éĶĻ":29826,"Ġdistant":29827,"PARATOR":29828,"ĠMari":29829,"Ġmá":29830,"Emp":29831,"ós":29832,"ĠìĪĺ":29833,"evt":29834,"+j":29835,"park":29836,"ĠStay":29837,"ĠDun":29838,"Ġsoy":29839,">%":29840,"azines":29841,"Ġtiempo":29842,"(me":29843,"present":29844,".This":29845,"Ġeditors":29846,"FIELD":29847,".Work":29848,"ĠUniverse":29849,"Ġdrunk":29850,".timer":29851,"Ġaltered":29852,"ĠNar":29853,"ëł¥":29854,".Active":29855,"idor":29856,"çŃ":29857,".deltaTime":29858,"Ġawkward":29859,""":29860,"ĠSafari":29861,"Ġtricks":29862,"MENTS":29863,"division":29864,"Ġvarying":29865,"ĠHighway":29866,"Ġphotographer":29867,"ĠStewart":29868,"Ġlasting":29869,".Pre":29870,".amazonaws":29871,"ĠLuck":29872,".Description":29873,"ĠNaz":29874,"neg":29875,"Ġcó":29876,"<<\"\\":29877,"ĠSurv":29878,"ĠUnc":29879,"Recipe":29880,".BorderStyle":29881,"Ġmodifications":29882,"-at":29883,"ATFORM":29884,"hdr":29885,"ako":29886,"Ġsublicense":29887,"ĠJump":29888,"Ġbeim":29889,"ĠManhattan":29890,".bool":29891,"_hw":29892,"ÑĤÑĮ":29893,"Bin":29894,"Ġgateway":29895,"\"\":":29896,"ĠUIS":29897,":\"+":29898,"-def":29899,"ĠRegular":29900,"/testing":29901,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":29902,"stringstream":29903,"Ġdispar":29904,"Ġmobil":29905,"-read":29906,"ĠAdapter":29907,"ĠChampions":29908,"Ġscheduler":29909,"Ġkills":29910,"ĠMultiple":29911,"irror":29912,"Ġgods":29913,"ADO":29914,"akte":29915,"ĠUsuario":29916,".circular":29917,"Ġrecept":29918,"ĠExpr":29919,"Ġelderly":29920,"Ġnicely":29921,"Ġbeste":29922,"Want":29923,"Ġclassical":29924,".sprite":29925,"objc":29926,"ĠMason":29927,"Ġsistema":29928,".Black":29929,"eso":29930,"ĠZeit":29931,"Ġdivid":29932,"Ġenters":29933,"_subject":29934,"ĠPlanet":29935,".warning":29936,"ĠGram":29937,"_tokens":29938,"Ġhouseholds":29939,"_customer":29940,"userName":29941,"cross":29942,"Ġpione":29943,"Ġassists":29944,"_SM":29945,"ibo":29946,"Ġloyal":29947,"Ġuseless":29948,"#elif":29949,"ĠUltimate":29950,"Come":29951,"gel":29952,"Ġdich":29953,"xyz":29954,"ikel":29955,"obra":29956,"_scan":29957,"ĠInterior":29958,"ĠNice":29959,"Ġplac":29960,"ĉtarget":29961,"Ġviral":29962,"asso":29963,"()/":29964,"unde":29965,"ĠAdobe":29966,"Os":29967,"visited":29968,"ĠOW":29969,"ĠFeed":29970,"ĠSequence":29971,"Ġmanages":29972,"inson":29973,"ĠLouisiana":29974,"{})":29975,"ĠHab":29976,"ĠLD":29977,"Ġbip":29978,"prites":29979,"(elem":29980,".hibernate":29981,"élé":29982,"Ġohne":29983,"_transaction":29984,"Ġannunci":29985,"Published":29986,"ĠHonda":29987,"ĠTam":29988,"ĠPacket":29989,"_selector":29990,"Ġchallenged":29991,"Processing":29992,"-hover":29993,"Ġtrainer":29994,"_cancel":29995,"ĠNSDictionary":29996,"abric":29997,"ĠMLS":29998,"_sensor":29999,"Ġshrink":30000,"ĠFX":30001,"threshold":30002,"ĉHX":30003,"-mark":30004,"`.`":30005,"Scheme":30006,"(full":30007,"_writer":30008,"ĠSys":30009,"Ġfled":30010,"ĠCin":30011,"-widget":30012,"ĠPrevious":30013,"Gender":30014,"_question":30015,"Feed":30016,"Ġscrut":30017,"(prefix":30018,"ãĢĤãĢĤ":30019,"Ġinfections":30020,"Parts":30021,"Ġhierarchy":30022,"_DELETE":30023,"ĠPatient":30024,"_pay":30025,"Ġpromoted":30026,"Ġìĭ":30027,"Ġcivilian":30028,"Ġagriculture":30029,"ĠPiece":30030,"Ġstance":30031,"utsche":30032,"Assign":30033,".ACTION":30034,"Fig":30035,"_radius":30036,"ĠSync":30037,"ducer":30038,"failure":30039,"ensed":30040,"ptime":30041,"BM":30042,"_datetime":30043,"quivo":30044,"QUEUE":30045,"èĢħ":30046,"Appear":30047,"Ġsummit":30048,":void":30049,"Ġvine":30050,"认":30051,"onne":30052,"_TRANS":30053,".green":30054,"_cc":30055,"Ġhungry":30056,"Ġ\">":30057,"());čĊčĊ":30058,"Extract":30059,"izens":30060,"Ġsolver":30061,"Notify":30062,"Ġenglish":30063,"ĠShopping":30064,"interfaces":30065,"REQ":30066,"Ġilleg":30067,"ĠUIImageView":30068,"Ġdisconnect":30069,"ĠUntil":30070,"ĠConservative":30071,"@Column":30072,"Ġshifted":30073,"Ġ:čĊ":30074,"Ġfich":30075,"Ġdla":30076,"Ġshoe":30077,"\"),čĊ":30078,"ularity":30079,"_RESP":30080,"Weather":30081,"UIApplication":30082,".iterator":30083,"Ġaging":30084,".Parent":30085,"owie":30086,"(equal":30087,"ĠConv":30088,"/default":30089,"Ġmeasuring":30090,".prev":30091,".IsValid":30092,".Fat":30093,"ĠsÄĥ":30094,"keywords":30095,"without":30096,"Ġsovere":30097,"Ġexchanges":30098,"Ġmelt":30099,"Ġislands":30100,"ĠIntegr":30101,"Ġjumping":30102,"Ġgle":30103,"Ġjournalism":30104,"Ġdated":30105,"Localized":30106,"ĠRefresh":30107,"Particle":30108,"Ġaa":30109,"ĠSTRICT":30110,"Ġbod":30111,".Process":30112,"_AUTO":30113,"ĠPublished":30114,"every":30115,"Ġtechnological":30116,"lsx":30117,"Ġirrit":30118,"Additional":30119,"Ġdelimiter":30120,"_language":30121,"-area":30122,"boys":30123,"ĠTube":30124,"Ġwat":30125,"Ġmechanics":30126,"_owner":30127,"Spell":30128,"ĠStories":30129,".AppendLine":30130,"TableView":30131,"hem":30132,"stick":30133,"ollower":30134,"IFF":30135,"ĠUV":30136,"ollision":30137,"SUB":30138,"Ġcomparable":30139,"Ġdonde":30140,"sales":30141,"llvm":30142,"Ġ}],Ċ":30143,"OTTOM":30144,"ĠPurpose":30145,"Lab":30146,"Ġinterviewed":30147,"ois":30148,"asil":30149,".setId":30150,"ĠInstruction":30151,"-->":30152,"ĠModified":30153,"ationally":30154,"ĠMeeting":30155,"误":30156,"#region":30157,"Ġrouting":30158,".focus":30159,"ĠYouth":30160,"<":30448,"Ġunto":30449,"ologically":30450,"ĠMul":30451,"VIDIA":30452,"Ġslim":30453,"ĠCommissioner":30454,"(on":30455,"Ġunderneath":30456,"/db":30457,"vote":30458,"(Message":30459,"ĠPope":30460,"Defined":30461,"Ġswift":30462,"urf":30463,"Ġadapted":30464,"SEL":30465,"Ġrevenues":30466,"Ġdivine":30467,"=y":30468,"Gradient":30469,"_act":30470,"Ġ/*!<":30471,"Ġpolygon":30472,"ĠFDA":30473,"ĠCarr":30474,"atables":30475,"(stdout":30476,"Ġrefriger":30477,"Ġcoordin":30478,"avorites":30479,"ÑĪи":30480,"Ġcompassion":30481,"ĠPOSSIBILITY":30482,"-secondary":30483,"uracy":30484,"Ġcompromise":30485,"_AV":30486,"_os":30487,"Ġbeside":30488,"ĥĿ":30489,"Ġln":30490,".plugins":30491,"Capacity":30492,"alah":30493,".bin":30494,"ĠCRC":30495,"_balance":30496,"ĠflexDirection":30497,"Ġambit":30498,"Ġnickname":30499,"ĠForces":30500,"CLE":30501,"ĠShell":30502,"Ġsail":30503,"ĠWriter":30504,"ĠAlice":30505,"dw":30506,"ĠIndians":30507,"ĠMarshall":30508,"_SRC":30509,"Ġnormalized":30510,"ĠJag":30511,"ãĤĴ":30512,"zeit":30513,"rpc":30514,"ÃŃc":30515,".inline":30516,"Ġtravers":30517,"_numeric":30518,"Ġutilities":30519,"Ġevac":30520,"INPUT":30521,"ĉregister":30522,"MX":30523,"ĠCampbell":30524,"Ġdatasets":30525,"Ġdemanded":30526,"ĠinitialState":30527,"gan":30528,"Ġei":30529,"Unexpected":30530,"-web":30531,"trait":30532,",Y":30533,"ĠTodd":30534,"Ġskeleton":30535,"Ġoptimize":30536,"第":30537,"ĠUpon":30538,"ĠStObject":30539,"Ġaplic":30540,".'P":30578,"vron":30579,".UN":30580,"Ġpainter":30581,"izarre":30582,"Ġlav":30583,"Ġpom":30584,"preg":30585,"=function":30586,"(serial":30587,"ifica":30588,"uming":30589,"åľ°":30590,"ãģĤ":30591,"-op":30592,"UCH":30593,"ĠHend":30594,".propTypes":30595,"Ġyo":30596,"Ġroutines":30597,"Ġcaring":30598,"Sem":30599,"Ġreserves":30600,"Ġpriorities":30601,"redits":30602,"ISTR":30603,"ContentType":30604,"ĠSchw":30605,"/media":30606,"Ġestr":30607,"Ġclimbing":30608,"-week":30609,"cherche":30610,"sensor":30611,"ToArray":30612,"ĠMontreal":30613,"Ġclouds":30614,"ĠInjectable":30615,"ĠRice":30616,"Ġpropaganda":30617,"_provider":30618,"Ġindoor":30619,"Ġinaug":30620,"Ġdiplom":30621,"Ġmessaging":30622,"_mut":30623,"å¦Ĥ":30624,"Ġkw":30625,"ONS":30626,"arians":30627,"RPC":30628,")]čĊ":30629,"-ray":30630,"ĠSor":30631,"mall":30632,"Ġmarketplace":30633,"Ġvtk":30634,"Ma":30635,"ogan":30636,"igi":30637,"Ġsponsored":30638,"ĠDani":30639,".SEVER":30640,">'.$":30641,"multipart":30642,"ĠWol":30643,"ĠtableName":30644,"ĠUsername":30645,"BackgroundColor":30646,"Ġfright":30647,"_EMAIL":30648,"September":30649,"_vals":30650,"opia":30651,"Ġspotted":30652,"-Ch":30653,"ĠdataSource":30654,"/\"Ċ":30655,"екÑĤ":30656,"ĠRequestMethod":30657,"ĠReplace":30658,"-do":30659,"ahn":30660,"ĠPhD":30661,"].ĊĊ":30662,"NON":30663,"gement":30664,"ĠThr":30665,"Ġquietly":30666,"Ġtorture":30667,"Ġteas":30668,"ĠCY":30669,"Ġatr":30670,"development":30671,"-detail":30672,"Ġlighter":30673,"Ġarguing":30674,"Ġdeserves":30675,"Ġcurriculum":30676,"_CONTEXT":30677,"ÅĤy":30678,"HITE":30679,"ĉID":30680,"/uploads":30681,"Ġtits":30682,"reo":30683,"_drop":30684,".UTF":30685,"Ġpickup":30686,"Ġgrocery":30687,"ĠPure":30688,"Ġeasiest":30689,"Phil":30690,".feature":30691,"(\"*":30692,"Ġinvestor":30693,"tok":30694,"Ġjar":30695,"Los":30696,"âĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶ":30697,".queue":30698,"-speed":30699,"Mal":30700,"umblr":30701,"ĠCONST":30702,"ĠHRESULT":30703,"ĠDance":30704,"(filePath":30705,"Ġattributed":30706,"à¥į":30707,"ĠBund":30708,"coins":30709,"Ġsão":30710,"Ġpir":30711,"personal":30712,"Ġprelim":30713,"Ġpropose":30714,"ĠTL":30715,"]])":30716,"ĠSubscription":30717,"ĠKre":30718,",len":30719,".FirstOrDefault":30720,")--":30721,"_products":30722,".GetBytes":30723,"Ship":30724,"Ġencrypt":30725,"ĠSG":30726,"ĠMyst":30727,"hir":30728,"Ġiterate":30729,"Ġintend":30730,".mockito":30731,"Ġchapters":30732,"(angle":30733,"ĠVlad":30734,"设":30735,"'.ĊĊ":30736,"ResponseBody":30737,"ĠAbd":30738,"deal":30739,"Ġbarriers":30740,"-outline":30741,"bill":30742,"ĠFalls":30743,"_second":30744,".include":30745,".ceil":30746,"Ġoccupation":30747,"phony":30748,".moveTo":30749,"ĠJennifer":30750,"ASTER":30751,";\"><":30752,"ĠEnabled":30753,"Ġterminate":30754,"ĠIo":30755,"lations":30756,"ĠTHEORY":30757,"Ġearliest":30758,"Ġrack":30759,"ĠScar":30760,"shake":30761,"chip":30762,"Ġuv":30763,"Ġalliance":30764,"пиÑģ":30765,"ĠGOODS":30766,"zione":30767,"ĠVI":30768,"Ġ{-":30769,"Ġfiltering":30770,"Ġmiscon":30771,".DockStyle":30772,"Ġbush":30773,"Ġjunk":30774,"æĮ":30775,"ĠQUE":30776,"Ġhooks":30777,"Ġfirmware":30778,"Ġmiddleware":30779,"dic":30780,"ĠOakland":30781,"Ġarrives":30782,"Payload":30783,"pixel":30784,"]|":30785,"ĠstartDate":30786,".PRO":30787,"_audio":30788,"Ġmidfield":30789,"igidbody":30790,"ĠSwiss":30791,"ĠClip":30792,"ĠDump":30793,"ĠTextBox":30794,"Ġgeh":30795,"yield":30796,"ods":30797,"Ġreferendum":30798,"Backend":30799,"ĠCream":30800,"Ġdominated":30801,"ĠArchive":30802,"Ġriders":30803,".prepareStatement":30804,"Ġquando":30805,"Ġchef":30806,"wiki":30807,"inel":30808,"ampling":30809,"(\"\\\\":30810,"Ġsag":30811,"_proxy":30812,"ãģķ":30813,"pdo":30814,".getElementsByTagName":30815,"Ġdemonstration":30816,"ĠNPC":30817,"Ġarchivo":30818,"endance":30819,"Ġefficiently":30820,"(actual":30821,".tableView":30822,"Ġmush":30823,"Ġbears":30824,"_threads":30825,"jas":30826,"ahun":30827,"Ġneural":30828,"Ġdesigning":30829,"ĠGDP":30830,"Ġlifted":30831,"缮":30832,"ĠJoint":30833,"ĠInclude":30834,"ĠGiants":30835,"Ġwithdrawal":30836,"ĠRent":30837,"native":30838,"ĠSeek":30839,"gression":30840,"_CPU":30841,"\\S":30842,"ĠShield":30843,"Ġsolic":30844,"Ġboom":30845,"yecto":30846,"Ġmanufacture":30847,"ĠâĢĭ":30848,"Ġbbox":30849,"Ġearthqu":30850,"ollectors":30851,":@\"%":30852,"Ġloops":30853,"Je":30854,"alking":30855,"ĠWhats":30856,"ĠBoys":30857,".book":30858,"ARGE":30859,"_pixel":30860,"Ġsuspects":30861,"ι":30862,"usp":30863,"ĠBMW":30864,"ieces":30865,"(person":30866,"å¼Ģ":30867,"é»":30868,"ĠPodcast":30869,"Ġbou":30870,"(Item":30871,"û":30872,"(Input":30873,"HttpGet":30874,"Ġburg":30875,")^":30876,"BOARD":30877,"*/,":30878,"Ġgulp":30879,"ĠBenn":30880,"Ġdecks":30881,".statusCode":30882,"Ġacute":30883,"Ġhug":30884,"ugu":30885,"Ġpled":30886,",\"%":30887,"hape":30888,"Ġзап":30889,"ĠMaine":30890,".real":30891,"Ġdalam":30892,"ĠMinor":30893,".Float":30894,"disp":30895,"Ġtl":30896,"Ġencount":30897,"=>$":30898,"Ġfg":30899,"tees":30900,"ĠRecomm":30901,"äl":30902,"Ġchemistry":30903,"Blocks":30904,"OID":30905,"Ġforex":30906,"ĠAppend":30907,"Ġ{*":30908,"ĠSupply":30909,"CGFloat":30910,"(bl":30911,"Ġate":30912,"adora":30913,"Ġgust":30914,"Associ":30915,">.Ċ":30916,"FETCH":30917,".serial":30918,"widgets":30919,"ardless":30920,"iefs":30921,"_FULL":30922,"ernetes":30923,"ĠPred":30924,"ØŃ":30925,"äºĭ":30926,"ubernetes":30927,"ĠLaura":30928,"Ġlabeled":30929,"Highlight":30930,"Ġannoying":30931,"/update":30932,"(description":30933,"Ġintimid":30934,"$c":30935,"\")))Ċ":30936,".AP":30937,"Ġ[]*":30938,"ĠEXIT":30939,".Host":30940,"ĠOPEN":30941,".sendMessage":30942,"_camera":30943,"_tile":30944,"Ġtherm":30945,"onomous":30946,"Ġdisadv":30947,"Ġnaar":30948,"indexOf":30949,"ĠPP":30950,".protocol":30951,"AFE":30952,"Ġtextures":30953,"################################################":30954,"umbai":30955,".stats":30956,"ĠGE":30957,"Ġie":30958,"ĠSTD":30959,"ĠMann":30960,".reflect":30961,"KB":30962,"Ġdive":30963,".wav":30964,"/*----------------------------------------------------------------":30965,"/settings":30966,".lifecycle":30967,"Ġdaughters":30968,"orus":30969,"uber":30970,"NING":30971,"stri":30972,"ĠTip":30973,"Ġzn":30974,"Ġswitched":30975,"inet":30976,"uffy":30977,"ĠTransportation":30978,"(conf":30979,"frica":30980,"ĠXL":30981,"ĠLead":30982,"_percent":30983,"__":30999,"permissions":31000,"ĠDetermine":31001,".Man":31002,"Ġadvances":31003,".InputStream":31004,"Ġstrongest":31005,"ĠeBay":31006,"Ġ#-":31007,"Ġdirname":31008,"ĠSMS":31009,"Ġmedications":31010,"Ġamended":31011,"Ġchurches":31012,"ĠImperial":31013,"$row":31014,"ĠMadison":31015,"ĠInsp":31016,"Ġaffair":31017,"Ġpsychology":31018,"vh":31019,"Ġseverity":31020,"âĢIJ":31021,"Ġstrips":31022,"AH":31023,"vertising":31024,"Ġconse":31025,"IMAGE":31026,"ĠStats":31027,"ĉsc":31028,".Cursor":31029,"Ġfreeze":31030,"sson":31031,"(xml":31032,"ĠSusan":31033,".tile":31034,"eded":31035,"ĠĠĠĠĉĉĉ":31036,"uelle":31037,"ĠMitchell":31038,"based":31039,"Operand":31040,"½æķ°":31041,"ĠFF":31042,"ĉstrcpy":31043,"ounces":31044,"ildo":31045,".executeQuery":31046,"Ġapproaching":31047,"ĠSeven":31048,"Ġnuts":31049,"Ġric":31050,"assignment":31051,"Ġcalculator":31052,"ĠMurphy":31053,"ĠBou":31054,"íĦ":31055,"Ġbutt":31056,"Ġticks":31057,"Projects":31058,"ilib":31059,".textColor":31060,"mov":31061,"_logo":31062,"(template":31063,"ĠINIT":31064,"ĠimageView":31065,"scriptions":31066,"ORITY":31067,"Consumer":31068,"Ġunprecedented":31069,"Ġtourist":31070,"Ġbron":31071,"Ġcontractor":31072,"Ġlicence":31073,"ĠNam":31074,"æ¯":31075,"(transform":31076,"_ATT":31077,"Pref":31078,"ĠGam":31079,"Ġvessels":31080,"Ġhav":31081,"Later":31082,".ToLower":31083,"Ġurls":31084,"Ġbreakdown":31085,"Ġpenalties":31086,"Ġfoster":31087,"ĠUE":31088,"Ġclue":31089,"comed":31090,"åIJį称":31091,"-main":31092,"Ġpts":31093,"Ġcounted":31094,"icts":31095,"/post":31096,"Ġgetattr":31097,"Ġping":31098,"ANCEL":31099,"Ġpec":31100,"Ñħод":31101,"antom":31102,"ĠBlueprint":31103,"ĠEventEmitter":31104,"Ġlä":31105,"æ²":31106,"Ġstraw":31107,"(comp":31108,"'une":31109,">N":31110,"-client":31111,"esModule":31112,"-base":31113,"Ġretreat":31114,"_simple":31115,"ĉĉĉĉĉĉĠ":31116,"fee":31117,"')čĊčĊ":31118,"ControlItem":31119,"Ġsubscribers":31120,"please":31121,"ĠEff":31122,"Ġpound":31123,"ĠBytes":31124,"ĠTea":31125,"_activity":31126,"Ġmaxim":31127,"Ġopcode":31128,"BSD":31129,".constant":31130,";}":31131,"ombres":31132,"Ġcareers":31133,").ĊĊĊĊ":31134,"Ġspreading":31135,"-expanded":31136,"ĠOrd":31137,"amarin":31138,"Ġmobility":31139,"Unfortunately":31140,"akk":31141,"NL":31142,"_redirect":31143,"ĠPG":31144,"ĠSensor":31145,"bol":31146,"tap":31147,"_MEMORY":31148,"ĠUIAlert":31149,"plitude":31150,"Website":31151,"ĠLogo":31152,"love":31153,"[ind":31154,"Ġaltogether":31155,"Ġwondered":31156,"Ġesper":31157,"ĠLiberal":31158,"Ġoss":31159,"Ġelit":31160,"Ġstiff":31161,"odox":31162,"_mentions":31163,"ĠDouglas":31164,"_pid":31165,"ĠCK":31166,"ĠinitWithFrame":31167,".blog":31168,"pkg":31169,"anghai":31170,"QUIRED":31171,"uu":31172,"Ġmkdir":31173,"ATAL":31174,"Ġunh":31175,"inces":31176,"sth":31177,"Ġhypothesis":31178,"Ġcata":31179,"ĠTB":31180,"ĠClar":31181,"Ġpredecess":31182,"Ġsituated":31183,"-world":31184,"))/":31185,"Ġheadlines":31186,".stat":31187,"Ġoutbreak":31188,"spath":31189,"_FLAGS":31190,"ĠServletException":31191,"Sun":31192,"FROM":31193,"ĠDir":31194,"ãĥ»ãĥ»ãĥ»":31195,"_coord":31196,"ĠOptim":31197,"Monitor":31198,".bit":31199,"XXX":31200,"Ġtodas":31201,"feld":31202,"ÑĢи":31203,"imir":31204,"Ġpolitically":31205,"Ġmolecular":31206,"Ġtraded":31207,"Ġ{{$":31208,"ĠSwedish":31209,"Ġ'@/":31210,"_REAL":31211,"Ġwarehouse":31212,"today":31213,",L":31214,"orp":31215,"false":31492,"Ġspa":31493,"ĠNear":31494,"ìķ":31495,"Ġintrig":31496,"_members":31497,"wave":31498,"Ġanalysts":31499,"_OS":31500,"edin":31501,"ĠFri":31502,"Ġretrieved":31503,"Regular":31504,"_obs":31505,"EXPORT":31506,"')}}\"":31507,"\"class":31508,"__((":31509,"bucket":31510,"Ġstro":31511,"ĠPatch":31512,"ystick":31513,"fulness":31514,"apos":31515,"Da":31516,"ĉĉĉĉĉĠĠĠ":31517,"Ġenrich":31518,"unordered":31519,"hole":31520,"Cong":31521,"';ĊĊ":31563,"STRUCT":31564,"QR":31565,"IDs":31566,"(arguments":31567,"_aux":31568,"(Event":31569,"_PRIVATE":31570,"ĠTrek":31571,"Ġdownloads":31572,"mutable":31573,"_STRUCT":31574,"(wx":31575,"Ġdomains":31576,"jspx":31577,"ĠViagra":31578,"Commands":31579,"Js":31580,".cfg":31581,"ContentPane":31582,"ĠEditText":31583,"à¥įà¤":31584,"Attach":31585,"ĠARM":31586,"positive":31587,"ĠGenerated":31588,"Ġseized":31589,"=:":31590,"Ġelectronics":31591,"ĠAppComponent":31592,"/',Ċ":31593,".equalsIgnoreCase":31594,"Doctrine":31595,"disk":31596,"ĠPolitical":31597,"CHO":31598,"":31684,"ĠBeauty":31685,"Ġ`<":31686,"Ġtouching":31687,"Ġ|--":31688,"ĉflag":31689,"normalize":31690,"Ġtrapped":31691,"Ġestablishing":31692,"/build":31693,"AJ":31694,"fy":31695,"-react":31696,"avn":31697,"RIPTION":31698,"Ġkut":31699,"ĠFashion":31700,"ĠInform":31701,"curities":31702,"{Ċ":31734,"Ġgarlic":31735,"Ġrepr":31736,"Ġreplies":31737,"(prop":31738,"Ġspirits":31739,"Ġinspire":31740,"Ġbasement":31741,".reject":31742,"Ġhints":31743,"Ġpolling":31744,"ĉĠĊ":31745,"_rating":31746,"Ġcath":31747,"avier":31748,"Ġcompressed":31749,"ĠVS":31750,"]'":31751,"Ġjudicial":31752,"ĠTrend":31753,"training":31754,"ESTAMP":31755,"ognition":31756,"Äģ":31757,"SENT":31758,"ventions":31759,"Ġconsultant":31760,"umph":31761,"ĠuserService":31762,",NULL":31763,"kh":31764,"Dear":31765,"_BAD":31766,"itations":31767,"Ġmetaph":31768,"'é":31769,"andise":31770,"-font":31771,".chart":31772,"Ġsg":31773,"_Controller":31774,".jpeg":31775,"ĠULONG":31776,"ĉgame":31777,"(ss":31778,"ĠMaj":31779,"ĉgo":31780,"ĠSad":31781,"ĠBerg":31782,"ĠMine":31783,"Pack":31784,"Ġresistant":31785,"ĠROM":31786,"Ġpeg":31787,"ĠStanford":31788,"ĠYahoo":31789,"Ġscaled":31790,"Ġlan":31791,"=[]":31792,"\"/>ččĊ":31836,"Ġsud":31837,"ĉbackground":31838,"Ġscholars":31839,"-muted":31840,"ará":31841,"Ġ=====":31842,"Ġ____":31843,"Creat":31844,"enever":31845,"/wp":31846,"ĠVPN":31847,"ErrorCode":31848,")],Ċ":31849,"(builder":31850,"ĠEnemy":31851,"Sensor":31852,"usa":31853,"Ġtriggers":31854,"Ġplayoffs":31855,"_REQ":31856,"Ġ(~":31857,"ĠBarry":31858,"Ġpermanently":31859,"ĠRUN":31860,"Ġbure":31861,".Fatalf":31862,"Ġchick":31863,"ĉpanic":31864,"psi":31865,"oka":31866,"éĢī":31867,">[":31868,"Ġunderstands":31869,"ĠJunior":31870,"ĠINFO":31871,"=mysqli":31872,"ustain":31873,"-source":31874,"serv":31875,"ĠCREATE":31876,".au":31877,"Ġsells":31878,"ĠĠĊĠĠĊ":31879,"Europe":31880,"zw":31881,"preh":31882,"ĠNSA":31883,"Ġxy":31884,"ิ":31885,"ĠBeyond":31886,"Instead":31887,"NonQuery":31888,"Ġarise":31889,"Ġavoided":31890,".emplace":31891,"_models":31892,"}),Ċ":31893,"Ġhid":31894,"Ġ&_":31895,".points":31896,".getWidth":31897,".Exec":31898,"Ġ////":31899,"ĠSessions":31900,"...\\":31901,"ĠColomb":31902,"Ġacceleration":31903,"restore":31904,"Ġile":31905,"obic":31906,"}Ċ":32396,"plaint":32397,"getText":32398,"Ġindividually":32399,"Ġcheckbox":32400,"UY":32401,"ĠLamb":32402,"Ġdysfunction":32403,"ĠLar":32404,"à°":32405,"ĠCreating":32406,"');ĊĊĊ":32407,"\"They":32408,"locations":32409,"_CORE":32410,"Interaction":32411,"umbnails":32412,"ĠPartner":32413,"brit":32414,"Ġlesser":32415,"ĠSlot":32416,"setAttribute":32417,"ĠWave":32418,".po":32419,"/store":32420,"Ġbrowsing":32421,"_pd":32422,"sume":32423,"sed":32424,"Curve":32425,"Ġplasma":32426,"Ġsuspicious":32427,"ìĿ¸":32428,"ĠBah":32429,"ĠExplicit":32430,"_CC":32431,".ClientSize":32432,"\\View":32433,"Ġsubstit":32434,"loon":32435,"ĠGAME":32436,"ĠBrid":32437,"Ľå»º":32438,"_User":32439,"Ġsquares":32440,"fone":32441,"Ġsacred":32442,"ughs":32443,"]interface":32444,"ĠThrow":32445,"ĠKirk":32446,"Ġempire":32447,"Ġassessed":32448,"Tax":32449,"ĠHeaven":32450,"-buffer":32451,"_STATIC":32452,"éné":32453,"-bordered":32454,"Ġpunct":32455,"(mode":32456,"Ġkeine":32457,"Sent":32458,"ĠCalcul":32459,"ĠEve":32460,"Ġstylish":32461,"Ġoils":32462,".TestCase":32463,"Ġtrademark":32464,"Ġliterary":32465,"Ġconcentrations":32466,"ĠRelations":32467,"(Class":32468,"Ġstdin":32469,"Ġvæ":32470,"backup":32471,".VERSION":32472,".AutoScaleDimensions":32473,"starter":32474,"Transactional":32475,"-panel":32476,"Studio":32477,"kc":32478,"ĠChamber":32479,"ĠSpiel":32480,"Ġrho":32481,"اÙĦ":32482,"!'":32483,".Attributes":32484,"Ġmurdered":32485,"apeutic":32486,"Ġintimate":32487,"ĠtextField":32488,"ĠBuffalo":32489,"dummy":32490,"\"%":32491,"ĠLiberty":32492,"obar":32493,"ĠTank":32494,"ĠPopular":32495,"ervisor":32496,"ĠIniti":32497,"ĠMall":32498,"ĠPrior":32499,"CAP":32500,"ĠClay":32501,"ĠCertificate":32502,".Lock":32503,"-strip":32504,"-driven":32505,"/all":32506,"ĠMessageBoxButtons":32507,"_SECRET":32508,"_pb":32509,"Ġrats":32510,"ाà¤":32511,"Ġnt":32512,".Router":32513,"_topic":32514,"Ġtennis":32515,"ĠPUBLIC":32516,"ĠActivatedRoute":32517,"Ġ',Ċ":32518,"Ġcostume":32519,"Ġjokes":32520,".Handle":32521,"ĉbyte":32522,"Ġflavors":32523,"(cc":32524,"Ġpersonas":32525,"ĉimage":32526,"ĠNazi":32527,"Ġgrammar":32528,"Ġúlt":32529,"Ġvalve":32530,"Ġvic":32531,"ĠRachel":32532,"_invalid":32533,"Prefs":32534,"stdint":32535,"(route":32536,"Ġhtmlspecialchars":32537,"Ġpeoples":32538,"pline":32539,"Ġnv":32540,"ĠQuant":32541,"oppers":32542,"ĠcurrentUser":32543,"ĠCatal":32544,"Ġreconc":32545,"Ġconjunction":32546,"lx":32547,"amburg":32548,"Ġinfluential":32549,"danger":32550,"inders":32551,"Ġ%@\",":32552,".configuration":32553,"osome":32554,".identity":32555,"Ġpicker":32556,"nost":32557,"ĠDIY":32558,"August":32559,"ablo":32560,"Leaf":32561,"ĠReco":32562,"cko":32563,"DOC":32564,"ĠHerm":32565,":any":32566,"ĠInterview":32567,"ĠTex":32568,"xfe":32569,"(work":32570,"Ġleap":32571,"Heading":32572,"Ġquarters":32573,"\\Bundle":32574,"reb":32575,"Perhaps":32576,"ĠGmbH":32577,"Birth":32578,"ĉsum":32579,"ĠWatson":32580,".nil":32581,"ç¡":32582,"{}ĊĊ":32583,"icaid":32584,"Getter":32585,"\"name":32586,"Ġ\"čĊ":32587,"_none":32588,"zm":32589,"acute":32590,"uesto":32591,"Ġsous":32592,"Ġrebuild":32593,"Ġnewspapers":32594,"ĠHaz":32595,"Ġkits":32596,"ifo":32597,"Blur":32598,"Ġsuited":32599,"-In":32600,"à¯":32601,"ĠKeith":32602,"ĠNorway":32603,"INIT":32604,"ireccion":32605,"ieties":32606,"_usage":32607,"ĠDoug":32608,"rise":32609,"Ġtrillion":32610,"imited":32611,"ĠREL":32612,"alic":32613,"Ġcriticized":32614,"theorem":32615,"Ġcease":32616,"Ġsidew":32617,"ĠTerry":32618,"Ġsubsidi":32619,"Ġfirmly":32620,"Ġaws":32621,"Ġhott":32622,"Ġdressing":32623,"badge":32624,"ĠApplications":32625,"è¿ĶåĽŀ":32626,"Ġlaughed":32627,"Ġhobby":32628,"Ġmusicians":32629,"Ġ*.":32630,".placeholder":32631,"Ġcounters":32632,"ĠCapitol":32633,"SDK":32634,"Ġhelmet":32635,"andbox":32636,"quit":32637,"Ġcriminals":32638,"Ġteenager":32639,"(update":32640,"Gl":32641,".selection":32642,"Ġdischarge":32643,"Ġpresenting":32644,"ufacturer":32645,"_UNKNOWN":32646,"Ġstressed":32647,"åĻ¨":32648,"Proto":32649,"_correct":32650,"haus":32651,"Ġrenov":32652,"Ġfirearms":32653,"Ġtechnically":32654,"-browser":32655,"Ġcandy":32656,"Stroke":32657,"Ġexecutor":32658,"Ġoccurrence":32659,"ĠIPv":32660,"_INTERFACE":32661,"ĠRetrieve":32662,".bad":32663,"Exchange":32664,"Navbar":32665,"ĠKid":32666,"(getApplicationContext":32667,"_STOP":32668,"ĠBoss":32669,"Listeners":32670,"Ġshooter":32671,"ĠAlb":32672,"äch":32673,"Ġpix":32674,".keyCode":32675,"alone":32676,"Ġabsurd":32677,"ĠCum":32678,"ĠNewtonsoft":32679,"ikt":32680,"Ġlaughing":32681,"Ġcapitalism":32682,"reeNode":32683,"Tx":32684,"_QUERY":32685,".Sleep":32686,"(login":32687,"WebElement":32688,"Ġcelebrating":32689,"Ġdeprecated":32690,"Ġmaar":32691,"Ġartistic":32692,"_ASSOC":32693,"ĠBorderRadius":32694,"ĉwp":32695,"Ġsurvivors":32696,"Inner":32697,"-red":32698,"Ġprosecution":32699,"_pp":32700,"(\"$":32782,"Ġcomma":32783,"unchecked":32784,"graphics":32785,"rors":32786,"GROUND":32787,"(public":32788,"Ġcustomized":32789,"ĠArkansas":32790,"ĠRew":32791,"Ġexpiration":32792,"×ķ":32793,"ĠCul":32794,"Ġnons":32795,".Filter":32796,"Ġsenator":32797,"_definition":32798,"ashington":32799,"ymph":32800,"/J":32801,"Ġfuse":32802,"ramid":32803,"ĠSupplier":32804,"Ġautocomplete":32805,"Ġ}),":32806,".\"ĊĊĊ":32807,"_functions":32808,"ĉto":32809,".eval":32810,"ĠTObject":32811,"References":32812,"Ġheated":32813,"HAL":32814,"Ġ))}Ċ":32815,"}$":32816,"ĠBarr":32817,"_UNIT":32818,"+$":32819,"ĠgetValue":32820,"iped":32821,"chied":32822,"(vm":32823,"cue":32824,"_integer":32825,"_course":32826,"third":32827,"Ġrevised":32828,"**/Ċ":32829,"_DIRECT":32830,"OutOf":32831,"(\"(":32832,"ĠFeel":32833,"Ġreass":32834,"Ġsubtitle":32835,"peri":32836,"nf":32837,"Ġenjoys":32838,"Ġtreats":32839,")this":32840,"-tabs":32841,"ancers":32842,"Ġcontinent":32843,"Ġcardio":32844,"Ser":32845,".question":32846,"Ġphrases":32847,"Validators":32848,"Ġpopul":32849,"ĠlÃŃ":32850,"song":32851,"_INTERNAL":32852,"Ġadviser":32853,"Ġpuzz":32854,"Ġambitious":32855,"ĠTob":32856,"ĠDP":32857,"Ġpresidency":32858,"Ġsurrender":32859,"Ġwatches":32860,"_binary":32861,"ĠSoon":32862,"Ġcanada":32863,"(\"\")Ċ":32864,"]='":32865,"ĠBrandon":32866,"epsilon":32867,"rw":32868,".addChild":32869,".Copy":32870,"Principal":32871,"Photos":32872,"Ġmarginal":32873,"Ġbasics":32874,"eing":32875,"Must":32876,"_String":32877,"Ġole":32878,"Magento":32879,".customer":32880,"(prev":32881,"ล":32882,"Ġloyalty":32883,"Cog":32884,"Ġprotocols":32885,"ĠCompanies":32886,"Ġtheoretical":32887,"Ġaccessing":32888,"ĠZen":32889,".ones":32890,"attice":32891,"_world":32892,"zes":32893,"Ġtattoo":32894,"Ġmenos":32895,"Ġintersect":32896,"\"];ĊĊ":32897,"belie":32898,"Ġinactive":32899,".readline":32900,"-labelled":32901,".done":32902,"lickr":32903,"ĠWORK":32904,"Ġderivative":32905,"Ġdatabases":32906,"âĤĤ":32907,"Ġsx":32908,".isArray":32909,"Ġys":32910,"Ġpada":32911,"ĠBullet":32912,"(`/":32913,"isActive":32914,"ĠCGSize":32915,"(equalTo":32916,"ĠColumbus":32917,"Ġmarry":32918,"DEV":32919,"_limits":32920,"rones":32921,"IAS":32922,"Ġtau":32923,"mino":32924,"_Write":32925,"ĠWine":32926,"Ġ[['":32927,"ĠPull":32928,"riters":32929,"rients":32930,"Ġshifting":32931,"upp":32932,"_TIMER":32933,"ĠConditions":32934,"ấ":32935,"ĠOrders":32936,"ĠStrength":32937,"æīĢ":32938,"Ġvalidity":32939,"Ġfot":32940,"etur":32941,"Ġbolt":32942,"åĨħ":32943,"ĠAlong":32944,"oshi":32945,"Ġassumptions":32946,"Ġmagazines":32947,"_SPI":32948,"Ġpunt":32949,"_PRODUCT":32950,"Ġrelay":32951,"ĠJavascript":32952,".te":32953,"-es":32954,"Ġwidgets":32955,"(fs":32956,"\";":33023,"atching":33024,"ĠKnowledge":33025,"ĉThe":33026,";margin":33027,"lessness":33028,"opard":33029,"umatic":33030,"()));čĊ":33031,"Ġfals":33032,"(cache":33033,"TypeId":33034,"éĢļ":33035,"_choice":33036,"ĠGoth":33037,"ĠSites":33038,"MG":33039,"_border":33040,"Indices":33041,"Comparer":33042,"ĠRedistribution":33043,"Ġcloset":33044,"Ġversatile":33045,"Inputs":33046,"********************":33047,"Ġobesity":33048,"quiz":33049,"gra":33050,"(global":33051,"åĬ¡":33052,"Ġcollector":33053,"Ġkor":33054,"ovable":33055,"ADC":33056,"ĠEventHandler":33057,".nc":33058,"Ġplayback":33059,"ientos":33060,"_perm":33061,"_WARNING":33062,"ĠOlympics":33063,".norm":33064,"ĠBroadcast":33065,"_small":33066,"drive":33067,".iloc":33068,"Ġtyped":33069,"MEM":33070,"_cons":33071,"DMETHOD":33072,"Ġlun":33073,".distance":33074,"(par":33075,"poon":33076,"Ġbast":33077,"activities":33078,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":33079,":čĊčĊ":33080,"SER":33081,")&&":33082,"_lst":33083,"ĠPolish":33084,"Ġknocked":33085,"Ġfrustration":33086,"aukee":33087,"Ġphosph":33088,"iquid":33089,"_coeff":33090,"æѤ":33091,"Latest":33092,"ĠDust":33093,"Tipo":33094,"Ġmaintains":33095,"Ġmarsh":33096,"incinn":33097,"lbl":33098,"Care":33099,"Ġneighborhoods":33100,"_gpio":33101,"ĠArsenal":33102,"Dem":33103,"ĠWhe":33104,"_hook":33105,"Ġldc":33106,"ĠHarper":33107,"ĠBerkeley":33108,"Ġgraduated":33109,"Percent":33110,"Ġarriving":33111,"ĠAdventure":33112,"(scope":33113,"('*":33114,"quarter":33115,"ĠMarie":33116,"Speaking":33117,"_codegen":33118,"Ġimmun":33119,"caster":33120,"ãĤĮ":33121,"åķĨ":33122,"ĠDimensions":33123,".record":33124,"Ġtexto":33125,"ĠMichelle":33126,"Pending":33127,"(by":33128,"_PAR":33129,"ucht":33130,"bee":33131,".Thread":33132,"ampire":33133,"know":33134,"ĠClinical":33135,"ĠmarginBottom":33136,"Ġdistinguish":33137,".Full":33138,".undefined":33139,"ĠSequelize":33140,"############################################################################":33141,"Ġeducated":33142,"_OVER":33143,"åºı":33144,"ĠÂłĠÂł":33145,"_each":33146,"Ġurge":33147,"depart":33148,"Ġdonors":33149,"ĠAu":33150,"Ġbillions":33151,"Ġbelonging":33152,"_age":33153,"_Int":33154,"Ġsubstances":33155,"machine":33156,"!!!ĊĊ":33157,"Ġjsonify":33158,"ibbean":33159,"ĠCad":33160,"ĠendTime":33161,"Ġcycling":33162,"ĠUITextField":33163,"Ġleverage":33164,"Ġvanilla":33165,"eat":33166,"Launch":33167,"(pt":33168,"states":33169,"ĠControls":33170,"ĠRespons":33171,"ĠJake":33172,"Ġasleep":33173,"fortunate":33174,".nextLine":33175,"SizeMode":33176,"ìĿ¼":33177,"TestingModule":33178,"German":33179,"ĠInvestig":33180,".reverse":33181,"ĠBACK":33182,"(DateTime":33183,"Ġnonprofit":33184,"ĠExpect":33185,"Ġtanto":33186,"']),":33187,"ĉthe":33188,"Multiple":33189,"(getActivity":33190,"_WAIT":33191,"Ġjá":33192,"decor":33193,"levance":33194,"ĠGitHub":33195,"mination":33196,"_quantity":33197,".Scanner":33198,"ĠLion":33199,"éĶĻ误":33200,"Ġdre":33201,"Ġtantra":33202,"ĠcontentType":33203,"Ġfid":33204,"_alt":33205,"NSIndexPath":33206,"-pl":33207,"åĮĸ":33208,"Ġantibiot":33209,"tables":33210,"acial":33211,"ĠRegistry":33212,"Ġolive":33213,"igers":33214,"Ġsubscriber":33215,"_pres":33216,"ĠSyntax":33217,"Ġlovers":33218,".Byte":33219,"olders":33220,"_forward":33221,"always":33222,"Caption":33223,"Priv":33224,"ĠTampa":33225,"isateur":33226,"-labelledby":33227,"ĠToString":33228,"ĠìĤ¬":33229,"Ġinitiated":33230,"WF":33231,"Ġinstitutional":33232,"inject":33233,"ĠScr":33234,"Ġdoctrine":33235,"Ġspacious":33236,"isure":33237,"ĠAna":33238,"\"time":33239,"essaging":33240,"Ġcid":33241,"ĠNan":33242,"Ġincomplete":33243,"TAG":33244,"-build":33245,"December":33246,"Ġresidual":33247,"(PDO":33248,"ĠListen":33249,"Ġglyph":33250,"Ġgaps":33251,"nea":33252,".Rect":33253,"Ġsau":33254,"ĠPhotograph":33255,"Ġexecutable":33256,"ĠExpert":33257,"Coroutine":33258,"_sizes":33259,"ĠNL":33260,".isValid":33261,");}Ċ":33262,"-reg":33263,"Ġciting":33264,"cwd":33265,"ĠOttawa":33266,"ĠBatt":33267,"Ġrenewable":33268,"Ġpreliminary":33269,"Ġasylum":33270,"Ġwrist":33271,"Ġutiliz":33272,"Ġdetention":33273,"Fast":33274,"Ġange":33275,"incinnati":33276,"Ġsteering":33277,"ĠNaN":33278,"iosity":33279,"/page":33280,"Ġè¿":33281,"sterol":33282,"Ġdisg":33283,"(DB":33284,"ĠDESCRIPTION":33285,"Ġ_$":33286,"Ġobstacle":33287,"Ġbizarre":33288,"Ġextraction":33289,"_expected":33290,"Ġloses":33291,"ĠCelebr":33292,"ĠhtmlFor":33293,"Ġexploit":33294,"олÑĮзов":33295,"XYZ":33296,"Ġmagnet":33297,"amped":33298,"Ġatoms":33299,"Sources":33300,"pectives":33301,"Ñģли":33302,"Ġ=čĊ":33303,"Ġdare":33304,"ĠWalter":33305,"Ġbrightness":33306,"Ġannotations":33307,"ëı":33308,"iske":33309,"Schedule":33310,".images":33311,"rosso":33312,"Ġ\"..":33313,"gamma":33314,"Ġinstructor":33315,"Ġoverwrite":33316,"-am":33317,"Ġdevastating":33318,"ĠSaints":33319,"Ġhs":33320,"Ġbonuses":33321,"$output":33322,"ijd":33323,"(ActionEvent":33324,"monitor":33325,"Ġmattress":33326,"January":33327,".jp":33328,"Ġcaracter":33329,"Ġimpose":33330,"_rest":33331,"ĠSignature":33332,"Ġcoronavirus":33333,"ãģĬ":33334,"_compare":33335,"Measure":33336,"itated":33337,"elijk":33338,"igos":33339,"esar":33340,"Ġrushed":33341,"metry":33342,"_SEPARATOR":33343,"_WE":33344,"_ATTRIBUTE":33345,"Ġyaml":33346,"Ġspecs":33347,"ĠRah":33348,"pheric":33349,"ĠInvestment":33350,"äll":33351,"Ġappealing":33352,"Ġviewport":33353,"ç©":33354,"ĠmarginLeft":33355,"Ġsubtract":33356,"ĠEDIT":33357,"ĉArrayList":33358,"grading":33359,"ĠFailure":33360,"asper":33361,"EEK":33362,"(now":33363,")Ċ":33379,"Collision":33380,"ĠGreater":33381,"ĠRacing":33382,"alan":33383,"Ġmonetary":33384,",new":33385,"ĠSorry":33386,".Enable":33387,"ĠInstantiate":33388,"ollen":33389,"ë©´":33390,"ĠCalling":33391,"_hour":33392,"ADA":33393,"Ġshy":33394,")**":33395,"Ġ==>":33396,"Ġespecial":33397,"Ġinterpreted":33398,"!=\"":33399,"Ġpharmacy":33400,".single":33401,"ĠCialis":33402,"Ġparas":33403,".toUpperCase":33404,"ĠDemon":33405,"Prime":33406,"Ġrankings":33407,"Adding":33408,"_HASH":33409,"ĠExam":33410,"Ú©":33411,"ĠVictor":33412,"Okay":33413,"\"];čĊ":33414,"Ġfortune":33415,"ĠFETCH":33416,"expand":33417,".Interop":33418,"Ġbarn":33419,"æ¶Ī":33420,"uevo":33421,"Ġspeculation":33422,"âĶĢâĶĢâĶĢâĶĢ":33423,"ĠNu":33424,"ĠBlues":33425,"(fname":33426,"Ġinhabit":33427,"Ġ\\\"%":33428,"CES":33429,"ulario":33430,"_cr":33431,"Ġvalidated":33432,"Ġmidnight":33433,"anking":33434,"Ġincorporate":33435,"Ġpursuit":33436,"EXP":33437,"prime":33438,"Pid":33439,"-US":33440,"ĠNurs":33441,"ĠWheel":33442,"éĺ":33443,"Ġinp":33444,"Ġsupportive":33445,".member":33446,"ĠShot":33447,".CheckBox":33448,"Ġaffirm":33449,"Tor":33450,"FullYear":33451,"Ġconsiderably":33452,"credentials":33453,"_opts":33454,"Roll":33455,"(round":33456,"Ġcoment":33457,"_UART":33458,"Ġextending":33459,"RG":33460,"resultado":33461,"itu":33462,".getSession":33463,"Ġattraction":33464,"&D":33465,"$html":33466,"ĠJessica":33467,"ĠAssociate":33468,"añ":33469,"_ed":33470,"ĠLag":33471,"Ġorigins":33472,"())->":33473,"addEventListener":33474,"IALOG":33475,"åIJ¦":33476,".Compare":33477,"Album":33478,"ĠKu":33479,"\";ĊĊ":33523,"quisite":33524,"channels":33525,"/res":33526,"ĠAnalytics":33527,".appcompat":33528,"/to":33529,"ĠonError":33530,"(attr":33531,"IRM":33532,"Ġragaz":33533,"-as":33534,".Second":33535,"oriented":33536,"Ġdonn":33537,"Ġlightning":33538,"fid":33539,"ĠPle":33540,"ãģ¾ãģĻ":33541,"tro":33542,".True":33543,"Observable":33544,"×Ļ":33545,"umbing":33546,"Ġprospective":33547,"-filter":33548,"Ġpursuant":33549,"(points":33550,".Bind":33551,"Ġpalm":33552,"clearfix":33553,"ös":33554,"ĠGonz":33555,"Ġweaken":33556,"Drive":33557,"enido":33558,"lld":33559,"obox":33560,"anean":33561,"Got":33562,"ä¿Ŀ":33563,"Regex":33564,"æĥ":33565,"Ġsalad":33566,"assis":33567,"\"net":33568,"inheritDoc":33569,"ĠRV":33570,"quier":33571,"Ġclazz":33572,"Ä±ÅŁ":33573,"osterone":33574,"Ġairline":33575,".listdir":33576,"Ġdownloading":33577,"ĠPalm":33578,"waukee":33579,"<":33580,".BL":33581,"_INLINE":33582,"offs":33583,"<<(":33584,"_news":33585,"Ġchase":33586,"/><":33587,"Ġeuros":33588,"ĠEgyptian":33589,"ĠStainless":33590,"_BOOL":33591,"ĠGuild":33592,"ĠDynam":33593,"[indexPath":33594,"Ġï":33595,"Ġmemorable":33596,"ĠChampion":33597,"ResourceManager":33598,".Login":33599,"ĠFormer":33600,"yped":33601,"Ġlleg":33602,";\",":33603,"DWORD":33604,"Ġtaxi":33605,"Ġbombs":33606,"rah":33607,".tags":33608,"_tests":33609,"stones":33610,"âĢĿ)":33611,"[g":33612,"rtype":33613,"Ġvu":33614,"Ġhostile":33615,"Chars":33616,"ĠPatriots":33617,"/status":33618,"());Ċ":33972,"ajÄħ":33973,"_OCC":33974,"Ġplanets":33975,"æŁ¥":33976,"ĠDublin":33977,"Ġserie":33978,".printf":33979,"deep":33980,"`)":33981,"Ġ\\$":33982,"Ġμ":33983,"_VIDEO":33984,"endors":33985,"ĠCrypto":33986,"Far":33987,".Transparent":33988,".TR":33989,"iasm":33990,"_training":33991,"Ġteaches":33992,"ĠBelt":33993,"Ġlimiting":33994,"ĠKath":33995,"ĠIndexPath":33996,"Ġachievements":33997,"Ġserá":33998,"interopRequire":33999,"Ġdisse":34000,".If":34001,"arming":34002,"ulsion":34003,"Po":34004,"_DETAIL":34005,"Prototype":34006,"ĠCAL":34007,"Ġagrees":34008,".vo":34009,".ExecuteNonQuery":34010,"ĠTopic":34011,"Ġ'{}":34012,"Arm":34013,"Ġecc":34014,"Mag":34015,"Ġserialized":34016,"ĉconn":34017,"cached":34018,"=tf":34019,"ĠByteArray":34020,"protobuf":34021,"varchar":34022,"ĉASSERT":34023,"Ġliste":34024,"_trigger":34025,"·¸":34026,"Feel":34027,"Tahoma":34028,"ĠLik":34029,"Ġstructured":34030,"ergus":34031,".Initial":34032,"_ge":34033,"cljs":34034,".contact":34035,"Ġandere":34036,"$stmt":34037,"_CURRENT":34038,"ĠDiscover":34039,"$res":34040,"formatter":34041,"Ha":34042,"vangst":34043,"Ġemerge":34044,"ãĢĤâĢĿ":34045,"ĠCabinet":34046,"-square":34047,"éĥ¨":34048,"Ġrage":34049,"ĠAJ":34050,"ĠVT":34051,"shadow":34052,"ĠFaith":34053,"enames":34054,"pretty":34055,"hasil":34056,"party":34057,"Ġvarchar":34058,"Ġfotos":34059,"Ġalum":34060,"ĠBelgium":34061,".ylabel":34062,"Ġdej":34063,"_numbers":34064,"Ġhu":34065,".setAdapter":34066,"ĠUsually":34067,"(sample":34068,".Shared":34069,"Ġbooked":34070,"Ġ>>=":34071,"Ġminerals":34072,"\">":34091,"prog":34092,"boo":34093,"_md":34094,"_pack":34095,"(express":34096,"utz":34097,"\\Auth":34098,",id":34099,"ĠChile":34100,"actice":34101,"Ġrecruitment":34102,"Ġposes":34103,"Ġvulnerability":34104,"instanc":34105,"orum":34106,"dess":34107,"Ġxl":34108,"%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%":34109,"(fig":34110,"Ġdeleting":34111,".del":34112,")')Ċ":34113,"ĠWeekly":34114,"???":34115,"(strcmp":34116,"smith":34117,"Ġpursuing":34118,"-so":34119,"ĠApps":34120,"/'Ċ":34121,"Ġdecis":34122,"FORE":34123,"Everyone":34124,"Ġlanes":34125,"Virtual":34126,".attach":34127,"(Log":34128,"ĠMedicaid":34129,"(Path":34130,"ĠTurner":34131,"/application":34132,"Ġportrait":34133,"Ġoppose":34134,"checkout":34135,"Ġfinishes":34136,"_ME":34137,"Barrier":34138,"Song":34139,"VAR":34140,"Earlier":34141,"rella":34142,"Ġhast":34143,"azar":34144,"Ġpulls":34145,"ngx":34146,"Ġinspiring":34147,"ÑĥÑİ":34148,"-direction":34149,"Ġexplosive":34150,"ĠcreatedAt":34151,"sto":34152,"Ġwheat":34153,"ĠBuilt":34154,"'ai":34155,"Ġtracked":34156,"hammad":34157,"RowAtIndexPath":34158,"_heap":34159,"Due":34160,"Ġconnects":34161,".publish":34162,"emu":34163,"Ġbullets":34164,"BAR":34165,"olate":34166,"Ġinternally":34167,"Ġcatching":34168,"-password":34169,"ouched":34170,"æĢ§":34171,"eous":34172,"Ġxrange":34173,"Quality":34174,"vv":34175,"Manage":34176,"(($":34177,"acements":34178,"ĠBrothers":34179,"ĠHEAD":34180,"ĠUnsupported":34181,"san":34182,"esi":34183,"***Ċ":34184,"Ġadaptation":34185,"ĠWorker":34186,"']/":34187,".savefig":34188,"(trans":34189,"ج":34190,"nee":34191,"Correct":34192,"...\")Ċ":34193,"Ġsubmitting":34194,"-path":34195,"ĉlast":34196,"issan":34197,".xlabel":34198,"ĠSepar":34199,"/no":34200,"_best":34201,"ĠMills":34202,"_sock":34203,"(flag":34204,"Ġdestinations":34205,"emption":34206,"ĠFAIL":34207,"åĴĮ":34208,"Ġrp":34209,"fact":34210,"ĉlen":34211,"DAY":34212,"Ġseiz":34213,"_dst":34214,"lip":34215,".Linear":34216,"ĠBasket":34217,"$t":34218,"$i":34219,"-brand":34220,"ĠNeil":34221,"ĠEq":34222,"Ġthou":34223,"ogene":34224,"Ġscholarship":34225,"æĽ´":34226,"Ġswo":34227,"aginator":34228,"eni":34229,"(book":34230,"Ġblink":34231,"thus":34232,"ĠcancellationToken":34233,"ĠPalestinians":34234,"Ġprofitable":34235,"Ġbackpack":34236,"enson":34237,"true":34384,"ĠNYC":34385,"Ġbored":34386,"ĠDetect":34387,"Ġappar":34388,"Ġjeans":34389,"ĠTak":34390,"IOD":34391,"ĠHorse":34392,"(FILE":34393,"(?":34394,"rique":34395,"optimizer":34396,"nat":34397,"loys":34398,"ĉToken":34399,"oubted":34400,"uess":34401,"ocoa":34402,"DataMember":34403,"_POWER":34404,"classList":34405,"PushButton":34406,"ĠWiFi":34407,".Stream":34408,".guild":34409,"Ġnog":34410,"ĠPortugal":34411,"ĠUnter":34412,"Primitive":34413,"boss":34414,"ĠDeutsch":34415,"Ġerotic":34416,"Ġstrconv":34417,".TryParse":34418,"Ġgrams":34419,".Success":34420,"_pk":34421,"ĠHarvey":34422,"-minded":34423,".country":34424,"[]\"":34425,"Ġangel":34426,"Ġbeats":34427,"ĠVor":34428,"ilio":34429,".master":34430,"something":34431,"ĠPACK":34432,"(if":34433,"RequestBody":34434,"Ġantes":34435,"/widget":34436,"Ġmodo":34437,"ĠAW":34438,"finder":34439,"Ġoptimized":34440,"Ġmissiles":34441,"NB":34442,"ĉinternal":34443,"tex":34444,"ĠSri":34445,"Ġdamaging":34446,"ĠMais":34447,"-Allow":34448,"ĠZh":34449,"-alt":34450,"Ġ));ĊĊ":34451,"èī":34452,"Ġinfluences":34453,"Ġcatal":34454,"_REGISTER":34455,"ĠAPIs":34456,"-century":34457,"Ġbiology":34458,"ĠActual":34459,"Ġheels":34460,"TRACE":34461,"_DIG":34462,"Dataset":34463,"ĠMatter":34464,"Ġclassifier":34465,".wikipedia":34466,"ĠRogers":34467,"Ġdonated":34468,"rawler":34469,"enen":34470,"Ġcasinos":34471,"ortal":34472,"Ġprive":34473,"spe":34474,"ducers":34475,".ep":34476,"Ġgrasp":34477,"acji":34478,"Ġdairy":34479,"Ġbuses":34480,".comm":34481,".ins":34482,"ĠIRS":34483,"ĠBeer":34484,"adc":34485,"oard":34486,"_MET":34487,"Ġ'+'":34488,"rans":34489,"Ġkinda":34490,"ĠâĶĤ":34491,"ĠMaur":34492,"аг":34493,"Ġbandwidth":34494,"ibus":34495,"ĠDifferent":34496,"(mat":34497,"ĠResume":34498,"_UNS":34499,"establish":34500,"Ġfonction":34501,"Subscription":34502,"_company":34503,"Ġlightly":34504,".confirm":34505,".yaml":34506,"ĠBoost":34507,"Commerce":34508,"-template":34509,"_DELAY":34510,"ĠHI":34511,"Ġnavig":34512,"(Sender":34513,"ĠHS":34514,"_\"+":34515,"ĠREQUEST":34516,"Ġwifi":34517,"=\"\"Ċ":34518,"])->":34519,"Ġrope":34520,"Ġviolated":34521,"Ġglance":34522,"ĠKurd":34523,"Ġè®":34524,"deck":34525,"ĠISBN":34526,"Ġinfect":34527,"ĠFoo":34528,"Ġgetter":34529,"Ġtener":34530,"appe":34531,".hh":34532,"_hot":34533,"\".$":34743,"Ġrelies":34744,"(Console":34745,"International":34746,"->{$":34747,"Mid":34748,"Ġdissert":34749,"dds":34750,"Ġdeposits":34751,"ĉdriver":34752,"#ga":34753,"prising":34754,"println":34755,"Ġpresenter":34756,"Ġmines":34757,"CSS":34758,"ĠDual":34759,"(!(":34760,"Ġkam":34761,"ĠisLoading":34762,"ĠProtect":34763,".upper":34764,"arium":34765,"]:ĊĊĊ":34766,"Yii":34767,"-shirt":34768,"ĠIMAGE":34769,"_colors":34770,"Ġurgent":34771,".Container":34772,"!(Ċ":34773,"Saturday":34774,"Ġsocieties":34775,"ĠThan":34776,"ĠCod":34777,"=@":34778,"Ġattachments":34779,".mobile":34780,"Ġspite":34781,"Ġbounce":34782,"rawl":34783,"instancetype":34784,"ĠTruck":34785,"Ġmanipulation":34786,"(Config":34787,"-inst":34788,"Ġstor":34789,"itution":34790,"PreferredGap":34791,"ĠmainAxisAlignment":34792,"Ġlistened":34793,"'''ĊĊ":34794,"ottage":34795,"-project":34796,".APPLICATION":34797,"ĉroot":34798,"Ġwhit":34799,"Ġbilder":34800,"Ġker":34801,"Ġappliances":34802,"rowave":34803,"ìĿĢ":34804,"ematics":34805,"ĠOrg":34806,"oping":34807,"_SEARCH":34808,"Ġcham":34809,"addContainerGap":34810,"Ġ().":34811,"ĠArrow":34812,"Illegal":34813,"Currently":34814,"Ġusa":34815,"Ġpasswords":34816,"Ġrenown":34817,"avern":34818,"ĠEvil":34819,"Ġconcat":34820,"Ġduo":34821,"Ġvale":34822,"ĠBean":34823,"Ġindicators":34824,"cmath":34825,"ĠPump":34826,"November":34827,"ificant":34828,"_DOMAIN":34829,"regar":34830,"ĠPortal":34831,"\"$":34832,"Ġformerly":34833,"\"]:Ċ":34834,"ĠVisibility":34835,".getElementsByClassName":34836,"_RED":34837,"Ġchampions":34838,"à´":34839,"Valor":34840,"_es":34841,"*a":34842,"-repeat":34843,"Band":34844,".stage":34845,"Ġbureauc":34846,"Cnt":34847,"eten":34848,"-function":34849,"Ġmuito":34850,"PID":34851,"_editor":34852,"Ġcrashed":34853,"dead":34854,"kat":34855,"agh":34856,"ĠEXT":34857,"asser":34858,"-small":34859,"Ġrealiz":34860,"(Entity":34861,"ús":34862,"ĠActually":34863,"ĠElite":34864,"Ġhelm":34865,"(nonatomic":34866,"asher":34867,"Community":34868,"alleng":34869,"iry":34870,"ĠGrowth":34871,"Ġsue":34872,"Ġfrequencies":34873,"_descriptor":34874,".Attribute":34875,"Ġrecipients":34876,"_NS":34877,"/\"+":34878,"iban":34879,"Ġathlete":34880,"ĠIgn":34881,"_DMA":34882,"(ds":34883,"ĠRequirements":34884,"ADI":34885,"erez":34886,"\\Admin":34887,"braska":34888,"ĠRust":34889,"Relation":34890,"COD":34891,"ĠVERSION":34892,"emma":34893,")){":34894,".Duration":34895,"ĠCamb":34896,"-logo":34897,"Ġreadable":34898,"Ġcreators":34899,"()];Ċ":34900,"UpDown":34901,"-half":34902,".getMonth":34903,"(sf":34904,"Pic":34905,"Ġhunger":34906,".tx":34907,"Ġexceeded":34908,"_seed":34909,"(^":34910,"_sk":34911,".perform":34912,"Ġ>::":34913,"Ġmongo":34914,"=float":34915,"bindParam":34916,"Smart":34917,"ifa":34918,"Ġsecurities":34919,"Ġprejud":34920,"Ġ,\"":34921,"Ġcorps":34922,"Ġvra":34923,"amacare":34924,"iterr":34925,"(Media":34926,"uche":34927,"Ġcob":34928,"Ġliber":34929,".geometry":34930,"Locator":34931,"Ġsliding":34932,"Ġsurgical":34933,"_CUR":34934,"Ġconsect":34935,"[*":34936,"ĠResort":34937,"Stub":34938,"_DOUBLE":34939,"ĠSoph":34940,"Ġelectoral":34941,"_disable":34942,"ĠÑģо":34943,"ĠLightning":34944,"Ġmentions":34945,"ocy":34946,"Ġleaked":34947,"Ġrelaxing":34948,"Presenter":34949,"vsp":34950,"Ġguilt":34951,"=-=-":34952,".reply":34953,"ĠMirror":34954,"Camp":34955,"Ġ+#+#+#+":34956,"Ġ+#+#+#+#+#+":34957,".Author":34958,"Ġdirective":34959,"-hook":34960,"íĦ°":34961,"}ĊĊĊĊĊ":34962,"@pytest":34963,"_rand":34964,"mis":34965,"Ġcolorful":34966,"uje":34967,"lasses":34968,"ĠClasses":34969,".have":34970,"%),":34971,"é¢ĺ":34972,"Ġdisturbing":34973,"substring":34974,"ĠKoh":34975,"Invest":34976,"purchase":34977,"Ġrecycling":34978,"ĠART":34979,"ierarchy":34980,"Ġfps":34981,".checkBox":34982,"íķ´":34983,"_material":34984,"ducation":34985,"Ġfw":34986,"udit":34987,"Ġreviewing":34988,"ĠSid":34989,"Syntax":34990,"ĠWritten":34991,"argar":34992,"UME":34993,"/q":34994,"Classifier":34995,"Official":34996,"Ġjazz":34997,"Ġomega":34998,"Physics":34999,"Ġlugar":35000,"_accessor":35001,".commands":35002,"Ability":35003,"ĠBatch":35004,"RAM":35005,"Ġencounters":35006,".Qu":35007,"BYTE":35008,"ĠDistribution":35009,"Ġuso":35010,"ĠRecovery":35011,"approved":35012,"Ġdenial":35013,"/share":35014,"LinkedList":35015,")čĊčĊčĊ":35016,"uddy":35017,"Ġfines":35018,"Ġry":35019,"Unicode":35020,"ĉrender":35021,"Ġpremises":35022,"Ġpon":35023,"aliases":35024,"/Foundation":35025,"cuda":35026,"ĠCock":35027,",:)":35028,"(folder":35029,"Ġméd":35030,"drag":35031,"Ġtalents":35032,"ĠĠĠĊĊ":35033,"еÑģÑĤв":35034,"mob":35035,".yml":35036,"Ġaster":35037,"Ġdiscre":35038,"goal":35039,"ĠGTX":35040,"ĠSUCCESS":35041,"ĠLONG":35042,"(find":35043,"Ġsingular":35044,"_sz":35045,"ĠEthereum":35046,"..Ċ":35047,"Ġirres":35048,"')){Ċ":35049,"Ġministers":35050,"Steps":35051,"iversal":35052,"ĠNevertheless":35053,"-led":35054,"Ġ(%)":35055,"ç¡®":35056,"Ġtimezone":35057,"Ġstranger":35058,"(render":35059,"Ġshutil":35060,"Ġmph":35061,"Ġtrio":35062,"ppy":35063,"Ġpredomin":35064,"Ġendors":35065,"ĠRussians":35066,"ĉrow":35067,"Ġwizard":35068,".serialize":35069,"Ġcomplained":35070,"Ġsido":35071,"Ġdelighted":35072,"-me":35073,"ĠRav":35074,"Human":35075,"adays":35076,"recv":35077,"Working":35078,"Jump":35079,"ĠÃ¥r":35080,"ĠAutomatic":35081,"_Base":35082,"æł¼":35083,"aurants":35084,"¯":35085,"æ¸":35086,"(CType":35087,"IFI":35088,"(amount":35089,"Ġbelieving":35090,"=mysql":35091,"Ġfir":35092,"Ġrestoration":35093,"ereco":35094,"Т":35095,"_'+":35096,"Ġebook":35097,"Ġdebris":35098,"(inputs":35099,"AYOUT":35100,"Ġscreaming":35101,"avia":35102,"lander":35103,"Ġdistress":35104,"Ġassembled":35105,"ĠAvoid":35106,"(thread":35107,"ĠRPC":35108,"_EXIT":35109,"(queue":35110,"иÑģÑĤ":35111,"Dll":35112,"Ġskull":35113,"_pub":35114,"chez":35115,"minate":35116,"ensen":35117,"Ġinsane":35118,"bounds":35119,"ĠRosen":35120,"Ġconditioning":35121,"processed":35122,"videos":35123,"four":35124,".Conv":35125,"|;Ċ":35126,"Personal":35127,"cerpt":35128,":UIControlStateNormal":35129,"Ġdoses":35130,"ĠKarl":35131,"ĠFrequ":35132,".BASE":35133,"ĠVote":35134,"Ġconcurrent":35135,"ĠMessageBoxIcon":35136,"ĠÃĸ":35137,"ĠDubai":35138,"ĠRetail":35139,":number":35140,"ĠObserver":35141,"ĠBigInteger":35142,"_origin":35143,"_WORK":35144,"Frames":35145,"Ġnotably":35146,".âĢľ":35147,"Ġtropical":35148,"Ġniche":35149,"amina":35150,".sys":35151,"(tokens":35152,"modify":35153,"osit":35154,"strom":35155,"ĠComics":35156,"OPTION":35157,"Ticket":35158,"Ġfactories":35159,"Ġdisput":35160,"_File":35161,"ĠFinn":35162,"eee":35163,"ĠDiscord":35164,"_money":35165,".tpl":35166,"_safe":35167,"LB":35168,"Ġglut":35169,"JK":35170,".flow":35171,"-cont":35172,"gos":35173,"Ġhorizon":35174,"ĠRush":35175,"::*":35176,"Pipe":35177,"ulla":35178,"borough":35179,"heimer":35180,"(move":35181,"(Text":35182,"});čĊčĊ":35183,"welcome":35184,"ĠComponents":35185,"Ġgovernance":35186,"closed":35187,"ĉmargin":35188,"Ġlaundry":35189,"ĠTerminal":35190,"izards":35191,".âĢĶ":35192,".remote":35193,".radius":35194,"ĠQuebec":35195,"Ġdh":35196,"Tech":35197,"ĠMist":35198,"seller":35199,"_literal":35200,"Ġgenius":35201,"Ġbrains":35202,"gem":35203,"ĠMeasure":35204,"Ġcatast":35205,"rance":35206,".TextField":35207,"Ġconsuming":35208,"Ġ'\\''":35209,"oubtedly":35210,"ĠCertain":35211,"Ev":35212,"erti":35213,"being":35214,"Experience":35215,"Ġ//[":35216,"ĠArabic":35217,"ĠCrist":35218,"ĠAzure":35219,"Ġhora":35220,"ladesh":35221,"\\Blueprint":35222,"dar":35223,".rel":35224,"Ġsuprem":35225,"ĠReagan":35226,"ĠAttributes":35227,"-sidebar":35228,"ĠuseStyles":35229,"ĠAirlines":35230,"Ġhills":35231,"/xhtml":35232,"vinc":35233,"_mock":35234,"ĊĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":35235,"ĠPill":35236,".LayoutStyle":35237,"ĠCommander":35238,"]<":35239,"signature":35240,"Ġ{}čĊ":35241,"Ġhatred":35242,"Ġëĭ":35243,"olesterol":35244,"Ġ********":35245,"ancellor":35246,"crop":35247,"TIM":35248,"ĉĉĊĊ":35249,"ysqli":35250,"uitive":35251,"ĉunset":35252,"_sel":35253,"Ġmenus":35254,"tick":35255,"Ġconstitute":35256,"ĠElements":35257,"ĠRedis":35258,"aggio":35259,"_fp":35260,"_depend":35261,"emas":35262,"CAST":35263,"orange":35264,"jon":35265,"ĠEmily":35266,"Ġpotatoes":35267,"Ġreceptor":35268,"ĠElectronic":35269,"ĠLights":35270,"Ġcombining":35271,"ĠSomeone":35272,"Ġ########.":35273,"ĠTOD":35274,"/show":35275,"Xd":35276,".\"'":35277,"afx":35278,"Ġtragic":35279,"Styled":35280,"ĠMarco":35281,"Gallery":35282,"dale":35283,".âĢĿĊĊĊĊ":35284,"érie":35285,"/service":35286,"äºĨ":35287,"Ġambient":35288,"_SETTINGS":35289,".Adapter":35290,"lene":35291,"Ġtravels":35292,"Notice":35293,"Ġcleans":35294,"ĠFem":35295,"chair":35296,"Ñĥн":35297,"/my":35298,"_bad":35299,"ĠEconomics":35300,"ISA":35301,"_CNT":35302,"(Menu":35303,"äºİ":35304,"ĠRidge":35305,"Ġlengthy":35306,"Dot":35307,"Ġjumps":35308,"Ġhey":35309,"$pdf":35310,"Ġworm":35311,"Ġsut":35312,"Ġsher":35313,"iamo":35314,"ĠCalc":35315,"trieve":35316,"Ġcops":35317,"ĠChrom":35318,"Ġregulated":35319,"reatment":35320,"ĠHigher":35321,"oks":35322,"Ġdeze":35323,"LOCATION":35324,"ongsTo":35325,"Ġfinite":35326,"Ġvaries":35327,"Ġpositioned":35328,"'il":35329,"éĩij":35330,"Ġhike":35331,"(done":35332,"playlist":35333,"Ġada":35334,"Ġcoastal":35335,"ĠNancy":35336,".DateTimeField":35337,"CppCodeGen":35338,"ĠSimilarly":35339,"reur":35340,"ĠContr":35341,"ĠHidden":35342,"ĠBeta":35343,"atched":35344,"_install":35345,".Output":35346,"Lookup":35347,"ĠRichmond":35348,"quared":35349,"Ġmanga":35350,"-controls":35351,"ĠBernard":35352,"Large":35353,"Ġslices":35354,"Ġoffence":35355,"ĠMega":35356,"Ġestar":35357,"Ġjoints":35358,"Ġsumm":35359,"_platform":35360,"Buff":35361,".addSubview":35362,"Ġretained":35363,"Letter":35364,".dim":35365,"Ġessere":35366,"ĠScaffold":35367,"EXPECT":35368,"ĉRE":35369,".longitude":35370,"ünd":35371,"Ġstatue":35372,".addWidget":35373,"ĠCaribbean":35374,"addPreferredGap":35375,"ilde":35376,"UILabel":35377,"ĠOpport":35378,"Ġimperial":35379,"ursion":35380,"Ġmandate":35381,"Ġpromotional":35382,"Ġvk":35383,"iaÅĤ":35384,"Ġpyl":35385,"ĠCreation":35386,"озд":35387,"Ġsimpler":35388,".what":35389,"ĠRecent":35390,"Storm":35391,".quantity":35392,"ĠLov":35393,"\"-":35394,"ubbles":35395,"_notification":35396,"(world":35397,"urger":35398,"*(-":35399,":\"Ċ":35400,"hm":35401,"anship":35402,"ĠAlmost":35403,"Ġmotorcycle":35404,"_fee":35405,"Ġabsorb":35406,"ĠVincent":35407,"Ġsounded":35408,"ÃŃst":35409,"Ġpharmaceutical":35410,"htag":35411,"ĠKindle":35412,"italize":35413,"ĠEmperor":35414,"oustic":35415,"Ġspecialists":35416,"åħ¬":35417,"BorderStyle":35418,"/\\":35419,"RELATED":35420,"(',',":35421,"(expr":35422,"Ġht":35423,"åįĪ":35424,"_Create":35425,"Ġspecially":35426,"Ġ[];čĊ":35427,"Ġheel":35428,"Ġsept":35429,"_arch":35430,"(initial":35431,"%.ĊĊ":35432,"\\\",\\\"":35433,"Ġdiscusses":35434,"Ġupt":35435,"Ġ[&":35436,"Ġmanus":35437,".hand":35438,"ĠMAIN":35439,"ĠDenmark":35440,"Ġ],čĊ":35441,"Ġcryst":35442,"Ġnack":35443,"Coords":35444,"_inner":35445,"Ġmidst":35446,"Ġawake":35447,"ĠÐŀ":35448,"-break":35449,"ÃŃvel":35450,"_PASS":35451,"ĠParams":35452,"Ġdetr":35453,"Ġspider":35454,"ĠConcept":35455,"Ġprend":35456,"CHED":35457,".Exit":35458,"Ġpopulated":35459,"Ġvirtue":35460,"_SESSION":35461,"Ġnouvel":35462,"oauth":35463,"ĠданнÑĭ":35464,"rink":35465,".HeaderText":35466,"aturated":35467,"Ġerst":35468,"Ġåħ":35469,"à¥ĩ":35470,"_visible":35471,"eyer":35472,"Ġliable":35473,"Ġdebe":35474,"Ġbw":35475,"{-#":35476,"_WIN":35477,"dfs":35478,"Hover":35479,"ĠPUT":35480,"-angle":35481,"Ġnoble":35482,"Ġtraces":35483,"encv":35484,"ĠuserData":35485,"_ins":35486,"ĠSuz":35487,"Ġnewsletters":35488,"ĠModi":35489,"Ġentrepreneurs":35490,"Ġtribute":35491,"Ġrumors":35492,"Ġrr":35493,"ĠQuarter":35494,"ê³ł":35495,"Ġfeeds":35496,"óg":35497,"Ġenvelope":35498,"Ġlear":35499,"Ġkø":35500,"developer":35501,"Similar":35502,":\")Ċ":35503,"subscription":35504,"Modifier":35505,"italic":35506,"Ġnasty":35507,"Ġtermination":35508,"Ġcharming":35509,"ĠâŁ":35510,"tons":35511,".trace":35512,"hots":35513,"ĠUR":35514,"Mont":35515,"Ġjustified":35516,"ĠGang":35517,"inea":35518,"Ġbog":35519,"(ap":35520,"_$":35521,"Ġcontamin":35522,".Dot":35523,"ĉDebug":35524,"(exports":35525,"Ġpaired":35526,"ĠAssignment":35527,"Ġautomobile":35528,"ĵį":35529,"Ġphases":35530,"vw":35531,"@SuppressWarnings":35532,"=\\":35533,"rant":35534,"-ed":35535,"ĉawait":35536,"Ġcertificates":35537,"'>\"":35538,"Ġintact":35539,"CTRL":35540,"Mike":35541,"gregation":35542,"ATTERN":35543,"Ġrepublic":35544,"_upper":35545,"iliary":35546,"Ġcomputation":35547,"hire":35548,"ĠShin":35549,"_ANY":35550,"ĠManufacturer":35551,"ĠCarm":35552,"Ġbearings":35553,"_comb":35554,"cad":35555,"uristic":35556,"Ġwholesale":35557,"Ġdonor":35558,".interfaces":35559,"presso":35560,"ĠBrun":35561,"-close":35562,"prove":35563,"_SK":35564,"ĉframe":35565,"etros":35566,"ĠPain":35567,"_EXP":35568,"ĠLT":35569,"_fs":35570,".datas":35571,"ĉss":35572,"voir":35573,"ĠAxis":35574,"Major":35575,"=\"<":35576,"[h":35577,"Ġprofess":35578,"igrate":35579,"(score":35580,"Keyword":35581,"\"os":35582,"ĠĠĠĠĉĊ":35583,"analysis":35584,"Ġreplay":35585,".pass":35586,"\\d":35587,"tls":35588,"Ġsanct":35589,".light":35590,"_mobile":35591,"ÑģÑĤÑĮ":35592,"ĉtotal":35593,"uity":35594,"Ġpaused":35595,"NAS":35596,"Ġencore":35597,"loe":35598,"Ġ-*-ĊĊ":35599,".high":35600,"ampler":35601,"ĠSecure":35602,"Ġfragments":35603,"_vel":35604,"illary":35605,"ĠStein":35606,"ĠDawn":35607,"Ġmaximize":35608,"ย":35609,"Ġ/^":35610,"Ġcontinually":35611,"Ġshadows":35612,"ĉĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":35613,"ĠIActionResult":35614,"Ġinformación":35615,"CHECK":35616,".SelectedItem":35617,"bundle":35618,"olley":35619,"<":35781,"Ġtrajectory":35782,"_ring":35783,"Ġhydrogen":35784,"tron":35785,"Ġstatute":35786,"Ġconditional":35787,"Ġtray":35788,"-school":35789,"(widget":35790,"$config":35791,"Ġrequesting":35792,".uint":35793,"eton":35794,"brities":35795,"OfType":35796,"ADMIN":35797,"predict":35798,"Ġgegen":35799,"ĠHapp":35800,"OCUMENT":35801,"ĠApart":35802,"Ġ-----":35803,"roe":35804,"uide":35805,"justify":35806,"ĠSquad":35807,"Ġprofes":35808,".bot":35809,"_currency":35810,"innen":35811,"ĠMumbai":35812,"ĠNumbers":35813,"avanaugh":35814,"agnitude":35815,"âĢľThere":35816,"=http":35817,"çīĩ":35818,"Ġvb":35819,"+'{{$":35902,"Ġinode":35903,"sil":35904,"Ġhace":35905,"Ġseverely":35906,"ĠOverview":35907,"Ġspraw":35908,"Ġbeaches":35909,":left":35910,"·»":35911,"(${":35912,"ĠFIRST":35913,"ĠSpa":35914,"-ass":35915,"Ġbaise":35916,"ĠNODE":35917,"ĠPizza":35918,"Pet":35919,"(seq":35920,"\\\">Ċ":35921,"CppMethodPointer":35922,"Ġvp":35923,"Ġia":35924,"_seconds":35925,"emet":35926,"/blob":35927,"_THRESH":35928,"...čĊ":35929,"Dest":35930,"ĠNH":35931,".dataSource":35932,"ités":35933,"ĠJak":35934,"sell":35935,"Ġworkshops":35936,"\",Ċ":36552,"_Pin":36553,"uese":36554,"Ġoverrides":36555,"_ready":36556,"Advanced":36557,"Ġopi":36558,"-cart":36559,"(\"/\",":36560,"ĠDeb":36561,"CRY":36562,"ĠVertical":36563,"ĠOVER":36564,"ĠCorporate":36565,"Ġ\"\";":36566,"Ġstepping":36567,"ej":36568,"Ġaccusations":36569,"Ġoraz":36570,"_tail":36571,"Ġinduced":36572,"Ġelastic":36573,"Ġblown":36574,",//":36575,"Ġbackgrounds":36576,"âĢĻune":36577,"-sdk":36578,"ĠsetInterval":36579,"Ġincentives":36580,"Ġvegetable":36581,"_On":36582,"expanded":36583,"pix":36584,"_shader":36585,"ĠSPDX":36586,"@example":36587,"ĠWrapper":36588,".Zero":36589,"Positive":36590,"Ġspinner":36591,"Ġinvented":36592,"ĠGates":36593,"оÑĤоÑĢ":36594,"Ġcomparisons":36595,"è·":36596,".primary":36597,"dataProvider":36598,"additional":36599,"ĉoptions":36600,"snapshot":36601,".setHorizontal":36602,"Ġ\"{}":36603,"ĠFisher":36604,"halten":36605,"":36638,"ĠRegistered":36639,"INED":36640,"kal":36641,"parison":36642,"Ġobjeto":36643,"Vi":36644,"manda":36645,"Ġrenewed":36646,"ĠSof":36647,"essel":36648,".ndarray":36649,"Ġcrap":36650,"管":36651,".abspath":36652,"(up":36653,"Ġclearance":36654,"ĠTW":36655,"_COPY":36656,"ĠĠĠĠĠĠĠĠĠĠĠĠĉ":36657,"Ġforests":36658,"Ġarguably":36659,"ĠASS":36660,"hey":36661,"amel":36662,"_fore":36663,"ĠSoutheast":36664,"Ġabused":36665,"Ġpracticing":36666,"akedirs":36667,"主":36668,"_resources":36669,"Ġpond":36670,".Fixed":36671,"LastError":36672,"ĠPsychology":36673,"Ġ\"//":36674,"!:":36675,"Reusable":36676,"Ġmensaje":36677,"Ġrospy":36678,"Ġbour":36679,"Ġvarieties":36680,"Ġempath":36681,"(({":36682,"_org":36683,"ĠMes":36684,"ĠMagento":36685,"ISTORY":36686,"Unless":36687,"Ġhj":36688,"ĠDuty":36689,"Jun":36690,",size":36691,"Ġpaintings":36692,"Ġdispens":36693,"dart":36694,"Ġbehavioral":36695,"Ġrpc":36696,"calculate":36697,"fruit":36698,"_mm":36699,"ĉpthread":36700,"MaxLength":36701,"Ġcurrencies":36702,"_capacity":36703,"ĠOz":36704,"Ġfirearm":36705,"Ġcoefficient":36706,"Ġbankruptcy":36707,"wart":36708,"Ġfatigue":36709,"AVA":36710,"Ġespa":36711,"_pc":36712,"ĠQuotes":36713,"_LIGHT":36714,"ĠTickets":36715,"Ġrelates":36716,"Ġpublishers":36717,"Ġunlocked":36718,"Ġ//----------------------------------------------------------------":36719,"ĠInterruptedException":36720,"Ġoutlook":36721,"rn":36722,"Ġrebels":36723,"Written":36724,"Ġasian":36725,"otto":36726,"Ġĉĉĉĉ":36727,"_gpu":36728,"Txt":36729,".ImageView":36730,"Ġsuis":36731,"_tables":36732,".RecyclerView":36733,"Ġwhatsoever":36734,"èģ":36735,"]++;Ċ":36736,"assertTrue":36737,"_verify":36738,"ĠRivers":36739,"Ġ][":36740,"Jet":36741,"idian":36742,"Sibling":36743,"Ġgenres":36744,".Access":36745,"OPS":36746,"Ġtrivial":36747,"ส":36748,"alen":36749,"вед":36750,"ĠSword":36751,"Ġscrutiny":36752,"(cb":36753,"Ġcommerce":36754,"Ġguarantees":36755,"_adv":36756,"ĠLET":36757,"recio":36758,"Ġhilar":36759,"Ġbackyard":36760,"ãĢı":36761,"Ġillustrated":36762,"/vendor":36763,".Util":36764,"Ġwow":36765,"LOY":36766,"ĠMarshal":36767,"\">'.$":36768,"ĠBak":36769,"Ġmodifiers":36770,"dictionary":36771,"ĠStre":36772,"multiple":36773,"\")),":36774,"ĠCort":36775,"']\").":36776,"(admin":36777,"ĠCreator":36778,"Internet":36779,"(ms":36780,"logy":36781,"DECLARE":36782,"ĠMarcus":36783,"<<<<":36784,"ãģł":36785,"_my":36786,"(inst":36787,"Ġsciences":36788,"NDER":36789,".enter":36790,"Ġitu":36791,"Ġbehave":36792,"Pan":36793,"ombies":36794,"='<":36795,"'));čĊ":36796,"ĠMENU":36797,"ĠWorkers":36798,".NoError":36799,"Ġbindings":36800,"Ġdisabilities":36801,"{\\":36802,"ĠMunicip":36803,"Ġcores":36804,"urple":36805,"ĠNokia":36806,"usions":36807,"ĠFitness":36808,".handleChange":36809,"Ġjavascript":36810,"ìļĶ":36811,"(dec":36812,"Ġpacking":36813,"-depend":36814,"Ġtranscript":36815,"zeros":36816,"_alert":36817,"?\",Ċ":36818,"libs":36819,"±Ð¾ÑĤ":36820,"Ġ|ĊĊ":36821,"trained":36822,"ĠGent":36823,"ĠRab":36824,"xp":36825,"_configuration":36826,"天":36827,"_accept":36828,".recyclerview":36829,":url":36830,"ĠMuhammad":36831,"Ġprivileges":36832,"_bank":36833,"uku":36834,"wallet":36835,"ĠROOT":36836,"Ġencuent":36837,"?family":36838,"ĉposition":36839,"Ġcg":36840,"Ġprecip":36841,"methods":36842,"_fast":36843,"increment":36844,"ĠTiger":36845,"_OCCURRED":36846,"quip":36847,"ĠHAS":36848,"_dom":36849,"Ġwreck":36850,"bj":36851,"Ġdern":36852,"Ġorgans":36853,".entries":36854,"Ġ_('":36855,"ramento":36856,"ĠJamie":36857,"Ġpunk":36858,"IPP":36859,"Ġprograma":36860,"Ġattain":36861,"Ġproves":36862,"/sign":36863,"Ġanswering":36864,"Ġladder":36865,"****************************":36866,"ĠWalmart":36867,"ĠCONTENT":36868,"ductor":36869,"Ġverbal":36870,"ĠPID":36871,"crypto":36872,"_CALLBACK":36873,"Ġ=================================":36874,"Ġpotent":36875,"Ġshorts":36876,".Uri":36877,".uniform":36878,";border":36879,"ĠWer":36880,"Ġherein":36881,"lla":36882,"ĠIhr":36883,"Pixmap":36884,"literal":36885,"!)ĊĊ":36886,"generic":36887,"rust":36888,"_scripts":36889,"osto":36890,"itus":36891,"ĠCoalition":36892,"Ġremot":36893,"deploy":36894,"ĠEagle":36895,"ãĢģãĢĮ":36896,"Ġimportante":36897,"ĉobject":36898,"Ġseasonal":36899,"nej":36900,"aidu":36901,"BindView":36902,"ĠSierra":36903,"-bg":36904,"ĠmakeStyles":36905,"[offset":36906,"Games":36907,"Ġhormone":36908,"ARIO":36909,"heads":36910,"(select":36911,"ĠStarted":36912,"@param":36913,"_decl":36914,"_blog":36915,"Ġaño":36916,"\\Api":36917,"ĠMilwaukee":36918,"Provid":36919,"Animated":36920,"Ġcooler":36921,"ĠSeed":36922,".Edit":36923,"ÏĦ":36924,"ĠTaking":36925,"ĠborderColor":36926,"-founder":36927,".LoggerFactory":36928,"Ġ\"\"ĊĊ":36929,"ALT":36930,"ĠLate":36931,"EDIATE":36932,"Ġ);ĊĊĊ":36933,"afa":36934,"Ġcancellation":36935,"Atom":36936,"ĠBirmingham":36937,"empresa":36938,"HEMA":36939,"ascal":36940,"Ġupside":36941,".Version":36942,"ĠFolder":36943,"ĠEight":36944,"ĠVintage":36945,"ĠAppDelegate":36946,"ĠPrevention":36947,".separator":36948,"STM":36949,"(room":36950,"generator":36951,"Ġcattle":36952,"ĉZ":36953,"ĠParticle":36954,"'};Ċ":36955,"Ġneighbours":36956,"ĠStateless":36957,"Ġaltitude":36958,"Ġsaint":36959,"обав":36960,"Ġconvinc":36961,"ĠContents":36962,"Ġjeune":36963,"(ts":36964,"Serialization":36965,"(collection":36966,"ĠJazz":36967,"ĠDod":36968,"ĠRoch":36969,"acio":36970,"commended":36971,"DEFINE":36972,".onload":36973,"Ġspecialty":36974,"PLACE":36975,"_MOVE":36976,"Ġaccountable":36977,"Reuters":36978,"Ġficken":36979,"Ġdepr":36980,"Wow":36981,"Void":36982,".space":36983,"à¸Ĺ":36984,"Ġtq":36985,"ĠPets":36986,"<$":36987,"(Current":36988,"berries":36989,"planation":36990,"ĠlistOf":36991,"ĠThu":36992,"ĠPRINT":36993,"Ġmismo":36994,"Ġdoi":36995,"chk":36996,"ĠUnicode":36997,"(role":36998,"Ġvirgin":36999,"-->Ċ":37460,"Vol":37461,"ĠSSD":37462,"))),":37463,".Optional":37464,"Ġnurses":37465,"Ġorb":37466,"_pe":37467,");čĊčĊčĊ":37468,"placed":37469,"esser":37470,"Ġtherapeutic":37471,"Ġwhitespace":37472,"Ġaston":37473,"Successful":37474,"Ġpraised":37475,"ĠWes":37476,"Ġeighth":37477,"iral":37478,"Ġvrouw":37479,"Ġfaction":37480,"_bias":37481,"Ġwitch":37482,"Ġnpc":37483,"(sb":37484,"ĠRodrig":37485,"_big":37486,"Dependency":37487,"ĠAbraham":37488,"ardi":37489,"CAR":37490,"nos":37491,"Ġabundance":37492,"Ġnutrients":37493,"instein":37494,".Vert":37495,"ĠISS":37496,"D":37595,"Ġservlet":37596,"bastian":37597,"Ġ>&":37598,"SID":37599,"_clk":37600,"Ġdivisions":37601,"}',Ċ":37602,"Ġdildo":37603,"Ġparade":37604,"major":37605,"Ġaboard":37606,";++":37607,"Ġfusion":37608,"\"},{\"":37609,"ĠDialogResult":37610,"ĉarr":37611,"-em":37612,"_nr":37613,"(handler":37614,".NET":37615,".XtraReports":37616,"ĠShah":37617,"ĠBrief":37618,"-,":37619,"Ġprecio":37620,"ĉĉĉĠĠĠĠĠĠ":37621,"Ġtant":37622,"ĠGrande":37623,"/xml":37624,"_ICON":37625,"ĠRetro":37626,"unque":37627,"Ġnag":37628,"toFixed":37629,"XL":37630,"Ġdeclaring":37631,"ĠConcrete":37632,"ĠAmazing":37633,"ĉprintk":37634,"Ġdebates":37635,"DATED":37636,"Ġaesthetic":37637,"emetery":37638,"RoutingModule":37639,"ĠNashville":37640,"WAYS":37641,"Ġwolf":37642,"Ġobservers":37643,"OTA":37644,"anson":37645,"Ġea":37646,"Ġgreenhouse":37647,"ĵįä½ľ":37648,"Ġstair":37649,"Ġimmigrant":37650,"_apply":37651,"peare":37652,"ĠBloomberg":37653,"_PLAYER":37654,"Resp":37655,"æŃ£":37656,"Chooser":37657,"ĠICollection":37658,"Peter":37659,"Erro":37660,".detectChanges":37661,"Maps":37662,"Ġsqueeze":37663,"ĠHomes":37664,"wegian":37665,"Ġformatting":37666,"Ġnegotiate":37667,"uld":37668,"ĠNep":37669,"ĠQB":37670,"Ġeconomies":37671,"Ġ*/,":37672,"Ġredund":37673,"ĠAber":37674,".IsNullOrWhiteSpace":37675,"ycled":37676,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":37677,"_Sh":37678,"Ġskept":37679,"Ġrecreated":37680,"ĠgetType":37681,"Ġmargins":37682,"Ġcolonial":37683,"charts":37684,"//@":37685,"Ġprocessors":37686,"说":37687,"batis":37688,"æĦı":37689,"atorio":37690,"mentioned":37691,"Patient":37692,"Ġprey":37693,"Checkbox":37694,"_xpath":37695,".skip":37696,"ĠMormon":37697,"ĠMemoryStream":37698,"CREMENT":37699,"Ġku":37700,"meld":37701,"\\Data":37702,"ĠKernel":37703,"iltr":37704,"éĢģ":37705,"(profile":37706,"Carbon":37707,"ROLE":37708,"(pl":37709,"]*(":37710,".memory":37711,"Ġmedal":37712,"Ġadvisor":37713,"ität":37714,"Ġhdr":37715,"ierung":37716,"ĠProvides":37717,"(alpha":37718,"Ġteenagers":37719,"-parser":37720,".LatLng":37721,"]()Ċ":37722,"Ġfelony":37723,"ĉĉĉĊĉĉĉĊ":37724,"BOOK":37725,"Ġslash":37726,"Ġclearfix":37727,"ĠProphet":37728,"容":37729,"rightness":37730,"-fi":37731,".kind":37732,"erton":37733,"Jim":37734,"Ġmanipulate":37735,"Ġworksheet":37736,"olin":37737,"stars":37738,"Ġartifact":37739,"_EMPTY":37740,"ĉmain":37741,"-------------';":37809,"Ġexpressing":37810,"ĠIQ":37811,"ĠFact":37812,"/*******************************************************************************Ċ":37813,"_mass":37814,")):":37815,"Ġcondom":37816,"ĠcreateState":37817,"ometown":37818,"Ġirr":37819,"Ġ>(":37820,">B":37821,"iteration":37822,"ãĥª":37823,"Ġshirts":37824,"ounty":37825,"->$":37826,"_SIGN":37827,"ĠDale":37828,"Ġjj":37829,"Easy":37830,"Fre":37831,"ĠNy":37832,"Ġchlor":37833,"matched":37834,"ĠGerm":37835,"-UA":37836,"ĠNathan":37837,"education":37838,"-yard":37839,"-che":37840,"houses":37841,"ritional":37842,"Ġproximity":37843,"Ġdiesem":37844,"áºŃp":37845,"Ġdrought":37846,".audio":37847,"ĠLeo":37848,"Ġfavorable":37849,"inch":37850,"ĠDaw":37851,"ribly":37852,"_student":37853,"idable":37854,"OVE":37855,"Ġlacks":37856,"ouncing":37857,".business":37858,"Ġreopen":37859,"maybe":37860,"_GLOBAL":37861,"Ġdresses":37862,"ĠEdwards":37863,"ensible":37864,"ĠHardware":37865,"ĠExcellent":37866,"ĠTimeUnit":37867,"CTIONS":37868,"Ġschedules":37869,"Ġsegue":37870,"Opens":37871,"ammen":37872,"-Identifier":37873,"Ġstaring":37874,"Ġhappily":37875,"ĠHob":37876,"'_":37877,"Ġ\");":37878,"amentos":37879,"etched":37880,"Ġ/>}Ċ":37881,".Users":37882,"Ġinterrupted":37883,"Contacts":37884,"Ġregistro":37885,"inburgh":37886,"CHA":37887,"_imp":37888,"phis":37889,"say":37890,"Ġretailer":37891,".NODE":37892,"/maps":37893,"_LAST":37894,"ĠCharge":37895,"_guard":37896,"Collider":37897,"ĠStatelessWidget":37898,"\":[\"":37899,"(\"../../":37900,"ioxide":37901,"ĠSund":37902,"Ġ'';":37903,"unset":37904,"addWidget":37905,"лÑİ":37906,"elles":37907,"alker":37908,"Arc":37909,"Ġdeduct":37910,"GUILayout":37911,"ĠVilla":37912,"Ġforbidden":37913,"_where":37914,"Ġ\\/":37915,"ĠTib":37916,"_AX":37917,"]čĊčĊ":37918,"ĠBir":37919,"Ġbend":37920,"ĠMAKE":37921,"ĠMET":37922,"Ġfutures":37923,"Ġweighted":37924,"\"\"\"čĊ":37925,"Ġauthorize":37926,"(program":37927,"},{\"":37928,"Ġcoefficients":37929,"ês":37930,"PerPage":37931,"ĠBathroom":37932,"ĠPublishing":37933,"GPL":37934,"Ġsubmissions":37935,"ĠNUMBER":37936,"jÄħ":37937,"Ġadditionally":37938,"empre":37939,"ĠShel":37940,"otyp":37941,"Solution":37942,"Ġthunder":37943,"_ec":37944,"ĠĊĠĠĠĠĊ":37945,"ĠFellow":37946,"Ġkay":37947,"ĠnewState":37948,"ONTAL":37949,"Implementation":37950,".Look":37951,"Ġents":37952,"Ġlors":37953,"ĠBIG":37954,"fab":37955,"Ġaveraged":37956,"ĠFeedback":37957,"ĠWells":37958,"Ġmartial":37959,"Ġindul":37960,"ĠCommunist":37961,"ĠForex":37962,"ĠAgriculture":37963,"\"[":37964,"Ġquar":37965,"ĠKont":37966,"ĉview":37967,".Bytes":37968,"desktop":37969,"ĠMakes":37970,"akespeare":37971,".Nullable":37972,"Ġspotlight":37973,"VB":37974,"owy":37975,"(torch":37976,"tridge":37977,"_bounds":37978,"Ġapologize":37979,".addItem":37980,"antd":37981,"*);Ċ":37982,",u":37983,"(gen":37984,"ç»ĵ":37985,"reator":37986,"ĠCord":37987,"oupper":37988,".metro":37989,"Ġew":37990,"ĠWORD":37991,".After":37992,"Ġdetained":37993,"ĠHammer":37994,"existing":37995,"Ġost":37996,"Ġmonument":37997,"-custom":37998,"UserID":37999,"ĠNom":38000,"Ġrejection":38001,"(dim":38002,"Ġsingleton":38003,"ĉdie":38004,"ariance":38005,"reports":38006,"]!=":38007,"elda":38008,"Ġprevalence":38009,"_regs":38010,".\".":38011,"Ġfeminist":38012,"Codec":38013,"Ġ**Ċ":38014,"(labels":38015,"_MARK":38016,"FAILED":38017,"Ġadministered":38018,"WN":38019,"ĠĠĠĠĠĠĠĠĉĉ":38020,"Ġnoun":38021,"wig":38022,"Ġgotta":38023,"Ġrif":38024,"-im":38025,"ĠPaulo":38026,"ĠCommandType":38027,"]))ĊĊ":38028,"-zero":38029,"Training":38030,"Ġlord":38031,"_art":38032,"reddit":38033,"Cert":38034,"Ġpeso":38035,"Rot":38036,"Ġendanger":38037,".dr":38038,"userInfo":38039,"unts":38040,"nv":38041,"ĠTrailer":38042,"-first":38043,"(make":38044,"Ġbenefici":38045,"-black":38046,"iÃŁ":38047,"Ġundoubtedly":38048,"Ġmex":38049,"ĠAncient":38050,"(as":38051,"Ġdescent":38052,"Pick":38053,"Ġreplica":38054,"$obj":38055,"ähr":38056,"Ġarrows":38057,"fty":38058,"ĠLibya":38059,"uga":38060,"charged":38061,"Tur":38062,"Ġhomic":38063,"issen":38064,"ĠFake":38065,"Ġbeers":38066,"Ġscattered":38067,"(Time":38068,"UTIL":38069,"Ġbureaucr":38070,"/plain":38071,"Ġsticking":38072,"FAIL":38073,"ĠCovid":38074,"Third":38075,"_present":38076,"ĠPierre":38077,"Ġëª":38078,"Ġ[...]ĊĊ":38079,"Prob":38080,"ĠTraffic":38081,"icao":38082,"doctor":38083,"Ġ),ĊĊ":38084,"Tabs":38085,"alu":38086,"ï¼ļâĢľ":38087,"Ġinherent":38088,"_No":38089,"ritis":38090,"ĠProof":38091,".basename":38092,"ä¼ļ":38093,"Ġchim":38094,"ĠProtected":38095,"crit":38096,"Ġprone":38097,"Ġкон":38098,"ĠHeroes":38099,"Ġanxious":38100,"Ġanos":38101,"Ġweekends":38102,"Ġsext":38103,"Ġreducer":38104,"=UTF":38105,"half":38106,"ĠSaw":38107,".mm":38108,"Ġnueva":38109,".currentTarget":38110,".lua":38111,"_EXTENSION":38112,"ĉreg":38113,"ĠCtrl":38114,"_align":38115,"acceptable":38116,"Ġrushing":38117,"frac":38118,"Ġboasts":38119,"Five":38120,"±":38121,"ĠTemperature":38122,">):":38123,"Ġcharter":38124,"REATED":38125,"Ġsubjected":38126,"Ġopc":38127,"healthy":38128,"使çĶ¨":38129,"ĠScientific":38130,"Ġfrau":38131,"riages":38132,"à¸Ķ":38133,".inventory":38134,"ationale":38135,"Mad":38136,"minutes":38137,">>();Ċ":38138,"ĠEnv":38139,"Ġrecordings":38140,"Ġsuspicion":38141,"sqlite":38142,"ĉread":38143,"ãģ¦":38144,"Ġworries":38145,".putString":38146,"ĠShanghai":38147,"(uid":38148,"rer":38149,"ĠvÃŃde":38150,"\"):":38151,"Ġmethodology":38152,"ĠкоÑĤоÑĢ":38153,"ccc":38154,"avad":38155,"Ġinduction":38156,"ĉThread":38157,",string":38158,"ại":38159,"nehmen":38160,"uition":38161,"Ġ*__":38162,".emf":38163,"Ġìľ":38164,"/themes":38165,"ĠNine":38166,".One":38167,"ĠEmbed":38168,"Ġfaz":38169,"uations":38170,"Ġprivately":38171,"Ġling":38172,"[F":38173,"ushi":38174,"Ġlaunches":38175,"(KEY":38176,"GMT":38177,"Ġaiming":38178,"patible":38179,"ĠBiden":38180,"iw":38181,"ĠDegree":38182,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":38183,"Ġ$('<":38184,"ários":38185,"toUpperCase":38186,"ìłľ":38187,"ĠEUR":38188,"Ġoversight":38189,"Ġtablesp":38190,"Updates":38191,".makedirs":38192,"Ġhumidity":38193,"/template":38194,"Always":38195,"(IS":38196,"_cert":38197,"Dig":38198,"Ġunderway":38199,"orton":38200,"ĠHurricane":38201,"Ġspends":38202,"ĠSegment":38203,"Ġflies":38204,"ĠToggle":38205,"ĠLynch":38206,"Ġsenses":38207,"ĠKos":38208,"setEnabled":38209,"istically":38210,"Ġtester":38211,"Ġadministrators":38212,"Ġtagged":38213,"Ðĵ":38214,"Ġshortcut":38215,"ĠResolution":38216,"Ġsupervision":38217,"ĠAshley":38218,"Tracking":38219,"ulatory":38220,"andel":38221,"isten":38222,"Ġunre":38223,"(diff":38224,"ANTS":38225,"Ġrider":38226,"ĠsÄħ":38227,".Series":38228,"_orders":38229,"ORIZONTAL":38230,"Ġretention":38231,"ãĢĤčĊčĊ":38335,"Ġdiagonal":38336,"ĠCancellationToken":38337,"_Internal":38338,"Ġruin":38339,".Qt":38340,"ocratic":38341,"Tel":38342,"ĠAnswers":38343,"matic":38344,"Ġxp":38345,"atem":38346,"_jobs":38347,"_any":38348,"Ġseniors":38349,"Ġlandmark":38350,"ĠQList":38351,"Ġmaneu":38352,"otify":38353,"/\";Ċ":38354,"/server":38355,"ĠPhilosoph":38356,"utenant":38357,"(io":38358,"hz":38359,"Ġauthenticated":38360,"dv":38361,"-Compatible":38362,"Originally":38363,",function":38364,"ãĢĤčĊ":38365,"ĠRepresentative":38366,"asily":38367,"ircuit":38368,".dt":38369,"(math":38370,".Marshal":38371,"[,":38372,"ĠCities":38373,"_turn":38374,"|)Ċ":38375,"Ġcantidad":38376,"alter":38377,"ĉui":38378,"ĠNebraska":38379,"Ġskirt":38380,".bg":38381,"SharedPreferences":38382,"(style":38383,"Ġgrief":38384,"gew":38385,"Ġsafeg":38386,"olang":38387,"_lists":38388,"ìĽ":38389,"Ġgranite":38390,"Ġhottest":38391,".jdbc":38392,".Customer":38393,"Ġâī¤":38394,"Ġwaar":38395,"_scene":38396,"+'/":38397,"ĠJTextField":38398,"Ġseating":38399,"Ġwears":38400,"Ġ`/":38401,"Cases":38402,"ĠYoutube":38403,"ım":38404,"Ġbalcon":38405,",G":38406,"MetaData":38407,"-price":38408,"SCR":38409,"Unity":38410,"Ġtrunk":38411,"={`${":38412,"Ġearthquake":38413,"Partial":38414,"Ġsubst":38415,"Ġelimin":38416,"=\"'.":38417,"//*[@":38418,"Ġsupervisor":38419,"vrolet":38420,"_article":38421,"Ġpane":38422,"bio":38423,"Ġmotors":38424,"NM":38425,"Frank":38426,"Ġonion":38427,"-word":38428,"ItemClickListener":38429,"Ġbrit":38430,"endencies":38431,"Computer":38432,"_running":38433,"(day":38434,"-he":38435,"(named":38436,"ĠSach":38437,"оÑĩ":38438,"campaign":38439,".Abstract":38440,"(wrapper":38441,".pay":38442,"Ġuw":38443,"Geo":38444,"rails":38445,"/select":38446,"ichte":38447,"sons":38448,"EVENT":38449,"Ġaliment":38450,"Providers":38451,"Await":38452,"_INTERVAL":38453,".off":38454,"Ġgluten":38455,"_cloud":38456,"Ġwen":38457,".extract":38458,"ĉbutton":38459,"/MM":38460,"Party":38461,"Ġdemographic":38462,"_errno":38463,"Ġhiking":38464,"('')Ċ":38465,"\",@\"":38466,"Ġwit":38467,"rá":38468,"ologie":38469,"ĠStyles":38470,"ĠBrowserModule":38471,".RequestMapping":38472,"icans":38473,"PAGE":38474,"creation":38475,"ĠFerguson":38476,"uded":38477,"numbers":38478,"ĠGTK":38479,"Ġpresentations":38480,"ĠBobby":38481,"_span":38482,"estyle":38483,"Ġillegally":38484,"abela":38485,"Ġbattlefield":38486,"capacity":38487,"terror":38488,"]\");Ċ":38489,"Ġwarrior":38490,"leader":38491,"ĠDBG":38492,"ĠRevenue":38493,"Ġvigil":38494,"Ġcounterparts":38495,"(Error":38496,"ACTER":38497,"Ġheeft":38498,"Ġselections":38499,"zeug":38500,"tom":38501,"-two":38502,".;Ċ":38503,"_statement":38504,"ĠAid":38505,"ĠVul":38506,"_rgb":38507,"Ġprizes":38508,"Ġeditable":38509,"ĉform":38510,"ını":38511,".decor":38512,"Demo":38513,"lices":38514,"Ġenctype":38515,"ratulations":38516,"ĠROS":38517,"_chars":38518,"ĠJahr":38519,"partial":38520,"ÑĥÑĤ":38521,"ĠReceive":38522,"ĠLands":38523,"APTER":38524,"Ġchopped":38525,"..\"":38526,"ĠAnaly":38527,"ĠUID":38528,"ĠRadeon":38529,"ĠBee":38530,"Ġunm":38531,">M":38532,".findall":38533,"Tokenizer":38534,"ĠWHAT":38535,"Ġsj":38536,"Drawing":38537,"Ess":38538,"OND":38539,"Ĭ¶":38540,"(packet":38541,"âĢĶbut":38542,"Invocation":38543,"ĠNuclear":38544,"?;Ċ":38545,"Ġgrandes":38546,"ĠCrypt":38547,"remark":38548,"Ġ'../../../../":38549,"Ġinability":38550,"magic":38551,"cats":38552,"Ġsimulate":38553,":${":38554,"inflate":38555,"Ġener":38556,":NO":38557,"iples":38558,"Ġmerit":38559,"ĠRated":38560,"Ġglue":38561,"/blog":38562,"Ġgren":38563,"Ġthrilled":38564,".CH":38565,"uncan":38566,"ĠPRIMARY":38567,"Ġpersec":38568,"Ġfeared":38569,".MIN":38570,"ĠTheater":38571,"éĴ":38572,"ategorie":38573,"段":38574,"Ġappetite":38575,"square":38576,"ĠAlexand":38577,".UserId":38578,"_gt":38579,"_enter":38580,"Ġgraduates":38581,"FragmentManager":38582,"Authorize":38583,"-NLS":38584,"(My":38585,"Ġtriumph":38586,"usting":38587,"_PARAMS":38588,"Characters":38589,"(:,:,":38590,"_BUILD":38591,"MHz":38592,"Ġwashed":38593,"Ġuncle":38594,"Steve":38595,"ardown":38596,"${":38780,"_confirmation":38781,"Ġtrophy":38782,"Works":38783,"ĠElectronics":38784,"ĠMediterranean":38785,"_metrics":38786,"Ġannouncing":38787,"ĠDAY":38788,"_proto":38789,"Ġpear":38790,"baseUrl":38791,"ĉĉĉĉĉĉĉĉĊ":38792,"Ġcoordination":38793,":N":38794,".animate":38795,"ĠCotton":38796,"_hit":38797,"âľ":38798,"Ġjetzt":38799,"ifter":38800,"(fields":38801,"ownload":38802,"ificacion":38803,".cuda":38804,"ĠLiu":38805,">equals":38806,"ĠAce":38807,"ÑĢам":38808,"ĠSuperman":38809,"ĠGarcia":38810,"Ġarrests":38811,"agar":38812,"Ġ{})":38813,"Ġmacros":38814,"roupe":38815,"être":38816,"Ġtwisted":38817,"struments":38818,"_(\"":38819,"_vertices":38820,"ĠTransition":38821,"ик":38822,"[max":38823,"mind":38824,"ĠaccessToken":38825,"Ġunle":38826,"mus":38827,"cop":38828,"ĠFactor":38829,"Ġconced":38830,"Ġretr":38831,".linalg":38832,"-slider":38833,"obl":38834,"_StaticFields":38835,"Ġzombie":38836,"selling":38837,"Ġchap":38838,"Ġshaking":38839,"ĠTranslate":38840,"ĠAmsterdam":38841,"ĠETH":38842,"_EXTERN":38843,"kd":38844,"_disc":38845,"Ġpreceding":38846,"Ġprix":38847,"ObjectName":38848,"_modified":38849,"ardware":38850,"Ġ?>\">":38851,"ĠDW":38852,"`${":38853,"Ġ?>\">ĊĊ":38959,"Ġspinning":38960,"_pending":38961,"Matchers":38962,".Keys":38963,"ĠPV":38964,"enus":38965,"antis":38966,"Ġdiscard":38967,"Ġhaul":38968,"Ġempir":38969,"Ġpathway":38970,"Ġoak":38971,"мен":38972,"-induced":38973,"Ġimpair":38974,"ĠCalgary":38975,".isHidden":38976,"dz":38977,"_include":38978,"Ġgm":38979,"Ġ'('":38980,"PY":38981,"uggestions":38982,"Ġcommodity":38983,"cro":38984,"/sub":38985,"ĠgetInstance":38986,"ĠLegacy":38987,"ĠKil":38988,"Bal":38989,"(short":38990,"Inform":38991,"+x":38992,"*r":38993,"ĠHopefully":38994,"orate":38995,"Ġmachen":38996,"Ġtreaty":38997,"ĠOri":38998,".public":38999,"-horizontal":39000,"Ġtactic":39001,"Ġbord":39002,"wares":39003,"Ġammo":39004,"ĠLists":39005,"Ġequations":39006,"/her":39007,"ĠNSW":39008,"Bounding":39009,"_Collections":39010,"Ġavail":39011,".DropDown":39012,"è°":39013,"Ġhh":39014,"ĠlÃł":39015,".pb":39016,"Ġmemorial":39017,"ĠATTR":39018,"Ġexhausted":39019,"Ġtsp":39020,"ĉredirect":39021,"Ġlikewise":39022,"STER":39023,"Ljava":39024,"Ġcondemned":39025,"ocaust":39026,"(strict":39027,"Ġexempt":39028,"Ġsms":39029,"Ġexagger":39030,"SYS":39031,"Ġlounge":39032,":^":39033,"Ġtodd":39034,"deb":39035,"atorial":39036,"ĠPorter":39037,"Ġtuition":39038,"Ġexempl":39039,"Ġparen":39040,".lineTo":39041,"Ġkidney":39042,"Ġça":39043,"Ġcui":39044,"ï¼Į请":39045,"XC":39046,"Ġmoż":39047,"Ġnominated":39048,"lung":39049,"ImGui":39050,"ĠBuzz":39051,"Ġstereo":39052,"portal":39053,"resas":39054,"Ġklass":39055,"Ġdrafted":39056,"Ġprojectile":39057,"/gpl":39058,"(parameters":39059,"*)Ċ":39060,"Ġassisted":39061,"ĠNSInteger":39062,"sitemap":39063,":nth":39064,".Views":39065,".ArgumentParser":39066,"Ġmeer":39067,"zier":39068,"ĠDig":39069,"Ċ":39136,"Ġplag":39137,"pine":39138,"Ġblanket":39139,"Ġ:-":39743,"Ġlcd":39744,"---------------":39745,"(\"\"":39746,"Ġtactical":39747,"ĠRonald":39748,"extr":39749,"ĠFest":39750,"Ġfuer":39751,"-navigation":39752,"Ġkb":39753,"ghost":39754,"ĠhandleChange":39755,"_cls":39756,"()!=":39757,"Comparator":39758,".vm":39759,"ĠCox":39760,"_review":39761,"/@":39762,"_cookie":39763,"Ġrecognised":39764,"ldap":39765,"Threads":39766,"ĠSexual":39767,"ĠBearing":39768,"(SQL":39769,"Ġxr":39770,"Ġthigh":39771,"URLConnection":39772,"ĠSUV":39773,"ĠmContext":39774,"Ġincidence":39775,"ĠEste":39776,".sup":39777,"_te":39778,"(EXIT":39779,"CMD":39780,"/\">":39781,"Almost":39782,"ĠUne":39783,"Ġanderen":39784,"ĠSingleton":39785,"Ġbore":39786,"Think":39787,"Ġnarc":39788,"]initWith":39789,"_shop":39790,"(strategy":39791,"!',":39792,"herits":39793,"ĠDesk":39794,"_machine":39795,".netty":39796,"ında":39797,"=<":39798,"ĠQR":39799,"ĠSidebar":39800,".splitContainer":39801,"ĠonSuccess":39802,"Ġmonkey":39803,"Enjoy":39804,"(nodes":39805,"pectrum":39806,"Ġ(*(":39807,"ĉUINT":39808,",height":39809,"ĠNetworks":39810,".tail":39811,".linspace":39812,"Ġ\"...":39813,"Listen":39814,"Æ¡":39815,".Channel":39816,"-defined":39817,"Repeat":39818,"adjust":39819,"ERM":39820,"_application":39821,".assertNotNull":39822,"-stream":39823,"Ġrabbit":39824,"Ġpositioning":39825,"Ġwoke":39826,"Ġfing":39827,"Ġmultiplayer":39828,"Ġregistering":39829,"until":39830,"Ã¥n":39831,"(::":39832,"ussions":39833,"Ġpotato":39834,"ĠEquals":39835,".Sup":39836,"/apache":39837,"Ġ(=":39838,".\")":39839,".ptr":39840,"ĠSpeech":39841,".clip":39842,"ĠGabriel":39843,"Ġmusician":39844,"/issues":39845,".shop":39846,"ĠHier":39847,"_RET":39848,"_bucket":39849,"ãĥ¡":39850,"avs":39851,"Ġroz":39852,"flower":39853,"WriteBarrier":39854,"ĠMilan":39855,"Ġlegislature":39856,"ĠDoll":39857,"Ġproving":39858,".concatenate":39859,"âķIJ":39860,"Ġgchar":39861,"cdnjs":39862,"bles":39863,"ĠListing":39864,"ло":39865,".xrLabel":39866,"ĠSak":39867,"justice":39868,"ĠValentine":39869,"unless":39870,"Ġpiger":39871,"(run":39872,"Ġtestified":39873,"ANA":39874,"ĠRemoves":39875,"))));Ċ":39876,"recated":39877,"ĠRuntimeMethod":39878,"Ġconqu":39879,"ãĤ¢":39880,"Ġtissues":39881,"ailer":39882,"été":39883,"-Star":39884,"Ġflames":39885,".setIcon":39886,"Ġsupern":39887,"Ġvagina":39888,"-variable":39889,"Ġwellness":39890,"CUR":39891,"Ġbelle":39892,".getRequest":39893,"Ġpoco":39894,"benh":39895,"agens":39896,"Ġspill":39897,"ĠJur":39898,"Ġdispatcher":39899,"ного":39900,"emonic":39901,"(dirname":39902,"ĠÐĶ":39903,"Ġpasse":39904,"Ġganz":39905,"ricing":39906,"EU":39907,"Ġmujeres":39908,"essen":39909,".attribute":39910,"jj":39911,"ĉĉĠĊ":39912,"[^":39913,"Ġstrtolower":39914,"lexer":39915,"ectar":39916,"hotel":39917,".square":39918,"Ġrall":39919,"Ġlowered":39920,"handled":39921,"Market":39922,"ĠUses":39923,"ivas":39924,".Business":39925,"ãģĹãģ¦":39926,"DIV":39927,"Ġwasted":39928,"Ġavoir":39929,"êm":39930,"_ACCOUNT":39931,".et":39932,"ĉSDL":39933,"kap":39934,"Ġfox":39935,"uppet":39936,"{},Ċ":39937,"\",'":39938,"Favorite":39939,"PEND":39940,"ĠAES":39941,"}),":39942,"Ġdeduction":39943,"ĠpolÃŃt":39944,"ĠcomponentWill":39945,"ĠTelerik":39946,"_SELF":39947,"Ġmuse":39948,"Craft":39949,"Ġdens":39950,"ि":39951,"(tp":39952,"Ġtasty":39953,"Ġbalances":39954,"Ġdedication":39955,"ĠWallace":39956,"Ġunlaw":39957,"\\\">\\":39958,"Ġmum":39959,"-update":39960,"emente":39961,"Ġsoda":39962,"Republic":39963,"asmine":39964,"éric":39965,"(Status":39966,"ĠJsonConvert":39967,"ĠDisk":39968,".Redirect":39969,"Ġfilming":39970,"/mol":39971,"Ro":39972,"Ġville":39973,"Ġtrabaj":39974,"Ġsynthesis":39975,"rega":39976,"Ġrl":39977,"Scheduler":39978,"ISHED":39979,"currentUser":39980,"(errors":39981,"'h":39982,"_bot":39983,"ximo":39984,"ĠUSART":39985,"_super":39986,"_DECREF":39987,"ной":39988,"_ROW":39989,"Ġpromotes":39990,"ĠTA":39991,"Ġhoras":39992,"ĠRepresents":39993,"Ġnameof":39994,"ĠExc":39995,"ĠGarage":39996,"Ġseine":39997,",#":39998,"Ġherb":39999,"/resources":40000,"Ġpleaded":40001,".radioButton":40002,"Ġæĺ":40003,"Ops":40004,"ĠNest":40005,"cstring":40006,"ĠDefence":40007,"Ġrefere":40008,"_leaf":40009,"Ġrevelation":40010,"ë§":40011,".executeUpdate":40012,"_WORLD":40013,"Ġexpans":40014,"(\"\\\"":40015,"jab":40016,"Ġdoubts":40017,"ĠGeometry":40018,"Ġintroduces":40019,"Ġsenators":40020,"Ġcanal":40021,".helper":40022,"ĠBiology":40023,"_SENS":40024,".previous":40025,"-touch":40026,"abit":40027,"Ġimpacted":40028,"Ġbrackets":40029,".direct":40030,"accum":40031,"Ġtestosterone":40032,"ĉaction":40033,"ĠChance":40034,"Ġpeaks":40035,"CppCodeGenWriteBarrier":40036,"Ġunbelie":40037,"_press":40038,".Rel":40039,"angled":40040,"/templates":40041,"-->čĊ":40042,"lime":40043,"Ġsufficiently":40044,"_nt":40045,"Expand":40046,".isfile":40047,"ĠisEmpty":40048,"Ġqt":40049,"Ġmulher":40050,"acob":40051,"George":40052,"常":40053,"Ġassim":40054,"aso":40055,"Ġcomprised":40056,"OV":40057,"(CONFIG":40058,"ĉwriter":40059,"Ġdesp":40060,"Ġtenure":40061,"(cr":40062,".pool":40063,"ĠBrend":40064,"Ġcensor":40065,"(timeout":40066,"Ġplea":40067,".Wrap":40068,"Ġtightly":40069,"ĠWere":40070,"ĠIgnore":40071,"abei":40072,"Ġbridges":40073,"Ġcondemn":40074,"Ġsimplicity":40075,"Ġroutinely":40076,"Ġblacks":40077,"jb":40078,"ĠPit":40079,"Utf":40080,"Ġ/Ċ":40081,"reload":40082,"ĠsetObject":40083,"/global":40084,"Ġfatty":40085,"Ġsocks":40086,"Couldn":40087,"Ġerotisk":40088,"æĿ¡":40089,"ĠPressure":40090,"ĠMaz":40091,"npos":40092,"tolower":40093,"ĠEQ":40094,"uteur":40095,"ĠMoment":40096,"Ġeta":40097,"{{--":40098,"Ġgraphs":40099,"ĠGuar":40100,"rine":40101,"(--":40102,"ĠHttpStatus":40103,"(student":40104,"*np":40105,"Ġrailway":40106,"Ġasynchronous":40107,"_vm":40108,"'],'":40109,",text":40110,"merchant":40111,"(Guid":40112,"ĠGra":40113,"ixer":40114,"fetchAll":40115,".addListener":40116,"flip":40117,"*$":40118,">(),":40119,"Ġsunlight":40120,"assigned":40121,"Ġabc":40122,"ĠCOLUMN":40123,"ĠðŁĻĤĊĊ":40124,")...":40125,"Ġensemble":40126,"Ġnewline":40127,"_SINGLE":40128,"iedad":40129,"Ġdarker":40130,"ormap":40131,"Ġlion":40132,"plits":40133,"Ġillustration":40134,"ĠIEEE":40135,"Ġvista":40136,"ousands":40137,"*******":40138,"ĠTommy":40139,"Ġhue":40140,"Sel":40141,"Ġaura":40142,"ĠTherapy":40143,"Ġanimator":40144,".constraints":40145,"Ġvague":40146,"(\"\")":40147,"Ġvillain":40148,"Ġblessing":40149,"ĠstringBuilder":40150,"ĠMisc":40151,"ĠDIR":40152,"fax":40153,"-node":40154,"ĠWalking":40155,"ĠAU":40156,"sess":40157,"Ġgrill":40158,"VERTISE":40159,"ĠFoods":40160,"Ġtournaments":40161,"Ãĵ":40162,"ĠMarsh":40163,"Ġwonders":40164,"Longitude":40165,".CommandText":40166,"=input":40167,"_encoder":40168,"pageSize":40169,"ĠgetState":40170,">>Ċ":40171,".grey":40172,"pod":40173,"Ġreadings":40174,"Ġreconsider":40175,"Startup":40176,"Ġexcer":40177,".balance":40178,"_cycle":40179,"_Time":40180,"LOCAL":40181,"ĠEFI":40182,"ĠReyn":40183,".setForeground":40184,"byn":40185,"Ġdisconnected":40186,"ACTIVE":40187,"Ġembedding":40188,"ickers":40189,"Ġsurroundings":40190,"*c":40191,"Ġgarant":40192,"Ġbf":40193,"Ġwipe":40194,"Ġä¸ĭ":40195,"_TRA":40196,"adox":40197,"çķ":40198,"Ġsucks":40199,"ĠSongs":40200,"ĠAssociates":40201,"ĠBald":40202,"ĠBrett":40203,"venile":40204,"Ġvt":40205,"Ġinade":40206,"Ġresigned":40207,"ĠGlenn":40208,".pattern":40209,".DataBind":40210,"Ñĥм":40211,"LayoutInflater":40212,"chet":40213,"ĠTestament":40214,".ms":40215,"Ġpav":40216,"ĠReactDOM":40217,"urdy":40218,"ADATA":40219,"Mu":40220,"/actions":40221,"ĠJs":40222,"_extract":40223,"ĠBring":40224,":id":40225,"strt":40226,"ivation":40227,"Ġoutright":40228,"azu":40229,"loyment":40230,"иÑı":40231,"aldo":40232,"ĠPublisher":40233,"Education":40234,"Palette":40235,"_drv":40236,"Ġ($(":40237,"ĠAnda":40238,"Ġremedy":40239,"Ġinconsistent":40240,"tection":40241,"Ġregulators":40242,"Ġshortest":40243,"(pair":40244,"ĠInstallation":40245,"Ġdefendants":40246,"Ġ();":40247,"-large":40248,"Mel":40249,"Ġthreaten":40250,"нÑı":40251,"Ġfetish":40252,"otine":40253,"_dic":40254,"Ġ<$":40255,"Ġstagger":40256,"spi":40257,"$response":40258,"Serv":40259,"-born":40260,"jos":40261,"ĉimg":40262,"ĉWHERE":40263,"_lt":40264,"å½ĵ":40265,".cost":40266,"ĠTue":40267,".labels":40268,"ĠLV":40269,"wcsstore":40270,"ĠJesse":40271,"ห":40272,"Trade":40273,"Ġpredecessor":40274,"ëĤ":40275,"finally":40276,"_general":40277,"oggler":40278,"_REGION":40279,"nement":40280,"Ġblogger":40281,"ĠHarbor":40282,"ĠDataset":40283,"[w":40284,"Ġattendees":40285,".ico":40286,"maximum":40287,".Unlock":40288,"_SYNC":40289,"ágina":40290,"Ġdowns":40291,"ĠWii":40292,"])/":40293,"Ġkicking":40294,"unication":40295,"ĠDAC":40296,"ĠIDS":40297,"ĠRental":40298,"ĠcurrentTime":40299,"Ġvaccines":40300,"ĠDevil":40301,"Ġnors":40302,"_mouse":40303,"urrection":40304,"(no":40305,"Ġ>čĊ":40306,"Ġaggression":40307,"Ġbreeding":40308,".symbol":40309,"iman":40310,"AbsolutePath":40311,"ĠWHO":40312,"_flush":40313,"-root":40314,"arna":40315,"&M":40316,"Ġfathers":40317,"ĠRocket":40318,"iveau":40319,"Ġwander":40320,"Ġcompos":40321,"ĠWarrior":40322,"ĠSeat":40323,"ĠClinic":40324,"_invoice":40325,"(dispatch":40326,"Producto":40327,"aturing":40328,"ossier":40329,"ĠMAY":40330,"Ġdagger":40331,"Ġsanitized":40332,"ĠRFC":40333,"Ġproph":40334,"Ġurine":40335,"Ġgrind":40336,"ĠExpanded":40337,"descripcion":40338,"-fw":40339,"ĠKerry":40340,"=name":40341,"Ġchk":40342,"Ġnationally":40343,"Ġthee":40344,"Inc":40345,"Ġ?>>":40346,".RadioButton":40347,".HttpServletResponse":40348,"/Y":40349,"ĉfield":40350,"Ġhomme":40351,"yper":40352,"Physical":40353,"=v":40354,"Ġdriv":40355,"ĠErrors":40356,"ĠcÄĥ":40357,"Death":40358,"ĠWINDOW":40359,"Ġpoet":40360,"ĠSharp":40361,"ĠImmutable":40362,"ĉcreate":40363,"Ġgeht":40364,"ĠReform":40365,"aiser":40366,"ĠInitialization":40367,"Ġimmunity":40368,".compose":40369,"Ġlatency":40370,"ĠLebanon":40371,"ĠParad":40372,"Ġfuels":40373,"ĠExhib":40374,"coh":40375,"%\">Ċ":40376,"ĠCLI":40377,")initWith":40378,"-Za":40379,"_CLEAR":40380,"regn":40381,"Ġfinances":40382,".standard":40383,"_CATEGORY":40384,".library":40385,"Ġtravelers":40386,"_wp":40387,"ĠEvaluation":40388,"starting":40389,"Ġ)),Ċ":40390,"episode":40391,"ĠVariant":40392,"Ġdaemon":40393,"ĠJulia":40394,"ĠNR":40395,"Ġdoubles":40396,"'":40626,"Ġqueryset":40627,";}čĊ":40628,"ĠPopulation":40629,"utedString":40630,"resident":40631,"_FONT":40632,"ĠRespond":40633,"Ġobscure":40634,"Ġobservable":40635,"ĠContributors":40636,"kon":40637,"ĠMusk":40638,"exao":40639,"ĠTub":40640,"BootApplication":40641,"SOR":40642,".Horizontal":40643,".findBy":40644,".power":40645,"Ġpositively":40646,"venience":40647,"ĠJong":40648,"Ġwhistle":40649,"ĠзнаÑĩ":40650,"Ġlending":40651,"Ġdestructive":40652,"ĠonDelete":40653,"authorization":40654,"();?>":40655,"_original":40656,"science":40657,"atra":40658,"?,?,":40659,"ĠAsc":40660,"Ġconvincing":40661,"$a":40662,"orgen":40663,"_Date":40664,"ĠProvide":40665,"Ġlonely":40666,")'Ċ":40667,"exchange":40668,";?>Ċ":40669,".fast":40670,"Samples":40671,"London":40672,"'])čĊ":40673,"ĠIonic":40674,"Ġpesso":40675,"ĠKnights":40676,"ĠRaf":40677,"_attrs":40678,"Ġrepeal":40679,">Main":40680,"ĠOrdered":40681,"_New":40682,"=\"\">\";Ċ":40763,"ĠSERVER":40764,"ĠHEADER":40765,"_velocity":40766,"ĠInvoke":40767,".timestamps":40768,"Ġsulf":40769,"IQUE":40770,"Ġinhabitants":40771,"phins":40772,"azzo":40773,"Ġmono":40774,"Legend":40775,"Ġnonce":40776,"IFE":40777,";\";Ċ":40778,"-create":40779,"\"\",Ċ":40780,"permit":40781,"ĠImmigration":40782,"Ġpathname":40783,"ffective":40784,"âĻĢâĻĢ":40785,"Ġexams":40786,"-event":40787,"ĠTill":40788,"[mid":40789,"FIX":40790,";color":40791,"(Order":40792,"_traits":40793,"ĠorderBy":40794,"Ġsunt":40795,"ĠNicholas":40796,"ز":40797,"Ġsunny":40798,"iners":40799,"Ġaccessibility":40800,"ĠHB":40801,".comp":40802,"ĉop":40803,"Ġminorities":40804,"etheus":40805,"Ġcollaborative":40806,"prit":40807,"HIR":40808,"Ġwraps":40809,"ĉdraw":40810,"god":40811,"ĠIX":40812,".apps":40813,"ĠNM":40814,"Ġirrelevant":40815,"ĠTigers":40816,"Ġdiag":40817,"GV":40818,"ĠAccessories":40819,"kont":40820,"Ġsimplify":40821,"ĠFavorite":40822,"_tools":40823,"([]);Ċ":40824,"Ġtowers":40825,"Bes":40826,"Ġhunter":40827,"Ġsalon":40828,"(buff":40829,"ĉdebug":40830,"Ġmalware":40831,"Moving":40832,"-options":40833,")+'":40834,"ĠLOVE":40835,"_SOCKET":40836,"_fin":40837,"ĠDelaware":40838,"Ġsheriff":40839,"-invalid":40840,"ĠFULL":40841,"Ġпод":40842,"elas":40843,"\"strings":40844,"ĠRepresentatives":40845,"surface":40846,"resolved":40847,"htdocs":40848,")):čĊ":40849,"Ġpressures":40850,"Ġnorms":40851,"Ġpla":40852,"Ġsurname":40853,"Ġpostal":40854,"ĠDepart":40855,"Ġslaughter":40856,"orida":40857,"Ġhebben":40858,"Ġdesar":40859,"compact":40860,"_LANG":40861,"åIJĪ":40862,"opoly":40863,"_rad":40864,"ĠSTDMETHOD":40865,"Lazy":40866,"ĠĠĠĉ":40867,"...,":40868,"(web":40869,"ĠPont":40870,"Ġetwas":40871,"Ġupward":40872,"_hat":40873,"Ġ],ĊĊ":40874,"ĠbaseUrl":40875,"Ġworrying":40876,"-addon":40877,"(getClass":40878,"SPI":40879,"Ġcapturing":40880,")},Ċ":40881,"Effects":40882,"Ġcompetent":40883,"Ġfoul":40884,"Ġsubscribing":40885,"ĠOBJECT":40886,"IXEL":40887,"bucks":40888,"(edge":40889,"(pass":40890,"ĠPeterson":40891,"Ġboobs":40892,"ĠDelay":40893,"_square":40894,"elim":40895,"oters":40896,"_PC":40897,"%E":40898,"onclick":40899,"ĠSVG":40900,"Ġtopped":40901,"Ġfist":40902,"smart":40903,"ĠRalph":40904,"(owner":40905,"jours":40906,"Ġbronze":40907,"ĠArgumentException":40908,"(original":40909,"_SCALE":40910,"_cp":40911,"Ġrecommends":40912,".setStyle":40913,"Sure":40914,"LAND":40915,"Ġrepeating":40916,"Matt":40917,".Visibility":40918,"Ġenterprises":40919,".Setup":40920,"(scene":40921,"ĠReactive":40922,"urge":40923,"bw":40924,".Put":40925,"persist":40926,".cookie":40927,"ĠAudi":40928,"`s":40929,"supplier":40930,"(Form":40931,"¡":40932,"_so":40933,"ĮĢ":40934,"ĠLegion":40935,"tte":40936,"Nd":40937,"Loss":40938,"(attrs":40939,".scatter":40940,"Ġgroom":40941,"Ġglimpse":40942,"Ġnails":40943,"Ġcumulative":40944,"Ġfazer":40945,"_services":40946,".Num":40947,"ibilit":40948,"_resolution":40949,"ĠTx":40950,"uminium":40951,"opa":40952,".schedule":40953,"smtp":40954,"à¸ķ":40955,"urry":40956,"ük":40957,"goog":40958,"_signature":40959,".into":40960,"ĠSteps":40961,"Ġhomeowners":40962,"ĠNSURL":40963,"ĠPAC":40964,"ĠĠĠĠĠĠĠĠĠĠĠĠĊĊ":40965,">')Ċ":40966,"enh":40967,"Ġincap":40968,"$MESS":40969,"Ġmoins":40970,"ĠFi":40971,"Ġoffseason":40972,"pressions":40973,">.Ċ":41045,"ĠGrass":41046,"ĠGoal":41047,"_pdf":41048,"Handlers":41049,"Ġstacks":41050,".getFullYear":41051,"=[];Ċ":41052,"车":41053,",V":41054,"(split":41055,"Ñĥнк":41056,"Ġbakeca":41057,"Ġ~/.":41058,"pez":41059,"tails":41060,"ĠGlen":41061,"ĠsetImage":41062,"ĠComic":41063,"BLOCK":41064,"ĉThis":41065,"oader":41066,"Ġcapitalist":41067,"_STEP":41068,"(Boolean":41069,"ĠCorrect":41070,"rina":41071,"Ġconcaten":41072,"å®ŀ":41073,"():ĊĊ":41074,"Ġunanim":41075,"lli":41076,"alars":41077,"-ne":41078,"Ġdivor":41079,"ĠKickstarter":41080,"]._":41081,"*'+":41722,"åĿĢ":41723,"acency":41724,"(URL":41725,"_half":41726,"=l":41727,"ĠlistView":41728,"(section":41729,".toArray":41730,"+/":41731,"ĠRodriguez":41732,"istream":41733,"Ġeligibility":41734,"::-":41735,".newInstance":41736,"PB":41737,"ĠAssets":41738,"ĠComposite":41739,"ĠLabs":41740,"ĠHamas":41741,"++);Ċ":41742,"Ġblk":41743,"ĠNeo":41744,"Luc":41745,"@login":41746,"Ġunaware":41747,".met":41748,"_RELEASE":41749,"(ST":41750,"AMIL":41751,"rike":41752,"Ġ(){Ċ":41753,"(sprintf":41754,"ĠAccounts":41755,"ĠVIEW":41756,"ĠAj":41757,"ãĤ°":41758,"Ġwhisk":41759,"Ġidi":41760,"Ġrode":41761,"Ġihn":41762,"ĠElementary":41763,"Qty":41764,"Ġintriguing":41765,"Ġå¤":41766,"Jobs":41767,"ĉoffset":41768,"ĠAhmed":41769,"ĠTaliban":41770,"Ġèİ·åıĸ":41771,"Ġinjected":41772,".Authentication":41773,"_linear":41774,".Decimal":41775,"Ġapples":41776,"Ġshareholders":41777,"Ġbaked":41778,".diff":41779,"ĠEddie":41780,"okers":41781,"Ġconfronted":41782,"voices":41783,"Ġtus":41784,"ĠSpin":41785,"NODE":41786,"_Un":41787,"CTX":41788,"/google":41789,"Temperature":41790,"Ġ'').":41791,"Ġmagnificent":41792,"ĠstartIndex":41793,"sembles":41794,"Anyone":41795,"zk":41796,"ehen":41797,"ĠDame":41798,".strict":41799,"Ġreplaces":41800,"Ġlineback":41801,"Ġpushes":41802,"Ġcheek":41803,"ĠShi":41804,"_BYTES":41805,"REA":41806,"ản":41807,"_CONNECTION":41808,"Gateway":41809,"ĠTravis":41810,"ĠAX":41811,"ĠBasically":41812,"ĠUpgrade":41813,"àª":41814,"themes":41815,"ermo":41816,"kor":41817,"Female":41818,"_attach":41819,"ĠìĤ¬ìļ©":41820,"Ġpoz":41821,"==============Ċ":41822,"(symbol":41823,"ĠSector":41824,"__)ĊĊ":41825,"_padding":41826,"ï¼ļ\"":41827,"Ġfabs":41828,"Ġranged":41829,"setName":41830,"Ġperror":41831,"âĹ":41832,"ĠFileReader":41833,"Ġfulfilled":41834,"_Current":41835,"Ġdominate":41836,"Ġsmugg":41837,"PostMapping":41838,"_force":41839,"Ġbloc":41840,"ĠGiant":41841,"(video":41842,"ĠCU":41843,"SystemService":41844,"Ġelf":41845,"Ġkontakt":41846,"ëª":41847,"kees":41848,"gtk":41849,"ĠparamInt":41850,"Ġmarkup":41851,"uales":41852,"Ġaccounted":41853,"Ġgangbang":41854,"RYPT":41855,"ĠWrong":41856,"Ġcredited":41857,"ĠMESSAGE":41858,"Ġflaws":41859,"Ġbbw":41860,"Ġmetabolic":41861,"ĠOEM":41862,"/event":41863,"(Collectors":41864,"monton":41865,"appear":41866,"Ġopted":41867,"Ġcheat":41868,"Ġdav":41869,"ĠProceed":41870,"Ġê¸":41871,"anked":41872,"из":41873,"ansk":41874,"ĠHang":41875,"ĠCler":41876,"Ġdisgu":41877,"Ġcmap":41878,".cljs":41879,"Ġaument":41880,"lez":41881,"ĠJoined":41882,"_received":41883,"Ġaerial":41884,"otel":41885,"Ġgreet":41886,"\"s":41887,"ĠGenesis":41888,"ĠCalif":41889,"panion":41890,"Ġtailored":41891,"mapping":41892,"andExpect":41893,".track":41894,"atomy":41895,"ĠOw":41896,"ullah":41897,".Yes":41898,"ĠSimpleName":41899,"dbh":41900,"'en":41901,"Ġnonsense":41902,"Ġphilosophical":41903,"(getContext":41904,"Ġisso":41905,"ĠACE":41906,"startDate":41907,"ĠbÄĻd":41908,"ĠAUTHOR":41909,"ĠGlobe":41910,"Ġinsects":41911,"_Al":41912,"ushing":41913,"è®°":41914,"/Home":41915,"ĠLocalDate":41916,"needed":41917,"hesive":41918,"Ġillusion":41919,"äºĮ":41920,"Ġtrat":41921,"xo":41922,"/detail":41923,"_MATCH":41924,"Ġbroadband":41925,"Ġwal":41926,"ĠIllegalStateException":41927,"IRECTION":41928,"Ġnortheast":41929,"esium":41930,"ĠCliente":41931,"ulance":41932,"nty":41933,"Ġtecn":41934,"Devices":41935,"Ġgrains":41936,"ĠOg":41937,"ĠSEL":41938,"udiant":41939,"Ġ++;Ċ":41940,"Ġexplanations":41941,"occo":41942,"Ġdiets":41943,"Ġcohort":41944,"(controller":41945,".Iterator":41946,"-rich":41947,"rocess":41948,"GD":41949,"Ġcarbohydr":41950,"Ġfried":41951,"ĠEmployment":41952,"ìŀ¥":41953,"ĠLeonard":41954,"_${":41955,"quares":41956,"Ġcompanions":41957,"Ġparis":41958,"Ġstimulation":41959,"ĠZoo":41960,"Ġrelevance":41961,"ĠColour":41962,"Ġspear":41963,"otional":41964,"ĠLite":41965,"ĠKosten":41966,"Ġó":41967,"_attachment":41968,"orphic":41969,"Ġdamit":41970,"Ġdlg":41971,"Ġthrive":41972,"CHANGE":41973,"ĠApparently":41974,"Ġatual":41975,"Ġrooted":41976,"(images":41977,"awi":41978,"ariat":41979,"Ġcherry":41980,"STATIC":41981,"mnt":41982,"ĠUserId":41983,"illet":41984,"ĠHispanic":41985,"Ġnak":41986,"Ġcentro":41987,"Ġdims":41988,"_initialize":41989,"ık":41990,"ĠCenters":41991,"REN":41992,"Ġevolutionary":41993,"ĠTopics":41994,"_damage":41995,"emer":41996,"Ġrund":41997,"Ġpunished":41998,"Ġcubic":41999,"fair":42000,"[];ĊĊ":42001,"Ġinstantiate":42002,"Ġoversee":42003,"-delete":42004,"unteer":42005,"startTime":42006,"ĠPipeline":42007,"_GAME":42008,"ĠCir":42009,"ĉNull":42010,".Formatting":42011,"ucumber":42012,"ĠRide":42013,"Ġzoo":42014,"Ġchecker":42015,"åIJĮ":42016,"=C":42017,"Ġgrit":42018,"\");//":42019,"_xy":42020,"ĠDeclaration":42021,"Ġcallable":42022,"Foo":42023,"ĠListItem":42024,"Ġinaccur":42025,"mlin":42026,"ĉData":42027,"Ġevolving":42028,"awan":42029,"Ġcafe":42030,"folk":42031,"_IDX":42032,"ĠAnything":42033,"ĠPalestine":42034,"ĠGridView":42035,"Ġcolony":42036,"ĠGermans":42037,"(+":42038,".pid":42039,".jsx":42040,"ĠSuperior":42041,"Christian":42042,"ĠLect":42043,"ĉGame":42044,"Ġinstrumental":42045,"Animations":42046,"дал":42047,"ĠMoses":42048,"ĉĉčĊĉĉčĊ":42049,"zs":42050,"kte":42051,"ä¸ļ":42052,"_DIST":42053,"bitmap":42054,"dB":42055,"Ġpersistence":42056,"ÑĢоÑģ":42057,"$l":42058,"Bron":42059,"Ġ{|":42060,"_chart":42061,"ĠConsum":42062,"Ġhemp":42063,"Ġ\"))Ċ":42064,"Ġattackers":42065,"Ġknowledgeable":42066,"Ġcet":42067,"Ġviruses":42068,"'I":42069,"Ġpitcher":42070,"Ġsweeping":42071,"=list":42072,"aptops":42073,".depth":42074,"Ġinstructed":42075,"ĠRus":42076,"benhavn":42077,"Ġин":42078,"Sports":42079,"Ġonset":42080,"æĿĥ":42081,".RED":42082,"_si":42083,"ĠPST":42084,".onChange":42085,">tag":42086,"ĠRoh":42087,"_character":42088,"ĠLaws":42089,"ĠBachelor":42090,"_swap":42091,".reactivex":42092,"Ġrewarding":42093,"Medium":42094,"-[":42095,"ĠRecently":42096,"Joint":42097,"partition":42098,"ĠMinutes":42099,"Ġindo":42100,"Ġabsorbed":42101,"ĠGN":42102,"_IND":42103,"Ġsaber":42104,"Spawn":42105,"outputs":42106,"ĠJeffrey":42107,"Ġmedieval":42108,"hed":42109,"Guide":42110,"Ġpsycho":42111,"Ġglam":42112,"Elim":42113,"ädchen":42114,"_plain":42115,"ĠSau":42116,"-four":42117,"Ġanalyzing":42118,"QUERY":42119,"Ġtomato":42120,"_buttons":42121,"VEN":42122,".setStatus":42123,".Url":42124,"+ĊĊ":42125,"Ġcomplaining":42126,"degree":42127,"confirmed":42128,"Ġsubt":42129,"parsed":42130,"Ġtorque":42131,"Ġtroubled":42132,"ĠTARGET":42133,"Ġtrademarks":42134,"ĠCoordinate":42135,"ĠViv":42136,"Ġ//}ĊĊ":42137,"Ġaprès":42138,".getPosition":42139,"(KeyCode":42140,"ĠSilva":42141,"Ġmeteor":42142,"Ġendorsement":42143,"Overview":42144,"ĠPoss":42145,".Inject":42146,"Ġevenly":42147,"Ġvisualization":42148,"Ġwchar":42149,"ĠHDMI":42150,"Ġfunct":42151,"ickname":42152,"','','":42153,"Ġforwards":42154,"ManagedObject":42155,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":42156,"ĉserver":42157,"ĠOutlook":42158,"ĠChronicle":42159,"Ġdubbed":42160,"Ġdok":42161,"ĠWear":42162,".AL":42163,"paren":42164,".Interface":42165,"Interfaces":42166,".cod":42167,"Ġdib":42168,".Globalization":42169,"ĠAcademic":42170,"Ġassms":42171,"Autom":42172,"Ġlw":42173,"ĠNW":42174,"Ġ&&čĊ":42175,"Ġproblema":42176,"ĠManufacturing":42177,"limits":42178,"-mobile":42179,"Ġfilme":42180,"/map":42181,"Ġdoit":42182,"ĠInk":42183,"Ġsued":42184,".arr":42185,"Ġundermin":42186,"ĠProc":42187,"crollView":42188,"__$":42189,"Ġsidewalk":42190,"(that":42191,"ื":42192,"[q":42193,"grammar":42194,"Ġtë":42195,"quito":42196,"Ġspiral":42197,"extended":42198,"Ġfocal":42199,"Ġdigging":42200,"pas":42201,"ĠTall":42202,".proxy":42203,"itures":42204,"TRACT":42205,"ĠRealm":42206,"Ġfeder":42207,"Ġoriented":42208,"ĠAlternative":42209,"Ġowe":42210,"Ġsourced":42211,"inker":42212,".det":42213,"Sep":42214,"ĠQui":42215,"ĠPalmer":42216,"(_,":42217,"samples":42218,"oyer":42219,"ullan":42220,"quez":42221,"Edges":42222,"Ġshout":42223,"ĠAchie":42224,"Ġhaar":42225,"_Construct":42226,"Ġpremature":42227,"Ġrevert":42228,"').Ċ":42229,"Ġschn":42230,"filtered":42231,"nullptr":42232,"Saved":42233,"itecture":42234,"CLA":42235,"Ġvl":42236,"stell":42237,"ĉMe":42238,"ĠLip":42239,"national":42240,"Ġwholly":42241,"Ġsprings":42242,".Timer":42243,"ĉsrc":42244,"elsen":42245,"åħ¶":42246,"Ġcommunicating":42247,"ĠQuiz":42248,"Ġteng":42249,"Ġgez":42250,"ĠOutside":42251,".Sign":42252,"(cs":42253,"Ġdisputes":42254,"ĠWeiss":42255,"annes":42256,">No":42257,"ĠBach":42258,".removeAll":42259,"refer":42260,"/dashboard":42261,"ĠAjax":42262,"IndexChanged":42263,"ĠWeak":42264,"'\"Ċ":42265,"Ġsights":42266,"accessToken":42267,"ĠJoi":42268,"(domain":42269,"ĉcv":42270,"Ġcontinuation":42271,"Ġplum":42272,"adir":42273,".setMessage":42274,"Ġï¼Į":42275,"Ġswallow":42276,"ĠLamp":42277,"Ġqw":42278,"Ġuu":42279,"Coin":42280,"ubic":42281,"ĠDeals":42282,"race":42283,"Ġdictator":42284,"Ġmeme":42285,"turned":42286,"ĠJulie":42287,".gridColumn":42288,"Ġpuppy":42289,"Ġpam":42290,"Ġ){čĊ":42291,"Ġinviting":42292,"Ġfrench":42293,"vim":42294,"Ġwrapping":42295,"Ġ#-}Ċ":42296,"([-":42297,"Early":42298,"Ġshiny":42299,".faces":42300,"Ġrebell":42301,"abcdef":42302,"ält":42303,"Ġestimation":42304,"phys":42305,"losures":42306,"_REL":42307,"Ġexclusion":42308,"ĠSkype":42309,"weise":42310,"-stop":42311,"nothing":42312,"ĠEgg":42313,"isors":42314,"Richard":42315,"Ġcounseling":42316,"Ġcommem":42317,"ĠQMessageBox":42318,"ĠSynd":42319,"ĠFrost":42320,"ĠCompetition":42321,"ĠAwake":42322,"Ġted":42323,"iciones":42324,"ĠDevComponents":42325,"VERTISEMENT":42326,"otti":42327,".runner":42328,"Ġuniquely":42329,".flag":42330,"ĉrs":42331,"_generic":42332,"Ġ```Ċ":42333,"ACHINE":42334,"Ġmein":42335,"(Application":42336,"(br":42337,"Ġratios":42338,":,":42339,"ĠXCTest":42340,"ustainable":42341,"-www":42342,"itles":42343,"_TEMP":42344,"Ġsyst":42345,"umericUpDown":42346,"ĉassertTrue":42347,"Ġwf":42348,".peek":42349,"ĠBulg":42350,"Ġterrifying":42351,".MODE":42352,"ĠGW":42353,"ár":42354,"Ġfic":42355,"Ġcommitments":42356,"-tech":42357,"ĠLiquid":42358,"opez":42359,"zheimer":42360,"aña":42361,"-media":42362,"(animated":42363,"_goal":42364,"Ġgum":42365,"ystone":42366,".SET":42367,"ĠWend":42368,"setCellValue":42369,"Ġmsgs":42370,"cash":42371,"ALLOC":42372,"/aws":42373,"Ġmicrowave":42374,".Pointer":42375,"ĉConsole":42376,"_sorted":42377,"ĠFilip":42378,"Prod":42379,"Ġ//!<":42380,"ingroup":42381,"Ġks":42382,"_TRI":42383,"Ġteaspoon":42384,"ĠATT":42385,"Ġrecovering":42386,"ĠGLOBAL":42387,".Par":42388,"Ġ/>;Ċ":42389,"Ġmarble":42390,"ulators":42391,"ĠCycle":42392,"Ġherbs":42393,"_metric":42394,")!":42395,"_CLOCK":42396,"_Button":42397,"Harry":42398,"è¿Ľ":42399,"Ġstrains":42400,"ĠAppBar":42401,"ĠChan":42402,"/video":42403,"Ġbam":42404,".Progress":42405,"$f":42406,"lemen":42407,"Ġirregular":42408,"ĠDuncan":42409,"ĠMint":42410,"-video":42411,"া":42412,"ówn":42413,"ĠEMPTY":42414,"Ġstacked":42415,"ĠHA":42416,"_cut":42417,"Ġwherein":42418,"ĠWays":42419,"(counter":42420,"è¯ķ":42421,"FormGroup":42422,"Ġblew":42423,"courses":42424,"Ġproductos":42425,"rys":42426,"ĠRestr":42427,"Ġstyling":42428,">s":42429,"Ġpiv":42430,"Ġitertools":42431,"getRepository":42432,"ĠIk":42433,"_devices":42434,"layui":42435,"Ġhalfway":42436,"Ġfranç":42437,"Ġtuning":42438,"OA":42439,"_Node":42440,"arde":42441,"Ġfierce":42442,"licted":42443,"#čĊ":42444,"Ġbreakthrough":42445,"ĠErik":42446,"Ġbride":42447,"Ġ.\"":42448,"culus":42449,"inside":42450,"ĠIndianapolis":42451,"ĠEE":42452,"Ġyog":42453,"urret":42454,".fs":42455,".grad":42456,"_cards":42457,"_accuracy":42458,"_epi":42459,"queda":42460,"/org":42461,"éªĮ":42462,"Ġcompte":42463,"))[":42464,"Outside":42465,"Greater":42466,"ĠRenderer":42467,".actor":42468,"Accounts":42469,"Idle":42470,"_hours":42471,"erner":42472,"Joined":42473,"Ġmenj":42474,"requires":42475,"ĠOPER":42476,".removeChild":42477,"ĉsp":42478,"Ġesse":42479,"rift":42480,"xFE":42481,"ĠShakespeare":42482,"____________":42483,"Ġbudgets":42484,"ModelState":42485,"fillable":42486,"-component":42487,"ocos":42488,"ĠBUTTON":42489,"/io":42490,",out":42491,"sms":42492,"Thomas":42493,"ĠArmed":42494,"resume":42495,"Ġrotating":42496,"ĠVault":42497,"Ġseus":42498,".(*":42499,"Ġamino":42500,"Ġ[]);ĊĊ":42501,"Ġprovoc":42502,"nox":42503,".GetEnumerator":42504,"=======Ċ":42505,"æĸĻ":42506,"_scroll":42507,"Ġfilmed":42508,"ĠSoci":42509,"gap":42510,"gro":42511,"Vote":42512,"\"But":42513,"_RC":42514,"Animal":42515,"ÂĢ":42516,"ibile":42517,"Ġawaken":42518,"orest":42519,"inja":42520,"ĠIvan":42521,"(Command":42522,"Ġ*****":42523,"η":42524,"Ġkvinder":42525,"/helpers":42526,"_cases":42527,"tg":42528,"ìĦ¸":42529,"Registered":42530,"ĉpass":42531,"_digits":42532,"Ġcontour":42533,"Ġinfants":42534,"Ġjustification":42535,"ĠFortunately":42536,"Contr":42537,"ĠonCreateView":42538,"_SAMPLE":42539,"ĠallowNull":42540,"Ġnud":42541,"Ġfetched":42542,"_equ":42543,"ĠUnable":42544,"=\\\"\"":42545,">{Ċ":42546,"Ġcommittees":42547,"istema":42548,"+\".":42549,"ÃŃan":42550,"mant":42551,"Ġsoutheast":42552,"ï¼ĮĊ":42553,"dialogs":42554,"PROJECT":42555,"charger":42556,"-port":42557,"(uuid":42558,".export":42559,"Six":42560,"ĠRP":42561,"Prem":42562,"Ġconscience":42563,"ĠmarginRight":42564,"_distribution":42565,"yaml":42566,"resizing":42567,"Dock":42568,"ĠLocations":42569,"GY":42570,"Seed":42571,"BUFFER":42572,"ossip":42573,"ullen":42574,"Things":42575,"-self":42576,".poll":42577,"PLAYER":42578,"Ġå®":42579,"GROUP":42580,"ĠAway":42581,"Ġgospel":42582,"xfd":42583,"Mary":42584,"ĠPortable":42585,"TURE":42586,"Ġutilis":42587,"Ġseit":42588,"Ġstrand":42589,"Ġtransc":42590,"Ġ(^":42591,"ĠAlfred":42592,".mem":42593,".circle":42594,"Ġ~/":42595,"forcing":42596,"Ġriot":42597,"prox":42598,"THON":42599,"ización":42600,"ĠNI":42601,"rost":42602,"Ġdispro":42603,"_instances":42604,"ï¼ĮâĢľ":42605,"ographer":42606,"endas":42607,"ĠIsaac":42608,"ĠPine":42609,"/dis":42610,"ĠcolorWith":42611,"iterate":42612,"_stride":42613,"Ġpunto":42614,".EventArgs":42615,"(center":42616,"Ġneighboring":42617,"ĠPrison":42618,"ĠMessenger":42619,"Ġepidemic":42620,"dao":42621,"_complex":42622,"Ġgravel":42623,"_DIP":42624,"ément":42625,"ĠAri":42626,"_bitmap":42627,".quit":42628,"(valid":42629,"Ġpend":42630,"Ġrespiratory":42631,"Ġrebound":42632,"DefaultValue":42633,"ãĥŃ":42634,"Ġcommits":42635,".tests":42636,"_fr":42637,"itet":42638,".sf":42639,"Ġspacecraft":42640,"critical":42641,"Ġdepressed":42642,"ĠAnyObject":42643,"Ġunb":42644,"Ġdiscern":42645,"(mysql":42646,"Latin":42647,"ĠBog":42648,"ĠWildlife":42649,"ToFile":42650,"ioxid":42651,"@RestController":42652,"Ġ\"$(":42653,"Ġ<<\"":42654,"Ġdefects":42655,"Ġdatum":42656,"hin":42657,"Ġrealizar":42658,"anyahu":42659,"ĠSig":42660,"@Data":42661,"adaptive":42662,"ĠCatherine":42663,".cr":42664,"ĠCOOKIE":42665,"Ġpictured":42666,"ĠFighter":42667,"Queryable":42668,"ĠAnyway":42669,"ĠGLFW":42670,"_namespace":42671,"_ft":42672,"Ġ])":42673,"Organization":42674,"Ġconstitutes":42675,"Ġquand":42676,"(chunk":42677,"\"/>čĊ":42678,"ĠLakes":42679,"mainwindow":42680,"Carthy":42681,"spin":42682,"(csv":42683,":red":42684,"-commerce":42685,"ู":42686,"Ġdiscovering":42687,"Ġeco":42688,"_fac":42689,"inceton":42690,"ĠGreens":42691,"jwt":42692,"ص":42693,"ĠBroncos":42694,"ĠGoods":42695,"(GTK":42696,"ĠreturnValue":42697,"Ġsiempre":42698,"Ġneutr":42699,"went":42700,"ĠNatal":42701,"Ġenthusiastic":42702,"á»į":42703,"FN":42704,"/database":42705,"Catalog":42706,"Ġbrun":42707,"ĠKash":42708,"_Pl":42709,"iscrim":42710,",width":42711,"Ġinmates":42712,"Assignment":42713,"ĠHaven":42714,"Ġplayground":42715,"exam":42716,"@Controller":42717,"uliar":42718,".getParent":42719,"Ġ\";ĊĊ":42720,":size":42721,"issors":42722,"Ġfis":42723,"Ġalc":42724,"ensation":42725,"ĠNixon":42726,"Ġmighty":42727,"-str":42728,"_special":42729,"_ADC":42730,"ĠTwig":42731,"umbling":42732,"-address":42733,"Ġheroin":42734,"YTE":42735,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":42736,"Friend":42737,"Ġave":42738,"ĠPNG":42739,"ĠKurdish":42740,"DataSetChanged":42741,"Ġblades":42742,"bral":42743,"Steam":42744,"Ġsigu":42745,"IRTUAL":42746,"acos":42747,"UDP":42748,"(database":42749,"hec":42750,"ĠStrings":42751,"_scalar":42752,"ĉdesc":42753,"ĠTLS":42754,";\"Ċ":42755,"ĠCorbyn":42756,"SimpleName":42757,"uell":42758,"ĠEntre":42759,"ellites":42760,"-place":42761,"Ġfrankly":42762,"ĠErf":42763,"CEL":42764,"ĠpaÃŃs":42765,"Ġhedge":42766,"Ġlatent":42767,"ĠIRQ":42768,"ĠHerald":42769,"ĠPrec":42770,"ë³´":42771,".TEXT":42772,"Salary":42773,"Ġautumn":42774,"Ġtravail":42775,".Sum":42776,"Ġcared":42777,"Mor":42778,"Ġintuitive":42779,"Ġjournals":42780,"_IT":42781,"ĠTrou":42782,"ä¼ł":42783,"HasColumnName":42784,"Composite":42785,"Ġspice":42786,"_disk":42787,"_CODES":42788,"ĠIntroduced":42789,"iona":42790,"Ġnuestra":42791,"oct":42792,"ĠĠĠĠĊĠĠĠĠĊĠĠĠĠĊ":42793,"(parameter":42794,"Ġstudios":42795,"ĠprojectId":42796,"Ġbdsm":42797,".SqlClient":42798,"imizer":42799,"ĠCARD":42800,"+t":42801,"aan":42802,".sol":42803,"_Adjust":42804,"Ġrighteous":42805,"ĠLogging":42806,".filters":42807,"_TAB":42808,"ĉsys":42809,"rophic":42810,"otherapy":42811,"ĠBrowse":42812,"keyboard":42813,"RON":42814,"+\\":42815,"ropped":42816,"Ġextensively":42817,"fk":42818,"Ġlime":42819,"years":42820,"Exc":42821,"Ġsph":42822,"Ġcheating":42823,"andro":42824,"ÃŃo":42825,"Ġprince":42826,"oire":42827,"ĠDestination":42828,"ĠConverts":42829,"Ġupstream":42830,"oled":42831,"Ġservants":42832,"Ġsemantic":42833,"Ġcrunch":42834,"Ġeventual":42835,"runner":42836,"/error":42837,"Spin":42838,"Ġsecretly":42839,"Ġassemble":42840,".Person":42841,"enderror":42842,"_<":42843,"Ġpendant":42844,"Sleep":42845,"ĠChemistry":42846,"Ġbosses":42847,"lk":42848,"))),Ċ":42849,"Blockly":42850,"DEVICE":42851,"Ġreflecting":42852,"Ġample":42853,"Milliseconds":42854,"ĠPresidential":42855,"Ġusuarios":42856,"ĠNZ":42857,"ĠSalary":42858,"ĠAmanda":42859,"_np":42860,"jury":42861,"Ġkön":42862,"Ġtherapist":42863,"Ġhomosexual":42864,"ĠDrake":42865,"-window":42866,"ĠLocated":42867,".Driver":42868,"ĠVIDEO":42869,"Ġmerchants":42870,"ĠChest":42871,"-lock":42872,"/php":42873,"Ġmilano":42874,"_STYLE":42875,"arger":42876,"idea":42877,"GUID":42878,"advanced":42879,"meal":42880,"OptionsItemSelected":42881,"='%":42882,"ĠCham":42883,":data":42884,"(stat":42885,"WillAppear":42886,"Ġinformal":42887,"aji":42888,"Ġreproductive":42889,"ĠCAS":42890,"ãģ£":42891,"FUNC":42892,"ĠRuth":42893,")+(":42894,"CONST":42895,"ĠFans":42896,"ĠgroupId":42897,"xffffffff":42898,"Ġsampler":42899,"Ġ}}\">":42900,".the":42901,"Ġhollow":42902,"WAY":42903,"ĠFaculty":42904,"AttributedString":42905,"ĠLooks":42906,"ĠRex":42907,"jk":42908,"ĠMIL":42909,"Ġbard":42910,".Long":42911,"Ġlivest":42912,"Ġskal":42913,"icism":42914,"MAIN":42915,"Ġmucho":42916,"BODY":42917,"Ġese":42918,"ĉuse":42919,"Foot":42920,".SQLException":42921,"Ġinheritance":42922,"received":42923,"Ġputas":42924,"edis":42925,"alsa":42926,"ĠErrorMessage":42927,"Booking":42928,"Ġtract":42929,"acz":42930,"ĠCant":42931,"_regex":42932,"Ġideological":42933,"Ġjihad":42934,"hos":42935,"/sys":42936,"colm":42937,"(pool":42938,"Ġestán":42939,"ĠPending":42940,"emás":42941,"Ġktóry":42942,"));ĊĊĊ":42943,"transactions":42944,"Ġwield":42945,"itere":42946,"erture":42947,"_ss":42948,"Ġstretching":42949,"Ġprisoner":42950,".ReadAll":42951,"Ġbesch":42952,"--;čĊ":42953,"Ġcrisp":42954,"_SCAN":42955,"Ġae":42956,"Strict":42957,"ĠMinneapolis":42958,"ĠBoeing":42959,"aris":42960,"rek":42961,"_pipe":42962,"Ġpriests":42963,"(EIF":42964,"ehicles":42965,"ĠInteractive":42966,"between":42967,"ĉNullCheck":42968,"ĠBlair":42969,"ĠLt":42970,"_inline":42971,"ethyl":42972,"¼":42973,"_packages":42974,"Ġbarrels":42975,"_he":42976,"Ġregexp":42977,"_pts":42978,"_Handler":42979,"ingular":42980,"ĠNissan":42981,"ĠRanch":42982,"Ġperch":42983,"Unsupported":42984,"Smith":42985,"ĠLegends":42986,"Mi":42987,"Ġgf":42988,"steder":42989,"Ġacquiring":42990,"Ġsimulator":42991,"(),\"":42992,"receive":42993,"Ġinplace":42994,"ACTION":42995,"ĠWebDriver":42996,"filesystem":42997,"'+Ċ":43009,"Ġcredible":43010,"amat":43011,"playing":43012,".setImageResource":43013,"quel":43014,"Ġpodr":43015,"geom":43016,"Ek":43017,"ĠQatar":43018,"Ġgeld":43019,"?',Ċ":43020,"Ġcyl":43021,"(ax":43022,"ĠWI":43023,"urally":43024,"ĠBrasil":43025,"Ġsenza":43026,"aley":43027,"onen":43028,"Ġbah":43029,"Ġmolecule":43030,"Rad":43031,"è¿°":43032,"ANCH":43033,"-background":43034,"-agent":43035,"Ġprolifer":43036,":boolean":43037,"Ġtide":43038,"erializer":43039,"_;čĊ":43040,"Fee":43041,"**)":43042,"ergy":43043,"ĠHonor":43044,".Logging":43045,"iris":43046,"Ġundermine":43047,"ĠDy":43048,"Ġtyr":43049,"Ġdeque":43050,"Ġdamer":43051,"([])Ċ":43052,".layoutControlItem":43053,"peated":43054,"CAN":43055,"ragments":43056,"Land":43057,")]);Ċ":43058,"ĠSah":43059,"ĠDECL":43060,"Within":43061,"ĠNamespace":43062,"another":43063,"sembling":43064,".describe":43065,"Consum":43066,"ĠFear":43067,"given":43068,"Orange":43069,"This":43093,"ĠdataIndex":43094,"Ġprintable":43095,"ĠEyes":43096,"_targets":43097,"(Py":43098,".over":43099,"Ġbru":43100,"ampton":43101,"Ġplaintiff":43102,");Ċ":43113,"invest":43114,".*ĊĊ":43115,"Ġtélé":43116,"Ġsuperf":43117,"Ġcascade":43118,"DTD":43119,"Ġvivid":43120,"Ġsubsidies":43121,"ĠHass":43122,"Ġcollaps":43123,"Ġceramic":43124,"{}\".":43125,"ĠLeakage":43126,"-trash":43127,"collapsed":43128,"-social":43129,"ĠChad":43130,"Ġinclined":43131,"Ġsto":43132,"Ġstoryboard":43133,".payment":43134,"stackoverflow":43135,"ĠRaiders":43136,"Ġ#'":43137,"olicies":43138,"ìľ¼ë¡ľ":43139,"emap":43140,"Ġkj":43141,"Ġquota":43142,"ĠGardens":43143,"ë²Ī":43144,"ĠAngels":43145,"Ġoft":43146,"Ġlowercase":43147,"ĠiParam":43148,"Ġcheapest":43149,"unta":43150,"_pkt":43151,"icators":43152,"Ġleurs":43153,"Ġdecreases":43154,"ĉdefine":43155,"PREC":43156,"ammers":43157,"ĠPreparedStatement":43158,"(direction":43159,"Ġcrews":43160,"arked":43161,"ĠMemphis":43162,"ĠSell":43163,"GTK":43164,"Ġmaid":43165,":disable":43166,"éĽĨ":43167,"ĠPf":43168,"Ġalbeit":43169,"openh":43170,"?>\">Ċ":43171,".getSource":43172,"(scale":43173,"Du":43174,"ĠPIL":43175,"_refresh":43176,"Ġbets":43177,"(car":43178,"ĠVon":43179,"|--------------------------------------------------------------------------Ċ":43180,"ĠGrat":43181,"Much":43182,"(Dialog":43183,".stopPropagation":43184,"Ġtek":43185,"Ġexits":43186,"'],$":43187,"ĠphoneNumber":43188,"ucs":43189,"ecimal":43190,"--------------":43191,"inp":43192,".pojo":43193,"Ġcorpus":43194,"Ġpractitioners":43195,".pic":43196,"\"testing":43197,"ĠstringBy":43198,".NotNull":43199,"Ġrang":43200,".Dynamic":43201,"_Render":43202,"аÑĤа":43203,"Waiting":43204,"ĠWik":43205,"Ġoverwhelmed":43206,"%\">":43207,"ĠAE":43208,"}}>Ċ":43209,"uw":43210,"_typ":43211,"Ġbuckets":43212,"Ġgreeting":43213,"Ġlaughter":43214,"Ġantagon":43215,"uggestion":43216,"-email":43217,"ĉtop":43218,"Ġeros":43219,"_tri":43220,"Ġissuing":43221,"Ġhá":43222,"Ġisolate":43223,"Overflow":43224,",E":43225,"Ġnutritional":43226,"ĠAbbott":43227,"Ġnf":43228,".touch":43229,".fetchall":43230,"_zip":43231,"\")}Ċ":43232,"Ġamat":43233,"ĠCisco":43234,"ĠnÃ¥":43235,"PLEX":43236,"Ġsei":43237,"foto":43238,".toJson":43239,"å¤ļ":43240,"ĠKlein":43241,"Ġlibc":43242,"Ġminers":43243,"å¢":43244,"-print":43245,"ĠPride":43246,"Todos":43247,"Ġmasked":43248,"ĠsetData":43249,"Ġtelefon":43250,"Ġunhappy":43251,"ĠTables":43252,"geb":43253,"(debug":43254,"_allowed":43255,"-access":43256,"Ġlogistics":43257,"Ġgems":43258,"ĠMature":43259,"Ġrsp":43260,"ĠAlle":43261,".getBytes":43262,"\\web":43263,"ynchronized":43264,"Paragraph":43265,"Ġthrottle":43266,".sqlite":43267,"consulta":43268,"ĠSeah":43269,"Ce":43270,"Ġsubmar":43271,"ERE":43272,"Vous":43273,"Ġreddit":43274,"Ġsqlalchemy":43275,"-mile":43276,"ocide":43277,"Pour":43278,"}}\">Ċ":43279,"stead":43280,"Ġ@(":43281,"Ġ[])":43282,"ĠAds":43283,"Ġoverload":43284,"ridden":43285,"ĠDesert":43286,"ĠWrap":43287,"ĠPortuguese":43288,"etz":43289,"ĉfirst":43290,"Ġmilestone":43291,"æĹł":43292,"ÑĥÑī":43293,"(success":43294,"\")Ċ":43463,"ĠDollar":43464,"Ġemoji":43465,"Carousel":43466,"-player":43467,"Ġadjusting":43468,"Ġjuga":43469,"allenges":43470,"gene":43471,"(bodyParser":43472,"lopedia":43473,"ĠBehind":43474,"Ġsleeves":43475,"Ġdragging":43476,"ĠChevrolet":43477,"Ġbiz":43478,"ivities":43479,"ĠFrequency":43480,",char":43481,".WHITE":43482,"_preview":43483,")';Ċ":43484,"_ax":43485,"IONS":43486,".cpu":43487,".inputs":43488,"UBE":43489,"_feed":43490,"ĠSupplement":43491,"!).":43492,"esus":43493,"ĠUDP":43494,"Ġmicrophone":43495,"Ġconfirms":43496,".isNotEmpty":43497,"\":\"\",Ċ":43498,"_SCREEN":43499,"ĉexpected":43500,"+-+-+-+-":43501,"ĠHait":43502,"fastcall":43503,"Ġdepict":43504,"vb":43505,"_picture":43506,"ĉdescription":43507,"ĠWife":43508,"uci":43509,"Ġvicious":43510,"ä»ĸ":43511,"ueba":43512,"ĠsetUser":43513,"ãģ¡":43514,"Ġdiving":43515,"Ġopera":43516,"usercontent":43517,"arah":43518,")},":43519,"yun":43520,"velt":43521,"Ġuncovered":43522,"Ġhips":43523,"Ġoscill":43524,"Ġasserting":43525,"ĠXi":43526,".restore":43527,"kea":43528,"Ġspelling":43529,"Ġderive":43530,"abwe":43531,"ĠDow":43532,".setType":43533,"_vs":43534,"Ġcozy":43535,".categories":43536,"Org":43537,"_mgr":43538,"Ġdungeon":43539,"collectionView":43540,"ĠBlank":43541,"acias":43542,"ää":43543,"_cleanup":43544,"_ACTIVITY":43545,"Ġtriangles":43546,".MenuItem":43547,"Ġiphone":43548,"ĠWon":43549,"]]ĊĊ":43550,"ĠComparison":43551,".Doc":43552,"Ġcanonical":43553,"ĠSudan":43554,"'){":43555,"UpInside":43556,"builtin":43557,"ENCY":43558,"xbe":43559,"Ġchuck":43560,"Ġcontradict":43561,"Ġnuestro":43562,"Ġarchitectural":43563,"ĠFib":43564,"Ġcompares":43565,"*k":43566,"Cfg":43567,"çĦ¡":43568,"nten":43569,"Matches":43570,"ĠDOWNLOAD":43571,"_HANDLER":43572,"management":43573,"[S":43574,"ENG":43575,"ÂĢÂ":43576,"fang":43577,"Ġslipped":43578,"ĠLanka":43579,"escaping":43580,"Ġtackles":43581,"ĠPedro":43582,".Prop":43583,".''":43584,".Generated":43585,".NewGuid":43586,"atrigesimal":43587,"illon":43588,"Ġstatistic":43589,"species":43590,"holding":43591,"Drupal":43592,"Ġfundamentally":43593,"Ġbondage":43594,"Ġresolutions":43595,"InlineData":43596,"\\Type":43597,"estion":43598,".wrap":43599,"Ġwarriors":43600,"ĠLOCAL":43601,"Archive":43602,"Ġembraced":43603,"ủ":43604,".Ver":43605,"ĠAffordable":43606,"olesale":43607,"ĠApplied":43608,"ĠConversion":43609,"mega":43610,"_cam":43611,"Ġceremon":43612,"aurus":43613,"ĠVolk":43614,".opens":43615,"/about":43616,"ĠStd":43617,"journal":43618,"()){čĊ":43619,",\"\\":43620,"(Arrays":43621,"ĠDense":43622,"aseña":43623,"änner":43624,"/stat":43625,"userData":43626,"Ġgerman":43627,"Ġtz":43628,"worthy":43629,"FormatException":43630,"pherd":43631,"Ġsmiles":43632,"ĠWhenever":43633,"(adapter":43634,".badlogic":43635,"Ġbriefing":43636,".GridColumn":43637,"-char":43638,"dimension":43639,"ĠCopper":43640,"Ġninth":43641,"Ġ'{{":43642,"Ġrav":43643,"_Table":43644,"Ġderivatives":43645,"ĠRaise":43646,"ĠFut":43647,"armor":43648,"-padding":43649,"Ġremin":43650,"ĉstyle":43651,"ĠMembership":43652,"Ġspreads":43653,"Ġgalleries":43654,"ĠClarke":43655,"Ġconception":43656,"minute":43657,"Ġabusive":43658,"_adj":43659,"Ġterrific":43660,"Ġovert":43661,"ourcing":43662,"Ġentrada":43663,"levels":43664,"Ġcritique":43665,"Ġrespects":43666,"ĠMMA":43667,"iene":43668,"Ġencaps":43669,"ĠRaymond":43670,"Divider":43671,"ivable":43672,"baz":43673,"Ġ@_;Ċ":43674,"ĠClaire":43675,"Ġurging":43676,"CEE":43677,"Ġtransformer":43678,"discord":43679,"ĠJourney":43680,"tos":43681,"Ġcompetitions":43682,"ĠOBJ":43683,"ĠBis":43684,"Ġrelaxation":43685,"idy":43686,"_INSTANCE":43687,"ĠPref":43688,"dados":43689,"iciencies":43690,"ĠMediaQuery":43691,"ĠCube":43692,"ĠStrange":43693,"gpu":43694,"(days":43695,"_InitStruct":43696,"Ġfingerprint":43697,"emat":43698,"ĠGecko":43699,"Ġrails":43700,"ĠLum":43701,"straction":43702,"igung":43703,"(movie":43704,"_dictionary":43705,"_interrupt":43706,"ĠQC":43707,"iked":43708,"appendChild":43709,"recipient":43710,"ré":43711,"Ve":43712,"Ġtowel":43713,".lastIndexOf":43714,"Ġplacebo":43715,"ĠWie":43716,".esp":43717,"(Debug":43718,"operative":43719,"Ġdeceased":43720,"&id":43721,"ĉmutex":43722,"elic":43723,"Ġbapt":43724,"ĉčĊčĊ":43725,"Ġfarther":43726,"Half":43727,".disable":43728,".menuStrip":43729,"leccion":43730,"ĠresultCode":43731,"Ġcans":43732,"-election":43733,"female":43734,"_FIX":43735,"ausible":43736,"ĠPOWER":43737,"Ġreconstruction":43738,"Ġscans":43739,".XtraBars":43740,"âĢĺs":43741,"Removed":43742,"Ġparagraphs":43743,"_margin":43744,"Ġlymph":43745,"Ġbos":43746,"lington":43747,"ĠBaptist":43748,"Ġadvertisements":43749,"ĠManage":43750,"/yyyy":43751,"IOUS":43752,"ENCES":43753,"ĠFiction":43754,"ĉmenu":43755,"ĠFileOutputStream":43756,"ovan":43757,"ĠFeng":43758,"Ġskipping":43759,"getClass":43760,"anni":43761,"Ġrebounds":43762,"Ġpublicity":43763,"Ġingres":43764,"usement":43765,"Ġthoughtful":43766,".Chart":43767,"Ġhatte":43768,"passport":43769,"Ġhooked":43770,"ĠLens":43771,"Ġflagship":43772,"Ġstip":43773,"ĠGEN":43774,"Ġclues":43775,"ipv":43776,"ĠRise":43777,"ĠGew":43778,"tablename":43779,"Ġforemost":43780,"_validate":43781,"_analysis":43782,"olla":43783,"Ġqualifications":43784,"Ġdistributions":43785,"ĠFlower":43786,"Ġtense":43787,"Ġthankful":43788,"Ġclutch":43789,"Ġunified":43790,"roads":43791,"Ġsiti":43792,"Ġstall":43793,"_PRIORITY":43794,"cstdlib":43795,"_USERNAME":43796,".bytes":43797,"?page":43798,"ermalink":43799,"ĠVeget":43800,"/vnd":43801,"-author":43802,".NONE":43803,"ĠConcurrent":43804,"ĠCry":43805,"Ġstarters":43806,"ĠInteraction":43807,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":43808,"ĠLEVEL":43809,"Ell":43810,"ĠcomboBox":43811,"ĠTheresa":43812,"tek":43813,"_Handle":43814,"Ġaby":43815,".gdx":43816,",end":43817,"(Local":43818,"Ol":43819,"knife":43820,"arial":43821,"ĠHoff":43822,"Ġprostituerade":43823,"Doctor":43824,"Instances":43825,".SetValue":43826,"ĉfrom":43827,"Ġluxurious":43828,"Indent":43829,"Allocator":43830,"_DRAW":43831,"(\",\",":43832,"ĠFrances":43833,"ĠgroupBox":43834,"(schema":43835,"Printf":43836,"ORIES":43837,"-gradient":43838,"Ġreput":43839,"arin":43840,"_DONE":43841,"incre":43842,"ignty":43843,"Ġexert":43844,"Ġ-.":43845,"/App":43846,"-through":43847,"Ġdeclining":43848,"Ġdessert":43849,"Ġincumb":43850,"Ġdesignation":43851,".PORT":43852,",strong":43853,"Ġsandbox":43854,"Ġwines":43855,"ĠPav":43856,"$str":43857,"askell":43858,"Ġhö":43859,"ĠPY":43860,"GetInstance":43861,"TextInput":43862,"gameObject":43863,"/events":43864,"createdAt":43865,"ĠlocalVar":43866,"ĠWHITE":43867,"pered":43868,"ilege":43869,"efficient":43870,",color":43871,"cate":43872,"ĠCafe":43873,"Ġsimilarities":43874,"Ġpumps":43875,"ĠHungary":43876,".Username":43877,"Ġskate":43878,"Ġtouchdowns":43879,"Ġaccelerate":43880,"ĠHelen":43881,"OMEM":43882,"ĠKun":43883,"_vol":43884,"ĠfindAll":43885,"ĠMenschen":43886,"ahead":43887,");\"":43888,"kommen":43889,"Ġpossessed":43890,".argmax":43891,".transition":43892,"ARP":43893,"OLUME":43894,"(script":43895,"ĠÐĺ":43896,"ĠFinding":43897,"onces":43898,"Io":43899,"Bold":43900,"Ġrenewal":43901,"_DIALOG":43902,"Ġdisreg":43903,"INTERN":43904,"Ġtoute":43905,"Ġelectr":43906,"ĠGross":43907,"ĉtrue":43908,".Fields":43909,"ĠWIDTH":43910,"ĠDent":43911,"ĠÃģ":43912,"NSNotification":43913,"Ġaos":43914,"Ġmelee":43915,".Validation":43916,"ĠDEC":43917,"-dependent":43918,"Ġsuic":43919,"Traits":43920,"$message":43921,"ĠDear":43922,"ĉFILE":43923,"languages":43924,".Prot":43925,".addr":43926,"-generation":43927,"ICON":43928,"Ġtransplant":43929,"-description":43930,"Ġchasing":43931,"Ġchees":43932,"Ġ}*/Ċ":43933,"Trad":43934,"queries":43935,"/widgets":43936,"subpackage":43937,"Ġespec":43938,"Ġcracked":43939,"Ġcompetitor":43940,"Purchase":43941,"-team":43942,"olecular":43943,"orThunk":43944,"&P":43945,"Ġrelent":43946,"/#{":43947,"ĠproductId":43948,"Ġè¾":43949,"ĠLav":43950,"ĠAlter":43951,".Mode":43952,"ADIO":43953,"grp":43954,"æ·»åĬł":43955,"Quit":43956,"Ġdepths":43957,"-category":43958,"ĠDATABASE":43959,"SPELL":43960,"ĠFalcon":43961,"ĠQStringList":43962,"Ġ''.":43963,"ĠInstitution":43964,"damage":43965,"azor":43966,"belongsTo":43967,"verages":43968,"ĠNONE":43969,"ippets":43970,",\\Ċ":43971,"Ġfootprint":43972,"_archive":43973,"nak":43974,".getField":43975,"ĠReflection":43976,"Ġ']":43977,"ĠHBO":43978,"_discount":43979,"Ġincest":43980,"ĠDodge":43981,"ĠWade":43982,".NO":43983,"\"encoding":43984,"ĠBlockchain":43985,"Ġlawsuits":43986,"ĠMaint":43987,"chten":43988,"Ġétait":43989,"Ġktóre":43990,"_ctl":43991,"(timer":43992,"Battle":43993,"izo":43994,"ayed":43995,"IOR":43996,"ĠGlasgow":43997,"Ġsynth":43998,"_logs":43999,".pose":44000,"_AdjustorThunk":44001,"((&":44002,"Ġunsure":44003,"ystate":44004,"íķĺëĬĶ":44005,"OULD":44006,".ng":44007,"Ġdefaultdict":44008,"workspace":44009,"Ġselective":44010,"PickerController":44011,"YNAMIC":44012,".methods":44013,"Ġpathways":44014,"ĠFew":44015,"KG":44016,"CRYPT":44017,"following":44018,"ĠDLC":44019,"ĠSara":44020,"Ġpreset":44021,"estructor":44022,"ĠKurt":44023,"Ġairplane":44024,"Ġomp":44025,"ĠParents":44026,"ĠMartinez":44027,".complete":44028,"Ġbroadly":44029,"Ġscare":44030,"ĠMé":44031,"Ġelimination":44032,"Ġpoured":44033,"/sw":44034,"Ġcomun":44035,"Ġmasc":44036,"ĠOrganic":44037,"ĠStringUtils":44038,"ilateral":44039,"Ġreluctant":44040,"-age":44041,"Ġnz":44042,".\"\\":44043,"Ġpastor":44044,"alez":44045,"Ġefect":44046,"prov":44047,"/init":44048,"Ġpenn":44049,"unds":44050,"Ġssize":44051,"ĠProj":44052,"basename":44053,"Ġshells":44054,"ĠNeck":44055,"ĠEnforcement":44056,"vided":44057,"stown":44058,"Sphere":44059,"$r":44060,"ussen":44061,"afil":44062,"ĠTelegram":44063,"Ġanalytical":44064,"нÑĭе":44065,"usually":44066,"xn":44067,"Ġhistorian":44068,"ĠGregory":44069,"olph":44070,"ĠUna":44071,"Ġcontributes":44072,"%-":44073,"antiago":44074,"ÑĢед":44075,".region":44076,"Ġabrupt":44077,"ĠUnsupportedOperationException":44078,"ĠTASK":44079,"_finish":44080,"Ġnotorious":44081,"ĠVs":44082,"ĠMQ":44083,"Ġsunset":44084,"Ġunacceptable":44085,"arcer":44086,"Ġillumin":44087,"ĠOrb":44088,"Ġbh":44089,"Este":44090,"_dispatch":44091,"Ġripped":44092,"Ġtoujours":44093,"ĠParcel":44094,"_ll":44095,".userName":44096,".classes":44097,"SOURCE":44098,"(Number":44099,"елÑı":44100,"Ġheadphones":44101,"(side":44102,"constitution":44103,"annah":44104,"čĊĠĠĠĠĠĠĠĠčĊ":44105,"Ġcliff":44106,"-ref":44107,"Ġmostrar":44108,"ĠPowell":44109,"+y":44110,"ĠBG":44111,"_fragment":44112,".Port":44113,"Ġrealizing":44114,"paramref":44115,"Ġhometown":44116,"@Table":44117,"+\"--}}Ċ":44296,"French":44297,"EntityManager":44298,"ĠPlain":44299,"////////////////////////////////////////////////////////////////////":44300,"³":44301,"(RE":44302,"capt":44303,"Ġorganisms":44304,"Ġjets":44305,"olocation":44306,"ĠAppRoutingModule":44307,"Ġglorious":44308,"æľį":44309,"Ġdiscarded":44310,"ĉĉĉĉĠĠĠĠĠ":44311,"ĠArnold":44312,"lug":44313,"Ġparl":44314,"Ġhormones":44315,"Ġmah":44316,"ĠSonic":44317,"Ġorganizers":44318,"_PLATFORM":44319,".inv":44320,"Ġchord":44321,"ventional":44322,"ĉof":44323,"Episode":44324,".Enum":44325,"unkt":44326,"ĠDh":44327,"ĠJared":44328,"ĠNak":44329,"Ġintends":44330,"Endian":44331,"Ġaustralia":44332,"_cv":44333,"(resolve":44334,"Ġclinics":44335,"liked":44336,"ASHINGTON":44337,"inha":44338,"'*":44339,"ĠNP":44340,"_beh":44341,"Ġhf":44342,"Ġwür":44343,"categoria":44344,"$form":44345,"Ġsubway":44346,"ĠisActive":44347,"popular":44348,"Cour":44349,"Ġcooldown":44350,"Ġainsi":44351,"ĠGLuint":44352,"ereal":44353,"ĠarrayOf":44354,"Ġhatch":44355,"==========":44356,"resses":44357,"_PP":44358,".^":44359,"_decay":44360,"ĠBless":44361,"metrics":44362,"ĠCOPYING":44363,"ĠDumpster":44364,"ĠJosé":44365,"ĠDesigns":44366,"<":44369,"Ġ\"}Ċ":44370,"timezone":44371,"Ġeer":44372,"maxcdn":44373,"ĠESC":44374,"igaret":44375,"_connected":44376,"_reverse":44377,"Ġquestionable":44378,"ĠUSC":44379,"Ġtutti":44380,"Ġdropout":44381,"ĠActivities":44382,"ĠWinds":44383,"')));Ċ":44384,"Ġcongest":44385,"ģı":44386,"Ġprolonged":44387,"è¿Ļ":44388,"ĠCrossAxisAlignment":44389,"LEEP":44390,"ĠVALID":44391,"ĠGaz":44392,"Ġdependence":44393,"ĠPrix":44394,".CompilerServices":44395,"jump":44396,"Ġstrat":44397,"circ":44398,"ĠCUSTOM":44399,"xaa":44400,"Ġbmp":44401,"Ġbureau":44402,"Ġwaren":44403,"NX":44404,"(Window":44405,"ĠChristie":44406,"_FE":44407,"Ġtn":44408,"ĠOmega":44409,"communications":44410,"HomePage":44411,"completion":44412,"Ġsupplying":44413,"YPES":44414,"ável":44415,"åĪ¶":44416,"(click":44417,"\\Contracts":44418,"/questions":44419,"Ġez":44420,"AMS":44421,".mesh":44422,"Ġ'\\Ċ":44473,"Robot":44474,"JsonObject":44475,"ĠDF":44476,"ĠProcessor":44477,"_should":44478,".protobuf":44479,"-users":44480,"Ġembry":44481,"FONT":44482,"Ġstartups":44483,"ĠDataSource":44484,")#":44485,"uros":44486,"_Color":44487,"Ġstandalone":44488,"}[":44489,"jd":44490,"Ġforgive":44491,"Ġngx":44492,"ĠGenerally":44493,"Ġconfigurable":44494,"/order":44495,"Ġvas":44496,"')\";Ċ":44497,"ĠRR":44498,"ĠTroy":44499,"Ġcompromised":44500,"ĠSwan":44501,"intendent":44502,"Central":44503,"_keeper":44504,"Ġarquivo":44505,"ĠReadOnly":44506,"_curve":44507,"kv":44508,"entin":44509,"è±":44510,"ĠEy":44511,".imread":44512,"ĠPam":44513,"iffe":44514,"ativity":44515,"xbc":44516,"Ġgrim":44517,"-filled":44518,"namese":44519,"']:":44520,"Ġaur":44521,"ĠGibson":44522,".MouseEvent":44523,"Ġlado":44524,"avadoc":44525,"Ġfamil":44526,"ĠModer":44527,"fps":44528,"ãĢĢãĢĢ":44529,"-example":44530,"ĠAlzheimer":44531,"ĠUtf":44532,"_arguments":44533,"Conclusion":44534,"textContent":44535,"remaining":44536,"Ġinterrupts":44537,"ĠBackup":44538,"ĠMong":44539,"Ġreceptors":44540,"histor":44541,".coroutines":44542,"Ġshouted":44543,"Alarm":44544,"Ġcombust":44545,"Ġgrote":44546,"ultural":44547,"(ids":44548,"--------------------------------------------------------------------------------":44549,"iplinary":44550,"Opts":44551,"ĠYale":44552,"localStorage":44553,"Ġequival":44554,"ĠFleet":44555,"\\b":44556,"*pi":44557,"ĠQLabel":44558,"æ¡":44559,"Ġvx":44560,"ĠACL":44561,"Ġsucesso":44562,"Ġperc":44563,"ĠNotre":44564,"Ġanarch":44565,"Ring":44566,"spb":44567,"Ġstrpos":44568,"stores":44569,"ĠMaple":44570,"(MainActivity":44571,"(\"\"))":44572,"ĠviewHolder":44573,"Quad":44574,"Ġigual":44575,"orsche":44576,".margin":44577,"Ġindie":44578,"Ġfranc":44579,"ĠFormBuilder":44580,"ĠParticip":44581,".flash":44582,"Ġstorms":44583,"Ult":44584,"Ġfen":44585,"[new":44586,"Ever":44587,"=\"Ċ":44588,"Ġlocalized":44589,"_follow":44590,"Ġnave":44591,"Ġdominance":44592,"(tile":44593,"Journal":44594,"ĠVC":44595,"Ġpenetration":44596,"ï¼ķ":44597,"Ġcompartment":44598,"Ġbids":44599,"Formatted":44600,"******/ĊĊ":44601,"(city":44602,"âĢĶit":44603,"[C":44604,"ĠuseCallback":44605,"aub":44606,")?.":44607,"ĠVAR":44608,"ĠSebastian":44609,"ĠMoss":44610,"Ġabundant":44611,"Greg":44612,"ÑĤа":44613,"_ci":44614,"Ġbibli":44615,"CRM":44616,"ĠAttempt":44617,"isme":44618,"dash":44619,"ãĢİ":44620,"_mu":44621,".FormattingEnabled":44622,"Indeed":44623,"-direct":44624,"Ġsucking":44625,"Ġpne":44626,"ocabulary":44627,"ĠPackers":44628,".Navigation":44629,"Ġpied":44630,"cribing":44631,"ĠStuart":44632,".ToDouble":44633,"ĠSecondary":44634,"Saving":44635,"ĠDut":44636,"ĠMadd":44637,"Magic":44638,",H":44639,".documentElement":44640,"ĠBST":44641,"Ġdiffers":44642,"Ġmoreover":44643,"_nd":44644,"SEARCH":44645,"пÑĢав":44646,"æ´":44647,"toMatch":44648,"Ġdecreasing":44649,"-member":44650,"ampus":44651,"(boost":44652,"Daily":44653,"DataGridView":44654,"ĠHttpContext":44655,"Ġhipp":44656,"_workers":44657,"-language":44658,"éĵ":44659,"Ġconsisted":44660,"athing":44661,"ĠMercury":44662,"$content":44663,"Ġpracticed":44664,"ĠModules":44665,"_DAY":44666,"Ġweaknesses":44667,"ĠLodge":44668,"Ġnar":44669,"ĠMate":44670,"Ġjp":44671,"ĠHttpHeaders":44672,"Ġsmo":44673,"ĠTOKEN":44674,"])(":44675,"Ġaqui":44676,"swagen":44677,"Ġsrv":44678,"ĉans":44679,"Around":44680,"ĠManuel":44681,"Ġfictional":44682,"ĠIMG":44683,"Ġ.'":44684,"ĠBerry":44685,"Ġwallpaper":44686,"sexual":44687,"iero":44688,"ĠçļĦ":44689,"ìĨĮ":44690,"BackingField":44691,"ĠAdrian":44692,"BASEPATH":44693,"Ġrepeats":44694,"Ġblues":44695,"Ġunpredict":44696,"_coll":44697,"stacle":44698,"ĠTumblr":44699,"ĠElf":44700,"Ġassurance":44701,"Ġcensus":44702,"ĠIMPORT":44703,"ENDER":44704,"anos":44705,"Ġ=(":44706,"ĠEllis":44707,"\"ĊĊĊĊ":44708,".win":44709,"ĠAbove":44710,"alon":44711,"_tick":44712,"Ġrepresentations":44713,"Ġæķ":44714,"wid":44715,"ĠArms":44716,"Lista":44717,"_failure":44718,"_cm":44719,".FlatAppearance":44720,"Ġthrone":44721,"Patch":44722,"ĠVoy":44723,"engl":44724,"Ġnegotiating":44725,">`":44726,"Ġshoots":44727,"ĠFPS":44728,".Year":44729,"ĠKiss":44730,"ención":44731,"reeting":44732,"FromFile":44733,"Ġresignation":44734,"Ø·":44735,"Ġtwins":44736,"ượ":44737,"Ġgebru":44738,".getContent":44739,".Tree":44740,"ĠEmployees":44741,"ĠFIFA":44742,"Ġcertainty":44743,"(Cl":44744,"Ġtotals":44745,"editable":44746,"à¥Ģ":44747,".Reporting":44748,"Mas":44749,"quiet":44750,".rules":44751,"ĠVO":44752,"conexion":44753,",K":44754,"Ġallocator":44755,"ĠPowder":44756,"\\Repository":44757,"Beat":44758,"_tipo":44759,"Ġ['',":44760,"_INTR":44761,"Ġ<<<":44762,"\");čĊ":44791,"dropIfExists":44792,"ĠBeg":44793,"_HAL":44794,"ĠcrossAxisAlignment":44795,"ĠEvidence":44796,"Ġpeculiar":44797,"Ġinstitute":44798,"veis":44799,"Ġfft":44800,"Ãģ":44801,"Ġzoekt":44802,"analy":44803,"ĠHomeland":44804,"Ġpenetr":44805,"uddenly":44806,"ĉelement":44807,"ĠBren":44808,"ĠTrudeau":44809,"ĠCuban":44810,"jam":44811,"uslim":44812,"_ev":44813,"Ġstems":44814,"}%":44815,"Ŀå§ĭ":44816,"Ġbranding":44817,"Ġcorrespondence":44818,".jquery":44819,"¢åįķ":44820,"ĠReads":44821,"(HttpStatusCode":44822,"assin":44823,"(slot":44824,"ĠGraduate":44825,"///<":44826,"Ġinformations":44827,"ENABLE":44828,"Ġpuis":44829,"Ġfinder":44830,"ĠBris":44831,"Ġnettsteder":44832,"_mid":44833,"Ġogs":44834,"ĠSterling":44835,"Ġarrog":44836,"strftime":44837,"|ĊĊ":44838,"Ġvox":44839,"ĠRegardless":44840,"Ġeso":44841,"ĠComfort":44842,".BooleanField":44843,"Ġuh":44844,"ACY":44845,"Ġsqueez":44846,"ĠVic":44847,"contro":44848,".lo":44849,"Ġire":44850,"ĠComedy":44851,"ë¶":44852,"Ġoriginated":44853,"Ġshipment":44854,"|max":44855,"_guid":44856,"levation":44857,"наÑı":44858,"(undefined":44859,"ĠDDR":44860,"Ġshootings":44861,"ĠLatino":44862,"ENDOR":44863,"Ġaveraging":44864,"Ġgreeted":44865,"Ġtheaters":44866,"ое":44867,"ĠdB":44868,"Ġgst":44869,"Ġdefinite":44870,".Storage":44871,".her":44872,"Ġafore":44873,"ĠReality":44874,"ĠGods":44875,"versed":44876,"Ġhandsome":44877,"Ġexcluding":44878,"(ad":44879,"Quotes":44880,"ĠScheme":44881,"?q":44882,"ĠTamil":44883,"Ticks":44884,"Ġpest":44885,"'n":44886,"Ġpornography":44887,"_modal":44888,"Ġ----------":44889,"Ġdisposable":44890,"FREE":44891,"Ġshark":44892,"CHE":44893,"Ġdepicted":44894,"Ġdemonstrations":44895,"ĠKilled":44896,"ĠRULE":44897,"Ġobsessed":44898,"Ġsimplified":44899,"Postal":44900,"Ġconceptual":44901,"Ġpst":44902,"Las":44903,"_PROJECT":44904,"ucceeded":44905,"olu":44906,"ÄŁi":44907,"Ġpersonalities":44908,"Ġreshape":44909,"Ġenclosed":44910,"ĉptr":44911,"Ġtutorials":44912,"Ġexploded":44913,"_DIRECTORY":44914,"åĨħ容":44915,"Ġcanon":44916,"Ġrecognise":44917,"PAD":44918,"ĠApprox":44919,"ĠRestore":44920,"ĠImportant":44921,"Ġheavier":44922,".Sequential":44923,"Earth":44924,"ĠMilk":44925,".setRequest":44926,".tem":44927,"Ġreconstruct":44928,"Ġskeptical":44929,"_Private":44930,"BUF":44931,"qua":44932,":a":44933,"Ġsek":44934,"Ġdwell":44935,"ossa":44936,"Ġrewarded":44937,"ий":44938,"(topic":44939,"_partition":44940,"Ġ__________________":44941,"Keywords":44942,"ĠFranco":44943,"Lite":44944,"Ġnaken":44945,"Ġза":44946,"OBJECT":44947,"Ġcrafts":44948,"ĠSwap":44949,".Xna":44950,".Connect":44951,"Ġbalcony":44952,"(real":44953,"ĠBarnes":44954,"bir":44955,"ĠTwenty":44956,"ayan":44957,"atars":44958,"ĠPropel":44959,"ĠIhnen":44960,"Upgrade":44961,"Ġcurb":44962,"-second":44963,"Ġneph":44964,".pres":44965,"ìŀħ":44966,".seq":44967,"Ġpadded":44968,"\"?":44969,"jl":44970,"ãĥ¬":44971,"')a":44975,"Coordinates":44976,"Ġenacted":44977,"ENTS":44978,"Ġlac":44979,".final":44980,"ĠPhpStorm":44981,"called":44982,"Ġinquiries":44983,".middleware":44984,"ĠDowntown":44985,"/';Ċ":44986,"Ġkilomet":44987,"accel":44988,"Ġquien":44989,"wstring":44990,"setData":44991,"Ġmanera":44992,"Ġmodular":44993,"rimp":44994,"Ġtariffs":44995,"âĢĻil":44996,"_THROW":44997,"/color":44998,"ĠHTMLElement":44999,"Ġcarro":45000,"Ġprere":45001,"Ġplotting":45002,"ĠPositive":45003,"ĠMachines":45004,"OTES":45005,"Ỽ":45006,"pleasant":45007,"Ġalte":45008,"Ġainda":45009,"these":45010,"Ġcors":45011,"ipay":45012,"ĠAdvisory":45013,"ĠRubio":45014,"jq":45015,"Ġlimestone":45016,"Ġdetached":45017,"设置":45018,"tenant":45019,"ĠDepth":45020,"alore":45021,"ĠÑģÑĤÑĢок":45022,"ĠFORE":45023,"ĠLay":45024,"presentation":45025,")');Ċ":45026,".subplots":45027,"Ïĥ":45028,"NOW":45029,"Gar":45030,"handles":45031,"abra":45032,"puties":45033,"ĠElectrical":45034,"Middle":45035,"ropic":45036,"ĠJD":45037,"ĠDyn":45038,"ĠBristol":45039,"ĠMcCarthy":45040,"Ġstriker":45041,"Ġenumerable":45042,"ĠEvan":45043,".defaults":45044,"quences":45045,")||":45046,"ĉtoken":45047,"âĹı":45048,"-dropdown":45049,"STORE":45050,"ĠGraphic":45051,"(pp":45052,"Expl":45053,"Ġupwards":45054,"ĠDistributed":45055,"ĠWEB":45056,"Jer":45057,"isNaN":45058,"çĶŁæĪIJ":45059,">R":45060,"üssen":45061,"efs":45062,"Ġuncover":45063,"Ġlud":45064,".calculate":45065,"Ġintptr":45066,"Ġmidfielder":45067,".Headers":45068,"Ġmf":45069,"eref":45070,".Metro":45071,"ĠSpeaking":45072,":b":45073,"Ġcryptocurrencies":45074,"Ġdemons":45075,"ĉEXPECT":45076,"Ġwicked":45077,"youtube":45078,":Int":45079,"ĠHindi":45080,"ĠCAT":45081,"Ġع":45082,"rar":45083,"omore":45084,"/per":45085,"/license":45086,"Ġreim":45087,"Ġawaiting":45088,"Ġlethal":45089,"ĠEF":45090,"rounded":45091,"ĠPlatinum":45092,"ĠвÑģе":45093,".coords":45094,".Device":45095,"/item":45096,"ĠWenn":45097,"compileComponents":45098,"ĠKinder":45099,".removeItem":45100,"Ġanda":45101,"bnb":45102,"Ġpra":45103,"(transaction":45104,"Ġembarrassing":45105,"ĉBOOL":45106,".contentView":45107,"Ġeventdata":45108,"atore":45109,"ĠprovidedIn":45110,"irma":45111,"Ġzona":45112,"_HW":45113,"æĻ":45114,"Ġstove":45115,"Ġcounterpart":45116,"_Product":45117,"_MANAGER":45118,"Ġinfring":45119,"ĠERA":45120,"_party":45121,"Ñij":45122,"Ġinici":45123,"_Request":45124,"Ġmiracle":45125,"ĠcancelButton":45126,"Spy":45127,"ató":45128,"Ġpolish":45129,"ĠNicole":45130,".displayName":45131,"\\Requests":45132,"ĠuseHistory":45133,"RouterModule":45134,"Ġstared":45135,"IDER":45136,"ÑĥнкÑĨи":45137,"Ġnota":45138,"$arr":45139,"pecified":45140,"Ġtopp":45141,"_DRIVER":45142,"/ng":45143,"åł":45144,"_tm":45145,"%timeout":45146,"\"":45588,"tlement":45589,"$(\"":45590,"FromString":45591,"ĠBild":45592,"Ġconventions":45593,"_native":45594,"ĠInspector":45595,"ĠPist":45596,"ubar":45597,"Ġregs":45598,"ĠPilot":45599,"Thus":45600,">'+":45601,"Ġcela":45602,".news":45603,"(Product":45604,"Living":45605,"Russia":45606,"Ġfacet":45607,"etical":45608,"Ġ['$":45609,"/[":45610,"ĠDire":45611,"Ġgases":45612,"ĠINFORMATION":45613,"ĠEat":45614,"ĠForums":45615,"ĠCharacters":45616,"_met":45617,"Ġìĭľ":45618,"Ġkings":45619,"achie":45620,"ĠLambda":45621,"Ġtimers":45622,"ĠLighting":45623,"ĠCasey":45624,"addir":45625,"andex":45626,".answer":45627,"ĠHip":45628,"ĠPrincip":45629,"StartDate":45630,"ĠãĢĮ":45631,"tres":45632,"Ġ&#":45633,".MaxValue":45634,"ĠProblems":45635,"Ġlatex":45636,"OfClass":45637,"ĠLynn":45638,"//'":45639,"Ġvoyage":45640,"Ġshuttle":45641,"ĠRoller":45642,"ĠRuntimeError":45643,"uya":45644,"Dic":45645,"ĉbuilder":45646,"Ġbullying":45647,"Ġsimplest":45648,".called":45649,"ĠLR":45650,"Ġmorality":45651,"Ġsturdy":45652,"tracking":45653,".swagger":45654,"_BIND":45655,"ITOR":45656,"-urlencoded":45657,"ĠÑħ":45658,"ĠTrinity":45659,"Ġtraps":45660,"Ġ|-":45661,"ĠsetText":45662,"Ġbargain":45663,"Ġbrakes":45664,".getCode":45665,"Ġmigrate":45666,"Ġribbon":45667,")return":45668,"Ġcharger":45669,"acom":45670,"ADIUS":45671,"ĠAmbassador":45672,"-after":45673,"Ġanni":45674,"ĉspin":45675,"Concept":45676,"ĠHenderson":45677,"ĠHOST":45678,".rank":45679,"ĠNortheast":45680,"Ġberlin":45681,"Ġrequis":45682,".feed":45683,"ĠsourceMapping":45684,"ĠRencontre":45685,".ajax":45686,"nestjs":45687,"Ġtrek":45688,"ĠNacional":45689,"Ġ&[":45690,"Ġpayable":45691,"ortex":45692,"Ġdept":45693,"fieldName":45694,"Ġcompletes":45695,"ĠRVA":45696,"Ġonions":45697,"alignment":45698,"Formats":45699,"Ġ'{$":45700,"HashSet":45701,"ĠBod":45702,".InvariantCulture":45703,"Ġsettlements":45704,"Ġhydr":45705,".updated":45706,"venth":45707,"(seconds":45708,"=\"/\"":45709,"Ġwebpage":45710,"(ĊĊ":45711,"Ġtir":45712,"Ġtoes":45713,"ĠBrick":45714,"Ġambition":45715,"Pot":45716,"=max":45717,"ETIME":45718,"Ġdepot":45719,"calls":45720,"ĠNorwegian":45721,"`:":45722,"Ġburger":45723,"Ġprofessors":45724,"ĠAllocate":45725,"-thirds":45726,"-chart":45727,"Ġford":45728,"*N":45729,".kotlin":45730,"Ġpaperwork":45731,"ĠDEVICE":45732,"%@\",":45733,"respect":45734,"(mp":45735,"é«ĺ":45736,"-if":45737,"Ġcushion":45738,"obot":45739,"Ġparc":45740,"SPACE":45741,"ĠNetanyahu":45742,"Ġselfish":45743,"feat":45744,"Ġclientes":45745,"-tools":45746,"Ġporch":45747,"Ġjq":45748,".verbose":45749,"Ġliberals":45750,"])ĊĊĊ":45751,"pies":45752,"NotBlank":45753,"(term":45754,"ÈĽi":45755,"_Params":45756,".normalize":45757,"Bullet":45758,"ASIC":45759,"(hex":45760,"_cliente":45761,"+,":45762,"_DI":45763,"Ġforthcoming":45764,"}\")]Ċ":45765,"seo":45766,"Um":45767,">Name":45768,"Ġcomfortably":45769,"irectional":45770,"WITH":45771,"/pr":45772,"ĠPoor":45773,"ĠVitamin":45774,"vic":45775,"GH":45776,"Ġpriorit":45777,"ĠNN":45778,"ĠClosed":45779,"¤í":45780,"ĠisOpen":45781,"\\Console":45782,"AndFeel":45783,".SUCCESS":45784,"_OPERATION":45785,"polation":45786,"ĠTas":45787,"psz":45788,">'.":45789,"CURRENT":45790,"Vendor":45791,"hosts":45792,"ĠErd":45793,">tagger":45794,"ĠsourceMappingURL":45795,"Ġmarathon":45796,"_closed":45797,"Ġexemption":45798,"Ġrecognizes":45799,"ideshow":45800,"'$":45801,"('/');Ċ":45802,"mits":45803,"warz":45804,"ĠCherry":45805,"µ¬":45806,"nor":45807,"porte":45808,"Ġwl":45809,"_backup":45810,".getBoolean":45811,".getResource":45812,"Ġdefinitive":45813,".EditText":45814,"ĠsÃŃ":45815,".CONT":45816,"ĠPLAYER":45817,".cards":45818,"ĠShore":45819,"('/')Ċ":45820,"cluir":45821,"WebDriver":45822,"(month":45823,"-release":45824,"Ġinspector":45825,"å£":45826,"ĠNF":45827,"_clip":45828,"åŃIJ":45829,"Ġinteracting":45830,".tmp":45831,"Ġ'''ĊĊ":45832,"Ġdee":45833,"Ġfrost":45834,"\"]))Ċ":45835,"ĠPlaces":45836,"Throws":45837,"fork":45838,"/day":45839,"iPhone":45840,"ĠMIC":45841,"Ġfolding":45842,"Ġcrore":45843,"ĠChiefs":45844,"pherical":45845,"(price":45846,".WriteString":45847,"Ġexiting":45848,"]',Ċ":45849,"ighting":45850,"Ingredient":45851,"(vertex":45852,"ĠscrollView":45853,"hf":45854,":new":45855,"SEN":45856,"sector":45857,"Ġspins":45858,"ĠScheduler":45859,"otechn":45860,"semicolon":45861,"FontOfSize":45862,"ĠSpecifically":45863,"flamm":45864,".ObjectId":45865,"Ġconta":45866,"_permissions":45867,"ĉFROM":45868,"ICODE":45869,"/kg":45870,"ĠHotels":45871,"-med":45872,"ĠDin":45873,"Ġnavy":45874,"getParam":45875,"Ġmend":45876,"Ġportrayed":45877,"ĠMetropolitan":45878,"Painter":45879,"Ġreferral":45880,"_good":45881,"Ġmarvel":45882,"osaic":45883,">(&":45884,".ur":45885,"Ġestos":45886,"William":45887,"Ġtimber":45888,"Ġquelques":45889,"ĠDocuments":45890,".Xaml":45891,"Ġbatches":45892,"éģĵ":45893,"ĠReleased":45894,"Tail":45895,"COOKIE":45896,"heid":45897,"_station":45898,"ĠVia":45899,"Sale":45900,"ĠRepeat":45901,"Ġpromin":45902,"ĠZo":45903,"-forward":45904,"ĠIon":45905,"itary":45906,"Ġjus":45907,"-request":45908,"Ġproudly":45909,"ĠStreaming":45910,"(MouseEvent":45911,"ĠSprint":45912,"_rotation":45913,"Repositories":45914,"Ġtart":45915,"ĠÑģв":45916,"Ġmappings":45917,"èª":45918,"Cu":45919,"Cycle":45920,"Ġbun":45921,"ĉlua":45922,"ãĥī":45923,"Ġ((!":45924,"Ġcollectively":45925,"ĠCond":45926,"Ġwszyst":45927,"(lib":45928,"openhagen":45929,"_skip":45930,".ColumnHeader":45931,"éĤ":45932,"perienced":45933,"ıè¿°":45934,"_props":45935,"Ġcontrace":45936,"Ġmatchup":45937,"abetic":45938,".members":45939,"RECT":45940,"(dat":45941,"Ġsog":45942,"renom":45943,"_Method":45944,"Customers":45945,"fullname":45946,"ZN":45947,"retry":45948,"Ġkap":45949,"ĠNeu":45950,"èĬ":45951,"addChild":45952,"willReturn":45953,"_permalink":45954,"Ġenergetic":45955,"ĠWet":45956,"ĠMorr":45957,"Ġgcd":45958,"counts":45959,",type":45960,"dig":45961,"(Login":45962,"Ġcracks":45963,"Ġbacterial":45964,"ĠMeat":45965,"ĠArmstrong":45966,"ĠBronze":45967,"Ġapproximate":45968,"_dirs":45969,"liga":45970,"ÅĤad":45971,"Ġkindness":45972,"Ġcontre":45973,"ĠEVERY":45974,"MET":45975,"Ġannouncements":45976,"gpio":45977,"ĠWaitForSeconds":45978,"ĠPhotoshop":45979,"Ġdiscontin":45980,"/dd":45981,"Ġtopology":45982,"anical":45983,".interface":45984,"aucoup":45985,".HashSet":45986,"ARIANT":45987,"(routes":45988,"ĠTeh":45989,"Ġhype":45990,"]\").":45991,"Ġslam":45992,"Ġbroth":45993,"-inter":45994,"ĠRid":45995,"-manager":45996,"Cancelar":45997,"ĠPagination":45998,"Ġsoundtrack":45999,"Ġposterior":46000,"Ġscrub":46001,"creating":46002,"-*":46003,"irteen":46004,".dy":46005,".symmetric":46006,"Ġ\"\".":46007,"===============":46008,"Ġchassis":46009,"ĠnumberOfRows":46010,"Developer":46011,"_bins":46012,"ĠOUR":46013,"rieb":46014,"Pros":46015,"ĠwiÄĻ":46016,"\"d":46017,"Ġasyncio":46018,"zeigen":46019,"_spi":46020,".ALL":46021,"Ġscrews":46022,"Chinese":46023,"ĠapiKey":46024,"Ġunsuccessful":46025,"ĠSeahawks":46026,"ORG":46027,"ç«ł":46028,"Ġprofessionally":46029,"ĠCoupon":46030,"åŃĹ段":46031,"Convention":46032,"Ġpolym":46033,"æīĭ":46034,"Ġsalvation":46035,"Ġengineered":46036,"ĠWrest":46037,"ĠGCC":46038,"Ġwarmer":46039,"LayoutConstraint":46040,"Ġaggrav":46041,"Scripts":46042,"venture":46043,"Ġrefrigerator":46044,"Ġinnovations":46045,"ĠRunner":46046,"NIC":46047,"ĠRolling":46048,"ControlEvents":46049,"Ġloos":46050,"pac":46051,"ĉpanel":46052,"efe":46053,"ĠBuddha":46054,"--------------Ċ":46055,"åºĵ":46056,"(forKey":46057,"Ġlumin":46058,"Ġ(?":46059,"ĠAIDS":46060,",user":46061,"imientos":46062,"contentType":46063,"antlr":46064,"é¦":46065,"ĠWelt":46066,"Production":46067,"might":46068,"ĠVII":46069,"\",(":46070,"Ġobserving":46071,"Ġdeliberate":46072,"(control":46073,"Ġwithd":46074,"Ġsemana":46075,"STACK":46076,"uchen":46077,"Nice":46078,"ĠDeutschland":46079,"ĠSpecifies":46080,"dma":46081,"izio":46082,"ĠFacts":46083,"_popup":46084,"ĠDirectors":46085,"{:":46086,"[R":46087,"ĠÑįлеменÑĤ":46088,"Ġplat":46089,"Ġdirecting":46090,"ä¸ī":46091,"ĠGilbert":46092,"âĢ¦.ĊĊ":46093,".qml":46094,"Ġthereafter":46095,"Ġdisposition":46096,"draft":46097,"Ġsurgeon":46098,"ĠInsider":46099,"Blend":46100,"ĠTrev":46101,"trinsic":46102,"Topics":46103,"rieve":46104,"_FILENAME":46105,"Ġautres":46106,"Jose":46107,"Producer":46108,"erus":46109,"Ġpetit":46110,"ĠNEXT":46111,"ĠFilters":46112,"Ġreplicate":46113,"\"]).":46114,"Ġlenders":46115,"]\",Ċ":46116,";charset":46117,"CppObject":46118,"Ġfloral":46119,"ĠTipo":46120,"Ġcircuits":46121,"easy":46122,"(&$":46123,"itta":46124,"eryl":46125,"_COMMON":46126,"'}}>Ċ":46127,"-backed":46128,"(variable":46129,"(Index":46130,"Ġvoir":46131,"_locations":46132,"++){":46133,"ĠLouisville":46134,"Ġgratitude":46135,".Mockito":46136,"ĠPowers":46137,"ieurs":46138,"Ġgeographic":46139,"rale":46140,"Ġcra":46141,"ĠSpurs":46142,"iphertext":46143,"ACION":46144,"-common":46145,"Ġvictories":46146,"ĠFinals":46147,".shuffle":46148,"-million":46149,"_PROC":46150,"assume":46151,"Ġils":46152,"DBC":46153,"BootTest":46154,"Ġlavor":46155,".testing":46156,".ast":46157,"\"]/":46158,"moid":46159,"Ġqualification":46160,"gesch":46161,"ĉput":46162,"Ġairports":46163,"JI":46164,"Teacher":46165,"_uniform":46166,"Ġnama":46167,"ĠBast":46168,"ertype":46169,"capture":46170,"getAll":46171,"ĠReynolds":46172,"ooled":46173,".comments":46174,"Ġchin":46175,").*":46176,"Ġили":46177,"tgl":46178,"udos":46179,"ĠdÃŃas":46180,"chai":46181,".program":46182,"Ġpsz":46183,"ĉicon":46184,"phil":46185,"entral":46186,"_WRAP":46187,"ovi":46188,"Ġnostalg":46189,"Infinity":46190,"ĉyield":46191,"Ġvitamins":46192,"Quaternion":46193,"Sink":46194,"_goods":46195,"Ġ........":46196,"ĠWings":46197,"uridad":46198,"-story":46199,"\"])ĊĊ":46200,"idelity":46201,"TypeDef":46202,"Gtk":46203,"ĠíĮ":46204,"_Main":46205,"Ġchez":46206,"ĠRaven":46207,"Ġpayroll":46208,"Ġfreelance":46209,"LLU":46210,"ĠMend":46211,"eday":46212,"ApiModelProperty":46213,".FormBorderStyle":46214,"Ġeconomist":46215,"stanbul":46216,"Ġfreight":46217,"-Agent":46218,"(meta":46219,"Ġsymmetry":46220,"Ġ'..":46221,".Calendar":46222,"-aut":46223,"gf":46224,"pent":46225,"yclopedia":46226,"Ġwishing":46227,"ĊĊĊĊĊĊĊĊĊĊĊĊ":46228,"Ġgentleman":46229,"Ġê³":46230,"=#":46231,"Ġlectures":46232,"âĢľIn":46233,"Ġ!_":46234,"Ġhb":46235,"ĠVendor":46236,"Recently":46237,"_notes":46238,"æıIJ示":46239,"\"My":46240,"HeadersHeight":46241,"_SO":46242,"Ġunwilling":46243,"Ġsuperhero":46244,"gio":46245,"psy":46246,"ĠPeer":46247,"javax":46248,"&apos":46249,"ĠCrisis":46250,"ordinal":46251,"Memcpy":46252,"++++++++++++++++":46253,"-val":46254,"Ġworkbook":46255,"-ap":46256,"=k":46257,"Ġmetallic":46258,"_peer":46259,"ByPrimaryKey":46260,"_SD":46261,"uator":46262,"_SHADER":46263,")Math":46264,".Transform":46265,"Ġcows":46266,"Phi":46267,"ĠClem":46268,"(_(\"":46269,"ĠLud":46270,"-delay":46271,"ĠSecurities":46272,"ĠOrthodox":46273,"Symfony":46274,"(report":46275,"Ġentertain":46276,"EPS":46277,"izoph":46278,"exual":46279,"IRD":46280,"ä»İ":46281,"Ġlith":46282,"Ġsanitize":46283,"Ġfeminine":46284,"ISBN":46285,".authentication":46286,"_pipeline":46287,"/constants":46288,"ĠCONF":46289,"Ġlucr":46290,"ricia":46291,".ttf":46292,".setContent":46293,"Ġstan":46294,"orean":46295,"ĠLloyd":46296,".rawValue":46297,"Ġgor":46298,"ĠBrowns":46299,"Regression":46300,"Ġlowering":46301,"naissance":46302,"Ġblows":46303,"Ġamazed":46304,"Ġunrelated":46305,"Reviews":46306,"Ġruby":46307,"ĠModifier":46308,"Ġgiants":46309,".thread":46310,"Ġcontainment":46311,"ĠStartCoroutine":46312,"umat":46313,"orelease":46314,"ĠRandy":46315,"@endif":46316,"Digest":46317,"Ġsuburban":46318,"=\");Ċ":46319,"Ġannonce":46320,".variable":46321,"\\Foundation":46322,"Ġacre":46323,"Van":46324,"Ġtuples":46325,"dns":46326,"ĠStanding":46327,"_large":46328,"Ġboxing":46329,"SupportActionBar":46330,"ĠFortune":46331,"ĠRum":46332,"_multiple":46333,"archical":46334,"Ġfwrite":46335,"_quote":46336,"Ġfoolish":46337,"Ġcomprising":46338,"Ġоп":46339,"-selected":46340,"vf":46341,"maid":46342,"Nama":46343,"(datetime":46344,"Ġindirectly":46345,"gart":46346,"fixtures":46347,"chos":46348,"ĠHalo":46349,"Ġrecurring":46350,"-news":46351,"vil":46352,"ĠNursing":46353,"-produ":46354,"ĠHQ":46355,"\\HttpFoundation":46356,"enci":46357,"auen":46358,"Ġvy":46359,"ocracy":46360,"Ġdelegation":46361,"Ġasphalt":46362,"ĠsetSelected":46363,"kok":46364,"/rest":46365,"metics":46366,"ĠNSDate":46367,"Ġtravelled":46368,"Ġrecib":46369,"Ġmime":46370,"CLIENT":46371,"ĠGU":46372,"ĠHANDLE":46373,"/Q":46374,"[z":46375,"Ġbothered":46376,"ĠBBQ":46377,"ças":46378,"_examples":46379,"_FIN":46380,"ĠwhiteColor":46381,"Ġastronom":46382,"-dir":46383,"Ġsovereign":46384,"Ġbreeze":46385,"Ġinning":46386,"ĠEdmonton":46387,"gli":46388,".blogspot":46389,"jsx":46390,"Ġversa":46391,"ĠMohammed":46392,".Job":46393,"-toggler":46394,"ĠполÑĮзоваÑĤ":46395,"ardon":46396,"Ġnewborn":46397,"Ġnaval":46398,"noteq":46399,"Ġtumblr":46400,"Ġhentai":46401,"ĠTypically":46402,"Ġloot":46403,".Sprite":46404,"Flight":46405,"Ġwavelength":46406,"-sk":46407,"ĠElle":46408,"_exports":46409,"ĠÑı":46410,"ĠIH":46411,"izophren":46412,"Ġíģ":46413,"_primary":46414,"Ġmois":46415,"ĠBN":46416,"Ġsystemic":46417,"Ġdiferentes":46418,"INCT":46419,"Ġ''ĊĊ":46420,"$q":46421,"WidgetItem":46422,"clide":46423,"$file":46424,"Lemma":46425,"/table":46426,"agrid":46427,"ĠMongoDB":46428,"inte":46429,"Ġapprent":46430,"ÂŃing":46431,".Db":46432,"ĠÃĤ":46433,"hammer":46434,"='';Ċ":46435,"Ġbrokers":46436,"itlement":46437,"semblies":46438,"Ele":46439,"{x":46440,"Ġlastname":46441,"<-":46442,"Ġflatten":46443,"_band":46444,".Root":46445,".readFileSync":46446,"======":46447,".rx":46448,"?čĊ":46449,"Ġmetaphor":46450,"Ti":46451,"conte":46452,"Ġdebit":46453,"Ġcontempt":46454,"CppType":46455,"æĶ¯":46456,"FormField":46457,"ratio":46458,"osopher":46459,"Ġimplant":46460,"PURE":46461,"Ġalta":46462,"_management":46463,"Ġrefine":46464,"ĠCheckBox":46465,"ĠCharl":46466,"-version":46467,"conditional":46468,"venues":46469,"Ġrifles":46470,"Ġoffspring":46471,"Ġmilling":46472,"Ġsharply":46473,"Ġunderwater":46474,"(origin":46475,"_Control":46476,"Ġ.$":46477,"Plugins":46478,"Ġdrying":46479,"Ġillustrates":46480,"-u":46481,"Ġvegetarian":46482,"npc":46483,"Heart":46484,";',Ċ":46485,"comma":46486,"teenth":46487,"asan":46488,"/spec":46489,"_moves":46490,"-margin":46491,"Ġingen":46492,"³³³":46493,"Ġprojet":46494,"Ġotra":46495,"Ġbras":46496,".utc":46497,"Ġslept":46498,"=sub":46499,"abilit":46500,"poster":46501,"Ġsdk":46502,"ouncill":46503,"Ġwd":46504,"PreparedStatement":46505,"ĠDrum":46506,"(attribute":46507,"ĠEthernet":46508,"ĉDB":46509,"California":46510,"cube":46511,"[I":46512,".Created":46513,"ĠHM":46514,"Ġtracing":46515,"FormsModule":46516,"-you":46517,".currency":46518,"feeding":46519,"Ġtbody":46520,"Li":46521,"accion":46522,"nas":46523,"Ġtrouver":46524,"NONE":46525,"\"},čĊ":46526,"Ġftp":46527,"WithIdentifier":46528,"polate":46529,"FileInfo":46530,"Ġpursued":46531,"ĠĠĠĠčĊĠĠĠĠčĊ":46532,"DESCRIPTION":46533,"}*/Ċ":46534,"FromNib":46535,"Ġdecorative":46536,"_SSL":46537,"(chat":46538,"TLS":46539,"Ġsurprises":46540,"alculate":46541,"ĠSplash":46542,"(Configuration":46543,"ĠSEM":46544,"imson":46545,"/library":46546,"":46621,"GED":46622,"faq":46623,"Ġoptionally":46624,"_Dis":46625,"ĠSuccessful":46626,"ĠCensus":46627,"Ġincarcer":46628,"_CARD":46629,"Ġaviation":46630,"ĠGym":46631,"Authority":46632,".Bean":46633,"shader":46634,"NotExist":46635,"_TextChanged":46636,"ĠSTOP":46637,"(team":46638,"\"H":46639,"wg":46640,"Ġgrinder":46641,"Ġstripe":46642,"Ġpreservation":46643,"Claim":46644,"aversal":46645,"warehouse":46646,"targets":46647,"Trust":46648,"Ġallev":46649,",www":46650,"ousse":46651,"_chan":46652,"_Size":46653,"systems":46654,"Ġobjection":46655,"ĠKane":46656,"Ġcorros":46657,"ĠDSL":46658,"Ġua":46659,"ĠMH":46660,"ĠStrategic":46661,"_tcp":46662,"Ġê°Ĵ":46663,"Ġborrowed":46664,"ĠAch":46665,"ĉcommand":46666,"Ġgps":46667,"leston":46668,"ichever":46669,"ĠUA":46670,"Ġassaulted":46671,"Ġspecializes":46672,"ĉsearch":46673,"Hotel":46674,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠčĊ":46675,"ĠPitch":46676,"ĠÙģ":46677,"READY":46678,"Ġparental":46679,"Ġgéné":46680,"Ġdonnées":46681,"Ġdetain":46682,"TARGET":46683,"Ġprotagonist":46684,"ĠclearInterval":46685,"ĠIconButton":46686,"ĠGetAll":46687,"TypeInfo":46688,"EH":46689,"âĢľThey":46690,"Ġ{[":46691,"Ġgag":46692,"ĠÚ©":46693,"ĠDropdown":46694,".free":46695,"gone":46696,"imens":46697,"Ġinstal":46698,"ĉcurl":46699,"_CAN":46700,"ĠBone":46701,"ï¼Ķ":46702,"onyms":46703,"-government":46704,".bindingNavigator":46705,"ĠDans":46706,"ĠMcL":46707,"(en":46708,">(_":46709,"ÐĴÑĭ":46710,".*;čĊ":46711,"=j":46712,"-cor":46713,"Son":46714,".ToolStripItem":46715,"-around":46716,"_XML":46717,"endDate":46718,"Ġslack":46719,"Ġrotated":46720,"Ġnoqa":46721,"Ġcottage":46722,"Ġencontrar":46723,"_skill":46724,"houette":46725,"!čĊ":46726,".weather":46727,"Ġemphasized":46728,"家":46729,"ĠÑģпиÑģ":46730,"ĠCompiler":46731,"(android":46732,"ĠâĢº":46733,".turn":46734,"Ġsuppression":46735,"_calls":46736,"Ġ*@":46737,"(strlen":46738,".hex":46739,"ĠBills":46740,"ĠRSA":46741,"ÏĤ":46742,"ĠEscape":46743,"ementia":46744,"Ġfrontend":46745,"Ġpint":46746,"_exc":46747,"zzo":46748,"[],Ċ":46749,"Ġ\"','\"":46750,".Environment":46751,"Ġaforementioned":46752,"Ġendure":46753,"prototype":46754,"therapy":46755,"ssi":46756,"Deg":46757,"_plugins":46758,".userInfo":46759,"Printer":46760,"ĠPROGRAM":46761,"Ġruins":46762,"Ġempirical":46763,"Ġcrawl":46764,"ĠBoiler":46765,"-comment":46766,".subplot":46767,"_et":46768,"Ġ'.',":46769,"minor":46770,"ĠCustoms":46771,"Ġyaw":46772,"underline":46773,"ĠComo":46774,"(('":46775,"(mean":46776,"Ġchaque":46777,"ĠBlocks":46778,".rad":46779,"ilibrium":46780,"Ġwebdriver":46781,"Ġmelhor":46782,"dana":46783,"ĠAbuse":46784,"ĠSouthwest":46785,"ĠParen":46786,"PERTIES":46787,"ĉIL":46788,"Ġscream":46789,"vu":46790,"Ġincomes":46791,"Ġnim":46792,"Ġlace":46793,"Ġcompensate":46794,"Reverse":46795,"Dat":46796,"_attack":46797,"Ġnour":46798,"achen":46799,"cek":46800,"\"+":47057,"Ġtokenizer":47058,"Ġsovereignty":47059,"ĠPence":47060,"()\");Ċ":47061,"Ġpessoas":47062,".Ge":47063,"ĠIncluded":47064,"Ġpagina":47065,"Ġexposing":47066,"еÑĪ":47067,"_SCRIPT":47068,"/$',":47069,"Thumbnail":47070,"×Ķ":47071,"webElementX":47072,"webElementXpaths":47073,"pressure":47074,"ĠCurry":47075,"_CP":47076,"OLUTION":47077,"ILES":47078,"protect":47079,"oola":47080,"Workspace":47081,"{};Ċ":47082,"ĠUNS":47083,"Ġsympathy":47084,"roker":47085,"Ġremodel":47086,"ĉcell":47087,"Ġatop":47088,".FullName":47089,"Ġfaut":47090,"ĠEasily":47091,"_dynamic":47092,"Ġframed":47093,"Ġmotive":47094,"è·¯":47095,"sam":47096,"Ġmarca":47097,"ĠTextEditingController":47098,"Ġdestructor":47099,"cream":47100,"Ġrude":47101,"ĠBold":47102,"ĠIndigenous":47103,"Ġgens":47104,"Ġrelacion":47105,"(system":47106,"ĠUIFont":47107,"_charge":47108,"USTER":47109,"EV":47110,".Namespace":47111,"Ġmerger":47112,"Ġcalloc":47113,"gang":47114,"BadRequest":47115,"Ġsper":47116,"-design":47117,"Ġâĩ":47118,"Chan":47119,"Ġorganism":47120,",)":47121,"=id":47122,"_plane":47123,"ĠCases":47124,"elfast":47125,"ĠLegislature":47126,"ĠFaker":47127,"Ġinvoking":47128,"-utils":47129,"().'":47130,".face":47131,"Ġguardian":47132,"myModal":47133,"Ġclipboard":47134,"ĠATM":47135,"Ġpeas":47136,"ĠSylv":47137,".calc":47138,"ĠContacts":47139,"intValue":47140,"Ġmodifying":47141,"ĠBarb":47142,".loss":47143,"_percentage":47144,"Asked":47145,"(lst":47146,"ategorical":47147,"-files":47148,"ĠRomania":47149,".Ac":47150,"Ġhai":47151,"ĠFlying":47152,"Ġż":47153,"jp":47154,"ĠTrainer":47155,".arc":47156,"_deg":47157,"Ġtraceback":47158,"OrFail":47159,"FLOW":47160,".old":47161,"oya":47162,"gmt":47163,"isempty":47164,"Ġvaccination":47165,"Ġobsolete":47166,"recognized":47167,"Ġruined":47168,"ĠRein":47169,"ĠTracking":47170,"xfb":47171,"اÛĮ":47172,"Ġvære":47173,"Ġbryster":47174,"ĠITS":47175,"Ġdestiny":47176,"Ġswear":47177,"Ġredes":47178,"Ġclf":47179,"Ġflipped":47180,"ĉhead":47181,"Bluetooth":47182,"ĠOverrides":47183,":Boolean":47184,"_=":47185,"_lr":47186,"spawn":47187,":index":47188,"VALUES":47189,"iskey":47190,"?\");Ċ":47191,".synthetic":47192,"ĠChecking":47193,"structures":47194,"iping":47195,"Ġvocals":47196,"-Up":47197,"ĠManufacturers":47198,"ĠMarriage":47199,"代çłģ":47200,"Ġgarner":47201,"_Client":47202,"parallel":47203,"RIEND":47204,"Ġvinegar":47205,"segue":47206,"JB":47207,"Ġcontacting":47208,"ĠCarroll":47209,"Ġoutreach":47210,"tensor":47211,"_variant":47212,"Ġtheat":47213,"licable":47214,"{|":47215,"tiny":47216,"_letter":47217,"Ġpencil":47218,"HeadersHeightSizeMode":47219,"iltro":47220,".autoconfigure":47221,".drag":47222,".useState":47223,"ĠBMI":47224,"hint":47225,"Compile":47226,"*\\":47227,"enary":47228,"Ġlvl":47229,".Cache":47230,"+=\"":47231,"_tv":47232,"ruitment":47233,"Ġfread":47234,"Articles":47235,"fila":47236,"Ġpackaged":47237,"âĺĨ":47238,"ATHER":47239,"ĠPlanned":47240,"scheme":47241,"Ġdiary":47242,"Ġoffenses":47243,"/F":47560,"ĠStick":47561,"Ġcerc":47562,"ĠSlee":47563,"ĉĉĠĠĠĠĠĠĠĠ":47564,"":47739,"ĉcol":47740,"VG":47741,"_boolean":47742,"recent":47743,"Ġ*)ĊĊ":47744,"ĠRainbow":47745,"ommen":47746,"Ġlur":47747,"Ġoppression":47748,"(\",\");Ċ":47749,"ĠFacility":47750,"DEFINED":47751,"Ġneon":47752,"Ġoffender":47753,"AFP":47754,"ĠCleaning":47755,"[]):":47756,"Ġundocumented":47757,".Repositories":47758,"ĠGuitar":47759,"аÑģÑģив":47760,"Skills":47761,"Ġtestimon":47762,"ryptography":47763,"ĠAmber":47764,"ĠStalin":47765,"Ġlone":47766,"Ġapenas":47767,"Ġdieses":47768,"ĠArduino":47769,"转":47770,"==-":47771,"_Act":47772,"Ġcoded":47773,"âĸł":47774,"amburger":47775,"-links":47776,"Ġarmour":47777,".High":47778,"getContent":47779,"stag":47780,"Ġheck":47781,"ĠìĹĨ":47782,"ĠMcConnell":47783,"ĠConcert":47784,"ĠAlloc":47785,"äre":47786,".replaceAll":47787,"Ġpartitions":47788,"rott":47789,"ĠFle":47790,"_TREE":47791,"reasonable":47792,"ĠReporting":47793,"Ġbillionaire":47794,"scores":47795,"mins":47796,"-eye":47797,"MORE":47798,"abort":47799,"ĠSWT":47800,"Ġinverted":47801,"ĠTeachers":47802,";n":47803,"Ġastro":47804,"нов":47805,"аниÑĨ":47806,"producto":47807,"countries":47808,"ĠOwen":47809,"Ġcontamination":47810,"Ġvibe":47811,"ĠElli":47812,".script":47813,"ĠOlive":47814,"DMA":47815,"vier":47816,":semicolon":47817,"-module":47818,"gressive":47819,"agu":47820,"_players":47821,"Ġresultados":47822,"started":47823,"scrollTop":47824,"=====":47825,"Ġweighing":47826,"Ġ[[[":47827,"zahl":47828,"(NS":47829,"ĠAssertion":47830,"league":47831,".setTextColor":47832,"ĉMessage":47833,"Ġmoms":47834,"_AF":47835,".wh":47836,"ALS":47837,"Ġautre":47838,"]ĊĊĊĊ":47839,".opacity":47840,"ĠBuddhist":47841,"Ġdeaf":47842,"ĠOrganisation":47843,"(Global":47844,"ensch":47845,"Ġheadache":47846,"ĠAlien":47847,"_inode":47848,"ĠStark":47849,"Ġæī":47850,"-lnd":47851,"oref":47852,"_feat":47853,"Ġpedestrian":47854,"Ġnominal":47855,"Ġballoon":47856,"Ġsprites":47857,"PrototypeOf":47858,"ĠApost":47859,"ĠFEATURE":47860,"OH":47861,"Ġrecess":47862,"ĠDonna":47863,"consumer":47864,"$GLOBALS":47865,"ĠGIF":47866,"-frame":47867,"Inicio":47868,"Ġpassages":47869,"DateString":47870,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":47871,".byte":47872,"Bug":47873,"initializer":47874,"pkt":47875,"odium":47876,"ĠDER":47877,".ops":47878,"leri":47879,"Ġgifted":47880,"Ġdetach":47881,"terrain":47882,"elters":47883,"ãģı":47884,".loader":47885,"ĠNGO":47886,"strncmp":47887,"Kh":47888,"(fontSize":47889,"rocket":47890,"Ġprecedent":47891,"ĠAurora":47892,"ĠExperiment":47893,"isphere":47894,"Encoded":47895,"ĠâĢĵĊĊ":47896,"Ġpyramid":47897,"ĠAnniversary":47898,"ofil":47899,"ëŁ":47900,"(plugin":47901,"Coeff":47902,"Ġcooperate":47903,"Ġpredominantly":47904,"ISM":47905,"Phrase":47906,"_DEFINE":47907,"Flip":47908,"AMILY":47909,"ĠMarkets":47910,"ĠStreamReader":47911,"ĠCombine":47912,"Ġmanuscript":47913,"zza":47914,",tp":47915,"Whatever":47916,"ITICAL":47917,"ighbour":47918,"DataProvider":47919,".Texture":47920,"privacy":47921,".SDK":47922,"Ġrecharge":47923,"Ġcpp":47924,"ĠCFG":47925,"(holder":47926,"(py":47927,"mot":47928,"Ġsavoir":47929,"ĠRosa":47930,"ĠPCs":47931,"ĠíĻ":47932,".heroku":47933,"Ġfren":47934,"ĠRiley":47935,"agate":47936,"Ġsond":47937,".xlsx":47938,"Ġhacked":47939,"stad":47940,"Gi":47941,"Ġsanity":47942,"ĠSqlDataAdapter":47943,"...\",":47944,"ĠPussy":47945,"Ġ****************":47946,"Ġhassle":47947,"_PARENT":47948,"ĠUAE":47949,"Ġbeginners":47950,"(Client":47951,"Ġstatistically":47952,".hour":47953,"edelta":47954,"Ġtraction":47955,"uelve":47956,"arat":47957,"Ġsauna":47958,"INVALID":47959,"Ġindictment":47960,"ALLE":47961,"Ġdissent":47962,"ĠTypography":47963,"Ġintentional":47964,"sit":47965,"ĠAnimals":47966,"Ġcountryside":47967,"Ġuart":47968,"}\\\"":47969,"Ġseamless":47970,"¾ç¤º":47971,"Ġautos":47972,"Ġ\"'\";Ċ":47973,"Flush":47974,"ANNOT":47975,"Ġalgebra":47976,"assoc":47977,"ĠWaters":47978,"Ġpreparations":47979,"ronym":47980,"[,]":47981,"Sans":47982,"Ġarmies":47983,"ipeg":47984,"Ġcreamy":47985,".art":47986,"etre":47987,"ĠAnimated":47988,"Ġunpleasant":47989,"emean":47990,"great":47991,"iÄħ":47992,"ĠEarlier":47993,"Ġchic":47994,"Ġpreserving":47995,"(exec":47996,"ĠInvestigation":47997,"ĉGPIO":47998,"Ġrigorous":47999,"ijo":48000,"=num":48001,"ĠtoolStrip":48002,")set":48003,"+\"&":48004,"ĠAcceler":48005,"Ġdevelopmental":48006,"isposable":48007,"Ġflawed":48008,"rene":48009,"Updating":48010,"Ġwatchdog":48011,"Ġdenominator":48012,"Ġsuburbs":48013,"Ġ...)":48014,"Ġconvictions":48015,"closure":48016,".IP":48017,"Ġtranslates":48018,".swt":48019,".Trace":48020,"Ġmettre":48021,".isEnabled":48022,"ĠEffective":48023,".toInt":48024,"Ġenchant":48025,"Ġstunned":48026,"Ġpoi":48027,"/code":48028,"adm":48029,".databinding":48030,"ĠLorem":48031,"________________________________________________________________":48032,"Ġledger":48033,"Ġcara":48034,"ĠGir":48035,"Ġwaits":48036,"Uno":48037,"Ġcwd":48038,"è¾ij":48039,"ĠTResult":48040,"Ġrejo":48041,"Ġemitted":48042,"ĠWestminster":48043,"ä¸Ģ个":48044,"nek":48045,"_Tis":48046,"Ġenact":48047,"ĉwith":48048,"orgia":48049,"Ġjue":48050,"Perform":48051,"SPATH":48052,".topic":48053,"ĠDaten":48054,"ầ":48055,"Ġsitio":48056,"_MM":48057,"\"So":48058,"bial":48059,"Ġscoped":48060,"Requires":48061,"ĠTOTAL":48062,"ĠChancellor":48063,"(contents":48064,"Ġstealth":48065,"devices":48066,"-pass":48067,"ilih":48068,"ĠMalcolm":48069,"ĠDepot":48070,"Ġconfigur":48071,"aussian":48072,"_constraint":48073,"веÑĤ":48074,"GRA":48075,"ĠRates":48076,".dataGridViewTextBoxColumn":48077,"ĠNobel":48078,"itics":48079,"Ġignorant":48080,"ĠReporter":48081,"ĠEbola":48082,"ĠShock":48083,"_relation":48084,"ĠNinja":48085,")c":48086,"Ġticker":48087,".isChecked":48088,"ĠSuppliers":48089,"ĠRapid":48090,"Levels":48091,"âĤ¬âĦ¢":48092,"ĉqueue":48093,"Ġchop":48094,"ĠUnix":48095,"reject":48096,"-calendar":48097,"(sort":48098,"ène":48099,"ercicio":48100,"Ġhect":48101,"CALLTYPE":48102,"roupon":48103,"Ġrentals":48104,"authors":48105,"{name":48106,"ĠFIFO":48107,"Ġlassen":48108,"ĠNous":48109,"Ġsnapped":48110,"Ġfertility":48111,"\"log":48112,"clicked":48113,"Ġplanting":48114,"Ġgb":48115,"/output":48116,"PEAT":48117,"Ġcategoria":48118,"Ġbach":48119,"Professor":48120,"inth":48121,"\"]čĊ":48122,"Recorder":48123,"serde":48124,"ĠTransmission":48125,"trad":48126,"Ġturbo":48127,"_VERTEX":48128,"\\Event":48129,"ilver":48130,"Ġbodily":48131,"ĠSources":48132,"Ġkillings":48133,".xrTableCell":48134,"Ġfolded":48135,"/legal":48136,"uner":48137,"ĠRifle":48138,"ĠMIDI":48139,"_SelectedIndexChanged":48140,".SizeType":48141,"ĠWebSocket":48142,"Ġseleccion":48143,"Sand":48144,"otros":48145,"Ġenvision":48146,"/etc":48147,"ĠMelissa":48148,"Spot":48149,"ное":48150,"_ARM":48151,"Attempt":48152,"ĠBI":48153,"ãģĶ":48154,"ĠDU":48155,"Ġbacklash":48156,"stride":48157,"/classes":48158,"ĠtextColor":48159,"_staff":48160,"oblin":48161,"agenta":48162,".collections":48163,"illage":48164,"'čĊčĊ":48165,"flatten":48166,"_sales":48167,"_MASTER":48168,"TW":48169,"_da":48170,"Pitch":48171,"phies":48172,"Ġzombies":48173,"ĠVERY":48174,"ĠPharmacy":48175,"ĠprogressBar":48176,"Ġhashtag":48177,"Sidebar":48178,"@stop":48179,"(pc":48180,"олж":48181,"MAKE":48182,"ĠCoron":48183,"Ġkvinner":48184,"ĠMaid":48185,"bob":48186,".titleLabel":48187,"Ġsuccesses":48188,"ĠDemocracy":48189,"ĠSurgery":48190,"Ġcougar":48191,"Ġcurso":48192,"Ġloro":48193,"istency":48194,"Senior":48195,"æk":48196,"ĠAAA":48197,"ĠBOOK":48198,"ко":48199,"WSTR":48200,"Ġ*/,Ċ":48201,"oyal":48202,".vector":48203,"ĠSPEC":48204,"SSF":48205,"Ġcompuls":48206,"ĠAppeals":48207,"ĠWinston":48208,"ĠMockito":48209,"contrib":48210,".available":48211,"entityManager":48212,"arias":48213,"_sale":48214,"_rs":48215,"Ġdecoding":48216,"Ġlocator":48217,"olith":48218,"Ġkol":48219,"Ġascii":48220,"ĠRut":48221,"/interface":48222,"ĉĉĉĉĉĉĠĠĠ":48223,"ĠNumer":48224,".flip":48225,"-del":48226,"Ġbolster":48227,"onomic":48228,"Ġzm":48229,"LG":48230,"FindBy":48231,"Ġadaptive":48232,"loo":48233,"Ġvue":48234,"(reverse":48235,"_canvas":48236,".roles":48237,"ificado":48238,"venient":48239,"\"As":48240,"ĠEntr":48241,"aligned":48242,"Ġbereits":48243,"///ĊĊ":48244,".gwt":48245,".employee":48246,"_cli":48247,"Ġanticipate":48248,"éĻIJ":48249,"Ġpik":48250,"Ġmushrooms":48251,"(tt":48252,"Ġoma":48253,"ĠSanchez":48254,"_google":48255,".Valid":48256,"ĠFileName":48257,"ivative":48258,"ked":48259,"-war":48260,"Ġmaturity":48261,"ид":48262,"Ġminer":48263,"Reducers":48264,"ĠLatLng":48265,"_STD":48266,"Digits":48267,"Calc":48268,"-upload":48269,"Ġhandic":48270,"ีà¹Ī":48271,"egrated":48272,"ĠSTM":48273,"Clients":48274,"ĠTurbo":48275,"SYNC":48276,"Ġphotographers":48277,".Out":48278,".character":48279,"BUILD":48280,".unlock":48281,"Ġarises":48282,"ĠCommands":48283,"(\"\");čĊ":48284,"_FORE":48285,";',":48286,"+\"'":48287,".Images":48288,"\"){":48289,"ĠMeyer":48290,"Ġnegatively":48291,"ĠDLL":48292,"Ġexe":48293,"Ġdeficiency":48294,"Ġwildly":48295,"-switch":48296,"construction":48297,"Ġexceptionally":48298,"ĠLiz":48299,"/java":48300,"Ġtheirs":48301,"ĠContemporary":48302,"lis":48303,".fillRect":48304,"ĠNFC":48305,"Ġrehe":48306,"(numbers":48307,"Ġraster":48308,"Ġfiguring":48309,"Ġshowc":48310,"ĠJill":48311,"Ġarcade":48312,"ĠConstructs":48313,"mdl":48314,"('|":48315,"Ġidentifiers":48316,"Ġstellar":48317,"(Connection":48318,"Ġ\"{{":48319,"yor":48320,"(mysqli":48321,"Ġdove":48322,"OfBirth":48323,".disconnect":48324,"_hi":48325,"Ġzwischen":48326,"ĠGrund":48327,"iros":48328,"_Array":48329,".onclick":48330,"ansom":48331,"Answers":48332,"ĉremove":48333,"Fa":48334,"Ġhurry":48335,"-inf":48336,"ĠgetClass":48337,"ĠRegulation":48338,"ĠFLAGS":48339,"misc":48340,"Ken":48341,"_heading":48342,"GHz":48343,"-entry":48344,"Ġbiography":48345,"Sig":48346,"-mf":48347,"Watcher":48348,"âĢľA":48349,"}px":48350,"Ġspicy":48351,"_sq":48352,"Lost":48353,"(track":48354,"али":48355,"Descending":48356,"((":48553,"survey":48554,"Ġíĺ":48555,"...')Ċ":48556,"ĠDivider":48557,"osl":48558,"_CANCEL":48559,"_prepare":48560,"stin":48561,"ĠHeath":48562,".PrimaryKey":48563,"ĠâĨIJ":48564,"ĠLocalDateTime":48565,"Ġcooperative":48566,"Learning":48567,".enqueue":48568,"Ġgoog":48569,"ĠRegression":48570,"imates":48571,"Ġvoyeur":48572,"ĠDrink":48573,"plug":48574,"Ġlender":48575,"mana":48576,"Ġpersonnes":48577,"ypse":48578,"Ġunlink":48579,"ĠRavens":48580,"Ġhurd":48581,"Ġperiodically":48582,"ARGS":48583,"ĠGH":48584,"characters":48585,"...\"ĊĊ":48586,"-establish":48587,"Ġdn":48588,"(condition":48589,"ĠGravity":48590,"Ġestas":48591,"_focus":48592,"Creature":48593,"(site":48594,"Ġcarr":48595,"ĠRL":48596,"ĠRI":48597,"ĠMoto":48598,"ASF":48599,"ĠLuckily":48600,"ĉRoute":48601,"Ġentropy":48602,"(\",\"":48603,"Collect":48604,"(contact":48605,"ĠFlorence":48606,"Ġpremiums":48607,"Ġlifecycle":48608,"Ġbans":48609,"xef":48610,"WebKit":48611,"ĠFloating":48612,"Ġcosa":48613,"Specific":48614,"ĠLoans":48615,"bread":48616,"Ġdescriptors":48617,"Ġ{:.":48618,"THREAD":48619,"ĠTrent":48620,"Ġscop":48621,"QA":48622,"ĠAntar":48623,"pel":48624,"_difference":48625,"_changes":48626,"(...)":48627,"ĠRotation":48628,"ĠLGPL":48629,"ĠJUST":48630,"(Task":48631,"_subset":48632,"ĠTRANS":48633,"åĬĽ":48634,"ĠScout":48635,"-popup":48636,"Ġsmoked":48637,"_Class":48638,"Ġturnover":48639,"brakk":48640,"ĠRocky":48641,"tas":48642,".RegularExpressions":48643,"ĠElliott":48644,"ĠSpinner":48645,"DUCTION":48646,"Ġlibre":48647,"Ġmolto":48648,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠ":48649,"ĠFTP":48650,"mpeg":48651,"(features":48652,"Ġbald":48653,"ĠVid":48654,"Ġshouting":48655,"Lint":48656,"Ġsockets":48657,"Ġprow":48658,"Ġnouvelle":48659,"iscard":48660,"ĠSponsor":48661,"Ġconsulta":48662,")));":48663,"Indian":48664,"ĠRaspberry":48665,"Ġteammate":48666,"ĠJWT":48667,"ĠGhana":48668,"Ġcakes":48669,"primer":48670,"forma":48671,"ergarten":48672,"_Manager":48673,"Ġpreseason":48674,"GAME":48675,"|\"":48676,"ĠBrock":48677,"Ġoccupy":48678,"Ġdecorations":48679,"ánd":48680,"Ġcot":48681,"Ġparan":48682,"Disk":48683,"remain":48684,">?":48685,"Strong":48686,"Ġfrance":48687,"ĠEra":48688,"-cr":48689,".BufferedReader":48690,"ĠParadise":48691,"ĠVAT":48692,"ĠAnders":48693,"Ġlimb":48694,"ampoo":48695,"Ġimperative":48696,"UTILITY":48697,"ĠRecognition":48698,"Ġragazze":48699,"Ġpops":48700,"ypress":48701,"Ġembargo":48702,"//{Ċ":48703,"Ġsyll":48704,"PTR":48705,"åŃĺåľ¨":48706,"Ġdidnt":48707,"Mailer":48708,"Ġacademics":48709,"ĠFrauen":48710,"neider":48711,"-rel":48712,"Ġrainbow":48713,"(In":48714,"Ġsliced":48715,"=============Ċ":48716,"(send":48717,"NSMutableDictionary":48718,"vos":48719,"(package":48720,"Ġordinance":48721,"viewer":48722,"ĠSantos":48723,"-selling":48724,"Ġgov":48725,"ettle":48726,"Ġfounders":48727,"Ġwaking":48728,"slashes":48729,"-pound":48730,"recht":48731,"ات":48732,".onClick":48733,"Ġnord":48734,"ständ":48735,"_when":48736,"UTERS":48737,"icc":48738,"Ġcapsule":48739,"ĠWid":48740,"Marc":48741,"ุ":48742,"rored":48743,"UGE":48744,"LOUD":48745,"ĠAudit":48746,"ipients":48747,"opian":48748,"ĠSue":48749,"Ġwurden":48750,".Helpers":48751,"Ġfactions":48752,"[np":48753,"-than":48754,"Ġreco":48755,"Ġkas":48756,"Ġcmds":48757,"/network":48758,"xbf":48759,"getColor":48760,"Ġbiased":48761,"ĠLak":48762,"Datas":48763,"vents":48764,"Ġë²":48765,"_PS":48766,".Validate":48767,"Invoker":48768,"Ġneuen":48769,"Ġjuvenile":48770,"VISION":48771,"Ġdevote":48772,"Ġlinha":48773,"Ġdiscounted":48774,"\\Config":48775,"Ġworthwhile":48776,"Ġskinny":48777,"ĠCourses":48778,"leys":48779,"ĠMortgage":48780,"Kevin":48781,"Ġannounces":48782,"])*":48783,"reservation":48784,"Ġæķ°":48785,"Ġprejudice":48786,"ĠStringComparison":48787,"Ġbeard":48788,"-win":48789,"ĠSão":48790,"ĉms":48791,"jal":48792,"ĠEarn":48793,"_ports":48794,"ĠNombre":48795,"_COR":48796,"ĠBUILD":48797,".sound":48798,"Yellow":48799,"Ġlinebacker":48800,"Ġcharitable":48801,"jug":48802,"_NONNULL":48803,"ĠDental":48804,"\">${":48805,"ĉmatch":48806,"Russian":48807,"Ġversch":48808,"Ġpinned":48809,"Ġadopting":48810,"OptionsMenu":48811,"Pag":48812,"Ġpairing":48813,"Ġtread":48814,"ercises":48815,"ĠSpread":48816,")i":48817,"ĠBAD":48818,"_tf":48819,"UIImageView":48820,"populate":48821,"bab":48822,"ĠÏĥ":48823,"[++":48824,"Ġopioid":48825,"Ġ##Ċ":48826,"dtype":48827,"ĠStarts":48828,"('/')":48829,"Ġpersonals":48830,"-market":48831,"Ġredundant":48832,"ĠEssential":48833,"Ġscrapy":48834,"Ġим":48835,"acl":48836,"Ġcrear":48837,"ĠBend":48838,"Ġrelieve":48839,"-room":48840,"wife":48841,"ĠvÃł":48842,"ĠQPoint":48843,"Ġquasi":48844,"ĠmethodName":48845,"\\xc":48846,"ĠPeru":48847,"/The":48848,".orm":48849,"Ġviz":48850,"/pdf":48851,"Located":48852,"Ġconfrontation":48853,"ĠChampionships":48854,"Ġhypert":48855,"Ġdj":48856,"ĠUserInfo":48857,"ĠåĪĽå»º":48858,"\\xb":48859,"(sim":48860,"Ġ==Ċ":48861,"Ġstaging":48862,"Ġdrastically":48863,"åѦ":48864,"lords":48865,".less":48866,"ведиÑĤе":48867,"ĠBucket":48868,"ĠMam":48869,".term":48870,"_pi":48871,"czy":48872,".pub":48873,"precio":48874,"ĠVirt":48875,"Ġroman":48876,"itat":48877,"Lex":48878,"_infos":48879,"Ä°":48880,".other":48881,"VELO":48882,"Ġponder":48883,"Ġhanno":48884,"(Page":48885,"doi":48886,"Ġpolite":48887,"Ġprogrammer":48888,"Dies":48889,"$d":48890,"Ġreplication":48891,"addColumn":48892,"frican":48893,"Ġleng":48894,"beer":48895,"oit":48896,"Ġwasting":48897,"ylim":48898,"measure":48899,"Neg":48900,"Ġpartie":48901,".console":48902,"ĠGuinea":48903,"TEL":48904,"_fact":48905,".chunk":48906,"Ġlent":48907,"Ġaller":48908,"Ġà¤ķ":48909,"_idle":48910,"Ġadmissions":48911,"JSONArray":48912,"Ġvibration":48913,".helpers":48914,"å¤ĸ":48915,"Ġhen":48916,"john":48917,"ĠìĥĿ":48918,"Ġjudgement":48919,"Ġgeen":48920,"terra":48921,"^{":48922,"ĠIz":48923,"Ġcâ":48924,"instances":48925,"Ġthreatens":48926,"Ġmüssen":48927,"KindOfClass":48928,"Ġstorytelling":48929,"_demo":48930,"rias":48931,"Privacy":48932,"hift":48933,"ĠYi":48934,"esor":48935,"íķł":48936,"ensitivity":48937,".Writer":48938,"à¸Ĥ":48939,"District":48940,".getJSONObject":48941,"Impro":48942,"(getResources":48943,"ĠSPELL":48944,"roduce":48945,"Ġslowed":48946,"Ġlinewidth":48947,"Ġhonesty":48948,"ĠCoord":48949,"ĠFork":48950,"ĠDispatchQueue":48951,"ĠCliff":48952,"ĠWiring":48953,"_TIMESTAMP":48954,"ollah":48955,"avoid":48956,"++];Ċ":48957,"semantic":48958,"-css":48959,"Ġveto":48960,"ĠMerr":48961,"Ġlegislators":48962,"CEEDED":48963,"Ġquestionnaire":48964,"ĠPills":48965,"Calculate":48966,"(core":48967,"'e":48968,"Ġdislike":48969,"ĠPreferences":48970,"_EXTERNAL":48971,"è°ĥ":48972,"Ġdodge":48973,"æľįåĬ¡":48974,".names":48975,".drawImage":48976,"_prom":48977,"uckland":48978,"Ġ<$>":48979,"ız":48980,"/site":48981,"项":48982,"rophe":48983,"Ġcompelled":48984,"Ġlaptops":48985,"Ġuni":48986,"CLOSE":48987,"Ġcasualties":48988,"ĠUniform":48989,"Terminal":48990,".\",\"":48991,"DAT":48992,"(TreeNode":48993,"ĠGandhi":48994,"(stmt":48995,"AXB":48996,"*M":48997,"Ġumbrella":48998,"animal":48999,"Ġgrpc":49000,"Ġwhereby":49001,"Ġfloats":49002,"ĉarg":49003,"Ġdbg":49004,"Ġexceeding":49005,"EventType":49006,".SaveChangesAsync":49007,"Ġ{{{":49008,"Ġowed":49009,"ahrenheit":49010,"Ġì§":49011,"Ġequipo":49012,"urai":49013,"Ġidol":49014,"]\")Ċ":49015,"_major":49016,"Ġentirety":49017,"ingerprint":49018,"ços":49019,"/account":49020,"ĉright":49021,"ursos":49022,"ĠEDT":49023,"_INSERT":49024,"Ġshining":49025,"Ġ<:":49026,"EdgeInsets":49027,"Ġcolonies":49028,".IM":49029,"ĉĠĉ":49030,"ROAD":49031,"CCCC":49032,"placing":49033,"ĠgetActivity":49034,"emacs":49035,"'%(":49036,".clicked":49037,"ĠThem":49038,"isia":49039,"Buscar":49040,".rename":49041,"Ġoath":49042,"Ġafterward":49043,"ĠUFO":49044,"APS":49045,"ĠJacksonville":49046,".some":49047,"Confirmed":49048,".scan":49049,"igInteger":49050,"Decorator":49051,"shield":49052,"ressive":49053,".did":49054,"请è¾ĵåħ¥":49055,"Ġshutter":49056,"Dam":49057,"Ġparenting":49058,"eyed":49059,"$item":49060,"-develop":49061,"Ġextracts":49062,"Ġdecentralized":49063,"ĠElsa":49064,"_spin":49065,"])+":49066,"-initial":49067,"Ġmultitude":49068,"Ġsensory":49069,"ĠMODEL":49070,"Ġsafeguard":49071,"ì¹":49072,"Ġhunters":49073,"ĠTiny":49074,"INO":49075,"decorate":49076,"ĠNoSuch":49077,"Ho":49078,"(Response":49079,"Ġruler":49080,"ĉshort":49081,"Ġcaster":49082,"ĠclientId":49083,"Ġpdb":49084,"ëıĦ":49085,"itic":49086,"ĠGameState":49087,"ĠnewItem":49088,")ĊĊĊĊĊĊ":49089,"ouis":49090,"noc":49091,".BLACK":49092,"_VECTOR":49093,"----------();":49381,".getP":49382,"anye":49383,"Ġneuron":49384,"ifold":49385,"ĠKnown":49386,"Bitcoin":49387,"Anyway":49388,"ayette":49389,"Ġ'['":49390,"Ãłnh":49391,"mgr":49392,"Ġcorrelated":49393,"Ġnause":49394,"Ġmentality":49395,"hasMany":49396,"ĠFG":49397,"ampie":49398,"ITU":49399,"Fs":49400,".Sp":49401,"_between":49402,"Dependencies":49403,"oug":49404,"Placeholder":49405,"=text":49406,"ĠManaging":49407,"ocalypse":49408,"åĮĹ":49409,"_mag":49410,"fld":49411,"âij":49412,"CAM":49413,"ĠHelpers":49414,"Ġdost":49415,"/out":49416,"Ġassassination":49417,".getImage":49418,"ĠKenny":49419,".')ĊĊ":49420,"){//":49421,"ĠRanger":49422,"Ġgek":49423,"Ġsincere":49424,"čĊ":49627,".getResources":49628,"Ġlump":49629,"_consts":49630,"(ext":49631,"ĉdir":49632,"âĿ":49633,"ĠpaddingTop":49634,"Ġobsession":49635,"Ġbanning":49636,"ĠAppModule":49637,"Ġpartisan":49638,"Ġcatalogue":49639,"Ġminors":49640,"Ġpitches":49641,"weep":49642,"Ġundertake":49643,"Ġthemed":49644,"audit":49645,".scrollTop":49646,"Ġrer":49647,"Ġsymptom":49648,"Ġopenings":49649,".blocks":49650,"openid":49651,"Ġassh":49652,"-save":49653,"ĠPig":49654,"Ġregain":49655,"Ġinicial":49656,"/favicon":49657,"ĉexp":49658,"Ġspices":49659,"iska":49660,"claims":49661,"mak":49662,"definitions":49663,"Ġcorrespondent":49664,"ĠCannabis":49665,"__,Ċ":49666,"ĠLucky":49667,"ĠGaussian":49668,"ĠNearly":49669,"CAD":49670,"']]Ċ":49671,"Ġadequately":49672,"ĠTITLE":49673,"constitutional":49674,"-mm":49675,"_override":49676,"Ġblas":49677,".readyState":49678,"Ġreminis":49679,"Ġreinforced":49680,"ĠCollabor":49681,"Ġdecorating":49682,"Ġbachelor":49683,"ERRUPT":49684,"Ġupright":49685,"ipation":49686,"ĠNoble":49687,"ĠvalueForKey":49688,"ĠsetLoading":49689,".Ignore":49690,"åģ":49691,"Globals":49692,"ĠMent":49693,"ASSES":49694,"Ġlimbs":49695,"ĠHUD":49696,"inci":49697,".iv":49698,"ĠQModelIndex":49699,"Fuse":49700,"Ġpedal":49701,"_FREQ":49702,"(verbose":49703,"Ġlongitud":49704,"ĠCharter":49705,"ê·¸":49706,"Ġbundles":49707,".ignore":49708,"umbo":49709,"EMA":49710,".......":49711,"sx":49712,".Card":49713,"Ġheute":49714,"Ġsteer":49715,"jumlah":49716,"Ġ{_":49717,"_Checked":49718,"Ġfax":49719,"ĠGust":49720,"itchens":49721,"Ġ))ĊĊ":49722,"Ġremarkably":49723,"/XML":49724,"-remove":49725,"_bt":49726,"Ġincub":49727,".package":49728,".currentThread":49729,"ĠHighlander":49730,".side":49731,"splash":49732,"Ġici":49733,"=D":49734,"Ġpuck":49735,"Ġballots":49736,"Ġhugely":49737,"coeff":49738,"ĠpData":49739,".COLUMN":49740,"ĠHealing":49741,"Ġordin":49742,"!),":49743,"Ġ'',čĊ":49744,"(md":49745,"ĠSask":49746,"čĊ":49768,"Ġrá":49769,"Ġblunt":49770,"ĠImageIcon":49771,"ifik":49772,"RTC":49773,"Ġfibers":49774,"Ġtoile":49775,".sent":49776,"ĠPyQt":49777,"$app":49778,"Ġmedio":49779,"Ġgranting":49780,"Ġtslint":49781,"ĠMö":49782,"(figsize":49783,"Ġhurricane":49784,"Ġlifes":49785,"ĠÃĦ":49786,"rocessing":49787,"_standard":49788,"-option":49789,"')))":49790,"Ġvacant":49791,"å·¥":49792,"ĠHollow":49793,"handleChange":49794,"Ġdivider":49795,"ĠEngineers":49796,"Ġsvens":49797,"Ġcompliant":49798,"tanggal":49799,"ĠCredits":49800,"ĠEmirates":49801,"RuleContext":49802,"Ġrealization":49803,"Ġdistracted":49804,"]+=":49805,"Ġaugment":49806,"ĠDw":49807,"otp":49808,"orrent":49809,"Editar":49810,".stock":49811,"Study":49812,"pections":49813,"ĠGameManager":49814,"=cut":49815,"Ġflock":49816,"ĠRomans":49817,"them":49818,"-hop":49819,"Ġscreenshots":49820,"Ġ/*!Ċ":49821,"Ġconversions":49822,"Ġnormalization":49823,"(configuration":49824,"Ġaeros":49825,"_security":49826,"!'Ċ":49827,"Bonus":49828,"ĠDRIVER":49829,"ĉDate":49830,"tie":49831,"ĠWyoming":49832,"Stand":49833,"itre":49834,"Ġshoppers":49835,"Ġdisadvantage":49836,"Ġliking":49837,"ç¬ij":49838,"Ġunderstandable":49839,"SEE":49840,"Ġhoy":49841,"Ġninete":49842,"Ġconfer":49843,"Ġnowrap":49844,"ĠVern":49845,",čĊčĊ":49846,"imestep":49847,"LayoutManager":49848,"à·":49849,"ĉwait":49850,"PLETED":49851,"Japan":49852,"Ġinduce":49853,"Ġå¯":49854,"озв":49855,"_ENDPOINT":49856,".horizontal":49857,"Ġaccelerated":49858,"rimon":49859,"IVES":49860,"Transactions":49861,"Lean":49862,"ĠSOUR":49863,"whether":49864,"yg":49865,"Ġoid":49866,"ĠEntityManager":49867,"OUNTRY":49868,"Ġfila":49869,"OLUMNS":49870,"INUE":49871,"ĠAnchor":49872,"TRAN":49873,"woo":49874,"blockquote":49875,"ĠNurse":49876,"ĠCarp":49877,"Ġredeem":49878,".try":49879,"ĠJP":49880,"Ġtimestamps":49881,"Ġ?>\"><":49882,"ĠREMOVE":49883,"ĠStarbucks":49884,"Really":49885,"Ġflooded":49886,".Callback":49887,"DropDown":49888,"ipro":49889,"Ġtended":49890,"lte":49891,"Ġproportions":49892,"-te":49893,"ĠRena":49894,"licate":49895,"forces":49896,".extra":49897,".authenticate":49898,"вод":49899,"¡°":49900,"ĠforControlEvents":49901,"Ġsenha":49902,"Ġkein":49903,"Ġminist":49904,"ĠPreference":49905,"ĠTelegraph":49906,"Ñĥп":49907,"strpos":49908,"Ġillnesses":49909,"Ġpigs":49910,"ĠgetIntent":49911,"Sol":49912,"Ġ¡":49913,"(cpu":49914,"[prop":49915,"screens":49916,"');?>":49917,"ĠActs":49918,"Ġstrdup":49919,"Ġaverages":49920,"anal":49921,"ĠCasual":49922,"GroupBox":49923,"ĠHandbook":49924,"/comments":49925,"Ġnumbered":49926,"Ġbroadcasting":49927,"çĽij":49928,".nativeElement":49929,".mu":49930,"ĠupdatedAt":49931,"ĠDoesn":49932,".AC":49933,".coll":49934,"Ġrecorder":49935,"_sha":49936,"Bg":49937,"bil":49938,"Ġbolts":49939,"Ġç¬":49940,"Ġimposing":49941,"ĠInformationen":49942,"_flashdata":49943,"economic":49944,"Remark":49945,"ucas":49946,"ĠOfficers":49947,"ĠTER":49948,"Walk":49949,"Ġmercado":49950,"_generate":49951,"HY":49952,"Calling":49953,"snap":49954,"scriptId":49955,".operation":49956,"ĠFlame":49957,"liness":49958,"Ġrented":49959,"_toggle":49960,"-changing":49961,"ĠTY":49962,"'util":49963,"EEP":49964,"Ġgraphql":49965,"ĠUni":49966,"Ġimpulse":49967,".Basic":49968,"Ġenergies":49969,"MARY":49970,"ĠMarcel":49971,"Ġmortal":49972,"Ġfres":49973,"mens":49974,"motion":49975,"Ġsampled":49976,"âĢľThat":49977,"iday":49978,"quipment":49979,"getInt":49980,"ĠAbsolute":49981,",'\"":49982,"uned":49983,".share":49984,"Ġ})(":49985,"mmm":49986,"ĠRising":49987,"ä»»":49988,"Ġunemployed":49989,"xfa":49990,".follow":49991,"ĉĉĉĉĠĠĠĠĠĠ":49992,"slt":49993,".Phone":49994,"Ġknives":49995,"Ġeve":49996,"onClick":49997,"]))čĊ":49998,"ĠWitness":49999,"ĉNS":50000,"ĠEOS":50001,"ĠStefan":50002,"ĠPriest":50003,"âĢĶwhich":50004,"GetString":50005,".By":50006,"Ġupstairs":50007,"Ġdetriment":50008,"broken":50009,"embro":50010,"Ġnicotine":50011,"ilion":50012,"Ġastonishing":50013,"_aff":50014,"ĠLesson":50015,"Ġaccidental":50016,"odor":50017,"Ġdecir":50018,"ĠnewName":50019,"+.":50020,"缸":50021,"igslist":50022,"ĠGithub":50023,"Ġsuccessive":50024,"racial":50025,"Ġenviron":50026,"éªĮè¯ģ":50027,"Ġredirected":50028,"TOTAL":50029,"Ġgrabbing":50030,"ĠLance":50031,"Ġforfe":50032,"_CB":50033,"å¾®":50034,"Elapsed":50035,"_way":50036,"(DialogInterface":50037,"_measure":50038,"xbb":50039,"Dog":50040,"Depart":50041,"-src":50042,"resolver":50043,"withstanding":50044,"_shell":50045,"ĠLastName":50046,"ĠAviation":50047,"Ġbeginner":50048,"(\"%.":50049,"(tool":50050,"Ġнов":50051,":init":50052,"(API":50053,"ĠMorrison":50054,"vtColor":50055,"Ġstaple":50056,"/INFO":50057,"Ġsupernatural":50058,"Ġsteak":50059,"timeline":50060,"zzle":50061,"\"`ĊĊ":50062,"Secondary":50063,"ĠNepal":50064,".StringUtils":50065,"Ġadam":50066,"Ġ(...":50067,"Ġsubstitution":50068,"Ġboarding":50069,"ĠKeyword":50070,"ĠAssault":50071,"dbcTemplate":50072,"ĠorderId":50073,"(engine":50074,".assertThat":50075,"ĠVenus":50076,"Ġhomicide":50077,"ĠAval":50078,"Ġgutter":50079,"ĠSupported":50080,"/part":50081,"Ġacclaimed":50082,"Histor":50083,"Ġmeses":50084,"über":50085,"ĠRenew":50086,"Ġgras":50087,"ĠEk":50088,"Ġinfile":50089,"indy":50090,".music":50091,".Scroll":50092,"ĠAges":50093,"ĠNaruto":50094,"ĠGather":50095,"Ġconfirming":50096,"=(\"":50097,"Ġpitched":50098,"oley":50099,"France":50100,"+'\"":50101,"$total":50102,"Ġonde":50103,"Ġditch":50104,"_sigma":50105,"Ġcontinuity":50106,"reward":50107,"-load":50108,"Ġproceso":50109,"Locked":50110,"staw":50111,"Ġspinal":50112,"lazy":50113,"!==":50114,"jest":50115,"Ġdun":50116,"ĠRodgers":50117,"ĉgrid":50118,"Ġlogos":50119,"ĠBengal":50120,".super":50121,"Provides":50122,"Ġnutrient":50123,".Timestamp":50124,"IZATION":50125,"åĨĮ":50126,"Ġfats":50127,"ĠXxx":50128,"ctica":50129,"Targets":50130,"Ġcontours":50131,"Ġreordered":50132,":Array":50133,"Ġtolerate":50134,"Vir":50135,"Ġterribly":50136,"Ġbricks":50137,"(&_":50138,"hb":50139,"Portal":50140,"ĠBread":50141,".which":50142,"ÂŃt":50143,"asInstanceOf":50144,"Ġjobject":50145,"ĉlength":50146,"_MT":50147,";\">čĊ":50148,"_EXIST":50149,"Ġmaternal":50150,"REL":50151,"Ġê²½ìļ°":50152,"hee":50153,"Ġlayouts":50154,"ĠLap":50155,"aisy":50156,"Ġstumbled":50157,"ĠUIG":50158,"ĠSco":50159,"Ġimpaired":50160,"RESSED":50161,"Ġabuses":50162,"VF":50163,"ARB":50164,".NAME":50165,"rch":50166,"primir":50167,"_completed":50168,"Ġpenny":50169,"Chrome":50170,"(begin":50171,"ernen":50172,"-checkbox":50173,"PlainOldData":50174,"ĠLPC":50175,"rade":50176,"spir":50177,"Ġconceived":50178,"Tips":50179,"ĠIoT":50180,"ĠGan":50181,"èģĶ":50182,"Ġbiases":50183,"Ġconsultants":50184,"pled":50185,"_ht":50186,"associated":50187,"],ĊĊ":50188,"Ġdelightful":50189,"ĠÑĤек":50190,"Helvetica":50191,"(load":50192,"-expand":50193,"_WIDGET":50194,"toa":50195,"ĠAkt":50196,"Ġomn":50197,"Ġclauses":50198,"Intel":50199,"*/}Ċ":50200,"_registration":50201,"ĠoldValue":50202,"Ġrestoring":50203,"Ġunreal":50204,"OVER":50205,"ĉĊĉĊĉĊ":50206,"ATS":50207,"_probe":50208,"Ġdivisor":50209,".updateDynamic":50210,"å¹³":50211,"Produces":50212,"stamp":50213,".jboss":50214,"ĉtask":50215,"!(:":50216,"Ġpsychic":50217,"@class":50218,"Martin":50219,"ĠPassed":50220,"clarations":50221,"hel":50222,"аÑĩ":50223,"ĉcopy":50224,"-bin":50225,"zan":50226,"igram":50227,"াà¦":50228,"(sig":50229,"ĠCaval":50230,"_##":50231,"Ġ%=":50232,"outlined":50233,"ĠAcid":50234,"Ġunpredictable":50235,"-dashboard":50236,"HexString":50237,"+c":50238,".Public":50239,"ẩ":50240,"Ġconveyor":50241,"ĠEB":50242,"Ġselects":50243,"Ġknocking":50244,"ĠCec":50245,"IBUTES":50246,"owaÄĩ":50247,"gatsby":50248,"*v":50249,"entropy":50250,"Ġdispatched":50251,"Ġcamel":50252,"ĠSaturn":50253,"Ġoverweight":50254,"(phone":50255,"parable":50256,"%B":50257,"_vectors":50258,"Ġbrewing":50259,"ĠTk":50260,"ĠDownloads":50261,"ĠSaved":50262,".Price":50263,"Ġcurved":50264,"ĠParenthood":50265,"è¶":50266,".pnl":50267,"pletely":50268,".Day":50269,"Ġadvertisers":50270,"Ġejec":50271,"Ġprzed":50272,"ë¯":50273,"!';Ċ":50274,"ĠKush":50275,"ĠTAB":50276,"Ġquests":50277,"Ġcoincidence":50278,"ummies":50279,"ĠKashmir":50280,"ĠEthics":50281,"_growth":50282,"Ġaktiv":50283,"Ġgrouping":50284,"å¢ŀ":50285,"_truth":50286,"åIJ¬":50287,"todos":50288,"iset":50289,"TexCoord":50290,"ätt":50291,"ĠZur":50292,"roys":50293,"_MAGIC":50294,"Ġbrewery":50295,"(State":50296,"ĠSMALL":50297,"ĠPlants":50298,"itbart":50299,"eacher":50300,"ĠAdelaide":50301,"Lu":50302,"Ġfick":50303,"undles":50304,"_loaded":50305,"ие":50306,"Poll":50307,"ritic":50308,"ELY":50309,"Ġ+'":50310,"ĠProfession":50311,"Ġstamps":50312,"ĠSew":50313,"scrollView":50314,"Ġcommunist":50315,"/problems":50316,"}čĊčĊčĊčĊ":50317,",o":50318,"Ġudp":50319,"Ġobese":50320,"approve":50321,"ancellation":50322,"_Game":50323,"ĠHashtable":50324,"adaptiveStyles":50325,"Ġpossesses":50326,".matcher":50327,"functional":50328,"Mrs":50329,"ĉsave":50330,"ĠDbType":50331,"Ġken":50332,"getContext":50333,"Ġmans":50334,"(rel":50335,"ĠBrotherhood":50336,")`Ċ":50337,"解":50338,".Information":50339,"OutOfRangeException":50340,"ĠSek":50341,"Cas":50342,"Ġbloggers":50343,"Either":50344,"(\"\"\"":50345,"Ġpinch":50346,"Ġcoarse":50347,")p":50348,"ĠPulse":50349,"Ġlearnt":50350,"Ġdentist":50351,"Ġonchange":50352,"Ġdirectives":50353,"(actions":50354,"nyder":50355,"ĠShir":50356,"Trait":50357,"_dep":50358,"ĠPET":50359,"ĠREP":50360,".AppSettings":50361,"cuador":50362,"idenav":50363,"Ġenvi":50364,"Ġslammed":50365,"ĠShoot":50366,"ĠdateFormat":50367,".joda":50368,"veys":50369,"Ġ).ĊĊ":50370,"Ġcareg":50371,"ĠParallel":50372,"_translation":50373,".functions":50374,".obs":50375,"RuntimeException":50376,"[]=":50377,"overview":50378,"ĠSchl":50379,"Ġnoisy":50380,"ĠOnPropertyChanged":50381,"Sending":50382,"Ġunfamiliar":50383,"Upon":50384,"ĠPrints":50385,".typ":50386,"Ġfleeing":50387,"ĉmove":50388,"(Un":50389,"Ġqr":50390,"׾":50391,"_beta":50392,"Ġskies":50393,"ĉme":50394,"WND":50395,"Ġstickers":50396,"blas":50397,"Ġinserts":50398,"Ġverses":50399,"ĠDew":50400,"Ġtangible":50401,"Ġhecho":50402,"POL":50403,"Ġteardown":50404,"omnia":50405,"IBE":50406,".cover":50407,"_strategy":50408,"^-":50409,"setPosition":50410,"uale":50411,"Signed":50412,"Ġiface":50413,"aseline":50414,".setTime":50415,"ĠMineral":50416,"ĠFighting":50417,"skins":50418,"Ġdiscrimin":50419,"Ġdansk":50420,"ĠPrinceton":50421,"acist":50422,"Ġ());Ċ":50423,"tracks":50424,"imonial":50425,"adecimal":50426,"EPROM":50427,"uggle":50428,".Notification":50429,"$mail":50430,"cantidad":50431,"ĠJung":50432,"Ġseekers":50433,"Ġplausible":50434,"tier":50435,"еж":50436,"Ġrapper":50437,"ĠMana":50438,"ĠHttpStatusCode":50439,"Ġburnt":50440,"loses":50441,"ĠFoto":50442,"ĠJsonObject":50443,"Instagram":50444,"Ġsyscall":50445,"Ġrealities":50446,"ĠMATLAB":50447,":^{Ċ":50448,"TERM":50449,"ĠCbd":50450,"ĠParagraph":50451,"Ġtravés":50452,"Ġconstructing":50453,"Ġswal":50454,"Ġpige":50455,"LLLL":50456,"-existing":50457,"Gets":50458,"Ġmelted":50459,"Ġmitigate":50460,"Hen":50461,"Ġhm":50462,"imas":50463,"ĠAo":50464,"ĠPerez":50465,"ĠDAL":50466,"Ġëĭ¤":50467,"Ġdivis":50468,"StoryboardSegue":50469,"ĠModify":50470,"ĠÃľber":50471,"_OVERRIDE":50472,".pem":50473,"untos":50474,"Ġespañ":50475,"Ġ{?":50476,"ĠPAY":50477,"_ipv":50478,"ĠFury":50479,"__.__":50480,"elow":50481,"-centered":50482,"checks":50483,"_Reg":50484,"-Javadoc":50485,"ĉload":50486,"ĠLikewise":50487,"اÙħ":50488,"UNE":50489,".sem":50490,"xcb":50491,"ĠCave":50492,"_sleep":50493,"Ġsilently":50494,"ĠExtreme":50495,".ToUpper":50496,"ĉCHECK":50497,"Ġcue":50498,"ĠQByteArray":50499,"Ġcorrupted":50500,"ĠDé":50501,"Ġimped":50502,"GetName":50503,"Ġinaccurate":50504,"Ġsober":50505,"ее":50506,"Ġbarcode":50507,"--){Ċ":50508,"inki":50509,"Ġép":50510,"Ġdri":50511,"ĠALT":50512,">>>>>>>>":50513,"onta":50514,"[L":50515,"Ġinteres":50516,"verting":50517,"Ġdiagnostics":50518,"pdev":50519,"è©":50520,"ĠIntegrated":50521,").'":50522,"_gc":50523,"$text":50524,".games":50525,"ĠTerra":50526,"'Re":50527,".transfer":50528,"_FIFO":50529,"getModel":50530,"Ġbland":50531,"ĠColeman":50532,"Ġprimes":50533,"ĠæĪ":50534,"Ġcrosses":50535,"nk":50536,"GING":50537,"Ġ'^":50538,"ĠBlob":50539,"Ġintercourse":50540,"ĠBlvd":50541,"Ġweighs":50542,"_regular":50543,"ĠPerth":50544,"Ġseparating":50545,"Ġbilled":50546,".tabControl":50547,"Ġpuppet":50548,"Ġutilization":50549,"Ġâĸł":50550,"Ġsucces":50551,"Ġlamps":50552,"_proj":50553,"Eric":50554,"Ġrenovation":50555,"ĠFamilies":50556,"ĠBits":50557,"partials":50558,"-Men":50559,"solution":50560,"Ġdwarf":50561,".INTEGER":50562,"ĠLOCK":50563,".ct":50564,"Ġexcerpt":50565,"ĠPix":50566,"ĠFirstName":50567,"ANTED":50568,"ĠAdmir":50569,"-help":50570,"Prior":50571,"ĠAlign":50572,".INSTANCE":50573,"LineEdit":50574,"('/:":50575,"Ġinet":50576,"odus":50577,".pkl":50578,"ĠKY":50579,"upert":50580,"Ġnerves":50581,"_gradient":50582,"}','":50583,"_unref":50584,"Ġsaturated":50585,"ĠConnected":50586,"ĠFN":50587,"EXIT":50588,"Ġteleport":50589,"Ġavait":50590,"PageRoute":50591,"Ġdivorced":50592,"(lang":50593,"fst":50594,"ĠTyr":50595,"Ġmessenger":50596,"ifstream":50597,"XS":50598,"ĠBanking":50599,"Ġinfectious":50600,"ĠMons":50601,"_LOOP":50602,"Ġzurück":50603,"Ġobtener":50604,"/repos":50605,"Vel":50606,"acro":50607,"ĠuserRepository":50608,"styleType":50609,"ĠSRC":50610,"VMLINUX":50611,"recursive":50612,"/bar":50613,"_chip":50614,"ominated":50615,"ĠNit":50616,"âĢĶto":50617,"ĠBuddh":50618,"омеÑĢ":50619,"ĠMAG":50620,"ĠCHE":50621,"_den":50622,".raises":50623,"_degree":50624,"Ġpumpkin":50625,"_templates":50626,"_MEDIA":50627,"ĠTimeline":50628,"Ġbots":50629,"ObjectType":50630,"Ġbuys":50631,".posts":50632,"CAL":50633,"waiting":50634,"ĠDaniels":50635,"Ġdabei":50636,"ĠSigma":50637,"ilor":50638,"igel":50639,",W":50640,"ADS":50641,"(panel":50642,"ì²´":50643,"itating":50644,".palette":50645,"Ġmosquito":50646,"Ġtego":50647,"(parseInt":50648,"Ġdespués":50649,"promise":50650,"Ġwij":50651,"typescript":50652,"ĠTv":50653,"_IDENTIFIER":50654,").ĊĊĊ":50655,"_flat":50656,"itsu":50657,"USR":50658,"experience":50659,"-fit":50660,"phinx":50661,"_thresh":50662,"Ġideally":50663,"ĠFreeman":50664,",DB":50665,"_rw":50666,"çŃī":50667,"Ub":50668,"_statistics":50669,"=\"\"><":50670,"Ġchore":50671,"Ġyork":50672,"installed":50673,"Additionally":50674,"Ġpstmt":50675,"ylko":50676,"::Ċ":50677,"Forest":50678,"Ġheadset":50679,"Ġgallon":50680,"ÑĢем":50681,"Ġwithdrawn":50682,"ĠCandidate":50683,"Ġmelting":50684,"Ġfreezer":50685,"Ġhl":50686,"_HELP":50687,"mime":50688,"(/*":50689,"Ġthirst":50690,"$return":50691,"memberof":50692,"еб":50693,"ĠHttpServletRequest":50694,"(ob":50695,"_Result":50696,"Ġasserted":50697,"Ġfulfilling":50698,"Ġstretches":50699,"parated":50700,"-funded":50701,"ĠåĽ":50702,"ingles":50703,"_ca":50704,".condition":50705,"ĠDisplays":50706,"Ġorang":50707,"ĠCRE":50708,"ĠglBind":50709,"ĠSelector":50710,"/type":50711,"ĠAlexa":50712,"chedules":50713,"ĠPeninsula":50714,"Ġparity":50715,"ĉdest":50716,"ĠDoors":50717,"čĊĉčĊ":50718,"_dimension":50719,"Ġaload":50720,".StoredProcedure":50721,"(paren":50722,"ĠBurke":50723,"')]Ċ":50724,"-engine":50725,"Ġquir":50726,"ĠHybrid":50727,"ĠDoe":50728,"Ġoutlines":50729,"ĠTrends":50730,"_NV":50731,"periments":50732,"ĠHin":50733,"?',":50734,"ĉText":50735,"FUL":50736,"Ġsmells":50737,"Ġslick":50738,"Ġmiserable":50739,"ĠArrayAdapter":50740,"ĠparamString":50741,"Hom":50742,"_literals":50743,"usuarios":50744,"Ġprompting":50745,"_lazy":50746,"ĠActivation":50747,"_oc":50748,"Weak":50749,"Ġanecd":50750,"ĠUCLA":50751,"=re":50752,"issement":50753,"ĠEscorts":50754,"Excellent":50755,"ĠPause":50756,"Ġrepositories":50757,"TOR":50758,"ariate":50759,"_iso":50760,"updates":50761,"halb":50762,"udiante":50763,"ë¡Ŀ":50764,"Ġnaive":50765,"ĠPeg":50766,"ĠLounge":50767,"ARGIN":50768,"(bin":50769,"OnClickListener":50770,"ĠFAILED":50771,"Ġlite":50772,"Ġdzie":50773,"ĠLiteral":50774,"ivor":50775,"fcntl":50776,"Ġeats":50777,"Ġqed":50778,"Unlock":50779,"riding":50780,"undai":50781,"=M":50782,"ATTER":50783,"ConfigureAwait":50784,"icias":50785,"ustomed":50786,"Ġsuccession":50787,"endTime":50788,"ĠJupiter":50789,"Ġjudging":50790,"dration":50791,"_docs":50792,".mo":50793,"Ġeducators":50794,"ĠVine":50795,"Cond":50796,"[out":50797,"qb":50798,"\\Validator":50799,"Ġmeanings":50800,"Ġpresently":50801,"Ġdividing":50802,"ottenham":50803,"ascular":50804,"Ġtrailers":50805,"ĠCLOSE":50806,"ами":50807,"âĢĻai":50808,"ĠGain":50809,"wor":50810,"Ġplanner":50811,"Ġdistributing":50812,"vat":50813,"months":50814,"xlabel":50815,"HF":50816,"Viol":50817,".BASELINE":50818,"еÑĤÑģÑı":50819,"ĠRotate":50820,"Ġtxn":50821,":bold":50822,"Ġbloss":50823,"Forgery":50824,"(embed":50825,"Ġjako":50826,"sprintf":50827,"their":50828,"Ġexhibits":50829,"-static":50830,"hecy":50831,"getActiveSheet":50832,".clients":50833,"ãģį":50834,"_hide":50835,"[word":50836,"Cb":50837,"addItem":50838,"axe":50839,"_radio":50840,"alion":50841,"modifier":50842,"Ġsaturation":50843,"Ġdenom":50844,"_pixels":50845,"mess":50846,"(fl":50847,"atif":50848,"Ġsecs":50849,"Ġprostitution":50850,"Ġgrandchildren":50851,"Ġparadise":50852,"ĠFeld":50853,"_BINARY":50854,"itous":50855,"à¹Ħ":50856,"Ġflashing":50857,"-sided":50858,"Ġcontradiction":50859,"/*ĊĊ":50860,"ylabel":50861,"ĠTet":50862,"Ġadmire":50863,"reso":50864,"Ġletz":50865,"ĠSEARCH":50866,"slots":50867,"ĠRewards":50868,"ĠHog":50869,"ĠNSData":50870,"stash":50871,"Fall":50872,"ĠAmer":50873,"LinearLayout":50874,"/photos":50875,"Ġfeather":50876,"Ġ|čĊ":50877,"Downloads":50878,".StartsWith":50879,"Ġ//#":50880,"ineTransform":50881,"Ġaffid":50882,"Vtbl":50883,"ĠRogue":50884,"scribed":50885,"Ġfauc":50886,"ĠMonroe":50887,"Ġdeclares":50888,"modern":50889,"reon":50890,"aybe":50891,"PASS":50892,"fers":50893,"_MULTI":50894,"ĠMathematics":50895,"Ġsudah":50896,"_ATTACH":50897,"ĠnumberWith":50898,"ĠSolomon":50899,"jin":50900,"ografia":50901,"öl":50902,"_design":50903,"culated":50904,"ĠLuna":50905,"iesz":50906,"Ġ=>'":50907,"Ġrevelations":50908,"Along":50909,"(ed":50910,"ĠFilename":50911,"Ġylabel":50912,"Secure":50913,"Ġbusca":50914,"agnosis":50915,"_RECE":50916,"Ġoverlapping":50917,"Extent":50918,"Ġanticipation":50919,"Checks":50920,"ĠALSO":50921,"orc":50922,"ilingual":50923,"itational":50924,"Ġadvancement":50925,"ouro":50926,"ĠPredicate":50927,"å¾Ĺ":50928,"eria":50929,"ĠPierce":50930,"orio":50931,"Ġmerits":50932,"Ġpeanut":50933,".Package":50934,"ĠConduct":50935,"_SENSOR":50936,"Ġboiling":50937,"Ġintra":50938,"ĠIGN":50939,"ĠFur":50940,".Refresh":50941,"ĠReach":50942,"_decoder":50943,".Exp":50944,"ĠÑĤак":50945,"pill":50946,",Q":50947,"ĠGrill":50948,"Ġpopping":50949,".Ag":50950,"Ġproyecto":50951,"Ġmileage":50952,"Ġecological":50953,"]]);Ċ":50954,"ĠÂŃ":50955,"subplot":50956,"acad":50957,"ĠTrying":50958,"recipes":50959,"$criteria":50960,"ĠPersian":50961,"-bound":50962,"MASK":50963,"ĠGesture":50964,"Ġkk":50965,"ĠPVC":50966,"Ġprohibition":50967,"Ġcomando":50968,"ĠLOOK":50969,"Shopping":50970,"Ġdistortion":50971,"čĊ":51017,".Dependency":51018,".QueryString":51019,".Owner":51020,"Ġexpiry":51021,"Thu":51022,"(Vec":51023,"Ġhazardous":51024,"Ġrpm":51025,"APON":51026,"ĠaddTarget":51027,"sville":51028,"pNet":51029,"ĠImg":51030,"ĠTIMER":51031,".Animation":51032,"Ġbek":51033,"Ġassort":51034,"Ġlebih":51035,"ĠbodyParser":51036,"Ġvibrating":51037,"IDL":51038,"Ġbutterknife":51039,"inters":51040,"Ġpersuade":51041,"ĠLGBTQ":51042,"èĭ":51043,".soft":51044,"Ġbeams":51045,"_sur":51046,".Def":51047,"Ġlabs":51048,"ĉplt":51049,"Ġskins":51050,"Ġtransferring":51051,"Ġimaginary":51052,"_End":51053,";background":51054,"Ġlaps":51055,"_COMMENT":51056,"(SDL":51057,"onds":51058,".Record":51059,"ĠImplements":51060,"_ticks":51061,"()))ĊĊ":51062,"Ġarose":51063,"]?":51064,"ĠMp":51065,"ĠICommand":51066,"Ġsculpture":51067,"Ġcontracted":51068,"\">'":51546,"kinson":51547,"Ġкол":51548,"ognitive":51549,"_li":51550,"Ġimminent":51551,"Ġaffinity":51552,".signal":51553,"Ġnotch":51554,"ĠSteelers":51555,"maxlength":51556,"KK":51557,"ĠEugene":51558,"_PWM":51559,"roi":51560,"ĠâĹı":51561,"ĠHamburg":51562,".Must":51563,"Ġaxe":51564,"enef":51565,"Ġambitions":51566,"ĠSpecies":51567,"ĠStress":51568,"Ġawhile":51569,"ĠбÑĥд":51570,"Ġwithstand":51571,"ĠDecoder":51572,"_inventory":51573,"Ġ{ččĊ":51574,"Ġtgt":51575,"Ġrailroad":51576,"WASHINGTON":51577,"Ġnegotiated":51578,"NST":51579,"-phone":51580,",U":51581,"Ġexercising":51582,"ụ":51583,"_PIXEL":51584,"avors":51585,"iterated":51586,"Ġvampire":51587,"adal":51588,"Ingrese":51589,"Ġung":51590,"jective":51591,".cells":51592,"Ġnano":51593,"Ġmarkdown":51594,"_RULE":51595,"(events":51596,"Ġluggage":51597,"MESSAGE":51598,"igkeit":51599,"$count":51600,"AttributeName":51601,"IGINAL":51602,"_Ent":51603,"ĠBF":51604,"ĠCOMMENT":51605,"_ini":51606,"ĠEuropeans":51607,"ĠBelle":51608,"åij½":51609,")['":51610,"åºĶ":51611,"ĠUseful":51612,".reference":51613,"()\",":51614,"_grade":51615,"ĠKaw":51616,"Ġsentencing":51617,"Ġsocialism":51618,"monster":51619,"_LAYER":51620,"Ġdeepest":51621,"wk":51622,"ĠNoise":51623,"###ĊĊ":51624,"Ġpréc":51625,"otle":51626,"ÑĤе":51627,"auf":51628,"ibal":51629,"Ġconquer":51630,">Email":51631,"Ġambulance":51632,"OAD":51633,"Ġ(\"%":51634,"ĠFI":51635,".fixture":51636,"Ġterse":51637,"ĠĠĠĠĉĉĉĉ":51638,"Ġsanctuary":51639,"ugi":51640,"ĠComparator":51641,"Definitions":51642,"Ġasthma":51643,"Ġlact":51644,"Ġhardwood":51645,".clock":51646,"Ġattracting":51647,"ĠMour":51648,"(distance":51649,"icits":51650,"Ġbonne":51651,"ĠACCESS":51652,".DeserializeObject":51653,"ĠTyped":51654,"Ġjeu":51655,"ĠappId":51656,"ĠClara":51657,"ĠHF":51658,"ĠReich":51659,"ipples":51660,"//--------------------------------------------------------------------------------":51661,"_delivery":51662,"erialization":51663,"Ġplaintiffs":51664,"Scient":51665,"shopping":51666,"ĠDummy":51667,"ĠWald":51668,"GroupName":51669,"Ġinscription":51670,"elog":51671,"::::::::":51672,"_ld":51673,"BackPressed":51674,".Raw":51675,"ĠOnTrigger":51676,"Ġmuseums":51677,"ĠBeen":51678,"ĠAdventures":51679,"Ġslate":51680,"Ġlett":51681,"Ġsund":51682,"ĠGin":51683,"ĠMechanical":51684,".ship":51685,"AppComponent":51686,"Ġdestined":51687,"Ġdwelling":51688,"Profiler":51689,"Prepare":51690,"zeich":51691,"Ġsilicon":51692,"(has":51693,"Ġ#%":51694,"VIDEO":51695,"Ġcollaborate":51696,"Lin":51697,"Ġscopes":51698,"(className":51699,"(sd":51700,"andin":51701,".ham":51702,"ServiceImpl":51703,"-described":51704,"Ġirony":51705,"stial":51706,"ĠHuawei":51707,"(repo":51708,"Ġunexpectedly":51709,"ĠKai":51710,".install":51711,"\\xf":51712,"Ġexhibited":51713,"_TCP":51714,"ĠOx":51715,"_CHO":51716,"Ġprostituerte":51717,"Ġvä":51718,"Ġsito":51719,"Ġconstituents":51720,"ĠContinued":51721,"ĠSAVE":51722,"rss":51723,"/message":51724,"ubes":51725,"Ġmisdemean":51726,"Ġtaxation":51727,"Ġstoryline":51728,"hair":51729,"ĠFinds":51730,"SIG":51731,"verification":51732,"~=":51733,".hp":51734,"Iterable":51735,"Ñĭе":51736,"atori":51737,"Ġctr":51738,"Rx":51739,"_);ĊĊ":51740,"dag":51741,".pin":51742,"Ġpseud":51743,"Ġinvo":51744,"ÑģÑĤÑĢ":51745,"_pix":51746,"为空":51747,"Ġsworn":51748,"âĢĶor":51749,"_registry":51750,"Ġdisasters":51751,"ĠROI":51752,"ĠâĢķ":51753,"aktu":51754,"forest":51755,"beiten":51756,"âĢĶI":51757,"ueva":51758,"egt":51759,"Ġspikes":51760,"URES":51761,"ĠRecommended":51762,"Ġexploited":51763,"ĠFrederick":51764,"_COMPLETE":51765,"ĠDrugs":51766,"!!!!!!!!":51767,"ĠRiv":51768,"STOP":51769,"ROOM":51770,"ĠPASSWORD":51771,"Cookies":51772,".El":51773,"á»Ń":51774,"ĠBert":51775,"Ġhashed":51776,"icester":51777,"Ġdecorator":51778,"ĠqueryString":51779,":;Ċ":51780,"Ġ\"[\"":51781,"otope":51782,"-Americ":51783,"ĠMatthews":51784,"URAL":51785,"âĢľ,":51786,"Summer":51787,"fos":51788,"_CONTAINER":51789,"_ACK":51790,"Ġfiltr":51791,"_disp":51792,"_Re":51793,"Ġfacile":51794,"аÑĪ":51795,"ĠìķĬ":51796,"Ġeben":51797,"Ġsprink":51798,"ĠQuint":51799,">V":51800,"Ġhistorians":51801,"ourmet":51802,"ĠMonitoring":51803,"ledger":51804,"cott":51805,"Ġware":51806,"GGLE":51807,"cars":51808,"ĠMEDIATEK":51809,"Ġvolupt":51810,"_View":51811,"HEL":51812,"(copy":51813,"(stats":51814,"Ġchromosome":51815,"ĠCurtis":51816,"-conf":51817,"(asset":51818,"Ġhvor":51819,"FileSystem":51820,"<>();čĊ":51821,"ocoder":51822,"ĠCannon":51823,")x":51824,"ĠSmooth":51825,"ĠSAS":51826,"_ce":51827,"ĉprev":51828,"_movie":51829,"Ec":51830,"_wall":51831,".ĊĊ":52378,"ogenesis":52379,"ĠOPTIONS":52380,"uptools":52381,"Ġmilitant":52382,"Ġexited":52383,"igar":52384,"ĠCOMM":52385,"ĠDisposable":52386,"aycast":52387,"Ġrowspan":52388,"Ġsynthes":52389,"Ġsondern":52390,"ĠĊ":55869,"ĠJacket":55870,"RATION":55871,".getSelectedItem":55872,"-init":55873,"ĠRegisters":55874,"_sep":55875,"ĠToolkit":55876,".dict":55877,"Ġxlabel":55878,"\\Table":55879,"toc":55880,"_combo":55881,"ĠCompact":55882,"Ġrugged":55883,"à¥ĩà¤":55884,"-management":55885,"')}}\">Ċ":55886,"ĠStamp":55887,"ıl":55888,"rox":55889,"Ġlandscapes":55890,"_NOTE":55891,"monary":55892,"cab":55893,"Ġmoet":55894,"xaf":55895,"rcode":55896,"-cli":55897,"_gate":55898,"[event":55899,"SPORT":55900,"gia":55901,"ĠSUPER":55902,"/Login":55903,"_shutdown":55904,"interrupt":55905,"Ġpretending":55906,"Ġfringe":55907,"ĠReds":55908,"ĠCUDA":55909,"ĠUNIX":55910,"vit":55911,"Ġbrig":55912,"drv":55913,"ĠConnector":55914,"Therefore":55915,"Ġlia":55916,"Detection":55917,"_actor":55918,"Ġtempfile":55919,"Ġeccentric":55920,"-role":55921,"Ġpadx":55922,"dent":55923,"Western":55924,"Ġê·¸":55925,"ĠApplicationRecord":55926,"Ġcampaigning":55927,"_runner":55928,"ĠCivic":55929,"aleigh":55930,"Ġdirekt":55931,".sul":55932,"ĠĠĉĉĉ":55933,"anten":55934,"Ġissuer":55935,"Ġassertions":55936,"(orig":55937,"ATIO":55938,"Ġleaned":55939,"äs":55940,".DTO":55941,"explode":55942,".Observable":55943,"Ġstaggering":55944,"Ġkidnapped":55945,"Ġprogrammers":55946,"ĠInnov":55947,".parameter":55948,"Ġdomination":55949,"Ġskeptic":55950,"Ġæĺ¯":55951,"Ġavoids":55952,".Verify":55953,"ubby":55954,"ĠASN":55955,"Ġformato":55956,"ĠBeatles":55957,"_brand":55958,"Ġinset":55959,"youtu":55960,"Ġtoc":55961,"-final":55962,"Showing":55963,"ĠDoub":55964,"ĠMesa":55965,"Adj":55966,"_medium":55967,"Creates":55968,"(endpoint":55969,"ĉUP":55970,"bbie":55971,"Ġstalk":55972,".databind":55973,".Scan":55974,"agents":55975,"$,":55976,"individual":55977,"+)/":55978,"ĉvm":55979,"(notification":55980,"Ġinex":55981,"ĠClassification":55982,"reno":55983,"Ġolig":55984,"-rated":55985,"Ġformulation":55986,"',{":55987,"Ġacept":55988,"_unpack":55989,"_CA":55990,".Pow":55991,"ĉim":55992,"Ġaluminium":55993,"ANO":55994,"Ġxn":55995,"Ġcómo":55996,"ĠIngredient":55997,"Ġseizures":55998,"åħ±":55999,"ificador":56000,"Ġsiguiente":56001,"ĠInfragistics":56002,"Ġduplicated":56003,"ĠDee":56004,"Ġnø":56005,"ĠACCEPT":56006,"(crate":56007,"иÑĤелÑĮ":56008,"-less":56009,"Ġinfinity":56010,"Analyzer":56011,"-Day":56012,"ritt":56013,"(cin":56014,"ĠGy":56015,"Ġmultiplied":56016,"uchi":56017,"ĠBaldwin":56018,"/ip":56019,"Ġshortcuts":56020,".ADD":56021,"Ġvigor":56022,"_instruction":56023,"(;":56024,"_eta":56025,"è¿ŀ":56026,"utorials":56027,"Ġboosting":56028,"bv":56029,"Ġacknowledges":56030,"Listening":56031,"FAQ":56032,";b":56033,"((-":56034,"Ġarchitects":56035,"Ġzwe":56036,"Ġpuls":56037,"ĠgetCount":56038,"verbs":56039,"ãĢľ":56040,"(Collection":56041,"kre":56042,"Ġjurisdictions":56043,"_bridge":56044,"ĠCrack":56045,"ĠDifficulty":56046,"KO":56047,"Reservation":56048,"_requires":56049,"Tour":56050,"ãģĹãģŁ":56051,".setCurrent":56052,"Ġky":56053,"ĠAlbany":56054,"Ġè§":56055,"ller":56056,"agna":56057,"workers":56058,".blank":56059,"ĠPrayer":56060,"MIC":56061,"Ġresilience":56062,"TeX":56063,"ĠLanguages":56064,"study":56065,"ĉcurr":56066,"Ġenzymes":56067,"Slug":56068,"ĠíĮĮ":56069,"stral":56070,"Ġtumors":56071,"Ġsegunda":56072,"='{":56073,"instruction":56074,"ĠLisp":56075,"/info":56076,"Ġ\"{$":56077,",:),":56078,"Ġgv":56079,"(ErrorMessage":56080,"Ġ'=":56081,"}-${":56082,".Documents":56083,"\"Well":56084,"Ġreminiscent":56085,"Ġgaz":56086,"iropr":56087,"ehr":56088,"Ġsuppressed":56089,"ersh":56090,".scrollTo":56091,"Ġcadena":56092,"ĠgameState":56093,"ÃŃm":56094,"(conv":56095,"ĠTomorrow":56096,"ĠCCT":56097,"Mongo":56098,"ulg":56099,".Camera":56100,".handlers":56101,"mph":56102,"Ġstk":56103,"Ġgenetics":56104,"ACING":56105,"Trivia":56106,"ĠBam":56107,"(marker":56108,".Stretch":56109,"ĠSunni":56110,"ĠBetty":56111,".tolist":56112,"unlikely":56113,".Rectangle":56114,"obsolete":56115,"ILON":56116,"innerText":56117,"embourg":56118,"aN":56119,"ĠVehicles":56120,"unlock":56121,":utf":56122,"nob":56123,"ĠSeeing":56124,"ĠNEVER":56125,"Ġtls":56126,"Ġfilles":56127,"Ġbenefited":56128,"ĠClint":56129,"*/),":56130,".fold":56131,"Ġposible":56132,"ADED":56133,"thouse":56134,".DAL":56135,"ĠOdd":56136,"rokes":56137,"ĠSunny":56138,"ĠPartialEq":56139,"_Buffer":56140,"ĠLevi":56141,"longrightarrow":56142,"eldon":56143,"gages":56144,"_warn":56145,".CreateTable":56146,"ĠDip":56147,"_questions":56148,".logic":56149,"Ġ#\"":56150,"={()=>":56151,"Ġtep":56152,"Ġjuicy":56153,"ìĤ¬":56154,"enko":56155,"ialect":56156,"Ùī":56157,"Ġonboard":56158,"Ġæı":56159,"ĉrt":56160,"_UTF":56161,"ĠQAction":56162,"âĢŀ":56163,"(Component":56164,"(audio":56165,".hit":56166,"gte":56167,"Ġprogrammed":56168,"stateParams":56169,"Ġpolyester":56170,"fires":56171,"byss":56172,"]=(":56173,"_quality":56174,"OfDay":56175,"ĠFairy":56176,"Ġyelled":56177,"opl":56178,"(userName":56179,"ĠDifference":56180,"Ġevaluations":56181,"iffany":56182,"Ġcyclists":56183,"Ġcidade":56184,"Ġtextbook":56185,"Ġprofiling":56186,"__),":56187,"dea":56188,".activate":56189,"Ġindications":56190,"Ðķ":56191,"TouchUpInside":56192,"Ġinvaluable":56193,"ĠMASK":56194,"Ġcontend":56195,"Freq":56196,"Ġrecruits":56197,"(interval":56198,"ĠUserProfile":56199,"Ġ'./../":56200,"edu":56201,"_Callback":56202,"Ġanalogy":56203,"ĠTrophy":56204,"apphire":56205,"Videos":56206,"ĠCher":56207,"ĠHav":56208,"âĢ¦\"":56209,".validator":56210,"gfx":56211,"ĠUObject":56212,"classnames":56213,"triangle":56214,"ĠEncoder":56215,".spy":56216,"Ġpredators":56217,"=status":56218,"-safe":56219,":\",Ċ":56220,"ĠIncluding":56221,"Ġ{};čĊ":56222,"*cos":56223,"Ġendured":56224,".sulake":56225,"Ġnursery":56226,"Ġfragrance":56227,"Ġrebuilding":56228,"Ġnth":56229,"ĠFraser":56230,".setDate":56231,"ĠVince":56232,"_REST":56233,"Ġventilation":56234,"æµ·":56235,"cribes":56236,".asm":56237,"lpVtbl":56238,"ĠAbe":56239,"uisine":56240,",array":56241,"ĉclassName":56242,"errals":56243,"Ġ'ĊĊ":56244,"Checkout":56245,"Ġsolicit":56246,"Aux":56247,"_capture":56248,"Ġribs":56249,"ragon":56250,"viol":56251,"topics":56252,"FunctionFlags":56253,"ĠMarty":56254,"bike":56255,"ĠTucker":56256,"(kernel":56257,"ĠOps":56258,"CloseOperation":56259,"/demo":56260,"ilda":56261,"ĠlÃŃnea":56262,"APPING":56263,"Ġsuites":56264,".visitVarInsn":56265,"urus":56266,"ĠMinute":56267,"(manager":56268,"Ġbutterfly":56269,"Ġapare":56270,"Ġwolves":56271,"JWT":56272,"ĠSalon":56273,"ĉdelay":56274,"-eslint":56275,"isations":56276,".rpc":56277,")|(":56278,"ĠSnapchat":56279,"/mm":56280,"MN":56281,"ceries":56282,".textAlignment":56283,"ĠFrankfurt":56284,"Ġado":56285,"(newValue":56286,"(access":56287,"(Expression":56288,"ĠSignIn":56289,"ĠHaiti":56290,"_tp":56291,".setParameter":56292,"Minute":56293,"Ġmanuals":56294,"ricanes":56295,"ĠPTR":56296,"ĠOuter":56297,"Ġgetline":56298,"ocations":56299,"_CD":56300,"ĠLyon":56301,"/gui":56302,"_live":56303,"idan":56304,".geom":56305,"ĠborderBottom":56306,"imuth":56307,"_checkpoint":56308,"Ġmeu":56309,"ĠIrving":56310,"Ġpeuvent":56311,"(MAX":56312,"ĠARCH":56313,"Ġpov":56314,".sourceforge":56315,"Ġjamais":56316,"Ġark":56317,"ĠBaghdad":56318,"ĠCLEAR":56319,"MenuBar":56320,"Ġtrois":56321,"CHEDULE":56322,"Ġ#čĊ":56323,"(Call":56324,"$order":56325,"(Material":56326,"Ġencontrado":56327,"$list":56328,"ĠMETHODS":56329,".beginTransaction":56330,"_MAG":56331,"StyleSheet":56332,"Ġmajors":56333,"Ġindefinitely":56334,"cleanup":56335,"Ġhomeland":56336,"(dto":56337,"Dates":56338,"Presentation":56339,"ĠDK":56340,"={`/":56341,"ĉKey":56342,"(Block":56343,"_checkbox":56344,"needs":56345,"ĠonComplete":56346,"rico":56347,"Ġgleich":56348,"Ġxm":56349,"OOD":56350,"Better":56351,"ĠSQLITE":56352,".Book":56353,"xad":56354,"ĠGone":56355,"ĉdp":56356,"Ġdevotion":56357,"Ġstm":56358,"Ġobsess":56359,"ĠBackend":56360,"Queries":56361,"Ik":56362,"//****************************************************************":56363,"Ġdividends":56364,".parentElement":56365,"}\")ĊĊ":56366,"ĠMaterialPageRoute":56367,":num":56368,"Ġexplic":56369,"ĠOL":56370,"least":56371,"Oops":56372,"imentos":56373,"Ġinsurers":56374,"Ġheroic":56375,"ĉfields":56376,".imgur":56377,".btnCancel":56378,"ĠDetective":56379,"(sm":56380,"ĠMutableLiveData":56381,".lab":56382,"(([":56383,"Ġhairst":56384,"ĠTransactions":56385,"å¼Ģå§ĭ":56386,"ĠstdClass":56387,"uento":56388,"GIS":56389,"_cod":56390,"Instructions":56391,"Calls":56392,"PointerType":56393,"ĠRw":56394,"Ġassortment":56395,"ĠDIG":56396,"+r":56397,"_CERT":56398,"Ġinstability":56399,"Ġvib":56400,"onas":56401,"Ġroku":56402,"apellido":56403,"Ġangl":56404,"preneur":56405,"Ġfluids":56406,"isease":56407,"Ġdeed":56408,"quist":56409,"_CONSTANT":56410,"Ġequilibrium":56411,"_delegate":56412,"ĠQuantum":56413,"rei":56414,"Capabilities":56415,"rectangle":56416,"?><":56417,"alien":56418,"ĠJug":56419,"DNA":56420,"Tickets":56421,"Occurs":56422,"ĠHawk":56423,".setHorizontalGroup":56424,"\\Collection":56425,"ffiti":56426,"Ġrearr":56427,".setVerticalGroup":56428,"Ġcavity":56429,"Ġadulte":56430,"Facade":56431,"-wh":56432,"ĠLOL":56433,"Ø°":56434,"Ġgrandparents":56435,"Swift":56436,"ĉwx":56437,"æīĢæľī":56438,"ifen":56439,"ffset":56440,"Beyond":56441,"//}ĊĊ":56442,"Ġwager":56443,"Ġbury":56444,"Ġcommence":56445,"registro":56446,"scient":56447,"ĠPercent":56448,"Ġдолж":56449,"(identifier":56450,".setModel":56451,"Ġseldom":56452,"nton":56453,"Ġappliance":56454,"amus":56455,"rysler":56456,"Ġpanties":56457,"enguins":56458,"Ġmimic":56459,"ĠonChanged":56460,"Ġalcoholic":56461,".reloadData":56462,"Charge":56463,"ĠFax":56464,"ĠjScrollPane":56465,"Empresa":56466,"Ġshattered":56467,"xba":56468,"Fonts":56469,"?s":56470,"Ġpostseason":56471,"retain":56472,"_rates":56473,"ĠrequestCode":56474,".todo":56475,"´s":56476,"CHK":56477,"ĠKeeping":56478,"engeance":56479,"Ġvscode":56480,"IPPING":56481,"DefaultCloseOperation":56482,"_raise":56483,"ĠOculus":56484,"ograms":56485,"raj":56486,"pci":56487,"Ġcorrosion":56488,".handleSubmit":56489,"Accessible":56490,"ĠPiano":56491,"little":56492,"ACL":56493,"Äĩe":56494,".unwrap":56495,"ĠConvers":56496,"ĠLeben":56497,"ioneer":56498,"ĠMerchant":56499,"ĠJorge":56500,"Ġembracing":56501,"Ġventa":56502,"ást":56503,"Ġviene":56504,"Ċ":56656,"-growing":56657,"Ġdeepcopy":56658,"Ack":56659,"eggies":56660,"Ġ__(\"":56661,"Ġnoir":56662,"terrorism":56663,"Ġanthem":56664,"agency":56665,"_PACKAGE":56666,"ĠClosure":56667,".registry":56668,"Ġmammals":56669,"L":56700,"Ġbluetooth":56701,".Deep":56702,"-standing":56703,"ácil":56704,"Ġrooft":56705,"ĠPaths":56706,"_iterations":56707,"InvalidArgumentException":56708,".spi":56709,"ĠUIAlertAction":56710,"uye":56711,"signin":56712,".priority":56713,"ĠEssays":56714,"='{$":56715,"Ġè¿ĶåĽŀ":56716,"_signed":56717,".persist":56718,"Ġredesign":56719,"ToLower":56720,"ĠNewman":56721,"=start":56722,"ĠIsraelis":56723,"asiswa":56724,"Speech":56725,"Ġnumeros":56726,"handlers":56727,"ĠWong":56728,"ĠмеÑĤод":56729,"Weights":56730,"ĠGujar":56731,"teil":56732,"ĠNonetheless":56733,"_EFFECT":56734,"Ġvect":56735,"ĠOsc":56736,"Ġcoats":56737,"ĠWheat":56738,"Ġgeek":56739,"ĠPROPERTY":56740,"worm":56741,"_constants":56742,"ĠBoulder":56743,"ĠParm":56744,"cole":56745,"ĠdefaultCenter":56746,"ĠRouge":56747,":A":56748,"xcf":56749,"ĠVenice":56750,"median":56751,"Ġredemption":56752,"Fresh":56753,"Ġcosm":56754,"Ġfigur":56755,"Ġrefurb":56756,"COPE":56757,".cd":56758,"Ġchords":56759,"ĠSgt":56760,"Åį":56761,"VPN":56762,"ĠSEND":56763,"ainen":56764,"_accounts":56765,"Ġtenth":56766,"Ġdissolved":56767,"":57007,"Ġlegitimacy":57008,"Ġoo":57009,"Slinky":57010,"Ġnationals":57011,".words":57012,";p":57013,"trap":57014,"omanip":57015,"Ġcues":57016,"Ġgraduating":57017,"Ġsemaphore":57018,"\"]);ĊĊ":57019,"acey":57020,"REET":57021,"Grab":57022,"ĠFelix":57023,"(Id":57024,"_neighbors":57025,"Ġmeaningless":57026,"(del":57027,"Ġjeder":57028,"ĠContentValues":57029,".absolute":57030,"/cl":57031,"Ġxb":57032,"datum":57033,"Ġtortured":57034,"Ġrubbing":57035,"Scores":57036,"ĠðŁĺī":57037,"Ġavons":57038,"Ġamsterdam":57039,"EOS":57040,"Hal":57041,"Ġtrustworthy":57042,"#=":57043,".EXTRA":57044,"Ġmano":57045,"isicing":57046,"-support":57047,"ĉcursor":57048,"ĠSpo":57049,"aimassage":57050,"Mission":57051,"[]{\"":57052,"Ġprinters":57053,"GREEN":57054,"Ġteg":57055,"Ġabdominal":57056,"!ĊĊĊĊĊĊ":57057,".Short":57058,"азв":57059,"ĠGifts":57060,"}\")":57061,"(binding":57062,"xce":57063,"âĢij":57064,"infos":57065,"FormData":57066,"Ġdart":57067,"Ġelems":57068,"(inv":57069,"YL":57070,"tin":57071,"GENER":57072,"ữ":57073,"ĠTaken":57074,"uckle":57075,":e":57076,"Ġspectral":57077,".baidu":57078,"/');Ċ":57079,"Ġgreedy":57080,"esion":57081,",,,,,,,,":57082,"Ġ/>,Ċ":57083,"InternalServerError":57084,"NSNotificationCenter":57085,"ĠAi":57086,"Ġspit":57087,"Ġaugmented":57088,"ĠstandardUserDefaults":57089,"FINITY":57090,"Race":57091,":C":57092,"ĠRECORD":57093,"ĠHighlight":57094,"Ġ'`":57095,"Ġdeficits":57096,"Ġnei":57097,"Ġresearched":57098,"Ta":57099,"Ġcopp":57100,".GetHashCode":57101,"):čĊčĊ":57102,"OnClick":57103,"ĠWellington":57104,"Ġrevival":57105,"æ¯Ķ":57106,"éĹ®":57107,"ĠNSS":57108,"Ġforn":57109,"Ġinté":57110,"ĠKuwait":57111,"_flip":57112,"_bo":57113,"_\\":57114,"Ġoccurrences":57115,"ĠScientists":57116,"SRC":57117,"ogens":57118,"igrant":57119,"REMOTE":57120,"ĠSID":57121,".opts":57122,"uve":57123,"()])Ċ":57124,"Ġlibertarian":57125,"ĠGlide":57126,"lesen":57127,"Ġforme":57128,"owania":57129,"Ġannoyed":57130,"Defs":57131,"ĠExecutor":57132,"Ġcasts":57133,".setChecked":57134,"ĠSharing":57135,".SerializeObject":57136,"Ġselectors":57137,"_OTHER":57138,"미":57139,"(super":57140,"(OS":57141,"_VERIFY":57142,"idunt":57143,"';Ċ":57145,"Ġvidéo":57146,"ĠNegro":57147,"ĠLords":57148,"ĠTours":57149,"Ġsoftly":57150,".receive":57151,"ĠERC":57152,"ĠdataSet":57153,"Badge":57154,"ĉEvent":57155,"Ġperl":57156,"Ġ{}\\":57157,"(sentence":57158,"OrUpdate":57159,"Ġdiminish":57160,"PIN":57161,"(draw":57162,".ToDateTime":57163,".EqualTo":57164,"(pin":57165,"-pencil":57166,"luent":57167,"ĠCaller":57168,"Ġplayful":57169,"-'+":57170,"xca":57171,"swick":57172,"){}Ċ":57173,"}:${":57174,"ĠMeth":57175,".getCell":57176,".break":57177,"Ġymax":57178,"='Ċ":57391,"ĠHiro":57392,"(TRUE":57393,"asurer":57394,"Ġcuer":57395,"Uber":57396,".Operation":57397,"Ġolan":57398,"Ġthrilling":57399,"'.":57421,"ĉvalid":57422,"\"\",":57423,"Instrument":57424,">J":57425,"Ġnostr":57426,"ĠRift":57427,"_Port":57428,"Ġveces":57429,"[['":57430,"Ġrallies":57431,"-series":57432,"Ġvv":57433,".uc":57434,"Ġrtn":57435,"StateChanged":57436,"(ins":57437,"ĠCla":57438,"------------Ċ":57439,"cus":57440,"ĠReload":57441,"//------------------------------------------------------------------------------------------------":57442,".seconds":57443,"_destination":57444,"Ġscrewed":57445,">c":57446,"Thickness":57447,"Designer":57448,"Ġgrids":57449,"nÄħ":57450,"(cookie":57451,"Trip":57452,"-Mobile":57453,"Ġvoll":57454,"Ġgenital":57455,"Ġconfisc":57456,"ĠConfederate":57457,"ĠwebView":57458,"Ġmise":57459,"Ġcler":57460,"(selection":57461,"$date":57462,"Ġsharpen":57463,"ragen":57464,"AndUpdate":57465,"Ġremix":57466,"Ġhtons":57467,"RW":57468,"MPI":57469,"Ġretrieval":57470,"Ġrichest":57471,".Decode":57472,":initComponents":57473,"ĠTValue":57474,"Saint":57475,"@include":57476,"ĠPERSON":57477,".sep":57478,"ĠLDAP":57479,"gba":57480,"ĠgroÃŁe":57481,"Ġreliably":57482,"ĠDFS":57483,".getItemId":57484,"Ġprésent":57485,".getToken":57486,"Ġchinese":57487,"ĠMeal":57488,"YOU":57489,"\">>ĊĊ":58048,"bower":58049,"Ġswapped":58050,"/install":58051,"Ġsinks":58052,"etrize":58053,"Ġdeclines":58054,"ĉmysql":58055,"ĠCString":58056,"ĠMotionEvent":58057,".Language":58058,"Road":58059,"ÑĤеÑĢ":58060,"ascimento":58061,"'))->":58062,".about":58063,"(editor":58064,"ĠRatings":58065,"income":58066,"Å¡e":58067,".dequeueReusableCell":58068,"ĠAustrian":58069,"Ġsulla":58070,"ĠTribunal":58071,"ĠDidn":58072,"оваÑĢ":58073,"Ġinspections":58074,"Boss":58075,"Ġcocktails":58076,"Ġapologized":58077,"_subplot":58078,"opal":58079,"+=(":58080,"Ġresonance":58081,"ibu":58082,"Ġ리":58083,"roma":58084,"reserve":58085,"pls":58086,"ĠTah":58087,"axies":58088,"OPLE":58089,"ĠDarren":58090,"ĠZombie":58091,"_Map":58092,"Ġ])ĊĊ":58093,"ĠQi":58094,"ĠSail":58095,"Ġrestrictive":58096,"Ġerosion":58097,"-par":58098,"WHITE":58099,"Ġoldu":58100,"Ġaperture":58101,"Ġbitcoins":58102,"texto":58103,"ĠComcast":58104,"Ġtimeless":58105,"enkins":58106,"Ġfeeder":58107,"/tmp":58108,"resden":58109,"+'_":58110,".Destroy":58111,"Ġçok":58112,"ĠDOCUMENT":58113,".lng":58114,".tagName":58115,"Ġkullan":58116,"egrate":58117,"Ġ(*.":58118,"ç¼ĸè¾ij":58119,"Ġhandshake":58120,"soc":58121,"_geometry":58122,"ĠDamascus":58123,"Minor":58124,"ĠKafka":58125,"ìŬ":58126,"Florida":58127,"_compute":58128,".expr":58129,"Ġparalle":58130,"ĠDiaz":58131,"cir":58132,"[target":58133,"Ġjoking":58134,"Ġglor":58135,"(setq":58136,"_handlers":58137,"Hang":58138,"Ġferr":58139,"riminal":58140,"ĉĠĠĠĠĉĉ":58141,"enties":58142,"defines":58143,"-tax":58144,"jsonp":58145,"ĠUPS":58146,"metro":58147,"__;Ċ":58148,"ĠUganda":58149,"])):Ċ":58150,"_td":58151,"xae":58152,"lw":58153,".OS":58154,"ĠLogged":58155,"acid":58156,"ĠMayo":58157,"aspect":58158,"Ġvaginal":58159,"Ġinitializing":58160,"Ġsteroids":58161,"fiction":58162,"GRE":58163,"gend":58164,"Ġliabilities":58165,"ĠLets":58166,"Mech":58167,"(nc":58168,"(change":58169,"Ġconnectors":58170,":k":58171,"Ġtast":58172,"!\");ĊĊ":58173,"things":58174,"rophy":58175,"luetooth":58176,"ĠSignUp":58177,".ctrl":58178,"Ġtherein":58179,"orda":58180,".escape":58181,"igator":58182,"Ġpetrol":58183,"Ġspecimen":58184,"Ġdebuted":58185,"-Pro":58186,"Ġcrises":58187,".addView":58188,"ëıĻ":58189,"-door":58190,"Ġmonet":58191,"Ġmillis":58192,"Ġvier":58193,"InternalEnumerator":58194,"Ġadmins":58195,"ĠLair":58196,"zin":58197,"getQuery":58198,"umbles":58199,"LIMIT":58200,"ĠVig":58201,"_song":58202,"":58515,"Ġpasado":58516,"thank":58517,"_Delete":58518,"ĠBrighton":58519,",unsigned":58520,"ä½ľèĢħ":58521,"Ġaspirations":58522,"-how":58523,"Rose":58524,"=((":58525,"_needed":58526,"_plural":58527,">ĊĊ":58645,"Ġsurfaced":58646,"ĠìłĢìŀ¥":58647,"platz":58648,"ĉemail":58649,"ceptors":58650,"\">(":58651,"Ġepile":58652,"读":58653,"ĠDebt":58654,"åijĬ":58655,"NOP":58656,"\"https":58657,":j":58658,"FormItem":58659,"_LICENSE":58660,".getDouble":58661,"ĠAgenda":58662,"ĉfinally":58663,"(filters":58664,"(av":58665,"ç¾İ":58666,"APER":58667,"Ġlava":58668,"еÑĢж":58669,"))))ĊĊ":58670,"Ġfaulty":58671,"_nm":58672,"Ġtrava":58673,"(Bitmap":58674,"Ġspeeding":58675,">').":58676,"Ġscreened":58677,"_roll":58678,"ĠMacBook":58679,"ĠAUD":58680,"Ġdiagnose":58681,".Generate":58682,"Ġ^^":58683,"Ġstrs":58684,"[Test":58685,"Ġransom":58686,"ĠDHCP":58687,"elden":58688,"Ġinterpretations":58689,"()].":58690,"flatMap":58691,"ĠlineHeight":58692,"_mount":58693,"ĠWizards":58694,"Ġsluts":58695,"ehler":58696,"odal":58697,"Ġmilitia":58698,"å²":58699,"earned":58700,"Ġmisery":58701,"intval":58702,"fund":58703,"Ġhides":58704,"Ġdiarr":58705,"ĠWesley":58706,"Ġxmm":58707,"Ġquem":58708,"ĠArabs":58709,"ifth":58710,"ategorized":58711,"Disposable":58712,"Pure":58713,"_NOTIFY":58714,"snippet":58715,"ĠGarrett":58716,".running":58717,".weights":58718,"Ġ(--":58719,"Ġinvariant":58720,"äºĭ件":58721,"ĠAllowed":58722,"dirs":58723,"Ġpassions":58724,"Ġlad":58725,"ĠFlush":58726,"menus":58727,":block":58728,"Ġcompra":58729,".chomp":58730,"allocator":58731,"Ġcurated":58732,"ĠKnowing":58733,"ĠPatterson":58734,"Ġtelah":58735,"'ex":58736,"Ġdoomed":58737,"Ġphilanth":58738,"otty":58739,".styles":58740,"Owned":58741,"Ġallergies":58742,"=params":58743,"ocese":58744,"itelist":58745,"ĠSending":58746,"bef":58747,"orrar":58748,"ĠNão":58749,"ĠFargo":58750,"ĠLub":58751,"ĠCombined":58752,"_given":58753,"ĉĉĉĉĉĠĠĠĠ":58754,"Ġreconciliation":58755,"Patterns":58756,"azard":58757,"Ġbiomass":58758,"ĠHouses":58759,"respuesta":58760,"cco":58761,"/topics":58762,"ĠYuk":58763,"Ġweakened":58764,"_calendar":58765,"Ġmulheres":58766,"ĠMarl":58767,"Ġsine":58768,"ĠTil":58769,"ĠSouls":58770,"ĠDeutsche":58771,"ĠFOLLOW":58772,"Ġpipelines":58773,"ĠBeverly":58774,"_DIPSETTING":58775,"\"#":58776,"ĠProto":58777,".big":58778,"ĠSavings":58779,"ĠTanz":58780,"jun":58781,"ĠGamma":58782,"ĠSadd":58783,"Ġadvisors":58784,"Ġroast":58785,"Ġunters":58786,"udies":58787,"_lon":58788,"-pointer":58789,"ĠElementRef":58790,"\\Builder":58791,"exampleInput":58792,".webdriver":58793,"dataType":58794,"ĠQuite":58795,"ĠCeltics":58796,"uil":58797,"-defense":58798,"bish":58799,"ĠUIWindow":58800,"ĠSuddenly":58801,".hot":58802,".reason":58803,"Ġgör":58804,"AMD":58805,".Multi":58806,"authenticated":58807,"regions":58808,";(":58809,"аÑĢам":58810,"ĠKirby":58811,"$route":58812,"PRECATED":58813,"ĠDurham":58814,"owo":58815,"ĠPerforms":58816,"Ġdisregard":58817,"nst":58818,"ĠPols":58819,"ĠgetP":58820,"\"]:":58821,"-colored":58822,"(Keys":58823,"ĠAlleg":58824,"_modify":58825,"_loading":58826,"strained":58827,"Ġatroc":58828,"_phr":58829,"":59821,"ceph":59822,".DateTimePicker":59823,".\";ĊĊ":59824,"ĠTie":59825,",item":59826,"Ġmenn":59827,"Gas":59828,"ocha":59829,"_virtual":59830,"Ġmasterpiece":59831,"_sequences":59832,"LTE":59833,"ĠSubmission":59834,"Caller":59835,"$\\":59836,"Sport":59837,"agus":59838,"ConstraintMaker":59839,"Ġcoloc":59840,"Ġwig":59841,"ĠУ":59842,"ĉArray":59843,"Looks":59844,"ĠGTA":59845,".steps":59846,"atchewan":59847,"_ranges":59848,"extAlignment":59849,"ĠBrennan":59850,"Ġabstraction":59851,"ulerAngles":59852,".misc":59853,"Ġantibodies":59854,"Ġexponential":59855,"ĠCHANNEL":59856,"expense":59857,"'y":59858,"Ġdetectives":59859,"Ġpurported":59860,"YSTEM":59861,"Ġradioactive":59862,"ĠLatina":59863,".Encoding":59864,".TAG":59865,"xin":59866,"Degree":59867,"uracion":59868,"prices":59869,"ĠReferentialAction":59870,"Ġrarity":59871,"Ġpiles":59872,"gende":59873,"_projects":59874,"_globals":59875,".startTime":59876,"Ġ구":59877,"SECTION":59878,"_publish":59879,"Fault":59880,"DDL":59881,"_prior":59882,"Mom":59883,"Ġthicker":59884,"Ġsequelize":59885,"Ġessentials":59886,"stras":59887,"intr":59888,">(()":59889,".management":59890,"eil":59891,"éĹŃ":59892,"Aware":59893,".City":59894,"ĠArbit":59895,"_DM":59896,"_keyboard":59897,"LObject":59898,"-webpack":59899,"ĠNewport":59900,"ĠprincipalColumn":59901,"legant":59902,"Ġpallet":59903,"Ġfracture":59904,"Ġgmail":59905,".Meta":59906,"Above":59907,".KeyEvent":59908,"jit":59909,"_macro":59910,"_PUSH":59911,"ứ":59912,"/controller":59913,"åĬłè½½":59914,"Ġsuperficial":59915,"exterity":59916,"Ġmensagem":59917,"Wind":59918,"iston":59919,".openapi":59920,"иÑĢов":59921,"ĠSerializer":59922,"uctive":59923,"Ġzar":59924,"Places":59925,".Static":59926,"Ba":59927,"Ġinadvert":59928,"ĠIndonesian":59929,"_IPV":59930,"(horizontal":59931,"ĠgetTitle":59932,"idepress":59933,"ĠConsoleColor":59934,"ipers":59935,"$out":59936,"Ġfestive":59937,"Ġevenings":59938,".GetData":59939,"uitka":59940,"ĠManuals":59941,"ussed":59942,"_Max":59943,".Chat":59944,"ĠAircraft":59945,"=com":59946,"FOUND":59947,"apro":59948,"Ġtreasures":59949,"_alive":59950,"Ġgadget":59951,"eking":59952,"ButtonDown":59953,"Browsable":59954,".PERMISSION":59955,"PASSWORD":59956,"ĠHASH":59957,"fé":59958,"\\TestCase":59959,"LOSS":59960,"others":59961,",J":59962,"Ġasshole":59963,"werk":59964,"Ġmã":59965,".ie":59966,"evil":59967,"kontakte":59968,"////////////////////////////////////////////////////////////////////////////////Ċ":59969,"=sys":59970,"ĉlock":59971,"--;ĊĊ":59972,"_FUN":59973,"FillColor":59974,"óa":59975,"prend":59976,"Ġcompressor":59977,"Mother":59978,"ĠArcher":59979,".goto":59980,"Ġwürde":59981,"Ġbamboo":59982,"ï¼İ":59983,"ĠTrees":59984,"Ġbumper":59985,"Ġsausage":59986,"ĠElasticsearch":59987,"Ġhorizontally":59988,"ĠGul":59989,"Immutable":59990,"Ġloser":59991,"Ġaborted":59992,"-demo":59993,"ĠHatch":59994,"Ġunde":59995,"Ġprocesso":59996,"-call":59997,"Income":59998,"åĥ":59999,"_returns":60000,"'].\"'":60001,"(sw":60002,"CBS":60003,"amilies":60004,"ĠYourself":60005,"ĠHolt":60006,".MON":60007,"à§ĩ":60008,"ÑĪе":60009,"anon":60010,"ĠFontAwesome":60011,"producer":60012,"jr":60013,"Ġmau":60014,"ĉinter":60015,"Ġdishonest":60016,"Ġmagna":60017,"ĠCollective":60018,"Ġvraiment":60019,"Ġchoix":60020,"stay":60021,"Ġwelding":60022,"rising":60023,",min":60024,"ĠFate":60025,"glob":60026,"RGBA":60027,"Ġdette":60028,"Ven":60029,"Ġembarrassment":60030,".DELETE":60031,"gregar":60032,"-render":60033,"(bucket":60034,"\">ĊĊĊ":60035,".waitKey":60036,"Busy":60037,"Ġdifferentiation":60038,"ĠCST":60039,".Constant":60040,"ĠlineNumber":60041,"(matches":60042,"Ġwebsocket":60043,"Ġbarred":60044,"Ġpuedes":60045,"Mono":60046,"CORE":60047,"IID":60048,"ĠĠĠĠčĊčĊ":60049,"Ġpúblico":60050,"leaning":60051,"Ġcleansing":60052,"Ġcris":60053,"ĠDevils":60054,"_SETTING":60055,"untary":60056,".);Ċ":60057,"ĊĠĠĠĊ":60058,"[curr":60059,"tsy":60060,"ĠAlexis":60061,"ritel":60062,"Ġpetroleum":60063,".preprocessing":60064,"matter":60065,"ForResult":60066,"-license":60067,"Ġtravellers":60068,"ĠDispatcher":60069,"ennifer":60070,"Ġdigestive":60071,"PED":60072,"hibition":60073,"MASConstraintMaker":60074,"ĠWatt":60075,"Benef":60076,".setView":60077,"dto":60078,"TEE":60079,"ĠPelosi":60080,"_EXTRA":60081,"Ġmedals":60082,"xhr":60083,"forecast":60084,"Ġnargin":60085,"ouns":60086,"-fill":60087,"_CURSOR":60088,"Ġsupervised":60089,"Ġturf":60090,"ĠEdgar":60091,"POSITION":60092,"ĠcategoryId":60093,"âī":60094,"_ER":60095,"ủa":60096,"Shown":60097,".ll":60098,"_POLICY":60099,"(),'":60100,"ĠPrev":60101,"ĠStringField":60102,"ĉGlobal":60103,"assed":60104,"Throughout":60105,"ostringstream":60106,".awtextra":60107,"Ġslopes":60108,"ĠSequential":60109,"Ġgiorn":60110,"Ġzelf":60111,"Ġversatility":60112,"leneck":60113,".cgi":60114,"Ġdoubling":60115,"ĠBangkok":60116,"Ġbuurt":60117,"Ġusuário":60118,"studio":60119,"Ġjeunes":60120,"Ġmuted":60121,"Ġips":60122,"_fraction":60123,"&&(":60124,"Ġstunt":60125,"');?>čĊ":60149,"Ġevapor":60150,"bable":60151,"ĠPRICE":60152,"Ġæ³":60153,"lucent":60154,"Ġvamp":60155,"ĠTechnician":60156,"Ġuniqueness":60157,"Mes":60158,"urban":60159,".parametrize":60160,"ĠReplay":60161,"Sessions":60162,"embr":60163,"-Americans":60164,"_PROXY":60165,"Ġpian":60166,"Ġtrie":60167,"ĠDestructor":60168,"GameState":60169,"ĠIMF":60170,"chin":60171,"Ġporte":60172,"ĠSwal":60173,"åŁİ":60174,"Substring":60175,"iming":60176,"/Library":60177,"Ġfrightened":60178,"writes":60179,"Ġrecursos":60180,"arResult":60181,"_INITIALIZ":60182,"ĠBadge":60183,"_crc":60184,"Eight":60185,"ĠDISTINCT":60186,"Ġthro":60187,"@Xml":60188,"ĠLegendary":60189,"-twitter":60190,"_easy":60191,"Ġ+++":60192,"(DATA":60193,".Locale":60194,"Ġkä":60195,"Ġnurt":60196,"Ġcruis":60197,"_ios":60198,"Ġsensing":60199,"_Line":60200,"ĊĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":60201,"pong":60202,"oleon":60203,"Ġwildcard":60204,"çĶ¨æĪ·åIJį":60205,"Ġbegging":60206,"Rod":60207,"ĠÃİ":60208,"_CELL":60209,"Researchers":60210,".selector":60211,"_ing":60212,"Ġaspiring":60213,"Ġimmortal":60214,"Ġymin":60215,"_robot":60216,"Ġplur":60217,"BTC":60218,"ĠDID":60219,"Ġpiercing":60220,"*u":60221,"_DEFINED":60222,"ĠThi":60223,"itaire":60224,"(media":60225,"-ons":60226,"Ġchefs":60227,"Ġ\"*.":60228,"/AP":60229,"Ġrazor":60230,"ĠsearchData":60231,"Ġ=&":60232,"ĠãĢĤ":60233,"Ġmourn":60234,"tingham":60235,"Ġoli":60236,"ĠVernon":60237,"_RS":60238,"ŀæĢ§":60239,"Ġfácil":60240,"angen":60241,"celain":60242,"Ġail":60243,"lest":60244,"ĠQCOMPARE":60245,"gain":60246,"Ġε":60247,"ĠKob":60248,"ĠFault":60249,"_configs":60250,"ç»ĵæŀľ":60251,".+":60252,"calar":60253,"(colors":60254,"Mul":60255,"_ART":60256,"Ġexperimenting":60257,"ermen":60258,"ĠAnglo":60259,".FixedSingle":60260,"Sea":60261,"Ġctxt":60262,".slider":60263,"Collapse":60264,"Grey":60265,"Ġfld":60266,"-proof":60267,".capacity":60268,"getParent":60269,"ĠCompliance":60270,"Ġburgl":60271,"-rec":60272,"Ġoverwritten":60273,"MU":60274,"Ġrouters":60275,"ĉModel":60276,"Ġfantasies":60277,"avian":60278,"_prec":60279,"ĠScandin":60280,"Ġ//<":60281,"/oct":60282,"Ġceremonies":60283,"Months":60284,"undy":60285,"Ġqued":60286,"ĠNou":60287,"ĠVibr":60288,".rgb":60289,"Ġcitrus":60290,"Ġbraces":60291,"-uppercase":60292,"getTable":60293,"Ġdopo":60294,"ĠKerr":60295,"_CHILD":60296,"-cloud":60297,"ĉMatrix":60298,"Ġgardening":60299,"Sing":60300,"almost":60301,"Requirements":60302,"uguay":60303,"(Property":60304,"subscriber":60305,"FAST":60306,"reaction":60307,"(lp":60308,")})Ċ":60309,"`).":60310,".wallet":60311,"_exchange":60312,".Maximum":60313,"ĠVerb":60314,"âĶģ":60315,"()<":60316,"ï¼ĽĊ":60317,"ROT":60318,"CARD":60319,"ubit":60320,"{@":60321,"_kel":60322,"ĠTooltip":60323,"MySQL":60324,"MainActivity":60325,"arf":60326,"Ġmalign":60327,"Ġseinen":60328,"apist":60329,"Ġ<%":60330,"MethodImpl":60331,"Mil":60332,"ĠMick":60333,".depend":60334,">&":60367,"ĉok":60368,"-low":60369,".usuario":60370,"nested":60371,"XB":60372,"OURS":60373,".BorderColor":60374,"Ġbrow":60375,"ĠÐķ":60376,"corr":60377,"ĠRedskins":60378,".getTag":60379,".getTransaction":60380,"Ġstigma":60381,"hardt":60382,"ĠPlayerPrefs":60383,"alsy":60384,"ucson":60385,"Languages":60386,"ĠOlivia":60387,"Ġtac":60388,"Ġbli":60389,"Ġcaval":60390,"Ġconsolidated":60391,"Ġperil":60392,"Ġdele":60393,"Ġformulated":60394,"Ġhighways":60395,".spawn":60396,"==$":60397,"ĠNiet":60398,"Ġveggies":60399,"ypo":60400,"-rule":60401,"ĠVie":60402,"/epl":60403,"Ġenfants":60404,"stringLiteral":60405,"Ġtoughest":60406,"buyer":60407,"Ġcovariance":60408,"Ġili":60409,"ĠSophie":60410,"ĠBAB":60411,"Ġ\"),":60412,"ĠUk":60413,"currentIndex":60414,"_userdata":60415,".codec":60416,"ĠPunjab":60417,"ĠSNP":60418,"lol":60419,"advance":60420,"Ġcomfy":60421,"JsonIgnore":60422,"Ġfashionable":60423,"ĠICON":60424,"Ġora":60425,"ĠPricing":60426,"E":60484,"tering":60485,"/screens":60486,"Ġheightened":60487,"аÑĢÑĤ":60488,"Authorities":60489,"_bbox":60490,"ünst":60491,".fontSize":60492,"ĠBOOLEAN":60493,"divide":60494,"ĠSloven":60495,"ucer":60496,"ÙĴ":60497,"stub":60498,"Ġnavigating":60499,":animated":60500,"_NOW":60501,"_vect":60502,"}{Ċ":60503,"@(":60504,"Ġtelecom":60505,"Ġcontracting":60506,"ĠAssange":60507,"Ġextracting":60508,"Ġgrö":60509,"cobra":60510,".DIS":60511,"Ġcrab":60512,"Ġtwitch":60513,"Ġverts":60514,"Ġrejects":60515,"ĉformat":60516,"Ġregeneration":60517,".Sys":60518,"solve":60519,"ĉdialog":60520,"shi":60521,"meter":60522,"(best":60523,"validators":60524,"Ġonwards":60525,"Ġguru":60526,"Ġmoderator":60527,"owied":60528,"experiment":60529,"rub":60530,"Ġmqtt":60531,"ĠCaucas":60532,"Ġnationalism":60533,"Ġmange":60534,"ĉImGui":60535,"/Edit":60536,"Ġinh":60537,"Ġintellig":60538,"erokee":60539,"ĉexport":60540,"Ġdiscriminate":60541,"subtract":60542,"ĠMoodle":60543,"enser":60544,"ĠGuides":60545,"RAP":60546,"-hot":60547,"_grp":60548,".picture":60549,"XA":60550,"ĠinitView":60551,"_Comm":60552,"Ġoverdose":60553,"Ġ+ĊĊ":60554,"ĠSilent":60555,"shows":60556,"Ġinterpolate":60557,"Formation":60558,"Ġbisc":60559,"markets":60560,"(SC":60561,"Ze":60562,"ĠNetworking":60563,"Ġadrenal":60564,"ĠGuns":60565,"eteor":60566,"Declared":60567,"orgetown":60568,"Ġkarena":60569,"/password":60570,"_addresses":60571,"ITERAL":60572,"Buzz":60573,"ĠConway":60574,"(case":60575,"PWD":60576,"heiro":60577,"(act":60578,"**čĊ":60579,"());ĊĊĊ":60580,"Ġanv":60581,"Ġ..ĊĊ":60582,"(MenuItem":60583,"(mail":60584,"_sections":60585,"ĉnet":60586,"Ġplut":60587,"Ġwrench":60588,"/object":60589,"ĠIst":60590,"ĠVIS":60591,"/pub":60592,"alten":60593,"Ġguitars":60594,"Ġantibiotic":60595,"ï¼ĸ":60596,"¹":60597,"Ġ\"+\"":60598,"formula":60599,"Ġbabes":60600,"ĠPrompt":60601,"Ġenim":60602,"/player":60603,"ĉref":60604,"ĠbyÄĩ":60605,"Ġconsumes":60606,"ĠHast":60607,"ĠTao":60608,"Ġ'))Ċ":60609,"Ġclam":60610,"Ġthighs":60611,"Ġmotif":60612,"ApiOperation":60613,"ĠWL":60614,"getC":60615,"ĉflags":60616,"ointments":60617,"Ġeconomical":60618,"needle":60619,"xls":60620,"practice":60621,"utzer":60622,"timeofday":60623,"-output":60624,"ĠfindById":60625,"ĠBuddy":60626,"ÐŀÑĤ":60627,"Seven":60628,"ĠBark":60629,"Ġenvoy":60630,"_algorithm":60631,"åĪ©":60632,"Ġballistic":60633,"移":60634,"rades":60635,"ĉdoc":60636,"roducing":60637,"ĠEating":60638,"Unmount":60639,"/dataTables":60640,"_bonus":60641,"Ġlitt":60642,"pps":60643,")localObject":60644,"perf":60645,"ĠHelvetica":60646,"shutdown":60647,"/ml":60648,".tokens":60649,"ĠHardcore":60650,",row":60651,"/bg":60652,"Scaler":60653,"âĢĶas":60654,"_logits":60655,"âĢĻint":60656,"ĉApp":60657,"Implicit":60658,".Fprintf":60659,"ETO":60660,"Ġterra":60661,"Ġpossessing":60662,".rstrip":60663,",),":60664,"=yes":60665,"ĠStripe":60666,"?=":60667,"neutral":60668,".good":60669,"Ġkennen":60670,"ĠSung":60671,"fault":60672,"ystatechange":60673,"Canadian":60674,"','\".$":60675,"ĠMits":60676,"ænd":60677,"ĠSTRUCT":60678,"ĠURLWithString":60679,"ĠCompass":60680,"Ġ--ĊĊ":60681,"ĠNSLayoutConstraint":60682,"|min":60683,"-adjust":60684,"Ġrebuilt":60685,"LIGHT":60686,"/se":60687,"-mount":60688,"vpn":60689,"validated":60690,"(QObject":60691,"Ġignition":60692,"ĠChargers":60693,"RYPTO":60694,"]initWithFrame":60695,"ĠFluid":60696,"Ġcadre":60697,"Ġnominations":60698,"Neill":60699,"ĠHou":60700,"Ġcurrents":60701,"_gene":60702,"(inp":60703,"Paris":60704,"zÄĻ":60705,"aggregate":60706,"Ġassoc":60707,"weeted":60708,"errat":60709,"âĢĵĊĊ":60710,"Ġ'/',Ċ":60711,"fixture":60712,"ĠHighest":60713,"ambient":60714,"Ġchmod":60715,"Ġconte":60716,"Ġsensual":60717,"Ġgarment":60718,"zers":60719,"ĠPowered":60720,"domains":60721,"Reward":60722,"iomanip":60723,"Ġcockpit":60724,"outfile":60725,"Ġbuiltin":60726,"Ġinsisting":60727,".vars":60728,"zipcode":60729,"Ġ����":60730,"fails":60731,"Ġconsolidation":60732,"_oid":60733,"Planet":60734,"Ġ=\",":60735,"ĉel":60736,"UILT":60737,"ätz":60738,"afari":60739,"ĠMcCl":60740,"Timeline":60741,"Esta":60742,"Ġfram":60743,"YE":60744,"Ġcerebral":60745,"OfMonth":60746,"ĠPregn":60747,"ĠклаÑģÑģ":60748,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":60749,"ĠFres":60750,"Approved":60751,".Special":60752,"ĠProtestant":60753,"Ġallergy":60754,"_pcm":60755,"ĉCopyright":60756,"ĠsuperClass":60757,"\"strconv":60758,"ĠMohamed":60759,"Ġ'//":60760,"ForeColor":60761,"Arthur":60762,"ĠJungle":60763,"Ġveins":60764,"Sad":60765,"Ġbackups":60766,"ĠOpinion":60767,"ût":60768,"Ġintermitt":60769,"odyn":60770,"ĠChristina":60771,"Ġandre":60772,"Ġevacuation":60773,"palette":60774,"horse":60775,"ĠResident":60776,"ĠHassan":60777,".Nil":60778,"Ġaisle":60779,"ĠGrowing":60780,"Ġbloginfo":60781,"/sql":60782,"_ioctl":60783,"Scaling":60784,"ĠMonad":60785,"_cpp":60786,"ĠHutch":60787,"ĠAppleWebKit":60788,"Expense":60789,"_JOB":60790,"Ġpointless":60791,"FromBody":60792,"antal":60793,"Ġdepicting":60794,"ĠCELL":60795,"Ġrefin":60796,"ĠCNC":60797,"ì¹ĺ":60798,"_dimensions":60799,"ĠSAN":60800,"Ġaft":60801,"Ġfootsteps":60802,"ccoli":60803,"_PHONE":60804,"/math":60805,"-kind":60806,"ĠMeans":60807,"ichael":60808,".guna":60809,"Ġinauguration":60810,"-driving":60811,"(delete":60812,"ĠtotalCount":60813,"_MC":60814,".Extension":60815,"Commercial":60816,"ĠzIndex":60817,"$":60949,"Ġebay":60950,"Ġcaptive":60951,"pliant":60952,"ĠCalculates":60953,"olta":60954,"esting":60955,"_revision":60956,"Ġmús":60957,"+m":60958,"\",\"\",\"":60959,"WHAT":60960,"Ġcompassionate":60961,"harga":60962,"[random":60963,"Ġmodulo":60964,"(sn":60965,"Ġoccupations":60966,"////Ċ":60967,"ĉboard":60968,"ĠBalk":60969,"wiÄħ":60970,"ĠWifi":60971,".Profile":60972,":maj":60973,"ĉmat":60974,"LOCKS":60975,"(jButton":60976,"Ġ('$":60977,"Mur":60978,"æĮī":60979,"bble":60980,"Ġfrog":60981,"-hide":60982,"Ġbroadcaster":60983,"à¸ŀ":60984,"haled":60985,"Ġamusing":60986,"_predictions":60987,"_intr":60988,"Ġeagle":60989,"аÑĤелÑĮ":60990,"ĠgetList":60991,"psilon":60992,"Ġcharacterization":60993,"ARDS":60994,"Ġrelocation":60995,"Ġrulers":60996,"PAY":60997,"ĠDefinitely":60998,"_Action":60999,"Ġclosures":61000,"Ġfactual":61001,"odynamic":61002,"Ġprecautions":61003,"niej":61004,"ĠParties":61005,"ĠSubaru":61006,"Ġcousins":61007,"arbeit":61008,".money":61009,"gunta":61010,"(and":61011,"getitem":61012,".StylePriority":61013,"Ġslid":61014,"singleton":61015,"Ġgarn":61016,"ĠPAS":61017,"Ġdazz":61018,"aż":61019,"Ġbogus":61020,"ĠMog":61021,"Ġrivalry":61022,"isol":61023,"Ġlandmarks":61024,"ñas":61025,"Bern":61026,"ĠSachs":61027,"Ġ\")ĊĊ":61028,"Ġhostility":61029,"_mex":61030,"mere":61031,"Mot":61032,"pictureBox":61033,"Defense":61034,"Ġaffidavit":61035,"otherwise":61036,".directory":61037,"_UnityEngine":61038,"-blog":61039,".skin":61040,"phem":61041,"Apellido":61042,"erchant":61043,"[class":61044,"Ġwart":61045,".\"[":61046,"aleur":61047,"/back":61048,"ĠĠĠĠĉĠĠĠ":61049,"Ġprecipitation":61050,"Ġobstruction":61051,"ĠpObj":61052,"Ġrupt":61053,"UCKET":61054,"aye":61055,"æİĴ":61056,"gx":61057,"Ġecl":61058,"Ġsecrecy":61059,"/Header":61060,"ĠLesb":61061,"Ġlei":61062,"ĠBulletin":61063,"Ġgiveaway":61064,".Home":61065,"_ROOM":61066,"\"W":61067,"Ġcowork":61068,"_ra":61069,"ĠCycling":61070,"ĠPaw":61071,"Ġpupil":61072,"/arch":61073,"ĠFileUtils":61074,"é¦ĸ":61075,"rsp":61076,"Ġfreedoms":61077,"ĠLear":61078,"}`).":61079,"Ġbowls":61080,"/block":61081,"_logging":61082,"Ġmethane":61083,"Ġhorns":61084,"Ġwonderfully":61085,"Ġalterations":61086,"Ġexile":61087,"lsen":61088,"_pause":61089,"_LANGUAGE":61090,"ĠUSDA":61091,"_mysql":61092,"_AMOUNT":61093,"ĠLIFE":61094,"Ġyoungsters":61095,"Ġriots":61096,"[E":61097,"Ġunforgettable":61098,",},Ċ":61099,"Disposed":61100,"ĠAssassin":61101,"UNG":61102,"ĠNewsp":61103,"UserService":61104,":aload":61105,"+',":61106,"Ġsettlers":61107,"Ġscreams":61108,"Ġinconvenience":61109,".Rotate":61110,"Ġjars":61111,"ĠPuzzle":61112,"Ġmest":61113,"arsi":61114,"ĠSharma":61115,"|(":61116,".ds":61117,"ĠSacred":61118,"_evt":61119,"Ġexpresses":61120,"Ġhoch":61121,"ĠDuch":61122,".calls":61123,"thr":61124,"ĠSheffield":61125,".AlertDialog":61126,"Ġradically":61127,"Ġtrous":61128,"Ġprevailing":61129,"ĠWWII":61130,"âĢĻn":61131,"ensely":61132,"ĠYesterday":61133,"ĠSirius":61134,"Ġkillers":61135,"ĠFFT":61136,"Ġoval":61137,"'):čĊ":61138,"Ġìłķë³´":61139,"ourage":61140,"ĠCheckbox":61141,"Workbook":61142,".defer":61143,"_floor":61144,"Ġcouncill":61145,"Ġnorske":61146,"moil":61147,"orea":61148,"Ġmarketed":61149,"_SUR":61150,"xAA":61151,"Ġstained":61152,"eut":61153,"ĠMeng":61154,"Ġieee":61155,".extern":61156,"egie":61157,"Ġrapp":61158,"ĠPyongyang":61159,"'class":61160,"Mob":61161,"ĠinitialValue":61162,"_wave":61163,"Ġjab":61164,"Ġmasculine":61165,"Ġamplifier":61166,"Ġtty":61167,"PathComponent":61168,"_xt":61169,"ĠGFP":61170,"/sec":61171,"ĉdispatch":61172,"markdown":61173,"ĠSchn":61174,"bole":61175,"··":61176,"mousemove":61177,"ĠerrMsg":61178,"Ġasign":61179,"_mono":61180,"ToSelector":61181,"ĠZu":61182,"(Rect":61183,"ĠErrorCode":61184,"latin":61185,"angible":61186,"vtk":61187,"CGSize":61188,"Pokemon":61189,"Ġclassmates":61190,"Ġattracts":61191,"ĠTatto":61192,"ultan":61193,"ológ":61194,"Ġhalted":61195,"न":61196,"ĠKart":61197,"Ġue":61198,"_InitStructure":61199,"TestClass":61200,"ĠAirbnb":61201,"_\",":61202,"Ġcharcoal":61203,"Ġipc":61204,"ĠStretch":61205,".glide":61206,"latesAutoresizingMaskIntoConstraints":61207,"Ġpotion":61208,"ITTLE":61209,"Ġcountert":61210,"_hd":61211,"prepared":61212,"Ads":61213,"ĠVampire":61214,"robots":61215,".CreateIndex":61216,"StatusLabel":61217,"Ġtucked":61218,"afür":61219,"Ut":61220,"Ġsweater":61221,"_FN":61222,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĉ":61223,"ataka":61224,"Ġeyebrows":61225,"acoes":61226,"uden":61227,".LinearLayoutManager":61228,"Ġsway":61229,"Ġmultin":61230,"())))Ċ":61231,"ĠNSUInteger":61232,"ĠMyBase":61233,"Partner":61234,"utschen":61235,"ĠCater":61236,".setBackgroundColor":61237,"Ġaccomplishment":61238,"_problem":61239,".dtd":61240,"ĠpageNumber":61241,"Ġjackets":61242,"Ġcropped":61243,"uels":61244,"ĠHep":61245,"Ġcapped":61246,"*Math":61247,"_callbacks":61248,"Ġpubb":61249,"ĠBrunswick":61250,".respond":61251,"[\"_":61252,"Ġbedding":61253,"hythm":61254,"OX":61255,"(speed":61256,"Ġpesticides":61257,"Ġ-------":61258,".Blue":61259,"Ġnoodles":61260,"ĠGoes":61261,"Ġsaver":61262,"oxy":61263,"_completion":61264,"ĠSwinger":61265,"ĠgetDate":61266,"Ġminded":61267,"integration":61268,"ĠLotus":61269,"(stop":61270,"(',');Ċ":61271,"Ġfloods":61272,"ĠWorkflow":61273,"Ġerupted":61274,"Macro":61275,"ĠSauce":61276,"ĠeventName":61277,"\\Input":61278,"Breaking":61279,"ĉwhen":61280,"_pw":61281,"INDER":61282,"ĠWellness":61283,"Ġvoxel":61284,"ĠMell":61285,"ĠMEDIA":61286,"SENS":61287,"ĠFunds":61288,"ĠMild":61289,"Ċ":61298,"Ġtempting":61299,"Ġtestament":61300,"Ġbible":61301,"Ġconsulted":61302,"ĠIndexError":61303,"è¨ĺ":61304,"Ġkeypad":61305,"izzo":61306,"(ok":61307,"Ġwhatsapp":61308,"ĠRemoteException":61309,"Ġteamed":61310,"âĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶâĢĶ":61311,"»,":61312,"ĠgetTime":61313,"diag":61314,"issy":61315,"Ġhed":61316,"Ġknots":61317,"jom":61318,"Ġfunnel":61319,"-mails":61320,"Ġexporting":61321,"ĠVL":61322,"ĠKarn":61323,"ĠBuddhism":61324,"ĠAllan":61325,"_RADIUS":61326,"Ġwording":61327,"ĠForget":61328,"ĠCorona":61329,"iphy":61330,"Ġlimburg":61331,"uggy":61332,"ĠUserRepository":61333,"imin":61334,"(ele":61335,"Ġlabelled":61336,"社":61337,"ĠHerman":61338,".qq":61339,"Ġ\"));Ċ":61340,"ieber":61341,".Translate":61342,"ryn":61343,"Ġdesenv":61344,"umd":61345,"Simply":61346,"ĉmode":61347,"Rpc":61348,"ĠValencia":61349,"Ġstaffers":61350,"Ġselv":61351,"ĠSpike":61352,"Ġdelic":61353,"Ġeru":61354,"_DT":61355,"Judge":61356,"á»ķ":61357,"ĠBasin":61358,".mutable":61359,"\"url":61360,"Ġtariff":61361,"ĠSleeve":61362,"Ġflare":61363,".dropout":61364,"Ġbrides":61365,")),čĊ":61366,"_constraints":61367,"destruct":61368,"Outline":61369,"Ġdisappears":61370,"_locked":61371,"ĠNSLocalizedString":61372,"cke":61373,"ĉnull":61374,"adresse":61375,"Ġtopping":61376,"ĠJoker":61377,"bishop":61378,"ноÑģÑĤÑĮ":61379,"andering":61380,"_amp":61381,"=time":61382,"_Space":61383,"_PULL":61384,"'=":61385,"Ġantiqu":61386,"Ġcach":61387,"___ĊĊ":61388,"ONES":61389,"оÑı":61390,"Ġunread":61391,".policy":61392,"oooooooo":61393,"룬":61394,"Ġusted":61395,"ĠRece":61396,"Ġallem":61397,"ãĥ¼ãĤ¹":61398,"ĠThoughts":61399,"veillance":61400,"istrate":61401,"_lane":61402,"Ġfamed":61403,".GetName":61404,"Ġsmoother":61405,"ĠQualified":61406,"azers":61407,"_geo":61408,"Fax":61409,"ĠMinds":61410,"ĠRaises":61411,"Ġtranscripts":61412,"Conversation":61413,"Ġremarked":61414,"ëĤĺ":61415,"dling":61416,"Ġdeploying":61417,"ĠsharedApplication":61418,"Ġkp":61419,"FontAwesomeIcon":61420,"_dummy":61421,"reiben":61422,"ĠJaneiro":61423,"Directions":61424,".getBean":61425,"sass":61426,"Ġcommanders":61427,"vation":61428,"errorCode":61429,"ĠAlloy":61430,".localized":61431,"Ðij":61432,"Ġdishwasher":61433,"ĠSoup":61434,"Nu":61435,"_Default":61436,"Ġuneven":61437,"Ġ/>\";Ċ":61438,"-Based":61439,"Ġseamlessly":61440,"-null":61441,"ĠXC":61442,"Ġstew":61443,"(delay":61444,"ATORS":61445,"ĠWheeler":61446,"\"H":61600,"east":61601,".air":61602,"âĢľBut":61603,"ObjectContext":61604,"successfully":61605,"_land":61606,"Ġfolds":61607,"_COORD":61608,"Ġsubpo":61609,".getAddress":61610,"instr":61611,"Materials":61612,"ÑĥÑģÑĤ":61613,"deposit":61614,"-last":61615,"_GRAY":61616,"=find":61617,"Ġmutant":61618,"Ġlesbienne":61619,"letcher":61620,"ROUGH":61621,"ureka":61622,".capture":61623,"Ġenn":61624,"Ġ([[":61625,"ĠFlu":61626,"ĠtaskId":61627,"ĠHussein":61628,".folder":61629,"Ġausterity":61630,"ISTRATION":61631,"_Impl":61632,"注æĦı":61633,"Ġdecree":61634,"-chat":61635,"Ġimplication":61636,"Ġguesses":61637,"ulkan":61638,"Analytics":61639,".plus":61640,"COMMAND":61641,"ели":61642,"»ĊĊ":61643,"_SITE":61644,"ĠequalTo":61645,"SupportFragmentManager":61646,"ĠRecording":61647,"å®ĮæĪIJ":61648,"Ġbaggage":61649,"Ġpitchers":61650,"ĠEh":61651,"oque":61652,"ĉcnt":61653,"Ġ=>$":61654,"/foo":61655,"IRA":61656,"ĠSatellite":61657,"borah":61658,"Ġ}}\"Ċ":61659,"ĠEnds":61660,"ĠSpray":61661,",param":61662,".Chrome":61663,"*q":61664,"thought":61665,"ibrated":61666,"Ġthieves":61667,"Ġbeneficiaries":61668,"Entered":61669,"ottesville":61670,"Ġveterin":61671,"ByID":61672,"quipe":61673,"umption":61674,"-unit":61675,"ExecutionContext":61676,"@s":61677,"ĠGiov":61678,".ToolTip":61679,"_friend":61680,"(attributes":61681,"Ġdumping":61682,"ĠJC":61683,"_DOCUMENT":61684,"ĠArmour":61685,"(insert":61686,".HorizontalAlignment":61687,"ĠQed":61688,"ãģĦãģ¾ãģĻ":61689,"/git":61690,"ĠYYYY":61691,"ĠCardiff":61692,"Ġapa":61693,"organic":61694,"ĠWhereas":61695,"ĠæĿ":61696,"ĠMia":61697,"Ġdemolition":61698,"Ġscars":61699,"Ġpai":61700,"Ġretries":61701,"Ġrq":61702,"ĠDenis":61703,"(Utils":61704,"Ġalleviate":61705,"ĠPIC":61706,"idue":61707,"Ġacknowledging":61708,"Ġ//////////////////////////////////":61709,"ç¡®å®ļ":61710,"Ä«":61711,"\\Json":61712,".binary":61713,"Ġxtype":61714,"signals":61715,"ĠAppearance":61716,"&r":61717,"}s":61718,"Ci":61719,"ĠIllum":61720,"porate":61721,"hog":61722,"ĠindexOf":61723,"\\Command":61724,"_parallel":61725,"ĠSherlock":61726,"íĥ":61727,"Ġ\"\")čĊ":61728,"////////////////////////////////////////////////////////////////////////////////////////////////":61729,"Ġcriticize":61730,"ĠSoap":61731,"ĠMatcher":61732,"Ġgrilled":61733,"*T":61734,"Ġadore":61735,"ulling":61736,"Ġjedoch":61737,"_refs":61738,"leanup":61739,"ĠJAXB":61740,"Ġroses":61741,"ĠLiam":61742,"sizei":61743,"Ġgetchar":61744,"Ġtarde":61745,"-tooltip":61746,"Ġqualifier":61747,"ĠIntermediate":61748,"_Window":61749,"ĠMalta":61750,"Disconnect":61751,"ewhere":61752,"Campo":61753,"Ġirrational":61754,"ledo":61755,"ĠDN":61756,"ARGV":61757,"Ġoutro":61758,"Ġthirteen":61759,"Joseph":61760,"MAR":61761,"/gl":61762,"Jess":61763,"ĠPsychiat":61764,"ĠpaddingBottom":61765,"-loop":61766,"/fonts":61767,"_seen":61768,"Teams":61769,"ReactDOM":61770,"(man":61771,"(xpath":61772,".getSimpleName":61773,">(*":61774,"ĠPvt":61775,"Ġelders":61776,"Ġpies":61777,".userAgent":61778,"-region":61779,"ĠGreeks":61780,"(fragment":61781,"stu":61782,"Ġcouncils":61783,"Ġstamina":61784,"ĠGoddess":61785,"西":61786,"Ġphilosophers":61787,"Ġpersone":61788,"ĠLose":61789,"ĠCLR":61790,"ĠDocs":61791,"Ġsoak":61792,"ĠHOLDER":61793,"Ġbells":61794,"hashCode":61795,"RATE":61796,"_WEIGHT":61797,"inous":61798,"endra":61799,"ophobic":61800,"Ġprose":61801,"Ġfinely":61802,"/oauth":61803,"(space":61804,"adge":61805,"ĠMama":61806,"ĠstringBuffer":61807,"Ġstint":61808,"Ġmisma":61809,"Ġvillains":61810,"ĠCrimea":61811,"Ġdiploma":61812,"ĠпоÑģл":61813,"ĠBea":61814,"(join":61815,"Ġíķ´":61816,"CHAT":61817,"pering":61818,"ĠCros":61819,"Ġmonkeys":61820,"Ġpreds":61821,"yla":61822,",,,":61823,"Ġvibrator":61824,"ĠNU":61825,"åħĪ":61826,"fant":61827,"zet":61828,"Ġbietet":61829,"unft":61830,"sworth":61831,".Flow":61832,"Ġpsyched":61833,"ĠContinental":61834,">t":61835,"Ġquilt":61836,".UP":61837,"Ġexpansive":61838,"Dispose":61839,"(language":61840,"Caps":61841,"_ZONE":61842,"Ġrecycle":61843,"ĠManaged":61844,"currentColor":61845,".broadcast":61846,"signIn":61847,".prom":61848,"llu":61849,"ueblo":61850,"Ġpunches":61851,"Ġautomat":61852,"Ġassigning":61853,"ĠcreateUser":61854,"ĠAllied":61855,"Ġconductor":61856,"Ĥ¨":61857,"Ġsaddle":61858,"Ġdni":61859,"omedical":61860,"-West":61861,"PositiveButton":61862,"Ġitalic":61863,"?[":61864,"(trigger":61865,"Ġelephants":61866,"\":\"\",\"":61867,"Ġcaliber":61868,"rafted":61869,"digits":61870,"Ġmarshal":61871,"milliseconds":61872,"markers":61873,"mom":61874,"/place":61875,"Ġholistic":61876,":t":61877,"#,":61878,"Ġboto":61879,"Ġnausea":61880,"ĠShooting":61881,"itech":61882,"ĠtextStatus":61883,"())Ċ":62104,"ADDRESS":62105,"BST":62106,"etzt":62107,"ĠQgs":62108,"Sense":62109,"ExceptionHandler":62110,"ĠChu":62111,".getOwnProperty":62112,"Ġexercised":62113,"iotic":62114,"ĠReleases":62115,"Ġpinterest":62116,"olie":62117,"isoft":62118,"Ġsequencing":62119,"Ġpadre":62120,"]));čĊ":62121,"(radius":62122,".med":62123,"ainties":62124,".ObjectModel":62125,"Ġemple":62126,"Ġseguro":62127,"Stars":62128,"Ġqualitative":62129,"lemn":62130,"á»±":62131,">\").":62132,"Ġgx":62133,"-cert":62134,"ĠASTM":62135,"Ġfullname":62136,"Ġtelemetry":62137,"ĠCambodia":62138,"_ul":62139,"ĠClare":62140,"CUSTOM":62141,"QC":62142,"ĠUns":62143,"ĠHTTPS":62144,"ĠParkinson":62145,"ancybox":62146,"','.":62147,"Tue":62148,".getLast":62149,"Ġabi":62150,"Äħd":62151,"Ast":62152,"ĠEditing":62153,".Unity":62154,"jmp":62155,"Ġmats":62156,"ĠsharedPreferences":62157,"Captain":62158,".pageSize":62159,"Ġrtl":62160,"Ġanmeld":62161,"RuntimeObject":62162,"Ġdemande":62163,"(\";":62164,"seite":62165,"-headed":62166,"ĠKra":62167,"ĠFONT":62168,"`\\":62169,"ClassNotFoundException":62170,".avg":62171,"atical":62172,"Aj":62173,"Ġpermitting":62174,"Proj":62175,"ERRQ":62176,"Ġcreampie":62177,"ĠBuyer":62178,"-modules":62179,"ĠSundays":62180,"|`Ċ":62181,"Ġdaytime":62182,"Ġ+(":62183,"Ġglitch":62184,"ĠOperand":62185,"Ġtoxins":62186,"inya":62187,"DNS":62188,"ĠSas":62189,"Cake":62190,"ĠNationals":62191,".addTo":62192,"Ġsinking":62193,"Ġcomprehension":62194,"Ġscor":62195,"agements":62196,"Ġtard":62197,"Ġmarching":62198,"ĠMTV":62199,"Ġsane":62200,"CreateInfo":62201,"ắ":62202,"ĠendIndex":62203,"ĉlayout":62204,"ĠåIJį":62205,"SITE":62206,"ĠTHERE":62207,"Ġ[{'":62208,"opathic":62209,"Ġtransmitter":62210,"/body":62211,"Ġpund":62212,"ĠClosing":62213,"Ġsetattr":62214,"Ġbounded":62215,"Atlas":62216,"suming":62217,"(times":62218,"parer":62219,"ynom":62220,"feit":62221,"Ġfrem":62222,"-leg":62223,"ĠBras":62224,">#":62225,"Ġì¶ľëł¥":62226,"ĠINSTANCE":62227,"ĠCouch":62228,"_hosts":62229,"likelihood":62230,".Marker":62231,"ĠMasks":62232,"Ġcereal":62233,"utilities":62234,"Ġelemental":62235,"Ġdistorted":62236,"inactive":62237,"cry":62238,"WL":62239,"UPPORTED":62240,".Throws":62241,"/schema":62242,"serie":62243,".\"',":62244,"ĠBenedict":62245,"-picker":62246,"iggs":62247,"ĠPirate":62248,"åij¨æľŁ":62249,"ĠThema":62250,"ĠSouthampton":62251,"ĠarrayWith":62252,"ĠPaula":62253,"Ġpredictor":62254,"-Ass":62255,".userid":62256,"Ġperi":62257,"Ġexaggerated":62258,"urate":62259,"arseille":62260,"ĠConcent":62261,"ĠPik":62262,"Ġ@_;ĊĊ":62263,"Ġformations":62264,"Ġdenomin":62265,"\"/>.Ċ":62266,"endedor":62267,"Ġpancre":62268,"Ġamt":62269,"ĠonResume":62270,"onDelete":62271,"ĠBCH":62272,")(\"":62273,"movement":62274,"Ġpotassium":62275,"":70826,"ĠPPC":70827,"isz":70828,"akeFromNib":70829,"ĠDisp":70830,"ĠAthletics":70831,"Ġnightclub":70832,"GOOD":70833,".setGeometry":70834,"+[":70835,"/send":70836,"Ġbinaries":70837,"Ġráp":70838,":req":70839,"-consuming":70840,"ertime":70841,"UPDATED":70842,"_nullable":70843,"VIN":70844,"ulia":70845,"cyan":70846,"Ġmisunderstanding":70847,"orical":70848,"degrees":70849,"Leading":70850,".AR":70851,"ickest":70852,"Nuevo":70853,"uforia":70854,"Ġgoodies":70855,"Ġfores":70856,"()<<\"":70857,"ademic":70858,"ActionCreators":70859,"servername":70860,"(nt":70861,"dbContext":70862,"Ġairborne":70863,"Ġexhibitions":70864,"cele":70865,"Ġtela":70866,"":70882,".setPreferredSize":70883,"ĠMID":70884,"ĠAless":70885,"Ġhorsepower":70886,"Ġatm":70887,"ĠPackaging":70888,"Ġciphertext":70889,"RequestMethod":70890,"Ġbeiden":70891,"è£":70892,"ĠPOW":70893,".WriteHeader":70894,"director":70895,"-but":70896,"ãģłãģķãģĦ":70897,"incer":70898,"_dn":70899,"!!!!!":70900,"Ġmanufactures":70901,".TextUtils":70902,"Ġconsciously":70903,"Ġbounced":70904,"culture":70905,"ĠSpar":70906,"ĠPiper":70907,".press":70908,"-owner":70909,"Ġevaluator":70910,"ĠSTREAM":70911,".PictureBoxSizeMode":70912,"Ġsugars":70913,"ScreenWidth":70914,"ĠnextState":70915,"Ġivory":70916,"Ġbrunch":70917,"density":70918,"_OW":70919,"ĠCoronavirus":70920,"ĠCFR":70921,"bak":70922,"\\Category":70923,"æķ°ç»Ħ":70924,"Ġinvokevirtual":70925,"}()Ċ":70926,"Ġsujet":70927,"-marker":70928,"isdigit":70929,"ĠMobil":70930,"ĠJsonRequestBehavior":70931,"_REMOTE":70932,".existsSync":70933,"Ġriches":70934,".presenter":70935,"ĠglColor":70936,"Ġhanya":70937,"Ġfortress":70938,"Ġflashed":70939,"viz":70940,"requently":70941,"buat":70942,"$con":70943,">|":70944,".Func":70945,"Ġhumorous":70946,"uem":70947,".ZERO":70948,"ĠSTL":70949,"ĠBuk":70950,"/sample":70951,"ĠGros":70952,"Recipes":70953,"Ġinflated":70954,"Ġswung":70955,":F":70956,"Facing":70957,".Theme":70958,"ник":70959,"Ġsplendid":70960,"ĠrequestId":70961,".CenterScreen":70962,"/autoload":70963,"embedded":70964,"_depart":70965,"ĠPorts":70966,"à¹ĥ":70967,"айд":70968,"discussion":70969,"_consum":70970,"Ġscouts":70971,"Ġcolabor":70972,".Stage":70973,".nano":70974,"eldorf":70975,"Ġgemacht":70976,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":70977,"Ġpolicymakers":70978,"_PKT":70979,",Th":70980,"oky":70981,"_UID":70982,"Ping":70983,"Ġorchest":70984,"Ġoptics":70985,"uhan":70986,"ĠXOR":70987,"Ġespañol":70988,"ĠAdidas":70989,"rng":70990,"mans":70991,".vstack":70992,"Ġgetaway":70993,"Ġhierarchical":70994,"anoia":70995,"ĠBitmapFactory":70996,"realm":70997,"ĉap":70998,"_apps":70999,"-divider":71000,".drawer":71001,"ĠHARD":71002,"'];?>Ċ":71003,"-packed":71004,"æ²»":71005,"_STRUCTURE":71006,"[Y":71007,"iParam":71008,"(eq":71009,"Ġencompasses":71010,"Ġ\\ĊĊ":71011,"->[":71012,"&utm":71013,"groupon":71014,"strate":71015,"DY":71016,"omorphic":71017,"':[":71018,"Ġgravitational":71019,"ĠMicha":71020,"ĠTencent":71021,"Ġcoached":71022,"ì¶ľ":71023,"ÑĥменÑĤ":71024,"/mobile":71025,"MouseDown":71026,"bud":71027,"ĠYas":71028,"ĠProviders":71029,"NZ":71030,"ĉreport":71031,"errmsg":71032,"ĠimagePath":71033,"acterial":71034,"ĠManga":71035,"wicklung":71036,"(usuario":71037,"\"));čĊčĊ":71038,"/***":71039,"Ġorganise":71040,"Indexed":71041,"_QUAL":71042,"(PyObject":71043,"Ġsurrendered":71044,"POCH":71045,"ĠNOTES":71046,"\\\\\"":71047,"-job":71048,"Ġseventy":71049,"####Ċ":71050,"ĠManor":71051,"Ġdownright":71052,"Ġtimeframe":71053,"insurance":71054,"checker":71055,"ĠSECRET":71056,"Ġechoes":71057,"ĠCarmen":71058,".setHorizontalAlignment":71059,"ĠisChecked":71060,"ĠTOR":71061,"_nn":71062,"('(":71063,"FetchRequest":71064,"ĠPrinted":71065,"Fluid":71066,"ĠSTACK":71067,"GES":71068,"aigned":71069,"igor":71070,".Unknown":71071,"CBC":71072,"ĠCarlson":71073,".URI":71074,"Ġplight":71075,"/start":71076,"ĠPersonnel":71077,"ĠPREFIX":71078,",**":71079,"Ġlimite":71080,"_heat":71081,"%ï¼Į":71082,"ĠDonne":71083,"getNode":71084,"ĠScientology":71085,"Ġcomet":71086,"Ġwenig":71087,"Aside":71088,"ĠMPEG":71089,"'?":71090,"variably":71091,".endDate":71092,"Ġuncont":71093,"ĠScores":71094,"ĠLoginForm":71095,".generated":71096,",ch":71097,"-mar":71098,"ĠNed":71099,"ĠeventId":71100,"+p":71101,"ĠSIN":71102,"/reset":71103,".REACT":71104,"ĠMessi":71105,"_RANK":71106,".writeFile":71107,"Ġcripp":71108,"esthetic":71109,"ERSIST":71110,"Ġreimbursement":71111,"CurrentValue":71112,"Ġunin":71113,"DownLatch":71114,"ĠpaddingRight":71115,"Ġstocked":71116,"/'.":71117,"Ġrepayment":71118,"trak":71119,"/backend":71120,"Ġизмен":71121,"CSR":71122,"Ġpreventive":71123,"Ġpantalla":71124,"_trim":71125,"Pedido":71126,"hospital":71127,"Ġmanageable":71128,"routeParams":71129,"textures":71130,"......ĊĊ":71131,"Ġsélection":71132,"NameValuePair":71133,"Ġpollut":71134,"Modes":71135,"ĠLaud":71136,"jay":71137,"ĠUrs":71138,"Ġsigner":71139,"ĠJJ":71140,"ĠCherokee":71141,"_EXISTS":71142,"Ġdwar":71143,"Ġ($('#":71144,"Ġreef":71145,">{$":71146,"ĠBaylor":71147,"ĠModelState":71148,"-_":71149,"ĠStructures":71150,"Ġsouvent":71151,"Specify":71152,"(pipe":71153,"Ġfracking":71154,"ĠGPA":71155,"Ġbele":71156,"ĉĉĉĉĉĉĉĠĠĠ":71157,"ĠMinority":71158,"Ġtud":71159,"Ġopenness":71160,"ĠIllustrated":71161,"Ġoxidation":71162,"ĠNK":71163,"ĉUpdate":71164,"ĠEMS":71165,"ĠTeddy":71166,"Ġgenerals":71167,"ĉMat":71168,"Ġradios":71169,"ĠAntique":71170,"conomy":71171,"ĠSquadron":71172,")','":71173,"声":71174,"Ġyoure":71175,"ĠMainPage":71176,"Ġbehaviours":71177,"enght":71178,"(@\"%@\",":71179,"Ġtestcase":71180,"ĠCompilation":71181,"Ġflavours":71182,"ĠExtend":71183,"illator":71184,"Ġcoh":71185,"Ġspline":71186,"ĠKG":71187,"-pay":71188,"Ġcommunism":71189,"ĠBusinesses":71190,"ocking":71191,".MaxLength":71192,"assandra":71193,"quiring":71194,"adden":71195,"ĠJeb":71196,"_fault":71197,"[file":71198,"Ġprominence":71199,"disciplinary":71200,"âĢĶthey":71201,"_extent":71202,"ĠVIC":71203,"Ġentails":71204,".partner":71205,"Ġhippoc":71206,"League":71207,"çĶ·":71208,"wipe":71209,"-spinner":71210,"Ġsalute":71211,"ĠSurgical":71212,"(outputs":71213,"worked":71214,"[strlen":71215,"appointed":71216,"ĠHeg":71217,"ĠACPI":71218,"([^":71219,"uala":71220,"_tol":71221,"ĠRit":71222,".Payment":71223,"kowski":71224,"Ġwalmart":71225,"requirements":71226,"ĠFINSEQ":71227,"_BACKGROUND":71228,"ĠOsborne":71229,"(errorMessage":71230,"Reporting":71231,"Ġauctions":71232,"Ġcombos":71233,"ĠNoticed":71234,"_oct":71235,"Ġprimero":71236,"taire":71237,"_hr":71238,"Ġмод":71239,"Ġcontradictory":71240,"=\"@":71241,"achines":71242,"(optarg":71243,"ĠPenguin":71244,"ĠAbbas":71245,"Ġsublime":71246,"Ġpageable":71247,"ĠDefensive":71248,"Ġdistinctly":71249,"ĠAutomatically":71250,"Understanding":71251,"EqualityComparer":71252,"gota":71253,"Ġ\"::":71254,"Ġpulver":71255,"ĠBattles":71256,"Ġunparalleled":71257,"TCHA":71258,"Ġconstrued":71259,"-aff":71260,"Ġprecursor":71261,"-lfs":71262,"Ġmaduras":71263,"ĠDaisy":71264,"ĠArbeits":71265,".Management":71266,"ĉIn":71267,"Ġrobes":71268,"Ġspéc":71269,"âĢľ(":71270,"Ġmaternity":71271,"extent":71272,"ĠSpacer":71273,"DidAppear":71274,"ĉus":71275,".getRequestDispatcher":71276,"(cols":71277,"Ġplummet":71278,"ìħ":71279,"Ġ{ĊĊĊĊ":71280,"érica":71281,"ĠSizes":71282,".enum":71283,".Highlight":71284,"Ġ!!}ĊĊĊ":71293,"Wenn":71294,"Ġclimax":71295,"Ġcrem":71296,"_that":71297,"[âĢ¦":71298,"_domains":71299,"_REPLY":71300,"Ġcompleta":71301,"VEST":71302,"_particle":71303,"Ġsop":71304,"Ġfatalities":71305,"implify":71306,"ĠSKF":71307,"Ġinfusion":71308,"ĠJavier":71309,"Ġballet":71310,"Ġamigo":71311,".want":71312,"Ġcollagen":71313,"ĠLawyer":71314,".Statement":71315,".rt":71316,"baar":71317,"EndPoint":71318,"ĠBek":71319,"SHIP":71320,"Ġpatriarch":71321,"ĠAunt":71322,"_TM":71323,"ĠmÃŃn":71324,"Ġmastered":71325,"WXYZ":71326,"Ġespos":71327,"=logging":71328,"Ġrighteousness":71329,"torrent":71330,"Ġbst":71331,"_CHAIN":71332,"Ġoutskirts":71333,"(rotation":71334,"Ġ'.')":71335,"igrants":71336,"+lsi":71337,"ĠCCTV":71338,"_PHASE":71339,".azure":71340,"_Process":71341,"vae":71342,"ĠTropical":71343,"ĠAnkara":71344,"imageView":71345,"_RUNNING":71346,"Ġ*)__":71347,"ến":71348,"(cli":71349,"scatter":71350,"Ġsche":71351,"Registrar":71352,"Ġairing":71353,"Ġpyplot":71354,"isión":71355,"/customer":71356,"Ġsimplement":71357,"Ġclassy":71358,"ĠDWC":71359,"ĠBashar":71360,"ĠDEVELO":71361,"ĠVick":71362,"avail":71363,"ĠHö":71364,"_extend":71365,"drFc":71366,".isNotBlank":71367,"Ġplais":71368,"|}Ċ":71369,"Ġpornofil":71370,"labs":71371,"Ġhaus":71372,"Ġoriginating":71373,"Ġsurrounds":71374,"ĠQUAL":71375,"meg":71376,"/logger":71377,"[obj":71378,"Ġirresponsible":71379,"ĠPublicKey":71380,"HONE":71381,":'/":71382,"ibox":71383,"ĠFVector":71384,"|{Ċ":71385,"ataloader":71386,"hawks":71387,"HDR":71388,"Ġescalation":71389,"ĠPodsDummy":71390,"elite":71391,"Ġpresup":71392,"Cached":71393,">G":71394,".optimizer":71395,"ĠVisible":71396,"´Ģ":71397,"Ġnen":71398,"Ġpcs":71399,"ĠIdle":71400,"[Any":71401,"Ġkeyboards":71402,"ĠCOMPONENT":71403,"Ġtitanium":71404,"(mut":71405,"ĠLedger":71406,"Ġprosperous":71407,"etrofit":71408,"_LL":71409,"_patient":71410,"Ġpdata":71411,"Ġkontakte":71412,"Swipe":71413,"Ġcheerful":71414,"ĠHonduras":71415,"\"][$":71416,"Ġhemorrh":71417,"\":\"+":71418,"Ġleasing":71419,"Ġinstalls":71420,"ĠPax":71421,"ĠLogistics":71422,"Ġkinetic":71423,"ĠPhon":71424,"_movement":71425,"ĉbytes":71426,"Ġcinco":71427,"ĠMadness":71428,"\")+":71429,"ĠJE":71430,"_ij":71431,"SceneManager":71432,"ĠBust":71433,"ptest":71434,"aea":71435,"Ġbesser":71436,"ÃŃg":71437,"дин":71438,"(tasks":71439,"(\"(\"":71440,"setType":71441,"(outfile":71442,"ĉreset":71443,"ĠARC":71444,"Ġmúsica":71445,"ĠShelf":71446,"ĠminY":71447,"pch":71448,"Ġweiber":71449,"issor":71450,"Ġtrouve":71451,"ĉButton":71452,"Ġregenerated":71453,"Å£i":71454,"imachinery":71455,"blocking":71456,".dataTables":71457,"_frac":71458,"ĠAdvantage":71459,".visitMethod":71460,"éĩįæĸ°":71461,"Ġextrapol":71462,"Ġteasing":71463,"ĠHitch":71464,"ĠGeek":71465,"ESCO":71466,"Ġwich":71467,"ĉax":71468,"_decor":71469,"ĠscreenWidth":71470,"ĠSophia":71471,"Forgot":71472,".uni":71473,"ĠVenture":71474,"_collision":71475,"Ġlawmaker":71476,"(Edit":71477,"blers":71478,"ĠgetNext":71479,"âĢĶyou":71480,"MediaPlayer":71481,"ĠHorde":71482,"ĠCongressman":71483,"observations":71484,"ĉproperty":71485,"Ġ<--":71486,"CreatedAt":71487,"ubyte":71488,"Ġquarantine":71489,"Ġdistressed":71490,"_APB":71491,"ĠGoodman":71492,"ãĤ«":71493,"Ġrecomend":71494,"_PRINTF":71495,"DONE":71496,"Bindable":71497,"rstrip":71498,"centaje":71499,"ĠUnexpected":71500,"ĠSCHOOL":71501,"ĠProfessionals":71502,"ĠGPUs":71503,"Lesson":71504,"Exclusive":71505,"Ġatrav":71506,"ĠDank":71507,"ĠLawyers":71508,"ĠWalton":71509,">[]":71510,"Ġaloud":71511,"=\"../../../":71512,"Ġdebating":71513,"ĠAVG":71514,"_VOL":71515,"/cgi":71516,".deg":71517,":g":71518,".Infof":71519,"MeasureSpec":71520,".song":71521,"mtree":71522,"ulls":71523,"Jordan":71524,"ĠCovers":71525,"Ġattributable":71526,"Ġjedis":71527,"iatrics":71528,"Ġrotterdam":71529,"Ġmeld":71530,"ĠContentType":71531,"Ġmantle":71532,"Ġalice":71533,"_duplicate":71534,"/Internal":71535,"Ġfilesize":71536,"ĉfire":71537,"rese":71538,"ondere":71539,"Ġfamiliarity":71540,"ĠCrest":71541,"Ġkarma":71542,"Ġtorino":71543,"Ġmesa":71544,"/temp":71545,"Ġchir":71546,"ĠOverflow":71547,"Ġtenemos":71548,"unik":71549,"NEXT":71550,"Alle":71551,"Ġnxt":71552,"Mart":71553,"Ġatl":71554,"Ġperiodo":71555,"_you":71556,"Ġ})).":71557,"intestinal":71558,".AdapterView":71559,"Ġhesitant":71560,"Ġcomparatively":71561,".UInt":71562,"(viewModel":71563,"Ġsangat":71564,"ĠResponsive":71565,"ĠZack":71566,"âħ":71567,"JAVA":71568,"ĠFuller":71569,"ĠâĿ¤":71570,".Consumer":71571,"Ġank":71572,"Ġreactors":71573,"fuck":71574,"_rat":71575,"ĠsessionFactory":71576,"_backward":71577,"Ġscrambled":71578,"ĉth":71579,"Ġinsensitive":71580,"Ġchamps":71581,"Ġnginx":71582,"Ġconhec":71583,"ĠJasper":71584,".fm":71585,"StrictEqual":71586,"achsen":71587,"-Nov":71588,"lassen":71589,".integration":71590,"(lbl":71591,"Compose":71592,"ĠFon":71593,"Ãļ":71594,"Gratis":71595,"ĠLime":71596,"ĠAdapterView":71597,"Ġpoisoned":71598,"anchors":71599,"设计":71600,"']?>\"":71601,"Ġprocur":71602,"Italy":71603,".MONTH":71604,"ĠLUA":71605,"ĠLithuania":71606,"ĠHeads":71607,"_CHUNK":71608,"ĠPUSH":71609,"AspectRatio":71610,"Ġweg":71611,"Ġvids":71612,"ĠWein":71613,"ĉINT":71614,"sessionId":71615,"Industry":71616,"Ġdenounced":71617,"JKLM":71618,"ĠVanessa":71619,".Identifier":71620,"propri":71621,"Ġиг":71622,"Ġtécn":71623,"Ġmosaic":71624,"StreamReader":71625,"-Th":71626,"forth":71627,"Ġadherence":71628,"bate":71629,"Ġknights":71630,"sounds":71631,"Ġsalle":71632,"OMET":71633,"ãĤ¹ãĥĪ":71634,"-tm":71635,"ĠRhe":71636,".FileOutputStream":71637,"åĪĨç±»":71638,"ĠENG":71639,"holiday":71640,"ĠCongratulations":71641,")(Ċ":71642,"Ġaggregates":71643,"HOOK":71644,"ewire":71645,"Senator":71646,"Ġembeddings":71647,"epy":71648,"(COM":71649,"Ġrobber":71650,"äter":71651,"wang":71652,"_teacher":71653,"Ġresentment":71654,"Ġlettuce":71655,"erreur":71656,"(ic":71657,"ĠTactical":71658,"ĠContracts":71659,"Ġmænd":71660,"Ġsitios":71661,"Ġbastante":71662,"Ġnuevos":71663,"ĉNdrFc":71664,"ĠprivateKey":71665,"ucch":71666,"MMdd":71667,"Ġè¾ĵåĩº":71668,"umba":71669,"@foreach":71670,":\");ĊĊ":71671,"Ġslippery":71672,"ĠKeystone":71673,"Ġpioneering":71674,"_triangle":71675,"(\"Ċ":71676,"ĉĉĉĉĉĉĉĉĠĠ":71677,"ĠIntervention":71678,"SCI":71679,"ĠcJSON":71680,"Ġterminating":71681,"ë¹Ħ":71682,"Ġbabys":71683,"Subset":71684,"Ġë¡":71685,"Ġseulement":71686,"Ġmuestra":71687,"Entre":71688,"以ä¸Ĭ":71689,"ngo":71690,"\"bytes":71691,"QRST":71692,"Ġypos":71693,"persona":71694,"ĠDeploy":71695,"cee":71696,"Ġà®":71697,".goal":71698,"Ġhabitats":71699,"ĠisAdmin":71700,"Ġexploiting":71701,"Ġventil":71702,"ĠBalls":71703,"اب":71704,"Ġmindfulness":71705,"(kwargs":71706,"Ġresembling":71707,"Ġchoir":71708,"ĠonBackPressed":71709,"ĠSECURITY":71710,"/gtest":71711,"Ġjustices":71712,"ĠintegerValue":71713,"blah":71714,"ĠAim":71715,"_finalize":71716,"keh":71717,"ĠComplexity":71718,"Ġaugust":71719,"getElementsByTagName":71720,"Ġpreach":71721,"Ġpronunciation":71722,"ĠTrash":71723,"-percent":71724,"_PRIV":71725,"ĠHunts":71726,"ĠCurse":71727,"uellen":71728,"Ġheavyweight":71729,"Xi":71730,"ĉselected":71731,"ĠMcCoy":71732,"å¼Ĥ常":71733,"|=Ċ":71734,"ĠBattlefield":71735,"ItemImage":71736,"Ġdeductions":71737,"ĠElemental":71738,"());//":71739,"ĠBurk":71740,"})čĊčĊ":71741,"swift":71742,"/function":71743,"Usually":71744,"_St":71745,"_feats":71746,"ĠIsValid":71747,"Ġzad":71748,"ImageContext":71749,"Ġclassname":71750,"Ġdonner":71751,"Ġ-->ĊĊĊ":71752,"Ġmotorcycles":71753,"+'/'+":71754,"ĠsetBackground":71755,"\\CMS":71756,".AllArgsConstructor":71757,"ĠLexington":71758,".examples":71759,"ĠPurs":71760,"PushMatrix":71761,"Ġ==============================================================":71762,".addTarget":71763,"pora":71764,"Fullscreen":71765,"Ġgoof":71766,"hlen":71767,"äge":71768,"ĠCURL":71769,"ĠInteresting":71770,"Ġretrieves":71771,"_Obj":71772,"inness":71773,"-----ĊĊ":71774,".tsv":71775,"(IM":71776,"ĠBraves":71777,"_ISR":71778,"osti":71779,"á»ĵ":71780,"ĠExterior":71781,"ĠCourtney":71782,"Ġresidues":71783,"Tier":71784,".*;čĊčĊ":71785,":black":71786,"webView":71787,"\"path":71788,"Ġmasa":71789,"]!='":71790,"ĠMatching":71791,"dur":71792,"Jvm":71793,"=context":71794,"_RING":71795,"Ġproponents":71796,"ĠQStringLiteral":71797,"Ġinflate":71798,"\">čĊ":72031,"_COST":72032,"ilinear":72033,"ĠWorkspace":72034,"Ġspel":72035,"agogue":72036,"ĠMillennium":72037,"ĠPopulate":72038,"Ġnid":72039,".parseColor":72040,"Solar":72041,"ĠGad":72042,"Ġì¤ij":72043,"ĠKamp":72044,"ĉrm":72045,"Ġbenz":72046,"ĠHonestly":72047,"Ġelectrode":72048,"ĠPrairie":72049,"ĠPROFILE":72050,"ĠOriental":72051,"ĠOLED":72052,"/copyleft":72053,"awaii":72054,"(products":72055,")\\<":72056,"-created":72057,".ManyToMany":72058,"\"How":72059,"ĠвÑĭп":72060,"Ġmitochondrial":72061,"_testing":72062,"(created":72063,"ĠgetField":72064,"_EVAL":72065,"].\"":72066,"ĠFSM":72067,"ĠRita":72068,"ĠåıĤæķ°":72069,"Ġcôt":72070,"ĠInsight":72071,"ĉmysqli":72072,"_timing":72073,"IDO":72074,")))))Ċ":72075,"COVERY":72076,".imag":72077,"CDF":72078,"lust":72079,"ickt":72080,"_FP":72081,".','":72082,"gcc":72083,"Ġkurz":72084,"_pwm":72085,"Ġodpowied":72086,"ĠBarrier":72087,"/***************************************************************************Ċ":72088,"pak":72089,"-Israel":72090,"ĠRutgers":72091,"ĠselectedItem":72092,"ĠRamirez":72093,"Farm":72094,"Ġcalendars":72095,"gzip":72096,"Ġblockbuster":72097,"ĠPlymouth":72098,"çľĮ":72099,"responses":72100,".DialogInterface":72101,"-grand":72102,"ĠgetSource":72103,"Ġdejtings":72104,"Ġtieten":72105,"Ġcondemnation":72106,"Ġcontinuar":72107,".MockMvc":72108,"/english":72109,"ĠMediaPlayer":72110,"computed":72111,"ĠClippers":72112,"(delegate":72113,".Slf":72114,"Ġë¡ľ":72115,"ĠTide":72116,"Ġihrem":72117,"ĠWan":72118,"ÑĥÑİÑī":72119,"}><":72120,"Discussion":72121,"Ġwatts":72122,"-minus":72123,"ĠJuliet":72124,"éĽħ":72125,"Ġconcluding":72126,"andscape":72127,"Ġúltima":72128,"ĠDERP":72129,"ĠsignUp":72130,"ĠSecondly":72131,"WAIT":72132,"lds":72133,".callbacks":72134,"(hour":72135,"imators":72136,"volent":72137,"AAF":72138,"edriver":72139,"ĠMathematic":72140,"'":72142,"{j":72143,"_ABORT":72144,"Ether":72145,"Ġeducator":72146,"Ġprecaution":72147,"Ġfingertips":72148,"getVar":72149,"camatan":72150,"-debug":72151,"ĠRAF":72152,"[arg":72153,"Ġraced":72154,"Ġtsunami":72155,".flink":72156,"Ġglyc":72157,"uko":72158,"ĠMultiply":72159,"Ġredistribution":72160,"AGO":72161,"ĠRoutine":72162,"Ġopr":72163,"(lower":72164,"ĠFunktion":72165,".dk":72166,"Ġegt":72167,"_BASIC":72168,"syscall":72169,"ĠLSD":72170,"ĠDuplicate":72171,"_sell":72172,"ĠerrorHandler":72173,"_ips":72174,"Ġerv":72175,"annie":72176,"(resourceName":72177,"Ġbottled":72178,"Ġcrawling":72179,"egment":72180,".setTag":72181,"Ġrss":72182,"ĠQuarry":72183,"_exact":72184,".jwt":72185,"ĠBoards":72186,"opi":72187,"Ġnasal":72188,"ĠXYZ":72189,".ud":72190,"Northern":72191,"Ġactivating":72192,"edx":72193,"ovah":72194,"Ġindx":72195,"AlertDialog":72196,"Ġtienes":72197,"annya":72198,"_pan":72199,"(decimal":72200,".Dict":72201,"Ġsubsidiaries":72202,"ProductName":72203,"Few":72204,"dato":72205,"odied":72206,"-under":72207,"Ġê²ĥ":72208,"çīĪæľ¬":72209,"atism":72210,"[Math":72211,".'<":72212,"(infile":72213,"Ġdenotes":72214,"$class":72215,"_SECURITY":72216,"Ġsewage":72217,"melon":72218,"(Character":72219,"/github":72220,"Ġglaring":72221,".Guid":72222,"_sparse":72223,"ĠMargin":72224,"_dns":72225,"Ġmeiner":72226,"Ġleftist":72227,"ĉloc":72228,"abytes":72229,"Ġequipments":72230,"expo":72231,"ĠSomerset":72232,"EK":72233,"æį¢":72234,"Ġlecturer":72235,"Ġmemiliki":72236,"æł¸":72237,"ç´ł":72238,"pron":72239,":pointer":72240,"borrow":72241,"ĠProtective":72242,"_cf":72243,"ĠÐķÑģли":72244,"bpp":72245,"';ĊĊĊĊ":72246,"aturally":72247,"_NAV":72248,"Ġpeptide":72249,">d":72250,"Ġifstream":72251,"_FACTORY":72252,"');//":72253,"joined":72254,"mong":72255,"Ġtimespec":72256,"Ġdestabil":72257,"Ġautop":72258,"-limit":72259,"publication":72260,"ĠDenn":72261,".Memory":72262,"(skb":72263,"ĠAnaheim":72264,"_RETURNTRANSFER":72265,"oueur":72266,"(_('":72267,"legt":72268,"istingu":72269,"ĉpriv":72270,"Ġredirects":72271,"Mt":72272,"Ġalleen":72273,"ĠPointF":72274,"Ġomin":72275,"Ġcitt":72276,"ĠTage":72277,"ĠWalls":72278,"á»ī":72279,"Ġoccupying":72280,"xBF":72281,"rangle":72282,"Ġrelational":72283,"-org":72284,"Ġjpg":72285,"-derived":72286,"Ġmalfunction":72287,"ĠBenson":72288,"(scroll":72289,"ĠXD":72290,"Holy":72291,"(commands":72292,"Ġtipping":72293,"Ġprimitives":72294,"Ġsexle":72295,"CallCheck":72296,"ĠMASTER":72297,"_TEAM":72298,".setRequestHeader":72299,"_specs":72300,"Ġserge":72301,".Master":72302,"Ġims":72303,".SpringBootTest":72304,"paypal":72305,"ĠWANT":72306,".Inst":72307,"ĠCarpet":72308,"Ġwrongly":72309,"($('.":72310,"Ġbild":72311,".Roll":72312,"ĠUrb":72313,"-can":72314,"ãģıãģłãģķãģĦ":72315,"oliberal":72316,"čĊčĊ":72710,"ĠMahm":72711,"}\";ĊĊ":72712,"Ġdq":72713,"ĠPublishers":72714,"ĠAmpl":72715,"ĠDanielle":72716,"Ġtern":72717,"èµ·":72718,"noÅĽÄĩ":72719,"ein":72720,"ĠAsyncStorage":72721,"unger":72722,"rouw":72723,"Ġscissors":72724,"/assert":72725,".bucket":72726,"/archive":72727,"_Man":72728,"Ġintoler":72729,"Ġ()=>":72730,"ĠÐĴÑĭ":72731,"Ġsai":72732,".xy":72733,".\"čĊ":72734,"Ġurinary":72735,"esub":72736,"ISTICS":72737,"Ġκ":72738,"Ġcompliments":72739,"ĠtypingsJapgolly":72740,"ihar":72741,"Expansion":72742,"ĠServing":72743,"_students":72744,"ĠXBOOLE":72745,"(il":72746,"Ġì²ĺ":72747,"Ġjó":72748,"(tol":72749,"(JS":72750,"ĉCG":72751,"ĠDRAW":72752,"twig":72753,"Ġoat":72754,"_smooth":72755,"ĠCSL":72756,"Ġosob":72757,"Ġensuing":72758,"Ġbanker":72759,"ĠBackpack":72760,"_ping":72761,"Ġwishlist":72762,"=ax":72763,"ĉĠĠĠĊ":72764,"Disney":72765,"steady":72766,"\">%":72767,"Ġprophets":72768,"ĠZX":72769,"Ġminimalist":72770,".PLAIN":72771,"Seattle":72772,".ordinal":72773,"ĠPIPE":72774,"Ġretorna":72775,"Ġjugador":72776,"ĠBret":72777,"ĠâĶľ":72778,"Ġplush":72779,"ULATOR":72780,"Sorting":72781,".gridy":72782,"ectomy":72783,"_activ":72784,"rack":72785,"Interactive":72786,"ĠAntarctica":72787,"Ġvengeance":72788,"enso":72789,"_known":72790,"upplier":72791,".Modules":72792,"ĠConnectionState":72793,"éļIJèĹı":72794,"@FindBy":72795,"Ġplacer":72796,"\\model":72797,"<()>":72798,".isSuccessful":72799,"-good":72800,"bz":72801,"ĠDraco":72802,"Assistant":72803,"-extra":72804,"аблиÑĨ":72805,"Ġhypocrisy":72806,"Ġtst":72807,"ĠAgr":72808,"$txt":72809,"Ġlogistic":72810,"licensed":72811,"ĠHof":72812,"Ġtat":72813,"(iv":72814,"Ġintoxic":72815,"postId":72816,"_strike":72817,"Ġhumiliation":72818,"pcodes":72819,"\"sync":72820,"(recipe":72821,"+N":72822,"rente":72823,"ĉClient":72824,"ycopg":72825,"ĠZurich":72826,"ĠProfiles":72827,"Countries":72828,"Ġpict":72829,"Ġrollout":72830,"requencies":72831,"Ġpatched":72832,"Ġcartridges":72833,"Ġshading":72834,"Jar":72835,"Ġsalvage":72836,"ĠTaxes":72837,"Ġstandby":72838,"aporan":72839,"Eigen":72840,".angular":72841,"ĠNested":72842,"享":72843,"ĠisVisible":72844,"ĠDwight":72845,"_BRANCH":72846,".Delay":72847,"Ġkend":72848,"Ġfacilitated":72849,".flatMap":72850,"Ġsanta":72851,"ĉSend":72852,"/messages":72853,"ĠofType":72854,"ĉswap":72855,"#plt":72856,"ĠTurks":72857,"NES":72858,"Ġprogressively":72859,"ĠResidence":72860,"ĠTREE":72861,"Ġnoen":72862,"dio":72863,"Ġnelle":72864,"Ġsogar":72865,"itti":72866,"weekly":72867,"Ġambiguity":72868,"_Settings":72869,"Ware":72870,".neo":72871,"_DST":72872,"Ġæĸ¹":72873,"prep":72874,"lobby":72875,"@email":72876,"/movie":72877,"Ġfunkc":72878,"ĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĠĊ":72879,"ÂŃs":72880,"Ġguardians":72881,"-pos":72882,"Ġconfiguring":72883,"ĠCPS":72884,"ĠDeus":72885,"Ġvidéos":72886,"_empresa":72887,"Ġslapped":72888,"',Ċ":72920,"_XDECREF":72921,"ĠBuzzFeed":72922,"_MARGIN":72923,"PLOY":72924,".small":72925,"ĠmimeType":72926,"Ġholog":72927,"ĉcamera":72928,"lias":72929,"Ġsuspense":72930,"odynam":72931,"bau":72932,"Ġgraveyard":72933,"_named":72934,"\":\"'":72935,"Ġ************************************************":72936,"ĠgameOver":72937,"ĠLENGTH":72938,"ĉscreen":72939,"ĠdoInBackground":72940,"_dependencies":72941,"Ġrtc":72942,"/up":72943,"_ROM":72944,"Hall":72945,"Ġdeficiencies":72946,"(te":72947,"'#":72948,"_equiv":72949,"Ġpreorder":72950,"ĠAxe":72951,"омÑĥ":72952,".sendFile":72953,"Ġfilt":72954,"ĠLimits":72955,"ĠCavaliers":72956,".discount":72957,"âĨIJ":72958,"ĠWit":72959,"QRSTUV":72960,"Ġij":72961,"Ġtegen":72962,"Ġ:\",":72963,"difficulty":72964,"punkt":72965,"ĠEmails":72966,"chlor":72967,"(fun":72968,".Uint":72969,"ĠStall":72970,"_verified":72971,"uD":72972,"FileType":72973,"Ġpleasures":72974,"Ġjudiciary":72975,"Ġsham":72976,"ipur":72977,"_PLUS":72978,"offers":72979,"(foo":72980,"_GT":72981,"ĉcore":72982,"ENTION":72983,"ĠLiberation":72984,"CommandLine":72985,"_department":72986,".Ar":72987,"_neighbor":72988,"ĠSubmitted":72989,"ĠĊ":97221,"Ġdroits":97222,"Ġhomosexuals":97223,"Ġabduction":97224,"ĉwidget":97225,"$headers":97226,"ĠDAR":97227,"Ġfla":97228,"threat":97229,"Ġlouis":97230,".GetProperty":97231,"\"Just":97232,"(frames":97233,"ryo":97234,"profession":97235,"|i":97236,"íķ´ìĦľ":97237,"(sv":97238,"Ġunrecognized":97239,"Ionic":97240,"Fashion":97241,"ScreenState":97242,"ĠIncoming":97243,"NotNil":97244,"Ġsyncing":97245,"emie":97246,"Ġthermo":97247,"_procs":97248,"Ġinconsistency":97249,"religious":97250,".mj":97251,"Ġpersonn":97252,"Ġmomentos":97253,"orarily":97254,"ĠæĬ":97255,"_neurons":97256,"Illustr":97257,"imoto":97258,"ilik":97259,"ĠWoj":97260,"Trading":97261,"Ġappare":97262,"Ġentreprises":97263,"achat":97264,"Ġ¬":97265,"Ġneigh":97266,"BUTTONDOWN":97267,"ĠMaher":97268,"aghan":97269,"-hash":97270,"\"f":97271,"Ġclientele":97272,".addButton":97273,"ĉSP":97274,"Qi":97275,"Ġgrated":97276,"POSITE":97277,":>":97278,"ĠHowell":97279,"ĠComparative":97280,"ĠISC":97281,"ÂŃi":97282,"Ocean":97283,"Davis":97284,"ĠFilme":97285,"Wins":97286,"ĠJIT":97287,"occer":97288,"ĠCorm":97289,"ENCHMARK":97290,"rchive":97291,"icação":97292,"Ġmata":97293,"Ġchildbirth":97294,"ĠOptionally":97295,"Ens":97296,"Ġxhttp":97297,"Ġelucid":97298,"_OscInitStruct":97299,"))):Ċ":97300,"Ġintuit":97301,"ĠDonate":97302,"Ġcorrelates":97303,">Delete":97304,"Ġequipe":97305,"Ġboca":97306,"Ġinflatable":97307,"erah":97308,"ĠDateTimeKind":97309,"Ġcalves":97310,"\\Lib":97311,"Ġemlrt":97312,"ĠTrilogy":97313,"ĠPanc":97314,"ĠDuis":97315,"ĠpelÃŃcula":97316,"WARDS":97317,"_DETECT":97318,"-sectional":97319,"dhcp":97320,"ForRow":97321,"-destruct":97322,"ĠPresenter":97323,"/slick":97324,",on":97325,"ĠCitadel":97326,"loggedin":97327,"_subtype":97328,"Ġsigue":97329,"Ġcuring":97330,"ĠFirewall":97331,"Ġfluorescence":97332,"ĠItalians":97333,"иÑĤÑģÑı":97334,".getStyle":97335,"InSeconds":97336,"jie":97337,"-Smith":97338,"Ġxlink":97339,"Ġsubmissive":97340,"онÑĤ":97341,"arbonate":97342,"ĠFaul":97343,"_goals":97344,"ĠCommissioners":97345,"chartInstance":97346,"_POSTFIELDS":97347,"Ġmedial":97348,"Ġmanos":97349,"Ġdelt":97350,"svm":97351,".Apis":97352,"ephy":97353,"Ġasympt":97354,"ĠappDelegate":97355,"Ġimprobable":97356,"cka":97357,"simd":97358,"/Error":97359,".âĢĵ":97360,"ĠPTS":97361,"deer":97362,"Ġsina":97363,"magnitude":97364,"IDADE":97365,"']}'":97366,"Ġmayores":97367,"ĉcomment":97368,"/console":97369,"\"@":97370,"volt":97371,".sell":97372,"ĠMacy":97373,"Ġmelod":97374,"Ġimágenes":97375,"_chg":97376,"Ġinout":97377,"idente":97378,")'),Ċ":97379,"dni":97380,".blob":97381,"Ġtypography":97382,"Ġeerie":97383,"_OID":97384,"pesan":97385,"ajan":97386,"Ġchopping":97387,"Ġbluff":97388,"adf":97389,"_bases":97390,".Formatter":97391,"Ġ\\%":97392,"ĠPageInfo":97393,"Carrier":97394,"ĠCalibration":97395,"como":97396,"-bodied":97397,"Ġfinancier":97398,"ĠINA":97399,".ERR":97400,"Ġhoodie":97401,"ĠSanity":97402,"guarded":97403,".opendaylight":97404,"ISMATCH":97405,"Highlights":97406,"ünk":97407,"aniem":97408,"angered":97409,"assignments":97410,"Ġregistrado":97411,"ĠUPPER":97412,"ampilkan":97413,"ashire":97414,"ĠNikola":97415,"ĠCFL":97416,"ĠHDC":97417,"Ġpoids":97418,"ĠIPs":97419,"Ġpreventative":97420,"ipsoid":97421,"ifix":97422,".camel":97423,".ga":97424,"Volumes":97425,"-ste":97426,"Yahoo":97427,"_sibling":97428,"Highest":97429,"optgroup":97430,"Ġkvinna":97431,"âĢĿãĢĤĊĊ":97432,"ĠAppliances":97433,"Ġ\"><":97434,"')\")Ċ":97435,"htt":97436,"ĠIdentified":97437,"Ġpencils":97438,"ĠmemberId":97439,"ĠappendString":97440,".loadData":97441,"ĠmockMvc":97442,"Ġjub":97443,"ĠSlut":97444,"ĠTaipei":97445,"statt":97446,"Polit":97447,"Ġpartager":97448,"DidChange":97449,"Increases":97450,")}.":97451,"ĠBaba":97452,"_CLIP":97453,"[unit":97454,"ĠклÑİÑĩ":97455,"Ġalcuni":97456,"ĠLola":97457,"Ġclinging":97458,"@PostMapping":97459,"(concat":97460,"Ġssid":97461,"ĠFauc":97462,"okit":97463,"ĠRecorded":97464,"ález":97465,"($('<":97466,".assertIsNot":97467,"Ġkali":97468,"Volt":97469,"Ġwarmly":97470,"Ġscares":97471,"getti":97472,"führt":97473,"_does":97474,".EMAIL":97475,"imations":97476,"Ġspringfox":97477,"ĠDecom":97478,"arcy":97479,"Ġglitches":97480,"ĠMoff":97481,"ĠVoll":97482,".between":97483,"Ġcoorden":97484,"ĠParticularly":97485,"GBP":97486,"Ġsemble":97487,"Eastern":97488,"_MSB":97489,"]){čĊ":97490,"morgan":97491,"ĠEVAL":97492,"dere":97493,"HOUSE":97494,"moire":97495,"istique":97496,"_lstm":97497,"-commit":97498,"ysterious":97499,"Ġtwink":97500,"-thumbnails":97501,"enÃŃ":97502,":'',":97503,"Ġblackout":97504,"ĠFloors":97505,"Ġsofas":97506,"Ġoui":97507,"leshoot":97508,"ĠRaq":97509,"-abs":97510,"Ġkra":97511,"Mining":97512,"shaft":97513,".setColumns":97514,"Clazz":97515,"PRETTY":97516,".playlist":97517,"éĸ¢":97518,"-Saharan":97519,"MING":97520,"ĉbl":97521,"è®®":97522,"jf":97523,"DOCKER":97524,"hopefully":97525,"(ignore":97526,"ĠUsersController":97527,"ĠMitarbeiter":97528,"ĠLES":97529,"Hamilton":97530,"-metadata":97531,"ĠKK":97532,"iktig":97533,"Ġwollte":97534,"egrator":97535,"]bool":97536,",current":97537,"ĠvalueType":97538,"Ġexcavation":97539,"oland":97540,"Ġverv":97541,"/filepath":97542,"AuthProvider":97543,"Ġprocrast":97544,"ĉULONG":97545,"_MEMBERS":97546,"Ġuplift":97547,"ĠAutonomous":97548,"Ġartworks":97549,"ĠOutreach":97550,"Ġpore":97551,"Homepage":97552,"DialogTitle":97553,"ĠGenerating":97554,"PARSE":97555,"Ġsemanas":97556,"Ġhumano":97557,"JSGlobalScope":97558,"Ġvolte":97559,"Ġbella":97560,"(isinstance":97561,"Ġplc":97562,"\\Catalog":97563,"Ġesteemed":97564,"鼷":97565,"(suffix":97566,"Ġsweeps":97567,"ĉORDER":97568,"Ġdoivent":97569,"ĠSwarm":97570,"ĠCompiled":97571,"getPage":97572,"ADR":97573,".RichTextBox":97574,"ĠNaming":97575,"agged":97576,"ĠGANG":97577,"rasing":97578,"odeled":97579,"Ġgala":97580,"ĠJSName":97581,"ddf":97582,"Ġillust":97583,"ĠLansing":97584,"[port":97585,"-death":97586,"Ġdinheiro":97587,"ĠEighth":97588,"Ġbian":97589,"stÃ¥":97590,"Ġversión":97591,"ĠLinearGradient":97592,"ĠHarding":97593,".*)":97594,"eczy":97595,"$header":97596,"ĠvÃ¥r":97597,"Unchecked":97598,"Ġkoje":97599,"ĠPaladin":97600,"())),":97601,"Giving":97602,"()})Ċ":97603,"Ġdips":97604,"Friendly":97605,"Ġportrays":97606,"Ġhelium":97607,"Ġinsurgency":97608,"_expiry":97609,"ĠstringByAppendingString":97610,"Ġaantal":97611,"slope":97612,"mast":97613,".getInteger":97614,"Ġ########################":97615,"_PIPELINE":97616,"Ġdensely":97617,"Ġmutating":97618,"midi":97619,"ĠSeit":97620,"ayne":97621,"NOWLED":97622,"ĠDesmond":97623,"ĠFName":97624,"ĠNairobi":97625,"\\Context":97626,"Ġcalcular":97627,"-den":97628,"Ġcott":97629,"]):čĊ":97630,"ĠRecommendation":97631,"ĠRolex":97632,"ĠvalidationResult":97633,".pat":97634,"ĠnÃły":97635,"ĠRestClient":97636,"ĠGPI":97637,"ĠAsheville":97638,"ĠOSP":97639,"ĠPERMISSION":97640,"ÐĶаÑĤа":97641,"/notification":97642,"Knight":97643,"_Word":97644,"ĠBender":97645,"ranking":97646,"Ġpartida":97647,"_reservation":97648,"ÌĢ":97649,"ĠmName":97650,"Ġgetch":97651,"Ġborr":97652,"Ġdiligent":97653,"Discuss":97654,"æŃ£åľ¨":97655,"apeake":97656,"ioned":97657,"-Nazi":97658,".cum":97659,"ĠKron":97660,"=$('#":97661,"/single":97662,"Ġerotisch":97663,"ĠVib":97664,"Ġratified":97665,"Ġconcerted":97666,"ĠREGARD":97667,"Ġdobr":97668,".DriverManager":97669,"'r":97670,"Portable":97671,"ĉsuite":97672,"Ġrelaciones":97673,"ĠDop":97674,"emploi":97675,"DOB":97676,"Ġcrumbs":97677,"Ġxls":97678,"_Application":97679,"(':',":97680,"Ġ------------------------------------------------------------------------Ċ":97681,"mse":97682,"Ġberk":97683,"ĠReturnValue":97684,"ĠBelly":97685,"Ġcamar":97686,"ĠPeek":97687,"elsing":97688,"Ġnotifies":97689,"ĠTristan":97690,"ĠGAR":97691,"emme":97692,"ĠElevated":97693,"_CSV":97694,"(chalk":97695,"Ġtwenties":97696,"ĠSearchResult":97697,"=search":97698,"ĠMixing":97699,"ýt":97700,"Ġrecruiter":97701,"ĠIDEOGRAPH":97702,"ĠAgo":97703,"(Operation":97704,"$values":97705,"Ġworldly":97706,"ĠRosenberg":97707,"ĠConfigureServices":97708,">*Ċ":97805,"Ġsnork":97806,"_opacity":97807,"ĠinitWithNibName":97808,"iado":97809,"AAC":97810,"Ġ]).":97811,";z":97812,"_paragraph":97813,"Ġnoses":97814,"stands":97815,"ifr":97816,"_mE":97817,"Iraq":97818,".Predicate":97819,"enaire":97820,"]]];Ċ":97821,"Ġunidad":97822,"Ġretirees":97823,"_hello":97824,"Ġmodele":97825,"ĠUITableViewController":97826,"fwrite":97827,"_numero":97828,"_visited":97829,"Ġrecebe":97830,"(Notification":97831,"Fantastic":97832,"_submenu":97833,"ĠPEM":97834,"ĠCupertino":97835,"approximately":97836,"classed":97837,".ReadString":97838,"Ġdomicile":97839,"_PW":97840,"Ġballpark":97841,"ĠKale":97842,"contra":97843,"_favorite":97844,"/of":97845,"Quite":97846,"ĠOTA":97847,"Ġaccelerometer":97848,"didn":97849,"|^":97850,"ĠRohingya":97851,"ivicrm":97852,"annabin":97853,"обÑĭÑĤи":97854,"orado":97855,"')+":97856,"Haunted":97857,",ID":97858,"(UIAlertAction":97859,"urv":97860,"_bel":97861,"ĠMexicans":97862,"/terms":97863,"ĠPainter":97864,"InputLabel":97865,"ĠVinci":97866,"ĠRosie":97867,"\\uc":97868,"":98029,"_gs":98030,"Ġcompil":98031,"nard":98032,"-exc":98033,"Ġrhyme":98034,"Ġbutto":98035,"says":98036,"antasy":98037,"ë¸":98038,"ĠcittÃł":98039,"Ġcheg":98040,"TimeString":98041,"Ġpositivity":98042,"ĠDabei":98043,"Ġwang":98044,"Ġescre":98045,"\"c":98046,"ĉvideo":98047,"ĠRanked":98048,".strings":98049,">>>(":98050,"ĠинÑĤеÑĢ":98051,"Ġresta":98052,"[:,:":98053,"Ġrendre":98054,"Ġdeser":98055,"Jos":98056,"Ġdisruptions":98057,"ĠопеÑĢ":98058,"sampling":98059,"suppress":98060,"ĠcontainerView":98061,"ĠSeamless":98062,"Ġairy":98063,"Ġonload":98064,".WindowManager":98065,"ĠPLA":98066,"braco":98067,".setPositiveButton":98068,"Ġpdu":98069,"Ġgsi":98070,"ĠCli":98071,"_gradients":98072,"Ñıд":98073,"ĠWhisper":98074,"cstdint":98075,"Ġläng":98076,"Ġformulations":98077,"énom":98078,"ournemouth":98079,"[$_":98080,"Ġordinarily":98081,".setUsername":98082,"Ġfaculties":98083,"MITTED":98084,"/values":98085,"Ġweir":98086,"ĠApt":98087,"MZ":98088,"ĉcf":98089,"ucken":98090,"ĉĉĉĉĉĉĉĉĉĉĉĉĉĉĉĉĉĉĉĉ":98091,"defense":98092,"[iVar":98093,"ĠBusinessException":98094,"Selectors":98095,"(coordinates":98096,"ĠResets":98097,"ĠDrinks":98098,"oleans":98099,"(stypy":98100,"_IOC":98101,".xxx":98102,"ĠSlater":98103,"ĠBelize":98104,"Ġ/************************************************************************":98105,"addin":98106,"_episodes":98107,"Ġischem":98108,"legalArgumentException":98109,"Danny":98110,"Ġpared":98111,".codehaus":98112,"ĠAssy":98113,"ĉRect":98114,"âŀ":98115,".lista":98116,"ĠваÑĪ":98117,"Ġvets":98118,"HWND":98119,"isoner":98120,"Ġxo":98121,"Ġorally":98122,"ĠStmt":98123,".rnn":98124,"ĠDPI":98125,"ĠStrikes":98126,".setViewportView":98127,"ĠèĩªåĬ¨çĶŁæĪIJ":98128,"YELLOW":98129,"GLenum":98130,"partners":98131,"ĠImplicit":98132,"Ġtako":98133,"âĢĻelle":98134,"Ġermög":98135,"totalCount":98136,"Gil":98137,"ĉwork":98138,"Ġpratic":98139,"inati":98140,"abies":98141,"ĠSkinner":98142,"Ġspirited":98143,"Ġpancreatic":98144,"Ġhdf":98145,"'em":98146,"Ġpsychosis":98147,"olicit":98148,"Ġ\"{\"":98149,"_atual":98150,"Ġélect":98151,"TEAM":98152,"Ġdak":98153,"ĠSWAT":98154,".FragmentManager":98155,"Ġprovisioning":98156,"lifetime":98157,"_EXTENSIONS":98158,"ĠCASCADE":98159,"Ġ![":98160,"(KP":98161,"Ġvem":98162,"ĠInterracial":98163,"']},Ċ":98164,"spacer":98165,"_kv":98166,"Warehouse":98167,"RDD":98168,"_fsm":98169,".StretchImage":98170,",Yes":98171,"ĠRefugee":98172,"ĠBringing":98173,"Ġválido":98174,".intersection":98175,"Ġspooky":98176,"_portal":98177,"Ġmoth":98178,"ĠZodiac":98179,"ĠSOCIAL":98180,"MimeType":98181,"']}}":98300,"_Blue":98301,"Ġbotanical":98302,"Ġfrags":98303,"Ġfamilial":98304,"-du":98305,"Ġseizing":98306,"(blocks":98307,".rd":98308,".checkNotNull":98309,"Ġmiser":98310,"Ġmaxx":98311,"ĠKnee":98312,"ViewItem":98313,"InnerHTML":98314,"Danger":98315,"((__":98316,"Ġprzypad":98317,"createUrl":98318,"**,":98319,"ĠDecorating":98320,"ATEGY":98321,"?>/":98322,".Designer":98323,"hexdigest":98324,"ĠEverywhere":98325,"alleries":98326,".TEXTURE":98327,".Blocks":98328,"zell":98329,"Ġpreço":98330,"Suddenly":98331,"inputEmail":98332,"(sync":98333,".bd":98334,"golden":98335,">');":98336,"ĠDickinson":98337,">>(Ċ":98338,"ĠQUEUE":98339,"ĠgetColumn":98340,"ĠSAND":98341,".piece":98342,"licer":98343,"Flutter":98344,"ĠgetVersion":98345,"ĠresourceId":98346,"ogl":98347,"ÅĤaw":98348,".Branch":98349,"ĉweb":98350,"Ġframerate":98351,"PPP":98352,"Ġfray":98353,"CNT":98354,"Ġinformatie":98355,"']čĊčĊ":98356,"neas":98357,"HeaderCode":98358,"Ġæ¸":98359,"Ġtrg":98360,"rawtypes":98361,"Honda":98362,"Ġmarketer":98363,"ĠrequestData":98364,"ĠPg":98365,"ĉnot":98366,"ĠpageInfo":98367,"Ġaktuellen":98368,"ãģķãĤĵ":98369,"ĠAMS":98370,"pushViewController":98371,"ĉAL":98372,"Ġvests":98373,"produce":98374,"-même":98375,"ĠRahman":98376,"Funny":98377,"EZ":98378,"_Valid":98379,"Ġsquadron":98380,"Ġlash":98381,"Ġirm":98382,"iasco":98383,"ĠParan":98384,"Ġpetites":98385,"ĠDecay":98386,"Ġuninitialized":98387,"privileged":98388,"Ġmbedtls":98389,"å¤ĩ注":98390,"Ġ^.":98391,"Ġecstatic":98392,"Detroit":98393,"Ġparten":98394,"Ġsouvenir":98395,".getLogin":98396,"моÑĤÑĢ":98397,"enção":98398,"ĠmÃŃnimo":98399,"ĠAccessed":98400,"rió":98401,"Mic":98402,"ĠVocal":98403,".SetString":98404,"Ġmensajes":98405,"åĢį":98406,"Ġattravers":98407,"ĠAph":98408,"Ġ');čĊ":98409,"ünde":98410,"Ġenchanted":98411,"ĠRootState":98412,"ĠCLOSED":98413,"ĉĉĉĉĉĉĉĉčĊ":98414,"Ġcaliente":98415,"orris":98416,"Ġphysicists":98417,"hwnd":98418,"_vi":98419,"Ġrápido":98420,"Ġcapitalized":98421,"edBy":98422,"Ġmachining":98423,"Ġhubby":98424,"ĠStacy":98425,".Bus":98426,"drink":98427,"Hur":98428,"Ġpropia":98429,"UnitTest":98430,"Ġmisconception":98431,"__));Ċ":98432,"/dc":98433,"ĠMayweather":98434,"_mC":98435,".createFrom":98436,"ĠQPainter":98437,"ropsych":98438,"innitus":98439,"ayas":98440,"Ġgeg":98441,"(dw":98442,"Ġusado":98443,"Ġtrickle":98444,"Ġannihil":98445,"ĠPasta":98446,"Ġ++Ċ":98447,"(ExpectedConditions":98448,".postValue":98449,"icap":98450,"ĠDonetsk":98451,"_soup":98452,"-publish":98453,"ĠPb":98454,"mentions":98455,"ACCEPT":98456,".Pull":98457,",âĢĻâĢĻ":98458,"Ġretarded":98459,"_ATOM":98460,"ĠTerminator":98461,"-court":98462,"ĠCLLocationCoordinate":98463,"Ġreverence":98464,"ĠSSC":98465,"utely":98466,"ĠWON":98467,"ĠGSL":98468,"frei":98469,".getLongitude":98470,"ĠopenFileDialog":98471,".Butter":98472,"-important":98473,"_MANY":98474,"ĠGong":98475,"âĢľHow":98476,"Ġgorge":98477,"=msg":98478,"ĠEzek":98479,"createCommand":98480,":checked":98481,"Ġinfographic":98482,".WEST":98483,"Dirs":98484,"Ġguarda":98485,"Ġbeetle":98486,"Loading":98560,"_mA":98561,".getRandom":98562,"blings":98563,"Ġcheeses":98564,"tti":98565,".âĢ¢":98566,"ĠBurgess":98567,"enderit":98568,".',čĊ":98569,"(\"\"+":98570,"acb":98571,"%p":98572,"indexed":98573,"_predicate":98574,"nesia":98575,"Ġbied":98576,"ĠCIT":98577,"(Pos":98578,"_radi":98579,"ä»·æł¼":98580,"Biz":98581,"ĠAdolescent":98582,"Ġviên":98583,"cycl":98584,"_Cancel":98585,"Ġconclusive":98586,"Ġappellate":98587,"informatics":98588,"SJ":98589,"Ġelective":98590,"roleId":98591,"Fetcher":98592,"ĉCommand":98593,"(\"(%":98594,"Ġfart":98595,"ILA":98596,"getBlock":98597,"AUSE":98598,"Ġдан":98599,"ĠArte":98600,"Ġnotifying":98601,"Ġgele":98602,".same":98603,"ĠRegel":98604,"ĠBaÅŁ":98605,".creation":98606,"ĠVN":98607,"_community":98608,"Ġunsustainable":98609,"SEX":98610,"ĠgridSize":98611,"rescia":98612,"aversable":98613,"(',')[":98614,"ĠPhelps":98615,"á»ķi":98616,"ANCELED":98617,"-IS":98618,".runners":98619,"ĠStokes":98620,".Produ":98621,"Ġwhipping":98622,"_acquire":98623,"Ġinvestigación":98624,"fried":98625,".copyWith":98626,"ĠHardcover":98627,"-Se":98628,"áŀ¶áŀ":98629,"invitation":98630,"lesai":98631,"ĠDorm":98632,"ĠÑģпиÑģка":98633,"Ġconcatenated":98634,"ophil":98635,"Ġthinker":98636,"/fontawesome":98637,"ĠLeopard":98638,"Ġ\"/\");Ċ":98639,"Ġresiduals":98640,"ĠMicrowave":98641,"Ġconforme":98642,"throp":98643,"Ġdisemb":98644,"ĠOMG":98645,"ĠDiscipline":98646,"ĠAcrobat":98647,"/repository":98648,"dfa":98649,"_MED":98650,"bufio":98651,"Ġméthode":98652,"_HOLD":98653,"iasi":98654,"_legacy":98655,")ččĊ":98656,"æ£Ģ":98657,"GetProcAddress":98658,"Ġyay":98659,"otence":98660,"orderid":98661,"-tw":98662,"Ġdearly":98663,"Incoming":98664,"/il":98665,"Ġneurop":98666,"ucz":98667,");čččĊ":98668,"ĠInnovative":98669,"Ġprofund":98670,"igmat":98671,"SelectionMode":98672,"relevant":98673,".GO":98674,"Ġbruises":98675,"Ġsach":98676,"odef":98677,"Ġreimb":98678,"/desktop":98679,"-spot":98680,"undance":98681,"Entropy":98682,"\\core":98683,"Ġsuger":98684,"ĠMvc":98685,"ĠGNOME":98686,"_indx":98687,"ĠYYSTYPE":98688,"ĠMatlab":98689,"ĠCIF":98690,"Ġ*))":98691,"ĠproductList":98692,"ĠAlright":98693,"acemark":98694,"ÑĤив":98695,"modification":98696,"international":98697,"Ġhomers":98698,"Ġdicts":98699,"ĠQFont":98700,".SQLite":98701,"Ġtransplantation":98702,"ĠMessageBoxButton":98703,"ĠElves":98704,"']])Ċ":98705,"(QIcon":98706,"Ġcinemas":98707,"COORD":98708,"-China":98709,"Ġkhẩu":98710,"æĪijçļĦ":98711,"Ġskulls":98712,"Ġpainstaking":98713,"fce":98714,".XRLabel":98715,"Ġspecifier":98716,"Ġpreferring":98717,"/activity":98718,"(Photo":98719,"ált":98720,".lot":98721,"''.":98722,"annonce":98723,".googlecode":98724,"-pdf":98725,"ĠPoke":98726,"_ACL":98727,"Ġendowed":98728,"discover":98729,".omg":98730,"Ġwoodland":98731,".Magic":98732,"Ġvolont":98733,"NotAllowed":98734,"Ġchave":98735,"BMW":98736,"','=',":98737,"ĠSIX":98738,"æĪij们":98739,"Ġkosher":98740,"Ġaspiration":98741,"intl":98742,"_refptr":98743,"'+Ċ":98744,"mentor":98745,".club":98746,"WindowState":98747,".ARR":98748,"Ġzza":98749,"ĠmessageType":98750,".equ":98751,"Thor":98752,"Ġinjust":98753,"Ġgums":98754,"ĠborderSide":98755,"/////":98756,"ĠTransmit":98757,"Ġbufsize":98758,"Ġhak":98759,"Ġellas":98760,"RANDOM":98761,"ĉmc":98762,"Ġpea":98763,"eko":98764,"documento":98765,"Ġhysteria":98766,"Ġarenas":98767,"Ġgunmen":98768,"Ġmike":98769,"Ġimpunity":98770,"atisation":98771,"_Zero":98772,"_COMPANY":98773,"ĠGors":98774,"ĠuseClass":98775,"(redis":98776,"ĠRUNNING":98777,"ĠBair":98778,"velte":98779,"Ġ','.":98780,"аÑĤÑĮÑģÑı":98781,"öst":98782,"encodeURIComponent":98783,"_restrict":98784,"Ġdecals":98785,"ĠPedido":98786,"Ġaltercation":98787,"Displays":98788,"ĠApplicants":98789,"CUS":98790,"Textarea":98791,"ĠAngola":98792,".future":98793,"ĠUSHORT":98794,"Ġsuppressing":98795,"Ġsetzen":98796,"APolynomial":98797,"Ġtoch":98798,"Ġhallmark":98799,"Ġ$$$":98800,"ĠCHARSET":98801,".rpm":98802,"ĠDich":98803,"--------------------":98804,"_parm":98805,"è¿ĺ":98806,"acciones":98807,"hait":98808,"WARDED":98809,"_routing":98810,"ĠNOM":98811,"Ġenclave":98812,"ĠLotto":98813,"ĉfr":98814,"complexContent":98815,"ĠBallard":98816,"kube":98817,"/win":98818,".getColumnModel":98819,"_REPLACE":98820,"HeaderValue":98821,"Ġestudiantes":98822,"Ġapis":98823,"Ġbpm":98824,"ĠTypeName":98825,"AndGet":98826,"rita":98827,"Plans":98828,">Note":98829,"Ġfetisch":98830,"Ġtoned":98831,"_goto":98832,"onsense":98833,"Ġmolds":98834,"Ġinfiltration":98835,"ĠGuerrero":98836,"ubbo":98837,"cki":98838,"($(\".":98839,"_activities":98840,"(changes":98841,"ĠofApp":98842,"ĠKepler":98843,"ĠDemp":98844,"ĠContinent":98845,".Ticks":98846,"ĠUnsigned":98847,"ĠJahres":98848,"Ġfreshmen":98849,"ĠArchived":98850,"ĠкоÑĤоÑĢÑĭй":98851,"Ġ'::":98852,"Tutorial":98853,"Cc":98854,"ĠtableLayoutPanel":98855,"fromJson":98856,".levels":98857,"_transient":98858,"Ġendorsing":98859,"ĠDIC":98860,"lauf":98861,"Ġshred":98862,"_EMIT":98863,"ificantly":98864,"ALA":98865,"/proto":98866,"Ġnarrowing":98867,"Utc":98868,"Factors":98869,"Ġsentient":98870,"æŀIJ":98871,"lixir":98872,"ĠCROSS":98873,"meteor":98874,"Ġgroin":98875,"Ġmdb":98876,"ĠRotterdam":98877,"Ġcomida":98878,"ĠOpCode":98879,"ĠDefaultValue":98880,"PermissionsResult":98881,"Ġheterogeneous":98882,"Ġmoot":98883,"Ġdeceived":98884,"-independent":98885,"ĠObjectOutputStream":98886,"Ġoverpower":98887,".dup":98888,"Ġldb":98889,"Ġdomestically":98890,"Ġbestellen":98891,"Ġlov":98892,"ĠContractors":98893,"Triangles":98894,"Ġfodder":98895,"Ġfilmes":98896,"ä¼ģ":98897,"Ġrevolver":98898,"StartupScript":98899,"/validation":98900,"ĠResourceType":98901,"iÅŁ":98902,"ĠLaz":98903,"fef":98904,"Ġlstm":98905,"{*":98906,".attachment":98907,".hits":98908,"ewith":98909,"DOG":98910,"Alabama":98911,"Ġmediums":98912,".mContext":98913,"-cols":98914,"åıĭ":98915,".notice":98916,"Ġattn":98917,"ĠPacking":98918,"ĠLn":98919,"_COMPLEX":98920,"/Users":98921,".savetxt":98922,"ĠRounds":98923,"?,?,?,?,":98924,"Ġingl":98925,"ĠROC":98926,"_female":98927,"ĠStard":98928,"]];":98929,"Ġwrestlers":98930,"Ġtorrents":98931,"Ġsinh":98932,"ĊĊ":98933,"ë³µ":98934,"sense":98935,"however":98936,".Physics":98937,"Infrastructure":98938,"ĠSacr":98939,"Fel":98940,"ĠDISTRIBUT":98941,"éments":98942,"ĠValidates":98943,"############################################################":98944,"Ġ|/":98945,"Ġesl":98946,"Ġréseau":98947,"ĠBip":98948,"BYTES":98949,"_WATER":98950,"Turning":98951,"ELS":98952,"Ġjuxtap":98953,"Ġlesbische":98954,"ých":98955,"(Unknown":98956,"Neo":98957,"@JsonProperty":98958,"Ġalumnos":98959,"ĠRaqqa":98960,"imei":98961,".getBounds":98962,".MouseEventHandler":98963,"#######":98964,"GenericType":98965,"/cms":98966,"Ġturno":98967,"Ġмин":98968,"Ġfolklore":98969,"ĠEvo":98970,"Ġconductivity":98971,"Ġleben":98972,"Ġgearbox":98973,"-vs":98974,"ĠÏĨ":98975,"Ġdrinkers":98976,"Ġconexao":98977,"ĠTeeth":98978,"ĠgetArguments":98979,"ĠRAT":98980,"entious":98981,"Educ":98982,"+W":98983,"ĠInstitutional":98984,"ĠBord":98985,"isEqual":98986,"(pwd":98987,"Ġignited":98988,"ĠRousse":98989,"Ġimpactful":98990,"ĠMalk":98991,"Ġgeral":98992,"ĠPivot":98993,"Ġazt":98994,"Ġcsvfile":98995,"ĠRope":98996,"ĠSOLUTION":98997,"ĠArbitrary":98998,"Ġletto":98999,".MouseAdapter":99000,"Ġ}}}":99001,"ĠSailor":99002,"dera":99003,"Putting":99004,"Ġconcentrates":99005,"ĠauthDomain":99006,"âĢĿçļĦ":99007,"-finals":99008,",strlen":99009,"Muon":99010,"ĠOrdinary":99011,"firefox":99012,"ĠLaTeX":99013,"ĠHund":99014,"engineering":99015,"/blue":99016,"edTextBox":99017,"(\"\");":99018,"ĠCDDL":99019,"kept":99020,"ĠGetString":99021,"Kir":99022,"()='":99023,"ĠOCD":99024,"antium":99025,"$menu":99026,"ĠAppalachian":99027,"Secretary":99028,"ë¥ĺ":99029,"ีย":99030,"Semantic":99031,"Ġ*[":99032,"estone":99033,"ungkin":99034,"MaxY":99035,"-tone":99036,"\"};čĊ":99037,"_Part":99038,"ĊĊ":99240,"Lic":99241,"ĠMirage":99242,"ĠAssemblyFileVersion":99243,"TeV":99244,"ĠValueEventListener":99245,"-solving":99246,"Tho":99247,"roulette":99248,"_WP":99249,"Ġuninterrupted":99250,"ĠfieldType":99251,".Typed":99252,"Ġamour":99253,"Ġmockery":99254,"(vol":99255,"ĠSubcommittee":99256,"ĠRuf":99257,"erox":99258,":UIButtonTypeCustom":99259,"ĠBlur":99260,"Ġwykon":99261,"nces":99262,"ASHBOARD":99263,"!!\");Ċ":99264,"Ġmurderers":99265,".daily":99266,"ĠDIAG":99267,"jing":99268,"Ġdolphin":99269,"Ġlòng":99270,"Ġbö":99271,"ĠVocabulary":99272,".StObject":99273,"')\">":99274,"Ġzun":99275,"Ġscrimmage":99276,"tréal":99277,"ĠLig":99278,"[vi":99279,"Cole":99280,"Ġfrosting":99281,".Players":99282,"-translate":99283,"Feels":99284,"=\\\"/":99285,".ButterKnife":99286,"Ġ?>;Ċ":99287,"Ġavi":99288,"innie":99289,".Failure":99290,"Ġspindle":99291,"ConfigurationException":99292,"_hop":99293,"Ġposição":99294,"ĠAwait":99295,"UIImagePickerController":99296,"ĉday":99297,"Ġgenom":99298,"Cab":99299,"ĠÑĢезÑĥлÑĮÑĤаÑĤ":99300,"ORIGINAL":99301,"Ġejaculation":99302,"(tcp":99303,"SECOND":99304,"Ġtonic":99305,"ĠListBox":99306,"ĠĉĉĊ":99307,"()>Ċ":99308,"Ġquatre":99309,"ượng":99310,"withErrors":99311,".Maybe":99312,",âĢ¦":99313,"tokenId":99314,"_UNDEF":99315,"Ġfreshness":99316,"ĠAmendments":99317,".mapbox":99318,".CV":99319,"(blog":99320,"_gettime":99321,".quest":99322,"sparse":99323,"Ġresale":99324,"Ġenthusiastically":99325,"ĠProstitutas":99326,"Wa":99327,"Cargo":99328,".Parcelable":99329,"SENSOR":99330,"ĠRyu":99331,"Laughs":99332,"_Native":99333,"/pg":99334,"ysts":99335,"Ġphotoc":99336,"ç®Ģ":99337,"adopt":99338,".species":99339,"conciliation":99340,"Adjusted":99341,".FirebaseAuth":99342,"uttle":99343,"ordination":99344,"Ġmunch":99345,"ĠStake":99346,".ping":99347,"anker":99348,"(QStringLiteral":99349,"Ġsubscript":99350,"ĠĠĉĊ":99351,"ĠMCC":99352,"_Cmd":99353,"sexy":99354,"iou":99355,"ĠMANY":99356,"Ġnanny":99357,"TRAIN":99358,"Ġflourishing":99359,"ĠWatches":99360,"ĠQMap":99361,"ĠFerm":99362,"Ġwasm":99363,"ĠAbed":99364,"_UD":99365,"ĠGlasses":99366,"+v":99367,"Attend":99368,".Chain":99369,"Ġdecency":99370,"ĠSupplementary":99371,"hunter":99372,"-txt":99373,"Ġ\"}\";Ċ":99374,".setWindowTitle":99375,"(\"":99477,"Ġmascara":99478,"(Profile":99479,"åĬŁèĥ½":99480,"imité":99481,"Ġwildfires":99482,"-ROM":99483,".isOn":99484,"(groupId":99485,"Repair":99486,"accumulate":99487,"Ġ<\",":99488,"Ġhandwritten":99489,"Ġacheter":99490,"ĠMGM":99491,"ĠIrma":99492,"->{_":99493,"gee":99494,"criminal":99495,"Ġèĭ¥è¦ģ":99496,"Ġmomentarily":99497,"\")!=":99498,"_lit":99499,"ĠexpiresIn":99500,".\").":99501,"éķ¿åº¦":99502,"Ġfrække":99503,"vlc":99504,"Ġorbs":99505,"),$":99506,"Ġventured":99507,"/>\\":99508,"charm":99509,"Nuitka":99510,"eldig":99511,"atonin":99512,"Witness":99513,"-lat":99514,"ĠsetHidden":99515,"Ġrelics":99516,"Ġconsulate":99517,".IGNORE":99518,"\"After":99519,"ĠsetAddress":99520,"Ġbesteht":99521,"Ġ'')ĊĊ":99522,".xaxis":99523,"Ġserão":99524,"Ġmisled":99525,"_UNIFORM":99526,"ĠVIA":99527,"incr":99528,"Ġzenith":99529,"Ġviscosity":99530,"Ġthinly":99531,".getSharedPreferences":99532,".ErrorCode":99533,"\"),\"":99534,"ĠMillionen":99535,"Ġ/>)Ċ":99536,"ScrollIndicator":99537,"-seeking":99538,"ĠPOLITICO":99539,"asca":99540,"_rl":99541,"Navig":99542,"(fullfile":99543,"Ġsolitude":99544,"Ġjuven":99545,"Ġhauling":99546,"ĠMacros":99547,"ĠGry":99548,"Ġexercitation":99549,"ĠATTACK":99550,"TickCount":99551,"Ġrites":99552,"Ġdoe":99553,"ParticleSystem":99554,"Ġslu":99555,"WindowText":99556,"ĠClassName":99557,"Ġslander":99558,"ĉPort":99559,"jong":99560,"?a":99561,".Dial":99562,"âĢĶat":99563,"$objPHPExcel":99564,"Ġsoar":99565,"ENN":99566,"appeared":99567,"Ġquotid":99568,"emachine":99569,"Ġnip":99570,"Ġmicrotime":99571,"ĠAlma":99572,";!":99573,"------------------------------------------------------------------------------------------------":99574,"ĠPassage":99575,"Ġdumpsters":99576,"ĠExclude":99577,"Ġsuggestive":99578,"ĠCircularProgressIndicator":99579,"_clr":99580,"ArrayType":99581,"ILLA":99582,"ElapsedTime":99583,"Driven":99584,"ĠresourceName":99585,"ĠGarrison":99586,"serir":99587,"-ahead":99588,"Ġpinnacle":99589,"ĠEspresso":99590,"Sparse":99591,"Ġassays":99592,"ĠGirlfriend":99593,"imid":99594,"]='\\":99595,"ONGLONG":99596,"Ġportraying":99597,"Lane":99598,"Ġbúsqueda":99599,"Ġreinforcements":99600,"ĠSpreadsheet":99601,"ĠArrayCollection":99602,",arr":99603,"lightbox":99604,"icana":99605,"<\"":99606,"builders":99607,"Kid":99608,"ĠMatSnackBar":99609,"EXPR":99610,"odcast":99611,"ĠFoundations":99612,"Ġinds":99613,"='${":99614,"Fizz":99615,"-functional":99616,"(workspace":99617,"Ġstemmed":99618,"_patches":99619,"ĠJarvis":99620,"READING":99621,"Ġdisrespectful":99622,"ĠQDom":99623,"Ġ${Ċ":99624,"estatus":99625,"Reached":99626,"!.ĊĊ":99627,"ILT":99628,"ĠNDEBUG":99629,"ĠCourage":99630,"birthdate":99631,"ĠTing":99632,"Ġutilizado":99633,"ánchez":99634,"Outdoor":99635,"Ġhandguns":99636,"RefCount":99637,"ÉĻ":99638,"romo":99639,"Ġtts":99640,".She":99641,"ĠPane":99642,"ãĢij,ãĢIJ":99643,"ĠIOCTL":99644,"/black":99645,"inscription":99646,"Ġbiopsy":99647,"ĠTimeInterval":99648,".TestCheck":99649,"ĠGUIStyle":99650,"ĠCapability":99651,"ĠBeitrag":99652,"donnees":99653,"Treatment":99654,".backup":99655,"Ġsignings":99656,"ĠBoca":99657,"drm":99658,".MAIN":99659,"Ġgoede":99660,"ĠMarkup":99661,"GREE":99662,"ĠBaseService":99663,".Creator":99664,"Ġjails":99665,"ĠKahn":99666,"IpAddress":99667,"ACHI":99668,"Ġinhibited":99669,"Ġ@$_":99670,"ĠAssass":99671,"Ġenviado":99672,"Heroes":99673,"ÐŁÐµÑĢ":99674,"ĠMaven":99675,".ls":99676,"Ġive":99677,"|RF":99678,"ĠresizeMode":99679,"Ġrumpe":99680,"_attachments":99681,"TU":99682,"Ġtactile":99683,"Attempting":99684,"Ġrobin":99685,"yaw":99686,"Ġmercenaries":99687,"ĠHabitat":99688,"enddate":99689,"Ġoxy":99690,"ĉRandom":99691,"ohon":99692,"IsNull":99693,"ĠValidationResult":99694,"ãĥļ":99695,"umbed":99696,"ppv":99697,"Ġarp":99698,"ichick":99699,"_rnn":99700,"ĠTFT":99701,"TexImage":99702,"\"On":99703,"ĠSampler":99704,"topl":99705,"Ġjane":99706,"yling":99707,"ĠUNICODE":99708,"TabIndex":99709,"<{Ċ":99710,"suspend":99711,"uvian":99712,",application":99713,"олиÑĩеÑģÑĤво":99714,"yat":99715,"ezier":99716,"ĠCHUNK":99717,"ĠAdler":99718,"/Add":99719,"ĠKeyValue":99720,"Ġsposób":99721,"Sampling":99722,"chers":99723,"_AMD":99724,"Ru":99725,".MustCompile":99726,"Nation":99727,"Assoc":99728,"Managing":99729,"ĠEngl":99730,"_GB":99731,"Ġsuccinct":99732,"Ġdisliked":99733,"ĠIke":99734,"Bulletin":99735,"_ARCHIVE":99736,"Proposal":99737,"Ġjogging":99738,".CREATED":99739,"Ġchol":99740,"è£ħ":99741,"Į¨":99742,"-push":99743,"Ġreserva":99744,"corev":99745,"ètre":99746,"THR":99747,"Ġincompetence":99748,"Ġcharisma":99749,"æĦŁ":99750,"Ġ\"==":99751,"BTN":99752,"ĠLocator":99753,"ivet":99754,"('.')Ċ":99755,"ĠforIndexPath":99756,"ôme":99757,"Ġcapacit":99758,"waters":99759,"ĠWRONG":99760,"hoa":99761,"ĠMIPS":99762,"Ġemiss":99763,"ĠJacqueline":99764,"(cmp":99765,"Ġeens":99766,"Leo":99767,".timing":99768,"CLUSION":99769,"Ġ(\"-":99770,"åĵĪ":99771,".kode":99772,"ĠUndert":99773,"Ġbewild":99774,"ĠEssen":99775,".hd":99776,"Ġrenegot":99777,"Ġmower":99778,"Ġlsp":99779,"Ġpenchant":99780,"Ġmanoe":99781,"Ġagli":99782,"Ġrecal":99783,"ĠOPERATION":99784,"(^)(":99785,"Ġν":99786,"ĠScoped":99787,"Ġ@\"Ċ":99788,"=label":99789,"[loc":99790,"Intl":99791,"ĠNz":99792,"tablet":99793,".ColumnName":99794,"ĠscreenSize":99795,"DBus":99796,"cooked":99797,"-registration":99798,"âĢľOne":99799,"-non":99800,"ĠwiÄĻc":99801,"Ġcosta":99802,".addTab":99803,".conditions":99804,"ĠHess":99805,"MEMORY":99806,"ĠAvalanche":99807,"()}}Ċ":99808,"Ġtriplet":99809,"Ġlabyrinth":99810,"ĠNodeList":99811,"ĠNYT":99812,"Ġyeni":99813,"dff":99814,".HtmlControls":99815,"AVIS":99816,"/Math":99817,"Ġmemcmp":99818,"اء":99819,"оÑģÑĮ":99820,"crap":99821,"(pages":99822,"Ġlxml":99823,"ĠQDateTime":99824,"_tcb":99825,"Ġopenid":99826,"Ġsynaptic":99827,"ĠMDMA":99828,"(slug":99829,"igmatic":99830,"enor":99831,"Ġcramped":99832,"GOP":99833,"ŃIJ":99834,".isFile":99835,"ĠDifferential":99836,"Ġ=\"\";Ċ":99837,"ĉĉĉĠĠĠĠĉ":99838,"ĠCooke":99839,"ĉUFUNCTION":99840,"Ġperseverance":99841,"RelativeLayout":99842,"IMPORTANT":99843,"Ġexon":99844,"Ġон":99845,"ibase":99846,"(CONT":99847,"novation":99848,"ä½ķ":99849,"[sub":99850,"AdminController":99851,"HTTPHeader":99852,"crear":99853,"ĠNIR":99854,"ĠDropDownList":99855,"Ġvalide":99856,"Ġdehydration":99857,".']":99858,"(WIN":99859,"Ġ...\\":99860,"Ġphotoshop":99861,"ĉInit":99862,"_cou":99863,"ĠtimeZone":99864,"darwin":99865,"romatic":99866,"NavigationItemSelectedListener":99867,"brates":99868,"]--;Ċ":99869,"Ġtragedies":99870,"ĠPediatrics":99871,"SMART":99872,"-API":99873,"ĠMessageLookup":99874,"ĉvo":99875,"Ġprejudices":99876,"ĠmA":99877,"Ups":99878,"ĠMISSING":99879,"ĉad":99880,"Cream":99881,"ĠTb":99882,"ĠMona":99883,"_ghost":99884,"ĉtypes":99885,"Emb":99886,"ĠDocumentary":99887,"');ĊĊĊĊ":99888,"Ġlup":99889,"_Reference":99890,"ĠBATCH":99891,"Ġintertwined":99892,"":100015,"Ġfoyer":100016,"'utilisation":100017,"ĠMüller":100018,"ĠFetish":100019,"ĠdefaultManager":100020,"Ġbacktrack":100021,"Bah":100022,"Explicit":100023,"_ASCII":100024,"ĠmActivity":100025,"(Msg":100026,"Ġê²Į":100027,"ĠTERMS":100028,"ĠAngie":100029,"HSV":100030,"ĠMosque":100031,".Names":100032,"íĬ¼":100033,"reste":100034,"_parms":100035,"Ġgaping":100036,"Ġcropping":100037,"DataFrame":100038,"Ġresponsiveness":100039,"_undo":100040,"_tran":100041,".terminate":100042,"Ġitaliane":100043,"Ġwalkthrough":100044,"Ġattractiveness":100045,"де":100046,"_STS":100047,"_learn":100048,"Ġchocolates":100049,"ierarchical":100050,"-thinking":100051,"Ġ)))":100052,"ishments":100053,".Logf":100054,"ĠTMZ":100055,"ĠCanary":100056,"foil":100057,"ĠVaccine":100058,".vx":100059,"ĠSurround":100060,"Intermediate":100061,"Ġiov":100062,"vais":100063,"';\";Ċ":100064,"ï½ŀĊĊ":100065,"éĢģæĸĻ":100066,"âĢ¦it":100067,"Seats":100068,"Clar":100069,"Wars":100070,"ĠHutchinson":100071,"ĠHasan":100072,"!')ĊĊ":100073,"ĠRichie":100074,"cheiden":100075,"($('":100076,"York":100077,"Ġlids":100078,"Ġalphanumeric":100079,"ĠGlock":100080,".shapes":100081,"Ġsparking":100082,"_epsilon":100083,"uplicated":100084,".dirty":100085,"])==":100086,"ĠìľĦì¹ĺ":100087,"Ġscn":100088,"Ġ/****************************************************************":100089,"_PREVIEW":100090,"_HC":100091,"ielding":100092,"fgets":100093,"ĠAddison":100094,"ĠproductService":100095,"-figure":100096,"(retval":100097,"zano":100098,"Ġautob":100099,"ĉsd":100100,"_numer":100101,"ĠSetLastError":100102,"ĠFior":100103,"ificance":100104,"Untitled":100105,"Ġinfield":100106,"Ġ{}));Ċ":100107,"Ġspac":100108,"Ġrookies":100109,"(describing":100110,"ngen":100111,"ிà®":100112,".rdf":100113,".Mutex":100114,"Ġkneeling":100115,"ĠQE":100116,"setMax":100117,"ReadStream":100118,"Ġventas":100119,"sut":100120,"cmpeq":100121,".WriteAllText":100122,"ĠExperienced":100123,"$__":100124,"Ġkaum":100125,"ĠLIS":100126,"Ġdocumentos":100127,"_HEALTH":100128,"icontains":100129,"Ġartisans":100130,"OWNER":100131,"Ġblinked":100132,"getDisplay":100133,"Ġtoen":100134,"ĠrowNum":100135,"Ġavril":100136,"Ġinvis":100137,"ĠKear":100138,"toBeInTheDocument":100139,"apur":100140,"Ġracked":100141,"ĠMcMaster":100142,"_ATTRIB":100143,"Haz":100144,"Ġfactura":100145,"/ts":100146,"ĠÑĢазмеÑĢ":100147,"Ġzf":100148,"Ġshortfall":100149,".fasta":100150,"ĠCONSTANT":100151,".managed":100152,"gems":100153,"SharedPointer":100154,"Ġblurry":100155,"brightness":100156,"(components":100157,"Ġ...\"ĊĊ":100158,"SELL":100159,"ĠIllustrator":100160,".getChannel":100161,"Ġtrouvé":100162,"ysters":100163,"Ġvois":100164,"ĠLinden":100165,"Ġemojis":100166,"Ġbrawl":100167,"ĠMSR":100168,"ĠElo":100169,"ĠCroatian":100170,"PopupMenu":100171,"Lewis":100172,".JWT":100173,"Ġastonished":100174,"Bush":100175,"(itemId":100176,"Ġdetachment":100177,"ĠEncore":100178,"å°Ķ":100179,"Ġrekl":100180,"Ġcram":100181,")$/":100182,".getHost":100183,"_recommend":100184,"-HT":100185,"_calibration":100186,"Authenticate":100187,".firebaseapp":100188,"UNIX":100189,"ĉCamera":100190,"ĠHEAP":100191,"Ideal":100192,".office":100193,"Ġgoofy":100194,"(Symbol":100195,"Ġjouer":100196,"_partitions":100197,"Ġrapidement":100198,"ĠGNUNET":100199,"idUser":100200,"Ġsupervise":100201,"(Contact":100202,"AWN":100203,"ãģĺ":100204,"Ġnaam":100205,"Ġaust":100206,"åľ¨çº¿":100207,"_softmax":100208,"AllowAnonymous":100209,"ammable":100210,"ROUTE":100211,"*D":100212,"Ġaden":100213,"ĠCristina":100214,"ĠCristiano":100215,"Ġbloodstream":100216,"subclass":100217,"_persona":100218,"CHILD":100219,"-know":100220,"ĠnavigationOptions":100221,"ĠZukunft":100222,"ĠPixar":100223,"Tyler":100224,"Ġunderworld":100225,"Ġsincerity":100226,"Ġdispenser":100227,"Ġkter":100228,"idders":100229,".addNode":100230,"-checked":100231,"Ġkeyst":100232,"ĠWTO":100233,".signals":100234,"Ġadventurer":100235,"ĠPang":100236,"\\R":100237,"=pos":100238,"Ġdispensaries":100239,"ĠCloset":100240,"(\"{\\\"":100241,"ideon":100242,"Ġnécessaire":100243,"()\"Ċ":100244,"_RECEIVED":100245,"Ġrésultats":100246,"Ġmoden":100247,"ĠIcelandic":100248,";d":100249,".allowed":100250,"(newUser":100251,"Ġmerciless":100252,".WaitFor":100253,"Ġdaycare":100254,"ĠConveyor":100255,"нÑĭм":100256,"ĠÑģво":100257,"ĠÐĽ":100258,"ÑģÑĮ":100259,"Ġгод":100260,"Ġгода":100261,"или":100262,"аÑħ":100263,"огда":100264,"Ġво":100265,"Ñģкой":100266,"Ġно":100267,"Ñģкого":100268,"ĠбÑĭл":100269,"Ġже":100270,"енно":100271,"Ñĭм":100272,"Ñģкий":100273,"ĠбÑĭло":100274,"пÑĢ":100275,"иÑĩеÑģк":100276,"ĠÑģов":100277,"ĠиÑħ":100278,"аÑİÑĤ":100279,"ĠгоÑĢ":100280,"ĠгодÑĥ":100281,"елов":100282,"ле":100283,"ĠЧ":100284,"мÑĥ":100285,"овоÑĢ":100286,"ĠÐŁÐ¾":100287,"иÑĩеÑģки":100288,"аÑģÑĮ":100289,"ÑģÑĤво":100290,"Ñīе":100291,"ĠÑĥÑĩ":100292,"ĠÐĿа":100293,"ÑĢе":100294,"ĠÑĩелов":100295,"ĠÑģоб":100296,"ÑģÑĤвен":100297,"дÑĥ":100298,"ĠЯ":100299,"Ñĥл":100300,"ÑĢо":100301,"оÑģÑģ":100302,"ĠÐ¥":100303,"за":100304,"ÑĥÑħ":100305,"каÑı":100306,"Ġбол":100307,"Ġони":100308,"ĠÐĿо":100309,"ĠбÑĭли":100310,"ÑĢод":100311,"ĠÑĩеловек":100312,"ĠпÑĢин":100313,"иÑİ":100314,"ÑĢÑı":100315,"ÑĢак":100316,"ÑģкиÑħ":100317,"еÑĨ":100318,"ĠÑģеб":100319,"ÑĩеÑģ":100320,"ней":100321,"ĠмеÑģÑĤ":100322,"ими":100323,"Ġмог":100324,"влÑı":100325,"нак":100326,"оÑĤив":100327,"ÑģÑĤÑĥп":100328,"ÑĢаж":100329,"ĠÑĩем":100330,"ÑĥÑĪ":100331,"ним":100332,"ĠиÑģ":100333,"ĠаÑĢ":100334,"Ġнад":100335,"ĠÑĤакже":100336,"ĠобÑī":100337,"ĠобÑĢаз":100338,"Ġкогда":100339,"ĠÑĤем":100340,"пеÑĢ":100341,"ĠбÑĭла":100342,"ĠÑĢе":100343,"оÑĢо":100344,"ĠкÑĢ":100345,"кой":100346,"ĠкоÑĤоÑĢÑĭе":100347,"ĠиÑģÑĤ":100348,"нÑĭми":100349,"ĠÑĤого":100350,"Ñıн":100351,"Ġжиз":100352,"ĠоÑģнов":100353,"Ġее":100354,"ĠпеÑĢе":100355,"Ġни":100356,"Ġвой":100357,"ĠÑĤом":100358,"олог":100359,"ĠÑįÑĤом":100360,"Ġде":100361,"ĠÑģÑĢед":100362,"ании":100363,"Ġболее":100364,"ÑĢÑĥд":100365,"ĠлеÑĤ":100366,"ĠÐłÐ¾ÑģÑģ":100367,"ĠпÑĢоиз":100368,"ĠÑĩа":100369,"Ñĭва":100370,"ĠнаÑģ":100371,"Ġона":100372,"ĠеÑīе":100373,"еждÑĥ":100374,"ĠлÑİд":100375,"ĠпоÑģле":100376,"ÑģÑĤÑĢо":100377,"гÑĢ":100378,"емÑĥ":100379,"ĠÑģоÑģÑĤав":100380,"ĠШ":100381,"ÑģÑĤоÑı":100382,"ÑİÑĤÑģÑı":100383,"ÑĢÑĥж":100384,"пол":100385,"иб":100386,"Ñĥз":100387,"Ġпл":100388,"ÑĢад":100389,"ÑĪиÑħ":100390,"ĠÑįÑĤи":100391,"ĠÑįÑĤого":100392,"ком":100393,"ĠболÑĮÑĪ":100394,"ĠпÑĢоÑĤив":100395,"ĠоÑĤно":100396,"еÑĤÑĮ":100397,"ĠговоÑĢ":100398,"ĠоÑĢг":100399,"ĠлÑİб":100400,"еÑĤа":100401,"ĠÐŁÑĢи":100402,"ĠÑĤÑĭ":100403,"ало":100404,"Ġмн":100405,"ĠпÑĢедÑģÑĤав":100406,"аже":100407,"иÑģÑĮ":100408,"ĠТак":100409,"ĠÑıвлÑı":100410,"ĠпÑĢоÑģÑĤ":100411,"иж":100412,"ĠÑģм":100413,"ние":100414,"ива":100415,"Ġгде":100416,"Ġназ":100417,"оÑģÑĥд":100418,"ÑĭÑĪ":100419,"ĠÐŀн":100420,"Ġвз":100421,"ĠдейÑģÑĤв":100422,"иÑĤелÑĮно":100423,"елей":100424,"илÑģÑı":100425,"Ñıв":100426,"ĠпоÑģ":100427,"ÑĨÑĭ":100428,"ĠÑĢаÑģÑģ":100429,"ениÑİ":100430,"лиÑģÑĮ":100431,"ĠоÑģÑĤ":100432,"Ġпон":100433,"ÑģкаÑı":100434,"ĠвÑĭÑģ":100435,"ваÑĢ":100436,"кÑĢ":100437,"аниз":100438,"ĠÐĿе":100439,"оÑģÑĥдаÑĢ":100440,"ÑĨе":100441,"ÑĭÑĤ":100442,"ÑıÑĤи":100443,"ĠвоÑģ":100444,"ĠмеждÑĥ":100445,"анÑĤ":100446,"Ñijн":100447,"ĠÐŃÑĤо":100448,"алÑģÑı":100449,"ÑıÑī":100450,"иÑĢа":100451,"Ġгл":100452,"ĠменÑı":100453,"алÑĮно":100454,"Ñģкие":100455,"нÑĥ":100456,"Ñģком":100457,"ĠÑģÑĤÑĢан":100458,"ĠÑģвÑıз":100459,"леÑĤ":100460,"ĠÑĤе":100461,"воÑĢ":100462,"вÑĪ":100463,"оÑĤов":100464,"Ġнем":100465,"ĠнаÑĪ":100466,"Ġдаже":100467,"меÑģÑĤ":100468,"ĠÑħоÑĤ":100469,"Ġглав":100470,"ĠÑģказ":100471,"ĠоÑĩенÑĮ":100472,"анов":100473,"ĠпÑĢив":100474,"Ñģе":100475,"Ġиме":100476,"ден":100477,"веÑģÑĤ":100478,"ĠÑĩаÑģÑĤ":100479,"ÑĪÑĮ":100480,"Ġвн":100481,"ÑĪий":100482,"ĠÑĥд":100483,"ÑĤелÑĮ":100484,"ĠÑģебÑı":100485,"ĠнеÑģк":100486,"Ñģлед":100487,"еÑģп":100488,"ĠемÑĥ":100489,"овал":100490,"ĠиÑģÑĤоÑĢ":100491,"Ġзд":100492,"Ġник":100493,"оÑģоб":100494,"Ġвозмож":100495,"иÑĢÑĥ":100496,"Ġмне":100497,"ĠниÑħ":100498,"ĠÑĢазв":100499,"иÑĨи":100500,"ĠпоÑĩ":100501,"нако":100502,"Ġодин":100503,"Ġдом":100504,"ĠÑĤеÑħ":100505,"во":100506,"Ġпоп":100507,"ĠÑĢеÑĪ":100508,"ÑįÑĤ":100509,"Ġзам":100510,"еÑĢи":100511,"ÑĮÑı":100512,"ĠÐĹа":100513,"лаÑģÑĤи":100514,"бо":100515,"лÑģÑı":100516,"ман":100517,"ÑĢаÑĦ":100518,"ÑĢом":100519,"ĠÐŀд":100520,"инÑĭ":100521,"ников":100522,"га":100523,"ÑĢиÑĤ":100524,"ĠÐIJн":100525,"ги":100526,"ĠÑģÑĥд":100527,"оÑĢон":100528,"ÑĢон":100529,"ĠÐļак":100530,"лекÑģ":100531,"бÑĭ":100532,"ÑĢаÑģ":100533,"ĠÑĤеÑĢ":100534,"иÑĤÑĮÑģÑı":100535,"Ġкоманд":100536,"ĠЦ":100537,"ики":100538,"един":100539,"ĠнаÑħод":100540,"Ñıм":100541,"ĠгоÑĢод":100542,"ион":100543,"лов":100544,"ĠÐŁÐµÑĢ":100545,"Ġвоп":100546,"боÑĢ":100547,"ĠоÑĢганиз":100548,"ÑĩеÑģки":100549,"нее":100550,"Ġмного":100551,"лин":100552,"оÑĢÑĤ":100553,"вÑĭ":100554,"ĠÑĢай":100555,"ĠÑģдел":100556,"ожд":100557,"ĠÐŁÐ¾Ñģ":100558,"ĠÑģил":100559,"Ġжив":100560,"ĠÑģÑĤаÑĢ":100561,"ÑĪие":100562,"ĠÑĢод":100563,"ÑijÑĤ":100564,"меÑĤ":100565,"ĠвÑģего":100566,"по":100567,"ила":100568,"Ġмол":100569,"ĠÐłÐ¾ÑģÑģии":100570,"ана":100571,"ĠÑģÑĥÑīеÑģÑĤв":100572,"еÑĢÑĪ":100573,"Ġжизни":100574,"Ġвод":100575,"Ġнед":100576,"ованиÑı":100577,"ÑĨев":100578,"СС":100579,"ĠСÑĤ":100580,"ĠпÑĢоÑĨ":100581,"ÑĢен":100582,"Ñĭми":100583,"зÑĭ":100584,"кол":100585,"ÑĢоп":100586,"ован":100587,"ĠÑĩеÑĢез":100588,"ĠÑįÑĤой":100589,"ĠгоÑģÑĥдаÑĢ":100590,"ĠÑĢÑĥÑģ":100591,"ĠоÑģоб":100592,"еÑģÑĤва":100593,"ĠвопÑĢоÑģ":100594,"иÑĨ":100595,"вид":100596,"ĠÑģем":100597,"ĠденÑĮ":100598,"ĠпÑĢиз":100599,"ĠÑįÑĤоÑĤ":100600,"ĠдеÑĤ":100601,"ĠгÑĢÑĥпп":100602,"нÑĮ":100603,"Ġпок":100604,"еÑģÑĤвен":100605,"Ġнек":100606,"деÑĢж":100607,"ĠÑĥÑĩаÑģÑĤ":100608,"ĠÑģоÑģÑĤоÑı":100609,"ÑĭваеÑĤ":100610,"енеÑĢ":100611,"ÑħодиÑĤ":100612,"Ñĩа":100613,"ĠÑıвлÑıеÑĤÑģÑı":100614,"гоÑĢ":100615,"ĠÑĢÑĥк":100616,"Ġнего":100617,"оналÑĮ":100618,"Ñĥв":100619,"ÑıÑģ":100620,"Ġан":100621,"ĠоÑĤноÑĪ":100622,"ĠÑģпоÑģоб":100623,"лиз":100624,"ĠÑģвоей":100625,"до":100626,"Ġоказ":100627,"иÑĩеÑģкой":100628,"ĠнеÑģколÑĮко":100629,"ĠÐĸ":100630,"ĠÑĢек":100631,"ĠнаÑĩал":100632,"Ġзна":100633,"оÑĦ":100634,"Ġмо":100635,"Ġжен":100636,"Ġнеп":100637,"ĠÐľÐ¾Ñģ":100638,"Ш":100639,"ела":100640,"ĠвÑĤоÑĢ":100641,"бÑĢÑı":100642,"лаÑģ":100643,"ниÑı":100644,"алиÑģÑĮ":100645,"ĠкоÑĤоÑĢÑĭÑħ":100646,"лоÑģÑĮ":100647,"ÑĤÑĮÑģÑı":100648,"иÑī":100649,"ÑĢеÑĤ":100650,"ÑĨен":100651,"лив":100652,"Ġзем":100653,"Ġнам":100654,"ело":100655,"ний":100656,"нÑĥл":100657,"ĠмоÑĢ":100658,"Ñģким":100659,"илиÑģÑĮ":100660,"Ġдол":100661,"оном":100662,"ĠÑģебе":100663,"ĠпомоÑī":100664,"ĠкÑĤо":100665,"ĠÑģлÑĥÑĩа":100666,"ĠболÑĮÑĪе":100667,"ĠÑģÑĩиÑĤ":100668,"Ġзв":100669,"ваÑĤ":100670,"еÑĤÑĭ":100671,"ÑĢеб":100672,"оваÑĤÑĮ":100673,"ĠмиÑĢ":100674,"ĠпÑĢе":100675,"ĠÑĢан":100676,"ди":100677,"ĠзаÑĤ":100678,"ÑĭÑĩ":100679,"ĠÐĶж":100680,"еÑĢÑĮ":100681,"неÑģ":100682,"ĠÐŀÑĤ":100683,"Ġкни":100684,"лаÑģÑĮ":100685,"ĠнеобÑħодим":100686,"ĠÑİ":100687,"ова":100688,"Ġжел":100689,"онÑĩ":100690,"ĠЮ":100691,"лед":100692,"Ñĥбли":100693,"ĠлиÑĪÑĮ":100694,"ĠпÑĢоб":100695,"менно":100696,"ĠполиÑĤ":100697,"ĠÑĥб":100698,"пÑĢи":100699,"ĠлÑĥÑĩ":100700,"евеÑĢ":100701,"ĠÑģÑĤал":100702,"ĠÐĺз":100703,"ĠдÑĢ":100704,"еÑĢг":100705,"мин":100706,"ÑģÑĤа":100707,"аÑĤелÑĮно":100708,"иÑĩеÑģкиÑħ":100709,"Ñıж":100710,"кÑĥÑģ":100711,"еÑĢев":100712,"Ġмног":100713,"ĠизвеÑģÑĤ":100714,"езд":100715,"Ġпоказ":100716,"ĠиÑİ":100717,"еÑĢÑĤ":100718,"ĠмаÑĢ":100719,"ĠкаÑĢ":100720,"овой":100721,"мÑĭ":100722,"ĠÑĢÑĥ":100723,"ĠнекоÑĤоÑĢ":100724,"ĠÑĥÑĤ":100725,"ĠпÑĢоÑģÑĤо":100726,"ĠкоÑĤоÑĢаÑı":100727,"ĠÐIJлекÑģ":100728,"ĠÑģовеÑĤ":100729,"ĠвÑĢемени":100730,"кий":100731,"киÑħ":100732,"Ñıл":100733,"ĠÑıзÑĭ":100734,"еннÑĭÑħ":100735,"вин":100736,"лаг":100737,"ĠÐŁÐ¾Ñģле":100738,"ĠÑĩеловека":100739,"маÑĤ":100740,"ĠÑĤÑĢи":100741,"ĠÑģлÑĥж":100742,"оÑĪ":100743,"ÑĥÑİÑĤ":100744,"ĠÑĥп":100745,"кÑĢа":100746,"аÑĢак":100747,"лекÑĤ":100748,"ĠÑĨенÑĤ":100749,"алоÑģÑĮ":100750,"еÑĨи":100751,"ĠÑģвоÑİ":100752,"ĠкаÑĩ":100753,"ĠвÑģÑĤÑĢ":100754,"ĠÑħоÑĢо":100755,"Ñĩик":100756,"Ġмед":100757,"ĠÑĩаÑģÑĤÑĮ":100758,"ĠкоÑĤоÑĢой":100759,"Ġвед":100760,"ĠÑĤам":100761,"кого":100762,"Ñģкое":100763,"ĠлÑİдей":100764,"ĠдÑĢÑĥгиÑħ":100765,"глÑı":100766,"ĠÑĢазвиÑĤ":100767,"ĠоблаÑģÑĤи":100768,"ĠÑģÑĭ":100769,"ĠпиÑģ":100770,"аÑĢакÑĤеÑĢ":100771,"ека":100772,"ине":100773,"Ġпоб":100774,"ĠвмеÑģÑĤ":100775,"ĠпÑĢиÑĩ":100776,"ÑĢимеÑĢ":100777,"ĠÑģвоиÑħ":100778,"Ġдва":100779,"аний":100780,"ÑıÑĤелÑĮ":100781,"Ñĩин":100782,"ĠÑĢад":100783,"ĠдеÑĢев":100784,"ĠÑĪÑĤ":100785,"епеÑĢÑĮ":100786,"Ñijм":100787,"ÑĢал":100788,"оÑĤвеÑĤ":100789,"ĠпÑĢоизвод":100790,"ба":100791,"ĠÐĴо":100792,"аÑİÑī":100793,"ноÑģ":100794,"ноÑģÑĤ":100795,"ĠÑĩаÑģÑĤи":100796,"ĠÐŀднако":100797,"ĠнапÑĢав":100798,"ĠобÑĢазом":100799,"кв":100800,"аÑĢи":100801,"ĠмÑĥж":100802,"овод":100803,"еÑģÑĤве":100804,"ниÑħ":100805,"ĠÑģвой":100806,"ĠÑĤÑĢÑĥд":100807,"дан":100808,"егда":100809,"ÑįÑĤомÑĥ":100810,"иÑĩеÑģкого":100811,"оÑĩно":100812,"ĠмогÑĥÑĤ":100813,"иÑģÑģ":100814,"ĠоÑĤкÑĢÑĭ":100815,"ĠопÑĢедел":100816,"оне":100817,"Ġблаг":100818,"Ġвели":100819,"оÑĢонÑĭ":100820,"ĠÑģпеÑĨи":100821,"ноÑģÑĤÑĮÑİ":100822,"ĠÑģовеÑĢÑĪ":100823,"нии":100824,"гоÑĤов":100825,"ением":100826,"оÑİ":100827,"каÑħ":100828,"Ġгол":100829,"Ġпоз":100830,"ĠÑĦак":100831,"Ñĭвал":100832,"ÑĮе":100833,"ĠÐĶлÑı":100834,"Ġполож":100835,"ĠÑĥÑģÑĤанов":100836,"ÑĢÑĥп":100837,"ĠÑģÑĤол":100838,"ĠпÑĢоиÑģ":100839,"иÑĢован":100840,"ĠÑĢазлиÑĩ":100841,"оÑĤвеÑĤÑģÑĤв":100842,"Ñģа":100843,"инг":100844,"лон":100845,"еÑĩно":100846,"номÑĥ":100847,"ĠÑįÑĤиÑħ":100848,"лей":100849,"ĠмаÑĤеÑĢи":100850,"ĠÑģлÑĥÑĩае":100851,"ĠпÑĢодолж":100852,"ĠпÑĢоÑĨеÑģÑģ":100853,"иÑĪ":100854,"ÑijÑĢ":100855,"нал":100856,"оже":100857,"под":100858,"оглаÑģ":100859,"еÑĢÑħ":100860,"ÑĢÑıд":100861,"Ġлег":100862,"обÑĢаз":100863,"ĠÑģвоего":100864,"Ñijл":100865,"Ġзаб":100866,"ĠнаÑĢод":100867,"ĠÑħаÑĢакÑĤеÑĢ":100868,"ĠÐĵеÑĢ":100869,"ĠпÑĢим":100870,"ĠÑĤÑĢеб":100871,"дж":100872,"ĠÐIJÑĢ":100873,"ĠÐķв":100874,"ÑĩаÑģ":100875,"ĠÐĿик":100876,"ĠСов":100877,"ĠÑĥÑģлов":100878,"ÑĤÑı":100879,"иÑĤÑĥ":100880,"ниÑĩ":100881,"лÑıеÑĤ":100882,"ники":100883,"ĠÑģобÑģÑĤвен":100884,"Ġвп":100885,"ĠÐļон":100886,"Ġпозв":100887,"ĠинÑĤеÑĢеÑģ":100888,"ĠпÑĢоблем":100889,"ĠÑģледÑĥÑİÑī":100890,"ÑĦеÑĢ":100891,"ĠдвÑĥÑħ":100892,"ование":100893,"оев":100894,"ĠÑĤоÑĤ":100895,"ÑģÑĤве":100896,"полож":100897,"ĠдеÑıÑĤелÑĮ":100898,"ĠвойнÑĭ":100899,"ĠвÑĭÑģок":100900,"нем":100901,"оло":100902,"обод":100903,"ĠÑħоÑĢоÑĪ":100904,"Ġзн":100905,"Ð¡Ð¡Ðł":100906,"еÑĪÑĮ":100907,"ĠÐŁÑĢо":100908,"ĠÑģвои":100909,"олÑİ":100910,"ÑĤак":100911,"ĠогÑĢ":100912,"ĠвнÑĥÑĤ":100913,"ĠÑĥпÑĢав":100914,"иÑĤелей":100915,"ĠÐĺн":100916,"ĠниÑĩ":100917,"ĠоÑģÑĤав":100918,"Ġид":100919,"ван":100920,"ĠÐĴÑģе":100921,"ĠÐľÐ°ÑĢ":100922,"олÑĮÑĪ":100923,"Ġдвиж":100924,"ĠпÑĢиÑģ":100925,"ĠеÑij":100926,"ĠÑĢÑĭ":100927,"Ñģов":100928,"ĠдоÑĢ":100929,"иÑĤеÑĢ":100930,"екÑĤив":100931,"ÑĭваÑİÑĤ":100932,"ĠвÑģегда":100933,"ÑĢÑĥÑĪ":100934,"ĠмеÑĢ":100935,"Ġнеб":100936,"ĠпеÑĢи":100937,"ĠÑģооÑĤвеÑĤÑģÑĤв":100938,"Ñģи":100939,"ĠÐľÑĭ":100940,"коÑĢ":100941,"ĠоÑĤд":100942,"оÑĢов":100943,"ĠпоÑģÑĤ":100944,"ĠкÑĥлÑĮÑĤ":100945,"ĠпоÑĤомÑĥ":100946,"нев":100947,"ĠбоÑĢ":100948,"Ġдав":100949,"ĠвÑģем":100950,"илаÑģÑĮ":100951,"ĠÑĤогда":100952,"нÑİ":100953,"ÑĢез":100954,"ĠÑĩÑĥв":100955,"Ġзани":100956,"огÑĢаÑĦ":100957,"Ġголов":100958,"ĠмеÑģÑĤо":100959,"ĠÑĢаÑģÑģказ":100960,"ÑĤов":100961,"ÑĥÑĢÑĭ":100962,"ÑĨип":100963,"Ñĩен":100964,"Ġваж":100965,"Ġмом":100966,"ĠвоÑĤ":100967,"ĠÑĩаÑģ":100968,"ĠкоÑĤоÑĢого":100969,"ĠÑįкÑģп":100970,"ĠздеÑģÑĮ":100971,"ило":100972,"леÑĢ":100973,"оÑĢг":100974,"Ñģко":100975,"ĠпÑĢоÑĪ":100976,"ĠÑģÑĤоÑĢон":100977,"инÑĥ":100978,"пÑĥÑģ":100979,"ÑĢаг":100980,"ĠлиÑĩ":100981,"ĠмÑĥз":100982,"ĠÑĢÑıд":100983,"икан":100984,"нÑĥÑĤÑĮ":100985,"ÑģкÑĥÑİ":100986,"ĠпаÑĢÑĤи":100987,"ÑĥлÑı":100988,"ÑĥÑĢг":100989,"него":100990,"ÑĪего":100991,"Ġвоен":100992,"ÑĢиÑĤоÑĢ":100993,"ĠгоÑĢода":100994,"ме":100995,"ĠÑĥв":100996,"еÑĤе":100997,"веÑĢж":100998,"ĠнÑĥжно":100999,"ĠпÑĢимеÑĢ":101000,"ÑĢаб":101001,"ĠгеÑĢ":101002,"илоÑģÑĮ":101003,"ÑĭваÑĤÑĮ":101004,"алÑĮнÑĭÑħ":101005,"ĠаÑĢм":101006,"ĠÑģÑĤо":101007,"ĠÑĨел":101008,"езид":101009,"Ġвозд":101010,"Ġназв":101011,"ĠÑĥÑĢов":101012,"ĠÑģÑĤаÑĤÑĮ":101013,"ĠÑĢÑĥковод":101014,"ШÐIJ":101015,"имо":101016,"ÑģÑıÑĩ":101017,"Ġней":101018,"ĠÑģилÑĮ":101019,"ĠоÑĤлиÑĩ":101020,"ĠÑģобой":101021,"Ñĥда":101022,"ĠÐŁÐµÑĤ":101023,"ÑĢемен":101024,"ĠиÑģÑģлед":101025,"Ñĩе":101026,"Ġдоб":101027,"Ġиде":101028,"Ġпог":101029,"ÑİÑīиÑħ":101030,"ĠÐ¡Ð¡Ð¡Ðł":101031,"ĠÑģмеÑĢ":101032,"пÑĢо":101033,"Ġедин":101034,"ĠженÑī":101035,"ĠÐļогда":101036,"Ð¥":101037,"ÑĢок":101038,"Ġнаб":101039,"ĠÑħод":101040,"ĠкÑĢаÑģ":101041,"ĠмиÑĢа":101042,"ĠавÑĤоÑĢ":101043,"ĠвÑģÑĤÑĢеÑĩ":101044,"ĠвÑĭÑģÑĤÑĥп":101045,"ÑıÑħ":101046,"лоÑĤ":101047,"Ġкам":101048,"аÑĨиÑİ":101049,"ĠÑĪкол":101050,"Ġодной":101051,"Ġименно":101052,"дÑĭ":101053,"лом":101054,"ĠÑģоÑĨи":101055,"еÑĩение":101056,"ÑĤиÑĩеÑģки":101057,"ĠгÑĢ":101058,"ĠпÑĥ":101059,"ĠÑħоÑĤÑı":101060,"ÑģÑĤвенно":101061,"ÑĦÑĦ":101062,"ĠÑĥз":101063,"ÑıÑģÑĮ":101064,"ĠÐŀни":101065,"ĠСШÐIJ":101066,"ĠпÑĢоекÑĤ":101067,"ева":101068,"ĠбеÑĢ":101069,"ĠмеÑĤ":101070,"Ġним":101071,"овÑĭÑħ":101072,"ĠпоÑıв":101073,"ÑģÑĤоÑıÑī":101074,"ĠÑģказал":101075,"ÑĪа":101076,"ĠÑĥг":101077,"кон":101078,"ейÑĩаÑģ":101079,"алÑĮной":101080,"алÑĮного":101081,"ĠÑģÑĤоÑĢонÑĭ":101082,"ĠобÑĭÑĩ":101083,"ĠпоÑĩÑĤи":101084,"ĠвмеÑģÑĤе":101085,"ĠÐĶа":101086,"ĠоÑĦ":101087,"Ġглаз":101088,"Ġплан":101089,"ĠжизнÑĮ":101090,"ĠÑĤакой":101091,"ием":101092,"лиÑı":101093,"оÑĢа":101094,"ĠÐļаÑĢ":101095,"ĠзаÑı":101096,"ÑĥÑĤÑģÑĤв":101097,"Ġзакон":101098,"еÑĢед":101099,"Ġпло":101100,"ĠлÑİди":101101,"Ġпоним":101102,"ĠÑĤÑĭÑģÑıÑĩ":101103,"ĠподдеÑĢж":101104,"ÑİÑīие":101105,"иÑĤелÑı":101106,"ĠзаÑĤем":101107,"Ġоколо":101108,"мо":101109,"ÑĪен":101110,"ĠбеÑģ":101111,"ĠÑģоÑĤ":101112,"олее":101113,"пион":101114,"ĠÑĩлен":101115,"Ñĩив":101116,"ĠвеÑī":101117,"аÑĤив":101118,"Ġвним":101119,"оволÑĮ":101120,"ĠимееÑĤ":101121,"ĠÑĤеÑĢÑĢиÑĤоÑĢ":101122,"озÑı":101123,"ÑģиÑħ":101124,"ÑĪей":101125,"Ġзан":101126,"ĠÑĢав":101127,"Ġнадо":101128,"ĠпÑĢиÑĪ":101129,"ĠдолжнÑĭ":101130,"ÑģÑıÑĤ":101131,"ĠÐŁÐ¾Ð´":101132,"Ġдек":101133,"евиÑĩ":101134,"ÑĨион":101135,"ĠпÑĢак":101136,"ĠÑĥлиÑĨ":101137,"ĠдоÑĢог":101138,"Ġдолжен":101139,"Ġвол":101140,"Ġгаз":101141,"ĠÑĢег":101142,"ĠгоÑĤов":101143,"ĠпоÑĤом":101144,"ĠдÑĢÑĥгие":101145,"Ġди":101146,"еÑĢб":101147,"ĠзаÑī":101148,"ÑĢаÑĤÑĮ":101149,"Ġвиде":101150,"иÑĢоваÑĤÑĮ":101151,"па":101152,"Ñģо":101153,"Ġоз":101154,"ĠоÑĢ":101155,"вал":101156,"Ġкап":101157,"егод":101158,"ĠÑģкоÑĢ":101159,"ĠÑģÑĤан":101160,"Ġмолод":101161,"ĠмоменÑĤ":101162,"ĠниÑĩего":101163,"ĠпеÑĢиод":101164,"ĠÐŀÑģ":101165,"Ġбог":101166,"ĠвÑģÑı":101167,"акон":101168,"ĠвеÑģÑĮ":101169,"ĠинÑģÑĤ":101170,"ĠкÑĢÑĥп":101171,"ĠнаÑĥÑĩ":101172,"Ġодно":101173,"ĠÑĩего":101174,"иÑĩеÑģкие":101175,"ĠÑĤеб":101176,"глÑıд":101177,"ĠобÑıз":101178,"говоÑĢ":101179,"ĠвклÑİÑĩ":101180,"ĠиÑģкÑĥÑģ":101181,"ĠÑįконом":101182,"бÑĥд":101183,"ино":101184,"ĠдÑĥÑħ":101185,"ĠлиÑĨ":101186,"аÑĤÑĥÑĢ":101187,"лаÑģÑĤ":101188,"ÑıÑĤÑģÑı":101189,"ĠконÑĨ":101190,"ĠпеÑĢев":101191,"ĠзаклÑİÑĩ":101192,"кие":101193,"Ñģон":101194,"ĠÑĢаб":101195,"гÑĥÑģÑĤ":101196,"еÑģÑĤÑĮ":101197,"ĠдÑĢÑĥгой":101198,"гли":101199,"дав":101200,"ĠЧÑĤо":101201,"Ġдал":101202,"ĠÑĢÑĥб":101203,"ĠÑĤоже":101204,"ĠÑĦилÑĮ":101205,"ĠгенеÑĢ":101206,"меÑĢикан":101207,"леж":101208,"ÑĢаÑħ":101209,"ĠнеÑģ":101210,"веÑĢÑģ":101211,"ĠÑĨвеÑĤ":101212,"иÑĤа":101213,"Ñıми":101214,"Ġмал":101215,"Ġпока":101216,"аÑĨион":101217,"Ġподоб":101218,"ĠÑĤепеÑĢÑĮ":101219,"анÑĭ":101220,"енд":101221,"ким":101222,"ĠÑħÑĥд":101223,"ĠÑĨеÑĢ":101224,"елем":101225,"алаÑģÑĮ":101226,"ĠакÑĤив":101227,"бÑĥ":101228,"ÑģеÑĢ":101229,"ÑĪил":101230,"ĠдалÑĮ":101231,"ĠÑģамо":101232,"ĠÑģвое":101233,"ĠнаÑĩина":101234,"ĠпÑĢимен":101235,"ĠкоÑĤоÑĢое":101236,"ĠкаÑĩеÑģÑĤве":101237,"ÑīÑij":101238,"Ġев":101239,"беÑĢ":101240,"лÑİд":101241,"ĠваÑģ":101242,"ĠзаÑıв":101243,"Ġзаним":101244,"ĠнаÑģел":101245,"еÑģÑı":101246,"озн":101247,"Ġвам":101248,"Ġнев":101249,"оÑģÑģий":101250,"ĠнапиÑģ":101251,"Ġникак":101252,"Ġодного":101253,"ге":101254,"Ġдев":101255,"ĠдÑĥм":101256,"ÑĢанÑĨ":101257,"Ġдело":101258,"ĠпÑĢоÑģ":101259,"наком":101260,"ÑģÑĤвом":101261,"ĠавÑĤом":101262,"ĠзадаÑĩ":101263,"алÑĮнÑĭе":101264,"ĠÑģÑĤанов":101265,"иÑĩеÑģкий":101266,"би":101267,"Ñģем":101268,"ÑĤон":101269,"овÑĭе":101270,"ĠÑģбоÑĢ":101271,"аÑİÑĤÑģÑı":101272,"ĠпÑĢавиÑĤелÑĮ":101273,"ÑĤен":101274,"клад":101275,"оÑĢоÑĤ":101276,"ĠпÑĢев":101277,"ĠобеÑģп":101278,"ĠÑģвÑıзи":101279,"ĠÑĩаÑģÑĤо":101280,"ÑĨионалÑĮ":101281,"аÑİ":101282,"око":101283,"пад":101284,"Ġказ":101285,"ĠÐŁÐµÑĢв":101286,"ĠмаÑģÑģ":101287,"алÑĮнÑĭй":101288,"аÑĤоÑĩно":101289,"ĠÐŀна":101290,"Ġдоп":101291,"ками":101292,"ÑİÑīий":101293,"ĠÑģлож":101294,"ĠÑģÑĤÑĢо":101295,"ÑģÑĤоÑıн":101296,"ĠбÑĥдÑĥÑĤ":101297,"Ġменее":101298,"нивеÑĢÑģ":101299,"Ġоднако":101300,"ÑĭваеÑĤÑģÑı":101301,"ĠиÑģÑĤоÑĢии":101302,"лег":101303,"иÑĤеÑĤ":101304,"ĠпÑĢÑıм":101305,"иÑĤели":101306,"ĠимпеÑĢ":101307,"ĠконÑĨе":101308,"ĠлиÑĤеÑĢ":101309,"лÑĭ":101310,"ĠÑĢез":101311,"ивал":101312,"ÑģÑĤвÑĥ":101313,"ĠмеÑģÑı":101314,"ĠпÑĢоÑĤ":101315,"Ġпобед":101316,"ĠпÑĢедлож":101317,"ĠÐĶо":101318,"ÑĢай":101319,"ĠÑĢеж":101320,"ĠÑĦиз":101321,"едеÑĢ":101322,"оÑĢÑĥж":101323,"ĠÑģвеÑĤ":101324,"еннÑĭе":101325,"олÑĮкÑĥ":101326,"ĠÑģÑĢеди":101327,"ĠÑįлекÑĤ":101328,"ÑĢÑĮ":101329,"Ġма":101330,"аÑĤи":101331,"ией":101332,"изм":101333,"ĠглÑĥб":101334,"ĠÑĩеÑĤÑĭ":101335,"анием":101336,"ĠÑģамол":101337,"ĠамеÑĢикан":101338,"лÑĥ":101339,"Ñįн":101340,"Ġад":101341,"ĠСам":101342,"ĠпÑĥÑĤ":101343,"иÑĨии":101344,"ĠÑģоглаÑģ":101345,"ĠоÑģобенно":101346,"аÑĢÑı":101347,"ÑĮеÑĢ":101348,"ĠаÑĢÑħ":101349,"ÑħваÑĤ":101350,"ĠгодÑĭ":101351,"ĠÑģÑĤеп":101352,"аÑĤелÑı":101353,"екÑĤоÑĢ":101354,"ĠоконÑĩ":101355,"егоднÑı":101356,"ĠÑģвобод":101357,"ĠÑĢаÑģполож":101358,"ĠÑıв":101359,"лик":101360,"ÑĢеж":101361,"апад":101362,"еÑĩеÑģ":101363,"Ġвека":101364,"ĠÑĤомÑĥ":101365,"ĠоÑĤдел":101366,"ĠнапÑĢимеÑĢ":101367,"ĠÑĢазÑĢабоÑĤ":101368,"зÑı":101369,"нÑĥÑĤ":101370,"ÑĥлÑĮ":101371,"ĠÐļоÑĢ":101372,"нова":101373,"ÑĢазÑĥ":101374,"ĠÐĴели":101375,"наÑĢод":101376,"ĠÑģÑĤали":101377,"ĠпÑĢовод":101378,"бе":101379,"ĠÑĪиÑĢ":101380,"обÑīе":101381,"ÑıÑĤиÑı":101382,"пÑĢоÑģÑĤ":101383,"ĠÐķвÑĢоп":101384,"ано":101385,"неÑĤ":101386,"оÑĩÑĮ":101387,"Ġмил":101388,"ĠÑĤÑĥÑĤ":101389,"ĠÑįÑĤим":101390,"ĠоÑĤделÑĮ":101391,"ĠÑĢоÑģÑģий":101392,"ĠнаÑģÑĤоÑıÑī":101393,"ĠСо":101394,"ĠÑįн":101395,"анк":101396,"ĠÑįÑĤÑĥ":101397,"ÑĢаÑģÑĤ":101398,"ÑıвлÑı":101399,"ового":101400,"окÑĢаÑĤ":101401,"омина":101402,"ĠкоÑĤоÑĢом":101403,"ве":101404,"Ġкм":101405,"ĠÑĥм":101406,"ниÑĨ":101407,"пон":101408,"Ñīик":101409,"ĠÐĴлад":101410,"ĠгÑĢаж":101411,"иваеÑĤ":101412,"Ġкакой":101413,"ĠÑħÑĥдож":101414,"ĠназнаÑĩ":101415,"ĠпоÑģÑĤоÑıн":101416,"ĠÑıн":101417,"лан":101418,"ÑĨиÑİ":101419,"ĠÐķго":101420,"ĠÑģвоим":101421,"поÑĢ":101422,"ĠÐĴоÑĤ":101423,"ĠвпеÑĢ":101424,"ĠÑģенÑĤ":101425,"ĠÑģиÑĤÑĥ":101426,"ĠÐĿикол":101427,"ĠвÑĭÑħод":101428,"ĠÑģевеÑĢ":101429,"миниÑģÑĤ":101430,"ĠавгÑĥÑģÑĤ":101431,"ĠÑħоÑĢоÑĪо":101432,"ĠÑĥж":101433,"лам":101434,"лек":101435,"оÑıÑĤ":101436,"Ġбел":101437,"ĠвеÑģ":101438,"Ġпам":101439,"олев":101440,"олнÑı":101441,"ÑĢиÑģÑĤ":101442,"ĠпÑģиÑħ":101443,"ĠÑĢаÑģÑĤ":101444,"ĠÑģенÑĤÑı":101445,"ĠÑģейÑĩаÑģ":101446,"ĠÑĥÑģловиÑı":101447,"Ñģка":101448,"Ñĥжд":101449,"ÑĥÑĢа":101450,"ĠÑģек":101451,"ĠÑįÑĤа":101452,"ĠУкÑĢа":101453,"ĠпÑĢоÑĦ":101454,"ĠÑĢади":101455,"ĠконÑĤÑĢ":101456,"ĠÑģÑĤÑĢанÑĭ":101457,"ĠÑģиÑģÑĤемÑĭ":101458,"ĠÑĩемпион":101459,"ĠÐIJв":101460,"алл":101461,"ÑħоÑĤ":101462,"ĠеÑīÑij":101463,"Ġлин":101464,"елен":101465,"овиÑĩ":101466,"ĠпÑĢеж":101467,"еннÑĭй":101468,"иваÑĤÑĮ":101469,"ĠоÑĤноÑģ":101470,"ĠпÑĢиним":101471,"ĠобеÑģпеÑĩ":101472,"ĠÑģовÑĢемен":101473,"гÑĥ":101474,"ĠЧеÑĢ":101475,"ĠвÑģÑij":101476,"ĠжÑĥÑĢ":101477,"ĠÑĢеб":101478,"ĠÑģмÑĭ":101479,"ÑģлÑĥж":101480,"наÑĢÑĥж":101481,"ĠÑģлова":101482,"ĠÑĥнивеÑĢÑģ":101483,"ĠÐĽÑİ":101484,"ĠиÑĤ":101485,"деÑĢ":101486,"ĠÑĢев":101487,"ĠокÑĤÑı":101488,"алиÑģÑĤ":101489,"озмож":101490,"ĠпоÑĢÑıд":101491,"ĠÑıнваÑĢ":101492,"ÑĢанÑĨÑĥз":101493,"ĠпеÑĢвÑĭй":101494,"ĠпÑĢиÑħод":101495,"ĠÑģделаÑĤÑĮ":101496,"ĠгоÑģÑĥдаÑĢÑģÑĤвен":101497,"аÑĢа":101498,"ÑĪел":101499,"Ġмаг":101500,"ĠÑģелÑĮ":101501,"Ġдекаб":101502,"ĠÑĤакиÑħ":101503,"ĠÑĩиÑģле":101504,"иболее":101505,"ĠÑģобÑĭÑĤи":101506,"ÑĤÑĥÑĢ":101507,"Ñīад":101508,"Ġнез":101509,"ĠÑĤÑĢÑĥ":101510,"Ġбоев":101511,"ĠÑĤÑĢан":101512,"ĠÑħозÑı":101513,"ĠзавиÑģ":101514,"ĠминÑĥÑĤ":101515,"ĠобÑĢаÑĤ":101516,"ĠпÑĢодÑĥк":101517,"еÑĩÑĮ":101518,"Ġдив":101519,"ĠÑĤел":101520,"ĠмÑĥзÑĭ":101521,"ĠСовеÑĤ":101522,"ĠвлаÑģÑĤи":101523,"ĠÑĤеÑĩение":101524,"ĠÑĢезÑĥлÑĮÑĤаÑĤе":101525,"ÐĻ":101526,"ви":101527,"аÑĢд":101528,"кин":101529,"низ":101530,"оли":101531,"ÑĩиÑģ":101532,"ĠÐłÐ°Ð·":101533,"еÑĩаÑĤ":101534,"ĠпиÑģÑĮ":101535,"ĠÑĤеоÑĢ":101536,"ÑĥеÑĤÑģÑı":101537,"ĠаÑĢмии":101538,"ĠÑĢабоÑĩ":101539,"ĠдокÑĥменÑĤ":101540,"анÑģ":101541,"кан":101542,"ÑĨий":101543,"ÑĩеÑĢ":101544,"ĠапÑĢ":101545,"Ġоно":101546,"олоÑĤ":101547,"ĠбоÑĢÑĮ":101548,"ĠÐľÐ¾Ñģкв":101549,"еÑģпÑĥбли":101550,"ĠдейÑģÑĤвиÑı":101551,"Ñĩи":101552,"кÑĥÑĢ":101553,"лог":101554,"ÑĪим":101555,"ĠÐijог":101556,"Ġизб":101557,"ĠÑħоÑĩ":101558,"аÑģÑĤв":101559,"лива":101560,"олод":101561,"ÑģÑĤÑĢа":101562,"ĠдвоÑĢ":101563,"ĠкÑĢов":101564,"ĠоÑĩеÑĢед":101565,"иÑĩеÑģкаÑı":101566,"ĠÑĨен":101567,"онов":101568,"ĠФÑĢан":101569,"ĠпÑĢек":101570,"ĠÑĥвид":101571,"ĠоÑĤказ":101572,"ĠÑģÑĢазÑĥ":101573,"иÑĤелÑĮн":101574,"ĠÑģоÑĤÑĢÑĥд":101575,"ĠкоÑĤоÑĢÑĥÑİ":101576,"ĠобнаÑĢÑĥж":101577,"ĠпоÑįÑĤомÑĥ":101578,"ÑĪÑĤ":101579,"Ġог":101580,"меÑĩ":101581,"онд":101582,"ÑĢей":101583,"ĠпоÑħ":101584,"ĠÑĩиÑĤ":101585,"ĠживоÑĤ":101586,"ĠиÑģклÑİÑĩ":101587,"ĠвнÑĥÑĤÑĢен":101588,"ĠноÑı":101589,"андÑĢ":101590,"ĠпÑĢоÑĩ":101591,"полаг":101592,"ĠÑĤакие":101593,"ĠпоÑĤÑĢеб":101594,"ĠпÑĢезид":101595,"ĠпомоÑīÑĮÑİ":101596,"еÑı":101597,"адÑĨ":101598,"лев":101599,"ĠÐĿов":101600,"Ġизд":101601,"ĠмаÑģ":101602,"инов":101603,"иÑĤÑĥÑĤ":101604,"ĠвоÑģп":101605,"ÑĭÑĪлен":101606,"Ġникогда":101607,"ĠполÑĥÑĩил":101608,"ĠÑģказаÑĤÑĮ":101609,"ĠÑģледÑĥеÑĤ":101610,"жи":101611,"ĠÑĢом":101612,"бÑĥдÑĮ":101613,"ĠплаÑĤ":101614,"ĠÑģÑĤаÑĤ":101615,"ĠбеÑĢег":101616,"ĠкоÑĢаб":101617,"ĠобÑĬÑıÑģ":101618,"ĠÑĨенÑĤÑĢ":101619,"нибÑĥдÑĮ":101620,"ологии":101621,"ĠÑĥÑĤвеÑĢж":101622,"ĠпозволÑı":101623,"Ġмл":101624,"омн":101625,"ÑĢаÑĪ":101626,"ÑĢиÑģ":101627,"Ġдома":101628,"ĠклÑĥб":101629,"ĠполÑĥ":101630,"ĠпÑĢинÑĨип":101631,"Ġей":101632,"нил":101633,"Ġдве":101634,"ĠзаÑĢ":101635,"ĠоÑĤÑģ":101636,"ĠÑģоп":101637,"ÑĩаÑģÑĤ":101638,"ĠбÑĭÑģÑĤÑĢо":101639,"ÑĢеменно":101640,"ĠгÑĢаждан":101641,"ĠÑģовеÑĢÑĪенно":101642,"ĠÑĤеÑĢÑĢиÑĤоÑĢии":101643,"ÑĢÑĭв":101644,"Ġинд":101645,"ĠлеÑģ":101646,"ĠпеÑģ":101647,"ĠÑĤÑıж":101648,"маÑĤÑĢ":101649,"ĠменÑĮ":101650,"ĠÑĤеаÑĤ":101651,"ĠвойÑģк":101652,"ĠвÑĭÑĢаж":101653,"ĠмиÑĢов":101654,"ĠнемеÑĨ":101655,"ĠпÑĢиÑĢод":101656,"ведениÑı":101657,"ĠдоÑģÑĤаÑĤоÑĩно":101658,"Ñħо":101659,"ĠзÑĢ":101660,"жен":101661,"ĠоÑģв":101662,"ĠноÑĢм":101663,"лаÑģÑĤÑĮ":101664,"ĠнаÑĩала":101665,"ĠнаÑĩале":101666,"ождениÑı":101667,"ĠнаÑĨионалÑĮ":101668,"ĠвозможноÑģÑĤÑĮ":101669,"ĠТо":101670,"ĠÑĤÑĥ":101671,"деÑĤ":101672,"ике":101673,"неÑĢ":101674,"ĠÐľÐ¸Ñħ":101675,"ĠднÑı":101676,"Ġдог":101677,"оÑĢож":101678,"ĠпоÑģк":101679,"ĠлÑĥÑĩÑĪе":101680,"ĠокÑĢÑĥж":101681,"ĠоÑģÑĤÑĢов":101682,"ĠпоÑģÑĤÑĢо":101683,"ĠÑĢайона":101684,"ĠÑĥÑģ":101685,"Ġпож":101686,"ĠÑĦев":101687,"аÑĢов":101688,"ÑĢоме":101689,"Ġмало":101690,"ĠопиÑģ":101691,"ĠÑĢолÑĮ":101692,"оÑģÑĤав":101693,"ĠкапиÑĤ":101694,"ĠпÑĢеÑģÑĤ":101695,"ĠÑģамом":101696,"ĠвÑĤоÑĢой":101697,"ĠпоÑģÑĤав":101698,"пÑĢоÑģÑĤÑĢан":101699,"бол":101700,"ÑĢиг":101701,"ĠÐĴаÑģ":101702,"ĠÑĦил":101703,"ĠÑįÑĦÑĦ":101704,"Ñģлов":101705,"ĠвлиÑı":101706,"ĠбÑĥдÑĥÑī":101707,"ĠобÑĢаÑī":101708,"ĠпÑĢаво":101709,"ĠÑĤаким":101710,"имоÑģÑĤи":101711,"ĠвообÑīе":101712,"ĠкаждÑĭй":101713,"ĠÑĢабоÑĤÑĥ":101714,"ĠговоÑĢиÑĤ":101715,"ĠÑĦÑĢанÑĨÑĥз":101716,"жа":101717,"аÑĢÑĮ":101718,"еÑĢн":101719,"ĠÐĵоÑĢ":101720,"ĠÐļом":101721,"Ġави":101722,"ĠмаÑı":101723,"Ġнаг":101724,"ĠÑģÑĥм":101725,"ĠвнеÑĪ":101726,"ĠдÑĢев":101727,"Ġодна":101728,"лении":101729,"ÑĤиÑĩеÑģ":101730,"ĠÑģмÑĭÑģл":101731,"ĠоÑģÑĥÑīеÑģÑĤв":101732,"ĠпоÑģколÑĮкÑĥ":101733,"вÑĭе":101734,"нÑıÑı":101735,"амен":101736,"ÑĢавн":101737,"ÑĥлÑıÑĢ":101738,"Ġлибо":101739,"Ġдивиз":101740,"Ġимени":101741,"ĠгÑĢÑĥппÑĭ":101742,"ĠогÑĢани":101743,"ĠÑĢайоне":101744,"ĠÐŁÐ¾ÑįÑĤомÑĥ":101745,"ĠÑĢазвиÑĤиÑı":101746,"Ñħа":101747,"Ñħи":101748,"ÑĮи":101749,"ĠÐłÐ¤":101750,"ĠСв":101751,"зем":101752,"ĠÐľÐ¸Ð½":101753,"ĠÐĿап":101754,"Ġнав":101755,"Ġблиз":101756,"ĠÑĨелÑĮ":101757,"ĠголоÑģ":101758,"ĠпÑĢинÑı":101759,"ĠконеÑĩно":101760,"лÑĥÑĩ":101761,"алÑĮн":101762,"ĠкÑĢай":101763,"ĠÑģÑĤало":101764,"ĠÑĤакое":101765,"ĠнаÑĩалÑĮ":101766,"иÑĩеÑģкое":101767,"ĠнаÑħодиÑĤÑģÑı":101768,"ĠобÑīеÑģÑĤвен":101769,"гаÑĢ":101770,"ĠнаÑĢ":101771,"ĠÑĤан":101772,"оÑģоÑĦ":101773,"ĠÐĽÐµÐ½Ð¸":101774,"ĠÑĤвоÑĢ":101775,"ĠдеÑĤей":101776,"ĠÑģÑĤала":101777,"аÑĤелей":101778,"ĠдоÑģÑĤиг":101779,"ĠподгоÑĤов":101780,"ĠоÑĤноÑĪениÑı":101781,"ĠпÑĢедÑģÑĤавлÑı":101782,"кÑģ":101783,"коп":101784,"лиÑĪ":101785,"обÑĢ":101786,"ÑĢоб":101787,"Ġног":101788,"ĠÑģоÑģ":101789,"ĠÑĦин":101790,"ÑĢани":101791,"ÑİÑīей":101792,"ĠизÑĥÑĩ":101793,"аннÑĭÑħ":101794,"ĠÐļÑĢоме":101795,"Ġодним":101796,"ĠÑģÑĤÑĢем":101797,"Ġмногие":101798,"ĠобÑĭÑĩно":101799,"ĠÑĩÑĥвÑģÑĤв":101800,"ĠболÑĮÑĪин":101801,"ĠÑģегоднÑı":101802,"Ġкомпании":101803,"ĠдеÑıÑĤелÑĮноÑģÑĤи":101804,"пи":101805,"ĠÐijÑĭ":101806,"ĠÐŃÑĤ":101807,"Ġаб":101808,"ĠÑģол":101809,"ĠÑĤол":101810,"ĠÑĤÑĥÑĢ":101811,"ĠÑĩеÑĤ":101812,"ланд":101813,"либо":101814,"пÑĢин":101815,"ÑİÑīим":101816,"оÑģÑĤоÑı":101817,"Ġжелез":101818,"ĠиÑģÑĤоÑĩ":101819,"ĠÑĥвели":101820,"ĠплоÑīад":101821,"ĠÑģмеÑĢÑĤи":101822,"ÐŁÐ¾":101823,"дв":101824,"ĠÐĺв":101825,"веÑĩ":101826,"ÑĨов":101827,"ĠкнÑı":101828,"ĠÐĵеÑĢм":101829,"ĠÐļÑĢаÑģ":101830,"ĠведÑĮ":101831,"ĠиÑİлÑı":101832,"ĠопаÑģ":101833,"ĠÑģнова":101834,"ĠÑįÑĤомÑĥ":101835,"Ġвозник":101836,"ĠмногиÑħ":101837,"ĠÑĢеволÑİ":101838,"еÑģÑĤвенно":101839,"воз":101840,"ÑĢев":101841,"ĠгÑĥб":101842,"ĠноÑģ":101843,"вÑĪий":101844,"нали":101845,"опаÑģ":101846,"ĠвÑģей":101847,"ĠпÑĢом":101848,"адлеж":101849,"Ġмилли":101850,"ĠÑģамого":101851,"Ġвнимание":101852,"Ġнаиболее":101853,"кл":101854,"Ġби":101855,"даÑĤ":101856,"моÑĢ":101857,"ÑĢаÑĩ":101858,"ÑĢеÑĪ":101859,"ĠÐŁÐ¾Ð»":101860,"ĠзаÑģ":101861,"адем":101862,"ĠÐĵлав":101863,"ĠкÑĢÑĥг":101864,"ĠÑģеÑĢд":101865,"елÑĮзÑı":101866,"Ġмогли":101867,"ĠпÑĢизн":101868,"ĠгÑĢаниÑĨ":101869,"ĠминиÑģÑĤ":101870,"ĠÑģенÑĤÑıбÑĢÑı":101871,"Ðĸ":101872,"ĠÐĿÑĥ":101873,"вÑıз":101874,"ĠÑĥÑģÑĤ":101875,"Ġдела":101876,"Ġделе":101877,"ĠиÑİнÑı":101878,"ĠÑģпоÑĢ":101879,"ĠÑģÑĩеÑĤ":101880,"ĠÑĤоÑĢг":101881,"моÑĤÑĢÑı":101882,"ĠмеÑģÑĤе":101883,"ийÑģкой":101884,"ноÑģÑĤей":101885,"ĠпÑĢовед":101886,"ĠавгÑĥÑģÑĤа":101887,"ĠизобÑĢаж":101888,"ĠнеобÑħодимо":101889,"ĠоÑĢганизаÑĨии":101890,"ĠÐŀÑĢ":101891,"дÑĥм":101892,"нен":101893,"ÑĢик":101894,"ÑĩаÑĤ":101895,"ĠÐijеÑĢ":101896,"ĠвÑģÑİ":101897,"ĠкоÑģ":101898,"ĠÐľÐ¾Ñģк":101899,"ĠвÑĭÑĪе":101900,"ĠпÑĢеп":101901,"аннÑĭе":101902,"ĠзамеÑĤ":101903,"ĠÑģÑĤÑĢÑĥк":101904,"ĠделаÑĤÑĮ":101905,"ĠнаблÑİд":101906,"ĠпоÑģÑĤÑĥп":101907,"ĠÑıвлÑıÑİÑĤÑģÑı":101908,"ĠÐIJлекÑģандÑĢ":101909,"ÑİÑĢ":101910,"каÑĤ":101911,"Ñģед":101912,"ĠÐijел":101913,"ĠвÑģп":101914,"вÑĪиÑħ":101915,"Ġвлад":101916,"ĠвÑħод":101917,"Ġдней":101918,"ĠпÑĥнк":101919,"ĠÑģÑĤиÑħ":101920,"Ġзапад":101921,"ĠмаÑĢÑĤа":101922,"ĠнаÑĪей":101923,"ĠогÑĢом":101924,"Ġпомог":101925,"ĠÑįнеÑĢг":101926,"ĠвÑĢемен":101927,"ĠпоÑĩемÑĥ":101928,"ĠÑģовÑģем":101929,"ĠÑıнваÑĢÑı":101930,"озможно":101931,"ĠкоÑĤоÑĢÑĭм":101932,"ĠокÑĤÑıбÑĢÑı":101933,"ĠпÑĢоÑĦеÑģÑģ":101934,"ĠÑģÑĤепени":101935,"ĠÐļи":101936,"Ġпа":101937,"Ġвок":101938,"ĠгоÑģ":101939,"Ġкан":101940,"авал":101941,"аÑĨий":101942,"ниÑĨа":101943,"ĠÑģÑĤав":101944,"ĠÑģÑĤоÑı":101945,"овали":101946,"ĠпопÑĭÑĤ":101947,"ĠпоÑĤеÑĢ":101948,"Ġдолжно":101949,"ĠгенеÑĢал":101950,"ĠÑģоÑģÑĤаве":101951,"иÑĢованиÑı":101952,"ĠмаÑĤеÑĢиал":101953,"ÑĪли":101954,"ÑĭÑĤа":101955,"ĠбÑĭв":101956,"Ġвек":101957,"ĠÑĢиÑģ":101958,"ĠÑģез":101959,"ĠÑĦоÑĤ":101960,"абоÑĤ":101961,"иков":101962,"ÑģкоÑĢ":101963,"ĠваÑĢи":101964,"ĠÑģилÑĭ":101965,"ĠÑģмог":101966,"иÑĤеÑĤа":101967,"ником":101968,"оÑģÑĤок":101969,"ÑģкомÑĥ":101970,"ÑħодÑıÑī":101971,"ÑİÑīего":101972,"ĠФедеÑĢ":101973,"Ġназад":101974,"ĠопÑĢед":101975,"Ġполов":101976,"лиÑĪком":101977,"Ġблагод":101978,"ĠдоговоÑĢ":101979,"ĠÑĩеловеÑĩеÑģ":101980,"биÑĤ":101981,"бÑĢе":101982,"геÑĢ":101983,"Ġпал":101984,"лина":101985,"ÑģÑĤеÑĢ":101986,"ĠÐŁÑĢав":101987,"ĠпÑĢоп":101988,"ĠÑĢели":101989,"енÑĤов":101990,"ĠгодаÑħ":101991,"Ġдолжна":101992,"ĠиÑģполн":101993,"ĠÑģлÑĥÑĩай":101994,"ĠÑģоедин":101995,"ĠдекабÑĢÑı":101996,"ĠÑĥÑĩаÑģÑĤие":101997,"ĠнекоÑĤоÑĢÑĭе":101998,"ĠпÑĢинадлеж":101999,"гл":102000,"год":102001,"миÑĤ":102002,"ÑģÑĤÑĭ":102003,"ÑĤоÑĩ":102004,"Ġнак":102005,"вÑĪие":102006,"ĠмиÑĢе":102007,"Ġмона":102008,"оÑģÑĤоÑĩ":102009,"Ġгодов":102010,"аконеÑĨ":102011,"ĠнеÑģколÑĮ":102012,"ĠÑĢеÑĪение":102013,"зв":102014,"Ġвд":102015,"елÑİ":102016,"ĠмаÑĪ":102017,"ĠÑĤой":102018,"глий":102019,"ĠмеÑģÑĤа":102020,"ĠÑģÑĤоиÑĤ":102021,"алÑĮнÑĭм":102022,"ĠÑĢаздел":102023,"ĠболÑĮÑĪой":102024,"ĠполноÑģÑĤÑĮÑİ":102025,"ĠÑĥпÑĢавлениÑı":102026,"аÑĦ":102027,"зд":102028,"ĠÐľÐ¾Ð¶":102029,"ĠвеÑĩ":102030,"ĠмеÑħ":102031,"ĠпеÑĩ":102032,"ĠÑģоÑİ":102033,"иÑĩно":102034,"ĠÐŁÑĢед":102035,"ĠÑĥмеÑĢ":102036,"ĠСевеÑĢ":102037,"ĠÑĥÑģпеÑħ":102038,"ĠапÑĢелÑı":102039,"ĠÑģлиÑĪком":102040,"ĠÐĴÑģ":102041,"Ġгг":102042,"ĠдÑĥ":102043,"ĠСÑĤа":102044,"ĠÑĤон":102045,"емон":102046,"енÑĤÑĢ":102047,"ÑĥÑģка":102048,"ĠСÑĢед":102049,"ĠгÑĢаÑĦ":102050,"ĠмеÑĢе":102051,"ĠÑĩиÑģÑĤ":102052,"ÑģÑĤвие":102053,"ĠокÑĢÑĥг":102054,"ĠпÑĢава":102055,"ĠÑĢебен":102056,"ĠпÑĢежде":102057,"ĠпÑĢиÑĩин":102058,"ĠнеболÑĮÑĪ":102059,"ĠÑĦилоÑģоÑĦ":102060,"Ġвозможно":102061,"ĠинÑģÑĤиÑĤÑĥÑĤ":102062,"ĠпÑĢоиÑģÑħодиÑĤ":102063,"ĠдейÑģÑĤвиÑĤелÑĮно":102064,"ÑĤÑĢ":102065,"Ñīа":102066,"ĠÑĤа":102067,"ида":102068,"ÑĤож":102069,"ĠÐŁÐ°ÑĢ":102070,"Ġвза":102071,"ĠиÑģк":102072,"айÑĤе":102073,"ÑģÑĤÑĮÑİ":102074,"ĠСеÑĢг":102075,"ĠиÑĤог":102076,"ĠпÑĢем":102077,"ĠпÑĥÑĤи":102078,"ĠÑģозн":102079,"ĠÑĤÑĢад":102080,"ÑĢоÑģил":102081,"ĠвÑĭбоÑĢ":102082,"ĠвÑĭÑģоÑĤ":102083,"ĠиÑģпÑĭÑĤ":102084,"ĠноÑıбÑĢÑı":102085,"ĠпеÑĢвой":102086,"ĠÑĤакого":102087,"ĠбезопаÑģ":102088,"ĠÑģÑĢедÑģÑĤв":102089,"ĠиÑģполÑĮзоваÑĤÑĮ":102090,"ÑģÑĥ":102091,"ĠÐĽÐµ":102092,"ĠÐłÐµ":102093,"оме":102094,"ÑĦоÑĢ":102095,"ĠÐłÑĥÑģ":102096,"аÑĢаÑĤ":102097,"кÑĢеп":102098,"олне":102099,"омеÑĤ":102100,"ÑĢазд":102101,"ĠводÑĭ":102102,"Ġними":102103,"Ġпозд":102104,"ĠÑĤипа":102105,"ĠнаÑĢÑĥÑĪ":102106,"ĠÑħозÑıй":102107,"ажеÑĤÑģÑı":102108,"ĠнелÑĮзÑı":102109,"ĠоÑĤÑģÑĥÑĤÑģÑĤв":102110,"ĠÑģоÑģÑĤавлÑı":102111,"пл":102112,"ĠÐIJл":102113,"кÑĥп":102114,"Ñģол":102115,"ÑĪаÑı":102116,"ĠбоÑı":102117,"ĠвеÑĤ":102118,"Ġдок":102119,"ĠÑĢак":102120,"ĠдеÑĢж":102121,"ĠоÑĢÑĥж":102122,"ĠÑģами":102123,"ĠÑĤебÑı":102124,"ĠÑĥдаÑĢ":102125,"ĠдÑĥÑħов":102126,"Ġзнаком":102127,"ĠпÑĢоизоÑĪ":102128,"ĠдвижениÑı":102129,"ĠобÑīеÑģÑĤва":102130,"ĠмеждÑĥнаÑĢод":102131,"Ġкв":102132,"кви":102133,"меÑĪ":102134,"Ñĥнд":102135,"ĠнаÑĥ":102136,"ĠÑĤÑĭÑģ":102137,"еÑĩен":102138,"ĠÐIJндÑĢ":102139,"ĠвеÑĢÑħ":102140,"ĠигÑĢа":102141,"ĠкÑĢиÑĤ":102142,"гоÑĢод":102143,"ĠÑħоÑĤел":102144,"ĠÐĴладим":102145,"ĠпÑĢиказ":102146,"ĠÑĥÑĩаÑģÑĤв":102147,"ĠÑĥдалоÑģÑĮ":102148,"ĠСп":102149,"вол":102150,"ейн":102151,"иÑĪÑĮ":102152,"наÑĤ":102153,"ÑĤÑıн":102154,"Ñĥли":102155,"ĠÐijоÑĢ":102156,"ĠÐĹаÑĤ":102157,"ĠкÑĢÑĭ":102158,"ĠкÑĥп":102159,"ĠмоÑī":102160,"Ġдвиг":102161,"ĠÑĢÑĥки":102162,"ĠзаÑīиÑĤ":102163,"ĠÑĩаÑģов":102164,"иÑĢовал":102165,"ĠдоволÑĮ":102166,"ĠвозвÑĢаÑī":102167,"ĠпÑĢеÑģÑĤÑĥп":102168,"ĠнаÑģелениÑı":102169,"ĠÑģÑĤÑĢоиÑĤелÑĮ":102170,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢан":102171,"Ġал":102172,"йÑĤе":102173,"кал":102174,"лÑİб":102175,"мон":102176,"ĠÐĹем":102177,"Ġбан":102178,"Ġдеп":102179,"ĠÑĨаÑĢ":102180,"Ġмнож":102181,"ĠоÑĨен":102182,"ĠÑģÑĨен":102183,"аÑģÑĤеÑĢ":102184,"Ġлегко":102185,"ĠвоздÑĥÑħ":102186,"Ġиногда":102187,"ĠпаÑĢÑĤии":102188,"ĠиÑģÑģледов":102189,"ĠпÑĢоÑģÑĤÑĢан":102190,"ĠÑĢазлиÑĩнÑĭÑħ":102191,"оÑģÑĥдаÑĢÑģÑĤвен":102192,"ТÐIJ":102193,"ÑĢож":102194,"ĠСоÑİ":102195,"ĠТем":102196,"ĠдиÑĢ":102197,"Ġмой":102198,"ĠÑĢÑĭн":102199,"енко":102200,"ибли":102201,"новÑĮ":102202,"окой":102203,"ÑıÑĤие":102204,"ĠдеÑģÑı":102205,"ĠкÑĢеп":102206,"ĠÑģвид":102207,"веÑģÑĤи":102208,"ÑĢиÑģÑĤи":102209,"ĠзолоÑĤ":102210,"ĠновÑĭе":102211,"ĠоÑĤмеÑĤ":102212,"ĠоÑĦиÑĨи":102213,"ĠÑģамÑĭÑħ":102214,"ĠгоÑĢоде":102215,"ĠкоÑĢпÑĥÑģ":102216,"ĠповÑĤоÑĢ":102217,"ĠпÑĢивод":102218,"ĠпÑĢедмеÑĤ":102219,"Ġназвание":102220,"новÑĢеменно":102221,"ĠгоÑģÑĥдаÑĢÑģÑĤва":102222,"ĠÐĹд":102223,"але":102224,"еко":102225,"ÑĪла":102226,"ĠпаÑĤ":102227,"ĠÑģид":102228,"авиÑģ":102229,"евид":102230,"ÑĢалÑı":102231,"ÑĤаки":102232,"ÑıÑĤно":102233,"ĠпÑĢиб":102234,"ĠÑĤÑĢеÑħ":102235,"нÑĥлÑģÑı":102236,"Ġболез":102237,"ĠоÑĤмеÑĩ":102238,"ĠÑģвоем":102239,"ниÑĩÑĤож":102240,"ĠÐľÐ¾Ñģкве":102241,"Ġанглий":102242,"ĠвеÑģÑĮма":102243,"Ġвполне":102244,"ĠповеÑĢÑħ":102245,"ĠкÑĥлÑĮÑĤÑĥÑĢ":102246,"ĠÑĦевÑĢалÑı":102247,"ĠÑģÑĤановиÑĤÑģÑı":102248,"акÑĤ":102249,"маÑĢ":102250,"ĠÑģÑĥб":102251,"ĠÑĦÑĥÑĤ":102252,"оваÑı":102253,"овÑĭм":102254,"ÑĢеÑģÑģ":102255,"ÑİÑīаÑı":102256,"ĠанÑĤи":102257,"ÑĢеÑģÑĤÑĮ":102258,"Ñĥжден":102259,"ÑĪениÑı":102260,"ĠимеÑİÑĤ":102261,"Ġкакие":102262,"ĠновÑĭÑħ":102263,"ĠÑģÑĢавн":102264,"алÑĮнаÑı":102265,"ĠнедоÑģÑĤ":102266,"ĠÑĢабоÑĤа":102267,"ĠÑĢабоÑĤе":102268,"ĠнекоÑĤоÑĢÑĭÑħ":102269,"ĠÑģÑĬ":102270,"еÑīа":102271,"оиÑĤ":102272,"ÑĢид":102273,"Ñģии":102274,"ĠÐłÐ¾Ð´":102275,"Ġмел":102276,"Ġмон":102277,"гÑĢад":102278,"еÑĢÑĤв":102279,"калÑĮ":102280,"ÑĥÑīен":102281,"Ġимен":102282,"ĠкÑĥда":102283,"ĠопÑĭÑĤ":102284,"ĠÑĢеки":102285,"ĠÑĢоÑģÑĤ":102286,"лений":102287,"ленно":102288,"ĠÐĹапад":102289,"ĠвновÑĮ":102290,"Ġоблад":102291,"ĠÑģмоÑĤÑĢ":102292,"ĠÑĢеализ":102293,"ĠÑĥÑģÑĤÑĢой":102294,"иÑĩеÑģкÑĥÑİ":102295,"ÑĢиÑģÑĤиан":102296,"ĠавÑĤомоб":102297,"ĠпÑĢедпÑĢи":102298,"ĠдоволÑĮно":102299,"ĠвозможноÑģÑĤи":102300,"ĠпÑĢакÑĤиÑĩеÑģки":102301,"еÑĢв":102302,"ĠÐļаз":102303,"ĠÐŁÐ¾ÑĤ":102304,"Ġбед":102305,"ĠдиÑģ":102306,"Ġлеж":102307,"кÑĢеÑĤ":102308,"ĠÐŃÑĤоÑĤ":102309,"ĠаÑĢÑĤи":102310,"ĠмаÑĪи":102311,"Ġнеиз":102312,"ĠпÑıÑĤÑĮ":102313,"ĠÑģеÑĢÑĮ":102314,"ĠконÑĨа":102315,"ĠкÑĢоме":102316,"ĠобÑĬÑıв":102317,"Ġповед":102318,"ĠÑģамÑĭм":102319,"еÑĢбÑĥÑĢг":102320,"ĠвооÑĢÑĥж":102321,"ĠздоÑĢов":102322,"ĠпÑĢоÑħод":102323,"ĠÑĢазнÑĭÑħ":102324,"ĠобÑĬедин":102325,"ĠпеÑĢеÑħод":102326,"ĠÐIJлекÑģанд":102327,"ĠопÑĢеделÑı":102328,"ĠинÑĦоÑĢмаÑĨии":102329,"ĠÐļо":102330,"вен":102331,"еÑĤи":102332,"ово":102333,"паÑĢ":102334,"Ñģен":102335,"ÑĤеÑħ":102336,"Ñĩай":102337,"Ġниз":102338,"ĠÑĢед":102339,"айÑĤи":102340,"веÑĢд":102341,"ÑĥÑĪки":102342,"ĠпоÑĢÑĤ":102343,"ĠÑģлав":102344,"ĠÑĨели":102345,"ĠÐijолÑĮÑĪ":102346,"Ġодном":102347,"ĠпÑĢÑıмо":102348,"ĠÑĢайон":102349,"ĠÑĥÑģили":102350,"ĠÑĦилÑĮм":102351,"ÑĩиÑģлен":102352,"Ġдополн":102353,"ĠзÑĢениÑı":102354,"ĠÐłÐ¾ÑģÑģийÑģкой":102355,"ÑĦа":102356,"ĠТе":102357,"ÑĤиÑı":102358,"ÑĥÑģк":102359,"Ġбал":102360,"ĠдÑĥÑĪ":102361,"иÑĨеÑĢ":102362,"омин":102363,"ÑĢежд":102364,"ĠбеÑģп":102365,"Ġкого":102366,"ĠконÑĦ":102367,"ĠÑĢода":102368,"ĠÑĥкÑĢа":102369,"енной":102370,"ĠколиÑĩ":102371,"ĠÑĢежим":102372,"ĠÑĢоман":102373,"ĠÑģÑĤÑĢаÑħ":102374,"ĠÑĤÑĢеÑĤÑĮ":102375,"ĠменÑĮÑĪе":102376,"Ġнового":102377,"ĠоÑģнове":102378,"ĠÑģекÑĢеÑĤ":102379,"ĠÑĩеÑĤÑĭÑĢе":102380,"ĠÑģиÑģÑĤема":102381,"ĠкÑĥлÑĮÑĤÑĥÑĢÑĭ":102382,"Ñĭн":102383,"вÑıÑī":102384,"кое":102385,"лиж":102386,"онÑĭ":102387,"ÑĤин":102388,"ÑĪем":102389,"ÑĮев":102390,"ÑİÑģÑĮ":102391,"ĠÐĴеÑĢ":102392,"ĠÐŁÐ°Ð²":102393,"ĠÐŃÑĤи":102394,"ĠбаÑĢ":102395,"ĠеÑģÑĤ":102396,"ĠноÑĩ":102397,"ĠпиÑĪ":102398,"ĠпÑĭÑĤ":102399,"веÑĢг":102400,"пÑĢед":102401,"ĠлиÑģÑĤ":102402,"ĠÑģпаÑģ":102403,"ĠÑĤебе":102404,"ĠТаким":102405,"ĠбогаÑĤ":102406,"Ġзавод":102407,"Ġкниги":102408,"ĠновÑĭй":102409,"ĠÑĢазÑĥм":102410,"ĠÑģамой":102411,"ĠденÑĮги":102412,"ĠмаленÑĮ":102413,"ĠпомоÑīи":102414,"ĠÑģвидеÑĤ":102415,"иÑĩеÑģким":102416,"ĠвозÑĢаÑģÑĤ":102417,"ĠвÑĭполнÑı":102418,"ĠÑĢеÑĪениÑı":102419,"ĠпоÑģÑĤоÑıнно":102420,"зи":102421,"Ġ\\-":102422,"биÑĢ":102423,"ниÑĤ":102424,"ниÑİ":102425,"оÑĤа":102426,"ÑĪиÑĢ":102427,"ĠÐłÐ°Ñģ":102428,"ĠкÑĢа":102429,"ĠпоÑį":102430,"ĠÑĤеп":102431,"ÑĥÑĪка":102432,"ĠжеÑģÑĤ":102433,"ĠÑģÑĤÑĥд":102434,"ĠÑĤеÑħн":102435,"ĠÑĥдив":102436,"ĠÑĦÑĢон":102437,"ĠникÑĤо":102438,"ĠознаÑĩ":102439,"ĠполÑĮз":102440,"ĠÑĤоÑĩки":102441,"ĠÑĤоÑĩно":102442,"имоÑģÑĤÑĮ":102443,"наÑĩала":102444,"ĠÐĺванов":102445,"ĠТепеÑĢÑĮ":102446,"ĠвокÑĢÑĥг":102447,"ĠзнаÑĩиÑĤ":102448,"ĠподпиÑģ":102449,"ĠизвеÑģÑĤно":102450,"ĠлиÑĤеÑĢаÑĤÑĥÑĢ":102451,"ĠнеÑģколÑĮкиÑħ":102452,"ĠÑĥÑģÑĤановлен":102453,"ÑįÑĢ":102454,"ĠÐĿи":102455,"ĠаÑĤ":102456,"ĠÑıÑĢ":102457,"мол":102458,"ÑĢий":102459,"ÑĪее":102460,"Ġден":102461,"аждÑĭ":102462,"лÑıÑĤÑĮ":102463,"ĠидеÑĤ":102464,"Ġкино":102465,"ĠкÑĥÑĢÑģ":102466,"ĠнаÑĪи":102467,"ĠоднÑĥ":102468,"ĠпÑĥÑģÑĤ":102469,"ĠÑģоÑİз":102470,"ĠÑĤела":102471,"ĠÑĥвеÑĢ":102472,"Ñģкими":102473,"ĠÐĹдеÑģÑĮ":102474,"ĠнайÑĤи":102475,"ĠÑĢавно":102476,"ионалÑĮ":102477,"ĠженÑīин":102478,"ĠпÑĢакÑĤи":102479,"ĠÑģолдаÑĤ":102480,"ĠУкÑĢаинÑĭ":102481,"ĠоÑĩеÑĢедÑĮ":102482,"ĠÑģÑĤоÑĢонÑĥ":102483,"ĠÐĴладимиÑĢ":102484,"ĠÑĢабоÑĤаÑĤÑĮ":102485,"ĠÑĥÑģловиÑıÑħ":102486,"ĠединÑģÑĤвен":102487,"ĠпÑĢезиденÑĤ":102488,"ĠпÑĢомÑĭÑĪлен":102489,"бег":102490,"беж":102491,"еÑĩи":102492,"лиÑĤ":102493,"ĠакÑĤ":102494,"ĠбÑĥÑĢ":102495,"ĠигÑĢ":102496,"ĠпÑıÑĤ":102497,"ĠÑģоÑĢ":102498,"езда":102499,"ĠпÑĢог":102500,"ĠÑįÑĤап":102501,"аÑĤели":102502,"Ġдоказ":102503,"Ġдолго":102504,"ĠнаÑĪиÑħ":102505,"ĠповÑĭÑĪ":102506,"ÑģÑĤанав":102507,"ĠÑģлÑĥÑĩаÑı":102508,"ĠÑįкÑģпеÑĢ":102509,"ĠдалÑĮней":102510,"ĠпеÑĢвого":102511,"иÑĢование":102512,"ĠзнаÑĩиÑĤелÑĮ":102513,"ĠпÑĢиÑģÑĥÑĤÑģÑĤв":102514,"ÐĹа":102515,"ÑĢиз":102516,"ÑĩÑĤо":102517,"ĠÐļол":102518,"ĠТам":102519,"ĠбаÑĤ":102520,"ĠкаÑģ":102521,"ливо":102522,"Ñĩива":102523,"ĠÐŁÐµÑĢе":102524,"ĠобÑĥÑĩ":102525,"ĠпÑĥÑĤÑĮ":102526,"аннÑĭй":102527,"веден":102528,"иÑĢÑĥеÑĤ":102529,"ÑĪение":102530,"ĠÐĹаÑĤем":102531,"Ġглаза":102532,"ĠпиÑģал":102533,"ĠÑģлово":102534,"ĠÑģÑĤолÑĮ":102535,"ĠвеÑĢоÑıÑĤ":102536,"ĠвзглÑıд":102537,"ĠподÑħод":102538,"ĠÑģилÑĮно":102539,"ĠÑĤÑĢанÑģп":102540,"иÑĩеÑģком":102541,"ĠвпеÑĢвÑĭе":102542,"ĠÑĢабоÑĤал":102543,"ĠÑĥниÑĩÑĤож":102544,"ĠÑħл":102545,"бин":102546,"лок":102547,"миÑĢ":102548,"ног":102549,"Ñģел":102550,"ĠÐĿеÑģ":102551,"ĠÑĥда":102552,"ĠÑĪаг":102553,"нием":102554,"ĠÐŁÑĢим":102555,"ĠÑħоде":102556,"иваÑİÑĤ":102557,"илÑĮно":102558,"оÑģÑĢед":102559,"оÑģÑĤÑĮÑİ":102560,"ÑĢоÑĤив":102561,"ĠÐĽÐµÐ½Ð¸Ð½":102562,"ĠлÑİбов":102563,"ĠмÑĭÑģли":102564,"ĠÑĢÑıдом":102565,"ĠÑģамое":102566,"ĠвлаÑģÑĤÑĮ":102567,"ĠданнÑĭм":102568,"ĠкÑĢеÑģÑĤÑĮ":102569,"Ġпозвол":102570,"ĠÐĿапÑĢимеÑĢ":102571,"ĠÑĩаÑģÑĤноÑģÑĤи":102572,"аÑī":102573,"Ġаг":102574,"ĠоÑī":102575,"гла":102576,"лÑıл":102577,"моÑģ":102578,"ÑĢии":102579,"Ñĩем":102580,"ÑĪед":102581,"ÑıеÑĤ":102582,"ĠÐŁÐ¾Ñĩ":102583,"ĠХоÑĤ":102584,"Ġапп":102585,"ĠинÑĤ":102586,"ĠмеÑĩ":102587,"Ġмлн":102588,"глав":102589,"ĠвÑĢаг":102590,"Ġдолл":102591,"ĠнÑĢав":102592,"ĠÑĢеак":102593,"ĠÑĪÑĤаб":102594,"аÑĤÑĥÑĢÑĭ":102595,"ÑĢаÑĨии":102596,"ÑģÑĤвиÑı":102597,"ĠТакже":102598,"Ġземли":102599,"ĠпÑĥбли":102600,"ĠÑģобак":102601,"ĠвнÑĥÑĤÑĢи":102602,"ĠÑģвоими":102603,"ĠÑģловам":102604,"енноÑģÑĤи":102605,"ĠÐĵеÑĢмании":102606,"ĠадминиÑģÑĤ":102607,"ĠÑĢаÑģÑģмаÑĤÑĢ":102608,"еÑģпÑĥблики":102609,"ĠоÑĤноÑĪении":102610,"Ю":102611,"ĠÐĵе":102612,"ĠÐĽÑĥ":102613,"ĠЧÑĤ":102614,"ĠÑģÑİ":102615,"енÑģ":102616,"иÑĨÑĭ":102617,"кам":102618,"ÑĢÑĥÑĤ":102619,"ÑĮÑĪе":102620,"ĠÐŃÑĤа":102621,"ĠбÑĥк":102622,"ĠвÑĭд":102623,"Ġжил":102624,"Ġкаб":102625,"ĠкÑĥÑĢ":102626,"Ġобо":102627,"биÑĢа":102628,"иÑĤай":102629,"ÑĢакÑĤ":102630,"ĠдвеÑĢ":102631,"ĠдÑĢÑĥз":102632,"Ġимел":102633,"ĠмогÑĥ":102634,"аÑĨией":102635,"ваÑĢÑĤи":102636,"ĠвеÑĩеÑĢ":102637,"ĠдÑĢÑĥга":102638,"ĠоÑĤвеÑĩ":102639,"ĠпÑĢибÑĭ":102640,"ĠÑĤеÑħни":102641,"ĠнаÑģÑĤÑĥп":102642,"ĠÑĢÑĥблей":102643,"ĠÑģимвол":102644,"ĠÑĨеÑĢков":102645,"емокÑĢаÑĤ":102646,"ĠФÑĢанÑĨии":102647,"ĠнезавиÑģ":102648,"Ġнемного":102649,"ĠпеÑĢевод":102650,"ĠкомплекÑģ":102651,"ĠпÑĢоблемÑĭ":102652,"ĠблагодаÑĢÑı":102653,"ĠимпеÑĢаÑĤоÑĢ":102654,"ĠÑģоÑģÑĤавлÑıеÑĤ":102655,"ÑĨÑĥ":102656,"ÑıÑĩ":102657,"ĠбÑİ":102658,"Ġож":102659,"ĠÑıÑģ":102660,"ган":102661,"ген":102662,"дов":102663,"едÑĮ":102664,"еев":102665,"зии":102666,"поз":102667,"ĠÑĢам":102668,"анÑĤа":102669,"овÑĭй":102670,"ĠÐĴÑĤоÑĢ":102671,"Ġанал":102672,"ĠзнаÑİ":102673,"ĠÑģилÑĥ":102674,"ĠÑģлаб":102675,"ĠÑģÑĢок":102676,"ĠÑĦлоÑĤ":102677,"вÑĪиÑģÑĮ":102678,"изнеÑģ":102679,"оÑĤвоÑĢ":102680,"ÑĢабаÑĤ":102681,"ĠподнÑı":102682,"ĠпоÑģел":102683,"ĠпÑĢием":102684,"ĠÑģпÑĢав":102685,"ĠÑģÑĤÑĢел":102686,"пÑĢиним":102687,"ĠÑģÑĤÑĢане":102688,"ĠÑĤемпеÑĢ":102689,"Ġвозника":102690,"ĠÑĥÑĤвеÑĢжд":102691,"ĠговоÑĢиÑĤÑĮ":102692,"ĠполÑĥÑĩиÑĤÑĮ":102693,"ĠпÑĢимеÑĢно":102694,"ĠФедеÑĢаÑĨии":102695,"ĠпÑĢедоÑģÑĤав":102696,"бÑĢ":102697,"зе":102698,"Ñįк":102699,"ĠÑģÑĥ":102700,"нÑİÑİ":102701,"ÑĤан":102702,"Ġнее":102703,"клон":102704,"опиÑģ":102705,"ÑİÑīее":102706,"ĠÐĴеÑĢÑħ":102707,"ĠбÑĢаÑĤ":102708,"ĠдвÑĥм":102709,"ĠÑģÑĥдÑĮ":102710,"оÑĤÑĢеб":102711,"ĠимеÑĤÑĮ":102712,"ĠÑĢеÑĪил":102713,"дейÑģÑĤв":102714,"еÑĩаниÑı":102715,"ĠзаÑģÑĤав":102716,"ĠзаÑıвил":102717,"ĠкомиÑģÑģ":102718,"ĠÑĢазÑĢеÑĪ":102719,"ĠавÑĤомаÑĤ":102720,"ĠговоÑĢил":102721,"ĠпÑĢоÑĤивника":102722,"ĠодновÑĢеменно":102723,"ĠТÑĭ":102724,"икÑĥ":102725,"каÑĢ":102726,"кÑĥÑİ":102727,"ÑĤÑĢа":102728,"ĠвÑĭн":102729,"ĠÑģÑĭн":102730,"еÑīен":102731,"лена":102732,"ниÑĤÑĮ":102733,"ĠлиÑĨа":102734,"ĠÑĤÑĢав":102735,"ĠÑħÑĢам":102736,"ĠÑıзÑĭк":102737,"ÑĢован":102738,"ÑĮÑİÑĤеÑĢ":102739,"ĠÐľÐµÐ¶Ð´Ñĥ":102740,"ĠбÑĥдÑĤо":102741,"ĠнапÑĢÑı":102742,"ĠдÑĢÑĥгим":102743,"ĠмаÑģÑĤеÑĢ":102744,"ĠобÑıзан":102745,"ĠоÑģÑĤанов":102746,"ĠпÑĢедлаг":102747,"ĠпÑĢекÑĢаÑģ":102748,"ĠÑģколÑĮко":102749,"ĠназÑĭваем":102750,"ĠÑģÑĢедÑģÑĤва":102751,"Ġположение":102752,"ĠÐĽÐ°":102753,"Ġге":102754,"виÑģ":102755,"каж":102756,"оÑĤÑĭ":102757,"ÑĢÑĥÑģ":102758,"ĠÐľÐ°Ðº":102759,"Ġвов":102760,"Ġмоз":102761,"еÑħал":102762,"мÑĭÑģл":102763,"овеÑĢ":102764,"опол":102765,"ĠÐIJмеÑĢ":102766,"Ġдолг":102767,"ĠмоÑĢÑı":102768,"ĠнаÑĥк":102769,"ĠнемÑĥ":102770,"ĠÑĥÑĩиÑĤ":102771,"обÑĢеÑĤ":102772,"ÑĥÑİÑīиÑħ":102773,"ÑħÑĢани":102774,"ĠÐŀÑģнов":102775,"ĠТогда":102776,"Ġповод":102777,"ĠпоÑĢаж":102778,"ĠбизнеÑģ":102779,"ĠпоÑıвлÑı":102780,"Ġкаждого":102781,"ĠкажеÑĤÑģÑı":102782,"ÑģÑĤоÑıÑĤелÑĮ":102783,"ĠиÑģÑģледованиÑı":102784,"Ñģм":102785,"ĠÐĽÐ¸":102786,"ĠÐľÐ¾":102787,"айн":102788,"виж":102789,"енн":102790,"инÑĤ":102791,"лии":102792,"ÑĩÑijÑĤ":102793,"ĠÐľÐ¾ÑĢ":102794,"ĠÐĿеÑĤ":102795,"ĠÐŀÑĤе":102796,"Ġкоп":102797,"ĠÑģад":102798,"ĠÑĤай":102799,"изма":102800,"иона":102801,"иÑĤоÑĢ":102802,"ойÑĤи":102803,"ÑĪиÑģÑĮ":102804,"ĠпоÑįÑĤ":102805,"ÑıеÑĤÑģÑı":102806,"ĠЧÑĤобÑĭ":102807,"Ġвзаим":102808,"ĠиÑģÑħод":102809,"Ġновой":102810,"Ġобвин":102811,"ĠпÑĢоÑıв":102812,"ĠÑģоÑģед":102813,"ĠÑĨелÑĮÑİ":102814,"ĠÐľÐ¾Ñģков":102815,"ĠвмеÑģÑĤо":102816,"ĠнаÑĪего":102817,"ĠÑĨеÑĢкви":102818,"оваÑĤелÑĮ":102819,"ĠдÑĢÑĥгими":102820,"ĠÑģамолеÑĤ":102821,"ĠоÑģновном":102822,"ĠÑħÑĢиÑģÑĤиан":102823,"еÑģÑĤвенной":102824,"ĠпозволÑıеÑĤ":102825,"СÐļ":102826,"жÑĥ":102827,"Ñĭк":102828,"ĠÐIJк":102829,"ежн":102830,"зоÑĢ":102831,"Ñĥма":102832,"ÑĮÑĤе":102833,"ĠÐľÐ½Ðµ":102834,"Ġана":102835,"ĠÑģиг":102836,"ĠÑģÑĥп":102837,"ĠÑĩÑĥд":102838,"ĠÑįпо":102839,"аков":102840,"анда":102841,"аÑĤов":102842,"ваÑĢд":102843,"емаÑĤ":102844,"енÑĨи":102845,"ивно":102846,"ÑĥÑģÑĤи":102847,"ĠгÑĢÑĥз":102848,"ĠигÑĢÑĭ":102849,"ĠподÑĤ":102850,"Ġполе":102851,"ĠпÑıÑĤи":102852,"ĠÑģолн":102853,"оÑģлав":102854,"ÑĢопей":102855,"Ġпогиб":102856,"ĠÑĢанее":102857,"ĠÑĪиÑĢок":102858,"Ġакадем":102859,"ĠмедиÑĨи":102860,"ĠнаÑĢода":102861,"ĠпеÑĢвÑĭÑħ":102862,"ĠпÑĢедел":102863,"одейÑģÑĤв":102864,"ĠкомандÑĭ":102865,"ĠнаконеÑĨ":102866,"ĠпÑĢавило":102867,"ĠдейÑģÑĤвий":102868,"ĠÑĢазговоÑĢ":102869,"ĠизменениÑı":102870,"ĠÑģÑĥÑīеÑģÑĤвÑĥеÑĤ":102871,"ĠбезопаÑģноÑģÑĤи":102872,"ĠпÑĢоизводÑģÑĤва":102873,"нд":102874,"ĠмÑĥ":102875,"бил":102876,"вел":102877,"гон":102878,"илÑı":102879,"иÑĨа":102880,"иÑīа":102881,"ÑĢÑĭÑĤ":102882,"Ñĥга":102883,"ĠÐijаÑĢ":102884,"ĠÐĿад":102885,"ĠалÑĮ":102886,"ĠбÑĥм":102887,"ĠкаÑĤ":102888,"Ġлог":102889,"ĠÑģнÑı":102890,"ĠÑĤоп":102891,"олеÑĤ":102892,"оÑĢод":102893,"ÑĤоÑĢа":102894,"ĠÑĢоли":102895,"ĠÑĥбий":102896,"еннÑĭм":102897,"ознаÑĩ":102898,"ÑģолÑİÑĤ":102899,"ĠпеÑĢеÑģ":102900,"ĠÑĢадио":102901,"ĠÑĦоÑĢмÑĭ":102902,"ĠÑħолод":102903,"алÑĮное":102904,"ĠÐķвÑĢопÑĭ":102905,"ĠТолÑĮко":102906,"ĠдалÑĮÑĪе":102907,"ĠоÑĦиÑĨеÑĢ":102908,"ĠÑģеÑĢÑĮез":102909,"ĠконкÑĢеÑĤ":102910,"ĠÑįÑĦÑĦекÑĤив":102911,"ĠвоÑģÑģÑĤанов":102912,"ĠÑģоÑģÑĤоÑıнии":102913,"ĠÐļа":102914,"ĠÐŁÑĥ":102915,"Ġбо":102916,"ĠпÑĮ":102917,"анн":102918,"еÑĢе":102919,"иÑĨе":102920,"йÑĤи":102921,"лим":102922,"омб":102923,"ÑĢин":102924,"Ñıли":102925,"ĠÐĺÑģп":102926,"ĠÐĺÑģÑĤ":102927,"ĠÑģок":102928,"бÑĥÑĢг":102929,"вÑĪей":102930,"вÑĪим":102931,"инал":102932,"ниÑĨÑĭ":102933,"ĠÐľÐ¸Ñħа":102934,"Ġзнак":102935,"ĠплоÑĤ":102936,"ĠÑĢазм":102937,"ĠÑĢеÑĩÑĮ":102938,"ĠÑģÑĤен":102939,"ĠÑģамÑĭй":102940,"ĠÑĤелеÑĦ":102941,"ĠÑĩеÑĤÑĭÑĢ":102942,"иÑĤелем":102943,"ĠмнениÑİ":102944,"ĠÑĢанÑĮÑĪе":102945,"Ñĥбликов":102946,"ĠпÑĢедÑģед":102947,"ĠназнаÑĩен":102948,"ĠпÑĢедÑģÑĤавлÑıеÑĤ":102949,"ÑĢÑİ":102950,"ĠаÑį":102951,"бой":102952,"вой":102953,"ÑĪин":102954,"Ġибо":102955,"ĠмÑĭÑĪ":102956,"ĠÑĦиг":102957,"евой":102958,"ллеÑĢ":102959,"наÑĩе":102960,"опÑĢи":102961,"Ġблок":102962,"ĠнаÑģÑĤ":102963,"ĠпÑĢид":102964,"ĠпÑĢож":102965,"ĠÑģлÑĭÑĪ":102966,"ĠÑĤеÑģÑĤ":102967,"ĠÑĥÑĩен":102968,"ĠÑĦакÑĤ":102969,"ÑĢиÑĤан":102970,"ĠаÑĢеÑģÑĤ":102971,"ĠлÑİбой":102972,"ĠÑĤÑĢÑĥда":102973,"ĠвойÑģка":102974,"Ġдалеко":102975,"ĠинÑģÑĤÑĢÑĥ":102976,"ĠпоÑģвÑıÑī":102977,"ĠÑģделал":102978,"ĠÑĥвелиÑĩ":102979,"ĠÑĦÑĥÑĤбол":102980,"ождение":102981,"ĠвопÑĢоÑģÑĭ":102982,"ĠглавнÑĭм":102983,"ĠмиÑĢовой":102984,"ĠÑģоÑģÑĤоиÑĤ":102985,"наÑĩалÑĮно":102986,"ĠкомпÑĮÑİÑĤеÑĢ":102987,"ĠÐŁÑĢимеÑĩаниÑı":102988,"ĠоÑĤвеÑĤÑģÑĤвен":102989,"ÑħÑĥ":102990,"Ñıг":102991,"ÑijÑħ":102992,"ĠÐĺÑģ":102993,"анг":102994,"оÑĢд":102995,"ÑĢÑĥÑĩ":102996,"Ñĩей":102997,"ĠÐłÐ¸Ð¼":102998,"Ġкил":102999,"Ġмик":103000,"ĠобÑģ":103001,"идеÑĢ":103002,"ĠÐĺван":103003,"ĠСÑĤаÑĢ":103004,"Ġвозв":103005,"ĠоÑīÑĥÑī":103006,"аваÑĤÑĮ":103007,"анÑģов":103008,"вÑĪего":103009,"оÑģлед":103010,"ÑģÑĤÑĢел":103011,"ĠЦенÑĤÑĢ":103012,"Ġлинии":103013,"ĠпокÑĥп":103014,"ĠÑĤÑıжел":103015,"ĠÑĥлиÑĨа":103016,"ĠÑĨелом":103017,"ĠÑĪколÑĭ":103018,"ĠÑıзÑĭка":103019,"адÑĨаÑĤÑĮ":103020,"енного":103021,"ĠдÑĢÑĥгом":103022,"ĠкомнаÑĤ":103023,"ĠоÑĤкÑĢÑĭÑĤ":103024,"ĠпонÑıÑĤÑĮ":103025,"ĠÑĢазвед":103026,"ĠÑģобиÑĢа":103027,"ĠÑĤÑĢÑĥдно":103028,"ĠмеÑħаниз":103029,"ĠÑģлÑĥÑĩаÑıÑħ":103030,"ĠÑįлекÑĤÑĢо":103031,"аÑĤелÑĮÑģÑĤв":103032,"ĠкÑĢеÑģÑĤÑĮÑıн":103033,"ĠпÑĢиÑĪлоÑģÑĮ":103034,"ĠÑĢазвиÑĤие":103035,"ĠобÑģÑĤоÑıÑĤелÑĮ":103036,"ĠобÑĢазованиÑı":103037,"зн":103038,"ĠÐIJÑĦ":103039,"ĠÑģÑħ":103040,"ига":103041,"икÑģ":103042,"ĠÐĵоÑģ":103043,"ĠÐĵÑĢи":103044,"ĠÐľÐ°Ð»":103045,"ĠÑĢеп":103046,"ÑĤелÑı":103047,"Ġволн":103048,"ĠмоÑĢе":103049,"Ġплен":103050,"ĠÑģÑĦеÑĢ":103051,"ĠÑĥбеж":103052,"ĠÑĥÑĩеб":103053,"ĠнепÑĢи":103054,"ĠпÑĢеим":103055,"еÑĩениÑı":103056,"изаÑĨии":103057,"ĠговоÑĢÑı":103058,"ĠзаÑħваÑĤ":103059,"ĠпеÑĢвÑĭе":103060,"ĠÑģвоемÑĥ":103061,"ĠÑģÑĤÑĢÑĥкÑĤÑĥ":103062,"ĠкоÑĤоÑĢомÑĥ":103063,"ĠÑĢабоÑĤаеÑĤ":103064,"ĠиÑģкÑĥÑģÑģÑĤва":103065,"ĠнаÑģÑĤоÑıÑīее":103066,"ĠопÑĥбликов":103067,"ĠÑģвидеÑĤелÑĮ":103068,"оÑģÑĢедÑģÑĤвенно":103069,"ĠдеÑıÑĤелÑĮноÑģÑĤÑĮ":103070,"ĠоÑĤноÑģиÑĤелÑĮно":103071,"Ð¡Ðł":103072,"Ñĭл":103073,"ĠÑģн":103074,"ĠÑįп":103075,"ади":103076,"адÑĭ":103077,"анÑĮ":103078,"аÑĤÑĭ":103079,"веÑģ":103080,"пиÑĤ":103081,"ÑĥÑĩи":103082,"ĠÐķÑīе":103083,"ĠÐļÑĥб":103084,"ĠмÑĭÑģ":103085,"Ġпап":103086,"ĠÑĥгÑĢ":103087,"ĠÑĦон":103088,"ĠÑħим":103089,"аздо":103090,"ваÑĤÑĮ":103091,"дали":103092,"ивид":103093,"иÑĨиÑı":103094,"ÑĥÑģÑĤÑı":103095,"Ñĩина":103096,"ĠÐĶмиÑĤ":103097,"ĠÑģкаж":103098,"женеÑĢ":103099,"ÑĥÑİÑĤÑģÑı":103100,"ĠЧеÑĢез":103101,"ĠвÑģÑĤÑĥп":103102,"Ġдавно":103103,"ĠкоммÑĥ":103104,"ĠкоÑĢоÑĤ":103105,"ĠоÑģвоб":103106,"ĠпÑĢеÑģÑģ":103107,"ĠÑĢедак":103108,"еÑīениÑı":103109,"ĠвпеÑĢед":103110,"ĠвÑģÑĤÑĢеÑĤ":103111,"ĠзаконÑĩ":103112,"ĠкваÑĢÑĤи":103113,"ĠмеÑĤÑĢов":103114,"ĠпеÑĢвÑĥÑİ":103115,"ĠподÑĩин":103116,"ĠпÑĢилож":103117,"ĠÑģкоÑĢее":103118,"ведение":103119,"инÑģкого":103120,"ĠконÑĦлик":103121,"ĠпеÑĢедаÑĩ":103122,"ĠÑģиÑĤÑĥаÑĨии":103123,"ĠÑģпеÑĨиалиÑģÑĤ":103124,"ĠпÑĢавиÑĤелÑĮÑģÑĤва":103125,"дÑı":103126,"ĠÐľÐ°":103127,"ĠÐŀк":103128,"ĠÐłÑĥ":103129,"ĠТа":103130,"илл":103131,"лÑĥж":103132,"ÑĤик":103133,"ÑĤÑģÑı":103134,"ĠавÑĤ":103135,"веÑĢÑĤ":103136,"емÑģÑı":103137,"илиз":103138,"пÑĢоÑĩ":103139,"ĠÐĶÑĢÑĥг":103140,"ĠХоÑĤÑı":103141,"Ġкниг":103142,"Ġмоей":103143,"ĠобоÑĢ":103144,"ĠÑģÑĤад":103145,"ĠÑħÑĢан":103146,"ĠÑĩÑĥÑĤÑĮ":103147,"ĠÑıÑģно":103148,"жение":103149,"иÑĨион":103150,"пÑĥÑģка":103151,"ÑĥвÑģÑĤв":103152,"ĠопÑıÑĤÑĮ":103153,"ĠпиÑĪеÑĤ":103154,"ĠÑĢазно":103155,"ĠÑĤеаÑĤÑĢ":103156,"аÑĤелÑĮн":103157,"епенно":103158,"ÑģÑĤÑĢоен":103159,"ĠÐĺменно":103160,"ĠгÑĢÑĥппа":103161,"ĠдоÑģÑĤиж":103162,"ĠпеÑĢвÑĭм":103163,"ĠÑĤоÑĢгов":103164,"ĠдеÑĢевнÑı":103165,"ĠкаÑĤегоÑĢ":103166,"ĠÑįкÑģпеÑĢим":103167,"ĠпÑĢедполаг":103168,"ĠÑģоÑģÑĤоÑıние":103169,"Ġневозможно":103170,"ĠÑģооÑĤвеÑĤÑģÑĤвии":103171,"ĠнепоÑģÑĢедÑģÑĤвенно":103172,"ÑĢд":103173,"ÑĥÑı":103174,"Ñįй":103175,"Ñįл":103176,"Ġпи":103177,"ĠÑİж":103178,"виÑĤ":103179,"жал":103180,"ÑĢÑĥб":103181,"ÑıÑİÑĤ":103182,"ĠÐļÑĢÑĭ":103183,"Ġбой":103184,"бÑĢоÑģ":103185,"иной":103186,"кÑĥда":103187,"менÑĮ":103188,"овед":103189,"огла":103190,"поÑĢÑĤ":103191,"ÑıÑĤий":103192,"ĠжиÑĤÑĮ":103193,"Ġзнал":103194,"ĠклеÑĤ":103195,"ĠмаÑĢÑĪ":103196,"Ġожид":103197,"извод":103198,"иÑģÑĤов":103199,"оÑĦеÑģÑģ":103200,"ÑĢаÑģÑĤа":103201,"ĠаÑĢÑħиÑĤ":103202,"ĠвдÑĢÑĥг":103203,"ĠдвÑĥмÑı":103204,"ĠналиÑĩ":103205,"ĠоÑĢган":103206,"ĠоÑħÑĢан":103207,"ĠпеÑĢеп":103208,"ĠпÑĢиÑģÑĤ":103209,"ĠÑģайÑĤе":103210,"ĠÑĦоÑĢме":103211,"ÑİÑīиÑħÑģÑı":103212,"ĠСоглаÑģ":103213,"ĠпеÑĢÑģон":103214,"ĠÑĢазÑĢÑĥÑĪ":103215,"ĠÑĢамкаÑħ":103216,"ĠÑĥÑĢовнÑı":103217,"ĠабÑģолÑİÑĤ":103218,"ĠваÑĢианÑĤ":103219,"ĠжиÑĤелей":103220,"ĠобÑĢазов":103221,"ĠÑĢаÑģÑģÑĤоÑı":103222,"аÑĨионалÑĮ":103223,"ĠнеÑģмоÑĤÑĢÑı":103224,"ĠÑĦинанÑģов":103225,"ĠнапÑĢавлен":103226,"ĠÑī":103227,"ÐĿÐĺ":103228,"ÑĦе":103229,"ÑĦÑĤ":103230,"Ñijв":103231,"ĠÐĺм":103232,"ĠСÑĥ":103233,"ĠЮж":103234,"Ġед":103235,"ÐŁÐµÑĤ":103236,"вей":103237,"окÑģ":103238,"ÑĤие":103239,"ÑĨем":103240,"ĠÐIJлÑĮ":103241,"ĠÐĿаÑĢ":103242,"Ġзал":103243,"ĠÑģÑĥÑī":103244,"ĠÑĤоÑĢ":103245,"кÑĢÑĭÑĤ":103246,"ÑĢеÑģÑĤ":103247,"ĠÐĴедÑĮ":103248,"ĠÐŀдин":103249,"ĠÐŁÐµÑĤÑĢ":103250,"ĠаÑĤак":103251,"ĠпоиÑģ":103252,"ĠÑģама":103253,"ĠÑģобÑĢ":103254,"ĠÑĤело":103255,"лениÑİ":103256,"ÑģÑĤвии":103257,"ĠдоÑħод":103258,"ĠзамеÑĩ":103259,"Ġземле":103260,"ĠзнаеÑĤ":103261,"Ġпозже":103262,"ĠÑģвеÑĢÑħ":103263,"ĠÑģÑĤÑĢаÑĪ":103264,"ĠÑĤакаÑı":103265,"ÑĤелÑĮно":103266,"ÑĩеÑģкой":103267,"ĠСовеÑĤа":103268,"ĠвÑĭÑģказ":103269,"ĠголовÑĥ":103270,"ĠделаеÑĤ":103271,"ĠзавеÑĢÑĪ":103272,"иваеÑĤÑģÑı":103273,"ĠговоÑĢÑıÑĤ":103274,"ĠгоÑĢаздо":103275,"ĠдÑĢÑĥгого":103276,"ĠпопÑĥлÑıÑĢ":103277,"ĠÑģовмеÑģÑĤ":103278,"ĠÑģозданиÑı":103279,"ĠÑĤÑĢанÑģпоÑĢÑĤ":103280,"оÑģледÑģÑĤвии":103281,"ĠдополниÑĤелÑĮ":103282,"гн":103283,"Ñĭд":103284,"ĠÐijо":103285,"ĠÐĺÑħ":103286,"ĠЧа":103287,"аÑĤе":103288,"дон":103289,"жив":103290,"лÑıÑĢ":103291,"наз":103292,"оÑĩн":103293,"пÑĢе":103294,"Ñīен":103295,"ĠÐijÑĥд":103296,"ĠÐĴол":103297,"ĠÐĵен":103298,"ĠТÑĥÑĢ":103299,"ĠЧем":103300,"Ġгип":103301,"Ġкож":103302,"Ġлож":103303,"гÑĢан":103304,"делÑĮ":103305,"кÑĢаÑģ":103306,"полн":103307,"ÑģÑĤей":103308,"ÑĤина":103309,"ÑĨами":103310,"ÑĩинÑĭ":103311,"ĠСлед":103312,"Ġниже":103313,"ĠÑĥжаÑģ":103314,"аменÑĤ":103315,"оÑģнов":103316,"ĠСоÑİза":103317,"Ġкаким":103318,"ĠобÑĬем":103319,"ĠÑĢеалÑĮ":103320,"ĠÑģогла":103321,"ĠÑĥÑģлÑĥг":103322,"андаÑĢÑĤ":103323,"иблиоÑĤ":103324,"лÑıеÑĤÑģÑı":103325,"пÑĢедел":103326,"пÑĢоÑĩем":103327,"Ġзнамен":103328,"ĠоÑĩевид":103329,"ĠпомоÑīÑĮ":103330,"ĠпÑĢавил":103331,"ĠÑĢелиги":103332,"ĠÑĤеоÑĢии":103333,"ĠÑĥÑĢовне":103334,"ĠевÑĢопей":103335,"ĠоÑĤлиÑĩие":103336,"ĠÑģнаÑĩала":103337,"ĠÑĤелеÑĦон":103338,"Ġдвижение":103339,"ĠдоллаÑĢов":103340,"ĠкомандиÑĢ":103341,"ĠпÑĢоиÑģÑħод":103342,"ĠÑĢаÑģполаг":103343,"оваÑĤелÑĮно":103344,"ĠмножеÑģÑĤво":103345,"ĠпоÑģледние":103346,"ÐŀÐĴ":103347,"ĠÐIJд":103348,"ĠÐĶе":103349,"ĠÐĶи":103350,"зов":103351,"ога":103352,"онÑĮ":103353,"оÑĢи":103354,"Ñĥем":103355,"ĠÐĴал":103356,"ĠÐĿек":103357,"ĠгаÑĢ":103358,"Ġгиб":103359,"Ġдли":103360,"Ġдни":103361,"Ġжал":103362,"Ġпад":103363,"ĠÑĢеÑģ":103364,"енил":103365,"оÑĩен":103366,"ÑĭваÑı":103367,"ĠÐļажд":103368,"ĠдаÑĤÑĮ":103369,"Ġдлин":103370,"ĠдÑĢÑĥж":103371,"ĠнеÑĥд":103372,"Ġплем":103373,"ĠÑĢеÑĪи":103374,"ĠÑģлÑĥÑĪ":103375,"ĠÑģÑĢаж":103376,"андид":103377,"иÑĢова":103378,"ÑĤеÑĢеÑģ":103379,"ĠÐIJнгли":103380,"Ġглаве":103381,"ĠдепÑĥÑĤ":103382,"Ġзвезд":103383,"Ġколон":103384,"ĠпеÑĢеж":103385,"ĠÑģамÑĭе":103386,"ĠÑĥкÑĢеп":103387,"ĠÐľÐ¾ÑģквÑĭ":103388,"ĠвоÑģпиÑĤ":103389,"ĠвпеÑĩаÑĤ":103390,"ĠнаÑĩали":103391,"ĠподÑĢаз":103392,"ĠжÑĥÑĢнали":103393,"ĠиÑģÑĤоÑĢиÑı":103394,"ĠпÑĢоекÑĤа":103395,"ĠÑĢÑĥÑģÑģкой":103396,"ĠживоÑĤнÑĭÑħ":103397,"ĠзнамениÑĤ":103398,"ĠкомпаниÑı":103399,"ĠопеÑĢаÑĨии":103400,"ĠÑĢаÑģÑģмоÑĤÑĢ":103401,"ĠпÑĢогÑĢаммÑĭ":103402,"ĠзнаÑĩиÑĤелÑĮно":103403,"ĠÑĥнивеÑĢÑģиÑĤеÑĤа":103404,"ÐŀÐĿ":103405,"ÑĩÑĥ":103406,"ĠСк":103407,"ада":103408,"аÑĤÑĢ":103409,"даÑĢ":103410,"кеÑĢ":103411,"оÑĨи":103412,"ÑĢип":103413,"Ñģад":103414,"ÑĦон":103415,"Ñĩез":103416,"ĠÑĢей":103417,"анно":103418,"аÑģÑĤи":103419,"веÑĢÑħ":103420,"коÑĢе":103421,"ниÑģÑĤ":103422,"овое":103423,"окол":103424,"олго":103425,"онал":103426,"оÑģÑĤо":103427,"оÑĩки":103428,"ÑĨией":103429,"ĠÐĶжон":103430,"ĠгÑĢом":103431,"ĠдÑĢам":103432,"Ġжизн":103433,"ĠноÑĩÑĮ":103434,"ĠоÑĤеÑĨ":103435,"ĠоÑĤÑĨа":103436,"ĠпаÑĢÑĤ":103437,"Ġплав":103438,"ĠÑĤеле":103439,"ĠÑħоÑĤÑĮ":103440,"ĠÑıпон":103441,"иÑĦика":103442,"Ġденег":103443,"ĠжÑĥÑĢна":103444,"Ġимели":103445,"ĠинаÑĩе":103446,"Ġмагаз":103447,"ĠмаÑĪин":103448,"Ġмогла":103449,"ĠоÑĤÑĢаж":103450,"ĠпеÑĢеÑĪ":103451,"ĠÑĩеÑģÑĤÑĮ":103452,"ĠÐĿикола":103453,"ĠÐłÐ¾ÑģÑģиÑı":103454,"Ġаналог":103455,"ĠвÑģкоÑĢе":103456,"ĠнаÑĩало":103457,"ĠÑĢаÑģÑħод":103458,"ĠÑĦÑĢонÑĤа":103459,"ĠÑĨенÑĤÑĢа":103460,"ĠженÑīинÑĭ":103461,"ĠкиломеÑĤ":103462,"ĠмеÑģÑıÑĨев":103463,"ĠмонаÑģÑĤÑĭ":103464,"ĠÑģообÑīил":103465,"ĠСоглаÑģно":103466,"ĠвоздейÑģÑĤв":103467,"ĠинÑģÑĤÑĢÑĥменÑĤ":103468,"ĠболÑĮÑĪинÑģÑĤво":103469,"ÐIJТ":103470,"СТ":103471,"вл":103472,"зÑĢ":103473,"ÑĪÑĥ":103474,"ажа":103475,"нин":103476,"ÑĢег":103477,"ÑģÑĤо":103478,"ÑĤÑĢи":103479,"ÑĥÑĢÑĥ":103480,"ĠÐĽÑİб":103481,"ĠÐĿаÑĩ":103482,"ĠÑģиÑħ":103483,"анее":103484,"вали":103485,"имен":103486,"колÑĮ":103487,"пÑĥÑģÑĤ":103488,"ĠбÑĢиг":103489,"ĠбÑĢон":103490,"ĠвÑĭиг":103491,"ĠкоÑģÑĤ":103492,"ĠлиÑĨо":103493,"ĠпÑĢок":103494,"ĠÑĩаÑīе":103495,"наждÑĭ":103496,"ÑģмоÑĤÑĢ":103497,"ÑĪеÑģÑĤв":103498,"Ġвидов":103499,"ĠдеÑģÑıÑĤ":103500,"ĠиÑģÑĩез":103501,"ĠлÑİбви":103502,"ĠпеÑĢен":103503,"Ġполез":103504,"Ġполка":103505,"ĠÑģемÑĮе":103506,"ĠÑģемÑĮи":103507,"ĠÑĩиÑģла":103508,"ĠÑıзÑĭке":103509,"лением":103510,"ÑĩеÑģкиÑħ":103511,"Ñıжении":103512,"Ġанализ":103513,"ĠбеÑĢегÑĥ":103514,"ĠподÑĢоб":103515,"ĠпÑĢинÑıл":103516,"ĠÑĢежиÑģÑģ":103517,"ĠÑģмеÑĢÑĤÑĮ":103518,"ĠÑģмÑĭÑģле":103519,"ĠÑĤанков":103520,"ĠÑįÑĦÑĦекÑĤ":103521,"ĠÐļонеÑĩно":103522,"Ġдивизии":103523,"Ġзаболев":103524,"ĠполÑĮзов":103525,"ĠÑĢÑĥÑģÑģкиÑħ":103526,"ĠÑģоÑħÑĢани":103527,"ĠознаÑĩаеÑĤ":103528,"ĠÑĢелигиоз":103529,"ĠÑģоглаÑģно":103530,"ĠÑĢеволÑİÑĨии":103531,"ĠзавиÑģимоÑģÑĤи":103532,"пе":103533,"ĠÑĤÑİ":103534,"айÑĤ":103535,"ÑĨеп":103536,"ÑĮми":103537,"ĠÐĺÑĤа":103538,"ĠÐĽÐ¸ÑĤ":103539,"ĠÐľÐ°ÑĤ":103540,"ĠпÑĤи":103541,"ĠÑģни":103542,"ĠÑĦиÑĢ":103543,"аÑıÑģÑĮ":103544,"кÑĢов":103545,"ожид":103546,"оÑĩка":103547,"пеÑĢе":103548,"плаÑĤ":103549,"ÑģоÑĨи":103550,"ÑĪÑĤаб":103551,"ÑĬекÑĤ":103552,"ĠСвÑıÑĤ":103553,"ĠвкÑĥÑģ":103554,"Ġдоме":103555,"ĠмоÑģÑĤ":103556,"ĠпалÑĮ":103557,"ĠÑģвÑıÑĤ":103558,"ĠÑĤÑĥда":103559,"ивидÑĥ":103560,"ÑĥÑİÑīие":103561,"ĠбÑĢаÑĤÑĮ":103562,"Ġвидел":103563,"ĠоÑĢден":103564,"ĠпеÑĢег":103565,"Ġполаг":103566,"ĠпÑĢоÑĪл":103567,"ĠÑģклон":103568,"ĠÑĤвоÑĢÑĩ":103569,"ĠÐĴеÑĢÑħов":103570,"ĠзамеÑģÑĤ":103571,"Ġкандид":103572,"ĠконкÑĥÑĢ":103573,"ĠпамÑıÑĤи":103574,"ĠпеÑĢвом":103575,"Ġполков":103576,"ĠполÑĮзÑĥ":103577,"ĠÑĦилÑĮма":103578,"ĠÑĩаÑģÑĤÑĮÑİ":103579,"ĠбиблиоÑĤ":103580,"ĠинженеÑĢ":103581,"ĠобознаÑĩ":103582,"ĠÑģиÑģÑĤемÑĥ":103583,"ĠконÑģÑĤÑĢÑĥк":103584,"ĠÑĤеÑħнолог":103585,"ĠпоÑģÑĤепенно":103586,"ĠÐŁÐ°":103587,"Ġмм":103588,"гÑĢа":103589,"зин":103590,"ико":103591,"мед":103592,"нок":103593,"поÑĩ":103594,"ĠXIX":103595,"ĠÐĴен":103596,"ĠбиÑĤ":103597,"Ġген":103598,"Ġзим":103599,"ĠмоÑģ":103600,"ĠÑĢÑĭб":103601,"ниÑĨи":103602,"овав":103603,"ÑĢоде":103604,"ÑĢÑĭва":103605,"ÑģÑĤал":103606,"ĠÐĶаже":103607,"ĠÐķÑģÑĤÑĮ":103608,"ĠÐļиев":103609,"ĠбÑĥкв":103610,"ĠдаеÑĤ":103611,"ĠдеÑĤи":103612,"ĠкнÑıз":103613,"ĠмакÑģ":103614,"ĠоÑħоÑĤ":103615,"ĠпÑĢеÑģ":103616,"ĠÑĢаза":103617,"ĠÑģмож":103618,"ĠÑģÑĥда":103619,"ĠÑĦоÑĤо":103620,"ĠÑĩÑĢез":103621,"жениÑı":103622,"запад":103623,"ноÑģÑĤÑĢ":103624,"овлеÑĤ":103625,"оÑħÑĢан":103626,"пеÑĩаÑĤ":103627,"Ñĩиков":103628,"ĠÐĴмеÑģÑĤ":103629,"ĠагенÑĤ":103630,"ĠбÑĥмаг":103631,"ĠзапаÑģ":103632,"ĠигÑĢок":103633,"Ġкакое":103634,"Ġможем":103635,"ĠмÑĭÑģлÑĮ":103636,"Ġнадеж":103637,"ĠнаÑĥки":103638,"ĠоÑĤÑĢÑıд":103639,"ĠпамÑıÑĤ":103640,"Ġплани":103641,"Ġпоезд":103642,"ĠпоÑħод":103643,"ĠÑĢезко":103644,"ĠÑĤÑĥÑĢни":103645,"ĠÑĥменÑĮ":103646,"оÑĤоÑĢÑĭе":103647,"ÑİÑīиеÑģÑı":103648,"ĠÐķвÑĢопе":103649,"ĠÐŁÑĢезид":103650,"ĠгоÑģпод":103651,"ĠдеÑģÑıÑĤи":103652,"Ġкаждой":103653,"ĠкаÑĢÑĮеÑĢ":103654,"ĠмÑĥжÑĩин":103655,"ĠобоÑĢÑĥд":103656,"ĠпÑĢоиÑģÑħ":103657,"ĠÑģпокой":103658,"ĠаппаÑĢаÑĤ":103659,"ĠвлиÑıние":103660,"ĠникакиÑħ":103661,"ĠогÑĢаниÑĩ":103662,"ĠпоÑģмоÑĤÑĢ":103663,"ĠпÑĢизнак":103664,"ĠÑĥÑĢовенÑĮ":103665,"овлеÑĤвоÑĢ":103666,"ĠдиÑĢекÑĤоÑĢ":103667,"ĠоказалÑģÑı":103668,"ĠпÑģиÑħолог":103669,"ĠÑģÑĤандаÑĢÑĤ":103670,"ĠÑĦоÑĤогÑĢаÑĦ":103671,"ĠпÑĢоизоÑĪло":103672,"ĠмногоÑĩиÑģлен":103673,"ĠобÑıзаÑĤелÑĮно":103674,"ÑĦи":103675,"ĠТÑĥ":103676,"бел":103677,"доÑĢ":103678,"еÑģк":103679,"иÑĩн":103680,"как":103681,"кеÑĤ":103682,"лез":103683,"лоÑĢ":103684,"нод":103685,"пÑĥÑĤ":103686,"Ñħоз":103687,"ÑĪло":103688,"ĠÐļÑĤо":103689,"ĠСеÑĢ":103690,"ĠкиÑģ":103691,"Ġлаг":103692,"Ġлек":103693,"ĠпиÑī":103694,"ĠÑĨик":103695,"вÑĪаÑı":103696,"даÑĤÑĮ":103697,"овÑĥÑİ":103698,"ÑĢемÑı":103699,"Ñĥман":103700,"ĠбÑĢоÑģ":103701,"ĠвеÑīи":103702,"ĠоÑĤкÑĢ":103703,"ĠÑģело":103704,"ĠÑĥÑĤÑĢа":103705,"аÑİÑīиÑħ":103706,"едине":103707,"огÑĢад":103708,"олÑĮÑĪе":103709,"ÑģÑĤÑĢеб":103710,"ĠÐľÐ¾Ð¶Ð½Ð¾":103711,"ĠСÑĢеди":103712,"Ġвойне":103713,"ĠвÑĭÑĪел":103714,"ĠиÑĤоге":103715,"ĠкÑĢеÑģÑĤ":103716,"Ġналог":103717,"Ġпожал":103718,"ĠÑģкоÑĢо":103719,"ĠÑħоÑĩеÑĤ":103720,"Ġвоенно":103721,"ĠдоÑĢоги":103722,"ĠиноÑģÑĤÑĢ":103723,"Ġмодели":103724,"ĠможеÑĤе":103725,"ĠпÑĢепод":103726,"ĠÑģевеÑĢо":103727,"ĠÑģлÑĥжбÑĭ":103728,"ĠÑĥÑĩÑĢежд":103729,"ĠÐļонÑģÑĤан":103730,"ĠÐĿиколай":103731,"ĠобÑĬÑıÑģнÑı":103732,"ĠпÑĢевÑĢаÑī":103733,"ĠÑĢебенка":103734,"ĠÑģоздаÑĤÑĮ":103735,"ĠÑĦÑĥнкÑĨии":103736,"ĠнаÑĩинаеÑĤ":103737,"ĠполÑĥÑĩили":103738,"ĠнаÑģÑĤолÑĮко":103739,"ĠÑĢазлиÑĩнÑĭе":103740,"ĠÑģледÑĥÑİÑīий":103741,"ĠпÑĢеимÑĥÑīеÑģÑĤв":103742,"ĠпÑĢоизведениÑı":103743,"ĠпÑĢавиÑĤелÑĮÑģÑĤво":103744,"оÑģÑĥдаÑĢÑģÑĤвенного":103745,"ÐķÐł":103746,"ĠÐIJб":103747,"ĠÐľÐ¸":103748,"ĠХа":103749,"ĠШÑĤ":103750,"ĠнÑĥ":103751,"бан":103752,"доÑħ":103753,"зна":103754,"коÑģ":103755,"ÑĢиÑĨ":103756,"ÑĢиÑı":103757,"ÑģиÑı":103758,"ÑĤал":103759,"ÑĤÑĢо":103760,"Ñīие":103761,"Ñīий":103762,"Ñĭне":103763,"ĠÐĴик":103764,"ĠÐĴоз":103765,"ĠÐĶон":103766,"ĠÐľÐ¾Ð½":103767,"ĠТом":103768,"Ġвел":103769,"Ġобе":103770,"ĠÑģож":103771,"ТÐIJСС":103772,"вели":103773,"кова":103774,"кÑĢаÑĤ":103775,"одно":103776,"Ñģказ":103777,"ÑĤеÑģÑĮ":103778,"ĠÐŀÑĤеÑĩ":103779,"Ġближ":103780,"Ġбомб":103781,"ĠкаÑĤа":103782,"Ġмной":103783,"ĠоÑĢÑĥд":103784,"ĠÑģеÑģÑĤ":103785,"ĠÑĤÑĢÑĥб":103786,"ĠÑħваÑĤ":103787,"алÑĮÑıн":103788,"еннаÑı":103789,"нениÑı":103790,"ногие":103791,"ойÑĩив":103792,"ÑıÑĤÑĮÑģÑı":103793,"Ġважно":103794,"ĠвÑģеми":103795,"ĠкакиÑħ":103796,"ĠлÑİбим":103797,"ĠполоÑģ":103798,"ĠпÑĥÑĤем":103799,"ĠÑģвÑıзÑĮ":103800,"овÑģкий":103801,"ĠСеÑĢгей":103802,"ĠСÑĤалин":103803,"ĠклаÑģÑģа":103804,"ĠмаÑĪинÑĭ":103805,"ĠнаÑģлед":103806,"Ġполном":103807,"ĠÑĢеклам":103808,"ĠÑĦакÑĤоÑĢ":103809,"ĠÑĩленов":103810,"ĠболÑĮÑĪое":103811,"ĠвоеннÑĭÑħ":103812,"ĠнапиÑģал":103813,"ĠпÑĢоÑıвлÑı":103814,"ĠÑģобÑĭÑĤий":103815,"ĠÑģобÑĭÑĤиÑı":103816,"ĠÑĤоваÑĢиÑī":103817,"ĠнедоÑģÑĤаÑĤ":103818,"ĠÑģамоÑģÑĤоÑı":103819,"ĠоÑĤноÑĪение":103820,"аÑĢÑħ":103821,"гип":103822,"кÑĢо":103823,"пал":103824,"пан":103825,"пий":103826,"ÑĢоÑĢ":103827,"ĠÐĵол":103828,"ĠÐĶав":103829,"ĠÐļÑĥÑĢ":103830,"ĠÐľÐ°Ð¹":103831,"ĠÐľÐµÐ´":103832,"Ġанг":103833,"ĠмиÑĦ":103834,"Ġмои":103835,"Ġоке":103836,"ĠÑģин":103837,"ĠÑģна":103838,"емÑĭÑħ":103839,"оÑĢÑĥÑģ":103840,"ÑıÑīиÑħ":103841,"Ġвида":103842,"ĠвидÑĥ":103843,"ĠвÑĢаÑĩ":103844,"ĠвÑĭÑıÑģ":103845,"ĠгÑĢÑĥд":103846,"ĠевÑĢе":103847,"ĠмаÑĤÑĮ":103848,"ĠпÑĢон":103849,"ĠÑĥлÑĥÑĩ":103850,"ĠÑĥÑħод":103851,"ĠÑħлеб":103852,"аÑĤÑĥÑĢа":103853,"оедин":103854,"олÑĮно":103855,"ÑĢедиÑĤ":103856,"ÑĥÑģлов":103857,"ÑĥÑİÑīий":103858,"ÑĩаÑģÑĤÑĮ":103859,"ĠÐijоÑĢиÑģ":103860,"Ġблаго":103861,"ĠведÑĥÑī":103862,"ĠвовÑģе":103863,"ĠвÑĭдел":103864,"Ġкниге":103865,"ĠлидеÑĢ":103866,"ĠлÑİдÑıм":103867,"ĠмоÑĤив":103868,"ĠобÑīем":103869,"Ġпокол":103870,"ĠпÑĢазд":103871,"ĠÑĢеком":103872,"ĠÑģпекÑĤ":103873,"ĠÑģÑĤÑĢад":103874,"ĠÑĪеÑģÑĤÑĮ":103875,"еловек":103876,"нÑĥÑĤÑĮÑģÑı":103877,"ĠÐľÐ¸Ñħаил":103878,"ĠбоÑĢÑĮбÑĭ":103879,"ĠглÑĥбок":103880,"ĠдÑĢÑĥгое":103881,"Ġзанима":103882,"ĠизбÑĢан":103883,"ĠиÑģÑĤÑĢеб":103884,"Ġколлег":103885,"ĠлÑİдÑĮми":103886,"ĠоблаÑģÑĤ":103887,"ĠповодÑĥ":103888,"ĠподÑĩеÑĢ":103889,"ĠпÑĢовин":103890,"ĠÑĢазнÑĭе":103891,"ĠÑģоздан":103892,"ĠÑģпÑĥÑģÑĤÑı":103893,"ĠÑģÑĤанеÑĤ":103894,"ĠÑģÑĤаÑĤÑĮи":103895,"овÑģкого":103896,"пÑĢоÑĦеÑģÑģ":103897,"Ġвозглав":103898,"ĠиÑģÑĤоÑĢиÑİ":103899,"ĠпозиÑĨии":103900,"ĠпÑĢинÑıÑĤÑĮ":103901,"ĠкоÑĤоÑĢÑĭми":103902,"ĠназÑĭваÑİÑĤ":103903,"ĠпÑĢоÑĨеÑģÑģе":103904,"ĠÑĢÑĥÑģÑģкого":103905,"ĠжÑĥÑĢналиÑģÑĤ":103906,"ĠоÑĤноÑĪений":103907,"ĠÑĩеловеком":103908,"ĠиÑģполÑĮзованиÑı":103909,"пÑĭ":103910,"ÑģÑģ":103911,"ĠÐĵа":103912,"ĠÐŀÑĩ":103913,"ĠСи":103914,"ĠÐŃÑĢ":103915,"Ġва":103916,"ĠÑĦÑĢ":103917,"зеÑĢ":103918,"инд":103919,"кип":103920,"коб":103921,"Ñģом":103922,"ÑĦин":103923,"ÑīаÑı":103924,"ÑĮÑıн":103925,"ĠÐĴаÑĪ":103926,"ĠÐľÐµÐ½":103927,"ĠТÑĢо":103928,"Ġдип":103929,"Ġизм":103930,"ĠмоÑı":103931,"ĠмÑıÑģ":103932,"ĠÑĥзн":103933,"ĠÑĩÑĥж":103934,"пÑĥÑģк":103935,"ÑĢова":103936,"ĠÐľÐ°ÐºÑģ":103937,"ĠЯпон":103938,"ĠбÑĢак":103939,"ĠбÑĥдÑĥ":103940,"ĠвÑĢед":103941,"ĠкомÑĥ":103942,"Ġнедо":103943,"Ġполк":103944,"ĠпоÑıÑģ":103945,"ĠпÑĢоÑĢ":103946,"ĠпÑĭÑĤа":103947,"ĠÑĥбед":103948,"ĠÑĩаÑģа":103949,"ивÑĪий":103950,"ÑĤелей":103951,"Ñĭвали":103952,"ĠÐľÐ¾Ð¶ÐµÑĤ":103953,"ĠÐŁÐ¾ÑĤом":103954,"ĠвеÑģÑĤи":103955,"Ġвойна":103956,"ĠвÑĢоде":103957,"ĠвÑģемÑĥ":103958,"ĠзнаÑĤÑĮ":103959,"ĠплаÑģÑĤ":103960,"ĠпоÑħож":103961,"ĠÑģÑĦоÑĢм":103962,"ĠÐľÐ¸Ð½Ð¸ÑģÑĤ":103963,"ĠÐŁÐ¾ÑĩемÑĥ":103964,"ĠвоздÑĥÑĪ":103965,"ĠвÑĭÑģÑĤав":103966,"ĠзадаÑĩи":103967,"ĠмеÑģÑıÑĨа":103968,"Ġнеожид":103969,"ĠпоÑģÑĢед":103970,"ĠпÑĢиÑĩем":103971,"ĠÑĢегион":103972,"ĠÑĥвеÑĢен":103973,"ĠÐĴеликой":103974,"ĠболÑĮÑĪÑĥÑİ":103975,"ĠобоÑĢонÑĭ":103976,"ĠÑģиÑģÑĤеме":103977,"ĠÑģÑĤанÑĨии":103978,"ĠÑģÑĤолÑĮко":103979,"ĠÑĥпоÑĤÑĢеб":103980,"ĠвÑĢеменем":103981,"ĠоÑģÑĤаеÑĤÑģÑı":103982,"ĠпоÑģÑĤанов":103983,"ĠпоÑģледний":103984,"ĠпÑĢоÑĦеÑģÑģоÑĢ":103985,"ĠÐłÐµÑģпÑĥблики":103986,"ĠпÑĢезиденÑĤа":103987,"ĠÑĤÑĢебованиÑı":103988,"ĠпÑĢедÑģÑĤавлен":103989,"ÑĭÑģ":103990,"ĠлÑĮ":103991,"ĠÑģÑĢ":103992,"вез":103993,"вÑĭÑħ":103994,"мов":103995,"ÑĥÑģа":103996,"Ñĩал":103997,"ĠÐIJÑĢм":103998,"ĠÐijез":103999,"ĠÐľÐ°Ð½":104000,"ĠСан":104001,"ĠСем":104002,"Ġвне":104003,"Ġзло":104004,"ĠзÑĥб":104005,"Ġлев":104006,"Ġлод":104007,"ĠпиÑĤ":104008,"ĠÑĢим":104009,"ĠÑĢоз":104010,"ĠÑģим":104011,"ĠÑģÑĥÑĤ":104012,"ĠÑĤво":104013,"агог":104014,"даÑİÑĤ":104015,"иÑĨей":104016,"кнÑĥл":104017,"лÑıÑİÑĤ":104018,"ĠÐŀÑģоб":104019,"ĠгеÑĢо":104020,"Ġклад":104021,"ĠкÑĢаÑı":104022,"ĠÑģомн":104023,"ĠÑģÑħем":104024,"ĠÑģÑĭна":104025,"деÑģÑıÑĤ":104026,"ÑĦеÑĢен":104027,"ĠбÑĥдем":104028,"ĠволоÑģ":104029,"ĠкиÑĤай":104030,"ĠнамеÑĢ":104031,"ĠобÑīей":104032,"ĠплоÑħо":104033,"ĠÑģклад":104034,"ĠÑĥгÑĢоз":104035,"ĠÑĥÑĩени":104036,"ĠÑĦедеÑĢ":104037,"ĠÑĦоÑĢмÑĥ":104038,"алÑĮнÑĥÑİ":104039,"ламенÑĤ":104040,"ÑģÑĤвÑĥеÑĤ":104041,"ĠÐĴÑĤоÑĢой":104042,"ĠÐŁÐµÑĢвÑĭй":104043,"ĠÐŁÐµÑĤÑĢов":104044,"ĠвÑĭглÑıд":104045,"ĠдоÑģÑĤав":104046,"ĠзадеÑĢж":104047,"ĠкÑĢайне":104048,"ĠокÑĢÑĥга":104049,"ĠпÑĢедÑĥÑģ":104050,"ÑĩеÑģкого":104051,"ĠвÑĢемена":104052,"ĠимпеÑĢии":104053,"ĠмедиÑĨин":104054,"ĠпÑĢивлек":104055,"ĠÑģÑĩиÑĤаеÑĤ":104056,"ĠÑįнеÑĢгии":104057,"пÑĢоизвод":104058,"ĠаÑĢÑĤиллеÑĢ":104059,"ĠвеÑĢнÑĥлÑģÑı":104060,"ĠвеÑĢоÑıÑĤно":104061,"ĠмÑĥзÑĭкалÑĮ":104062,"ĠпÑĢиÑģоедин":104063,"ĠинÑĦоÑĢмаÑĨиÑİ":104064,"ĠÑĥдовлеÑĤвоÑĢ":104065,"ÑģледоваÑĤелÑĮ":104066,"ĠповеÑĢÑħноÑģÑĤи":104067,"ĠиÑģклÑİÑĩиÑĤелÑĮно":104068,"ĠнеобÑħодимоÑģÑĤи":104069,"ÐIJÐĿ":104070,"Ñģв":104071,"Ġов":104072,"бал":104073,"гин":104074,"жеÑĤ":104075,"иле":104076,"нам":104077,"ÑĤаÑĢ":104078,"ĠÐĵаÑĢ":104079,"ĠÐĵÑĢе":104080,"ĠÐłÐ¾Ð±":104081,"ĠÐłÐ¾Ð¼":104082,"ĠдаÑĢ":104083,"ĠдаÑĤ":104084,"Ġман":104085,"Ġпил":104086,"ĠÑĤал":104087,"ĠÑħол":104088,"ĠÑįмо":104089,"анкÑĤ":104090,"воен":104091,"иÑģÑĤÑĭ":104092,"кива":104093,"мена":104094,"ниÑĨÑĥ":104095,"ÑĢоÑģÑĤ":104096,"ÑģÑĤÑĢи":104097,"ÑĤвоÑĢ":104098,"ÑĤели":104099,"ÑİÑīÑĥÑİ":104100,"ĠбÑİдж":104101,"Ġидеи":104102,"ĠмалÑĮ":104103,"Ġнами":104104,"ĠÑĢазд":104105,"ĠÑĢÑĥкÑĥ":104106,"ĠÑģвÑıÑī":104107,"ĠÑģемÑĮ":104108,"ĠÑģеÑĤи":104109,"ĠÑĥдоб":104110,"ĠÑħоÑĩÑĥ":104111,"ниÑĨип":104112,"ойдеÑĤ":104113,"ÑĥÑģÑĤил":104114,"ĠвзÑıÑĤÑĮ":104115,"Ġдомой":104116,"ĠжеÑĢÑĤв":104117,"ĠземлÑİ":104118,"ĠкÑĢови":104119,"ĠпÑĥÑĤеÑĪ":104120,"ĠÑĢÑĥкаÑħ":104121,"ĠÑĨвеÑĤа":104122,"вÑĪиÑħÑģÑı":104123,"лекÑĤив":104124,"ополож":104125,"Ġдиплом":104126,"Ġкомпоз":104127,"ĠлÑİбовÑĮ":104128,"ĠпеÑĢеÑģÑĤ":104129,"ĠпиÑģÑĮмо":104130,"ĠÑĢеÑĦоÑĢм":104131,"ĠболÑĮÑĪим":104132,"ĠвклÑİÑĩаÑı":104133,"ĠженÑīина":104134,"ĠконÑĤÑĢол":104135,"ĠоблаÑģÑĤÑĮ":104136,"ĠоÑĢганов":104137,"ĠпÑĢевÑĢаÑĤ":104138,"ĠпÑĢиÑĢодÑĭ":104139,"ĠÑģбоÑĢной":104140,"ĠÑģÑĤÑĢанаÑħ":104141,"ĠвниманиÑı":104142,"ĠкаÑģаеÑĤÑģÑı":104143,"ĠлиÑĩноÑģÑĤи":104144,"ĠпиÑģаÑĤелÑĮ":104145,"ĠпÑĢиобÑĢеÑĤ":104146,"ĠпÑĢоÑĨеÑģÑģа":104147,"ĠÑģообÑīаеÑĤ":104148,"ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢ":104149,"ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢад":104150,"ĠÐĿекоÑĤоÑĢÑĭе":104151,"ĠнаÑħодÑıÑĤÑģÑı":104152,"ĠоÑĤноÑģиÑĤÑģÑı":104153,"ĠпеÑĢеговоÑĢ":104154,"ĠÑģоÑģÑĤоÑıниÑı":104155,"иÑĤелÑĮноÑģÑĤи":104156,"ĠпÑĢиÑħодиÑĤÑģÑı":104157,"ĠнапÑĢавлении":104158,"ĠÑħÑĥдожеÑģÑĤвен":104159,"ĠиÑģполÑĮзÑĥеÑĤÑģÑı":104160,"ĠÐŀÑĤеÑĩеÑģÑĤвенной":104161,"ÐIJн":104162,"Ðĺн":104163,"вÑĥ":104164,"Ñħв":104165,"ĠÐŃн":104166,"ĠÑĢÑı":104167,"без":104168,"дем":104169,"дÑĢа":104170,"еÑĢÑĭ":104171,"зан":104172,"нож":104173,"пло":104174,"Ñģам":104175,"ÑĤÑıг":104176,"ÑĨаÑĢ":104177,"ĠÐĺлÑĮ":104178,"ĠÐľÐ¸ÑĢ":104179,"ĠТол":104180,"Ġбеж":104181,"Ġгал":104182,"Ġкад":104183,"ĠмÑĥÑģ":104184,"Ġниж":104185,"Ġпан":104186,"ĠÑĨиÑĦ":104187,"ĠÑİго":104188,"беÑĢг":104189,"иÑĤаÑĢ":104190,"ÑĨенÑĤ":104191,"ĠаÑĤом":104192,"ĠдÑĥÑĪи":104193,"ĠнеÑĢв":104194,"ĠÑĢеÑĩи":104195,"ĠÑĢÑıда":104196,"ĠÑģила":104197,"авказ":104198,"аÑģÑģаж":104199,"гÑĢеÑģÑģ":104200,"ÑģÑĤаÑĤи":104201,"ĠСанкÑĤ":104202,"Ġвидео":104203,"ĠвÑĭÑĢаз":104204,"Ġдалее":104205,"ĠземлÑı":104206,"ĠмеÑģÑıÑĨ":104207,"Ġполно":104208,"ĠÑĢакеÑĤ":104209,"ĠÑģпÑĢоÑģ":104210,"ĠÑĤаком":104211,"ĠÑįкÑĢан":104212,"ивÑĪиÑģÑĮ":104213,"назнаÑĩ":104214,"обоÑĢоÑĤ":104215,"ÑģÑĤвенн":104216,"ĠÐIJнглии":104217,"ĠСейÑĩаÑģ":104218,"ĠбаÑĤалÑĮ":104219,"ĠвÑĭпÑĥÑģк":104220,"ĠвÑĭÑģоко":104221,"ĠдÑĢÑĥзÑĮÑı":104222,"Ġзавоев":104223,"ĠмоÑģков":104224,"ĠпаÑĢÑĤий":104225,"ĠÑĢаÑģпоÑĢ":104226,"ĠÑģеÑĢдÑĨе":104227,"ĠзавиÑģиÑĤ":104228,"ĠиÑĤалÑĮÑıн":104229,"ĠмÑĥниÑĨип":104230,"ĠпоÑĢÑıдке":104231,"ĠÑĢÑĥÑģÑģкий":104232,"ĠÑģловами":104233,"ĠÑģÑĤоÑĢоне":104234,"ĠÑģÑĤÑĢаÑĤег":104235,"ĠÐĺвановиÑĩ":104236,"ĠÐĿеÑģмоÑĤÑĢÑı":104237,"ĠдейÑģÑĤвие":104238,"ĠиндивидÑĥ":104239,"ĠпÑĢоÑĤивоÑĢ":104240,"ĠÑģеÑĢедине":104241,"ĠÑģиÑĤÑĥаÑĨиÑı":104242,"Ġназванием":104243,"ĠнаÑħодилÑģÑı":104244,"ĠогÑĢаниÑĩен":104245,"ĠподÑĢаздел":104246,"ĠÐIJлекÑģандÑĢа":104247,"ĠпÑĢедназнаÑĩ":104248,"ĠпÑĢоÑĤÑıжении":104249,"ÐĴÐĶ":104250,"ÐľÐĺ":104251,"ĠÑĤÑī":104252,"авÑĢ":104253,"еда":104254,"лаж":104255,"ÑĢил":104256,"ÑĤай":104257,"ÑĪев":104258,"ĠÐĴид":104259,"ĠÐĺли":104260,"ĠÐļам":104261,"ĠÐĿаÑģ":104262,"ĠÐĿÑĮÑİ":104263,"ĠÐŁÐ¾Ð¼":104264,"ĠТеÑĢ":104265,"Ġбег":104266,"Ġгон":104267,"ĠкаÑĦ":104268,"ĠÑģÑĥÑħ":104269,"ĠÑĤиÑĤ":104270,"болÑĮ":104271,"волÑİ":104272,"гÑĢÑĥз":104273,"ожда":104274,"полÑĮ":104275,"ÑħозÑı":104276,"ÑĨвеÑĤ":104277,"ĠÐijлаг":104278,"ĠаÑĢми":104279,"ĠбеÑģÑģ":104280,"ĠводÑĥ":104281,"ĠзапÑĢ":104282,"ĠкоÑĢÑĢ":104283,"ĠÑģÑĭгÑĢ":104284,"ĠÑĩеÑĢÑĤ":104285,"ĠÑıвно":104286,"айлов":104287,"ÑĢиенÑĤ":104288,"ÑĢизиÑģ":104289,"ÑĤеÑħни":104290,"ĠÐŁÐµÑĢед":104291,"ĠвÑģлед":104292,"Ġдемон":104293,"ĠдовеÑĢ":104294,"Ġзавед":104295,"ĠиниÑĨи":104296,"ĠиÑģÑĤин":104297,"Ġмоего":104298,"ĠнавеÑĢ":104299,"Ġновое":104300,"ĠоÑĤÑĩеÑĤ":104301,"ĠпеÑĢво":104302,"ĠпоÑĢод":104303,"ĠпоÑĤок":104304,"ĠÑģоÑĩеÑĤ":104305,"ĠÑĥлиÑĨе":104306,"ĠÑĦÑĢонÑĤ":104307,"едагог":104308,"инÑģкой":104309,"ложиÑĤÑĮ":104310,"овÑģкой":104311,"ĠÐĴаÑģили":104312,"ĠÐĴаÑģилÑĮ":104313,"ĠÐľÐ½Ð¾Ð³Ð¸Ðµ":104314,"ĠбÑĢиÑĤан":104315,"ĠбÑĭваеÑĤ":104316,"ĠвеÑĢÑģии":104317,"ĠвидеÑĤÑĮ":104318,"ĠконÑĨов":104319,"ĠобÑīего":104320,"ĠпиÑģÑĮма":104321,"ĠпÑĢавда":104322,"ĠпÑĢодаж":104323,"ĠÑģовеÑĤа":104324,"ĠÑĨенÑĤÑĢе":104325,"ĠÑĪиÑĢоко":104326,"ĠкомменÑĤ":104327,"ĠкоÑĢпÑĥÑģа":104328,"ĠмаÑĤемаÑĤ":104329,"ĠпÑĢинÑıÑĤо":104330,"ĠÑĢабоÑĩиÑħ":104331,"ĠÑĢодилÑģÑı":104332,"ĠÑĥпомина":104333,"ĠвозÑĢаÑģÑĤе":104334,"ĠподÑĤвеÑĢж":104335,"ĠполÑĥÑĩила":104336,"ĠпÑĢиводиÑĤ":104337,"ĠÑģопÑĢоÑĤив":104338,"аÑĤелÑĮÑģÑĤва":104339,"ĠдолжноÑģÑĤÑĮ":104340,"ĠколлекÑĤив":104341,"Ġмиллионов":104342,"ĠоказалоÑģÑĮ":104343,"ĠоÑĤделÑĮнÑĭÑħ":104344,"ĠположениÑı":104345,"ĠлиÑĤеÑĢаÑĤÑĥÑĢÑĭ":104346,"ĠÑĥнивеÑĢÑģиÑĤеÑĤ":104347,"ĠÑįкÑģпеÑĢименÑĤ":104348,"ÐłÐIJ":104349,"ÐłÐŀ":104350,"зо":104351,"ÑģÑİ":104352,"Ñİн":104353,"ĠÐijи":104354,"ĠбÑĥ":104355,"Ġеж":104356,"Ġкг":104357,"дев":104358,"дом":104359,"жеÑĢ":104360,"жим":104361,"ома":104362,"оÑĤе":104363,"паÑĤ":104364,"пел":104365,"ÑĤол":104366,"ÑĨел":104367,"ÑīиÑĤ":104368,"ĠÐľÐ¾Ð»":104369,"ĠФед":104370,"Ġбаб":104371,"ĠбаÑĪ":104372,"ĠгÑĢÑĥ":104373,"ĠинÑĦ":104374,"ĠоÑģл":104375,"ĠÑģÑĭÑĢ":104376,"аÑĤаÑĢ":104377,"глаÑģ":104378,"знаÑĩ":104379,"опеÑĢ":104380,"Ñĥков":104381,"Ñĩика":104382,"ÑĭдÑĥÑī":104383,"ĠÐĽÐ¾Ð½Ð´":104384,"ĠÐŀлим":104385,"Ġвеке":104386,"Ġвниз":104387,"Ġдиал":104388,"Ġжена":104389,"Ġжили":104390,"ĠпÑĢиÑĤ":104391,"ĠÑģеле":104392,"ĠÑģмеÑĪ":104393,"ĠÑģним":104394,"ĠÑĤÑĢÑijÑħ":104395,"ĠÑĥбиÑĤ":104396,"ĠÑĥÑĩеÑĤ":104397,"аÑİÑīий":104398,"вÑĭÑĩай":104399,"говаÑĢ":104400,"овало":104401,"ÑħозÑıй":104402,"ĠвоÑĢоÑĤ":104403,"Ġглава":104404,"ĠевÑĢей":104405,"ĠзабоÑĤ":104406,"ĠизмеÑĢ":104407,"Ġмогло":104408,"ĠнеобÑĭ":104409,"Ġподоз":104410,"ĠÑģвеÑĤа":104411,"ĠÑģемей":104412,"ĠÑģпоÑĢÑĤ":104413,"аÑĤелем":104414,"еÑīение":104415,"инÑģкий":104416,"никами":104417,"ĠÐĴикÑĤоÑĢ":104418,"Ġближай":104419,"ĠзаÑīиÑĤÑĭ":104420,"ĠкÑĢаÑģив":104421,"ĠпаÑģÑģаж":104422,"ĠÑĢеÑģÑĥÑĢÑģ":104423,"ĠÑģвÑıзан":104424,"ĠÑĤÑĭÑģÑıÑĩи":104425,"ĠÑĩаÑģÑĤей":104426,"еÑĢнаÑĤоÑĢ":104427,"ÑģÑĤвовал":104428,"ÑĥждениÑı":104429,"ĠболÑĮÑĪие":104430,"ĠизгоÑĤов":104431,"ĠнаÑĢодов":104432,"ĠоконÑĩил":104433,"ĠоÑĤвеÑĤил":104434,"ĠпоÑĤенÑĨи":104435,"ĠÑģÑĩиÑĤаÑĤÑĮ":104436,"ĠказалоÑģÑĮ":104437,"ĠоÑģновнÑĭÑħ":104438,"ĠполиÑĤики":104439,"ĠпÑĢеобÑĢаз":104440,"ÐŁÐµÑĤеÑĢбÑĥÑĢг":104441,"ĠпÑĢедложил":104442,"ĠпÑĢедполож":104443,"ĠÑģовеÑĤÑģкий":104444,"ĠÑģоÑĤÑĢÑĥдниÑĩ":104445,"ÑģÑĤанавлива":104446,"ĠназÑĭваеÑĤÑģÑı":104447,"ĠÑĢаÑģположен":104448,"ĠÑĢезÑĥлÑĮÑĤаÑĤÑĭ":104449,"ĠÑĩемпионаÑĤа":104450,"ĠоÑĢганизаÑĨиÑı":104451,"ĠÑħаÑĢакÑĤеÑĢиÑģÑĤ":104452,"ĠвзаимодейÑģÑĤв":104453,"ĠвпоÑģледÑģÑĤвии":104454,"ÐķÐĿ":104455,"ĠÐļÑĥ":104456,"Ġга":104457,"Ġпе":104458,"Ðļом":104459,"аÑĢк":104460,"иÑĤм":104461,"неп":104462,"они":104463,"Ñģид":104464,"ÑģÑĥд":104465,"ÑĤек":104466,"ÑĥдÑĢ":104467,"ÑĪÑĥÑİ":104468,"ĠÐĽÐµÐ²":104469,"ĠÐŁÑĢе":104470,"ĠУже":104471,"Ġбок":104472,"Ġеди":104473,"ĠзеÑĢ":104474,"ĠкоÑĤ":104475,"ĠнеÑĦ":104476,"ĠÑģаÑħ":104477,"аÑĢий":104478,"гÑĢам":104479,"емÑĭе":104480,"иÑĨиÑİ":104481,"кими":104482,"лага":104483,"оÑĢиÑı":104484,"ÑģÑĤой":104485,"ÑĦиÑĨи":104486,"ĠÐĺÑĤак":104487,"ĠавÑĤо":104488,"ĠкоÑģм":104489,"ĠÑģекÑģ":104490,"ĠÑģела":104491,"ĠÑįкип":104492,"енное":104493,"ÑģÑıÑĤÑģÑı":104494,"ÑĤелем":104495,"ĠÐIJнÑĤон":104496,"ĠÐijолее":104497,"ĠÐłÐ°Ð±Ð¾ÑĤ":104498,"Ġвидно":104499,"ĠгÑĥбеÑĢ":104500,"ĠклÑĥба":104501,"ĠновÑĥÑİ":104502,"ĠÑĢаÑģÑĤв":104503,"ĠÑģоÑĩин":104504,"ĠÑģÑĥдеб":104505,"ĠÑĤакÑĥÑİ":104506,"ĠÑĤепло":104507,"ĠÑĤÑĢанÑģ":104508,"алÑĮном":104509,"веÑģÑĤно":104510,"вÑĪиеÑģÑı":104511,"даеÑĤÑģÑı":104512,"ĠÐŁÐ¾Ñģлед":104513,"ĠбоÑĢÑĮбе":104514,"ĠзнаниÑı":104515,"ĠконÑĨеп":104516,"ĠмеÑģÑĤаÑħ":104517,"ĠнеÑĥдаÑĩ":104518,"ĠоÑĢиенÑĤ":104519,"ĠоÑĢÑĥжиÑı":104520,"ĠпамÑıÑĤÑĮ":104521,"ĠÑģезона":104522,"ĠÑģловно":104523,"ĠÑĤеаÑĤÑĢа":104524,"ÑģколÑĮко":104525,"ÑģпекÑĤив":104526,"ĠболÑĮÑĪаÑı":104527,"Ġвоенной":104528,"ĠвÑĤоÑĢого":104529,"Ġглавное":104530,"Ġкоманда":104531,"ĠкомандÑĥ":104532,"ĠмаÑģÑĪÑĤаб":104533,"ĠоÑģÑĤÑĢова":104534,"ĠоÑĤмеÑĤил":104535,"ĠпÑĢоÑĤеÑģÑĤ":104536,"ĠÑĢаÑģÑģÑĩиÑĤ":104537,"ĠÑĨеÑĢковÑĮ":104538,"ĠÑĩеловеÑĩ":104539,"ĠÐľÐ¸Ñħайлов":104540,"ĠаÑĢÑħиÑĤекÑĤ":104541,"ĠкаÑĩеÑģÑĤва":104542,"ĠконÑĤÑĢолÑĮ":104543,"ĠпÑĢедÑĭдÑĥÑī":104544,"ĠÑģведениÑı":104545,"ĠÑģкоÑĢоÑģÑĤÑĮ":104546,"ĠмакÑģималÑĮ":104547,"ĠнаÑĩалÑĮник":104548,"ĠÑĤÑĢадиÑĨион":104549,"ĠСовеÑĤÑģкого":104550,"гоÑģÑĥдаÑĢÑģÑĤвенного":104551,"ÐĴÐIJ":104552,"ÐļÐIJ":104553,"ÑĩÑĮ":104554,"ÑĭÑĢ":104555,"Ñįм":104556,"ĠÐijа":104557,"ĠÐijÑĥ":104558,"ĠÐļÐŁ":104559,"ĠÐłÐ°":104560,"ĠСа":104561,"ĠЦÐļ":104562,"Ġдл":104563,"ама":104564,"виг":104565,"гÑĢе":104566,"еÑĢо":104567,"жан":104568,"изÑĥ":104569,"нап":104570,"ноÑĢ":104571,"одн":104572,"ÑĢек":104573,"Ñģин":104574,"Ñħан":104575,"Ñħов":104576,"Ñīей":104577,"ÑĭÑģк":104578,"ĠÐijÑĭл":104579,"ĠÐĵиÑĤ":104580,"ĠÐļан":104581,"ĠТÑĥÑĤ":104582,"ĠЦеÑĢ":104583,"ĠдоÑĩ":104584,"Ġлок":104585,"ĠлоÑĪ":104586,"Ġнеж":104587,"авно":104588,"благ":104589,"вÑĪее":104590,"гоÑĢÑĮ":104591,"еÑĢеж":104592,"еÑĢов":104593,"имÑĥм":104594,"оноÑģ":104595,"оÑĨен":104596,"ĠÐļаÑĢл":104597,"ĠгоÑģÑĤ":104598,"ĠдоÑĩÑĮ":104599,"ĠкоÑĢм":104600,"ĠкÑĢаÑĤ":104601,"Ġмлад":104602,"ĠнаÑĪе":104603,"Ġноги":104604,"ĠобеÑī":104605,"Ġплод":104606,"ĠпÑĮеÑģ":104607,"ĠÑĥпоÑĢ":104608,"ееÑĤÑģÑı":104609,"еÑģÑĤвÑĥ":104610,"иÑĢÑĥÑİÑĤ":104611,"коÑģÑĤÑĮ":104612,"пиÑģан":104613,"ĠаÑĢмиÑı":104614,"ĠаÑĤмоÑģ":104615,"ĠбÑĭÑģÑĤÑĢ":104616,"ĠвойнÑĥ":104617,"ĠдÑĥмаÑİ":104618,"ĠзаÑģед":104619,"ĠинÑĤел":104620,"Ġканал":104621,"Ġнапад":104622,"ĠоÑĤÑĢиÑĨ":104623,"ĠÑĢедко":104624,"ĠÑģеÑĢии":104625,"ĠÑĪколе":104626,"адÑĨаÑĤи":104627,"вÑĪийÑģÑı":104628,"кобÑĢиÑĤ":104629,"ĠÐľÐ¾ÑģквÑĥ":104630,"ĠбоевÑĭÑħ":104631,"ĠвÑĭделÑı":104632,"ĠдеÑģÑıÑĤÑĮ":104633,"ĠдокÑĤоÑĢ":104634,"ĠкоÑĢолÑı":104635,"ĠкÑĢизиÑģ":104636,"Ġмнение":104637,"ĠпÑĢивед":104638,"ĠпÑĢиÑĪел":104639,"ĠÑĢаÑģÑĩеÑĤ":104640,"ĠболÑĮÑĪей":104641,"ĠболÑĮÑĪиÑħ":104642,"ĠобÑĢаÑĤно":104643,"ĠпоÑĢÑıдка":104644,"ĠÑĤеÑħники":104645,"ĠÑĤÑĢебÑĥеÑĤ":104646,"ĠÑĥÑģпеÑĪно":104647,"ĠÑĩеÑĤÑĭÑĢеÑħ":104648,"ĠÑĩÑĥвÑģÑĤва":104649,"ĠÑĩÑĥвÑģÑĤво":104650,"ĠÑįлекÑĤÑĢи":104651,"оÑģÑĤоÑĩной":104652,"ĠоÑģновной":104653,"ĠпÑĢоблема":104654,"ĠÑģÑĤÑĢелков":104655,"ĠоказалиÑģÑĮ":104656,"ĠоÑĤноÑĪениÑİ":104657,"ĠÐĴеликобÑĢиÑĤ":104658,"ĠпеÑĢÑģпекÑĤив":104659,"ĠнапÑĢавлениÑı":104660,"ĠобÑĢазование":104661,"ĠÑĢÑĥководÑģÑĤвом":104662,"ĠпÑĢедÑģÑĤавиÑĤелÑĮ":104663,"ĠгоÑģÑĥдаÑĢÑģÑĤвенной":104664,"ÐĶа":104665,"ÐĿÐŀ":104666,"бл":104667,"пÑĥ":104668,"ĠÐŀп":104669,"ĠоÑĨ":104670,"ÐĻоÑĢ":104671,"ÐŁÑĢи":104672,"ÐŁÑĢо":104673,"иÑīе":104674,"оле":104675,"оÑİз":104676,"ÑĢиÑħ":104677,"ÑĢоÑĪ":104678,"ÑģÑĤе":104679,"ÑĦил":104680,"ÑĪки":104681,"ĠÐijол":104682,"ĠÐĶал":104683,"ĠÐłÐ¸Ñģ":104684,"ĠСÑĤо":104685,"ĠСÑĥд":104686,"ĠТÑĢи":104687,"ĠлаÑĤ":104688,"Ġлед":104689,"Ġнен":104690,"ĠÑĥме":104691,"ĠÑħоÑĢ":104692,"ĠÑįкÑģ":104693,"анÑĤи":104694,"дена":104695,"инаÑı":104696,"лиÑģÑĤ":104697,"лÑİда":104698,"ÑĢажд":104699,"ÑĢоÑģл":104700,"Ñĩего":104701,"ÑĩиÑģÑĤ":104702,"ÑĮнÑĭе":104703,"ÑijÑĤÑģÑı":104704,"ĠвзÑıл":104705,"ĠгÑĢан":104706,"Ġедва":104707,"ĠидÑĤи":104708,"ĠпаÑĢа":104709,"ĠÑģайÑĤ":104710,"ĠÑģвоÑij":104711,"ĠÑģÑħод":104712,"ĠÑĤÑİÑĢÑĮ":104713,"ĠÑįпиз":104714,"оÑĩнÑĭй":104715,"ÑĢовал":104716,"ÑģовеÑĤ":104717,"ÑģпекÑĤ":104718,"ĠÐIJвÑĤоÑĢ":104719,"ĠгваÑĢд":104720,"ĠгоÑĢÑıÑĩ":104721,"ĠзаÑīиÑī":104722,"Ġкнига":104723,"ĠкнигÑĥ":104724,"ĠлиÑĩно":104725,"ĠмеÑĤал":104726,"ĠогонÑĮ":104727,"ĠпонÑıл":104728,"ĠпоÑģеÑĤ":104729,"ĠÑģеÑĢеб":104730,"ĠÑĦоÑĢма":104731,"иваниÑı":104732,"огÑĢамм":104733,"оÑģÑĤоке":104734,"пиÑģкоп":104735,"ÑĤенанÑĤ":104736,"ÑİÑīийÑģÑı":104737,"ĠÐĺÑĤалии":104738,"ĠÐĽÐµÐ½Ð¸Ð½Ð°":104739,"ĠмоделÑĮ":104740,"ĠнаÑĥÑĩно":104741,"ĠпеÑĢвое":104742,"Ġподним":104743,"ĠпомоÑĩÑĮ":104744,"ĠпÑĢинеÑģ":104745,"ĠÑĢегиÑģÑĤ":104746,"ĠÑģÑĩиÑĤал":104747,"ĠÑĤаланÑĤ":104748,"ĠÑĥвидел":104749,"ведений":104750,"ĠÐĴпÑĢоÑĩем":104751,"ĠакÑĤивно":104752,"ĠглавнÑĭй":104753,"ĠкапиÑĤан":104754,"ĠкÑĢайней":104755,"ĠмеÑĢопÑĢи":104756,"ĠобÑĢабоÑĤ":104757,"ĠплоÑīади":104758,"ĠподвеÑĢг":104759,"ĠпÑĢедпоÑĩ":104760,"ĠÑģпÑĢавед":104761,"ĠÑģÑĥбÑĬекÑĤ":104762,"ĠÑĥвидеÑĤÑĮ":104763,"ĠÐĴозможно":104764,"Ġвоенного":104765,"ĠговоÑĢили":104766,"ĠдемокÑĢаÑĤ":104767,"ĠобÑīеÑģÑĤво":104768,"ĠобÑĬекÑĤов":104769,"ĠпоÑģÑĤÑĢоен":104770,"ĠпÑĢигоÑĤов":104771,"ĠпÑĢоÑħодиÑĤ":104772,"ĠÑģоздание":104773,"ĠÑĩеловекÑĥ":104774,"ÑģÑĤанавлив":104775,"ĠабÑģолÑİÑĤно":104776,"ĠговоÑĢиÑĤÑģÑı":104777,"ĠпÑĢавилÑĮно":104778,"ĠÑģледÑĥÑİÑīие":104779,"ĠÐļонÑģÑĤанÑĤин":104780,"ĠоказÑĭваеÑĤÑģÑı":104781,"ĠпÑĢедпÑĢиÑıÑĤиÑı":104782,"пÑĢоÑĦеÑģÑģионалÑĮ":104783,"ĠпÑĢедÑģÑĤавлениÑı":104784,"ĠпÑĢомÑĭÑĪленноÑģÑĤи":104785,"ÐĺÐĿ":104786,"ĠХо":104787,"ĠÑħв":104788,"беÑģ":104789,"вок":104790,"коÑĤ":104791,"лаз":104792,"нÑĥв":104793,"пов":104794,"пом":104795,"ÑĢеп":104796,"ÑĦиÑĢ":104797,"Ñħал":104798,"Ñĩно":104799,"Ñıла":104800,"ĠÐĺнд":104801,"ĠÐŀÑģÑĤ":104802,"Ġжид":104803,"Ġмеж":104804,"беÑĢÑĤ":104805,"еÑĢÑĭв":104806,"кнов":104807,"лÑĥаÑĤ":104808,"озна":104809,"олиÑĤ":104810,"оÑģÑĤн":104811,"оÑĤно":104812,"ÑĢоÑģÑģ":104813,"ÑĮнÑĭй":104814,"Ġводо":104815,"Ġзвон":104816,"ĠидеÑı":104817,"ĠмлÑĢд":104818,"ĠоÑĢиг":104819,"ализм":104820,"аннÑĭм":104821,"ĠвеÑĤеÑĢ":104822,"Ġвидим":104823,"ĠвлаÑģÑĤ":104824,"Ġзамен":104825,"ĠкакаÑı":104826,"ĠкакÑĥÑİ":104827,"ĠконеÑĨ":104828,"ĠпоÑģÑijл":104829,"ĠпÑĥнкÑĤ":104830,"ĠÑĢаÑģÑĪи":104831,"ĠÑĥÑģлÑĭÑĪ":104832,"ĠÑĥÑģÑĤÑĥп":104833,"ĠÑĥÑĩили":104834,"ĠÑĩинов":104835,"нейÑĪиÑħ":104836,"ĠавÑĤоÑĢа":104837,"ĠаÑĢÑĤиÑģÑĤ":104838,"Ġданном":104839,"ĠзадаÑĩа":104840,"ĠзапÑĢеÑĤ":104841,"ĠзданиÑı":104842,"Ġкакого":104843,"Ġкомпон":104844,"ĠнагÑĢад":104845,"ĠпеÑĢваÑı":104846,"ĠпиÑģаÑĤÑĮ":104847,"Ġподвод":104848,"ĠпÑĢивÑĭÑĩ":104849,"ĠÑģÑĤаÑĤÑĥÑģ":104850,"ĠÑģÑĤÑĢого":104851,"ĠÑĤеÑĢмин":104852,"ĠÑĤÑĢенеÑĢ":104853,"ĠÑĥголов":104854,"ĠСегоднÑı":104855,"Ġболезни":104856,"ĠиÑģполнÑı":104857,"ĠкоÑĢаблÑı":104858,"ĠкÑĢÑĥпнÑĭÑħ":104859,"ĠоÑģнован":104860,"Ġпозднее":104861,"ĠÑģвободÑĭ":104862,"ĠÑĥдоволÑĮ":104863,"еÑĤиÑĩеÑģки":104864,"Ġникакого":104865,"ĠобÑģÑĤанов":104866,"ĠоÑĩевидно":104867,"ĠпеÑĢÑģонаж":104868,"ĠÑĢеÑģпÑĥбли":104869,"ĠвозникаеÑĤ":104870,"ĠинÑģÑĤиÑĤÑĥÑĤа":104871,"ĠнекоÑĤоÑĢое":104872,"ĠобÑĢазован":104873,"ĠоконÑĩаниÑı":104874,"ĠповедениÑı":104875,"ĠÑģелÑĮÑģкого":104876,"ĠÑįлеменÑĤов":104877,"ĠдалÑĮнейÑĪем":104878,"ĠÑĥÑĩаÑģÑĤников":104879,"ĠÑĩемпионаÑĤе":104880,"ĠÐIJлекÑģандÑĢов":104881,"ĠеÑģÑĤеÑģÑĤвенно":104882,"ĠоÑģобенноÑģÑĤи":104883,"ĠÐĵоÑģÑĥдаÑĢÑģÑĤвен":104884,"ĠиÑģÑģледований":104885,"еÑĦ":104886,"ÑıÑĢ":104887,"ĠÐłÐ¾":104888,"ĠÑĦи":104889,"бÑĢÑĮ":104890,"гов":104891,"джи":104892,"маÑħ":104893,"ноз":104894,"пла":104895,"ÑĢел":104896,"Ñĩан":104897,"ÑīиÑħ":104898,"ĠÐĴаÑĢ":104899,"ĠÐļаÑĤ":104900,"ĠÐľÐ¸Ð»":104901,"ĠÐŁÐ°Ð½":104902,"ĠХаÑĢ":104903,"Ġвал":104904,"Ġмай":104905,"ĠнÑĭн":104906,"Ġпик":104907,"ĠÑĢем":104908,"ĠÑĥÑĩÑij":104909,"ĠÑĨеп":104910,"ĠÑĪаÑĢ":104911,"амеÑĤ":104912,"влек":104913,"еÑģно":104914,"еÑĤий":104915,"иÑĤел":104916,"меÑĢÑĤ":104917,"оÑĢоÑĪ":104918,"пÑĢом":104919,"ÑĢаÑĩн":104920,"Ñģлав":104921,"Ñĥжда":104922,"ÑĩеÑģк":104923,"Ñīего":104924,"ĠÐijога":104925,"ĠÐĽÐµÐ¾Ð½":104926,"Ġвода":104927,"ĠгÑĢоз":104928,"ĠдиÑģк":104929,"ĠколÑĮ":104930,"Ġмозг":104931,"ĠпаÑĨи":104932,"ĠподÑĬ":104933,"ĠÑĤÑĢаг":104934,"ĠÑĨикл":104935,"ĠÑĩеÑģÑĤ":104936,"ĠÑĪÑĤÑĥÑĢ":104937,"еевиÑĩ":104938,"еÑĢÑĪил":104939,"иÑģлав":104940,"иÑģÑĤан":104941,"нение":104942,"никам":104943,"овала":104944,"овÑĭми":104945,"оÑĩник":104946,"ÑĥголÑĮ":104947,"ĠвзглÑı":104948,"Ġводой":104949,"ĠдомаÑĪ":104950,"ĠмаÑĤÑĩе":104951,"Ġнемед":104952,"ĠнеÑĩÑĤо":104953,"ĠпÑĥÑģÑĤÑĮ":104954,"ĠÑĢелиг":104955,"ĠÑģÑĤаÑĢÑĤ":104956,"ĠÑģÑĩаÑģÑĤ":104957,"ĠÑģÑİжеÑĤ":104958,"ĠÑĩиÑģÑĤо":104959,"ÑĭваниÑı":104960,"ĠÐŁÑĢавда":104961,"Ġдоклад":104962,"Ġкаждом":104963,"ĠкаÑĢÑĤин":104964,"ĠнаÑĩаÑĤÑĮ":104965,"Ġнедели":104966,"ĠобоÑĢон":104967,"ĠоÑĤкÑĥда":104968,"Ġполной":104969,"ĠпÑĢедÑĥп":104970,"ĠпÑĢигла":104971,"ĠÑĢеÑĪили":104972,"ĠÑģигнал":104973,"ĠÑģлÑĥжбÑĥ":104974,"ĠÑģокÑĢаÑī":104975,"ĠÑģооÑĢÑĥж":104976,"ĠÑģопÑĢов":104977,"инÑĤеÑĢеÑģ":104978,"ĠвеÑīеÑģÑĤв":104979,"ĠепиÑģкоп":104980,"Ġзаконод":104981,"ĠкоÑĢолев":104982,"ĠминиÑģÑĤÑĢ":104983,"ĠмоменÑĤа":104984,"ĠобÑĬекÑĤа":104985,"Ġпедагог":104986,"ĠпоÑĢÑıдок":104987,"ĠпÑĢиÑģÑĤÑĥп":104988,"ĠÑģказала":104989,"ĠÑģлÑĥÑĩаев":104990,"ĠÑģоÑģÑĤава":104991,"ĠÑģпÑĢоÑģил":104992,"оминаниÑı":104993,"ĠвозÑĢаÑģÑĤа":104994,"ĠвÑĭнÑĥжден":104995,"ĠконÑĤÑĢакÑĤ":104996,"Ġнапомина":104997,"ĠокÑĢÑĥжаÑİÑī":104998,"ĠÑĢекоменд":104999,"ĠÑĢождениÑı":105000,"ĠÑģлÑĥÑĩайно":105001,"ĠÐĿаÑĨионалÑĮ":105002,"ĠвоÑģпÑĢиним":105003,"ĠдолжноÑģÑĤи":105004,"ĠпÑĥÑĤеÑĪеÑģÑĤв":105005,"ĠнаÑĩинаеÑĤÑģÑı":105006,"Ġнемедленно":105007,"ĠÑĢазнообÑĢаз":105008,"ĠÑĥÑĩаÑģÑĤвовал":105009,"ĠÑĦакÑĤиÑĩеÑģки":105010,"ĠгоÑģÑĥдаÑĢÑģÑĤво":105011,"ĠоÑĢганизован":105012,"ĠоконÑĩаÑĤелÑĮно":105013,"ĠпÑĢоизводÑģÑĤво":105014,"ĠпÑĢедÑģÑĤавиÑĤелей":105015,"ÐIJÑĢ":105016,"ÐľÑĭ":105017,"ĠÐĵÑĥ":105018,"ĠÐŁÐŀ":105019,"ĠСе":105020,"ĠТÐIJ":105021,"ĠТи":105022,"ĠÐŃд":105023,"ĠÐŃй":105024,"Ġба":105025,"Ġмг":105026,"ĠÑĦа":105027,"Ðļак":105028,"ÐļоÑĢ":105029,"авÑĪ":105030,"баÑĢ":105031,"бек":105032,"бÑĢа":105033,"дÑĥÑĤ":105034,"май":105035,"мал":105036,"нÑıÑĤ":105037,"ойн":105038,"пед":105039,"ÑĢоз":105040,"Ñģек":105041,"Ñģла":105042,"ÑĤеÑģ":105043,"ÑĤой":105044,"Ñĥди":105045,"ÑĥÑħа":105046,"Ñħим":105047,"Ñĩев":105048,"Ñĩка":105049,"Ñĩки":105050,"Ñīим":105051,"ĠСен":105052,"ĠСоб":105053,"Ġлаб":105054,"Ġлей":105055,"Ġнож":105056,"ĠпиÑĢ":105057,"ĠÑģан":105058,"ĠÑģкÑĥ":105059,"ĠÑĪÑĥм":105060,"аÑīиÑħ":105061,"гелÑĮ":105062,"днев":105063,"емÑĭй":105064,"илÑĮм":105065,"инам":105066,"мана":105067,"ниÑĨе":105068,"ÑĢажа":105069,"ĠÐľÐ°ÑĢк":105070,"ĠÐŁÐ¾Ñģк":105071,"ĠСлов":105072,"ĠТÐIJСС":105073,"ĠмеÑĢÑĭ":105074,"ĠнÑĭне":105075,"Ġодеж":105076,"ĠÑģпеÑĨ":105077,"ĠÑģÑĤек":105078,"ĠÑĤоÑĢж":105079,"ĠÑĨелÑı":105080,"ĠÑĩемÑĥ":105081,"аÑĩива":105082,"евнов":105083,"енÑģÑĤв":105084,"ивÑĪиÑħ":105085,"ноÑģиÑĤ":105086,"оÑģлов":105087,"Ñĩенко":105088,"ÑijннÑĭÑħ":105089,"ĠÐĹемли":105090,"ĠÐŁÐ°ÑĢиж":105091,"ĠвзÑĢÑĭв":105092,"Ġвклад":105093,"ĠзакÑĢÑĭ":105094,"ĠмаÑĤеÑĢ":105095,"ĠмикÑĢо":105096,"ĠоÑĤдÑĭÑħ":105097,"ĠпаÑĤÑĢи":105098,"ĠподÑĥм":105099,"Ġпокин":105100,"ĠпоÑģад":105101,"ĠпÑĢеод":105102,"ĠпÑĢоÑģÑĮ":105103,"ĠÑģожал":105104,"ĠÑĤиÑĤÑĥл":105105,"ĠÑĦлоÑĤа":105106,"ĠÑĪÑĤаба":105107,"еÑĢедко":105108,"еÑģÑĤвом":105109,"леÑĤний":105110,"ĠÐIJндÑĢей":105111,"ĠÐĺногда":105112,"ĠÐļаждÑĭй":105113,"ĠвÑħодиÑĤ":105114,"Ġданной":105115,"ĠданнÑĭй":105116,"ĠиÑģпÑĢав":105117,"ĠодномÑĥ":105118,"ĠпÑĢоÑĨед":105119,"ĠÑĢаÑģÑĪиÑĢ":105120,"ĠÑģеÑĢвиÑģ":105121,"ĠÑģлÑĥжил":105122,"ĠÑĩленом":105123,"енноÑģÑĤÑĮ":105124,"иваÑĤÑĮÑģÑı":105125,"иÑĢÑĥеÑĤÑģÑı":105126,"окÑĢаÑĤно":105127,"ĠзамеÑĤил":105128,"ĠпеÑĢиода":105129,"ĠÑĢаÑģÑĤвоÑĢ":105130,"ÑģÑĤвеннÑĭÑħ":105131,"ĠобÑĬекÑĤив":105132,"ĠпÑĢиговоÑĢ":105133,"ĠÑģамолеÑĤа":105134,"ĠÑģпокойно":105135,"ĠÑįкÑģплÑĥаÑĤ":105136,"ĠÑįлекÑĤÑĢон":105137,"ĠÐŁÐµÑĤеÑĢбÑĥÑĢг":105138,"ĠÐŁÐ¾ÑģколÑĮкÑĥ":105139,"ĠбиблиоÑĤек":105140,"ĠнаÑģколÑĮко":105141,"ĠнеболÑĮÑĪой":105142,"ĠоÑģновании":105143,"ĠполÑĥÑĩениÑı":105144,"ĠпоÑıвилиÑģÑĮ":105145,"ĠÑħаÑĢакÑĤеÑĢа":105146,"ĠÑĩÑĢезвÑĭÑĩай":105147,"ĠавÑĤомобилÑĮ":105148,"ĠпÑĢоведениÑı":105149,"ĠÑĥÑģÑĤÑĢойÑģÑĤва":105150,"ĠиноÑģÑĤÑĢаннÑĭÑħ":105151,"ĠпÑĢедÑģÑĤавиÑĤÑĮ":105152,"ĠÑģобÑģÑĤвенной":105153,"ĠÑģовÑĢеменной":105154,"ĠполиÑĤиÑĩеÑģкой":105155,"ĠиÑģполÑĮзование":105156,"ĠÑģÑĤÑĢоиÑĤелÑĮÑģÑĤво":105157,"ĠÐĻ":105158,"ÐIJÐł":105159,"ÐĴС":105160,"ТÐŀ":105161,"зÑĥ":105162,"нÑĤ":105163,"оÑĥ":105164,"ÑĨо":105165,"Ñīи":105166,"Ñijз":105167,"ĠÐIJз":105168,"ĠÐĺÑĢ":105169,"ĠÐľÐµ":105170,"ĠÐłÑĭ":105171,"ĠÑħа":105172,"гал":105173,"емÑĮ":105174,"икÑĤ":105175,"иÑĢи":105176,"иÑĨÑĥ":105177,"меÑħ":105178,"оин":105179,"пеÑĤ":105180,"ÑĢеÑģ":105181,"ÑģоÑĢ":105182,"ÑĤим":105183,"ÑĤок":105184,"ÑĥÑĢе":105185,"ÑĪка":105186,"ĠÐijен":105187,"ĠÐijож":105188,"ĠСин":105189,"ĠдоÑģ":105190,"ĠкÑĥÑģ":105191,"ĠмеÑĪ":105192,"Ġмое":105193,"ĠнеÑij":105194,"ĠпеÑħ":105195,"ĠÑģÑĤа":105196,"ĠÑĥлÑĭ":105197,"акеÑĤ":105198,"вÑĪÑĥÑİ":105199,"дÑĢÑĥг":105200,"езап":105201,"енÑĮÑİ":105202,"идÑĢо":105203,"опÑĭÑĤ":105204,"оÑĩек":105205,"пÑĢоÑģ":105206,"ÑģлÑĥÑĪ":105207,"ÑĮнаÑı":105208,"ĠÐIJзии":105209,"ĠÐļали":105210,"ĠÐŁÐ¾ÐºÐ°":105211,"ĠÐłÐ°ÑģÑģ":105212,"ĠСолн":105213,"ĠбаÑģÑģ":105214,"ĠвоÑģÑĤ":105215,"ĠгÑĢам":105216,"ĠмоиÑħ":105217,"ĠнаÑĪа":105218,"ĠнепÑĢ":105219,"ĠполÑĮ":105220,"ĠпÑĢеб":105221,"ĠÑĦами":105222,"ĠÑĨаÑĢÑı":105223,"йÑĤеÑģÑĮ":105224,"опÑĢов":105225,"ÑĢаÑĤив":105226,"ÑģкоÑĢе":105227,"ÑģÑĤиÑĤÑĥ":105228,"ÑĥÑİÑīим":105229,"ĠÐŀÑĢден":105230,"ĠÐŀÑĩенÑĮ":105231,"ĠввеÑĢÑħ":105232,"ĠвдолÑĮ":105233,"ĠгеÑĢоÑı":105234,"Ġидеал":105235,"ĠконеÑĩ":105236,"Ġнаказ":105237,"Ġпопад":105238,"ĠÑĢазве":105239,"ĠÑĢÑĥбеж":105240,"ĠÑģÑĤиÑħи":105241,"ĠÑĪколÑĥ":105242,"ÑĢожден":105243,"ĠÐĴÑģкоÑĢе":105244,"ĠÐľÐ¾Ñģква":105245,"ĠвзÑĢоÑģл":105246,"ĠвоÑģпÑĢи":105247,"ĠгÑĢеÑĩеÑģ":105248,"ĠделаÑİÑĤ":105249,"ĠдоÑĢоге":105250,"ĠдÑĢÑĥгÑĥÑİ":105251,"Ġзакона":105252,"Ġздание":105253,"ĠземелÑĮ":105254,"ĠклиенÑĤ":105255,"ĠкÑĢедиÑĤ":105256,"ĠмеÑħани":105257,"ĠнаÑģÑĤÑĢо":105258,"ĠнеделÑİ":105259,"ĠобÑģлÑĥж":105260,"ĠоÑĢÑĥжие":105261,"ĠоÑĤдела":105262,"ĠпÑĢиобÑĢ":105263,"ĠпÑĢоÑĪло":105264,"ĠÑģÑĩаÑģÑĤÑĮ":105265,"ĠÑĩеÑĤвеÑĢ":105266,"нодоÑĢож":105267,"ÑĢаÑĤивно":105268,"ÑĭваÑİÑĤÑģÑı":105269,"ĠÐĿаконеÑĨ":105270,"ĠбÑĥдÑĥÑīем":105271,"ĠвÑģÑĤÑĢеÑĩа":105272,"ĠвÑĭпÑĥÑģка":105273,"ĠвÑĭÑģокой":105274,"ĠгоÑĢодов":105275,"ĠгÑĢаниÑĨÑĭ":105276,"ĠдеÑĢевне":105277,"ĠдеÑĢевни":105278,"ĠпеÑĢепиÑģ":105279,"ĠпÑĢавила":105280,"ĠпÑĢавилÑĮ":105281,"ĠпÑĢекÑĢаÑī":105282,"ĠпÑĢоÑĪлом":105283,"ĠпÑĥблика":105284,"ĠÑĢегÑĥлÑıÑĢ":105285,"ĠÑĢÑĥÑģÑģкие":105286,"ĠÑģÑĩиÑĤаÑİÑĤ":105287,"ĠÑĦакÑĥлÑĮÑĤ":105288,"иÑĤелÑĮной":105289,"иÑĤелÑĮнÑĭй":105290,"ĠаÑĤмоÑģÑĦеÑĢ":105291,"ĠвÑĭзÑĭваеÑĤ":105292,"Ġглавного":105293,"ĠгÑĥбеÑĢнии":105294,"ĠкомиÑĤеÑĤа":105295,"Ġмедленно":105296,"ĠнаобоÑĢоÑĤ":105297,"ĠопеÑĢаÑĤив":105298,"ĠпÑĢидеÑĤÑģÑı":105299,"ĠпÑĢоÑĪлого":105300,"ĠÑģознаниÑı":105301,"ĠеÑģÑĤеÑģÑĤвен":105302,"ĠоÑĤноÑģÑıÑĤÑģÑı":105303,"ĠпоÑģелениÑı":105304,"ĠпÑĢинимаÑĤÑĮ":105305,"ĠÑģовеÑĤÑģкиÑħ":105306,"ĠÑģовеÑĤÑģкой":105307,"ĠÑģÑĢавнениÑİ":105308,"ĠÑģÑĩиÑĤаеÑĤÑģÑı":105309,"ĠÑħозÑıйÑģÑĤва":105310,"ĠгоÑģÑĥдаÑĢÑģÑĤв":105311,"ĠдоÑģÑĤижениÑı":105312,"Ġнеожиданно":105313,"ĠопÑĢеделиÑĤÑĮ":105314,"ĠоÑĤÑģÑĥÑĤÑģÑĤвие":105315,"ĠпÑĢоÑĤивоÑĢеÑĩ":105316,"ĠÑĥпÑĢавление":105317,"ĠвпеÑĩаÑĤление":105318,"ĠзаклÑİÑĩаеÑĤÑģÑı":105319,"ĠпÑĢоÑĤивополож":105320,"ĠÑģамоÑģÑĤоÑıÑĤелÑĮно":105321,"ĠÑģооÑĤвеÑĤÑģÑĤвенно":105322,"ĠÐIJÑħ":105323,"ĠÐĽÐ¾":105324,"ĠÐľÑĥ":105325,"ĠÐłÐ¡":105326,"ĠÐłÐ¸":105327,"ĠÑĤв":105328,"жаÑĤ":105329,"ини":105330,"лÑĮн":105331,"лÑİÑģ":105332,"мел":105333,"оди":105334,"ÑĢой":105335,"ÑĢÑıÑģ":105336,"ÑĤоп":105337,"ÑĤÑıж":105338,"Ñĥже":105339,"ÑĨин":105340,"ÑĨом":105341,"ĠÐijал":105342,"ĠÐķвг":105343,"ĠÐĸен":105344,"ĠÐľÐµÑĢ":105345,"ĠТаÑĢ":105346,"Ġжан":105347,"ĠкÑĥб":105348,"Ġлад":105349,"ĠлиÑĪ":105350,"Ġмае":105351,"Ġоба":105352,"Ġобл":105353,"ĠÑĩел":105354,"ĠÑĪел":105355,"амÑıÑĤ":105356,"биÑĤÑĮ":105357,"бÑĢан":105358,"движ":105359,"езде":105360,"еÑģÑĤÑĢ":105361,"ибиÑĢ":105362,"кина":105363,"кÑĢеÑģ":105364,"кÑĢÑĭл":105365,"ннÑĭе":105366,"ÑĢаÑĤа":105367,"ÑģÑĤон":105368,"ĠÐĶело":105369,"ĠÐķкаÑĤ":105370,"ĠÐĺзÑĢа":105371,"ĠаÑģÑĤÑĢ":105372,"Ġбазе":105373,"ĠвзÑıÑĤ":105374,"ĠвÑĭÑıв":105375,"ĠгÑĢад":105376,"Ġдожд":105377,"ĠзвÑĥÑĩ":105378,"ĠмаÑĤÑĩ":105379,"ĠÑģвеж":105380,"ĠÑģлÑĥÑħ":105381,"ĠÑģнег":105382,"ĠÑıдеÑĢ":105383,"еннÑĥÑİ":105384,"ивÑĪие":105385,"казан":105386,"омнил":105387,"ÑĥÑĪкин":105388,"ĠÐĵенеÑĢ":105389,"ĠÐĵлава":105390,"ĠвоÑģÑģÑĤ":105391,"ĠвплоÑĤ":105392,"ĠвÑĭгод":105393,"ĠвÑĭÑĪла":105394,"ĠгазеÑĤ":105395,"ĠдÑĢÑĥгÑĥ":105396,"Ġкабин":105397,"Ġненав":105398,"ĠноÑĩÑĮÑİ":105399,"ĠоÑĦоÑĢм":105400,"ĠпеÑģни":105401,"ĠÑģемÑĮÑı":105402,"ĠÑģпÑĢаÑĪ":105403,"ĠÑĥдеÑĢж":105404,"ĠÑĦигÑĥÑĢ":105405,"ĠÑĪеÑģÑĤи":105406,"вÑĪейÑģÑı":105407,"изаÑĨиÑı":105408,"пеÑĢвÑĭÑħ":105409,"ÑĩеÑģкий":105410,"ĠÐłÐ¾ÑģÑģиÑİ":105411,"ĠЯпонии":105412,"ĠдвоÑĢÑıн":105413,"Ġзавода":105414,"ĠпÑĢибоÑĢ":105415,"ĠпÑĢоник":105416,"ĠÑģоздал":105417,"ĠÑģÑĤаÑĤÑĮе":105418,"ĠÑģÑĥпÑĢÑĥг":105419,"ĠÑįкÑģпед":105420,"ĠÑįпизод":105421,"иÑĤелÑıми":105422,"ĠÐIJлекÑģей":105423,"ĠÐļÑĢаÑģной":105424,"ĠвоздÑĥÑħа":105425,"Ġдобавил":105426,"ĠдоÑģÑĤоин":105427,"Ġнедавно":105428,"ĠплоÑīадÑĮ":105429,"ĠпоÑĢÑĤÑĢеÑĤ":105430,"ĠпÑĢемÑĮеÑĢ":105431,"ĠÑĢегиона":105432,"иÑĤелÑĮнÑĭе":105433,"ĠболÑĮÑĪого":105434,"ĠвÑģпомина":105435,"ĠдипломаÑĤ":105436,"ĠназваниÑı":105437,"ĠобÑĥÑĩениÑı":105438,"ĠоÑģновнÑĭе":105439,"ĠпÑĢогÑĢеÑģÑģ":105440,"ĠÑģоÑĢевнов":105441,"ĠиниÑĨиаÑĤив":105442,"ĠинÑĤеÑĢеÑģов":105443,"ĠнаÑģеление":105444,"ĠоказалаÑģÑĮ":105445,"ĠоÑģнованиÑı":105446,"ĠоÑģÑĤалÑĮнÑĭе":105447,"Ġповедение":105448,"ĠпоÑģледниÑħ":105449,"ĠпоÑģÑĤавлен":105450,"ĠÑģожалениÑİ":105451,"ĠÑģообÑīениÑı":105452,"ĠÐĴеÑĢÑħовного":105453,"ĠнаÑĩалÑĮника":105454,"ĠпÑĢедпÑĢиним":105455,"ĠÑĢеволÑİÑĨион":105456,"ĠÑģпеÑĨиалÑĮно":105457,"ĠÑĩÑĢезвÑĭÑĩайно":105458,"ĠÑģÑĤÑĢоиÑĤелÑĮÑģÑĤва":105459,"ĠÑģÑĥÑīеÑģÑĤвованиÑı":105460,"дейÑģÑĤвиÑĤелÑĮноÑģÑĤи":105461,"ÐĴÐŀ":105462,"ÐłÐµ":105463,"мб":105464,"ÑīÑĥ":105465,"ĠÐķе":105466,"ĠУÑĢ":105467,"ĠÐ¥Ñĥ":105468,"ĠЧе":105469,"ĠЯн":105470,"ĠаÑģ":105471,"адÑĮ":105472,"бле":105473,"бÑĭÑĤ":105474,"елл":105475,"еÑģа":105476,"леп":105477,"маз":105478,"мÑĥн":105479,"неÑĨ":105480,"паÑģ":105481,"ÑģÑĭп":105482,"ÑĤей":105483,"Ñĥка":105484,"ÑĦей":105485,"ÑĨам":105486,"ĠÐķмÑĥ":105487,"ĠÐĽÐµÑĤ":105488,"ĠÐŀно":105489,"ĠСим":105490,"Ġкем":105491,"ĠмÑıг":105492,"ĠÑģел":105493,"ĠÑģеÑĤ":105494,"ĠÑĥÑģи":105495,"ĠÑĨив":105496,"ĠÑĪÑĥÑĤ":105497,"аÑĢии":105498,"двин":105499,"евÑĭÑħ":105500,"елил":105501,"икой":105502,"меÑĤа":105503,"миÑĢа":105504,"ннÑĭй":105505,"оÑĢÑĤа":105506,"поÑģÑĤ":105507,"Ñģмен":105508,"ÑĥÑĤÑģÑı":105509,"ÑĨиÑģÑĤ":105510,"Ñĩики":105511,"ĠÐĶалÑĮ":105512,"ĠÐľÐ°ÑĢÑĤ":105513,"ĠÐĿадо":105514,"ĠФили":105515,"ĠалÑĮб":105516,"ĠаÑĢаб":105517,"Ġвоин":105518,"ĠвоÑģÑĮ":105519,"ĠделÑĥ":105520,"ĠзвеÑĢ":105521,"Ġидей":105522,"Ġкамп":105523,"ĠконÑģ":105524,"ĠмиÑģÑģ":105525,"ĠпаÑĢÑĥ":105526,"ĠпÑĢеÑĤ":105527,"ĠÑĤонн":105528,"ĠÑĤÑĢев":105529,"ĠÑĪеÑģÑĤ":105530,"ĠÑĪÑĤаÑĤ":105531,"ĠÑİÑĢид":105532,"аÑİÑīие":105533,"видим":105534,"иÑĢÑĥем":105535,"ложил":105536,"пÑĢежн":105537,"Ñīиков":105538,"ÑİÑīими":105539,"ĠакÑĤеÑĢ":105540,"Ġведом":105541,"ĠглавÑĭ":105542,"ĠгоÑĢиз":105543,"ĠдобÑĢо":105544,"ĠзанÑıл":105545,"ĠзанÑıÑĤ":105546,"ĠмаÑĢÑĤе":105547,"Ġмозга":105548,"ĠнабоÑĢ":105549,"ĠнаÑĪем":105550,"Ġнеодн":105551,"ĠнÑĭнеÑĪ":105552,"Ġобман":105553,"ĠопÑĢав":105554,"ĠоÑĤдал":105555,"ĠповеÑĢ":105556,"Ġподав":105557,"ĠподаÑĢ":105558,"ĠÑģилой":105559,"ĠÑģлабо":105560,"ĠÑģобиÑĢ":105561,"ĠÑģÑĦеÑĢе":105562,"ĠÑĥлиÑĨÑĭ":105563,"ĠÑĨелей":105564,"ĠÑĪкола":105565,"ĠÑįпоÑħи":105566,"авалеÑĢ":105567,"ÑĩÑĥвÑģÑĤв":105568,"ĠÐĴмеÑģÑĤе":105569,"ĠÐĵÑĢигоÑĢ":105570,"ĠгазеÑĤÑĭ":105571,"ĠдÑĢÑĥзей":105572,"ĠжÑĥÑĢнал":105573,"ĠигÑĢаÑĤÑĮ":105574,"ĠиÑģкаÑĤÑĮ":105575,"Ġназвал":105576,"ĠоÑĢдена":105577,"ĠоÑĤÑģÑĤÑĥп":105578,"ĠпÑĢиÑĪли":105579,"ĠÑĢезеÑĢв":105580,"ĠÑģезоне":105581,"ĠÑģеÑĢдÑĨа":105582,"ложениÑı":105583,"ÑĥÑīеÑģÑĤво":105584,"ĠÐŀлимпий":105585,"ĠЧеловек":105586,"ĠвÑģÑĤÑĢеÑĩи":105587,"Ġжелание":105588,"ĠживопиÑģ":105589,"ĠжÑĥÑĢнала":105590,"ĠимееÑĤÑģÑı":105591,"ĠконÑĨеÑĢÑĤ":105592,"ĠоÑģÑĤалÑģÑı":105593,"ĠпобеÑĢеж":105594,"ĠпожалÑĥй":105595,"ĠпонÑıÑĤиÑı":105596,"ĠÑģвÑıзано":105597,"ĠÑģпоÑĢÑĤив":105598,"ĠÑģÑĤÑĥденÑĤ":105599,"ĠÑĥÑģловий":105600,"ĠÑĨивилиз":105601,"иÑĤелÑĮнÑĭÑħ":105602,"напÑĢимеÑĢ":105603,"пÑĢежнемÑĥ":105604,"ĠÐľÐ¸Ð½Ð¸ÑģÑĤеÑĢ":105605,"ĠвопÑĢоÑģов":105606,"ĠимÑĥÑīеÑģÑĤв":105607,"ĠкаÑĤаÑģÑĤÑĢо":105608,"ĠплаÑĤÑĦоÑĢм":105609,"ĠполÑĥÑĩаеÑĤ":105610,"ĠпоÑıвилÑģÑı":105611,"ĠпÑĢовеÑģÑĤи":105612,"ĠÑĢодÑģÑĤвен":105613,"ĠÑģемейÑģÑĤв":105614,"ĠÑģкоÑĢоÑģÑĤи":105615,"ĠпÑĢавоÑģлав":105616,"ĠÑĢаÑģÑģказал":105617,"ĠÑģовмеÑģÑĤно":105618,"ĠÑģÑĤиÑħоÑĤвоÑĢ":105619,"ĠÑĤÑīаÑĤелÑĮно":105620,"ĠÑįкономики":105621,"ĠвнÑĥÑĤÑĢенниÑħ":105622,"ĠзанимаÑĤÑĮÑģÑı":105623,"ĠкиломеÑĤÑĢов":105624,"ĠколиÑĩеÑģÑĤва":105625,"ĠподгоÑĤовки":105626,"ĠпоказÑĭваеÑĤ":105627,"ĠпÑĢименениÑı":105628,"ĠÑĢеализаÑĨии":105629,"ĠÑĢоÑģÑģийÑģкий":105630,"ĠÑģодеÑĢжание":105631,"ĠинÑĦоÑĢмаÑĨион":105632,"ĠобеÑģпеÑĩениÑı":105633,"ĠпÑĢиÑħодилоÑģÑĮ":105634,"ĠпÑĢедÑģÑĤавление":105635,"ĠобÑģÑĤоÑıÑĤелÑĮÑģÑĤва":105636,"ĠадминиÑģÑĤÑĢаÑĤивно":105637,"жд":105638,"ĠÐľÐŀ":105639,"Ġзл":105640,"баÑĤ":105641,"вÑĮÑİ":105642,"гад":105643,"доб":105644,"езж":105645,"ейм":105646,"иÑĤи":105647,"иÑıÑħ":105648,"лаÑĩ":105649,"лÑĥг":105650,"моб":105651,"мÑĥÑĢ":105652,"оÑĩк":105653,"ÑĢап":105654,"ÑĥнÑĤ":105655,"ÑĥÑģÑĮ":105656,"ÑĥÑĩа":105657,"ÑĦиз":105658,"ÑħаÑĢ":105659,"ÑĪÑijл":105660,"ÑĭÑĪе":105661,"ĠÐijÑĥÑĢ":105662,"ĠÐĴам":105663,"ĠÐĴиÑĤ":105664,"Ġбли":105665,"Ġгим":105666,"Ġдеб":105667,"Ġдиз":105668,"ĠдÑĭÑħ":105669,"ĠмиÑĤ":105670,"ĠмÑĥÑĩ":105671,"ĠнÑijм":105672,"ĠпаÑģ":105673,"Ġпой":105674,"ĠÑĢоÑģ":105675,"ĠÑĪаÑħ":105676,"ĠÑįкз":105677,"близ":105678,"вÑĤоÑĢ":105679,"гÑĢом":105680,"монÑĤ":105681,"обед":105682,"оÑĪел":105683,"ÑĢале":105684,"ÑĢева":105685,"ÑĤики":105686,"ÑĤинг":105687,"ÑĤÑĢоп":105688,"ÑĦикÑģ":105689,"ÑħÑĢон":105690,"ÑĨеÑģÑģ":105691,"ÑĩиÑģл":105692,"ÑıÑīие":105693,"ĠÐIJÑĦÑĢи":105694,"ĠÐĴилÑĮ":105695,"ĠÐĿово":105696,"ĠСпаÑģ":105697,"Ġводе":105698,"Ġвоев":105699,"Ġвозб":105700,"ĠвÑĭда":105701,"ĠгеÑĢÑĨ":105702,"Ġкниж":105703,"ĠÑģпÑĥÑĤ":105704,"ĠÑģÑİда":105705,"ĠÑĤепл":105706,"ĠÑĦонд":105707,"ĠÑĩÑĤоб":105708,"закон":105709,"заÑīиÑĤ":105710,"иÑĤеÑģÑĮ":105711,"миÑĢал":105712,"неÑģен":105713,"оÑĩной":105714,"поÑģоб":105715,"ÑĢедоÑĤ":105716,"ĠXVIII":105717,"ĠÐĿаÑĢод":105718,"ĠавÑĤоб":105719,"ĠдвеÑĢÑĮ":105720,"ĠконÑĨÑĥ":105721,"ĠлабоÑĢ":105722,"ĠнебеÑģ":105723,"ĠновÑĭм":105724,"ĠнÑĥжнÑĭ":105725,"Ġокеан":105726,"ĠоÑģÑĤÑĢо":105727,"ĠоÑĤÑĢаÑģ":105728,"ĠпеÑĢек":105729,"ĠпÑĥлем":105730,"ĠÑĢоÑģÑĤа":105731,"ĠÑģÑĢедÑĭ":105732,"ологиÑı":105733,"ообÑĢаз":105734,"ÑģÑĤоÑĢон":105735,"ÑĥлиÑĢов":105736,"ÑĥÑİÑīего":105737,"ÑĩеÑģкие":105738,"ÑĩеÑģÑĤво":105739,"ĠÐŁÑĢимеÑĢ":105740,"ĠбÑĥдÑĥÑĩи":105741,"ĠбÑİджеÑĤ":105742,"Ġвнезап":105743,"ĠвÑĤоÑĢом":105744,"ĠголовÑĭ":105745,"ĠдиÑĢекÑĤ":105746,"ĠзакÑĢÑĭÑĤ":105747,"Ġименем":105748,"Ġколлек":105749,"ĠмагниÑĤ":105750,"ĠмедалÑĮ":105751,"ĠнеболÑĮ":105752,"Ġнемало":105753,"ĠоÑĤÑģÑĤав":105754,"ĠпÑĢизна":105755,"ĠÑģможеÑĤ":105756,"ĠÑĤеÑĢÑĢоÑĢ":105757,"ĠÑĥзнаÑĤÑĮ":105758,"ĠÑıзÑĭков":105759,"ĠÑıнваÑĢе":105760,"иÑĢовали":105761,"Ñĥждение":105762,"ĠÐĶмиÑĤÑĢий":105763,"ĠÐłÐ¾Ð´Ð¸Ð»ÑģÑı":105764,"ĠавгÑĥÑģÑĤе":105765,"Ġданного":105766,"ĠдекабÑĢе":105767,"Ġмолодой":105768,"ĠпаÑĢÑĤнеÑĢ":105769,"ĠполиÑĨии":105770,"ĠпÑĢиÑĩине":105771,"иÑĤелÑĮнÑĭм":105772,"иÑĩеÑģкими":105773,"ĠÐŀÑģобенно":105774,"ĠавиаÑĨион":105775,"Ġакадемии":105776,"ĠинÑĤеÑĢнеÑĤ":105777,"ĠиÑģÑĤоÑĩник":105778,"ĠкомиÑģÑģии":105779,"ĠобÑīеÑģÑĤве":105780,"ĠоÑģÑĤалоÑģÑĮ":105781,"ĠпÑĢеподав":105782,"ĠпÑĢивеÑģÑĤи":105783,"ĠÑģенÑĤÑıбÑĢе":105784,"ĠÑģоÑģÑĢедоÑĤ":105785,"ĠÑħоÑĤелоÑģÑĮ":105786,"ĠÑħÑĥдожник":105787,"ĠÑįлеменÑĤÑĭ":105788,"аÑĤелÑĮÑģÑĤво":105789,"ĠбÑĥквалÑĮно":105790,"ĠлабоÑĢаÑĤоÑĢ":105791,"Ġположении":105792,"ĠпоÑģледнее":105793,"ĠинÑĦоÑĢмаÑĨиÑı":105794,"ĠмаÑĤеÑĢиалов":105795,"ĠпоÑģледнего":105796,"ĠпоÑıвлÑıеÑĤÑģÑı":105797,"ĠÑĢоÑģÑģийÑģкиÑħ":105798,"миниÑģÑĤÑĢаÑĤив":105799,"ĠзаболеваниÑı":105800,"ĠоÑĢганизаÑĨий":105801,"ĠнаÑĨионалÑĮной":105802,"ĠпÑĢеÑģÑĤÑĥплениÑı":105803,"ĠпÑĢедÑģÑĤавиÑĤели":105804,"ĠÑģÑĥÑīеÑģÑĤвование":105805,"вÑĢ":105806,"дÑĮ":105807,"ÑĦÑĥ":105808,"Ñİм":105809,"Ñijж":105810,"!..":105811,"ĠÐĺо":105812,"ĠÐĽÑĮ":105813,"ĠФе":105814,"Ð¤Ð¡Ðł":105815,"бен":105816,"ваÑı":105817,"виз":105818,"гиб":105819,"гол":105820,"дÑĥÑĪ":105821,"ейÑĪ":105822,"зÑĭв":105823,"иÑħо":105824,"кÑĥл":105825,"лÑijн":105826,"мÑĥÑĤ":105827,"ноÑİ":105828,"оÑģк":105829,"Ñģоб":105830,"Ñģпе":105831,"ÑĤем":105832,"ÑĦан":105833,"ÑıÑĤÑĭ":105834,"ĠÐĴÑĭÑģ":105835,"ĠÐĶев":105836,"ĠÐļал":105837,"ĠÐļиÑĤ":105838,"ĠТим":105839,"ĠЧеÑħ":105840,"ĠаÑĢг":105841,"Ġвин":105842,"ĠжаÑĢ":105843,"ĠопÑĭ":105844,"ĠÑĢоÑĤ":105845,"ĠÑģоз":105846,"аÑĤом":105847,"аÑĤÑĮÑı":105848,"енÑģк":105849,"енÑĮе":105850,"пада":105851,"пÑĢов":105852,"ÑĢика":105853,"ÑģеÑĢв":105854,"Ñģона":105855,"ÑĤинÑĭ":105856,"ÑĦелÑĮ":105857,"ÑĩнÑĭÑħ":105858,"ÑĪиÑģÑĤ":105859,"ÑĮнÑĭÑħ":105860,"ÑıÑīий":105861,"ĠÐķгип":105862,"ĠÐĺнÑģÑĤ":105863,"ĠÐļаÑĢа":105864,"ĠÐľÐ°ÑĢи":105865,"ĠÐŁÐ¾Ð»ÑĮ":105866,"ĠÐłÐ¾ÑģÑĤ":105867,"Ġавиа":105868,"ĠмеÑĤа":105869,"ĠмÑĥдÑĢ":105870,"ĠмÑĭÑģл":105871,"ĠоÑģÑĤа":105872,"ĠпÑĤиÑĨ":105873,"ĠÑĢека":105874,"ĠÑĢеÑģÑĤ":105875,"ĠÑģÑĥÑĤи":105876,"ĠÑĤемÑĥ":105877,"ведом":105878,"кÑĥлÑĮÑĤ":105879,"лиÑĩно":105880,"оÑĩнÑĭе":105881,"оÑıÑĤно":105882,"ĠÐĴÑģего":105883,"ĠÐĵеоÑĢг":105884,"ĠÐĵоÑĢод":105885,"ĠÐĶалее":105886,"ĠÐłÐ¡Ð¤Ð¡Ðł":105887,"ĠаÑĢÑħив":105888,"ĠвеÑīей":105889,"ĠвидиÑĤ":105890,"ĠдевÑĥÑĪ":105891,"Ġзнали":105892,"ĠигÑĢал":105893,"ĠкаÑĦед":105894,"ĠкнÑıзÑı":105895,"ĠлежиÑĤ":105896,"ĠлекаÑĢ":105897,"ĠнаÑĢÑıд":105898,"ĠноваÑı":105899,"ĠопÑĭÑĤа":105900,"ĠпоиÑģк":105901,"ĠпомеÑī":105902,"Ġпопал":105903,"ĠпоÑĢÑĥÑĩ":105904,"ĠÑĢанен":105905,"ĠÑģмеÑĢÑĤ":105906,"ĠÑĥпÑĢаж":105907,"ĠÑĥÑĤÑĢом":105908,"ĠÑįÑĤими":105909,"вÑĤоÑĢÑĭÑħ":105910,"ийÑģкий":105911,"колÑĮко":105912,"ÑĥÑģÑĤиÑĤÑĮ":105913,"ĠÐijлагод":105914,"ĠÐľÐ°ÐºÑģим":105915,"ĠÐŁÐ°Ð²Ð»Ð¾Ð²":105916,"ĠбеÑģкон":105917,"Ġбиолог":105918,"Ġвидели":105919,"ĠвÑĭзван":105920,"ĠглазаÑħ":105921,"ĠгоÑĤовÑĭ":105922,"ĠгÑĢÑĥппе":105923,"ĠгÑĢÑĥппÑĥ":105924,"ĠдÑĥмаÑĤÑĮ":105925,"ĠзапиÑģи":105926,"Ġзвание":105927,"ĠкиÑģлоÑĤ":105928,"ĠлÑĥÑĩÑĪиÑħ":105929,"ĠмаÑĪина":105930,"Ġназван":105931,"ĠпаÑĢÑĤиÑı":105932,"ĠпобедÑĥ":105933,"ĠÑĢомана":105934,"ĠÑģамомÑĥ":105935,"ĠÑģилами":105936,"ĠÑģовÑĢем":105937,"ĠÑĤакими":105938,"ĠÑĥÑģпеÑħа":105939,"ĠÑĩиÑģлен":105940,"ĠÐIJмеÑĢики":105941,"ĠавиаÑĨии":105942,"ĠвÑĭÑĢажен":105943,"Ġглазами":105944,"ĠкаÑĢÑĤинÑĭ":105945,"ĠкомиÑĤеÑĤ":105946,"ĠнеÑĢедко":105947,"ĠоднаждÑĭ":105948,"ĠпеÑĢеноÑģ":105949,"ĠпоÑħоÑĢон":105950,"ĠпÑĢиблиз":105951,"ĠÑĢебенок":105952,"ĠÑģделали":105953,"ĠÑģпекÑĤак":105954,"ĠÑıвлениÑı":105955,"изиÑĢован":105956,"ÑģÑĤвеннÑĭй":105957,"ĠÐĿаиболее":105958,"ĠСевеÑĢной":105959,"ĠвÑĭÑģÑĤÑĥпал":105960,"ĠгенеÑĢала":105961,"ĠдвадÑĨаÑĤÑĮ":105962,"ĠконÑĦликÑĤ":105963,"ĠподобнÑĭÑħ":105964,"ĠподÑĢобно":105965,"Ġполовине":105966,"ĠÑĢаÑģÑĤений":105967,"ĠÑģвойÑģÑĤва":105968,"ĠÑģодеÑĢжиÑĤ":105969,"ĠÑĤÑĢадиÑĨии":105970,"Ġвозникнов":105971,"ĠизвеÑģÑĤнÑĭй":105972,"ĠкаÑĤегоÑĢии":105973,"ĠпаÑĢламенÑĤ":105974,"ĠподдеÑĢжкÑĥ":105975,"ĠпоÑıвилаÑģÑĮ":105976,"ĠпÑĢекÑĢаÑģно":105977,"ĠпÑĢогÑĢамма":105978,"ĠпÑĢодолжал":105979,"ĠÑĢаÑģпÑĢедел":105980,"ĠÑĦилоÑģоÑĦии":105981,"ĠÑĦÑĥÑĤболиÑģÑĤ":105982,"ĠвÑĭполнениÑı":105983,"ĠгÑĥбеÑĢнаÑĤоÑĢ":105984,"ĠиÑģполÑĮзÑĥÑİÑĤ":105985,"ĠнаÑħодилиÑģÑĮ":105986,"ĠÑĢеÑģпÑĥблики":105987,"ĠÑģоÑĨиалÑĮной":105988,"ĠÑĤеÑħнологии":105989,"ĠÑĥÑģÑĤановиÑĤÑĮ":105990,"ĠизобÑĢажениÑı":105991,"ĠÑģовÑĢеменнÑĭÑħ":105992,"ĠÑģоÑĤÑĢÑĥдников":105993,"ĠÑģпоÑģобноÑģÑĤÑĮ":105994,"ĠпÑĢедÑģÑĤавлÑıÑİÑĤ":105995,"ĠпÑĢоÑģÑĤÑĢанÑģÑĤво":105996,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢанен":105997,"ĠÐĴеликобÑĢиÑĤании":105998,"ĠпÑĢеимÑĥÑīеÑģÑĤвенно":105999,"ÐĵÐŀ":106000,"ÐĺТ":106001,"Со":106002,"зм":106003,"ĠÐĶÑĥ":106004,"ĠУÑĩ":106005,"ĠЧÑĥ":106006,"ĠШа":106007,"ĠÑĥÑī":106008,"ĠÑıй":106009,"ĠÑıк":106010,"акÑĥ":106011,"бÑĥÑĢ":106012,"виÑĩ":106013,"джа":106014,"дÑĢо":106015,"ене":106016,"еÑĢÑı":106017,"идÑĭ":106018,"ижÑĥ":106019,"ког":106020,"леÑģ":106021,"лÑĮп":106022,"мÑıн":106023,"над":106024,"ÑĢеÑĩ":106025,"Ñģим":106026,"Ñģке":106027,"ÑĤий":106028,"ÑĩаÑı":106029,"Ñĩел":106030,"ÑĪал":106031,"ÑĪив":106032,"ÑijÑĢÑĤ":106033,"ĠÐĴÐĴС":106034,"ĠÐĶан":106035,"ĠÐĶом":106036,"ĠÐļап":106037,"ĠÐŀлÑĮ":106038,"ĠÐłÐ°Ð´":106039,"ĠСол":106040,"ĠТоÑĤ":106041,"Ġбож":106042,"ĠбоÑİ":106043,"Ġкин":106044,"ĠоÑĤÑĤ":106045,"ĠпеÑĤ":106046,"ĠÑĤеÑĩ":106047,"ĠÑĪла":106048,"ĠÑĪли":106049,"ĠÑİно":106050,"алÑĮд":106051,"аÑĩен":106052,"вÑĢаÑĤ":106053,"еÑĢом":106054,"еÑģÑģÑĭ":106055,"ийÑģк":106056,"иÑĨий":106057,"леÑĢа":106058,"овом":106059,"омÑıн":106060,"ÑģÑĤаÑĢ":106061,"ĠÐijÑĭло":106062,"ĠÐĵÑĢÑĥз":106063,"ĠСвеÑĤ":106064,"Ġбога":106065,"ĠвидÑĭ":106066,"ĠгоÑĢÑĭ":106067,"ĠиÑİне":106068,"Ġквад":106069,"ĠмиÑĢÑĥ":106070,"ĠноÑĩи":106071,"ĠоÑģад":106072,"ĠпÑĢоз":106073,"ĠÑģÑĤаб":106074,"ĠÑģÑĤак":106075,"ĠÑĥзна":106076,"ĠÑĦоне":106077,"ĠÑıÑĢко":106078,"голов":106079,"елÑĮно":106080,"еÑĤеÑģÑĮ":106081,"иÑģÑĤоÑĢ":106082,"клÑİÑĩа":106083,"олнил":106084,"оÑĩнÑĭÑħ":106085,"полиÑĤ":106086,"ÑĢаÑĤил":106087,"ÑĢоÑĪен":106088,"ÑĨенÑĤÑĢ":106089,"ÑĩаÑģÑĤи":106090,"ĠÐŁÐµÑĤÑĢа":106091,"ĠаÑįÑĢод":106092,"ĠаÑįÑĢоп":106093,"ĠвÑĭÑĢоÑģ":106094,"ĠголÑĥб":106095,"ĠгоÑģÑĤи":106096,"Ġзнаем":106097,"Ġимела":106098,"ĠиÑģпан":106099,"ĠкнÑıзÑĮ":106100,"ĠмеÑĢÑĤв":106101,"Ġобмен":106102,"ĠоÑĨени":106103,"ĠпеÑĢеÑĩ":106104,"ĠпожаÑĢ":106105,"ĠпÑĢивл":106106,"ĠÑĢÑĥкой":106107,"ĠÑģамаÑı":106108,"ĠÑģаÑħаÑĢ":106109,"ĠÑģезон":106110,"ĠÑģÑĤоÑıл":106111,"ĠÑħвоÑģÑĤ":106112,"ĠÑĩленÑĭ":106113,"ĠÑıкобÑĭ":106114,"вейÑĨаÑĢ":106115,"еÑĢбайд":106116,"ноÑģÑĤÑıÑħ":106117,"нÑģкого":106118,"ÑģпоÑģоб":106119,"ÑħваÑĩен":106120,"ĠÐIJкадем":106121,"ĠФилипп":106122,"ĠапÑĢеле":106123,"Ġвзаимо":106124,"Ġвидимо":106125,"ĠвоÑģемÑĮ":106126,"ĠвплоÑĤÑĮ":106127,"ĠвÑĭÑħода":106128,"ĠгеÑĢман":106129,"ĠлÑİбого":106130,"ĠмеÑĤодÑĭ":106131,"ĠнепÑĢав":106132,"ĠобоÑĢоÑĤ":106133,"Ġодинак":106134,"ĠпаÑĢалл":106135,"ĠпÑĢибÑĭл":106136,"ĠÑĢÑĥками":106137,"ĠÑģкÑĥлÑĮп":106138,"ĠÑģлÑĥжиÑĤ":106139,"ĠÑģпоÑĢÑĤа":106140,"ĠÑĤекÑģÑĤа":106141,"ĠÑĤÑĢеÑĤий":106142,"ĠÑĤÑıжело":106143,"ĠÑĦоÑĢмÑĥл":106144,"ковÑģкий":106145,"ождении":106146,"ÑģÑĤÑĢойки":106147,"ÑĤелÑĮнÑĭй":106148,"ĠвеÑĩеÑĢом":106149,"ĠвладелÑĮ":106150,"ĠвозвÑĢаÑĤ":106151,"ĠзаговоÑĢ":106152,"ĠкавалеÑĢ":106153,"ĠмеÑģÑĤнÑĭÑħ":106154,"ĠминимÑĥм":106155,"ĠмÑĥжÑĩинÑĭ":106156,"ĠназваÑĤÑĮ":106157,"ĠнаÑĥÑĩнÑĭÑħ":106158,"Ġникакой":106159,"ĠокÑĤÑıбÑĢе":106160,"ĠпоÑģÑĤÑĢад":106161,"ĠпÑĢедваÑĢ":106162,"ĠпÑĢеÑģлед":106163,"ĠпÑĢиÑĢоде":106164,"ĠÑģвойÑģÑĤв":106165,"ĠÑĥÑĩаÑģÑĤиÑı":106166,"демокÑĢаÑĤ":106167,"ĠбÑĥдÑĥÑīего":106168,"ĠвеÑīеÑģÑĤва":106169,"ĠвклÑİÑĩаеÑĤ":106170,"ĠдоговоÑĢа":106171,"ĠзанимаеÑĤ":106172,"ĠинÑĤеÑĢвÑĮÑİ":106173,"ĠконÑĦеÑĢен":106174,"ĠнаÑĩалаÑģÑĮ":106175,"ĠоÑĤмеÑĤиÑĤÑĮ":106176,"ĠпаÑĢÑĤизан":106177,"ĠпеÑĢедаÑĩи":106178,"ĠпиÑģаÑĤелÑı":106179,"Ġпознаком":106180,"ĠÑģиÑĤÑĥаÑĨиÑİ":106181,"ĠвеÑĢнÑĥÑĤÑĮÑģÑı":106182,"ĠдокÑĥменÑĤÑĭ":106183,"ĠобнаÑĢÑĥжил":106184,"ĠоÑĢганизма":106185,"ĠпÑĢовинÑĨии":106186,"ĠпÑĢодÑĥкÑĤов":106187,"ĠпÑĢодÑĥкÑĨии":106188,"ĠÑĢегÑĥлÑıÑĢно":106189,"ĠÑģамолеÑĤов":106190,"ĠÑģоÑĨиалÑĮно":106191,"ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢÑĭ":106192,"ĠÑĤÑĢебÑĥеÑĤÑģÑı":106193,"ĠÐľÐµÐ¶Ð´ÑĥнаÑĢод":106194,"ĠÐĿиколаевиÑĩ":106195,"ĠвÑģледÑģÑĤвие":106196,"ĠдокÑĥменÑĤов":106197,"ĠлиÑĤеÑĢаÑĤÑĥÑĢе":106198,"ĠÑģобÑģÑĤвенно":106199,"ĠпÑĢедложение":106200,"ĠпÑĢедложениÑı":106201,"ĠпÑĢинадлежиÑĤ":106202,"ĠÑĢÑĥководÑģÑĤво":106203,"ĠпÑĢоÑģÑĤÑĢанÑģÑĤва":106204,"ÐļÐŀ":106205,"ÐĿÐļ":106206,"дÑĨ":106207,"нÑģ":106208,"оÑħ":106209,"Ñijд":106210,"ÑijÑģ":106211,"ĠÐļл":106212,"ĠФа":106213,"ĠÑģÑĨ":106214,"важ":106215,"деÑı":106216,"дол":106217,"ево":106218,"ибо":106219,"оÑĤо":106220,"оÑĩе":106221,"пиÑĪ":106222,"пÑıÑĤ":106223,"ÑĢиб":106224,"Ñģан":106225,"ÑģоÑĤ":106226,"ÑĤиÑĢ":106227,"Ñħож":106228,"ÑĨеÑĢ":106229,"ÑĪек":106230,"ĠÐĵде":106231,"ĠÐĸан":106232,"ĠÐļиÑĢ":106233,"ĠÐ¡Ð¡Ðł":106234,"ĠСал":106235,"ĠТоÑĢ":106236,"Ġвиз":106237,"Ġпен":106238,"ĠÑģал":106239,"ĠÑĤаб":106240,"ĠÑĤÑĢе":106241,"ĠÑĥма":106242,"ĠÑĦеÑĢ":106243,"ĠÑĦоÑĢ":106244,"ÐļÑĢаÑģ":106245,"аеÑĪÑĮ":106246,"амеÑĢ":106247,"даеÑĤ":106248,"далÑĮ":106249,"иÑĢÑĥÑģ":106250,"иÑĤал":106251,"иÑĤов":106252,"лиÑĤÑĮ":106253,"мелÑĮ":106254,"меÑĩа":106255,"мина":106256,"ннаÑı":106257,"олÑĮÑĦ":106258,"онÑĤÑĢ":106259,"оÑĩкÑĥ":106260,"пÑģиÑħ":106261,"ÑĢиÑĨа":106262,"Ñģлам":106263,"ÑģÑĩиÑĤ":106264,"ÑģÑĭла":106265,"ÑĤенÑģ":106266,"ÑĤика":106267,"ÑĥÑĤин":106268,"ÑĩеÑĢа":106269,"ÑĮнÑĥÑİ":106270,"ĠÐĹнаÑĩ":106271,"ĠÐŁÐ°ÑĢи":106272,"ĠСоÑİз":106273,"ĠСÑĤеп":106274,"ĠгоÑĢд":106275,"ĠдобÑĭ":106276,"ĠзвÑĥк":106277,"ĠигÑĢÑĥ":106278,"ĠиÑİле":106279,"ĠкÑĢÑĥж":106280,"ĠлиÑĨе":106281,"Ġмимо":106282,"ĠнаÑĪÑĥ":106283,"ĠобиÑĤ":106284,"ĠплоÑħ":106285,"ĠÑģвод":106286,"ĠÑģеми":106287,"ĠÑģеÑĢи":106288,"ĠÑĤеÑĢп":106289,"ĠÑĥваж":106290,"ĠÑĦина":106291,"адÑĨаÑĤ":106292,"анией":106293,"иганÑĤ":106294,"ложен":106295,"олнен":106296,"онÑĩил":106297,"пÑĥÑīен":106298,"ÑģмаÑĤÑĢ":106299,"ÑģÑĤÑĢеÑĩ":106300,"ĠÐĺндии":106301,"ĠÐļазаÑħ":106302,"ĠÐľÐ½Ð¾Ð³Ð¾":106303,"ĠакÑĤÑijÑĢ":106304,"Ġанали":106305,"ĠбÑĥÑĢжÑĥ":106306,"Ġвеков":106307,"ĠвÑĭйÑĤи":106308,"ĠгеÑĢой":106309,"Ġдомов":106310,"ĠживеÑĤ":106311,"Ġзакан":106312,"ĠзамÑĥж":106313,"Ġизбеж":106314,"ĠлиÑĨом":106315,"ĠлÑİбиÑĤ":106316,"ĠмÑĥзей":106317,"ĠнаÑĪел":106318,"Ġнепод":106319,"ĠоÑģобо":106320,"ĠоÑģозн":106321,"ĠоÑģÑĤан":106322,"ĠоÑģÑĤаÑĤ":106323,"ĠполеÑĤ":106324,"ĠпÑĢоиг":106325,"ĠÑĢÑĭнка":106326,"ĠÑĢÑĭнке":106327,"ĠÑģамим":106328,"ĠÑģквоз":106329,"ĠÑģобоÑĢ":106330,"ĠÑģоÑĤни":106331,"ĠÑģÑĤенÑĭ":106332,"ĠÑĤÑĢидÑĨ":106333,"ĠÑįÑĤапе":106334,"еÑģпонд":106335,"ивÑĪего":106336,"нÑĥлиÑģÑĮ":106337,"ÑģовеÑĢÑĪ":106338,"ÑĥлÑĮман":106339,"ĠÐŁÐ°ÑĢиже":106340,"ĠÐŁÐ¾ÑĤомÑĥ":106341,"ĠаÑģпекÑĤ":106342,"Ġблизко":106343,"Ġбоевой":106344,"ĠбÑĭвÑĪий":106345,"ĠдÑĢÑĥгаÑı":106346,"ĠевÑĢеев":106347,"ĠзакÑĢеп":106348,"Ġиздели":106349,"ĠколÑħоз":106350,"ĠкоÑĢолÑĮ":106351,"ĠноÑıбÑĢе":106352,"ĠопиÑģан":106353,"ĠоÑĤкÑĢÑĭл":106354,"ĠпобедÑĭ":106355,"Ġподлин":106356,"ĠпоÑħоже":106357,"ĠпÑĢевоÑģ":106358,"ĠпÑĢевÑĭÑĪ":106359,"ĠпÑĢивеÑĤ":106360,"ĠпÑĢокÑĥÑĢ":106361,"ĠÑĢемонÑĤ":106362,"ĠÑģвÑıÑīен":106363,"ĠÑģлавÑıн":106364,"ĠÑģложно":106365,"ĠÑģÑĭгÑĢал":106366,"ĠÑĥкÑĢаин":106367,"ĠÑĦилÑĮме":106368,"вÑĪегоÑģÑı":106369,"ийÑģкого":106370,"ложение":106371,"ноÑģÑĤÑĢан":106372,"ованием":106373,"оÑĢганиз":106374,"ĠÐĺÑģÑĤоÑĢиÑı":106375,"ĠУкÑĢаине":106376,"Ġанализа":106377,"ĠвоеннÑĭе":106378,"ĠвÑģÑĤÑĥпил":106379,"ĠвÑĭпÑĥÑīен":106380,"ĠглавнÑĭÑħ":106381,"ĠглÑĥбоко":106382,"ĠдеÑĢевÑıн":106383,"ĠзаÑĢанее":106384,"ĠконÑĤакÑĤ":106385,"ĠкоÑĢаблÑĮ":106386,"ĠмолодÑĭÑħ":106387,"ĠмÑĥжÑĩина":106388,"ĠналиÑĩие":106389,"ĠобоÑģнов":106390,"ĠобÑĥÑģлов":106391,"ĠоÑģвобод":106392,"ĠоÑģÑĤавил":106393,"Ġподобно":106394,"ĠпонÑıÑĤие":106395,"ĠпонÑıÑĤно":106396,"ĠпопÑĭÑĤки":106397,"ĠпÑĢимеÑĢÑĥ":106398,"ĠпÑĢоÑĤиво":106399,"ĠпÑĭÑĤалÑģÑı":106400,"ĠÑģÑĤаÑĤиÑģÑĤ":106401,"ĠÑĤоваÑĢов":106402,"ĠÑĦевÑĢале":106403,"ĠÑįкÑģпеÑĢÑĤ":106404,"видимомÑĥ":106405,"ĠÐĺнÑģÑĤиÑĤÑĥÑĤ":106406,"ĠвопÑĢоÑģам":106407,"ĠгоÑĢизонÑĤ":106408,"ĠдобавиÑĤÑĮ":106409,"ĠизмениÑĤÑĮ":106410,"ĠконÑĤÑĢолÑı":106411,"ĠкоÑĢаблей":106412,"ĠмеÑħанизм":106413,"ĠминиÑģÑĤеÑĢ":106414,"ĠобладаеÑĤ":106415,"ĠопеÑĢаÑĤоÑĢ":106416,"ĠопиÑģание":106417,"ĠоÑĢганизм":106418,"ĠпоказаÑĤÑĮ":106419,"ĠпÑĢинимал":106420,"ĠпÑĢиÑħодиÑĤ":106421,"ĠÑĢабоÑĤаÑİÑĤ":106422,"ĠÑģоздании":106423,"ĠÑģознание":106424,"ĠÑĩаÑģÑĤиÑĩно":106425,"иÑĤелÑĮного":106426,"ĠавÑĤоÑĢиÑĤеÑĤ":106427,"ĠиÑģкÑĥÑģÑģÑĤво":106428,"ĠкаÑĤаÑģÑĤÑĢоÑĦ":106429,"ĠобÑĬÑıÑģниÑĤÑĮ":106430,"ĠоÑĤделÑĮнÑĭе":106431,"ĠпÑĢоÑĨеÑģÑģов":106432,"ĠÑĢодиÑĤелей":106433,"ĠÑģообÑīение":106434,"иÑĤелÑĮноÑģÑĤÑĮ":106435,"ĠгоÑĢодÑģкого":106436,"ĠиÑģполÑĮзÑĥем":106437,"ĠоÑĤлиÑĩаеÑĤÑģÑı":106438,"ĠпÑĢиложениÑı":106439,"ĠÑĢазÑĢабоÑĤки":106440,"ĠÑģÑĤановÑıÑĤÑģÑı":106441,"ĠÑĥÑģÑĤанавлив":106442,"ĠзамеÑģÑĤиÑĤелÑĮ":106443,"ĠпоÑģледÑģÑĤвиÑı":106444,"ĠÑģпоÑģобноÑģÑĤи":106445,"ĠÑģÑĥÑīеÑģÑĤвенно":106446,"ĠиÑģполÑĮзÑĥÑİÑĤÑģÑı":106447,"ĠнедоÑģÑĤаÑĤоÑĩно":106448,"ĠполиÑĤиÑĩеÑģкиÑħ":106449,"ĠнеобÑħодимоÑģÑĤÑĮ":106450,"ĠпÑĢоиÑģÑħождениÑı":106451,"ĠгоÑģÑĥдаÑĢÑģÑĤвеннÑĭй":106452,"ĠгоÑģÑĥдаÑĢÑģÑĤвеннÑĭÑħ":106453,"ÐIJÐĽ":106454,"ÐĴо":106455,"ÐķÐĽ":106456,"ÐĽÐIJ":106457,"ÐĿÐIJ":106458,"ÐłÐķ":106459,"Ñĩк":106460,"ÑĪн":106461,"ĠÐĶÑį":106462,"ĠÐŁÐµ":106463,"ĠÐ¡ÐŁ":106464,"бÑĭл":106465,"вай":106466,"вÑģе":106467,"див":106468,"инк":106469,"кÑĥÑĤ":106470,"лÑıн":106471,"мил":106472,"ÑĢÑĥн":106473,"Ñģил":106474,"ÑĥзÑĭ":106475,"Ñĥнг":106476,"ÑĨиÑĤ":106477,"ÑįлÑĮ":106478,"ÑįÑĦÑĦ":106479,"ĠÐľÐ°Ð³":106480,"ĠÐľÑĥз":106481,"ĠÐĿаÑĪ":106482,"ĠÐĿиж":106483,"ĠÐŁÐ°Ð»":106484,"ĠÐŁÐ¾Ð·":106485,"ĠÐ¡ÐľÐĺ":106486,"Ġбак":106487,"ĠвÑĢа":106488,"ĠдвÑĥ":106489,"ĠдеÑĢ":106490,"Ġдов":106491,"Ġими":106492,"ĠкÑĢи":106493,"ĠмоÑİ":106494,"ĠÑģме":106495,"ĠÑĩай":106496,"ĠÑįми":106497,"ажен":106498,"аÑģÑĤÑĮ":106499,"блок":106500,"волÑĮ":106501,"денÑĤ":106502,"еÑĢин":106503,"имÑģÑı":106504,"иÑĢÑĥÑı":106505,"иÑĤив":106506,"овеÑĤ":106507,"оÑħод":106508,"план":106509,"пÑĢоÑī":106510,"ÑĢаÑģÑģ":106511,"ÑĢÑĥеÑĤ":106512,"ÑģелÑĮ":106513,"ÑĤÑĢан":106514,"ÑĨикл":106515,"ÑĪина":106516,"ÑĭÑĩно":106517,"ĠÐļÑĢÑĭм":106518,"ĠÐĽÑİди":106519,"ĠÐŁÐ¾ÑģÑĤ":106520,"ĠСÑĤан":106521,"ĠСÑĤÑĢа":106522,"ĠТÑĢÑĥд":106523,"ĠЧаÑģÑĤ":106524,"ĠЧлен":106525,"ĠваÑĪи":106526,"ĠглÑĥп":106527,"ĠгÑĢеÑħ":106528,"ĠгÑĢÑıз":106529,"ĠдаÑİÑĤ":106530,"ĠженÑĭ":106531,"ĠзÑĢиÑĤ":106532,"ĠигÑĢе":106533,"Ġмеди":106534,"ĠогнÑı":106535,"Ġокна":106536,"ĠопоÑĢ":106537,"ĠÑģмен":106538,"ĠÑĥгол":106539,"ĠÑĥдаÑĩ":106540,"ĠÑĥлÑĭб":106541,"ĠÑĥÑĤоÑĩ":106542,"ĠÑħÑĥже":106543,"веÑĢÑģÑĤ":106544,"еÑĢиал":106545,"ивали":106546,"имиÑĢа":106547,"леÑĤел":106548,"леÑĤиÑı":106549,"олÑĮÑģк":106550,"оÑģÑģиÑı":106551,"ÑĢезан":106552,"ÑģÑĤÑıми":106553,"ÑĮного":106554,"ÑįлекÑĤ":106555,"ĠÐIJÑĢмии":106556,"ĠÐľÐ°ÑĢиÑı":106557,"ĠÐłÐ¾Ð¼Ð°Ð½":106558,"ĠХоÑĢоÑĪ":106559,"ĠЮжной":106560,"ĠаÑĢмиÑİ":106561,"ĠбаÑĤаÑĢ":106562,"ĠбеÑģед":106563,"ĠбÑĢаÑĤа":106564,"ĠваÑĪей":106565,"ĠведеÑĤ":106566,"Ġвинов":106567,"Ġвозле":106568,"ĠвÑĢага":106569,"ĠгидÑĢо":106570,"Ġденеж":106571,"ĠдÑĥмал":106572,"ĠзадÑĥм":106573,"ĠзапаÑħ":106574,"ĠзаÑĩем":106575,"ĠзнаÑİÑĤ":106576,"Ġкаком":106577,"ĠлеÑĤом":106578,"ĠлиÑĪен":106579,"ĠлÑİбом":106580,"ĠмаÑģÑģÑĭ":106581,"ĠнаÑĤÑĥÑĢ":106582,"ĠнаÑĪли":106583,"ĠобоиÑħ":106584,"ĠозеÑĢа":106585,"ĠоккÑĥп":106586,"Ġплане":106587,"ĠпонÑıÑĤ":106588,"ĠпоÑĪел":106589,"ĠÑģвеÑĤе":106590,"ĠÑĤвеÑĢд":106591,"аÑĨионн":106592,"иÑĢовки":106593,"мÑĭÑĪлен":106594,"оÑĩного":106595,"ÑĢажден":106596,"Ñįконом":106597,"ÑİÑīейÑģÑı":106598,"ĠÐĵоÑģпод":106599,"ĠÐŁÐµÑĢваÑı":106600,"ĠÐŁÐ¾Ð¼Ð¸Ð¼Ð¾":106601,"ĠÐŁÑĥÑĪкин":106602,"Ġголове":106603,"ĠдиÑģÑĨип":106604,"ĠдоÑĩеÑĢи":106605,"ĠжиÑĤели":106606,"ĠзаÑģлÑĥж":106607,"Ġизмени":106608,"ĠмаÑĪинÑĥ":106609,"ĠоÑĢганÑĭ":106610,"ĠпокÑĢов":106611,"ĠпоÑĤеÑĢи":106612,"ĠпÑĢемии":106613,"ĠпÑĢепÑıÑĤ":106614,"ĠпÑĢивÑĭк":106615,"ĠпÑĢинÑıÑĤ":106616,"ĠÑģмогли":106617,"ĠÑģоздав":106618,"ĠÑģÑĤÑĢанÑĥ":106619,"ĠÑĥпомÑıн":106620,"ĠÑĥÑģÑĤÑĢан":106621,"ĠÑħоÑĤели":106622,"ĠÑĩиÑĤаÑĤÑĮ":106623,"огÑĢаÑĦии":106624,"ÑĤелÑĮнÑĭе":106625,"ĠÐĴаÑģилий":106626,"ĠÐĺÑģпании":106627,"ĠСÑĤалина":106628,"ĠСÑĥÑīеÑģÑĤв":106629,"ĠЧемпион":106630,"ĠбÑĥдÑĥÑīее":106631,"ĠбÑĭÑģÑĤÑĢее":106632,"ĠвÑĭÑħодиÑĤ":106633,"Ġглавной":106634,"Ġголовой":106635,"ĠдевÑĥÑĪка":106636,"ĠкаÑĢÑĤина":106637,"ĠквадÑĢаÑĤ":106638,"ĠнаÑĩинаÑı":106639,"Ġнеизбеж":106640,"ĠобÑĬÑıвил":106641,"ĠоÑĢигина":106642,"ĠпиÑĤаниÑı":106643,"ĠповоÑĢоÑĤ":106644,"Ġпоказал":106645,"ĠпÑĢеÑģÑĤол":106646,"ĠпÑĢизнан":106647,"ĠпÑĢинÑıли":106648,"ĠпÑĢодÑĥкÑĤ":106649,"ĠпÑĢоÑģÑĤой":106650,"ĠÑģвÑıзанÑĭ":106651,"ĠÑħоÑĩеÑĤÑģÑı":106652,"ÑĤиÑĩеÑģкой":106653,"ĠÐŁÑĢедÑģÑĤав":106654,"Ġвнезапно":106655,"ĠвойÑģками":106656,"ĠвÑĭглÑıдиÑĤ":106657,"ĠдобиÑĤÑĮÑģÑı":106658,"Ġкомпаний":106659,"ĠминиÑģÑĤÑĢа":106660,"ĠнаÑĩалоÑģÑĮ":106661,"ĠнаÑĩинаÑİÑĤ":106662,"ĠобÑĬÑıвлен":106663,"ĠпамÑıÑĤник":106664,"ĠподобнÑĭе":106665,"ĠподÑĤвеÑĢд":106666,"ĠпоÑģÑĤÑĥпил":106667,"ĠпÑĢакÑĤике":106668,"ĠпÑĢиÑĩиной":106669,"ĠÑĢаÑģпоÑĢÑıж":106670,"ĠÑģмоÑĤÑĢеÑĤÑĮ":106671,"ĠÑģовеÑĢÑĪен":106672,"ĠÑģообÑīили":106673,"еÑģпонденÑĤ":106674,"ÑĤиÑĩеÑģкого":106675,"ĠÐĴладимиÑĢа":106676,"ĠаÑĢеÑģÑĤован":106677,"ĠзанималÑģÑı":106678,"ĠкомандиÑĢа":106679,"ĠмаÑĤеÑĢиала":106680,"ĠнаÑĢÑĥÑĪениÑı":106681,"ĠоÑĤделениÑı":106682,"ĠподдеÑĢжки":106683,"Ġполковник":106684,"ĠпоÑģледней":106685,"ĠпоÑģÑĤавиÑĤÑĮ":106686,"ĠпÑĢавлениÑı":106687,"ĠÑģледÑĥÑİÑīем":106688,"ĠÑĥÑģÑĤановки":106689,"ĠÐľÐ¾ÑģковÑģкой":106690,"ĠимпеÑĢаÑĤоÑĢа":106691,"ĠобеÑģпеÑĩиÑĤÑĮ":106692,"ĠоÑĤпÑĢавилÑģÑı":106693,"ĠпÑĢедÑĥÑģмоÑĤÑĢ":106694,"ĠÑģÑĥÑīеÑģÑĤвÑĥÑİÑĤ":106695,"ĠболÑĮÑĪинÑģÑĤва":106696,"ĠболÑĮÑĪинÑģÑĤве":106697,"ĠиÑģклÑİÑĩением":106698,"ĠопÑĥбликован":106699,"ĠамеÑĢиканÑģкий":106700,"ĠжелезнодоÑĢож":106701,"ĠпÑĢедназнаÑĩен":106702,"ĠпÑĢедÑģедаÑĤелÑĮ":106703,"ĠоÑĤвеÑĤÑģÑĤвенноÑģÑĤÑĮ":106704,"Ðĺз":106705,"мм":106706,"ÑĢÑħ":106707,"Ñħл":106708,"ÑĨк":106709,"ĠÐijе":106710,"ĠÐijÑĢ":106711,"ĠÐĴп":106712,"ĠШÑĥ":106713,"ĠÐŃл":106714,"Ġил":106715,"ĠÑĤи":106716,"ÐłÑĥÑģ":106717,"ÐŃÑĤо":106718,"авÑĤ":106719,"боÑĤ":106720,"бÑĢи":106721,"жил":106722,"зиÑı":106723,"иан":106724,"игÑĢ":106725,"иÑģÑı":106726,"иÑĤÑĢ":106727,"кад":106728,"лиÑģ":106729,"лÑıÑĤ":106730,"наÑĢ":106731,"олл":106732,"пав":106733,"пев":106734,"Ñģев":106735,"ÑģкÑĥ":106736,"Ñĥне":106737,"ÑĦиÑĨ":106738,"ÑħÑĥд":106739,"ĠÐĴан":106740,"ĠÐĴоп":106741,"ĠÐĴоÑģ":106742,"ĠÐļÑĥз":106743,"ĠÐĿам":106744,"ĠÐĿем":106745,"ĠФил":106746,"ĠФин":106747,"ĠбÑĢа":106748,"Ġваг":106749,"Ġкип":106750,"Ġкое":106751,"Ġлик":106752,"Ġлов":106753,"Ġнег":106754,"Ġожи":106755,"ĠпÑĥб":106756,"ĠÑĤен":106757,"азаÑĢ":106758,"анÑĤÑĭ":106759,"били":106760,"гÑĢаÑĦ":106761,"двиг":106762,"едии":106763,"еÑĢÑĪи":106764,"еÑģли":106765,"инга":106766,"иÑıми":106767,"ково":106768,"коло":106769,"леÑĤа":106770,"линг":106771,"менÑı":106772,"меÑĤÑĢ":106773,"пиÑģÑĮ":106774,"пÑĢаÑĪ":106775,"ÑĢади":106776,"ÑĢÑıда":106777,"ÑģпоÑĢ":106778,"ÑģÑĤÑĢÑĥ":106779,"ÑĤека":106780,"ÑĤеÑĢн":106781,"ÑĥйÑĤе":106782,"Ñıзан":106783,"ĠÐĶжоÑĢ":106784,"ĠÐĶоÑģÑĤ":106785,"ĠÐłÐ°Ð·Ð²":106786,"ĠЯков":106787,"Ġбанд":106788,"Ġбанк":106789,"Ġбого":106790,"Ġболи":106791,"ĠбоÑĢÑĤ":106792,"ĠвиÑĨе":106793,"ĠвоÑģÑħ":106794,"ĠгоÑĢе":106795,"Ġдали":106796,"ĠдÑĥÑĪе":106797,"ĠиллÑİ":106798,"ĠлеÑģа":106799,"ĠмÑĥжа":106800,"Ġобез":106801,"ĠобÑīе":106802,"Ġодни":106803,"ĠпиÑĤа":106804,"ĠплеÑĩ":106805,"ĠÑĢеке":106806,"ĠÑĢиÑģк":106807,"ĠÑģлез":106808,"ĠÑģолÑĮ":106809,"ĠÑģÑĩÑijÑĤ":106810,"ĠÑĤÑĢÑĥп":106811,"ĠÑĥÑĢок":106812,"ĠÑĦÑĥнд":106813,"ĠÑĨаÑĢÑĮ":106814,"ĠÑĪвед":106815,"ÐĹолоÑĤ":106816,"акÑĤив":106817,"андал":106818,"веÑĢен":106819,"еÑģанÑĤ":106820,"еÑĩной":106821,"еÑĪÑĮÑģÑı":106822,"иÑĤеÑĤе":106823,"ополÑĮ":106824,"ÑĢавни":106825,"Ñģелен":106826,"ÑįнеÑĢг":106827,"ĠÐĴоÑĢон":106828,"ĠÐļиÑĤай":106829,"ĠÐļÑĥбка":106830,"ĠÐŁÐ°Ð²ÐµÐ»":106831,"ĠТакие":106832,"Ġбанка":106833,"Ġближе":106834,"Ġголод":106835,"Ġделал":106836,"Ġизбав":106837,"Ġколеб":106838,"ĠкÑĢовÑĮ":106839,"ĠлиниÑı":106840,"ĠмаÑģÑģа":106841,"Ġмгнов":106842,"Ġнакоп":106843,"ĠоÑħваÑĤ":106844,"ĠпакеÑĤ":106845,"ĠÑģвÑĭÑĪе":106846,"ĠÑģозда":106847,"ĠÑģопеÑĢ":106848,"ĠÑģÑĤиле":106849,"ĠÑģÑĥдов":106850,"ĠÑĥезда":106851,"ĠÑĥÑģÑĤÑĢа":106852,"ĠÑĦанÑĤа":106853,"ĠÑħоÑĤÑıÑĤ":106854,"ĠÑĨелÑĭй":106855,"ĠÑĨелÑıÑħ":106856,"ковник":106857,"ÑĨионал":106858,"ĠÐĵиÑĤлеÑĢ":106859,"ĠÐļавказ":106860,"ĠанглиÑĩ":106861,"ĠваÑĪего":106862,"ĠвеÑĢÑģиÑı":106863,"ĠвÑĭÑģоÑĤе":106864,"ĠгÑĢамоÑĤ":106865,"ĠгÑĢÑĥзов":106866,"ĠдиÑģÑĤан":106867,"ĠдоÑĢогÑĥ":106868,"ĠдÑĢамаÑĤ":106869,"ĠжеÑģÑĤок":106870,"ĠжизнÑĮÑİ":106871,"ĠигÑĢаеÑĤ":106872,"ĠконÑĤек":106873,"ĠкÑĢаÑģно":106874,"Ġликвид":106875,"ĠнагÑĢÑĥз":106876,"ĠпиÑģÑĮме":106877,"ĠпÑĢавом":106878,"ĠÑĢеÑĪиÑĤÑĮ":106879,"ĠÑĤенден":106880,"ĠÑĥÑģилиÑı":106881,"ĠÑĦинанÑģ":106882,"ĠÑħоÑĤиÑĤе":106883,"ĠÑįкипаж":106884,"еленной":106885,"иваÑİÑĤÑģÑı":106886,"ĠÐijелоÑĢÑĥÑģ":106887,"ĠÐļоÑĢолев":106888,"ĠÐĿиколаÑı":106889,"ĠСнаÑĩала":106890,"ĠавÑĤобÑĥÑģ":106891,"ĠвоÑģкÑĢеÑģ":106892,"ĠизобÑĢеÑĤ":106893,"ĠкапиÑĤал":106894,"ĠкÑĢÑĥпнÑĭе":106895,"ĠмалÑĮÑĩик":106896,"ĠнапиÑģан":106897,"ĠоÑĤкÑĢÑĭÑĤо":106898,"ĠпеÑĢевоз":106899,"ĠпÑĢеодол":106900,"ĠпÑĢизван":106901,"ĠпÑĢиÑĩинÑĭ":106902,"ĠÑĢеÑĪений":106903,"ĠÑģамолÑijÑĤ":106904,"ĠÑģÑĢедней":106905,"ĠÑģÑĢеднем":106906,"ĠÑģÑĤепенÑĮ":106907,"амеÑĢикан":106908,"ÑĢабаÑĤÑĭва":106909,"ÑĩиваеÑĤÑģÑı":106910,"ĠаÑĢгÑĥменÑĤ":106911,"ĠиÑģкÑĥÑģÑģÑĤв":106912,"ĠнапÑĢоÑĤив":106913,"ĠопеÑĢаÑĨий":106914,"ĠопеÑĢаÑĨиÑı":106915,"ĠоÑģÑĤалиÑģÑĮ":106916,"ĠоÑĦиÑĨеÑĢов":106917,"ĠпаÑģÑģажиÑĢ":106918,"ĠпонимаеÑĤ":106919,"ĠпоÑĩÑĥвÑģÑĤв":106920,"ĠпÑĢеделаÑħ":106921,"ĠпÑĢиказал":106922,"ĠпÑĭÑĤаеÑĤÑģÑı":106923,"ĠÑĢазвиÑĤии":106924,"ĠÑĢаÑģÑĤениÑı":106925,"ĠÑĢедакÑĤоÑĢ":106926,"ĠÑģовеÑĢÑĪил":106927,"ĠÑģпоÑģобом":106928,"ĠÑģÑĩаÑģÑĤлив":106929,"ĠÐijлагодаÑĢÑı":106930,"ĠвÑĭполнÑıÑĤÑĮ":106931,"ĠизвеÑģÑĤнÑĭÑħ":106932,"Ġизменений":106933,"ĠинÑĤеÑĢеÑģно":106934,"ĠиÑģпÑĭÑĤаниÑı":106935,"ĠмаÑĤеÑĢиалÑĭ":106936,"ĠмÑĥÑģÑĥлÑĮман":106937,"ĠоÑģÑĤалÑĮнÑĭÑħ":106938,"ĠпоколениÑı":106939,"ĠпоÑĢажение":106940,"ĠпÑĢинимаеÑĤ":106941,"ĠпÑĢоÑĨенÑĤов":106942,"ĠÑģвÑıзаннÑĭе":106943,"ĠÑģлÑĥÑĩилоÑģÑĮ":106944,"ĠÑģпоÑģобÑģÑĤв":106945,"ĠÑģÑĤоимоÑģÑĤÑĮ":106946,"ĠÑĦÑĥндаменÑĤ":106947,"ĠнаблÑİдениÑı":106948,"ĠпоÑģмоÑĤÑĢеÑĤÑĮ":106949,"ĠÑĢаÑģÑģÑĤоÑıнии":106950,"ĠÑĢеалÑĮноÑģÑĤи":106951,"ĠÑģоÑĨиалÑĮнÑĭÑħ":106952,"ĠÑĥÑĩÑĢеждениÑı":106953,"ĠÑįмоÑĨионалÑĮ":106954,"ĠдейÑģÑĤвоваÑĤÑĮ":106955,"ĠмакÑģималÑĮно":106956,"ĠнапÑĢавление":106957,"ĠопÑĢеделениÑı":106958,"ĠÑĢезÑĥлÑĮÑĤаÑĤов":106959,"ĠнеоднокÑĢаÑĤно":106960,"ĠпÑĢоизведений":106961,"ĠпÑĢоÑģÑĤÑĢанÑģÑĤве":106962,"ĠÑģовÑĢеменного":106963,"ĠÑĥнивеÑĢÑģиÑĤеÑĤе":106964,"ĠÑĩеловеÑĩеÑģÑĤва":106965,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥеÑĤ":106966,"ĠÑĩеловеÑĩеÑģкого":106967,"Ðļа":106968,"ÐłÐĺ":106969,"еи":106970,"лÑij":106971,"пÑģ":106972,"ÑĦÑĢ":106973,"Ñİк":106974,"ĠÐIJй":106975,"ĠÐŁÐ¸":106976,"ĠвÑĬ":106977,"ĠеÑİ":106978,"бÑĥк":106979,"вил":106980,"воÑģ":106981,"евÑĢ":106982,"жиÑĤ":106983,"заÑĢ":106984,"иаÑĤ":106985,"иев":106986,"иÑĩÑĮ":106987,"киÑĢ":106988,"лаб":106989,"лÑĥн":106990,"мой":106991,"оÑĩи":106992,"пин":106993,"поÑģ":106994,"ÑĢим":106995,"Ñĩек":106996,"ÑĩкÑĥ":106997,"Ñīее":106998,"ÑīÑĥÑİ":106999,"ÑĮеÑĤ":107000,"ĠÐĴин":107001,"ĠÐĶаÑĢ":107002,"ĠÐĶжа":107003,"ĠÐĶжо":107004,"ĠÐĺиÑģ":107005,"ĠÐļаÑģ":107006,"ĠÐļеÑĢ":107007,"ĠСев":107008,"ĠФеÑĢ":107009,"ĠЦаÑĢ":107010,"Ġбио":107011,"ĠдÑĥб":107012,"Ġзел":107013,"Ġзон":107014,"ĠмÑıÑĩ":107015,"ĠÑģей":107016,"ĠÑģоÑĩ":107017,"ĠÑĦаз":107018,"аÑĢиÑı":107019,"белÑĮ":107020,"биÑĤÑĭ":107021,"биÑīе":107022,"бÑĢаÑģ":107023,"веÑīа":107024,"вода":107025,"вÑĢаÑī":107026,"ежде":107027,"емой":107028,"ениÑĤ":107029,"еÑģед":107030,"еÑĤиÑı":107031,"еÑĪен":107032,"идоÑĢ":107033,"иÑģÑĤа":107034,"иÑĤан":107035,"кÑĥÑĢÑģ":107036,"лиÑĨа":107037,"лÑıнд":107038,"наÑģÑĤ":107039,"нике":107040,"нима":107041,"овка":107042,"оген":107043,"оÑĤип":107044,"пÑĢÑıм":107045,"ÑģвеÑĤ":107046,"ÑģеÑĢд":107047,"ÑĤеле":107048,"ÑĤона":107049,"ÑĥÑģов":107050,"ÑĩаÑĤÑĮ":107051,"ÑĪиÑĤÑĮ":107052,"ÑĭваÑİ":107053,"ĠÐļоÑģÑĤ":107054,"ĠÐŀлег":107055,"ĠСамо":107056,"ĠЮÑĢий":107057,"Ġдвое":107058,"ĠдобÑĢ":107059,"ĠидÑĥÑĤ":107060,"ĠкÑĢик":107061,"Ġмили":107062,"Ġнаде":107063,"Ġнебо":107064,"Ġпозн":107065,"Ġполи":107066,"ĠÑģеÑĤÑĮ":107067,"ĠÑģниз":107068,"ĠÑģÑĥÑĤÑĮ":107069,"ĠÑĦлаг":107070,"ажива":107071,"аÑĢаÑĤа":107072,"емого":107073,"еÑħали":107074,"иÑĩнÑĭй":107075,"неÑģÑĤи":107076,"оÑģÑĤей":107077,"подоб":107078,"Ñģегда":107079,"ÑģÑĤÑĢад":107080,"ÑĪÑĤейн":107081,"Ñīение":107082,"ÑıÑİÑĤÑģÑı":107083,"ĠÐĺмпеÑĢ":107084,"ĠÐŁÐ¾Ð·Ð¶Ðµ":107085,"ĠбÑĢонз":107086,"ĠвоÑĪли":107087,"ĠвÑĭÑĪли":107088,"ĠдвеÑĢи":107089,"ĠживÑĥÑĤ":107090,"ĠзаÑĢÑıд":107091,"ĠигÑĢаÑħ":107092,"ĠкамеÑĢ":107093,"ĠнаÑĪим":107094,"ĠневеÑĢ":107095,"ĠнÑĥжен":107096,"ĠнÑĥжна":107097,"Ġобнов":107098,"Ġоппоз":107099,"ĠоÑģлаб":107100,"ĠпоÑįÑĤа":107101,"ĠÑĢÑĭнок":107102,"ĠÑģвоÑijм":107103,"ĠÑģÑĤÑĢой":107104,"ĠÑģÑĥмел":107105,"ĠÑģÑĥммÑĥ":107106,"ĠÑĤаÑĤаÑĢ":107107,"ĠÑĤеÑģно":107108,"ĠÑĥзнал":107109,"ĠÑĥÑģкоÑĢ":107110,"ĠÑĥÑģÑĤÑĢо":107111,"ĠÑĩеÑĤко":107112,"ĠÑĩиÑĤал":107113,"ĠÑįволÑİ":107114,"ализма":107115,"алÑĮник":107116,"вÑĪимÑģÑı":107117,"глÑıдел":107118,"ингÑĤон":107119,"инÑģÑĤво":107120,"нилоÑģÑĮ":107121,"нÑĥлаÑģÑĮ":107122,"омниÑĤÑĮ":107123,"оÑģÑĤоÑĩн":107124,"ÑıÑīиÑħÑģÑı":107125,"ĠÐĶейÑģÑĤв":107126,"ĠÐļÑĢаÑģно":107127,"ĠÐŀбÑĭÑĩно":107128,"ĠÐłÐ¾Ð±ÐµÑĢÑĤ":107129,"Ġбанков":107130,"ĠвозвÑĭÑĪ":107131,"ĠвÑģÑıком":107132,"ĠгиганÑĤ":107133,"ĠговоÑĢÑİ":107134,"ĠдиамеÑĤ":107135,"ĠдоÑĢога":107136,"ĠзадаÑĩÑĥ":107137,"ĠиÑģкÑĢен":107138,"ĠкоÑģÑĤÑİм":107139,"ĠмеÑĤалл":107140,"ĠмÑĥзÑĭки":107141,"ĠоÑĨенки":107142,"ĠоÑĪибки":107143,"Ġпомимо":107144,"ĠпÑĢиÑĪла":107145,"ĠпÑĢовÑijл":107146,"ĠпÑĢойÑĤи":107147,"ĠпÑĥнкÑĤа":107148,"ĠÑĢежима":107149,"ĠÑĢекоÑĢд":107150,"ĠÑģловом":107151,"ĠÑģовпад":107152,"ĠÑģолнÑĨе":107153,"ĠÑģпеÑĨиÑĦ":107154,"ĠÑģÑĤаÑĤей":107155,"ĠÑģÑĤаÑĤÑĮÑı":107156,"ĠÑģÑĥдÑĮба":107157,"ĠÑĤеоÑĢиÑı":107158,"кÑĥлÑĮÑĤÑĥÑĢ":107159,"леÑĤнего":107160,"омненно":107161,"ÑĤиÑĢовал":107162,"ÑİÑīегоÑģÑı":107163,"ĠÐIJмеÑĢике":107164,"ĠÐŀднаждÑĭ":107165,"ĠбÑĭвÑĪего":107166,"ĠвлиÑıниÑı":107167,"ĠвнеÑĪней":107168,"ĠвоеннÑĭй":107169,"ĠвообÑĢаж":107170,"ĠвопÑĢоÑģа":107171,"ĠголоÑģов":107172,"ĠдивизиÑı":107173,"ĠзанÑıÑĤиÑı":107174,"ĠизданиÑı":107175,"ĠинвеÑģÑĤи":107176,"ĠкаÑĢÑĮеÑĢÑĥ":107177,"Ġкоманде":107178,"ĠлеÑĩениÑı":107179,"ĠнегаÑĤив":107180,"ĠполиÑĨей":107181,"ĠполÑĥÑĩив":107182,"ĠÑĢаÑģÑģлед":107183,"ĠÑģлÑĥжиÑĤÑĮ":107184,"ĠÑģÑĤанÑĨиÑı":107185,"ĠÑģÑĤаÑĢÑĪий":107186,"ĠÑĨенÑĤÑĢом":107187,"ÑģÑĤвеннÑĭе":107188,"ÑħозÑıйÑģÑĤв":107189,"ĠаÑģÑĤÑĢоном":107190,"ĠзаклÑİÑĩен":107191,"ĠздоÑĢовÑĮÑı":107192,"ĠизбежаÑĤÑĮ":107193,"ĠкаÑĩеÑģÑĤво":107194,"ĠкладбиÑīе":107195,"ĠмеÑģÑĤного":107196,"ĠнавеÑĢное":107197,"ĠнапиÑģаÑĤÑĮ":107198,"ĠоÑīÑĥÑīение":107199,"ĠпомогаеÑĤ":107200,"ĠпонимаÑĤÑĮ":107201,"ĠпопÑĢоÑģил":107202,"ĠпоÑģÑĤавил":107203,"ĠпÑĢоÑĤокол":107204,"ĠÑģпоÑģобнÑĭ":107205,"ологиÑĩеÑģк":107206,"ĠÐļазаÑħÑģÑĤан":107207,"ĠгоÑĢодÑģкой":107208,"ĠнезавиÑģим":107209,"ĠпÑĢогÑĢаммÑĥ":107210,"ĠÑģвÑıзаннÑĭÑħ":107211,"ĠÑģледÑĥÑİÑīее":107212,"ĠÑģледÑĥÑİÑīим":107213,"ĠÑģоÑħÑĢаниÑĤÑĮ":107214,"ĠÑħÑĥдожника":107215,"ĠÐľÐ¸ÑħайловиÑĩ":107216,"ĠвнÑĥÑĤÑĢенней":107217,"ĠнезавиÑģимо":107218,"ĠоÑĤноÑĪениÑıÑħ":107219,"ĠоÑĦиÑĨиалÑĮно":107220,"ĠполÑĥÑĩаеÑĤÑģÑı":107221,"ĠпÑĢодолжаеÑĤ":107222,"ĠÑĢабоÑĤников":107223,"ĠÑĢазÑĢабоÑĤан":107224,"ĠÑĢоÑģÑģийÑģкой":107225,"ĠÑģоединениÑı":107226,"ĠÑĥÑģÑĤÑĢойÑģÑĤво":107227,"ĠÐijолÑĮÑĪинÑģÑĤво":107228,"ĠÐľÐ¾ÑģковÑģкого":107229,"ĠÐŀлимпийÑģкиÑħ":107230,"ĠконÑģÑĤÑĢÑĥкÑĤоÑĢ":107231,"ĠобÑıзанноÑģÑĤи":107232,"ĠпоÑģÑĢедÑģÑĤвом":107233,"ĠпÑĢедпÑĢиÑıÑĤий":107234,"ĠÑĤемпеÑĢаÑĤÑĥÑĢа":107235,"ĠвоÑģпоминаниÑı":107236,"ĠединÑģÑĤвеннÑĭй":107237,"ĠопÑĢеделÑıеÑĤÑģÑı":107238,"ĠÑģпеÑĨиалиÑģÑĤов":107239,"ĠÑĩеловеÑĩеÑģкой":107240,"ĠавÑĤомаÑĤиÑĩеÑģки":107241,"ĠадминиÑģÑĤÑĢаÑĨии":107242,"ĠполÑĮзоваÑĤелей":107243,"ĠпÑĢоизводиÑĤелÑĮ":107244,"ĠÑģледоваÑĤелÑĮно":107245,"ĠÑģобÑģÑĤвенноÑģÑĤи":107246,"ĠоÑģÑĥÑīеÑģÑĤвлÑıеÑĤÑģÑı":107247,"ĠоÑĤвеÑĤÑģÑĤвенноÑģÑĤи":107248,"ÐIJС":107249,"ÐķТ":107250,"ÐĺÐĶ":107251,"Ðļо":107252,"ÐłÐ£":107253,"йд":107254,"ÑĦо":107255,"ÑĩÑij":107256,"ĠÐIJм":107257,"ĠÐĴз":107258,"ĠÐĵо":107259,"СеÑĢ":107260,"ЧÑĤо":107261,"бли":107262,"гÑĢÑĭ":107263,"ема":107264,"епÑĤ":107265,"зен":107266,"иÑģл":107267,"лил":107268,"лли":107269,"ниÑģ":107270,"нÑıк":107271,"пÑĢÑĭ":107272,"ÑĢог":107273,"ÑĢоÑĤ":107274,"ÑģлÑĥ":107275,"ÑĤил":107276,"ÑĤиÑģ":107277,"ÑĤÑĭй":107278,"ÑįÑĤо":107279,"ĠÐIJÑĢÑħ":107280,"ĠÐijÑĥл":107281,"ĠÐĹна":107282,"ĠÐļод":107283,"ĠÐĿев":107284,"ĠÐŀÐŀÐĿ":107285,"ĠÐłÐ°Ð½":107286,"ĠСÑĭн":107287,"ĠТÑĢе":107288,"ĠШаÑĢ":107289,"ĠбаÑģ":107290,"ĠкÑĥÑħ":107291,"ĠÑĢеÑĨ":107292,"ĠÑĢок":107293,"ĠÑĢÑĥÑĩ":107294,"ĠÑįÑģк":107295,"виÑģÑĤ":107296,"дани":107297,"елез":107298,"земп":107299,"иÑĤае":107300,"иÑīен":107301,"лайн":107302,"лаÑĤÑĭ":107303,"ленд":107304,"одоÑĢ":107305,"окÑĥп":107306,"оÑĢан":107307,"пÑĥлÑĮ":107308,"ÑĢаÑīа":107309,"ÑĨенз":107310,"ÑĨкий":107311,"ÑĩнÑĭй":107312,"ÑĪемÑĥ":107313,"Ñīина":107314,"ÑĮной":107315,"ĠXVII":107316,"ĠÐIJнаÑĤ":107317,"ĠÐĴпеÑĢ":107318,"ĠÐĴÑģем":107319,"ĠÐļÐŁÐ¡Ð¡":107320,"ĠÐļомп":107321,"ĠÐľÐµÐ½Ñı":107322,"ĠÐŀдна":107323,"ĠÐłÑĥÑģи":107324,"ĠУилÑĮ":107325,"ĠаÑĢÑħе":107326,"ĠвижÑĥ":107327,"Ġвнед":107328,"Ġгаза":107329,"ĠдÑĥÑĪа":107330,"ĠдÑĥÑĪÑĥ":107331,"ĠиÑģÑĤи":107332,"ĠкÑĢÑĥÑĤ":107333,"ĠлеÑģÑĤ":107334,"ĠмÑıÑģо":107335,"ĠоÑĦиÑģ":107336,"ĠпаÑģÑĤ":107337,"ĠпоÑĩÑĤ":107338,"ĠпÑĢол":107339,"ĠÑģÑĤим":107340,"ĠÑģÑĤÑĥп":107341,"ĠÑĦÑĢаз":107342,"доÑĢож":107343,"еджеÑĢ":107344,"енÑĤин":107345,"иваем":107346,"клаÑģÑģ":107347,"наÑĩал":107348,"невно":107349,"ниÑĨей":107350,"новид":107351,"нÑģкий":107352,"пÑĥлÑĮÑģ":107353,"ÑģÑĤÑĢан":107354,"ĠÐĵеÑĢой":107355,"ĠÐĵовоÑĢ":107356,"ĠÐĹемле":107357,"ĠÐļиÑĤае":107358,"ĠÐŁÐ¾Ð´Ð¾Ð±":107359,"ĠÐŁÑĥÑģÑĤÑĮ":107360,"ĠТакое":107361,"Ġалког":107362,"ĠвалÑİÑĤ":107363,"ĠвеÑĢно":107364,"ĠвеÑģел":107365,"ĠвÑĭзов":107366,"ĠгеÑĢои":107367,"ĠздÑĢав":107368,"Ġимена":107369,"ĠкаÑĢÑĤÑĭ":107370,"ĠкоÑĢон":107371,"ĠлегÑĩе":107372,"ĠмолиÑĤ":107373,"ĠмоÑĤоÑĢ":107374,"Ġоблег":107375,"ĠобÑĪиÑĢ":107376,"ĠобÑīее":107377,"ĠоÑģобÑĭ":107378,"ĠоÑĤбоÑĢ":107379,"ĠоÑĤÑĩаÑı":107380,"ĠпаÑĢад":107381,"ĠпеÑĢее":107382,"ĠпилоÑĤ":107383,"Ġплана":107384,"ĠпокÑĢÑĭ":107385,"ĠпоÑģÑĭл":107386,"ĠпÑĢедÑĬ":107387,"ĠпÑģиÑħо":107388,"ĠÑģкÑĢÑĭÑĤ":107389,"ĠÑģÑĢеде":107390,"ĠÑģÑĤвол":107391,"ĠÑģÑĤолб":107392,"ĠÑģÑĨене":107393,"ĠÑģÑĭнов":107394,"ĠÑĤипов":107395,"ĠÑĤÑĢени":107396,"ĠÑĥника":107397,"ĠÑĥÑģÑĤав":107398,"ĠÑħÑĢама":107399,"ĠÑĩеÑĢÑĤÑĭ":107400,"ĠÑĪколÑĮ":107401,"ĠÑįпоÑħÑĥ":107402,"евÑģкий":107403,"еÑĢÑĭвно":107404,"иÑĤелÑıм":107405,"ландии":107406,"ноÑģиÑĤÑĮ":107407,"ований":107408,"овÑģкаÑı":107409,"ÑĢаждан":107410,"ÑĦаÑĪиÑģÑĤ":107411,"ĠÐĴопÑĢоÑģ":107412,"ĠÐļÑģÑĤаÑĤи":107413,"ĠÐŁÐµÑĢвой":107414,"ĠÐŁÐµÑĢвÑĭе":107415,"ĠÐŁÑĢоÑģÑĤо":107416,"ĠÐłÐ°Ð±Ð¾ÑĤа":107417,"ĠаÑģÑģоÑĨи":107418,"ĠвоÑĢоÑĤа":107419,"ĠвоÑģÑĤок":107420,"ĠвÑĭбÑĢан":107421,"ĠвÑĭдеÑĢж":107422,"ĠдваждÑĭ":107423,"ĠдобÑĢов":107424,"ĠдÑĥмаеÑĤ":107425,"ĠзаконÑĭ":107426,"ĠзаÑĤÑĢаÑĤ":107427,"ĠзаÑıвлÑı":107428,"ĠзнаеÑĤе":107429,"Ġзнаний":107430,"ĠкаждаÑı":107431,"ĠкоммеÑĢ":107432,"ĠминÑĥÑĤÑĥ":107433,"ĠминÑĥÑĤÑĭ":107434,"Ġмногом":107435,"ĠнеделÑĮ":107436,"ĠоÑģновÑĥ":107437,"ĠоÑĤдÑĭÑħа":107438,"Ġпоклон":107439,"ĠполнÑĭй":107440,"ĠпоÑģлан":107441,"ĠпоÑĤеÑĢÑı":107442,"ĠпÑĢидÑĥм":107443,"ĠпÑĢовел":107444,"ĠпÑĢопаг":107445,"ĠпÑĢоÑĪли":107446,"ĠпÑĢÑıмой":107447,"ĠÑģделан":107448,"ĠÑģекÑĥнд":107449,"ĠÑģквозÑĮ":107450,"ĠÑģлÑĭÑĪал":107451,"ĠÑģмÑĭÑģла":107452,"ĠÑģобÑĢан":107453,"ĠÑģÑĤадии":107454,"ĠÑģÑĤÑĢелÑĮ":107455,"ĠÑĤÑĢÑĥдом":107456,"ĠÑĤÑĥÑĢиÑģÑĤ":107457,"ĠÑĥгодно":107458,"ĠÑĥÑĩаÑģÑĤи":107459,"ĠÑĥÑĩенÑĭе":107460,"ĠÑįкземп":107461,"алÑĮнÑĭми":107462,"аÑĢдиÑĢов":107463,"ноÑģÑĤÑıми":107464,"нÑĥвÑĪиÑģÑĮ":107465,"ÑĢагменÑĤ":107466,"ÑĢиÑģÑĤалл":107467,"ĠбÑĢигадÑĭ":107468,"ĠвоздÑĥÑħе":107469,"ĠвÑģÑıкого":107470,"ĠвÑĭбоÑĢаÑħ":107471,"ĠвÑĭделен":107472,"ĠгоÑĢодаÑħ":107473,"Ġидеолог":107474,"ĠклаÑģÑģов":107475,"ĠнаÑĩалом":107476,"ĠнеÑģÑĩаÑģÑĤ":107477,"ĠподÑĥмал":107478,"ĠпозиÑĨиÑİ":107479,"ĠпопÑĭÑĤка":107480,"ĠпÑĢибÑĭли":107481,"ĠпÑĢивело":107482,"ĠпÑĢогноз":107483,"ĠпÑĥлемеÑĤ":107484,"ĠÑĢаздÑĢаж":107485,"ĠÑĢеакÑĨии":107486,"ĠÑģвободÑĥ":107487,"ĠÑģеÑĢебÑĢÑı":107488,"ĠÑģилÑĮнее":107489,"ĠÑģовокÑĥп":107490,"ĠÑĥникалÑĮ":107491,"ĠÑĥÑĩаÑģÑĤок":107492,"ĠÑĥÑĩилиÑīе":107493,"ĠÑĦÑĥнкÑĨий":107494,"ĠÑĩеÑĤÑĭÑĢÑijÑħ":107495,"емонÑģÑĤÑĢи":107496,"иÑĢовании":107497,"иÑĦикаÑĨии":107498,"ковÑģкого":107499,"ÑİÑĤиÑĢовал":107500,"ĠаÑįÑĢодÑĢом":107501,"ĠбаÑĤалÑĮон":107502,"Ġвеликого":107503,"ĠвÑĭÑģÑĤÑĥпил":107504,"ĠгÑĢаждани":107505,"ĠназÑĭвали":107506,"ĠнемеÑĨкиÑħ":107507,"ĠоÑģÑĤавиÑĤÑĮ":107508,"ĠоÑĤвеÑĩаеÑĤ":107509,"ĠоÑĤкÑĢÑĭÑĤиÑı":107510,"ĠполномоÑĩ":107511,"ĠполовинÑĭ":107512,"ĠпоÑģвÑıÑīен":107513,"ĠпÑĢоблемÑĥ":107514,"ĠпÑĢоÑĨеÑģÑģÑĭ":107515,"ĠÑĢазвиÑĤиÑİ":107516,"ĠÑĢазÑĢÑĥÑĪен":107517,"ĠÑĢеÑģÑĥÑĢÑģов":107518,"ĠÑĢодиÑĤели":107519,"ĠÑģобÑĢаниÑı":107520,"ĠÑģомнениÑı":107521,"ĠÑģÑĥÑīеÑģÑĤвÑĥ":107522,"ĠÑĥÑĩаÑģÑĤник":107523,"еÑģÑĤвенник":107524,"ĠÐĿеÑģколÑĮко":107525,"ĠвÑĭÑģÑĤÑĥпаеÑĤ":107526,"ĠзаÑıвление":107527,"ĠкоммÑĥниÑģÑĤ":107528,"ĠмеÑģÑĤноÑģÑĤи":107529,"ĠопÑĢеделÑijн":107530,"ĠоÑĤказалÑģÑı":107531,"ĠоÑĤпÑĢавлен":107532,"ĠпÑĢоводиÑĤÑĮ":107533,"ĠÑģоздаваÑĤÑĮ":107534,"ĠÑģпоÑĢÑĤÑģмен":107535,"ĠÐĴаÑģилÑĮевиÑĩ":107536,"ĠиÑģполÑĮзÑĥеÑĤ":107537,"ĠиÑģÑĤоÑĩников":107538,"ĠназнаÑĩениÑı":107539,"ĠнеизвеÑģÑĤно":107540,"ĠпÑĢименение":107541,"ĠÑģовеÑĤÑģкого":107542,"ĠÑģодеÑĢжаниÑı":107543,"ĠÑģÑĤÑĢемление":107544,"ĠÑĤвоÑĢÑĩеÑģÑĤва":107545,"ĠÑĤеÑĢÑĢиÑĤоÑĢиÑİ":107546,"ĠвÑģÑĤÑĢеÑĩаеÑĤÑģÑı":107547,"ĠвÑĭÑģÑĤÑĥплениÑı":107548,"ĠнаÑģÑĤÑĥпление":107549,"ĠповеÑĢÑħноÑģÑĤÑĮ":107550,"ĠподгоÑĤовлен":107551,"ĠÑĢоÑģÑģийÑģкого":107552,"ĠÑģобÑģÑĤвеннÑĭÑħ":107553,"ĠамеÑĢиканÑģкиÑħ":107554,"ĠÑĢаÑģÑģказÑĭваеÑĤ":107555,"ĠÑĢÑĥководиÑĤелÑĮ":107556,"ĠÑģобÑģÑĤвенного":107557,"админиÑģÑĤÑĢаÑĤив":107558,"ĠÐIJлекÑģандÑĢовиÑĩ":107559,"ĠмеждÑĥнаÑĢоднÑĭÑħ":107560,"ĠнаÑĨионалÑĮного":107561,"ĠобÑīеÑģÑĤвенного":107562,"ĠпеÑĢвонаÑĩалÑĮно":107563,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑī":107564,"ĠиÑģполÑĮзованием":107565,"ÐIJÐĹ":107566,"ÐĶж":107567,"ÐĺÑģ":107568,"ÐĿÐł":107569,"ÐŀÐł":107570,"Ðŀн":107571,"пÑĤ":107572,"ÑĢн":107573,"Ñıк":107574,"Ġ\"«":107575,"ĠÐIJÐĿ":107576,"ĠÐĹв":107577,"ĠФÑĢ":107578,"ĠЧи":107579,"ĠÐŃк":107580,"ĠÑĥл":107581,"ава":107582,"азм":107583,"бив":107584,"веÑī":107585,"диÑģ":107586,"ееÑĤ":107587,"жда":107588,"зон":107589,"инÑĦ":107590,"иÑģа":107591,"иÑģп":107592,"кле":107593,"кли":107594,"лип":107595,"маг":107596,"оид":107597,"опа":107598,"пил":107599,"ÑĢеÑĨ":107600,"ÑĢиÑĦ":107601,"ÑĢÑıн":107602,"Ñĩок":107603,"ÑĪеÑĢ":107604,"ÑĪко":107605,"Ñīем":107606,"Ñįнд":107607,"Ñijзд":107608,"ĠÐIJнг":107609,"ĠÐĴеÑģ":107610,"ĠÐĵал":107611,"ĠÐĸив":107612,"ĠÐĹак":107613,"ĠÐĽÑĥÑĩ":107614,"ĠÐľÐ¸Ðº":107615,"ĠÐľÑĥÑĢ":107616,"ĠÐĿоÑĢ":107617,"ĠÐłÐ°Ð¹":107618,"ĠÐłÐµÑĪ":107619,"ĠÐłÐ¸Ñĩ":107620,"ĠСав":107621,"ĠСаÑĢ":107622,"ĠСил":107623,"ĠТай":107624,"ĠТан":107625,"ĠТÑĢÑĥ":107626,"ĠХан":107627,"ĠÐ¥ÑĢи":107628,"ĠЧаÑĢ":107629,"ĠаÑĥд":107630,"ĠбÑĭÑĤ":107631,"ĠдÑĥÑĢ":107632,"Ġлав":107633,"Ġмиг":107634,"Ġнан":107635,"ĠÑĤоб":107636,"ĠÑĦаÑĢ":107637,"ÐķÑģли":107638,"СÐļÐĴÐIJ":107639,"авод":107640,"аÑĤел":107641,"егка":107642,"екан":107643,"жига":107644,"ковÑĮ":107645,"лÑĮÑĤÑĢ":107646,"никÑĥ":107647,"ожеÑĤ":107648,"плав":107649,"Ñĥбий":107650,"Ñĥдил":107651,"ÑĥÑĢга":107652,"ÑĦоÑĢд":107653,"ÑĦоÑĢÑĤ":107654,"ÑħаÑĤÑĮ":107655,"ÑĩнÑĭе":107656,"ĠÐIJнна":107657,"ĠÐĴоÑģÑĤ":107658,"ĠÐĺÑĢан":107659,"ĠÐŁÐ»Ð°ÑĤ":107660,"ĠÐŁÑĢин":107661,"ĠСлав":107662,"ĠСмол":107663,"ĠЯÑĢоÑģ":107664,"ĠбазÑĭ":107665,"ĠвдоÑħ":107666,"ĠвзоÑĢ":107667,"ĠвмеÑĪ":107668,"ĠвÑĭзв":107669,"Ġглаг":107670,"Ġдиаг":107671,"ĠдÑĥÑħа":107672,"Ġжени":107673,"ĠзабÑĭ":107674,"Ġзале":107675,"ĠзаÑĤо":107676,"ĠидеÑİ":107677,"Ġкали":107678,"Ġкожи":107679,"ĠкÑĥÑģÑĤ":107680,"ĠобеÑĢ":107681,"ĠобÑĭк":107682,"ĠоÑĤеÑĩ":107683,"ĠÑĢано":107684,"ĠÑĢиÑĤм":107685,"ĠÑĢÑĥко":107686,"ĠÑģвин":107687,"ĠÑģинÑĤ":107688,"ĠÑĤвеÑĢ":107689,"ĠÑĤема":107690,"ĠÑĤемÑĭ":107691,"ĠÑĤиÑħо":107692,"ĠÑĤÑĢоп":107693,"ĠÑĥезд":107694,"ĠÑĦеÑģÑĤ":107695,"ĠÑħлоп":107696,"ĠÑĨенÑĭ":107697,"ĠÑĩаÑģÑĭ":107698,"ÐĺнÑĤеÑĢ":107699,"бежал":107700,"вÑĪемÑĥ":107701,"гÑĢÑĥпп":107702,"давал":107703,"двига":107704,"еÑħаÑĤÑĮ":107705,"ионеÑĢ":107706,"иÑĢÑĥÑĢг":107707,"иÑģлен":107708,"нÑģкой":107709,"омеÑĤÑĢ":107710,"пÑĢазд":107711,"Ñģозна":107712,"ÑĤÑıнÑĥÑĤ":107713,"ÑĦилÑĮм":107714,"Ñħодил":107715,"ĠÐļиÑĤаÑı":107716,"ĠÐŀÑĤвеÑĤ":107717,"ĠÐŀÑĦиÑĨи":107718,"ĠÐŁÐµÑĢво":107719,"ĠÐłÐ°Ð·Ñĥм":107720,"ĠТакой":107721,"ĠблеÑģÑĤ":107722,"Ġвопло":107723,"ĠгипоÑĤ":107724,"ĠдвоÑĢе":107725,"Ġделам":107726,"Ġделом":107727,"Ġзабил":107728,"Ġзагад":107729,"ĠкваÑĢÑĤ":107730,"ĠколеÑģ":107731,"ĠлÑİбил":107732,"ĠмаÑģла":107733,"ĠмÑĥзеÑı":107734,"ĠнÑĥжда":107735,"ĠобÑĬÑijм":107736,"ĠпокоÑĢ":107737,"ĠпомнÑİ":107738,"ĠпоÑĪли":107739,"ĠÑĢаÑģÑģе":107740,"ĠÑģамиÑħ":107741,"ĠÑģекÑģÑĥ":107742,"ĠÑģекÑĥн":107743,"ĠÑģкÑĢип":107744,"ĠÑģоÑģÑĥд":107745,"ĠÑģÑĤÑĢоÑı":107746,"ĠÑģÑĥпеÑĢ":107747,"ĠÑĤÑĥман":107748,"ĠÑĥбежд":107749,"ĠÑĥÑģпел":107750,"ĠÑĦиÑĢмÑĭ":107751,"ĠÑĩеÑĢеп":107752,"ĠÑĪÑĤÑĢаÑĦ":107753,"веÑĢжен":107754,"геÑĢман":107755,"деÑĢжан":107756,"егодно":107757,"ивание":107758,"мÑĥниÑģÑĤ":107759,"поÑĤÑĢеб":107760,"ÑĢежден":107761,"ÑĢезаÑĤÑĮ":107762,"ÑģоÑģÑĤоÑı":107763,"ĠÐľÐŀСÐļÐĴÐIJ":107764,"ĠÐĿаполе":107765,"ĠÐŁÑĢежде":107766,"ĠÐ¥ÑĢиÑģÑĤа":107767,"ĠалÑĮбом":107768,"ĠбеÑĢега":107769,"ĠбоÑĢÑĮба":107770,"ĠбоÑĢÑĮбÑĥ":107771,"ĠвоÑģÑĤоÑĩ":107772,"ĠвÑģÑıкий":107773,"ĠвÑĤоÑĢаÑı":107774,"ĠвÑħодÑıÑĤ":107775,"ĠвÑĭнÑĥжд":107776,"ĠвÑĭÑģÑĪей":107777,"ĠгеÑĢÑĨог":107778,"ĠдеÑĢжав":107779,"ĠзавÑĤÑĢа":107780,"ĠзвездÑĭ":107781,"ĠзолоÑĤо":107782,"ĠиÑĤогам":107783,"ĠконÑĤак":107784,"ĠмнениÑı":107785,"Ġмногое":107786,"ĠмонаÑĢÑħ":107787,"Ġнайден":107788,"ĠнемÑĨев":107789,"Ġникого":107790,"ĠоÑĤвеÑĢг":107791,"ĠоÑĤлиÑĩа":107792,"ĠпеÑĩаÑĤи":107793,"ĠподозÑĢ":107794,"Ġполное":107795,"ĠпопÑĢоб":107796,"ĠпÑĢедан":107797,"ĠÑĢазвеÑĢ":107798,"ĠÑĢазÑĢÑıд":107799,"ĠÑĢежиме":107800,"ĠÑģвеÑĢÑħÑĥ":107801,"ĠÑģлегка":107802,"ĠÑģнаÑĢÑıд":107803,"ĠÑģоÑĨиал":107804,"ĠÑģÑĤÑĢана":107805,"ĠÑĥÑĩенÑĭÑħ":107806,"ĠÑĦÑĢонÑĤе":107807,"ĠÑĩаÑģÑĤиÑĨ":107808,"глÑıдÑĭва":107809,"еÑĢбÑĥÑĢга":107810,"надÑĨаÑĤÑĮ":107811,"ÑĢабоÑĤал":107812,"ÑģÑĥÑīеÑģÑĤв":107813,"ÑĤелÑĮнаÑı":107814,"ĠСвÑıÑĤого":107815,"ĠЯÑĢоÑģлав":107816,"ĠаÑĥдиÑĤоÑĢ":107817,"ĠболÑĮÑĪев":107818,"ĠвÑĭигÑĢал":107819,"ĠгеогÑĢаÑĦ":107820,"ĠдÑĢевниÑħ":107821,"ĠжеланиÑı":107822,"ĠзамеÑĤно":107823,"ĠимеÑİÑĤÑģÑı":107824,"ĠкаждомÑĥ":107825,"ĠкаÑĢÑĤинÑĥ":107826,"ĠмаÑĢÑĪÑĢÑĥÑĤ":107827,"ĠмеÑĤодов":107828,"ĠмоÑĢÑģкой":107829,"Ġнамного":107830,"ĠобÑĭкнов":107831,"ĠоÑģÑĤоÑĢож":107832,"ĠоÑģÑĤÑĢове":107833,"ĠоÑĤкÑĢÑĭÑĤÑĭ":107834,"ĠоÑĤлиÑĩно":107835,"ĠпланеÑĤÑĭ":107836,"Ġпонимал":107837,"ĠпонимаÑİ":107838,"ĠпÑĢиÑĩина":107839,"ĠÑĢабоÑĤой":107840,"ĠÑĢайонаÑħ":107841,"ĠÑĢÑĥÑģÑģком":107842,"ĠÑģелÑĮÑģко":107843,"ĠÑģказано":107844,"ĠÑĥпÑĢавлÑı":107845,"ĠÑıвлÑıлÑģÑı":107846,"ĠÐIJкадемии":107847,"ĠÐĹападной":107848,"ĠÐĿиколаев":107849,"ĠÐĿовгоÑĢод":107850,"ĠанглиÑĩан":107851,"ĠблагодаÑĢ":107852,"ĠвлиÑıнием":107853,"ĠвÑĭÑģокого":107854,"Ġжелезной":107855,"ĠизвеÑģÑĤен":107856,"ĠизÑĥÑĩениÑı":107857,"ĠинÑĤеÑĢеÑģÑĭ":107858,"ĠинÑĤеÑĢÑĦей":107859,"ĠкандидаÑĤ":107860,"ĠнÑĢавиÑĤÑģÑı":107861,"ĠпеÑĢепиÑģи":107862,"ĠподпиÑģал":107863,"ĠподпиÑģан":107864,"ĠполиÑĤика":107865,"ĠполÑĥÑĩаÑİÑĤ":107866,"ĠпÑĢаздник":107867,"ĠпÑĢедÑģказ":107868,"ĠпÑĢоекÑĤов":107869,"ĠÑĢабоÑĩего":107870,"ĠÑĢеÑģÑĤоÑĢан":107871,"ĠÑģпоÑģобен":107872,"ĠÑģÑĢеднего":107873,"ĠÑģÑĤолкнов":107874,"ĠÑģÑĥÑīноÑģÑĤи":107875,"ĠÑĤоÑĢговли":107876,"ĠÑĤоÑĢжеÑģÑĤв":107877,"ĠÑĤÑĢебовал":107878,"ĠÑĥÑģÑĤойÑĩив":107879,"ĠÑĦÑĢагменÑĤ":107880,"ĠÐŁÑĢезиденÑĤ":107881,"ĠвÑĭÑĢажение":107882,"ĠдвигаÑĤелÑı":107883,"ĠдейÑģÑĤвÑĥеÑĤ":107884,"ĠдепÑĥÑĤаÑĤов":107885,"ĠдиÑĢекÑĤоÑĢа":107886,"ĠинÑĤеллекÑĤ":107887,"ĠиÑģÑĤоÑĩника":107888,"ĠнаÑĢодного":107889,"ĠопаÑģноÑģÑĤи":107890,"ĠоÑĤделение":107891,"ĠпиÑģаÑĤелей":107892,"Ġпонимание":107893,"ĠпоÑĢажениÑı":107894,"ĠпÑĢогÑĢамме":107895,"ĠпÑĢодолжил":107896,"ĠÑĢегионалÑĮ":107897,"ĠавÑĤомобилÑı":107898,"ĠколиÑĩеÑģÑĤве":107899,"ĠобÑĥÑģловлен":107900,"ĠпеÑĢеговоÑĢÑĭ":107901,"ĠпоÑĤÑĢебовал":107902,"ĠпÑĢедÑģÑĤавил":107903,"ĠÑģоÑģÑĤавлÑıÑİÑĤ":107904,"ĠÑĤемпеÑĢаÑĤÑĥÑĢ":107905,"ĠÑĩÑĥвÑģÑĤвовал":107906,"ĠвоздейÑģÑĤвиÑı":107907,"ĠвÑģÑĤÑĢеÑĩаÑİÑĤÑģÑı":107908,"ĠизобÑĢажение":107909,"ĠиÑģполÑĮзовал":107910,"ĠконÑģÑĤÑĢÑĥкÑĨии":107911,"ĠопÑĢеделение":107912,"ĠпÑĢедÑģÑĤавлÑıл":107913,"ĠÑĢÑĥководÑģÑĤва":107914,"ĠÑģобÑģÑĤвеннÑĭе":107915,"ĠÑĦÑĢанÑĨÑĥзÑģкий":107916,"ĠвозможноÑģÑĤей":107917,"ĠиÑģÑģледование":107918,"ĠобоÑĢÑĥдованиÑı":107919,"ĠпÑĢедÑģедаÑĤелÑı":107920,"ĠÑĦоÑĢмиÑĢованиÑı":107921,"ĠÑģопÑĢоÑĤивление":107922,"ĠзаконодаÑĤелÑĮÑģÑĤв":107923,"ĠÑģелÑĮÑģкоÑħозÑıйÑģÑĤв":107924,"Ðijа":107925,"ÐĶÐł":107926,"ÐĶо":107927,"ÐĽÐŀ":107928,"ÐľÐµ":107929,"ÐŁÐ°":107930,"Сп":107931,"ĠÐIJÑģ":107932,"ĠÐĵÑĢ":107933,"ĠÐĻо":107934,"ĠФÑĥ":107935,"Ġап":107936,"Ġгн":107937,"ĠкÑĥ":107938,"ĠпÑĭ":107939,"ÐĴÑģе":107940,"айл":107941,"аÑģа":107942,"бÑĥл":107943,"вои":107944,"гÑĥб":107945,"дам":107946,"док":107947,"йдÑı":107948,"кÑĢÑĥ":107949,"лод":107950,"лÑĮÑı":107951,"лÑijÑĤ":107952,"нки":107953,"нно":107954,"оÑģа":107955,"поÑĤ":107956,"ÑģÑĥÑĢ":107957,"ÑĤел":107958,"Ñĥме":107959,"ÑĥмÑĭ":107960,"ÑĥÑĪк":107961,"ÑħоÑĢ":107962,"Ñĩие":107963,"Ñĩил":107964,"ÑīеÑĤ":107965,"ÑĮем":107966,"Ñİда":107967,"ĠÐijай":107968,"ĠÐijаÑĤ":107969,"ĠÐijÑĢа":107970,"ĠÐijÑĢÑİ":107971,"ĠÐĵог":107972,"ĠÐĵод":107973,"ĠÐĶва":107974,"ĠÐļоÑģ":107975,"ĠÐļÑĢа":107976,"ĠÐĽÐ°ÑĤ":107977,"ĠÐĽÐµÐ½":107978,"ĠÐĽÐµÑģ":107979,"ĠÐĽÐ¸Ð½":107980,"ĠÐĿÑĥж":107981,"ĠÐŁÐ°ÑĤ":107982,"ĠÐŁÐ¸Ñģ":107983,"ĠÐŁÐ»Ð¾":107984,"ĠÐłÐµÐ¹":107985,"ĠÐłÐ¾Ð·":107986,"ĠÐŃлÑĮ":107987,"ĠбÑĥÑĤ":107988,"Ġдам":107989,"Ġдед":107990,"ĠдÑĭм":107991,"ĠлеÑĩ":107992,"ĠоÑĢк":107993,"ĠпÑĥÑĪ":107994,"ĠÑĦаб":107995,"ÐĻоÑĢк":107996,"анна":107997,"бÑĢон":107998,"генÑĤ":107999,"гÑĢÑĥж":108000,"дина":108001,"ебно":108002,"евиз":108003,"ендÑĥ":108004,"еÑĪев":108005,"еÑīал":108006,"жела":108007,"инки":108008,"иÑĢÑĤÑĥ":108009,"кажÑĥ":108010,"лова":108011,"лÑıми":108012,"непÑĢ":108013,"неÑĢа":108014,"ннÑĭÑħ":108015,"ожен":108016,"пÑĤом":108017,"Ñģков":108018,"ÑģÑĤоÑĢ":108019,"ÑĤелÑİ":108020,"Ñĥлов":108021,"ÑĥÑĩен":108022,"ÑĩнÑĭм":108023,"ÑıÑīей":108024,"ĠÐŀдно":108025,"ĠÐŀÑģÑĤа":108026,"ĠÐŀÑĤеÑĨ":108027,"ĠСÑĤав":108028,"ĠУказ":108029,"ĠФÑĢид":108030,"ĠХаÑĢÑĮ":108031,"ĠалÑĮÑĤ":108032,"ĠбоÑıÑħ":108033,"ĠваÑĪе":108034,"ĠвеÑīÑĮ":108035,"Ġволи":108036,"ĠвÑĢÑıд":108037,"ĠглаÑģ":108038,"Ġгнев":108039,"ĠгÑĢоб":108040,"Ġднем":108041,"ĠзонÑĭ":108042,"ĠимеÑı":108043,"ĠкаÑĢа":108044,"Ġклин":108045,"ĠкнÑıж":108046,"Ġкода":108047,"Ġмама":108048,"ĠмÑĭÑĪÑĨ":108049,"Ġобед":108050,"Ġобид":108051,"ĠокÑĢа":108052,"ĠÑĢеÑĪа":108053,"ĠÑģлеп":108054,"ĠÑģнаб":108055,"ĠÑģпиÑĢ":108056,"ĠÑĤанк":108057,"ĠÑĤкан":108058,"ĠÑĤоÑĢм":108059,"ĠÑĤÑĢак":108060,"ĠÑĨиÑĦÑĢ":108061,"ĠÑįнеÑĢ":108062,"ĠÑįÑĦиÑĢ":108063,"анÑĥне":108064,"ведÑijн":108065,"вокаÑĤ":108066,"екÑĨии":108067,"ендаÑĢ":108068,"зелен":108069,"иÑĩнÑĭе":108070,"неÑģли":108071,"ÑĥпÑĢав":108072,"ÑĥÑģÑĤим":108073,"ÑİÑīемÑĥ":108074,"ÑıÑīего":108075,"ĠÐĵенÑĢи":108076,"ĠÐĹакон":108077,"ĠÐĺвана":108078,"ĠÐĿовÑĭй":108079,"ĠÐŁÑĥÑĤин":108080,"ĠÐ¥ÑĢиÑģÑĤ":108081,"ĠЧаÑģÑĤÑĮ":108082,"ĠалгоÑĢ":108083,"ĠаÑĢмÑıн":108084,"ĠвиÑĢÑĥÑģ":108085,"ĠволнÑĭ":108086,"ĠвпÑĢав":108087,"ĠвÑĩеÑĢа":108088,"ĠдекоÑĢ":108089,"Ġедино":108090,"ĠждаÑĤÑĮ":108091,"ĠжелÑĥд":108092,"ĠиÑģлам":108093,"ĠмаÑģло":108094,"ĠмонеÑĤ":108095,"ĠнаÑģÑĤа":108096,"ĠнаÑĥка":108097,"ĠнемÑĨÑĭ":108098,"Ġновом":108099,"ĠобÑħод":108100,"ĠобÑīий":108101,"ĠобÑīим":108102,"Ġовлад":108103,"ĠопÑĤим":108104,"ĠоÑĤÑĢÑĭв":108105,"ĠпалаÑĤ":108106,"ĠпеÑģен":108107,"Ġпобеж":108108,"Ġпокой":108109,"ĠпоÑĢой":108110,"ĠпоÑģÑĤа":108111,"ĠпÑĢозв":108112,"ĠпÑĢоÑīе":108113,"ĠÑĢиÑģÑĥн":108114,"ĠÑģигна":108115,"ĠÑģÑĥÑĤок":108116,"ĠÑĤелег":108117,"ĠÑĥÑģÑĤал":108118,"ĠÑĪÑĤаÑĤа":108119,"ĠÑįÑģкад":108120,"вÑĪаÑıÑģÑı":108121,"ийÑģкиÑħ":108122,"онÑıÑĤно":108123,"ополÑĥÑĩ":108124,"ÑĢаÑĤиÑĤÑĮ":108125,"ÑĢеволÑİ":108126,"ÑĤикалÑĮ":108127,"Ñĭвание":108128,"ÑİÑīаÑıÑģÑı":108129,"ĠÐIJнаÑĤол":108130,"ĠÐĴмеÑģÑĤо":108131,"ĠÐŁÑĢиÑĩем":108132,"ĠСевеÑĢо":108133,"ĠагÑĢеÑģÑģ":108134,"ĠбаÑģÑģей":108135,"ĠвеÑĩеÑĢа":108136,"ĠвÑĤоÑĢое":108137,"ĠвÑĭÑģоÑĤÑĭ":108138,"ĠгеÑĢоев":108139,"Ġгибели":108140,"Ġголова":108141,"ĠдеÑĢево":108142,"Ġдлиной":108143,"ĠзаÑģлÑĥг":108144,"Ġканала":108145,"ĠклеÑĤки":108146,"ĠконÑĤин":108147,"ĠкÑĥпиÑĤÑĮ":108148,"ĠлÑĥÑĩÑĪим":108149,"Ġмедали":108150,"ĠмеÑĤода":108151,"ĠнаÑĢкоÑĤ":108152,"ĠнаÑģили":108153,"ĠникомÑĥ":108154,"ĠоÑĤклон":108155,"ĠоÑĤÑĤÑĥда":108156,"ĠпаÑĤÑĢон":108157,"ĠпланеÑĤ":108158,"Ġпоздно":108159,"ĠпоиÑģка":108160,"ĠпоÑįзии":108161,"ĠпÑĢибли":108162,"ĠпÑĢожив":108163,"ĠпÑĢоÑĪел":108164,"ĠÑģобаки":108165,"ĠÑĤеаÑĤÑĢе":108166,"ĠÑĥдобно":108167,"ĠÑĥдоÑģÑĤо":108168,"ĠÑĥказан":108169,"ĠÑĨвеÑĤов":108170,"ведении":108171,"гоÑģÑĥдаÑĢ":108172,"еÑĢнаÑĤив":108173,"онÑĩалÑģÑı":108174,"положен":108175,"ÑĢабоÑĤан":108176,"ÑĢиÑĢован":108177,"ÑĤалкива":108178,"ÑĤелÑĮной":108179,"ÑĤелÑĮнÑĭÑħ":108180,"ÑĥÑģловно":108181,"ĠÐĺнÑĤеÑĢеÑģ":108182,"ĠХаÑĢÑĮков":108183,"ĠавÑĤоÑĢов":108184,"ĠадвокаÑĤ":108185,"ĠвÑģÑĤÑĢеÑĩе":108186,"ĠгваÑĢдей":108187,"ĠгипоÑĤез":108188,"ĠдопÑĥÑģка":108189,"ĠдÑĢÑĥгомÑĥ":108190,"Ġзаконов":108191,"Ġзаконом":108192,"Ġзанимал":108193,"Ġиздание":108194,"ĠкомнаÑĤе":108195,"ĠкоÑĢабли":108196,"ĠнаÑĥÑĩной":108197,"ĠнепÑĢиÑıÑĤ":108198,"ĠобÑīениÑı":108199,"ĠобÑĬекÑĤÑĭ":108200,"ĠоÑĢденом":108201,"ĠоÑģÑĥжден":108202,"ĠпеÑĢеÑĪÑijл":108203,"ĠподклÑİÑĩ":108204,"Ġполного":108205,"ĠполÑĥÑĩен":108206,"ĠпÑĢиглаÑģ":108207,"ĠпÑĥнкÑĤов":108208,"ĠÑĢегиÑģÑĤÑĢ":108209,"ĠÑĢелигии":108210,"ĠÑģимпÑĤом":108211,"ĠÑģказали":108212,"ĠÑģобеÑģед":108213,"ĠÑģобÑĢаÑĤÑĮ":108214,"ĠÑģÑĤабилÑĮ":108215,"ĠÑģÑĩаÑģÑĤÑĮе":108216,"ĠÑģÑĩиÑĤали":108217,"ĠÑĥÑĢовнем":108218,"ĠÑĦÑĥнкÑĨиÑı":108219,"ĠÑĨеÑĢемон":108220,"ĠÑıвление":108221,"алÑĮноÑģÑĤи":108222,"иÑĩеÑģкомÑĥ":108223,"ÑĢабоÑĤаÑĤÑĮ":108224,"ÑĤелÑĮного":108225,"ÑĤеÑĢÑĢиÑĤоÑĢ":108226,"ÑĤиÑĩеÑģкие":108227,"ÑħождениÑı":108228,"ĠÐIJзеÑĢбайд":108229,"ĠÐŁÐµÑĤÑĢовиÑĩ":108230,"ĠÐłÐµÑģпÑĥбли":108231,"ĠблагоÑĢод":108232,"ĠвооÑĢÑĥжен":108233,"ĠзадеÑĢжан":108234,"ĠконеÑĩном":108235,"Ġмиллиона":108236,"ĠнавÑģегда":108237,"ĠненавиÑģÑĤ":108238,"ĠобÑĥÑĩение":108239,"ĠоÑĤделÑĮно":108240,"ĠпеÑĢедаÑĤÑĮ":108241,"ĠполÑĥÑĩаÑĤÑĮ":108242,"ĠпÑĢепаÑĢаÑĤ":108243,"ĠпÑĢизнаÑĤÑĮ":108244,"ĠпÑĢиÑĩинам":108245,"ĠпÑĢодÑĥкÑĤÑĭ":108246,"ĠÑĢабоÑĤали":108247,"ĠÑģеÑĢÑĮезно":108248,"ĠÑģÑĢедÑģÑĤво":108249,"ĠзаинÑĤеÑĢеÑģ":108250,"Ġизменение":108251,"ĠиÑģполÑĮзÑĥÑı":108252,"ĠкомплекÑģа":108253,"ĠкомпоненÑĤ":108254,"ĠлейÑĤенанÑĤ":108255,"Ġнеизбежно":108256,"ĠноÑĢмалÑĮно":108257,"ĠобнаÑĢÑĥжен":108258,"ĠопаÑģноÑģÑĤÑĮ":108259,"ĠоÑĩеÑĢедной":108260,"ĠпомеÑīениÑı":108261,"ĠпоÑıвлениÑı":108262,"ĠпÑĢиÑģпоÑģоб":108263,"ĠÑģемейÑģÑĤва":108264,"ĠÑģоÑģÑĤоÑıниÑİ":108265,"ĠÑĥказÑĭваеÑĤ":108266,"ĠÑĥÑģÑĤÑĢойÑģÑĤв":108267,"ĠанглийÑģкий":108268,"ĠбеÑģконеÑĩно":108269,"ĠвоÑģполÑĮзов":108270,"ĠвÑĭполнение":108271,"ĠизнаÑĩалÑĮно":108272,"ĠнаÑħодилаÑģÑĮ":108273,"ĠнепÑĢеÑĢÑĭвно":108274,"ĠпÑĢедлагаеÑĤ":108275,"ĠпÑĢедÑĥÑģмаÑĤÑĢ":108276,"ĠÑĢазÑĥмееÑĤÑģÑı":108277,"ĠÑĢаÑģÑģÑĤоÑıние":108278,"ĠÑģоÑģÑĤоÑıлаÑģÑĮ":108279,"ĠÑĤеÑħнологий":108280,"ĠÑħаÑĢакÑĤеÑĢиз":108281,"ĠалÑĮÑĤеÑĢнаÑĤив":108282,"ĠвнимаÑĤелÑĮно":108283,"ĠконÑĦеÑĢенÑĨии":108284,"ĠнеобÑħодимÑĭе":108285,"ĠоÑĢганизаÑĤоÑĢ":108286,"ĠÑĢаÑģÑģказÑĭвал":108287,"ĠамеÑĢиканÑģкой":108288,"ĠединÑģÑĤвеннÑĭм":108289,"ĠобÑīеÑģÑĤвеннÑĭÑħ":108290,"ĠполÑĮзоваÑĤÑĮÑģÑı":108291,"ĠÑģоÑĢевнованиÑı":108292,"ĠÑģÑĢавниÑĤелÑĮно":108293,"ĠподÑĢазделениÑı":108294,"ĠпÑĢодолжиÑĤелÑĮн":108295,"ĠÑįкономиÑĩеÑģкой":108296,"ĠвзаимодейÑģÑĤвиÑı":108297,"ĠмногоÑĩиÑģленнÑĭе":108298,"ĠпоÑģледоваÑĤелÑĮно":108299,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢанение":108300,"»;":108301,"ÐIJд":108302,"ÐĶе":108303,"ÐĺÐļ":108304,"ÐļÐŁ":108305,"ÐĽÐĺ":108306,"ÐŁÐļ":108307,"ÐŃС":108308,"нг":108309,"Ñĭж":108310,"ĠÐĶÑİ":108311,"ĠÐľÑį":108312,"ĠÐĿÐIJ":108313,"ĠÐĿÐļ":108314,"ĠСС":108315,"ĠСм":108316,"ĠУм":108317,"ĠШи":108318,"ĠЮÑĢ":108319,"ĠÑĢо":108320,"ĠÑİг":108321,"Ðijел":108322,"ÐļаÑĢ":108323,"аÑģк":108324,"бед":108325,"бог":108326,"бож":108327,"бон":108328,"вое":108329,"воÑĤ":108330,"вÑĭй":108331,"гоÑĤ":108332,"даÑĩ":108333,"еÑĢÑģ":108334,"жев":108335,"зел":108336,"иÑĤÑĭ":108337,"иÑĩа":108338,"лаÑĢ":108339,"лоп":108340,"лÑĭй":108341,"мак":108342,"маÑĪ":108343,"мей":108344,"мÑĭÑĪ":108345,"ÑĢÑĭм":108346,"ÑģеÑĤ":108347,"Ñģок":108348,"ÑĤаÑī":108349,"Ñīин":108350,"ĠÐIJли":108351,"ĠÐijаб":108352,"ĠÐĴÑģÑı":108353,"ĠÐĴÑģÑij":108354,"ĠÐĵÑĢа":108355,"ĠÐĶоб":108356,"ĠÐļÑĢи":108357,"ĠÐľÐĴÐĶ":108358,"ĠÐľÐ°Ð´":108359,"ĠÐľÐµÐ»":108360,"ĠÐľÑĥж":108361,"ĠÐŁÐ¾Ð¿":108362,"ĠСид":108363,"ĠСÑĤе":108364,"ĠСÑĤÑĢ":108365,"ĠХоÑĢ":108366,"Ġвеб":108367,"ĠжиÑĢ":108368,"Ġзла":108369,"ĠкиÑĢ":108370,"Ġлам":108371,"Ġлап":108372,"ĠлÑĥк":108373,"Ġмоб":108374,"ĠмÑıÑĤ":108375,"Ġнел":108376,"ĠобÑĭ":108377,"Ġпев":108378,"ĠÑģен":108379,"ĠÑģом":108380,"ĠÑģон":108381,"ĠÑĤаÑĢ":108382,"ĠÑĥвл":108383,"ĠÑĦен":108384,"ĠÑħок":108385,"ĠÑĩÑijÑĢ":108386,"ĠÑİге":108387,"алин":108388,"алиÑĦ":108389,"аÑģÑģи":108390,"дели":108391,"евÑĭе":108392,"еков":108393,"жаÑĤÑĮ":108394,"изнÑĮ":108395,"иÑĤик":108396,"йдеÑĤ":108397,"кнÑĥÑĤ":108398,"коÑĢм":108399,"ланг":108400,"лево":108401,"ниÑĤе":108402,"ннÑĥÑİ":108403,"олен":108404,"олÑĮд":108405,"омен":108406,"плод":108407,"ÑĢина":108408,"ÑģÑİда":108409,"ÑĤеÑĢи":108410,"ÑĥÑĢов":108411,"ÑĥÑīиÑħ":108412,"Ñĩной":108413,"ÑĪний":108414,"ĠÐIJнÑĤи":108415,"ĠÐĵали":108416,"ĠÐŁÐ»Ð°Ð½":108417,"ĠФлоÑĢ":108418,"ĠаккÑĥ":108419,"ĠвеÑĢÑģ":108420,"ĠвÑĢаж":108421,"ĠевÑĢо":108422,"Ġзоне":108423,"Ġлежа":108424,"Ġмани":108425,"Ġмоим":108426,"Ġогне":108427,"ĠпаÑĢк":108428,"ĠпеÑĢÑģ":108429,"ĠпиÑĤÑĮ":108430,"ĠпиÑīи":108431,"ĠплÑİÑģ":108432,"ĠÑĢиÑĤÑĥ":108433,"ĠÑģÑĤоÑĢ":108434,"ĠÑģÑĤÑĢа":108435,"ĠÑĤаин":108436,"ĠÑĤеми":108437,"ĠÑĤÑĢон":108438,"ĠÑĥÑĤÑĢо":108439,"водиÑĤ":108440,"енном":108441,"колеп":108442,"обнов":108443,"оÑģÑĤно":108444,"ÑģкоÑĢб":108445,"ÑģпоÑĢÑĤ":108446,"ÑĤÑıбÑĢÑĮ":108447,"ÑĥÑģÑĤав":108448,"ÑĥÑĩиÑĤÑĮ":108449,"ÑīениÑı":108450,"ĠÐĺгоÑĢÑĮ":108451,"ĠÐŀбÑĢаз":108452,"ĠÐŀдним":108453,"ĠÐŁÐ¾Ð»Ð¸ÑĤ":108454,"ĠÐŁÑĥÑĪки":108455,"ĠÐłÐ°Ð½ÐµÐµ":108456,"ĠаÑĤаки":108457,"ĠаÑĤакÑĥ":108458,"Ġвезде":108459,"ĠвеÑĩно":108460,"ĠвÑģÑĤал":108461,"ĠгÑĢÑĥди":108462,"Ġделег":108463,"Ġдинам":108464,"Ġженой":108465,"ĠживÑĭÑħ":108466,"ĠзаÑĢÑĥб":108467,"Ġкамен":108468,"ĠкамнÑı":108469,"ĠкоÑĢол":108470,"ĠмаÑĢки":108471,"ĠминеÑĢ":108472,"Ġодино":108473,"ĠоÑĤмен":108474,"ĠпеÑģнÑı":108475,"ĠпланÑĭ":108476,"ĠÑģлÑĥÑĪа":108477,"ĠÑģоÑİза":108478,"ĠÑģÑĤилÑĮ":108479,"ĠÑģÑĥÑĤки":108480,"ĠÑĤоÑĩкÑĥ":108481,"ĠÑĥеÑħал":108482,"ĠÑĥмиÑĢа":108483,"ĠÑħÑĢани":108484,"воÑģÑĤок":108485,"доволÑĮ":108486,"наÑĩале":108487,"овании":108488,"ÑĢаждÑijн":108489,"ÑĢоваÑĤÑĮ":108490,"Ñģвобод":108491,"ÑģÑĤвием":108492,"ÑĦÑĥнкÑĨи":108493,"ÑĩеÑģÑĤва":108494,"ÑİÑīимÑģÑı":108495,"ĠÐĽÐµÐ¾Ð½Ð¸Ð´":108496,"ĠÐŁÐµÑĢвÑĭм":108497,"ĠакÑĤÑĢиÑģ":108498,"ĠбÑĢигад":108499,"ĠбÑĥдеÑĤе":108500,"ĠбÑĥмаги":108501,"ĠвзÑĢÑĭва":108502,"ĠвоÑģÑĮми":108503,"ĠвÑĭбоÑĢа":108504,"ĠгазеÑĤа":108505,"ĠголоÑģа":108506,"ĠгÑĢаÑĦик":108507,"ĠдаваÑĤÑĮ":108508,"Ġделали":108509,"ĠдепаÑĢÑĤ":108510,"ĠдеÑģанÑĤ":108511,"ĠдеÑĤали":108512,"ĠзапиÑģÑĮ":108513,"ĠзаÑĤÑĢÑĥд":108514,"ĠзаÑīиÑĤÑĥ":108515,"ĠинÑĤенÑģ":108516,"ĠкоÑģмоÑģ":108517,"Ġнаклон":108518,"Ġнежели":108519,"ĠобÑĢаза":108520,"ĠоÑĢÑĥдий":108521,"ĠоÑĤвеÑĤа":108522,"ĠоÑĤноÑģÑı":108523,"ĠоÑĤÑĢÑıда":108524,"Ġподвиг":108525,"ĠподÑĢÑıд":108526,"ĠполеÑĤа":108527,"ĠпоÑģлал":108528,"ĠпÑĢизÑĭв":108529,"ĠпÑĢиÑģво":108530,"ĠпÑĢоÑĪла":108531,"ĠÑģеÑĢÑĮÑijз":108532,"ĠÑģкажем":108533,"ĠÑģобака":108534,"ĠÑģÑĤаÑĢÑĭÑħ":108535,"ĠÑģÑĤимÑĥл":108536,"ĠÑĥÑģлÑĥги":108537,"иÑĢÑĥÑİÑĤÑģÑı":108538,"миниÑģÑĤÑĢ":108539,"оваÑĤÑĮÑģÑı":108540,"огÑĢаÑĦиÑı":108541,"ождеÑģÑĤв":108542,"опоÑģÑĤав":108543,"ÑģÑĤавлен":108544,"ÑģÑĤÑĢойка":108545,"ĠÐijолÑĮÑĪой":108546,"ĠÐĴпеÑĢвÑĭе":108547,"ĠÐŁÑĢезиди":108548,"ĠÐŁÑĥÑĪкина":108549,"ĠбеÑģплаÑĤ":108550,"ĠбизнеÑģа":108551,"Ġвеликий":108552,"ĠвопÑĢоÑģÑĥ":108553,"ĠвпÑĢоÑĩем":108554,"ĠвÑĭбоÑĢов":108555,"ĠвÑĭбÑĢаÑĤÑĮ":108556,"ĠгÑĢÑĥппой":108557,"ĠимпÑĥлÑĮÑģ":108558,"ĠконÑģеÑĢв":108559,"Ġмагазин":108560,"ĠназÑĭвал":108561,"Ġналогов":108562,"ĠоÑĤвеÑĢÑģÑĤ":108563,"ĠоÑĤвеÑĩал":108564,"ĠпеÑĢевед":108565,"ĠповÑĢежд":108566,"Ġпогибли":108567,"ĠпокинÑĥл":108568,"Ġполезно":108569,"ĠполÑĥоÑģÑĤ":108570,"ĠпоможеÑĤ":108571,"ĠпоÑģÑijлок":108572,"ĠпÑĢиеÑħал":108573,"ĠпÑĢизнал":108574,"ĠпÑĢиÑıÑĤно":108575,"ĠÑģбоÑĢник":108576,"ĠÑģбоÑĢнÑĥÑİ":108577,"ĠÑģвÑıзана":108578,"ĠÑģмоÑĤÑĢел":108579,"ĠÑģоздаеÑĤ":108580,"ĠÑģÑĤоÑĢона":108581,"ĠÑĤаинÑģÑĤв":108582,"ĠÑĤелевид":108583,"ĠÑĥÑĩиÑĤелÑĮ":108584,"ĠÑĦанÑĤаÑģÑĤ":108585,"ĠÑĦеномен":108586,"ĠÑħваÑĤаеÑĤ":108587,"оÑĨиалиÑģÑĤ":108588,"пÑĢогÑĢамм":108589,"ÑģÑĤвеннÑĭм":108590,"ĠÐŀÑģновнÑĭе":108591,"Ġдавление":108592,"Ġежегодно":108593,"ĠизвеÑģÑĤнÑĭ":108594,"ĠиноÑģÑĤÑĢан":108595,"ĠконÑģÑĤиÑĤÑĥ":108596,"ĠкÑĢиÑģÑĤалл":108597,"ĠкÑĥлÑĮÑĤÑĥÑĢа":108598,"ĠлиÑĩноÑģÑĤÑĮ":108599,"ĠнапÑĢавлÑı":108600,"ĠнапÑĢÑıжен":108601,"Ġневозмож":108602,"ĠнемеÑĨкий":108603,"ĠогÑĢомное":108604,"ĠоÑģновнÑĭм":108605,"ĠоÑĤкÑĢÑĭÑĤие":108606,"ĠпозволиÑĤ":108607,"Ġпоказали":108608,"ĠпÑĢедмеÑĤÑĭ":108609,"ĠпÑĢиведен":108610,"ĠпÑĢинÑĨипе":108611,"ĠпÑĢовеÑĢки":108612,"ĠпÑĭÑĤалиÑģÑĮ":108613,"ĠÑĢазведки":108614,"ĠÑĢаÑģÑģказа":108615,"ĠÑģиÑģÑĤемой":108616,"ĠÑĥбийÑģÑĤва":108617,"иÑĤелÑĮÑģÑĤво":108618,"полковник":108619,"Ġвеликолеп":108620,"ĠдвигаÑĤелÑĮ":108621,"ĠимÑĥÑīеÑģÑĤва":108622,"ĠконÑĦликÑĤа":108623,"ĠмонаÑģÑĤÑĭÑĢÑı":108624,"ĠнаÑģÑĤоÑıÑīий":108625,"ĠобÑĢабоÑĤки":108626,"ĠоÑģÑĤавалÑģÑı":108627,"ĠпозволÑıÑİÑĤ":108628,"ĠпÑĢедмеÑĤов":108629,"ĠпÑĢопаганд":108630,"ĠÑģвоеобÑĢаз":108631,"ĠÑģекÑĢеÑĤаÑĢÑĮ":108632,"ĠÑģкоÑĢоÑģÑĤÑĮÑİ":108633,"ĠÑģложноÑģÑĤи":108634,"ĠÑģоÑģÑĤавлен":108635,"ĠÑģоÑģÑĤоÑıлÑģÑı":108636,"ĠÑģÑĤÑĥденÑĤов":108637,"ĠÑĥÑĤвеÑĢждал":108638,"ĠÑĩÑĥвÑģÑĤвÑĥеÑĤ":108639,"ĠаÑĢÑħиÑĤекÑĤоÑĢ":108640,"ĠзаклÑİÑĩениÑı":108641,"ĠнеÑģомненно":108642,"ĠоÑĢигиналÑĮн":108643,"ĠоÑĤказаÑĤÑĮÑģÑı":108644,"ĠпоÑıвлÑıÑİÑĤÑģÑı":108645,"ĠпÑĢоиÑģÑħодÑıÑī":108646,"ĠÑĢазÑĢеÑĪениÑı":108647,"ĠÑĢаÑģÑģказаÑĤÑĮ":108648,"ĠÑĢеÑĪиÑĤелÑĮно":108649,"ĠÑģÑĢедÑģÑĤвами":108650,"ĠÑĥÑĤвеÑĢждаеÑĤ":108651,"ĠÑįкÑģпедиÑĨии":108652,"ĠгÑĢажданÑģкой":108653,"ĠдебÑİÑĤиÑĢовал":108654,"ĠмеÑĢопÑĢиÑıÑĤиÑı":108655,"ĠопÑĥбликовал":108656,"ĠпÑĢоÑĤивоÑģÑĤоÑı":108657,"ĠÑĢаÑģположенÑĭ":108658,"ĠÑĤемпеÑĢаÑĤÑĥÑĢÑĭ":108659,"ĠÑĨивилизаÑĨии":108660,"ĠобÑīеÑģÑĤвенной":108661,"ĠпÑĢоизведение":108662,"ĠÑĢÑĥководиÑĤелÑı":108663,"Ġкомандованием":108664,"ĠпÑĢоÑĦеÑģÑģионалÑĮ":108665,"ĠÑĢаÑģÑģмаÑĤÑĢиваÑĤÑĮ":108666,"ĠмеждÑĥнаÑĢодного":108667,"ÐĵУ":108668,"ÐĺÐĻ":108669,"ÐĺС":108670,"ÐĽÐµ":108671,"ÐľÐIJ":108672,"вз":108673,"нк":108674,"ои":108675,"Ñģн":108676,"Ñijг":108677,"?..":108678,"ĠÐĵи":108679,"ĠÐĶÑĢ":108680,"ĠÐĺл":108681,"ĠФи":108682,"Ġле":108683,"ÐĵоÑĢ":108684,"Ðļон":108685,"ЧеÑĢ":108686,"бай":108687,"бÑĥн":108688,"гÑĥÑĢ":108689,"деÑģ":108690,"длÑı":108691,"еди":108692,"еÑĨк":108693,"жиÑĢ":108694,"зал":108695,"иде":108696,"инÑĮ":108697,"каÑģ":108698,"лаÑħ":108699,"лой":108700,"лÑıÑħ":108701,"мод":108702,"ола":108703,"оÑĤÑĮ":108704,"ÑģаÑĢ":108705,"ÑĤам":108706,"ÑĤии":108707,"ÑĤÑĢÑĥ":108708,"Ñijнн":108709,"ÑijÑĤа":108710,"ĠÐĶÑĥб":108711,"ĠÐķÑīÑij":108712,"ĠÐļла":108713,"ĠÐļоÑĤ":108714,"ĠÐĽÑĥк":108715,"ĠÐľÐ¾Ð¹":108716,"ĠÐĿиÑĩ":108717,"ĠÐŀбÑī":108718,"ĠÐŁÐ°Ð¿":108719,"ĠÐŁÐµÐ½":108720,"ĠÐłÐ¾Ñģ":108721,"Ġбил":108722,"ĠбÑĥÑħ":108723,"ĠиеÑĢ":108724,"ĠкаÑĪ":108725,"Ġлоб":108726,"Ġмак":108727,"Ġмам":108728,"Ġмем":108729,"ĠпеÑī":108730,"Ġпла":108731,"Ġпле":108732,"ĠÑģкÑĢ":108733,"ĠÑĨиÑĤ":108734,"ĠÑīиÑĤ":108735,"ĠÑįпи":108736,"алей":108737,"алог":108738,"аÑĢÑħи":108739,"блÑİд":108740,"вига":108741,"дела":108742,"добÑĢ":108743,"дÑĭва":108744,"едиÑı":108745,"екÑĥл":108746,"елÑĮн":108747,"емаÑı":108748,"енин":108749,"еÑģен":108750,"звон":108751,"зÑĢел":108752,"идов":108753,"кали":108754,"клик":108755,"комп":108756,"лежа":108757,"нина":108758,"нÑİдÑĮ":108759,"нÑıÑĤÑĮ":108760,"обÑĢа":108761,"овно":108762,"олин":108763,"оÑģиÑĦ":108764,"оÑģÑģе":108765,"оÑħоÑĤ":108766,"ÑģоÑİз":108767,"ÑģÑĤаÑĤ":108768,"ÑģÑĤен":108769,"ÑģÑĤÑıÑħ":108770,"ÑĤана":108771,"ÑĤÑĢÑĥд":108772,"ÑĤÑĢÑıÑģ":108773,"ÑĤÑĥÑĢÑĭ":108774,"ÑĦеÑģÑĤ":108775,"ÑħодÑı":108776,"ÑīинÑĭ":108777,"ÑĮное":108778,"ÑįÑĤаж":108779,"ÑİÑīем":108780,"ÑıзÑĭÑĩ":108781,"ĠÐijогÑĥ":108782,"ĠÐĶани":108783,"ĠÐĶенÑĮ":108784,"ĠÐľÐ°Ð»Ð¾":108785,"ĠÐŀказ":108786,"ĠÐŁÑĢем":108787,"ĠСÑĤив":108788,"ĠаÑĢÑħи":108789,"ĠвеÑĢÑĥ":108790,"ĠгÑĢаб":108791,"ĠгÑĢеб":108792,"ĠдеÑĤÑĮ":108793,"Ġежед":108794,"ĠкоÑĦе":108795,"ĠкÑĢей":108796,"ĠкÑĢив":108797,"ĠмиÑģÑĤ":108798,"ĠмноÑİ":108799,"ĠнавÑĭ":108800,"Ġнепо":108801,"Ġокно":108802,"ĠпенÑģ":108803,"ĠпиÑģÑĤ":108804,"ĠпÑĢеÑĢ":108805,"ĠпÑĮÑıн":108806,"ĠÑģкал":108807,"ĠÑģмел":108808,"ĠÑģнÑıÑĤ":108809,"ĠÑģпин":108810,"ĠÑĤемп":108811,"ĠÑĥйÑĤи":108812,"ĠÑĦанÑĤ":108813,"ĠÑĦизи":108814,"ĠÑħодÑĥ":108815,"ĠÑħÑĢон":108816,"ĠÑĨена":108817,"ĠÑıйÑĨа":108818,"ĠÑıÑīик":108819,"алÑĮÑģк":108820,"беÑĢеж":108821,"воÑĢоÑĤ":108822,"гÑĢанÑĤ":108823,"езжал":108824,"еÑĤелÑĮ":108825,"конÑĤÑĢ":108826,"коÑģÑĤи":108827,"лÑĮной":108828,"ноÑģил":108829,"овиÑĩа":108830,"опиÑģÑĮ":108831,"оÑģÑĤÑĢо":108832,"оÑĩнаÑı":108833,"ÑĢазÑĥм":108834,"ÑĢаÑĨиÑı":108835,"ÑĢеÑĩен":108836,"ÑģÑĤвий":108837,"ÑģÑĤоиÑĤ":108838,"ÑĤеÑĢап":108839,"ÑĤÑıнÑĥл":108840,"ÑĥÑĢеаÑĤ":108841,"ÑħоÑĢон":108842,"Ñĩелов":108843,"ĠÐĶжейм":108844,"ĠÐĺнÑĤеÑĢ":108845,"ĠÐľÐ°ÑĢии":108846,"ĠÐĿаÑģел":108847,"ĠÐĿÑĥжно":108848,"ĠÐŁÐ¸ÑĤеÑĢ":108849,"ĠÐŁÐ¾Ð±ÐµÐ´":108850,"ĠСемен":108851,"ĠТакаÑı":108852,"ĠУпÑĢав":108853,"ĠУÑĩаÑģÑĤ":108854,"ĠЧаÑģÑĤо":108855,"ĠакÑĨии":108856,"ĠакÑĨий":108857,"ĠбеÑĢеÑĤ":108858,"ĠбÑĥÑĤÑĭл":108859,"ĠвиÑĢÑĤÑĥ":108860,"Ġгазов":108861,"ĠдобÑĢа":108862,"ĠзаÑħоÑĤ":108863,"ĠизбиÑĢ":108864,"Ġколен":108865,"ĠкоÑĢоб":108866,"Ġлеген":108867,"ĠлÑİбое":108868,"ĠмаÑĤÑĩа":108869,"ĠмеÑĤÑĢо":108870,"ĠмеÑĩÑĤа":108871,"ĠмиÑĢом":108872,"ĠназÑĭв":108873,"ĠниÑĩем":108874,"ĠобеиÑħ":108875,"ĠобÑĢÑıд":108876,"ĠобÑīин":108877,"ĠодеÑĢж":108878,"ĠопиÑĢа":108879,"ĠпоÑģÑĤÑĥ":108880,"ĠпоÑĩиÑĤ":108881,"ĠпÑĢиÑijм":108882,"ĠÑĢазоб":108883,"ĠÑĢодов":108884,"ĠÑģеÑĢий":108885,"ĠÑģидел":108886,"ĠÑģÑĢедÑĥ":108887,"ĠÑģÑĤоÑıÑĤ":108888,"ĠÑģÑĨенÑĭ":108889,"ĠÑĤайнÑĭ":108890,"ĠÑĤобой":108891,"ĠÑĤоÑĩка":108892,"ĠÑĪоÑģÑģе":108893,"аÑİÑīего":108894,"водиÑĤÑĮ":108895,"вÑĪееÑģÑı":108896,"знаком":108897,"ийÑģкаÑı":108898,"иÑĢовав":108899,"опÑĢиÑıÑĤ":108900,"пÑĢоÑĤив":108901,"ÑģовеÑĤа":108902,"ÑģопÑĢов":108903,"ÑģÑĤавка":108904,"ÑģÑĤÑĥпал":108905,"ÑĨиклоп":108906,"ÑĩеÑģкаÑı":108907,"ÑĩеÑģкое":108908,"ÑİÑīееÑģÑı":108909,"ĠÐijеÑĢлин":108910,"ĠÐĵÑĢеÑĨии":108911,"ĠÐĶжоÑĢдж":108912,"ĠÐĶмиÑĤÑĢи":108913,"ĠÐĶÑĢÑĥгие":108914,"ĠÐĹнаÑĩиÑĤ":108915,"ĠÐŁÐµÑĢвое":108916,"ĠÐŁÐ¾Ð»ÑĮÑĪи":108917,"ĠÐłÐ¸ÑĩаÑĢд":108918,"ĠСоедин":108919,"ĠУилÑĮÑıм":108920,"ĠХоÑĢоÑĪо":108921,"ĠбÑĭваÑİÑĤ":108922,"ĠважнÑĭм":108923,"ĠважнÑĭÑħ":108924,"ĠвеÑĢÑħов":108925,"ĠдеÑĢева":108926,"ĠдеÑĤÑĮми":108927,"Ġдиалог":108928,"ĠединиÑĨ":108929,"ĠздÑĢаво":108930,"ĠиндекÑģ":108931,"ĠкадÑĢов":108932,"Ġкаждое":108933,"ĠкаждÑĥÑİ":108934,"ĠкаждÑĭм":108935,"ĠкаменÑĮ":108936,"ĠкоÑĢпоÑĢ":108937,"ĠкÑģÑĤаÑĤи":108938,"ĠлÑĥÑĩÑĪий":108939,"ĠмоÑĢалÑĮ":108940,"ĠнаÑĢÑıдÑĥ":108941,"ĠобÑģÑĥжд":108942,"Ġокеана":108943,"ĠоÑĢÑĥдиÑı":108944,"ĠоÑĤкÑĢов":108945,"ĠоÑĤнÑİдÑĮ":108946,"ĠоÑħÑĢанÑĭ":108947,"ĠплаÑĤеж":108948,"ĠпонÑĢав":108949,"ĠпÑĢавой":108950,"ĠпÑĢиÑĤок":108951,"ĠпÑĢовал":108952,"ĠпÑĢовоз":108953,"ĠпÑĢоÑĩиÑħ":108954,"ĠÑĢакеÑĤÑĭ":108955,"ĠÑģевеÑĢе":108956,"ĠÑģеÑģÑĤÑĢа":108957,"ĠÑģинÑĤез":108958,"ĠÑģлÑĥжбе":108959,"ĠÑģлÑĥÑĩаи":108960,"ĠÑģоблÑİд":108961,"ĠÑģобÑĢал":108962,"ĠÑģокÑĢаÑĤ":108963,"ĠÑģÑĤакан":108964,"ĠÑģÑĤаÑĤÑĮÑİ":108965,"ĠÑģÑĤоÑıли":108966,"ĠÑģÑĥдÑĮбÑĭ":108967,"ĠÑĤÑĢевог":108968,"ĠÑĥÑĩениÑı":108969,"ĠÑĥÑĩилÑģÑı":108970,"ĠÑĦанÑĤаз":108971,"ĠÑħиÑĢÑĥÑĢг":108972,"ĠÑħозÑıин":108973,"ĠÑĨаÑĢÑģÑĤв":108974,"ĠÑĩеÑģÑĤно":108975,"ĠÑıзÑĭком":108976,"деÑĢжива":108977,"езиденÑĤ":108978,"оÑģÑĤанов":108979,"ĠÐĵоÑģÑĥдаÑĢ":108980,"ĠÐĽÐ¾Ð½Ð´Ð¾Ð½Ðµ":108981,"ĠУнивеÑĢÑģ":108982,"ĠвпеÑĢеди":108983,"ĠвÑĭзваÑĤÑĮ":108984,"ĠвÑĭÑĢазил":108985,"ĠвÑĭÑģокий":108986,"ĠвÑĭÑģокиÑħ":108987,"ĠгÑĢаниÑĨÑĥ":108988,"ĠдевÑĥÑĪки":108989,"ĠдеÑĢевÑĮÑı":108990,"ĠдиалекÑĤ":108991,"ĠзавеÑĢÑĪи":108992,"ĠзаÑĢплаÑĤ":108993,"ĠинÑĤелли":108994,"ĠиÑģÑĤоÑĢик":108995,"ĠкомнаÑĤÑĥ":108996,"ĠконÑĨенÑĤ":108997,"Ġмолодеж":108998,"ĠналиÑĩии":108999,"ĠоÑĤкÑĢÑĭÑĤÑĮ":109000,"Ġпобедил":109001,"ĠповеÑģÑĤв":109002,"ĠпозиÑĨиÑı":109003,"ĠпоÑĤеÑĢÑıл":109004,"ĠпÑĢоÑĨенÑĤ":109005,"ĠÑĢазвива":109006,"ĠÑĢазмеÑĢе":109007,"ĠÑĢайонов":109008,"ĠÑģоздана":109009,"ĠÑģÑĤолиÑĨÑĭ":109010,"ĠÑģÑĤÑĢанно":109011,"ĠÑģÑĤÑĢаÑħов":109012,"ĠÑĤелевиз":109013,"ĠÑĥбежден":109014,"ĠÑĥÑģлÑĭÑĪал":109015,"ĠÑĥÑĩиÑĤелÑı":109016,"ĠÑħоÑĢоÑĪий":109017,"аÑĤелÑĮнÑĭÑħ":109018,"воÑĢаÑĩива":109019,"именован":109020,"иÑĤелÑĮное":109021,"ÑģÑĤвенной":109022,"ÑĥголÑĮник":109023,"ĠÐļÑĢаÑģного":109024,"ĠаппаÑĢаÑĤа":109025,"Ġвозобнов":109026,"ĠвÑģÑĤÑĢеÑĤил":109027,"ĠдавлениÑı":109028,"ĠзамеÑĤиÑĤÑĮ":109029,"ĠздоÑĢовÑĮе":109030,"Ġкампании":109031,"ĠкомплекÑĤ":109032,"ĠкÑĢепоÑģÑĤи":109033,"ĠменеджеÑĢ":109034,"ĠмÑĭÑĪлениÑı":109035,"ĠнаÑĩалиÑģÑĮ":109036,"ĠнеизвеÑģÑĤ":109037,"ĠопиÑģаниÑı":109038,"ĠоÑĤмеÑĩаеÑĤ":109039,"ĠоÑĤпÑĢавлÑı":109040,"ĠпланиÑĢов":109041,"ĠподÑħодиÑĤ":109042,"ĠпÑĢедпÑĢин":109043,"ĠпÑĢоводил":109044,"ĠÑģвободно":109045,"ĠÑģобÑĢание":109046,"ĠÑģодеÑĢжаÑĤ":109047,"ĠÑģÑĤолеÑĤиÑı":109048,"ĠÑĤÑĢеÑĤÑĮего":109049,"ĠÑĨенноÑģÑĤи":109050,"ĠÑĩиÑĤаÑĤелÑı":109051,"лейÑĤенанÑĤ":109052,"ÑģоÑĨиалиÑģÑĤ":109053,"ÑģÑĤвенного":109054,"ĠÐĺмпеÑĢаÑĤоÑĢ":109055,"ĠÐĿаÑģеление":109056,"ĠÐłÐµÐ·ÑĥлÑĮÑĤаÑĤ":109057,"ĠСовеÑĤÑģкой":109058,"ĠвозникаÑİÑĤ":109059,"ĠвÑĭполниÑĤÑĮ":109060,"ĠвÑĭÑĢажениÑı":109061,"Ġежедневно":109062,"ĠобÑĢаÑĤилÑģÑı":109063,"ĠоказаÑĤÑĮÑģÑı":109064,"Ġподобного":109065,"ĠпониманиÑı":109066,"ĠпоÑģледним":109067,"ĠÑģледÑĥÑİÑīиÑħ":109068,"ĠÑģпеÑĨиализ":109069,"ĠÑģÑĤоимоÑģÑĤи":109070,"ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢа":109071,"ĠÑĦакÑĥлÑĮÑĤеÑĤ":109072,"ологиÑĩеÑģки":109073,"ÑģопÑĢовожда":109074,"ĠÐijелоÑĢÑĥÑģÑģии":109075,"ĠвооÑĢÑĥжение":109076,"ĠзаклÑİÑĩение":109077,"ĠнапоминаеÑĤ":109078,"ĠнаÑģÑĤоÑıÑīего":109079,"ĠопÑĢеделÑıеÑĤ":109080,"ĠоÑģÑĤавалоÑģÑĮ":109081,"ĠоÑģÑĤаваÑĤÑĮÑģÑı":109082,"ĠподÑĩеÑĢкнÑĥл":109083,"ĠпÑĢиложение":109084,"ĠпÑĢоизведен":109085,"ĠÑĢазлиÑĩнÑĭми":109086,"ĠÑģелÑĮÑģовеÑĤа":109087,"ĠÑģоглаÑĪение":109088,"ĠÑģоглаÑĪениÑı":109089,"ĠÑģпÑĢаведлив":109090,"ĠÑĤÑĢанÑģпоÑĢÑĤа":109091,"ĠÑĦоÑĤогÑĢаÑĦии":109092,"ĠобÑĬединениÑı":109093,"ĠогÑĢаниÑĩениÑı":109094,"ĠÑģоÑĨиалÑĮного":109095,"ĠÑģпеÑĨиалÑĮнÑĭÑħ":109096,"ĠÑĨенÑĤÑĢалÑĮной":109097,"ĠÐŀдновÑĢеменно":109098,"ĠзнаÑĩиÑĤелÑĮной":109099,"ĠиÑģполÑĮзовали":109100,"ĠиÑģÑĤоÑĢиÑĩеÑģкиÑħ":109101,"Ġкомандование":109102,"ĠпеÑĢеименован":109103,"ĠпÑĢоизводÑģÑĤве":109104,"ĠÑģвидеÑĤелÑĮÑģÑĤв":109105,"ĠамеÑĢиканÑģкого":109106,"ĠобÑģÑĤоÑıÑĤелÑĮÑģÑĤв":109107,"ĠпÑĢоÑĦеÑģÑģионалÑĮно":109108,"оÑĨиалиÑģÑĤиÑĩеÑģкого":109109,"ÐIJÐļ":109110,"ÐIJл":109111,"ÐĵÐIJ":109112,"ÐĺÐĺ":109113,"ÐļС":109114,"ÐľÐ°":109115,"ÐĿо":109116,"ÐŀÐļ":109117,"ÐŁÐŀ":109118,"Си":109119,"Те":109120,"Ñijк":109121,"ĠÐĹÐIJ":109122,"ĠÐĹо":109123,"ĠÐŀл":109124,"ĠТÑĢ":109125,"ĠУÑģ":109126,"ĠХи":109127,"ĠÑĤк":109128,"ĠÑĤÑı":109129,"ÐIJТÐŀ":109130,"ÐIJлÑĮ":109131,"ÐĴол":109132,"Ðĵаз":109133,"ÐľÐ°ÑĢ":109134,"ÐŁÐ¾Ð´":109135,"ТÐIJÐł":109136,"бав":109137,"баÑģ":109138,"гло":109139,"дад":109140,"два":109141,"дой":109142,"енг":109143,"енÑĨ":109144,"еÑģн":109145,"жаÑĢ":109146,"зим":109147,"кап":109148,"кÑĢе":109149,"кÑĢи":109150,"лай":109151,"леб":109152,"леÑĩ":109153,"лоб":109154,"мад":109155,"маÑģ":109156,"нÑĮÑİ":109157,"оде":109158,"пиÑĩ":109159,"Ñģал":109160,"ÑĤаÑı":109161,"ÑĤип":109162,"ÑĤка":109163,"ÑĦен":109164,"ÑĦÑĢи":109165,"Ñħол":109166,"ÑĪав":109167,"ÑĪкÑĥ":109168,"ÑĮба":109169,"ÑİÑĢо":109170,"Ñıне":109171,"ÑıÑĤа":109172,"ĠÐijаÑĪ":109173,"ĠÐijоб":109174,"ĠÐĶоÑĢ":109175,"ĠÐĹаÑĩ":109176,"ĠÐĺгÑĢ":109177,"ĠÐĺеÑĢ":109178,"ĠÐļаб":109179,"ĠÐļоз":109180,"ĠÐļÑĢо":109181,"ĠÐĽÐ¸Ð²":109182,"ĠÐľÐ¸ÑĪ":109183,"ĠÐŀÑĢг":109184,"ĠÐŁÐ°Ñģ":109185,"ĠÐŁÐ¸ÑĢ":109186,"ĠÐłÐ°Ð±":109187,"ĠÐłÑıд":109188,"ĠСиб":109189,"ĠСоÑĦ":109190,"ĠТал":109191,"ĠÐ¥Ñĥд":109192,"ĠваÑĢ":109193,"ĠзвÑĥ":109194,"Ġизо":109195,"ĠкиÑĪ":109196,"Ġкоз":109197,"Ġлак":109198,"Ġлим":109199,"ĠнеÑĢ":109200,"ĠоÑģи":109201,"ĠпÑĢÑı":109202,"ĠÑĢоб":109203,"ĠÑĢÑĥд":109204,"ÐļоÑĢÑĢ":109205,"ажно":109206,"апаз":109207,"аÑĢда":109208,"аÑģÑģа":109209,"бега":109210,"бÑĢеÑĤ":109211,"ваÑĢи":109212,"глÑĥб":109213,"гÑĢав":109214,"дÑĢом":109215,"евÑĭм":109216,"ейÑĤи":109217,"еком":109218,"екÑģÑĥ":109219,"иваÑı":109220,"инаÑĢ":109221,"канÑĤ":109222,"ленн":109223,"нÑĭне":109224,"нÑıка":109225,"один":109226,"омаÑĤ":109227,"оÑĢиÑĤ":109228,"оÑĩеÑĤ":109229,"пали":109230,"пекÑĤ":109231,"плеÑĤ":109232,"пода":109233,"пÑĢод":109234,"ÑĢÑĥга":109235,"ÑĢÑĥÑĪи":109236,"ÑĤÑĢен":109237,"ÑĥÑĤоÑĩ":109238,"ÑĥÑħов":109239,"ÑĥÑĩно":109240,"ÑĦеÑĢа":109241,"ÑħожÑĥ":109242,"ÑĩеÑģÑĤ":109243,"ÑĩиÑĤÑĮ":109244,"ÑĩнÑĥÑİ":109245,"Ñīика":109246,"Ñīими":109247,"ÑĮеÑĢа":109248,"ÑĮнÑĭм":109249,"ĠÐIJдам":109250,"ĠÐijелÑĮ":109251,"ĠÐijолÑĮ":109252,"ĠÐijÑĭли":109253,"ĠÐĴене":109254,"ĠÐĵÑĢан":109255,"ĠÐķдин":109256,"ĠÐļÑĢем":109257,"ĠÐĽÐ¸ÑĪÑĮ":109258,"ĠÐľÐ°Ð»ÑĮ":109259,"ĠÐŁÐ¾Ð·Ð´":109260,"ĠÐŁÐ¾Ð»Ð¸":109261,"ĠÐŁÐ¾ÑĢÑĤ":109262,"ĠСпиÑģ":109263,"ĠСÑĤÑĢо":109264,"ĠЦвеÑĤ":109265,"ĠвеÑĢÑĤ":109266,"ĠвеÑĢÑĭ":109267,"Ġвино":109268,"Ġвозм":109269,"ĠдеÑıÑĤ":109270,"Ġднев":109271,"ĠжеÑĢÑĤ":109272,"Ġикон":109273,"Ġиной":109274,"ĠкаÑģа":109275,"ĠкаÑģÑģ":109276,"Ġобол":109277,"ĠовоÑī":109278,"ĠоÑģна":109279,"ĠплоÑģ":109280,"Ġподо":109281,"Ġпола":109282,"ĠпÑĢез":109283,"ĠÑĢекÑĥ":109284,"ĠÑĢÑıде":109285,"ĠÑģидÑı":109286,"ĠÑģкоÑĤ":109287,"ĠÑģниж":109288,"ĠÑĥдел":109289,"ĠÑĥпал":109290,"ĠÑĥÑĪел":109291,"алеко":109292,"генеÑĢ":109293,"гнаÑĤÑĮ":109294,"гоÑĢел":109295,"гÑĢани":109296,"единÑĭ":109297,"еÑĢÑĮез":109298,"еÑĨкий":109299,"измом":109300,"иÑĦиÑĨи":109301,"кнÑĥÑĤÑĮ":109302,"кÑĢÑĭÑĤÑĮ":109303,"лÑıÑĤоÑĢ":109304,"неÑĤÑģÑı":109305,"новеÑģ":109306,"нолог":109307,"ноÑģÑıÑĤ":109308,"облад":109309,"омним":109310,"памÑıÑĤ":109311,"ÑģÑĤаеÑĤ":109312,"ÑĨкого":109313,"Ñĩение":109314,"ĠÐĴалеÑĢ":109315,"ĠÐĴÑĢемÑı":109316,"ĠÐĶлина":109317,"ĠÐĺоанн":109318,"ĠÐĺоÑģиÑĦ":109319,"ĠÐĿикÑĤо":109320,"ĠСиÑĢии":109321,"ĠТÑĢеÑĤÑĮ":109322,"ĠбоÑĢÑĤÑĥ":109323,"ĠбÑĢоне":109324,"ĠбÑĭÑĤиÑı":109325,"ĠваÑĪиÑħ":109326,"ĠвзÑıли":109327,"Ġвидом":109328,"ĠгипеÑĢ":109329,"ĠгÑĢÑĥбо":109330,"Ġдалек":109331,"ĠдвоÑĢа":109332,"ĠдеÑĤÑıм":109333,"Ġживой":109334,"ĠзвÑijзд":109335,"ĠзениÑĤ":109336,"ĠзеÑĢка":109337,"ĠиденÑĤ":109338,"ĠинÑĤег":109339,"ĠинÑĦÑĢа":109340,"Ġказни":109341,"ĠкаÑĢÑĤе":109342,"ĠкÑĥпил":109343,"ĠкÑĥÑĢÑģа":109344,"Ġлевой":109345,"ĠлиниÑİ":109346,"ĠлÑİблÑİ":109347,"ĠлÑİбÑĭе":109348,"ĠмеÑģÑĤÑĥ":109349,"ĠмÑĥжик":109350,"ĠнаблÑİ":109351,"ĠнаÑĢÑĥж":109352,"Ġнизко":109353,"ĠноÑĢмÑĭ":109354,"ĠноÑģил":109355,"ĠноÑģиÑĤ":109356,"ĠобзоÑĢ":109357,"Ġоблик":109358,"ĠобÑģÑĥж":109359,"ĠобÑīиÑħ":109360,"ĠозеÑĢо":109361,"ĠоÑĤÑĢав":109362,"ĠоÑĤÑħод":109363,"ĠпеÑħоÑĤ":109364,"Ġповел":109365,"ĠпойÑĤи":109366,"ĠпоÑĢог":109367,"ĠÑĢавен":109368,"ĠÑģамÑĥÑİ":109369,"ĠÑģнÑıÑĤÑĮ":109370,"ĠÑģобоÑİ":109371,"ĠÑģовеÑī":109372,"ĠÑģоÑĢок":109373,"ĠÑģпиÑĢÑĤ":109374,"ĠÑģÑĢока":109375,"ĠÑģÑĬезд":109376,"ĠÑģÑĭном":109377,"ĠÑĤкани":109378,"ĠÑĦакÑĤÑĭ":109379,"ĠÑĦланг":109380,"ĠÑĨенно":109381,"анÑģкой":109382,"еннÑĭми":109383,"иÑĢовка":109384,"ÑģколÑĮз":109385,"ÑģÑĤавлÑı":109386,"ÑģÑĤÑĢада":109387,"ÑģÑĤÑĢелÑı":109388,"ÑħодиÑĤÑĮ":109389,"ÑĩаÑģÑĤÑĥÑİ":109390,"ĠÐIJвÑģÑĤÑĢа":109391,"ĠÐijолгаÑĢ":109392,"ĠÐijолÑĮÑĪе":109393,"ĠÐĴообÑīе":109394,"ĠÐĵеÑĢман":109395,"ĠÐĽÐ¾Ð½Ð´Ð¾Ð½":109396,"ĠÐľÐ°ÑĢÑĤин":109397,"ĠСибиÑĢи":109398,"ĠСпиÑģок":109399,"ĠТÑĥÑĢÑĨии":109400,"ĠаÑĢмией":109401,"ĠбоевÑĭе":109402,"ĠвинÑĤов":109403,"ĠволоÑģÑĭ":109404,"ĠвÑĢагов":109405,"ĠвÑĭдвин":109406,"ĠгазеÑĤе":109407,"Ġгеолог":109408,"ĠдевÑıÑĤÑĮ":109409,"Ġдиапаз":109410,"Ġзаводе":109411,"ĠзапÑĥÑģк":109412,"ĠкаÑĢман":109413,"ĠкиÑĢпиÑĩ":109414,"ĠклимаÑĤ":109415,"ĠлиÑģÑĤÑĮÑı":109416,"ĠмаÑĤÑĩей":109417,"ĠмиÑĤÑĢоп":109418,"ĠмÑĥзÑĭкÑĥ":109419,"Ġнаимен":109420,"ĠнаÑĢодÑĥ":109421,"ĠнезнаÑĩ":109422,"ĠобвинÑı":109423,"ĠодеждÑĭ":109424,"ĠоÑģмоÑĤÑĢ":109425,"ĠоÑĤказа":109426,"ĠоÑĪибка":109427,"ĠоÑĪибок":109428,"ĠпеÑĢеÑĥл":109429,"ĠпогÑĢÑĥж":109430,"ĠпоÑģолÑĮ":109431,"ĠпÑĢизÑijÑĢ":109432,"ĠпÑĢоÑģил":109433,"ĠпÑĢоÑĩим":109434,"ĠÑĢиÑĤÑĥал":109435,"ĠÑģвеÑĤло":109436,"ĠÑģвÑıзей":109437,"ĠÑģмогÑĥÑĤ":109438,"ĠÑģомнев":109439,"ĠÑģоÑĩеÑĤа":109440,"ĠÑģÑĤаÑĢик":109441,"ĠÑģÑĤаÑĢÑĭй":109442,"ĠÑģÑĤÑĢаÑħа":109443,"ĠÑĤвеÑĢдо":109444,"ĠÑĤоÑĢмоз":109445,"ĠÑĥÑħодиÑĤ":109446,"ĠÑĥÑĩеÑĤом":109447,"ĠÑĦизики":109448,"ĠÑĦилÑĮÑĤÑĢ":109449,"воÑģÑĤоÑĩн":109450,"евÑģкого":109451,"ивÑĪийÑģÑı":109452,"ивÑĪиÑħÑģÑı":109453,"ноÑĪениÑı":109454,"опÑĢедел":109455,"пÑĢаÑĪива":109456,"ÑĪеÑģÑĤвиÑı":109457,"ĠÐķвгений":109458,"ĠÐľÐ¸Ñħаила":109459,"ĠÐŀконÑĩил":109460,"ĠÐŁÐ¾Ð·Ð´Ð½ÐµÐµ":109461,"ĠÐłÐ¾ÑģÑģией":109462,"ĠЦеÑĢковÑĮ":109463,"ĠболезнÑĮ":109464,"ĠболÑĮнÑĭÑħ":109465,"ĠвеÑĢнÑĥÑĤÑĮ":109466,"ĠвеÑĢÑħней":109467,"ĠвлаÑģÑĤей":109468,"ĠволоÑģÑĤи":109469,"ĠвÑĭÑģÑĪего":109470,"ĠдеÑĢжаÑĤÑĮ":109471,"ĠдеÑģÑıÑĤки":109472,"ĠдеÑĤÑģÑĤва":109473,"ĠдоÑģÑĤиÑĩÑĮ":109474,"ĠдоÑģÑĤÑĥпа":109475,"ĠжÑĥÑĢнале":109476,"ĠкабинеÑĤ":109477,"ĠкоÑĢидоÑĢ":109478,"ĠкÑĢÑĥпней":109479,"ĠлиÑĩного":109480,"ĠменÑĮÑĪей":109481,"ĠмеÑģÑĤнÑĭе":109482,"ĠмолекÑĥл":109483,"ĠнаÑħодиÑĤ":109484,"ĠоÑģобого":109485,"ĠпаÑĤÑĢиоÑĤ":109486,"ĠпеÑĢедал":109487,"ĠпеÑĢейÑĤи":109488,"ĠпланиÑĢÑĥ":109489,"ĠповÑĤоÑĢÑı":109490,"ĠповÑĭÑĪен":109491,"ĠпоговоÑĢ":109492,"ĠполÑĥÑĩал":109493,"ĠпопаÑģÑĤÑĮ":109494,"ĠпÑĢеделÑĭ":109495,"ĠÑĢазгÑĢом":109496,"ĠÑĢегионе":109497,"ĠÑĢейÑĤинг":109498,"ĠÑģделано":109499,"ĠÑģкандал":109500,"ĠÑģобÑĭÑĤие":109501,"ĠÑģолдаÑĤÑĭ":109502,"ĠÑģÑĤÑĢаÑĪно":109503,"ĠÑĤелекан":109504,"ĠÑĤÑĥÑĢниÑĢа":109505,"ĠÑĥÑĩаÑģÑĤка":109506,"ĠÑĦилÑĮмов":109507,"ĠÑĦÑĥÑĤболÑĮ":109508,"ĠÑĨеликом":109509,"ĠÑįкзамен":109510,"иÑĤелÑĮнаÑı":109511,"ÑģÑĤвоваÑĤÑĮ":109512,"ÑģÑĤÑĢÑĥкÑĤÑĥÑĢ":109513,"ÑĤиÑĩеÑģкиÑħ":109514,"ĠÐĴаÑģилÑĮев":109515,"ĠалгоÑĢиÑĤм":109516,"ĠвеÑĢÑĤолеÑĤ":109517,"ĠвÑĭполнен":109518,"ĠдвадÑĨаÑĤи":109519,"Ġдвижении":109520,"Ġзападной":109521,"ĠзапÑĢеÑīен":109522,"ĠзаÑħваÑĩен":109523,"ĠзаÑĩаÑģÑĤÑĥÑİ":109524,"ĠклиенÑĤов":109525,"ĠкомиÑģÑģаÑĢ":109526,"ĠкÑĥлÑĮÑĤÑĥÑĢе":109527,"ĠминималÑĮ":109528,"ĠмÑĥзÑĭканÑĤ":109529,"ĠнапиÑģано":109530,"Ġнедалеко":109531,"ĠнемеÑĨкой":109532,"ĠоÑģÑĤалаÑģÑĮ":109533,"ĠоÑģÑĤаÑİÑĤÑģÑı":109534,"ĠоÑģÑĤÑĢовов":109535,"ĠоÑĤвеÑĤиÑĤÑĮ":109536,"ĠпеÑĢеÑħода":109537,"Ġподобное":109538,"ĠподозÑĢев":109539,"ĠполиÑĤике":109540,"ĠполиÑĤикÑĥ":109541,"ĠпÑĢинÑĨипÑĭ":109542,"ĠпÑĢинÑıÑĤиÑı":109543,"ĠпÑĢоÑģпекÑĤ":109544,"ĠпÑĥблиÑĩно":109545,"ĠÑĢабоÑĤала":109546,"ĠÑĢазлиÑĩиÑı":109547,"ĠÑĢежиÑģÑģеÑĢ":109548,"ĠÑĢежиÑģÑģÑijÑĢ":109549,"ĠÑģеÑĢединÑĭ":109550,"ĠÑģодеÑĢжаÑī":109551,"ĠÑģозданиÑİ":109552,"ĠÑģоÑģÑĤавил":109553,"ĠÑģÑĥÑīеÑģÑĤва":109554,"ĠÑĥпомÑıнÑĥÑĤ":109555,"ĠÑĦакÑĤоÑĢов":109556,"ĠÑįволÑİÑĨии":109557,"иÑĢованнÑĭе":109558,"ĠÐĴоÑģÑĤоÑĩной":109559,"ĠÐĴÑģеленной":109560,"ĠбаÑĤалÑĮона":109561,"Ġвозглавил":109562,"ĠвозможнÑĭм":109563,"ĠвоÑģÑģÑĤаниÑı":109564,"ĠмаленÑĮкий":109565,"ĠнагÑĢажден":109566,"ĠнаказаниÑı":109567,"ĠнаÑĢÑĥÑĪение":109568,"ĠнекоÑĤоÑĢÑĭм":109569,"ĠобÑĢаÑīение":109570,"ĠобÑĢаÑīениÑı":109571,"ĠобÑģлÑĥжива":109572,"Ġодинаково":109573,"ĠоконÑĩании":109574,"ĠповÑĭÑĪение":109575,"ĠпоÑģеление":109576,"ĠпоÑĤенÑĨиал":109577,"ĠпоÑıвление":109578,"ĠпÑĢеделами":109579,"ĠпÑĢедложен":109580,"ĠпÑĢовеÑĢиÑĤÑĮ":109581,"ĠÑĢаÑģполага":109582,"ĠÑģледовало":109583,"ĠÑģовеÑĤÑģкие":109584,"ĠÑĥÑģÑĤановил":109585,"ĠÑĥÑĩаÑģÑĤники":109586,"ĠÑĩемпионаÑĤ":109587,"ÑĢеволÑİÑĨион":109588,"ĠÐŁÐµÑĤеÑĢбÑĥÑĢге":109589,"ĠÐŁÑĢезидиÑĥма":109590,"ĠбезÑĥÑģловно":109591,"ĠзанимаеÑĤÑģÑı":109592,"ĠизвеÑģÑĤного":109593,"ĠиÑģполнение":109594,"ĠиÑģполнениÑı":109595,"ĠобнаÑĢÑĥжили":109596,"ĠокÑĢÑĥжаÑİÑīей":109597,"ĠоÑĤлиÑĩаÑİÑĤÑģÑı":109598,"ĠподгоÑĤовке":109599,"ĠполÑĥÑĩилоÑģÑĮ":109600,"ĠпÑĢодолжаÑĤÑĮ":109601,"ĠпÑĢоÑĦеÑģÑģоÑĢа":109602,"ĠпÑĢоÑıвлениÑı":109603,"ĠпÑģиÑħологии":109604,"ĠÑĢазÑĢабоÑĤке":109605,"ĠÑĢазÑĢеÑĪение":109606,"ĠÑģоглаÑģилÑģÑı":109607,"ĠÑģоÑĤÑĢÑĥдники":109608,"ĠÑĦизиÑĩеÑģкой":109609,"ĠÑħÑĥдожников":109610,"ÑĢаÑģпÑĢоÑģÑĤÑĢан":109611,"ĠанглийÑģкого":109612,"ĠвнÑĥÑĤÑĢеннего":109613,"ĠевÑĢопейÑģкиÑħ":109614,"ĠиÑģполниÑĤелÑĮ":109615,"ĠнаÑģÑĤÑĥплениÑı":109616,"ĠнаÑĩалÑĮником":109617,"ĠнепÑĢавилÑĮно":109618,"ĠобеÑģпеÑĩение":109619,"ĠпеÑĢеговоÑĢов":109620,"ĠпÑĢезиденÑĤом":109621,"ĠпÑĢоиÑģÑħодило":109622,"ĠÑĢезÑĥлÑĮÑĤаÑĤам":109623,"ĠÑĢезÑĥлÑĮÑĤаÑĤом":109624,"ĠÑĥдивиÑĤелÑĮно":109625,"ĠÐĴпоÑģледÑģÑĤвии":109626,"ĠÐľÐ¸Ð½Ð¸ÑģÑĤеÑĢÑģÑĤва":109627,"ĠобеÑģпеÑĩиваеÑĤ":109628,"ĠподдеÑĢживаÑĤÑĮ":109629,"ĠпоÑĩÑĥвÑģÑĤвовал":109630,"ĠпÑĢедполагаеÑĤ":109631,"ĠÑģоÑģÑĢедоÑĤоÑĩен":109632,"ĠÑĦÑĢанÑĨÑĥзÑģкого":109633,"ĠÑįкÑģплÑĥаÑĤаÑĨии":109634,"ĠиÑģполÑĮзовании":109635,"ĠÑħаÑĢакÑĤеÑĢиÑģÑĤик":109636,"ĠмногоÑĩиÑģленнÑĭÑħ":109637,"ĠпÑĢедваÑĢиÑĤелÑĮно":109638,"ĠпÑĢедÑģÑĤавлÑıеÑĤÑģÑı":109639,"ĠпÑĢиблизиÑĤелÑĮно":109640,"ĠÑħаÑĢакÑĤеÑĢиÑģÑĤики":109641,"ĠÑįкономиÑĩеÑģкого":109642,"ĠÑģвидеÑĤелÑĮÑģÑĤвÑĥеÑĤ":109643,"ÌģÑĤ":109644,"ÐĶÐIJ":109645,"ÐľÐ¡":109646,"ÐľÐ¾":109647,"ÐĿÑĥ":109648,"ÐŁÐ£":109649,"ÐłÐ°":109650,"дз":109651,"ÑĢÑij":109652,"ÑįÑģ":109653,"ÑıÑı":109654,"ĠÐIJÑĤ":109655,"ĠÐijл":109656,"ĠÐķС":109657,"ĠÐķÑĢ":109658,"ĠУз":109659,"ĠÑĩÑĥ":109660,"ĠÑįв":109661,"ÐijеÑĢ":109662,"ÐĴоÑģ":109663,"ÐĶон":109664,"ÐķÐĿÐĺ":109665,"ÐŁÐ°ÑĢ":109666,"ÐŁÑĢе":109667,"Так":109668,"ави":109669,"аев":109670,"бак":109671,"виÑĢ":109672,"вов":109673,"гÑĢи":109674,"гÑĥл":109675,"дак":109676,"дей":109677,"дÑĢи":109678,"еÑĢк":109679,"еÑĤÑĤ":109680,"иги":109681,"има":109682,"иÑĢк":109683,"йÑģÑı":109684,"кив":109685,"коÑĪ":109686,"лÑĭе":109687,"меÑģ":109688,"меÑı":109689,"нÑĮе":109690,"нÑıл":109691,"овÑĭ":109692,"ожа":109693,"оза":109694,"оÑĦÑĦ":109695,"пеÑĪ":109696,"пиÑĢ":109697,"плÑİ":109698,"пÑĥл":109699,"ÑģÑģе":109700,"ÑĤаÑģ":109701,"ÑĤаÑħ":109702,"ÑĤÑĢе":109703,"Ñĥна":109704,"ÑĥÑįÑĢ":109705,"ÑĦиг":109706,"ÑĦик":109707,"ÑĪаÑħ":109708,"...>":109709,"ĠÐIJна":109710,"ĠÐijак":109711,"ĠÐĴой":109712,"ĠÐĵан":109713,"ĠÐĵон":109714,"ĠÐĹим":109715,"ĠÐļÑĥп":109716,"ĠÐľÐ°Ñħ":109717,"ĠÐľÐ¾Ð³":109718,"ĠÐŀба":109719,"ĠÐłÐ°Ð¼":109720,"ĠСад":109721,"ĠТиÑħ":109722,"ĠФаÑĢ":109723,"ĠХол":109724,"ĠШеÑĢ":109725,"ĠШиÑĢ":109726,"ĠЮго":109727,"ĠагÑĢ":109728,"ĠаÑĢÑĤ":109729,"ĠбоÑĤ":109730,"Ġвли":109731,"ĠдÑıд":109732,"Ġеже":109733,"Ġезд":109734,"Ġкал":109735,"Ġодн":109736,"ĠпÑĢа":109737,"ĠÑħан":109738,"ĠÑĩÑĮи":109739,"ĠÑĪеÑĢ":109740,"ĠÑįÑģÑĤ":109741,"аÑİÑģÑĮ":109742,"венÑĤ":109743,"возд":109744,"вÑijÑĢÑĤ":109745,"иком":109746,"иÑģÑĤо":109747,"йдем":109748,"моÑĢÑĦ":109749,"нинг":109750,"ннÑĭм":109751,"обÑīа":109752,"оÑĩил":109753,"плÑĭв":109754,"ÑĢанÑģ":109755,"ÑĢеди":109756,"Ñģкоп":109757,"Ñģлан":109758,"ÑģÑĤÑıм":109759,"ÑģÑĩеÑĤ":109760,"ÑĤеÑĢа":109761,"Ñĥнов":109762,"ÑĥÑĪкÑĥ":109763,"ÑĥÑīие":109764,"ÑĥÑīий":109765,"ÑĦекÑĤ":109766,"ÑĨиал":109767,"Ñĩков":109768,"ÑĩнаÑı":109769,"ÑĬезд":109770,"Ñıков":109771,"ĠÐijело":109772,"ĠÐĴеÑģÑĮ":109773,"ĠÐĶвоÑĢ":109774,"ĠÐĹнам":109775,"ĠÐļÑĢÑĥп":109776,"ĠÐŁÑĢоб":109777,"ĠУмеÑĢ":109778,"ĠФоÑĢм":109779,"ĠабÑģÑĤ":109780,"ĠакÑĤÑĥ":109781,"Ġбалл":109782,"Ġвами":109783,"ĠваÑĪа":109784,"Ġвина":109785,"ĠвлÑİб":109786,"Ġвожд":109787,"ĠвÑĢÑĥÑĩ":109788,"Ġглоб":109789,"Ġдвен":109790,"Ġдвой":109791,"ĠдикÑĤ":109792,"Ġдина":109793,"ĠдиÑģÑģ":109794,"ĠдолÑİ":109795,"ĠзамÑĭ":109796,"ĠзнаÑĤ":109797,"ĠзнаÑı":109798,"ĠидÑijÑĤ":109799,"ĠкÑĢем":109800,"ĠлеÑģÑĥ":109801,"ĠмаÑģÑĤ":109802,"Ġмини":109803,"Ġмоем":109804,"Ġмоно":109805,"ĠнаÑģл":109806,"Ġодоб":109807,"Ġпапа":109808,"ĠпаÑĢÑĭ":109809,"ĠполÑİ":109810,"ĠпÑģев":109811,"ĠÑĢеаг":109812,"ĠÑĢейÑģ":109813,"ĠÑĢÑĥка":109814,"ĠÑĢÑĭбÑĭ":109815,"ĠÑģлоÑı":109816,"ĠÑģмеÑħ":109817,"ĠÑģпоÑģ":109818,"ĠÑģÑĤÑĭд":109819,"ĠÑģÑĬем":109820,"ĠÑĤÑĢое":109821,"ĠÑĥмел":109822,"ĠÑĥÑĢож":109823,"ĠÑħолм":109824,"ĠÑĨаÑĢи":109825,"ĠÑįлиÑĤ":109826,"ÐĹапад":109827,"аÑİÑīее":109828,"биÑĢал":109829,"близи":109830,"вание":109831,"вÑĪими":109832,"вÑıзан":109833,"дение":109834,"енÑĮко":109835,"ивÑĪей":109836,"иÑģкоп":109837,"иÑģÑĤÑĭе":109838,"иÑĩнÑĭм":109839,"иÑĩнÑĭÑħ":109840,"леÑĢов":109841,"майоÑĢ":109842,"моÑĤÑĢи":109843,"нÑĥÑĤÑĢи":109844,"пÑĢоÑīа":109845,"ÑģÑĤÑĢем":109846,"ÑĤÑĢакÑĤ":109847,"ÑĥÑģали":109848,"ÑĨионн":109849,"ÑĬедин":109850,"ÑijннÑĭе":109851,"ÑijннÑĭй":109852,"Ġ<...>":109853,"ĠÐIJвÑģÑĤÑĢ":109854,"ĠÐIJндÑĢе":109855,"ĠÐĵеÑĢоÑı":109856,"ĠÐĵолов":109857,"ĠÐĸÑĥков":109858,"ĠÐĽÐµÑĤом":109859,"ĠÐĿаÑĩал":109860,"ĠÐŁÐ¾ÑĩÑĤи":109861,"ĠÐłÐ°Ð·Ð²Ðµ":109862,"ĠбÑĥмаж":109863,"ĠведÑĥÑĤ":109864,"ĠвÑĢаÑĩа":109865,"ĠгÑĢани":109866,"ĠгÑĢаÑĦа":109867,"Ġзалив":109868,"Ġзимой":109869,"Ġиздан":109870,"ĠизлÑĥÑĩ":109871,"Ġимело":109872,"Ġиндей":109873,"ĠкванÑĤ":109874,"ĠконкÑĥ":109875,"ĠкоÑģÑĤи":109876,"ĠмайоÑĢ":109877,"ĠмаÑģÑģÑĥ":109878,"ĠмоемÑĥ":109879,"ĠмÑıÑĤеж":109880,"ĠнаÑĥке":109881,"ĠнеÑĦÑĤи":109882,"Ġоблак":109883,"Ġоказа":109884,"ĠоÑĤзÑĭв":109885,"ĠпеÑĢел":109886,"ĠпоÑĢаз":109887,"ĠпÑĢинÑĨ":109888,"ĠпÑĢиоÑĢ":109889,"ĠпÑĥÑĤей":109890,"ĠпÑĥÑĤÑijм":109891,"ĠÑĢазоÑĢ":109892,"ĠÑĢаÑģкÑĢ":109893,"ĠÑĢаÑģÑĤи":109894,"ĠÑĢекон":109895,"ĠÑĢовно":109896,"ĠÑģайÑĤа":109897,"ĠÑģемÑĮÑİ":109898,"ĠÑģидиÑĤ":109899,"ĠÑģкÑĢом":109900,"ĠÑģпаÑĤÑĮ":109901,"ĠÑģÑĤолк":109902,"ĠÑģÑĥмма":109903,"ĠÑģÑħема":109904,"ĠÑĤелеÑģ":109905,"ĠÑĤемно":109906,"ĠÑĤонко":109907,"ĠÑĤÑĢемÑı":109908,"ĠÑĥгÑĢож":109909,"ĠÑĥдаÑĢа":109910,"ĠÑĥÑīеÑĢб":109911,"ĠÑħлеба":109912,"ĠÑĩеÑĢно":109913,"ĠÑĩÑĥдеÑģ":109914,"ĠÑĪÑĤÑĥÑĢм":109915,"волÑĮно":109916,"глаÑĪен":109917,"даваÑĤÑĮ":109918,"иалÑĮно":109919,"ийÑģкие":109920,"йÑģкого":109921,"леннÑĭе":109922,"леннÑĭй":109923,"леÑĤней":109924,"лÑĮÑģкий":109925,"овÑģком":109926,"омеÑĢно":109927,"ÑģиÑģÑĤем":109928,"ÑĥлÑıÑĨии":109929,"ÑħваÑĤил":109930,"ÑĩаÑģÑĤÑĮÑİ":109931,"ÑĩеÑģким":109932,"ÑĩиÑĤÑĭва":109933,"ÑĬекÑĤив":109934,"ĠÐŀÑĤÑģÑİда":109935,"ĠÐłÐ¾ÑģÑĤов":109936,"ĠСолнÑĨа":109937,"ĠЦеÑĢкви":109938,"ĠавÑĤоÑĢÑĭ":109939,"ĠбÑĢаÑĤÑĮÑı":109940,"ĠбÑĢоÑģил":109941,"Ġважное":109942,"Ġвблизи":109943,"ĠвеÑģной":109944,"ĠвÑĭводÑĥ":109945,"ĠгÑĢомко":109946,"ĠдвоÑĢов":109947,"ĠдинаÑģÑĤ":109948,"ĠзаÑĦикÑģ":109949,"ĠзваниÑı":109950,"Ġзнание":109951,"Ġкакими":109952,"ĠклеÑĤок":109953,"ĠлÑĥÑĩÑĪие":109954,"ĠмагиÑģÑĤ":109955,"ĠмаÑĪине":109956,"ĠмелкиÑħ":109957,"Ġмногим":109958,"ĠмобилÑĮ":109959,"ĠмолиÑĤв":109960,"ĠмÑĥзÑĭка":109961,"ĠнадпиÑģ":109962,"ĠнаÑģÑĩиÑĤ":109963,"ĠнаÑĩалÑĥ":109964,"ĠнеобÑĭÑĩ":109965,"ĠномеÑĢа":109966,"Ġномина":109967,"ĠобеÑīал":109968,"ĠокÑĢеÑģÑĤ":109969,"ĠопаÑģно":109970,"ĠоÑģенÑĮÑİ":109971,"ĠоÑģнова":109972,"ĠоÑģновÑĭ":109973,"ĠоÑĤÑģÑİда":109974,"Ġплемен":109975,"ĠпогÑĢеб":109976,"ĠполнÑĥÑİ":109977,"ĠпÑĢедоÑĤ":109978,"ĠпÑĢиÑĪло":109979,"ĠпÑĢогÑĥл":109980,"ĠпÑĢолеÑĤ":109981,"ĠпÑĢолив":109982,"ĠÑĢеÑĪаÑĤÑĮ":109983,"ĠÑģловаÑĢ":109984,"ĠÑģолнÑĨа":109985,"ĠÑģооÑĤно":109986,"ĠÑģÑĤаÑĢой":109987,"ĠÑģÑĤаÑĢÑĭе":109988,"ĠÑģÑĩиÑĤаÑİ":109989,"ĠÑĤеоÑĢеÑĤ":109990,"ĠÑĥÑģилий":109991,"ĠÑĥÑĩение":109992,"ĠÑħодиÑĤÑĮ":109993,"анÑģкого":109994,"аÑĤелÑĮнÑĭ":109995,"иÑĤелÑĮнÑĭ":109996,"наÑģÑĤоÑıÑī":109997,"опÑĢовод":109998,"ÑĢагоÑĨен":109999,"ÑĤелÑĮнÑĥÑİ":110000,"ÑĤелÑĮнÑĭм":110001,"ĠÐĴоÑģÑĤока":110002,"ĠÐĹнамени":110003,"ĠФедоÑĢов":110004,"ĠбеÑģпоко":110005,"ĠбÑĢаÑĤÑĮев":110006,"ĠбÑĥÑĢжÑĥаз":110007,"ĠвклÑİÑĩен":110008,"ĠвлаÑģÑĤÑĮÑİ":110009,"ĠвоÑģÑĤоÑĢг":110010,"ĠвÑĭÑģокие":110011,"ĠгаÑĢанÑĤи":110012,"ĠглÑĥбине":110013,"ĠгÑĢаниÑĨе":110014,"ĠдепÑĥÑĤаÑĤ":110015,"ĠдÑĢевней":110016,"ĠзадаÑĩей":110017,"ĠзаÑģлÑĥги":110018,"ĠигÑĢоков":110019,"ĠконкÑĥÑĢÑģ":110020,"ĠмаÑģÑĤеÑĢа":110021,"ĠмониÑĤоÑĢ":110022,"ĠнаблÑİда":110023,"ĠнаÑĩалÑģÑı":110024,"ĠнаÑĩинал":110025,"ĠобÑĢаÑīен":110026,"ĠоÑĢÑĥжием":110027,"ĠоÑĤобÑĢаж":110028,"ĠоÑĩеÑĢеди":110029,"ĠпаÑĨиенÑĤ":110030,"ĠпеÑĢеÑģек":110031,"ĠповеÑģÑĤи":110032,"ĠпозиÑĨий":110033,"ĠпÑĢеÑĤенд":110034,"ĠпÑĢибÑĭлÑĮ":110035,"ĠпÑĢивели":110036,"ĠпÑĢоÑģлав":110037,"ĠпÑĢоÑıвил":110038,"ĠÑĢабоÑĩие":110039,"ĠÑĢазделÑı":110040,"ĠÑĢазмеÑĢа":110041,"ĠÑĢазнÑĭми":110042,"ĠÑĢаÑģÑħодÑĭ":110043,"ĠÑĢеакÑĨиÑı":110044,"ĠÑĢеалÑĮно":110045,"ĠÑĢÑĥÑģÑģким":110046,"ĠÑģложнÑĭÑħ":110047,"ĠÑģмоÑĤÑĢиÑĤ":110048,"ĠÑģоединÑı":110049,"ĠÑģоÑģÑĤоÑıл":110050,"ĠÑģпоÑģобÑĭ":110051,"ĠÑģÑĤаÑĢого":110052,"ĠÑģÑĤолиÑĨе":110053,"ĠÑĤекÑģÑĤов":110054,"ĠÑĤÑĢеÑĤÑĮей":110055,"ĠÑĥÑģпеÑħом":110056,"ĠÑĥÑģÑĤÑĢоен":110057,"ĠÑĥÑĩаÑģÑĤке":110058,"ĠÑĦÑĥнкÑĨиÑİ":110059,"ĠÑįкипажа":110060,"ĠÑįнеÑĢгиÑİ":110061,"ĠÑįнеÑĢгиÑı":110062,"ĠÑıвлений":110063,"иÑĢованиÑİ":110064,"ÑĢождениÑı":110065,"ÑģÑĤÑĢÑĥкÑĨии":110066,"ÑĤиÑĩеÑģкаÑı":110067,"ÑĤиÑĩеÑģкий":110068,"Ñħождение":110069,"ĠÐĴеликого":110070,"ĠÐĺеÑĢÑĥÑģали":110071,"ĠÐĺнÑĤеÑĢнеÑĤ":110072,"ĠвладениÑı":110073,"ĠделаеÑĤÑģÑı":110074,"ĠдеÑĢевÑĮев":110075,"ĠзаконÑĩил":110076,"ĠкваÑĢÑĤиÑĢе":110077,"Ġкомандой":110078,"Ġмагазина":110079,"ĠмиллиаÑĢд":110080,"Ġмолодого":110081,"ĠназÑĭваеÑĤ":110082,"ĠнаÑĢоднÑĭÑħ":110083,"ĠнедоволÑĮ":110084,"ĠноÑĢмаÑĤив":110085,"ĠобладаÑİÑĤ":110086,"ĠогÑĢомнÑĭй":110087,"ĠоÑģÑĤаÑĤÑĮÑģÑı":110088,"ĠоÑīÑĥÑīениÑı":110089,"ĠпеÑĢедаеÑĤ":110090,"Ġподлинно":110091,"ĠположиÑĤÑĮ":110092,"ĠпомоÑīник":110093,"ĠпÑĢевÑĢаÑīа":110094,"ĠпÑĢеоблад":110095,"ĠпÑĢизнаки":110096,"ĠпÑĢодолжа":110097,"ĠпÑĢодÑĥкÑĤа":110098,"ĠпÑĢоÑħодил":110099,"ĠÑĢазмеÑĢов":110100,"ĠÑĢазÑĢабаÑĤ":110101,"ĠÑĢеÑĪением":110102,"ĠÑģÑĤÑĢаниÑĨÑĭ":110103,"ĠÑĤÑĢидÑĨаÑĤÑĮ":110104,"ĠÑĥбийÑģÑĤво":110105,"ĠÑĥÑĩаÑģÑĤием":110106,"ĠÑħÑĢанениÑı":110107,"ĠÑĨенноÑģÑĤÑĮ":110108,"ĠÑĩиÑĤаÑĤелÑĮ":110109,"иÑĢованнÑĭÑħ":110110,"ÑģÑĤÑĢоиÑĤелÑĮ":110111,"ÑģÑĤÑĥпление":110112,"ĠÐIJвÑģÑĤÑĢалии":110113,"ĠСÑĤаниÑģлав":110114,"ĠвозможнÑĭÑħ":110115,"ĠвÑģпоминал":110116,"ĠвÑģпомниÑĤÑĮ":110117,"ĠвÑĭнÑĥжденÑĭ":110118,"ĠдоÑģÑĤигаеÑĤ":110119,"ĠдÑĢамаÑĤÑĥÑĢг":110120,"ĠизвеÑģÑĤнÑĭе":110121,"ĠизмеÑĢениÑı":110122,"ĠинÑĤеÑĢÑĦейÑģ":110123,"ĠиÑģÑĤоÑĩники":110124,"Ġкомпанией":110125,"ĠконÑĤиненÑĤ":110126,"ĠконÑĨепÑĨии":110127,"ĠмонаÑģÑĤÑĭÑĢÑĮ":110128,"ĠнаблÑİдаÑĤÑĮ":110129,"ĠнагÑĢаждÑijн":110130,"ĠнападениÑı":110131,"ĠнеболÑĮÑĪие":110132,"ĠнемеÑĨкого":110133,"ĠобвинениÑı":110134,"ĠоÑģÑĤанеÑĤÑģÑı":110135,"ĠпеÑĢевоÑĢоÑĤ":110136,"ĠпобеÑĢежÑĮе":110137,"ĠподдеÑĢжке":110138,"ĠпоÑģледнем":110139,"ĠпоÑģмоÑĤÑĢел":110140,"ĠпоÑģÑĤÑĢоиÑĤÑĮ":110141,"ĠпоÑıвилоÑģÑĮ":110142,"ĠпÑĢекÑĢаÑĤил":110143,"ĠпÑĢиоÑĢиÑĤеÑĤ":110144,"ĠпÑĢодоволÑĮ":110145,"ĠÑģвÑıÑīенник":110146,"ĠÑģледÑĥÑİÑīей":110147,"ĠÑģоÑĤÑĢÑĥдник":110148,"ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢÑĥ":110149,"ĠÑĥпÑĢавлÑıÑĤÑĮ":110150,"ĠÑĥÑĤвеÑĢжден":110151,"ĠÑĦоÑĢмалÑĮно":110152,"наÑģÑĤоÑıÑīемÑĥ":110153,"ÑģледованиÑı":110154,"ÑģооÑĤвеÑĤÑģÑĤв":110155,"ĠÐłÐ°Ð·ÑĥмееÑĤÑģÑı":110156,"ĠÐłÐ°Ñģположен":110157,"ĠСÑĥÑīеÑģÑĤвÑĥеÑĤ":110158,"ĠакÑĤивноÑģÑĤи":110159,"ĠакÑĤивноÑģÑĤÑĮ":110160,"ĠаÑĢÑĤиллеÑĢии":110161,"ĠбиблиоÑĤека":110162,"ĠблагополÑĥÑĩ":110163,"ĠвÑĭÑıÑģнилоÑģÑĮ":110164,"ĠговоÑĢилоÑģÑĮ":110165,"ĠиÑģÑĤоÑĩником":110166,"ĠнапÑĢÑıжениÑı":110167,"ĠпеÑĢÑģонажей":110168,"ĠподÑĤвеÑĢдил":110169,"ĠпÑĢебÑĭваниÑı":110170,"ĠпÑĢинадлежа":110171,"ĠпÑĢоведение":110172,"ĠÑĢеалÑĮноÑģÑĤÑĮ":110173,"ĠÑģледÑĥÑİÑīего":110174,"ĠÑĤвоÑĢÑĩеÑģÑĤво":110175,"ĠÑĤеÑĢÑĢиÑĤоÑĢиÑı":110176,"ĠÑĤÑĢебований":110177,"ĠÑĦÑĥнкÑĨионал":110178,"ÑģовеÑĢÑĪенÑģÑĤв":110179,"ĠаÑĢÑħиÑĤекÑĤÑĥÑĢÑĭ":110180,"ĠвоздейÑģÑĤвие":110181,"ĠиÑģполÑĮзован":110182,"ĠнеобÑħодимÑĭм":110183,"ĠнеÑģколÑĮкими":110184,"ĠоÑģÑĤанавлива":110185,"ĠпÑĢедпÑĢиÑıÑĤие":110186,"ĠÑĢаÑģположена":110187,"ĠÑģобÑģÑĤвеннÑĭй":110188,"ĠÑģознаÑĤелÑĮно":110189,"ĠÑģпеÑĨиалиÑģÑĤÑĭ":110190,"ĠÑģпеÑĨиалÑĮнÑĭе":110191,"ĠÑģÑĦоÑĢмиÑĢован":110192,"ĠÑĤеÑħниÑĩеÑģкиÑħ":110193,"ĠÑĦÑĢанÑĨÑĥзÑģкой":110194,"ĠобоÑĢÑĥдование":110195,"ĠопÑĢеделенной":110196,"ĠопÑĢеделеннÑĭе":110197,"ĠопÑĢеделеннÑĭÑħ":110198,"ĠоÑģвобождениÑı":110199,"ĠполиÑĤиÑĩеÑģкие":110200,"ĠполиÑĤиÑĩеÑģкий":110201,"ĠполÑĮзоваÑĤелÑĮ":110202,"ĠпÑĢедÑģÑĤавленÑĭ":110203,"ĠдеÑıÑĤелÑĮноÑģÑĤÑĮÑİ":110204,"ĠкоÑĢÑĢеÑģпонденÑĤ":110205,"ĠполиÑĤиÑĩеÑģкого":110206,"ĠпÑĢигоÑĤовлениÑı":110207,"ĠдополниÑĤелÑĮнÑĭе":110208,"ĠпÑĢомÑĭÑĪленноÑģÑĤÑĮ":110209,"ĠÐĵоÑģÑĥдаÑĢÑģÑĤвенной":110210,"ĠпÑĢавиÑĤелÑĮÑģÑĤвенн":110211,"ÌģÑĢ":110212,"ÐIJÑĤ":110213,"ÐĺЯ":110214,"ÐļÐĺ":110215,"ÐļÑĥ":110216,"ÐĽÐ°":110217,"ÐĽÐ¸":110218,"ÐĽÑĥ":110219,"ÐľÐŀ":110220,"ÐŀÐŁ":110221,"Та":110222,"Ха":110223,"Хо":110224,"ео":110225,"зл":110226,"зÑĮ":110227,"нÑĨ":110228,"ÑħÑĤ":110229,"ĠÐķÑij":110230,"ĠÐĹе":110231,"ĠЦи":110232,"ĠЯÑĢ":110233,"Ġаз":110234,"ĠÑĢа":110235,"ĠÑĨи":110236,"ÐľÐ°Ð½":110237,"абÑĭ":110238,"ага":110239,"баÑħ":110240,"бод":110241,"веж":110242,"гаÑģ":110243,"гÑĢо":110244,"ебн":110245,"ега":110246,"ждÑĭ":110247,"заж":110248,"зол":110249,"кÑģа":110250,"кÑĤо":110251,"лиÑİ":110252,"лÑĭÑħ":110253,"лÑıп":110254,"онг":110255,"оÑĢе":110256,"пен":110257,"плÑĭ":110258,"ÑĢиÑĩ":110259,"ÑģиÑĢ":110260,"ÑĤки":110261,"ÑĥÑĤа":110262,"ÑĥÑĪа":110263,"ÑĥÑįл":110264,"ÑĩаÑĢ":110265,"Ñĩий":110266,"ÑĩÑĥк":110267,"ÑĪан":110268,"ueen":110269,"ĠÐijеÑģ":110270,"ĠÐijиÑĢ":110271,"ĠÐĴед":110272,"ĠÐĴод":110273,"ĠÐĶже":110274,"ĠÐĶок":110275,"ĠÐĺÑģа":110276,"ĠÐļле":110277,"ĠÐļоп":110278,"ĠÐĽÐµÐ¹":110279,"ĠÐľÑĥÑģ":110280,"ĠÐĿав":110281,"ĠÐŁÐµÑģ":110282,"ĠÐŁÐ¾ÑĢ":110283,"ĠÐŁÑĢа":110284,"ĠÐłÐµÐ²":110285,"ĠÐłÐµÐ´":110286,"ĠÐłÑĥд":110287,"ĠХал":110288,"ĠвиÑģ":110289,"ĠдеÑı":110290,"ĠмÑĥÑĤ":110291,"ĠÑģне":110292,"ĠÑĤок":110293,"ĠÑĤÑĥп":110294,"ĠÑĦан":110295,"ĠÑħиÑī":110296,"ĠÑĨеÑħ":110297,"ĠÑĩеÑĪ":110298,"ĠÑĪаб":110299,"ĠÑĪоÑĥ":110300,"ÐľÐ¾Ñģк":110301,"ÐŁÑĢав":110302,"бÑĭÑĤÑĮ":110303,"ведÑĥ":110304,"гали":110305,"глад":110306,"глÑĥÑĪ":110307,"гнан":110308,"гнÑĥÑĤ":110309,"гоÑĢа":110310,"делÑı":110311,"динг":110312,"дова":110313,"долÑĮ":110314,"ебед":110315,"елÑĮÑĤ":110316,"емое":110317,"еÑģÑģи":110318,"еÑĤон":110319,"жида":110320,"знав":110321,"илей":110322,"илии":110323,"илÑĮÑı":110324,"иÑģка":110325,"киÑģл":110326,"коÑģÑĤ":110327,"кÑĢоÑĤ":110328,"овиÑī":110329,"оÑĢог":110330,"пала":110331,"полз":110332,"пÑĢÑĭг":110333,"пÑĥга":110334,"пÑĭÑĤа":110335,"ÑĢилл":110336,"ÑĢода":110337,"ÑģелÑı":110338,"Ñģлаб":110339,"ÑģÑĤол":110340,"ÑĤеÑģÑĤ":110341,"ÑĤиÑĢа":110342,"ÑĤÑĢом":110343,"Ñĩлен":110344,"ÑıÑīаÑı":110345,"ÑıÑīим":110346,"ĠÐĵоÑĢÑĮ":110347,"ĠÐĶени":110348,"ĠÐĹаÑĤо":110349,"ĠÐĺÑĢак":110350,"ĠÐľÐµÑģÑĤ":110351,"ĠÐłÐ¸Ð¼Ðµ":110352,"ĠСкоÑĢ":110353,"ĠФÑĢей":110354,"ĠЦелÑĮ":110355,"ĠбÑĥдÑĮ":110356,"ĠбÑĥлÑĮ":110357,"Ġвойн":110358,"Ġволе":110359,"Ġволк":110360,"ĠглÑĥÑħ":110361,"ĠгÑĢиб":110362,"ĠгÑĥÑģÑĤ":110363,"ĠдабÑĭ":110364,"ĠдÑĥÑħе":110365,"Ġждал":110366,"Ġжела":110367,"Ġзнам":110368,"ĠкÑĢае":110369,"ĠлеÑĤа":110370,"Ġлиги":110371,"ĠмелÑĮ":110372,"Ġнаиб":110373,"ĠневÑĭ":110374,"Ġново":110375,"Ġокон":110376,"ĠоÑģво":110377,"ĠпиÑīÑĥ":110378,"ĠплиÑĤ":110379,"ĠпоÑĢа":110380,"ĠÑĢазÑĥ":110381,"ĠÑĢелÑĮ":110382,"ĠÑĢÑĥке":110383,"ĠÑģекÑĤ":110384,"ĠÑģлой":110385,"ĠÑģнÑıл":110386,"ĠÑĤвой":110387,"ĠÑĤолÑī":110388,"ĠÑĥÑģÑĤÑĮ":110389,"ĠÑĦикÑģ":110390,"ĠÑĦили":110391,"ĠÑĦоÑĢÑĤ":110392,"ĠÑĦÑĢак":110393,"ĠÑĨиÑĢк":110394,"ÐľÐ¾Ð»Ð¾Ð´":110395,"аÑĤÑĥÑĢÑĥ":110396,"аÑİÑīаÑı":110397,"боÑĢод":110398,"влеÑĩÑĮ":110399,"водÑıÑĤ":110400,"девÑıÑĤ":110401,"евого":110402,"еделÑĮ":110403,"едлив":110404,"еÑĩнÑĭй":110405,"ивÑĪаÑı":110406,"илÑĮÑģк":110407,"иÑģÑĤой":110408,"иÑģÑĤом":110409,"иÑģÑĤÑĭй":110410,"ливÑĭй":110411,"мобил":110412,"новиÑĩ":110413,"ноÑģÑĤн":110414,"нÑģком":110415,"оÑĤÑĮÑģÑı":110416,"оÑĩнÑĭм":110417,"пиÑģал":110418,"пÑĢеÑģÑģ":110419,"ÑĢаÑĤоÑĢ":110420,"ÑģÑĤаÑĤÑĮ":110421,"Ñĥлкан":110422,"ĠÐĶÑįвид":110423,"ĠÐĹаÑĩем":110424,"ĠÐĹемлÑı":110425,"ĠÐļакие":110426,"ĠÐļамен":110427,"ĠÐļиеве":110428,"ĠÐļÑĢеÑģÑĤ":110429,"ĠÐľÐ°Ð¹ÐºÐ»":110430,"ĠÐŀколо":110431,"ĠÐŀÑĢлов":110432,"ĠСозда":110433,"ĠФедоÑĢ":110434,"ĠаÑĢмий":110435,"ĠбаÑĢон":110436,"ĠбелÑĭÑħ":110437,"Ġбогов":110438,"ĠболоÑĤ":110439,"Ġвагон":110440,"ĠвеÑĤÑĢа":110441,"ĠвизиÑĤ":110442,"Ġдлина":110443,"ĠдоÑĢож":110444,"Ġжалоб":110445,"Ġзабол":110446,"ĠзабÑĭл":110447,"Ġимеем":110448,"Ġканон":110449,"ĠкоÑĢов":110450,"ĠкÑĢова":110451,"Ġлевом":110452,"ĠлибеÑĢ":110453,"Ġлодки":110454,"ĠлоÑĪад":110455,"ĠлÑİбÑıÑĤ":110456,"ĠманеÑĢ":110457,"Ġмогил":110458,"ĠмÑĢаÑĩн":110459,"ĠмÑıгко":110460,"Ġневид":110461,"ĠобÑĢеÑĤ":110462,"Ġогнем":110463,"ĠодниÑħ":110464,"ĠоÑĤÑĨом":110465,"ĠпиÑĢам":110466,"ĠподоÑĪ":110467,"ĠпоÑĩеÑĤ":110468,"ĠпÑĤиÑĨÑĭ":110469,"ĠпÑĥÑĪки":110470,"ĠпÑĮеÑģÑĭ":110471,"ĠÑĢебÑijн":110472,"ĠÑģледÑĭ":110473,"ĠÑģÑĢоки":110474,"ĠÑģÑĤена":110475,"ĠÑģÑĤилÑı":110476,"ĠÑģÑĥммÑĭ":110477,"ĠÑģÑĦеÑĢÑĭ":110478,"ĠÑĤанка":110479,"ĠÑĤоÑĩек":110480,"ĠÑĥбиÑĤÑĮ":110481,"ĠÑĥлиÑĨÑĥ":110482,"ĠÑĦинал":110483,"ĠÑĦонда":110484,"ĠÑħоÑĤим":110485,"ĠÑĨикла":110486,"ĠÑĩиÑģлÑĥ":110487,"ĠÑİжной":110488,"анализ":110489,"вÑĢемен":110490,"вÑĪÑĥÑİÑģÑı":110491,"вÑıзÑĭва":110492,"даÑİÑĤÑģÑı":110493,"еÑĩного":110494,"инÑģком":110495,"иÑĨиенÑĤ":110496,"казаÑĤÑĮ":110497,"кÑĢÑĭÑĤие":110498,"лÑıÑĤÑĮÑģÑı":110499,"мÑĭÑģлен":110500,"наÑģлед":110501,"ованиÑİ":110502,"пиÑģÑĭва":110503,"подвиж":110504,"ÑĢазвед":110505,"ÑĤиÑĩеÑģк":110506,"ÑĤÑıгива":110507,"ÑĦинанÑģ":110508,"ÑĩеÑģком":110509,"ÑĩиваÑĤÑĮ":110510,"ĠÐIJвгÑĥÑģÑĤ":110511,"ĠÐIJÑĦÑĢики":110512,"ĠÐĴоенно":110513,"ĠÐĴÑĤоÑĢаÑı":110514,"ĠÐĵÑĢÑĥзии":110515,"ĠÐļиÑĢилл":110516,"ĠÐļоманд":110517,"ĠÐľÐµÐ´Ð°Ð»ÑĮ":110518,"ĠÐĿиÑĩего":110519,"ĠÐŀÑģÑĤÑĢов":110520,"ĠÐŁÐ¾Ð»ÑĮÑĪе":110521,"ĠСеÑĢгеÑı":110522,"ĠважнÑĭе":110523,"Ġвелико":110524,"ĠвеÑĢиÑĤÑĮ":110525,"ĠвÑĢажеÑģ":110526,"ĠвÑģеобÑī":110527,"ĠвÑģÑıкиÑħ":110528,"ĠвÑĤоÑĢÑĥÑİ":110529,"ĠвÑĤоÑĢÑĭм":110530,"ĠвÑĭбоÑĢÑĭ":110531,"ĠвÑĭÑģÑĪиÑħ":110532,"ĠгаÑĢниз":110533,"Ġголода":110534,"ĠгоÑĢодÑĥ":110535,"ĠгоÑģÑĤей":110536,"ĠгÑĢанаÑĤ":110537,"ĠгÑĢомад":110538,"Ġдолгое":110539,"ĠдоÑĢого":110540,"ĠзапÑĢеÑī":110541,"Ġзданий":110542,"ĠигÑĢока":110543,"ĠизÑĥÑĩал":110544,"ĠинвеÑģÑĤ":110545,"ĠиÑģÑĤинÑĭ":110546,"ĠиÑģÑħодÑı":110547,"ĠкодекÑģ":110548,"Ġколлед":110549,"ĠкÑĢепко":110550,"ĠкÑĢиÑĤик":110551,"ĠлагеÑĢÑĮ":110552,"ĠлагеÑĢÑı":110553,"ĠлиÑĩной":110554,"ĠмаÑĢÑĪÑĢÑĥ":110555,"ĠмеÑģÑĤом":110556,"Ġнадежн":110557,"ĠнаÑĪемÑĥ":110558,"ĠнеÑĩего":110559,"Ġнижней":110560,"Ġобмена":110561,"ĠокÑĢÑĥге":110562,"ĠоÑģобое":110563,"ĠоÑģобой":110564,"ĠоÑĤдаÑĤÑĮ":110565,"ĠпаÑĢлам":110566,"ĠпеÑĢвен":110567,"ĠподнÑıл":110568,"Ġпозвон":110569,"ĠполнÑĭм":110570,"ĠпоÑģлÑĥж":110571,"ĠпÑĢемиÑı":110572,"ĠпÑĢиÑģÑĥÑī":110573,"ĠпÑĢоÑģиÑĤ":110574,"ĠпÑĢоÑĤек":110575,"ĠпÑĥнкÑĤÑĭ":110576,"ĠÑĢадика":110577,"ĠÑĢазÑĢÑĭв":110578,"ĠÑĢебÑıÑĤа":110579,"ĠÑĢеÑĪила":110580,"ĠÑĢомане":110581,"ĠÑĢоÑģÑģиÑı":110582,"ĠÑģекÑĤоÑĢ":110583,"ĠÑģкажеÑĤ":110584,"ĠÑģлÑĥжба":110585,"ĠÑģокÑĢов":110586,"ĠÑģпаÑģÑĤи":110587,"ĠÑģпекÑĤÑĢ":110588,"ĠÑģÑĤаÑĢÑĪе":110589,"ĠÑģÑĥдиÑĤÑĮ":110590,"ĠÑĤеоÑĢиÑİ":110591,"ĠÑĤоваÑĢа":110592,"ĠÑĥдален":110593,"ĠÑĥказал":110594,"ĠÑĥменÑĮÑĪ":110595,"ĠÑĥпÑĢазд":110596,"ĠÑĥÑģÑĤÑĢем":110597,"ĠÑĩаÑģÑĤоÑĤ":110598,"ĠÑĪаблон":110599,"ĠÑĪаÑħмаÑĤ":110600,"ĠÑıзÑĭкаÑħ":110601,"алиÑĦика":110602,"екÑĤиÑĢов":110603,"епиÑģкоп":110604,"ивÑĪиеÑģÑı":110605,"иÑĩноÑģÑĤÑĮ":110606,"лÑĮÑģкого":110607,"неÑģениÑı":110608,"ÑĢабоÑĤка":110609,"ÑĩеловеÑĩ":110610,"ÑįнеÑĢгеÑĤ":110611,"ĠÐijолÑĮÑĪаÑı":110612,"ĠÐĴоÑģÑĤоке":110613,"ĠÐĵиÑĤлеÑĢа":110614,"ĠÐĵлавное":110615,"ĠСколÑĮко":110616,"ĠСледÑĥеÑĤ":110617,"ĠФинлÑıнд":110618,"ĠШвейÑĨаÑĢ":110619,"ĠавÑĤоном":110620,"ĠавÑĤоÑĢом":110621,"ĠбеÑĢегов":110622,"ĠбожеÑģÑĤв":110623,"ĠболÑĮÑĪом":110624,"ĠбÑİджеÑĤа":110625,"ĠгваÑĢдии":110626,"ĠгоÑĢодом":110627,"ĠдеÑĤÑģÑĤве":110628,"ĠдиамеÑĤÑĢ":110629,"ĠдокÑĤоÑĢа":110630,"ĠдоÑĢогой":110631,"ĠзаклÑİÑĩа":110632,"ĠзапиÑģан":110633,"Ġзаповед":110634,"ĠзапÑĥÑģка":110635,"ĠзаÑħоÑĤел":110636,"ĠзолоÑĤой":110637,"ĠзÑĢиÑĤелÑĮ":110638,"Ġизменил":110639,"ĠкаÑĩеÑģÑĤв":110640,"ĠкомнаÑĤÑĭ":110641,"ĠкоÑĢÑĢекÑĤ":110642,"ĠкÑĢизиÑģа":110643,"ĠкÑĢиÑĤики":110644,"ĠмолодÑĭе":110645,"ĠмоÑĢÑģкиÑħ":110646,"ĠнадеждÑĭ":110647,"Ġнезакон":110648,"ĠобÑģÑĤÑĢел":110649,"ĠокÑĢÑĥжен":110650,"ĠоÑĢкеÑģÑĤÑĢ":110651,"ĠоÑģÑĤаÑĤки":110652,"ĠоÑĤÑĩаÑģÑĤи":110653,"ĠоÑĨениÑĤÑĮ":110654,"ĠпадениÑı":110655,"ĠпаÑģпоÑĢÑĤ":110656,"ĠплаÑģÑĤин":110657,"ĠподавлÑı":110658,"ĠподÑĢоÑģÑĤ":110659,"ĠпоиÑģкаÑħ":110660,"ĠпоÑģеÑĤил":110661,"ĠпÑĢинÑıÑĤÑĭ":110662,"ĠпÑĢиÑĢода":110663,"ĠпÑĢовели":110664,"ĠпÑĢодажи":110665,"ĠпÑĢоÑģÑĤÑĭм":110666,"ĠпÑĢоÑĪлое":110667,"ĠÑĢабоÑĩий":110668,"ĠÑĢадоÑģÑĤи":110669,"ĠÑĢадоÑģÑĤÑĮ":110670,"ĠÑĢежиÑģÑģÑij":110671,"ĠÑĢезÑĥлÑĮÑĤ":110672,"ĠÑĢеÑĦоÑĢмÑĭ":110673,"ĠÑĢеÑĪениÑİ":110674,"ĠÑģилÑĮнÑĭй":110675,"ĠÑģмеÑĢÑĤÑĮÑİ":110676,"ĠÑģообÑĢаж":110677,"ĠÑģÑĤÑĢоиÑĤÑĮ":110678,"ĠÑĤеÑħникÑĥ":110679,"ĠÑĤоплива":110680,"ĠÑĤÑĥÑĢниÑĢе":110681,"ĠÑĥкÑĢаÑĪен":110682,"ĠÑĥÑĩиÑĤÑĮÑģÑı":110683,"ĠÑħоÑĢоÑĪие":110684,"ĠÑĩеÑĤвеÑĢÑĤ":110685,"ĠÑĩÑĥдовиÑī":110686,"ĠÑįкÑģпоÑĢÑĤ":110687,"алÑĮноÑģÑĤÑĮ":110688,"еделÑĮник":110689,"иÑĤеÑĢаÑĤÑĥÑĢ":110690,"иÑĦикаÑĨиÑı":110691,"оминание":110692,"ообÑĢазно":110693,"ÑģÑĤвеннаÑı":110694,"ÑģÑĤÑĢойÑģÑĤв":110695,"ÑĤеÑħнолог":110696,"ÑĦÑĥнкÑĨион":110697,"ÑħаÑĢакÑĤеÑĢ":110698,"ĠÐĵеÑĢманиÑı":110699,"ĠÐĺÑģÑĤоÑĩник":110700,"ĠÐĿазвание":110701,"ĠСовÑĢемен":110702,"Ġакадемик":110703,"ĠболÑĮÑĪими":110704,"ĠбоÑĢоÑĤÑĮÑģÑı":110705,"Ġвозникла":110706,"ĠвÑĢеменно":110707,"ĠвÑģпомнил":110708,"ĠдеÑģÑıÑĤков":110709,"Ġдивизион":110710,"ĠдоказаÑĤÑĮ":110711,"ĠдоÑģÑĤовеÑĢ":110712,"ĠдÑĥÑħовной":110713,"ĠживопиÑģи":110714,"ĠзавеÑĢÑĪен":110715,"ĠзаклÑİÑĩил":110716,"ĠзамениÑĤÑĮ":110717,"ĠзаÑĢегиÑģÑĤ":110718,"ĠизÑĥÑĩение":110719,"ĠкапиÑĤала":110720,"ĠкваÑĢÑĤиÑĢÑĥ":110721,"ĠкваÑĢÑĤиÑĢÑĭ":110722,"ĠконгÑĢеÑģÑģ":110723,"ĠкÑĢепоÑģÑĤÑĮ":110724,"ĠназÑĭваÑĤÑĮ":110725,"ĠнаканÑĥне":110726,"ĠнаÑĢодной":110727,"ĠнаÑģÑĤÑĢоен":110728,"ĠоблаÑģÑĤÑıÑħ":110729,"ĠобÑĬÑıÑģнил":110730,"ĠогÑĢомнÑĭе":110731,"ĠоÑģÑĤавлен":110732,"ĠоÑĤпÑĢавил":110733,"ĠоÑĤÑģÑĤавкÑĥ":110734,"ĠпеÑĢееÑħал":110735,"ĠпеÑĢепÑĢав":110736,"ĠпознаниÑı":110737,"ĠполÑĥÑĩаем":110738,"ĠпÑĢакÑĤики":110739,"ĠпÑĢедмеÑĤа":110740,"ĠпÑĢиближа":110741,"ĠпÑĢозÑĢаÑĩн":110742,"ĠпÑĢоÑħодÑıÑĤ":110743,"ĠÑĢабоÑĤник":110744,"ĠÑĢаÑģÑħодов":110745,"ĠÑģамолеÑĤÑĭ":110746,"ĠÑģевеÑĢной":110747,"ĠÑģнижение":110748,"ĠÑģообÑīила":110749,"ĠÑģÑĢажениÑı":110750,"ĠÑģÑĥÑīеÑģÑĤво":110751,"ĠÑģÑĥÑīноÑģÑĤÑĮ":110752,"ĠÑĤÑĢадиÑĨиÑı":110753,"ĠÑĥдоÑģÑĤоен":110754,"ĠÑįлеменÑĤа":110755,"демонÑģÑĤÑĢи":110756,"иÑĢованнÑĭй":110757,"иÑĢоваÑĤÑĮÑģÑı":110758,"пÑĢезиденÑĤ":110759,"ÑĦиÑĨиÑĢован":110760,"ÑįÑĦÑĦиÑĨиенÑĤ":110761,"ĠÐĿеобÑħодим":110762,"ĠЧемпионаÑĤ":110763,"ĠбеÑģплаÑĤно":110764,"ĠваÑĢианÑĤов":110765,"ĠгÑĢажданин":110766,"ĠдейÑģÑĤвиÑıÑħ":110767,"ĠдиÑģÑĨиплин":110768,"ĠдокÑĥменÑĤа":110769,"ĠзаканÑĩива":110770,"ĠзаÑģедании":110771,"ĠзаÑģÑĤавиÑĤÑĮ":110772,"ĠзаÑıвлениÑı":110773,"ĠизвеÑģÑĤной":110774,"ĠинÑģÑĤиÑĤÑĥÑĤе":110775,"ĠиÑģкÑĥÑģÑģÑĤве":110776,"ĠиÑģпÑĭÑĤаний":110777,"ĠкоммÑĥника":110778,"ĠмаÑĤемаÑĤик":110779,"ĠмножеÑģÑĤва":110780,"ĠнавеÑĢнÑıка":110781,"ĠнеболÑĮÑĪиÑħ":110782,"ĠоÑģновного":110783,"ĠповÑĭÑĪениÑı":110784,"Ġпозволило":110785,"ĠпоказаниÑı":110786,"ĠполÑĥÑĩение":110787,"ĠпÑĢизнание":110788,"ĠпÑĢоизоÑĪла":110789,"ĠпÑĢоÑĨеÑģÑģоÑĢ":110790,"ĠÑĢегÑĥлиÑĢов":110791,"ĠÑĢеÑģпÑĥблик":110792,"ĠÑĢÑĥководил":110793,"ĠÑģелÑĮÑģовеÑĤ":110794,"ĠÑģконÑĩалÑģÑı":110795,"ĠÑģледÑģÑĤвие":110796,"ĠÑģоÑİзников":110797,"ĠÑģÑĤÑĢемиÑĤÑģÑı":110798,"ĠÑĤÑĢÑĥдноÑģÑĤи":110799,"ĠÑĥÑģÑĤановка":110800,"ĠÑħозÑıйÑģÑĤво":110801,"ĠÑįкземплÑıÑĢ":110802,"оÑħÑĢаниÑĤелÑĮ":110803,"ĠаÑģÑģоÑĨиаÑĨии":110804,"ĠбиблиоÑĤеки":110805,"ĠвозглавлÑıл":110806,"ĠизгоÑĤовлен":110807,"ĠкомандиÑĢов":110808,"ĠкомпозиÑĤоÑĢ":110809,"ĠкÑĢÑĥпнейÑĪиÑħ":110810,"ĠлиÑĤеÑĢаÑĤÑĥÑĢа":110811,"ĠнаÑħодиÑĤÑĮÑģÑı":110812,"ĠобÑĢаÑĤиÑĤÑĮÑģÑı":110813,"ĠогÑĢаниÑĩива":110814,"ĠоÑĤÑģÑĥÑĤÑģÑĤвиÑı":110815,"ĠпаÑĢламенÑĤа":110816,"ĠпаÑģÑģажиÑĢов":110817,"ĠпеÑĢеÑĩиÑģлен":110818,"ĠпоказаÑĤелÑĮ":110819,"ĠпоказÑĭваÑİÑĤ":110820,"ĠпÑĢедÑĥпÑĢежд":110821,"ĠпÑĢоводиÑĤÑģÑı":110822,"ĠпÑĥбликаÑĨии":110823,"ĠÑĢезÑĥлÑĮÑĤаÑĤа":110824,"ĠÑģоÑģÑĤавлÑıла":110825,"ĠÑĤеÑħнологиÑı":110826,"ĠÑĥпÑĢажнениÑı":110827,"ĠÑĦизиÑĩеÑģкиÑħ":110828,"ĠÑįÑĦÑĦекÑĤивно":110829,"ĠÐŀÑĦиÑĨиалÑĮнÑĭй":110830,"ĠавÑĤомобилей":110831,"ĠвозвÑĢаÑīениÑı":110832,"Ġзаболеваний":110833,"ĠколиÑĩеÑģÑĤвом":110834,"ĠпоÑĤÑĢебноÑģÑĤи":110835,"ĠпоÑĤÑĢебноÑģÑĤÑĮ":110836,"ĠпÑĢименÑıеÑĤÑģÑı":110837,"ĠпÑĢоÑıвлÑıеÑĤÑģÑı":110838,"ĠÑģобÑģÑĤвеннÑĥÑİ":110839,"ĠÑģпÑĢаведливо":110840,"ĠÑĥпоминаеÑĤÑģÑı":110841,"ĠÑĥÑĤвеÑĢждение":110842,"ĠÑĥÑĩаÑģÑĤвоваÑĤÑĮ":110843,"ĠвозвÑĢаÑīаеÑĤÑģÑı":110844,"ĠвоÑģÑģÑĤановиÑĤÑĮ":110845,"ĠинÑģÑĤÑĢÑĥменÑĤов":110846,"ĠиÑģÑĤоÑĢиÑĩеÑģкой":110847,"ĠнаÑĨионалÑĮнÑĭÑħ":110848,"ĠпеÑĢиодиÑĩеÑģки":110849,"ĠпÑĢедположиÑĤÑĮ":110850,"ĠпÑĢедÑĥÑģмоÑĤÑĢен":110851,"ĠÑģÑĥÑīеÑģÑĤвоваÑĤÑĮ":110852,"ĠÑĥдоволÑĮÑģÑĤвие":110853,"ĠÑĦоÑĢмиÑĢование":110854,"ĠÐĶейÑģÑĤвиÑĤелÑĮно":110855,"ĠвозникновениÑı":110856,"ĠмеждÑĥнаÑĢодной":110857,"ĠнезавиÑģимоÑģÑĤи":110858,"ĠпÑĢедÑģедаÑĤелем":110859,"ĠпÑĢинÑĨипиалÑĮно":110860,"ĠпÑĢоиÑģÑħождение":110861,"ĠÑĢÑĥководиÑĤелей":110862,"ĠÑģопÑĢоÑĤивлениÑı":110863,"ĠÑįкономиÑĩеÑģкиÑħ":110864,"ĠвоÑģполÑĮзоваÑĤÑĮÑģÑı":110865,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīие":110866,"ĠÑįкÑģпеÑĢименÑĤалÑĮн":110867,"Ìģй":110868,"ÐIJÐľ":110869,"ÐijÐIJ":110870,"Ðijо":110871,"ÐĵÐij":110872,"ÐĵÑĢ":110873,"ÐĶи":110874,"ÐķÐĴ":110875,"ÐķÐĻ":110876,"Ðķв":110877,"ÐĺÐĹ":110878,"ÐĽÑİ":110879,"ÐĿи":110880,"ÐŀÐĻ":110881,"ÐŁÐIJ":110882,"СÐķ":110883,"Са":110884,"ТÐĺ":110885,"ТС":110886,"То":110887,"ТÑĭ":110888,"гг":110889,"дÑİ":110890,"ио":110891,"кÑĤ":110892,"ÑĢк":110893,"ÑĢÑĤ":110894,"ÑĮм":110895,"ÑĮÑij":110896,"Ñįд":110897,"ĠÐŀг":110898,"ĠСл":110899,"ĠУÐļ":110900,"ĠШе":110901,"ĠÐŃм":110902,"ĠÑĦÑĥ":110903,"Ðļол":110904,"ÐŁÐ¾Ð»":110905,"ÐłÐ°Ð·":110906,"айÑĪ":110907,"бÑĢо":110908,"бÑĭв":110909,"вне":110910,"вÑijл":110911,"гам":110912,"где":110913,"дÑĢе":110914,"ебÑĢ":110915,"еги":110916,"елÑĤ":110917,"жин":110918,"иво":110919,"иÑĩе":110920,"ква":110921,"кла":110922,"кÑģи":110923,"лак":110924,"лÑĥб":110925,"лÑĥп":110926,"лÑıж":110927,"наÑħ":110928,"нÑĮÑı":110929,"омо":110930,"опи":110931,"оÑģе":110932,"оÑĤÑĥ":110933,"пÑĥÑĢ":110934,"ÑģиÑģ":110935,"ÑĦим":110936,"Ñĩак":110937,"ÑĩиÑħ":110938,"ÑĪке":110939,"ÑĪне":110940,"Ñīев":110941,"ÑĮÑıв":110942,"ÑįÑģÑĤ":110943,"ĠÐIJÑĦг":110944,"ĠÐijаÑģ":110945,"ĠÐijаÑħ":110946,"ĠÐijон":110947,"ĠÐĵей":110948,"ĠÐĵÑĥÑĢ":110949,"ĠÐĶеÑĢ":110950,"ĠÐķÑģÑĤ":110951,"ĠÐĸил":110952,"ĠÐĺме":110953,"ĠÐļей":110954,"ĠÐĽÐ¾ÑĢ":110955,"ĠÐĽÐ¾Ñģ":110956,"ĠÐĽÑİд":110957,"ĠÐľÐ¸ÑĤ":110958,"ĠÐľÐ¾Ð´":110959,"ĠÐŁÐ¸Ðº":110960,"ĠÐŁÑıÑĤ":110961,"ĠÐłÐµÐ·":110962,"ĠÐłÑĭб":110963,"ĠСаÑħ":110964,"ĠСиÑĢ":110965,"ĠТеÑħ":110966,"ĠТип":110967,"ĠТÑĢа":110968,"ĠХеÑĢ":110969,"ĠШве":110970,"ĠÐŃдÑĥ":110971,"Ġбаг":110972,"ĠбÑĢÑİ":110973,"Ġван":110974,"Ġзай":110975,"Ġлид":110976,"ĠлиÑĤ":110977,"ĠлÑijг":110978,"ĠмаÑħ":110979,"ĠÑģед":110980,"ĠÑģка":110981,"ĠÑģÑĥл":110982,"ĠÑĤÑıг":110983,"ĠÑĩин":110984,"ĠÑĩÑijм":110985,"авеÑĤ":110986,"адаÑĩ":110987,"ажда":110988,"анÑģк":110989,"бомб":110990,"бÑĢав":110991,"бÑĢод":110992,"валÑĮ":110993,"видÑĥ":110994,"гами":110995,"гиба":110996,"даÑĩа":110997,"двоÑĢ":110998,"дева":110999,"дикÑĤ":111000,"диÑĤе":111001,"длин":111002,"елли":111003,"емÑĭм":111004,"енок":111005,"еÑģÑģа":111006,"еÑĪно":111007,"илов":111008,"имеÑĤ":111009,"лева":111010,"маÑĢк":111011,"меÑĢз":111012,"нига":111013,"обоÑĢ":111014,"окÑĥÑģ":111015,"олик":111016,"онÑģк":111017,"опаÑĤ":111018,"опÑĢо":111019,"полÑı":111020,"пÑĢеÑĤ":111021,"пÑĢÑıÑĤ":111022,"ÑĢали":111023,"ÑĢанд":111024,"ÑĢеки":111025,"Ñģамо":111026,"ÑģилÑĮ":111027,"ÑģинÑĤ":111028,"ÑģÑĤиг":111029,"ÑģÑĤов":111030,"ÑģÑĤÑģÑı":111031,"ÑĤали":111032,"ÑĤалÑĮ":111033,"ÑĤÑĢон":111034,"ÑĤÑĢоÑĦ":111035,"ÑĤÑĥÑĢа":111036,"ÑĥзеÑĢ":111037,"ÑĥÑĢÑģÑĭ":111038,"ÑĦалÑĮ":111039,"ÑĩинÑĥ":111040,"Ñĩник":111041,"ÑĪими":111042,"ÑİÑģеÑĢ":111043,"ÑıÑĤии":111044,"ĠÐijÑĢаÑĤ":111045,"ĠÐĶжек":111046,"ĠÐĶÑĢев":111047,"ĠÐķлиз":111048,"ĠÐĺгÑĢа":111049,"ĠÐĿÐIJТÐŀ":111050,"ĠÐŀпеÑĢ":111051,"ĠÐŁÑĢод":111052,"ĠÐłÐ°Ð´Ð¸":111053,"ĠÐłÐµÑĩÑĮ":111054,"ĠСеÑĢб":111055,"ĠСилÑĮ":111056,"ĠСÑĤол":111057,"ĠÐŃÑĤим":111058,"Ġаним":111059,"ĠбазÑĥ":111060,"Ġбоеп":111061,"ĠбÑİÑĢо":111062,"ĠвнÑĥк":111063,"ĠволÑİ":111064,"ĠгÑĥлÑı":111065,"ĠдаÑĤа":111066,"ĠдолÑı":111067,"ĠждеÑĤ":111068,"ĠженÑĥ":111069,"Ġзабл":111070,"Ġимев":111071,"ĠинÑģп":111072,"ĠинÑĨи":111073,"ĠкÑĢеÑģ":111074,"Ġнебе":111075,"ĠногÑĥ":111076,"Ġобла":111077,"ĠпоÑĢÑĥ":111078,"ĠпоÑģв":111079,"ĠÑĢазÑĭ":111080,"ĠÑĢеал":111081,"ĠÑĢеже":111082,"ĠÑĢÑĭба":111083,"ĠÑģанк":111084,"ĠÑģеÑĢж":111085,"ĠÑģиле":111086,"ĠÑģине":111087,"ĠÑģмÑĥÑĤ":111088,"ĠÑģоли":111089,"ĠÑģÑĥде":111090,"ĠÑĤени":111091,"ĠÑĥгла":111092,"ĠÑĦиÑĢм":111093,"ĠÑĦолÑĮ":111094,"ĠÑħÑĢеб":111095,"ĠÑĪанÑģ":111096,"ĠÑĪÑĤÑĥк":111097,"ĠÑıдÑĢа":111098,"айнеÑĢ":111099,"ваива":111100,"вÑıÑīен":111101,"гелÑĮм":111102,"деÑĪев":111103,"еÑģÑĤно":111104,"еÑģÑĤÑĢа":111105,"еÑĩнÑĭе":111106,"еÑĪива":111107,"иками":111108,"ионал":111109,"иÑĩной":111110,"йÑģкий":111111,"лекÑĤÑĥ":111112,"лиÑĩеÑģ":111113,"лÑıÑĨии":111114,"меÑħан":111115,"ненно":111116,"ноком":111117,"овавÑĪ":111118,"ологи":111119,"оÑĢган":111120,"оÑģÑĤеп":111121,"оÑĩное":111122,"помни":111123,"пÑĢоиз":111124,"ÑĢипаÑģ":111125,"ÑģидÑģк":111126,"ÑĤвеÑĢж":111127,"ÑĥÑģÑĤÑĢи":111128,"ÑĦелÑĮд":111129,"ÑĦинал":111130,"ÑĩиÑĤал":111131,"ÑĪиÑħÑģÑı":111132,"ĠÐĴÑĭбоÑĢ":111133,"ĠÐĶжона":111134,"ĠÐĶнепÑĢ":111135,"ĠÐķлена":111136,"ĠÐĸизнÑĮ":111137,"ĠÐļаÑĢла":111138,"ĠÐļÑĢиÑģÑĤ":111139,"ĠÐļÑĢÑĭма":111140,"ĠÐĽÑĮвов":111141,"ĠÐĿикиÑĤ":111142,"ĠÐĿовой":111143,"ĠÐŁÐ°Ð²Ð»Ð°":111144,"ĠФилÑĮм":111145,"ĠФÑĢанк":111146,"ĠФÑĢанÑĨ":111147,"ĠÐ¥Ñĥдож":111148,"Ġангел":111149,"ĠаÑĢиÑģÑĤ":111150,"ĠбалеÑĤ":111151,"ĠбелÑĭе":111152,"ĠбелÑĭй":111153,"ĠбеÑĢем":111154,"ĠбилеÑĤ":111155,"ĠбиÑĤве":111156,"ĠбиÑĤвÑĭ":111157,"ĠбÑĢака":111158,"ĠвнедÑĢ":111159,"ĠводоÑĢ":111160,"ĠвоÑĪел":111161,"ĠвоÑĪла":111162,"ĠвÑĢаÑīа":111163,"ĠвÑĭÑĪло":111164,"Ġгодом":111165,"ĠгÑĢÑıзн":111166,"Ġдвига":111167,"ĠделаÑħ":111168,"ĠдоÑĩеÑĢ":111169,"ĠдÑĢама":111170,"Ġзабав":111171,"Ġзамед":111172,"Ġзамок":111173,"ĠкаÑĢÑĤо":111174,"ĠкаÑĤол":111175,"ĠкÑĢÑĥга":111176,"Ġлимон":111177,"Ġложки":111178,"ĠлÑİбÑĥÑİ":111179,"ĠлÑİбÑĭÑħ":111180,"ĠмалÑĭÑĪ":111181,"Ġмелко":111182,"ĠмеÑĤÑĢа":111183,"ĠмолоÑĤ":111184,"ĠмолÑĩа":111185,"ĠмоÑĢоз":111186,"ĠмÑĭÑĪÑĨÑĭ":111187,"ĠнапиÑĤ":111188,"Ġнекий":111189,"ĠниÑĩÑĤо":111190,"ĠобÑīаÑı":111191,"ĠобÑīие":111192,"ĠокÑĢаÑģ":111193,"ĠопÑĢоÑģ":111194,"ĠоÑĤÑĢаз":111195,"ĠоÑĤÑĤен":111196,"ĠоÑĩков":111197,"ĠпеÑĢеÑĢ":111198,"ĠпеÑīеÑĢ":111199,"Ġпогло":111200,"ĠпоÑĢÑĤÑĥ":111201,"ĠпоÑĪла":111202,"ĠÑĢÑĭÑĨаÑĢ":111203,"ĠÑģалон":111204,"ĠÑģилаÑħ":111205,"ĠÑģлева":111206,"ĠÑģÑĤола":111207,"ĠÑģÑĥдно":111208,"ĠÑĥÑģпев":111209,"ĠÑħодил":111210,"ĠÑĩеÑĢед":111211,"ĠÑĪпион":111212,"ĠÑİÑĢиÑģÑĤ":111213,"ĠÑıблок":111214,"адолго":111215,"андÑĥÑİÑī":111216,"анÑģкий":111217,"биÑĢаÑĤÑĮ":111218,"ваÑĢÑĤиÑĢ":111219,"веÑģÑĤнÑĭ":111220,"делаÑĤÑĮ":111221,"деÑĢжав":111222,"еÑģÑĤник":111223,"еÑĨкого":111224,"икаÑĤоÑĢ":111225,"инÑģкаÑı":111226,"меÑĤÑĢов":111227,"надÑĨаÑĤ":111228,"овалÑģÑı":111229,"овÑģкиÑħ":111230,"огÑĢаÑĦи":111231,"пÑĥÑģÑĤил":111232,"ÑĢаÑģÑģÑĥд":111233,"ÑĢеменн":111234,"ÑģекÑĢеÑĤ":111235,"ÑĤелÑıми":111236,"ÑĤеÑħник":111237,"ÑĤÑıнÑĥÑĤÑĮ":111238,"ÑĥÑģÑĤили":111239,"ÑĪедÑĪий":111240,"ÑĮеÑĤнам":111241,"ĠÐIJндÑĢеÑı":111242,"ĠÐIJÑĦгани":111243,"ĠÐijÑĢиÑĤан":111244,"ĠÐĶжеймÑģ":111245,"ĠÐĶÑĢÑĥгой":111246,"ĠÐŀÑĩевид":111247,"ĠÐŁÑĢоекÑĤ":111248,"ĠÐŁÑĢоÑĤив":111249,"ĠСиÑģÑĤем":111250,"ĠСолнÑĨе":111251,"ĠСпоÑģоб":111252,"ĠСпÑĥÑģÑĤÑı":111253,"ĠСÑĤаÑĤÑĮÑı":111254,"ĠШвеÑĨии":111255,"ĠÐŃдÑĥаÑĢд":111256,"ĠакÑĨенÑĤ":111257,"ĠбаланÑģ":111258,"ĠбÑĭвÑĪиÑħ":111259,"ĠвнÑĥÑĤÑĢÑĮ":111260,"Ġвоинов":111261,"ĠвойÑģко":111262,"ĠвÑģÑıкой":111263,"ĠвÑĥлкан":111264,"ĠвÑĭзвал":111265,"ĠвÑĭÑĢажа":111266,"ĠвÑĭÑģоÑĤа":111267,"ĠвÑĭÑģоÑĤÑĥ":111268,"ĠгибелÑĮ":111269,"Ġглагол":111270,"ĠглÑĥбин":111271,"Ġгодами":111272,"ĠгÑĢÑĥзин":111273,"ĠдвоÑĢеÑĨ":111274,"ĠдвоÑĢÑĨа":111275,"ĠдоÑģÑĤаÑĤ":111276,"ĠжиÑĤелÑĮ":111277,"Ġзалива":111278,"ĠзанÑıла":111279,"ĠзанÑıÑĤÑĮ":111280,"ĠзаплаÑĤ":111281,"ĠзаÑīиÑĤе":111282,"Ġзвезда":111283,"ĠзвÑĥков":111284,"Ġздании":111285,"ĠзнаеÑĪÑĮ":111286,"ĠзолоÑĤа":111287,"ĠигÑĢаÑİÑĤ":111288,"ĠимпоÑĢÑĤ":111289,"ĠкоммÑĥн":111290,"ĠлоÑĪади":111291,"ĠманевÑĢ":111292,"Ġмелкие":111293,"ĠмеÑģÑĤоÑĢ":111294,"ĠмÑĭÑģлей":111295,"ĠновÑĭми":111296,"Ġногами":111297,"ĠобÑĢазÑĭ":111298,"Ġодинок":111299,"ĠоÑĢгани":111300,"ĠоÑĨенив":111301,"ĠоÑĨенка":111302,"ĠпаÑĢенÑĮ":111303,"ĠпаÑĢÑĤиÑİ":111304,"ĠпеÑĩалÑĮ":111305,"Ġпланов":111306,"Ġпобеда":111307,"ĠподÑĬем":111308,"Ġпоедин":111309,"ĠпойдеÑĤ":111310,"ĠполÑĥÑĩа":111311,"ĠпоÑĩиÑĤа":111312,"ĠпÑĢавдÑĥ":111313,"ĠпÑĢивез":111314,"ĠпÑĢиема":111315,"ĠпÑĢийÑĤи":111316,"ĠпÑĢимеÑĤ":111317,"ĠпÑĢоезд":111318,"ĠпÑĢоÑĩие":111319,"ĠÑĢазмÑĭÑĪ":111320,"ĠÑĢазобÑĢ":111321,"ĠÑĢеÑĪаеÑĤ":111322,"ĠÑĢодной":111323,"ĠÑģледов":111324,"ĠÑģменил":111325,"ĠÑģмогла":111326,"ĠÑģобоÑĢа":111327,"ĠÑģпиÑģке":111328,"ĠÑģпÑĢава":111329,"ĠÑģÑĢавни":111330,"ĠÑģÑĢоÑĩно":111331,"ĠÑģÑĤанÑĥÑĤ":111332,"ĠÑģÑĤоÑıла":111333,"ĠÑģÑĥдÑĮбÑĥ":111334,"ĠÑģÑĥÑģÑĤав":111335,"ĠÑģÑĩиÑĤаÑı":111336,"ĠÑĤоваÑĢÑĭ":111337,"ĠÑĤоÑĩнее":111338,"ĠÑĤÑĢевож":111339,"ĠÑĤÑĥÑĢниÑĢ":111340,"ĠÑĥÑĩенÑĭй":111341,"ĠÑĦайлов":111342,"ĠÑĦигÑĥÑĢÑĭ":111343,"ĠÑĦилиал":111344,"ĠÑħоÑĤела":111345,"ĠÑħоÑĩеÑĪÑĮ":111346,"ĠÑĩаÑģÑĤÑıÑħ":111347,"ĠÑĩÑĤениÑı":111348,"аÑĨионно":111349,"вижениÑı":111350,"водиÑĤÑģÑı":111351,"еллекÑĤÑĥ":111352,"иÑĢованÑĭ":111353,"иÑģповед":111354,"надÑĨаÑĤи":111355,"пÑĢавлен":111356,"пÑĥÑģÑĤиÑĤÑĮ":111357,"ÑĤелÑĮное":111358,"ÑħодÑıÑīиÑħ":111359,"ÑħоÑĢонен":111360,"ĠÐĴоÑĢонеж":111361,"ĠÐĵенеÑĢал":111362,"ĠÐĵлавнÑĭй":111363,"ĠÐĵоÑģподÑĮ":111364,"ĠÐĶавайÑĤе":111365,"ĠÐĶоÑģÑĤоев":111366,"ĠÐĺзÑĢаилÑı":111367,"ĠÐłÑĥÑģÑģкой":111368,"ĠФÑĢанÑĨиÑı":111369,"ĠбаÑģÑģейн":111370,"ĠблизкиÑħ":111371,"ĠвдоÑħнов":111372,"ĠведÑĥÑīиÑħ":111373,"ĠвзглÑıдÑĭ":111374,"ĠвклÑİÑĩал":111375,"ĠвнеÑĪниÑħ":111376,"ĠвоеннÑĥÑİ":111377,"ĠвоеннÑĭм":111378,"ĠвоÑģÑĤоке":111379,"ĠвÑħодили":111380,"ĠвÑĭÑģоким":111381,"ĠвÑĭÑģÑĤÑĢел":111382,"ĠвÑĭÑħодил":111383,"ĠдеÑĤалей":111384,"ĠдиÑģÑģеÑĢÑĤ":111385,"ĠдоÑģÑĤойн":111386,"ĠдÑĭÑħание":111387,"Ġединого":111388,"ĠжеÑģÑĤоко":111389,"Ġзадание":111390,"ĠзаданиÑı":111391,"ĠизделиÑı":111392,"ĠинÑģÑĤинк":111393,"ĠкаÑĢÑĮеÑĢÑĭ":111394,"ĠкаÑĤалог":111395,"ĠкинемаÑĤ":111396,"ĠклиенÑĤа":111397,"Ġколлеги":111398,"ĠкомÑĦоÑĢÑĤ":111399,"ĠкооÑĢдин":111400,"ĠкÑĢÑĥпнÑĭй":111401,"ĠлеÑĩение":111402,"ĠлоÑĪадей":111403,"ĠмеÑħаник":111404,"Ġмногими":111405,"ĠмолодÑĭм":111406,"ĠмоменÑĤÑĭ":111407,"Ġнекогда":111408,"ĠобезÑĮÑıн":111409,"ĠобÑĢазÑĨа":111410,"ĠобÑĬÑıвлÑı":111411,"ĠодеÑĢжал":111412,"ĠоÑģÑĤавив":111413,"ĠоÑĤмеÑĩал":111414,"ĠоÑĤÑĢаÑģли":111415,"ĠпаÑĢоÑħод":111416,"ĠпеÑĢежив":111417,"ĠплаÑĤиÑĤÑĮ":111418,"ĠподÑħода":111419,"ĠпоиÑģков":111420,"Ġполагал":111421,"ĠполÑĤоÑĢа":111422,"ĠпÑĢедÑĬÑıв":111423,"ĠпÑĢиближ":111424,"ĠпÑĢименÑı":111425,"ĠпÑĢимеÑĢе":111426,"ĠпÑĢинÑıла":111427,"ĠпÑĢиÑĢодÑĥ":111428,"ĠпÑĢоекÑĤÑĭ":111429,"ĠпÑĢойдеÑĤ":111430,"ĠпÑĢоÑģÑĤÑĭÑħ":111431,"ĠÑĢабоÑĩей":111432,"ĠÑĢазмеÑĢÑĭ":111433,"ĠÑĢазÑĢеÑĪа":111434,"ĠÑĢаÑģÑĪиÑĢÑı":111435,"ĠÑĢеÑģÑĥÑĢÑģÑĭ":111436,"ĠÑģвÑıÑĤого":111437,"ĠÑģеÑĢжанÑĤ":111438,"ĠÑģилÑĮнÑĭм":111439,"ĠÑģоздали":111440,"ĠÑģозданÑĭ":111441,"ĠÑģообÑīал":111442,"ĠÑģпÑĥÑĤник":111443,"ĠÑģÑĢеднев":111444,"ĠÑģÑĩаÑģÑĤÑĮÑİ":111445,"ĠÑģÑĩаÑģÑĤÑĮÑı":111446,"ĠÑĤÑĢебÑĥÑİÑĤ":111447,"ĠÑĤÑĢеÑĤÑĮем":111448,"ĠÑĥвидели":111449,"ĠÑĥдаеÑĤÑģÑı":111450,"ĠÑĥдаÑģÑĤÑģÑı":111451,"ĠÑĥÑģловно":111452,"ĠÑĥÑĩебник":111453,"ĠÑħоÑĢоÑĪим":111454,"ĠÑĩаÑģÑĤнÑĭÑħ":111455,"ĠÑĩеÑĤвÑijÑĢÑĤ":111456,"наÑĨионал":111457,"ÑĤиÑĩеÑģкое":111458,"ÑĥÑģÑĤойÑĩив":111459,"ĠÐIJлекÑģеев":111460,"ĠÐIJмеÑĢикан":111461,"ĠÐĴеÑĢоÑıÑĤно":111462,"ĠÐĺзвеÑģÑĤно":111463,"ĠÐļонÑģÑĤиÑĤÑĥ":111464,"ĠХаÑĢакÑĤеÑĢ":111465,"ĠаÑĢÑħеолог":111466,"ĠболÑĮного":111467,"ĠваÑĢианÑĤа":111468,"ĠваÑĢианÑĤÑĭ":111469,"ĠвзÑĢоÑģлÑĭÑħ":111470,"ĠвозвÑĢаÑīа":111471,"ĠвозвÑĭÑĪен":111472,"ĠвопÑĢоÑģом":111473,"ĠвÑĭглÑıдел":111474,"ĠвÑĭделиÑĤÑĮ":111475,"ĠвÑĭполнил":111476,"ĠгоÑģподин":111477,"ĠдинаÑģÑĤии":111478,"ĠдопÑĥÑģÑĤим":111479,"ĠдÑĢÑĥзÑĮÑıми":111480,"ĠживоÑĤнÑĭе":111481,"Ġзавоевал":111482,"ĠзападнÑĭÑħ":111483,"ĠзаÑīиÑĤник":111484,"ĠзÑĢиÑĤелей":111485,"ĠкапиÑĤана":111486,"ĠкомиÑģÑģиÑı":111487,"ĠкомпаниÑİ":111488,"ĠмиÑĢового":111489,"ĠмоÑīноÑģÑĤи":111490,"ĠнаÑĥÑĩного":111491,"ĠоблаÑģÑĤей":111492,"ĠокажеÑĤÑģÑı":111493,"ĠоÑĤкÑĢÑĭÑĤÑĭм":111494,"ĠпиÑģÑĤолеÑĤ":111495,"ĠпокинÑĥÑĤÑĮ":111496,"Ġполовина":111497,"ĠполовинÑĥ":111498,"ĠпонимаÑİÑĤ":111499,"ĠпопадаеÑĤ":111500,"ĠпоÑģвÑıÑīÑijн":111501,"ĠпÑĢакÑĤика":111502,"ĠпÑĢедпоÑĩÑĤ":111503,"ĠпÑĢимиÑĤив":111504,"ĠпÑĢоведен":111505,"ĠпÑĢоигÑĢал":111506,"ĠпÑĭÑĤаÑİÑĤÑģÑı":111507,"ĠÑĢазновид":111508,"ĠÑĢаÑģÑĪиÑĢен":111509,"ĠÑĢеалÑĮной":111510,"ĠÑĢодилаÑģÑĮ":111511,"ĠÑģамоÑĥбий":111512,"ĠÑģведений":111513,"ĠÑģовеÑĤник":111514,"ĠÑģоединен":111515,"ĠÑģознании":111516,"ĠÑģопоÑģÑĤав":111517,"ĠÑģпоÑģобов":111518,"ĠÑģÑĤаÑĢÑĪего":111519,"ĠÑģÑĥбÑĬекÑĤа":111520,"ĠÑĤÑĢениÑĢов":111521,"ĠÑĥказаниÑı":111522,"ĠÑĥÑĩаÑģÑĤков":111523,"ĠÑĥÑĩеников":111524,"изиÑĢоваÑĤÑĮ":111525,"ĠÐĴаÑĪингÑĤон":111526,"ĠÐĴилÑĮгелÑĮм":111527,"ĠÐŁÐµÑĤÑĢогÑĢад":111528,"ĠÐŁÐ¾Ñģледний":111529,"ĠагенÑĤÑģÑĤва":111530,"ĠагенÑĤÑģÑĤво":111531,"ĠбоепÑĢипаÑģ":111532,"ĠвоÑģÑģÑĤание":111533,"ĠвÑĭÑģÑĤÑĥпаÑĤÑĮ":111534,"ĠдоÑģÑĤигнÑĥÑĤ":111535,"ĠживоÑĤного":111536,"ĠизобÑĢажен":111537,"ĠимÑĥÑīеÑģÑĤво":111538,"ĠконкÑĥÑĢенÑĤ":111539,"Ġнаказание":111540,"ĠопиÑģÑĭваеÑĤ":111541,"ĠоÑģÑĤоÑĢожно":111542,"ĠпеÑĢеведен":111543,"ĠпеÑĢеÑħодиÑĤ":111544,"ĠпобеÑĢежÑĮÑı":111545,"ĠпопÑĭÑĤалÑģÑı":111546,"ĠпÑĢевоÑģÑħод":111547,"ĠпÑĢедÑģÑĤоиÑĤ":111548,"ĠпÑĢизнаков":111549,"ĠпÑĢименÑıÑĤÑĮ":111550,"ĠпÑĢинимали":111551,"ĠпÑĢинимаÑİÑĤ":111552,"ĠпÑĢиÑģвоено":111553,"ĠпÑĢоизоÑĪел":111554,"ĠпÑĢоÑĤивник":111555,"ĠпÑĢоÑħодили":111556,"ĠÑĢазговоÑĢа":111557,"ĠÑĢаÑģÑģÑĩиÑĤан":111558,"ĠÑĢаÑĨионалÑĮ":111559,"ĠÑĢеволÑİÑĨиÑı":111560,"ĠÑģоÑĩинениÑı":111561,"ĠÑĤелевизоÑĢ":111562,"ĠÑĥвелиÑĩиÑĤÑĮ":111563,"ĠÑĥÑĩиÑĤÑĭваÑĤÑĮ":111564,"ĠÑĨенноÑģÑĤей":111565,"ÐŁÐµÑĤеÑĢбÑĥÑĢге":111566,"алиÑģÑĤиÑĩеÑģк":111567,"ĠÐIJÑĦганиÑģÑĤан":111568,"ĠÐĴладимиÑĢов":111569,"ĠанглийÑģком":111570,"ĠаÑĢиÑģÑĤокÑĢаÑĤ":111571,"ĠвооÑĢÑĥжениÑı":111572,"ĠвоÑģпÑĢиÑıÑĤиÑı":111573,"ĠгоÑĤовноÑģÑĤи":111574,"ĠдиÑĢекÑĤоÑĢом":111575,"ĠзавеÑĢÑĪениÑı":111576,"ĠзаÑģÑĤавлÑıеÑĤ":111577,"ĠкомандиÑĢом":111578,"Ġкомандовал":111579,"ĠкÑĢиÑĤиÑĩеÑģки":111580,"ĠмеÑĤаллиÑĩеÑģ":111581,"ĠназнаÑĩение":111582,"ĠнапÑĢÑıжение":111583,"ĠнаÑģÑĤÑĢоение":111584,"ĠнепÑĢеменно":111585,"ĠоÑĤкÑĢовенно":111586,"ĠоÑĤÑģÑĥÑĤÑģÑĤвии":111587,"ĠпеÑĢеводÑĩик":111588,"ĠподгоÑĤовкÑĥ":111589,"ĠпÑĢодолжали":111590,"ĠпÑĢодолжаÑİÑĤ":111591,"ĠпÑĢоиÑģÑħодÑıÑĤ":111592,"ĠÑĢаÑģÑģÑĤоÑıниÑı":111593,"ĠÑĢеÑģпÑĥблика":111594,"ĠÑģобиÑĢаеÑĤÑģÑı":111595,"ĠÑģообÑīеÑģÑĤва":111596,"ĠÑģоÑģÑĤавлÑıли":111597,"ĠÑģоÑģÑĤавлÑıло":111598,"ĠÑģоÑħÑĢанениÑı":111599,"ĠÑĥвелиÑĩение":111600,"ĠÑĥниÑĩÑĤожиÑĤÑĮ":111601,"ĠÑĥÑĩÑĢеждений":111602,"нокомандÑĥÑİÑī":111603,"ĠÐķÑģÑĤеÑģÑĤвенно":111604,"ĠЦенÑĤÑĢалÑĮной":111605,"ĠаÑĢÑħиепиÑģкоп":111606,"ĠвеÑĢоÑıÑĤноÑģÑĤÑĮ":111607,"ĠдоÑģÑĤоинÑģÑĤва":111608,"ĠиÑģÑĤÑĢебиÑĤелÑĮ":111609,"ĠкоÑįÑĦÑĦиÑĨиенÑĤ":111610,"ĠлабоÑĢаÑĤоÑĢии":111611,"ĠмеÑĢопÑĢиÑıÑĤий":111612,"ĠнаблÑİдаеÑĤÑģÑı":111613,"ĠнеобÑħодимÑĭÑħ":111614,"ĠоÑĢганизаÑĨиÑİ":111615,"ĠоÑĤÑģÑĥÑĤÑģÑĤвÑĥеÑĤ":111616,"ĠпаÑĢаллелÑĮно":111617,"ĠпонеделÑĮник":111618,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвие":111619,"ĠпÑĢоизводиÑĤÑĮ":111620,"ĠпÑĥÑĤеÑĪеÑģÑĤвиÑı":111621,"ĠÑĢазвиваеÑĤÑģÑı":111622,"ĠÑĢазобÑĢаÑĤÑĮÑģÑı":111623,"ĠÑĢазÑĢабоÑĤÑĩик":111624,"ĠÑĢегиÑģÑĤÑĢаÑĨии":111625,"ĠÑģовÑĢеменном":111626,"ĠÑģовÑĢеменнÑĭе":111627,"ĠÑĤÑĢадиÑĨионно":111628,"ĠÑĥÑģÑĤанавлива":111629,"ĠÑĥÑģÑĤановлено":111630,"ĠÑĥÑģÑĤановленÑĭ":111631,"ĠÑĩиÑģленноÑģÑĤÑĮ":111632,"ĠвоÑģÑģÑĤановлен":111633,"ĠзамеÑģÑĤиÑĤелем":111634,"ĠкинемаÑĤогÑĢаÑĦ":111635,"ĠкомандованиÑı":111636,"ĠобÑıзаÑĤелÑĮÑģÑĤв":111637,"ĠоÑĢганизоваÑĤÑĮ":111638,"ĠположиÑĤелÑĮно":111639,"ĠпÑĢедоÑģÑĤавлен":111640,"ĠпÑĢоизводиÑĤÑģÑı":111641,"ĠÑĢаÑģположение":111642,"ĠÑĢаÑģÑģмаÑĤÑĢивал":111643,"ĠÑģпоÑģобÑģÑĤвÑĥеÑĤ":111644,"ĠÑĤоÑĢжеÑģÑĤвенно":111645,"ĠÑĩеловеÑĩеÑģкиÑħ":111646,"ĠСледоваÑĤелÑĮно":111647,"ĠдоказаÑĤелÑĮÑģÑĤв":111648,"ĠзаинÑĤеÑĢеÑģован":111649,"ĠнезавиÑģимоÑģÑĤÑĮ":111650,"ĠÑįÑĦÑĦекÑĤивноÑģÑĤÑĮ":111651,"ĠвоÑģÑģÑĤановлениÑı":111652,"ĠдоказаÑĤелÑĮÑģÑĤва":111653,"ĠпÑĢоÑĤивоположно":111654,"ĠÑģоÑĤÑĢÑĥдниÑĩеÑģÑĤва":111655,"ĠпÑĢедпÑĢинимаÑĤелÑĮ":111656,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢанениÑı":111657,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīиÑħ":111658,"!»":111659,"ÐIJÐŁ":111660,"ÐijÐł":111661,"ÐķÐľ":111662,"ÐĺÐĽ":111663,"ÐŀÐĶ":111664,"ÐŀÐľ":111665,"ÐŀÐŀ":111666,"ÐŀС":111667,"ÐŀÑĢ":111668,"ÐŁÐ¡":111669,"ÐŁÑĥ":111670,"ÐłÐ¾":111671,"Ð¡ÐŁ":111672,"Св":111673,"Се":111674,"СÑĥ":111675,"Ð¢Ðł":111676,"ФÐIJ":111677,"бн":111678,"еÑİ":111679,"Ñįп":111680,"\".[":111681,"lum":111682,"sia":111683,"Ġ«\"":111684,"ĠÐĿÐķ":111685,"ĠÐŀÐIJ":111686,"ĠÐ¥ÑĢ":111687,"ĠЦе":111688,"Ġзо":111689,"Ġка":111690,"Ġла":111691,"ĠÑĦе":111692,"ĠÑħÑĥ":111693,"ÐĹап":111694,"ÐĽÑĥÑĩ":111695,"ÐĿик":111696,"ÐłÐ°Ñģ":111697,"СÐļÐIJ":111698,"аÑĢÑĭ":111699,"бÑĥÑģ":111700,"дже":111701,"дик":111702,"дне":111703,"дно":111704,"дÑĥл":111705,"евÑĪ":111706,"егÑĢ":111707,"ези":111708,"еÑĩн":111709,"жей":111710,"жÑĥÑĢ":111711,"зой":111712,"идн":111713,"изо":111714,"иÑĦÑĢ":111715,"каÑĩ":111716,"код":111717,"лÑĮÑĨ":111718,"меÑī":111719,"мог":111720,"моÑī":111721,"ндÑĢ":111722,"нка":111723,"нÑıн":111724,"нÑijÑģ":111725,"овÑĥ":111726,"овÑĮ":111727,"оÑĢÑĭ":111728,"пак":111729,"пле":111730,"ÑĢоÑĩ":111731,"ÑĢÑĭе":111732,"ÑĢÑĭн":111733,"Ñģей":111734,"Ñģло":111735,"ÑģлÑĭ":111736,"Ñģни":111737,"ÑģÑģа":111738,"ÑģÑģи":111739,"ÑģÑĥн":111740,"ÑĤеÑĤ":111741,"ÑĤиÑĩ":111742,"Ñĥмб":111743,"ÑĦаÑĢ":111744,"ÑĦаÑĤ":111745,"ÑĦеÑĤ":111746,"ÑĦоÑģ":111747,"Ñħай":111748,"ÑħеÑĢ":111749,"Ñħин":111750,"ÑĨÑĭн":111751,"ÑĩÑĥж":111752,"ÑĬем":111753,"ÑĬÑıÑģ":111754,"ÑĮÑİÑĤ":111755,"ÑİлÑĮ":111756,"Ñıзв":111757,"Ñıна":111758,"ÑıÑĤо":111759,"tive":111760,"ĠÐIJнд":111761,"ĠÐIJнÑĤ":111762,"ĠÐIJÑĢÑĤ":111763,"ĠÐijаз":111764,"ĠÐijÑĢе":111765,"ĠÐĶеп":111766,"ĠÐĶеÑĤ":111767,"ĠÐĶик":111768,"ĠÐķлÑĮ":111769,"ĠÐĺбо":111770,"ĠÐļÐĵÐij":111771,"ĠÐļем":111772,"ĠÐĽÐ°Ð´":111773,"ĠÐĽÐ°ÑĢ":111774,"ĠÐĽÐµÐ³":111775,"ĠÐľÐĺÐĶ":111776,"ĠÐĿед":111777,"ĠÐŀÐŀÐŀ":111778,"ĠСÑĥп":111779,"ĠУÑģп":111780,"ĠХай":111781,"ĠХод":111782,"ĠÐ¥ÑĢÑĥ":111783,"ĠЦел":111784,"ĠШел":111785,"Ġбен":111786,"ĠбиÑĢ":111787,"Ġбом":111788,"ĠбÑĢе":111789,"Ġгео":111790,"ĠгеÑĤ":111791,"ĠглÑı":111792,"ĠдиÑĦ":111793,"ĠдÑĭÑĢ":111794,"ĠедÑĭ":111795,"ĠкÑĥз":111796,"ĠоÑĢб":111797,"ĠпаÑħ":111798,"Ġпей":111799,"ĠпеÑĪ":111800,"ĠÑģап":111801,"ĠÑģаÑĤ":111802,"ĠÑģег":111803,"ĠÑģиÑĢ":111804,"ĠÑģмÑı":111805,"ĠÑĥни":111806,"ĠÑĩек":111807,"ĠÑįго":111808,"ĠÑįкв":111809,"ÐŁÑĢед":111810,"адоб":111811,"аÑĢеÑĤ":111812,"аÑĦÑĢи":111813,"аÑĪÑİÑĤ":111814,"бÑĢаÑĤ":111815,"бÑİÑĢо":111816,"вала":111817,"ваÑĤо":111818,"ведÑı":111819,"гина":111820,"гнал":111821,"дана":111822,"двое":111823,"еваÑı":111824,"егии":111825,"енÑĮÑı":111826,"еÑħав":111827,"жиÑĤÑĮ":111828,"иаÑĤÑĢ":111829,"ибеÑĢ":111830,"имое":111831,"имÑĭй":111832,"инка":111833,"ипед":111834,"иÑĨин":111835,"каÑĤÑĮ":111836,"клоÑĢ":111837,"коÑĢÑĢ":111838,"коÑģм":111839,"кÑĢÑĭв":111840,"ланÑĤ":111841,"ливÑĭ":111842,"лине":111843,"лоÑħо":111844,"миÑģÑģ":111845,"ниÑĩн":111846,"нное":111847,"нной":111848,"нÑĥла":111849,"нÑĥли":111850,"овеÑĨ":111851,"овки":111852,"озда":111853,"олом":111854,"онаÑĢ":111855,"оÑĤеÑĩ":111856,"оÑĩаÑĢ":111857,"плоÑĤ":111858,"поли":111859,"пÑĢоб":111860,"ÑĢама":111861,"ÑĢван":111862,"ÑĢиан":111863,"ÑĢÑĥÑģÑĤ":111864,"ÑģлÑĭÑĪ":111865,"Ñģнеж":111866,"ÑģпиÑĢ":111867,"ÑģÑİдÑĥ":111868,"ÑĤивн":111869,"Ñĥмев":111870,"ÑĥÑģÑģк":111871,"Ñħана":111872,"ÑħоÑĤÑı":111873,"Ñĩное":111874,"ÑĪков":111875,"ÑĪкой":111876,"ÑīадÑĮ":111877,"Ñīики":111878,"ÑĭÑĪев":111879,"ÑĮном":111880,"ĠÐIJвÑģÑĤ":111881,"ĠÐIJннÑĭ":111882,"ĠÐijанк":111883,"ĠÐijлок":111884,"ĠÐijÑĭла":111885,"ĠÐĴалÑĮ":111886,"ĠÐĶела":111887,"ĠÐĶома":111888,"ĠÐķгоÑĢ":111889,"ĠÐĺнди":111890,"ĠÐļлин":111891,"ĠÐļолÑĮ":111892,"ĠÐľÐ°ÑĤÑĮ":111893,"ĠÐĿÐļÐĴÐĶ":111894,"ĠÐĿаÑĪи":111895,"ĠÐŁÐ°Ð²Ð»":111896,"ĠÐŁÑĢеÑģ":111897,"ĠÐŁÑĢоÑĪ":111898,"ĠÐłÐµÐ¹Ð½":111899,"ĠÐłÐ¸Ð¼Ð°":111900,"ĠСмиÑĤ":111901,"ĠФоÑĤо":111902,"Ġбаза":111903,"Ġблог":111904,"ĠвеÑĢе":111905,"ĠгÑĢÑıд":111906,"Ġдала":111907,"ĠдаÑģÑĤ":111908,"ĠдаÑijÑĤ":111909,"ĠдомÑĥ":111910,"Ġегип":111911,"ĠжанÑĢ":111912,"Ġжила":111913,"Ġзлоб":111914,"ĠкаÑĦе":111915,"Ġкожа":111916,"ĠкожÑĥ":111917,"ĠкÑĢаÑİ":111918,"ĠлеÑĤо":111919,"ĠменÑİ":111920,"ĠмолÑĩ":111921,"ĠмÑıÑģа":111922,"Ġнеба":111923,"Ġобоз":111924,"Ġобой":111925,"ĠоÑĦиÑĨ":111926,"ĠпиÑīе":111927,"ĠпÑĢой":111928,"ĠÑĢоÑĤÑĭ":111929,"ĠÑĢÑĥга":111930,"ĠÑģкÑĢÑĭ":111931,"ĠÑģоÑĢÑĤ":111932,"ĠÑģÑĤой":111933,"ĠÑģÑĤоп":111934,"ĠÑģÑĤÑĥл":111935,"ĠÑģÑĥÑħо":111936,"ĠÑģÑĬÑijм":111937,"ĠÑĤеме":111938,"ĠÑĤÑĢаÑĤ":111939,"ĠÑĤÑĢен":111940,"ĠÑĥбил":111941,"ĠÑĥбоÑĢ":111942,"ĠÑĥглÑĥ":111943,"ĠÑĥгод":111944,"ĠÑĥÑħÑĥд":111945,"ĠÑĦÑĢан":111946,"ĠÑĨили":111947,"ĠÑĩÑĥдо":111948,"ÐĻоÑĢке":111949,"акÑĤик":111950,"беÑģед":111951,"бинаÑĤ":111952,"благо":111953,"бÑĢаÑĤÑĮ":111954,"веÑĢга":111955,"веÑĪен":111956,"волок":111957,"гÑĢамм":111958,"даваÑı":111959,"дание":111960,"даниÑı":111961,"дÑĥÑĪев":111962,"ейнеÑĢ":111963,"емник":111964,"еÑĢина":111965,"еÑĢниз":111966,"завод":111967,"ийÑģко":111968,"имÑģÑĤв":111969,"иÑĨкий":111970,"кажеÑĤ":111971,"кевиÑĩ":111972,"ковÑĭÑħ":111973,"колон":111974,"коÑĤоÑĢ":111975,"лÑĮнÑĭе":111976,"лÑĮнÑĭй":111977,"лÑİбов":111978,"менÑĤа":111979,"меÑģÑĤи":111980,"меÑĪал":111981,"нений":111982,"неÑģла":111983,"ноÑģим":111984,"нÑģкаÑı":111985,"нÑģкие":111986,"обода":111987,"овеÑĢÑĪ":111988,"ождал":111989,"онÑĤан":111990,"опиÑģи":111991,"оÑĢиал":111992,"оÑĩнÑĥÑİ":111993,"паÑģÑĤÑĮ":111994,"ÑĢибÑĥÑĤ":111995,"ÑĢÑģкий":111996,"ÑģÑĤÑĢаÑħ":111997,"ÑģÑĭÑīен":111998,"ÑĤаÑīил":111999,"ÑĤивно":112000,"Ñĥжели":112001,"ÑĥÑİÑīей":112002,"ÑĩениÑı":112003,"ÑĩеÑģÑĤв":112004,"ÑĪиеÑģÑı":112005,"ĠÐIJÑĢиÑģÑĤ":112006,"ĠÐIJÑĢÑĤÑĥÑĢ":112007,"ĠÐijогом":112008,"ĠÐĴажно":112009,"ĠÐĺиÑģÑĥÑģ":112010,"ĠÐĽÑĥÑĩÑĪе":112011,"ĠÐľÐµÑĤод":112012,"ĠÐĿавеÑĢ":112013,"ĠÐĿоваÑı":112014,"ĠÐĿовоÑģ":112015,"ĠÐŀлÑĮга":112016,"ĠÐŁÐ¾Ð¿Ð¾Ð²":112017,"ĠÐłÑıзан":112018,"ĠСÑĢазÑĥ":112019,"ĠСÑĤаÑĢо":112020,"ĠТеаÑĤÑĢ":112021,"ĠТоÑĩно":112022,"ĠТÑĢÑĥда":112023,"Ġбанки":112024,"ĠбаÑĪни":112025,"Ġвелел":112026,"Ġвелик":112027,"ĠвелоÑģ":112028,"ĠвеÑģом":112029,"ĠвидÑıÑĤ":112030,"ĠвоÑĢон":112031,"ĠвÑĭÑģÑĤÑĢ":112032,"ĠвÑĭÑĩиÑģ":112033,"ĠгоÑĢаÑħ":112034,"Ġдавал":112035,"ĠдлинÑĭ":112036,"ĠдÑĥÑĪев":112037,"ĠеÑħаÑĤÑĮ":112038,"ĠзвÑĥка":112039,"ĠзвÑĥки":112040,"Ġзелен":112041,"Ġзнала":112042,"ĠигÑĢов":112043,"Ġиздал":112044,"Ġказак":112045,"ĠказаÑĩ":112046,"Ġкамни":112047,"ĠкаÑĢÑĤÑĥ":112048,"ĠкÑĢово":112049,"ĠлаÑĤин":112050,"Ġлежал":112051,"Ġлиней":112052,"Ġлиний":112053,"ĠмалÑĭÑħ":112054,"ĠмоÑģÑĤа":112055,"ĠмÑĥзее":112056,"Ġнадел":112057,"ĠоблаÑĩ":112058,"ĠобоÑģÑĤ":112059,"ĠобÑīÑĥÑİ":112060,"ĠоÑĩеÑĢк":112061,"ĠпаÑĢка":112062,"ĠпаÑĢÑĥÑģ":112063,"ĠпеÑģнÑİ":112064,"ĠпиÑģем":112065,"ĠпиÑĪÑĥÑĤ":112066,"ĠплоÑģк":112067,"Ġповли":112068,"ĠповÑĭÑģ":112069,"Ġпогод":112070,"Ġпониж":112071,"ĠпоÑĤÑĢÑı":112072,"ĠпÑĢиÑıÑĤ":112073,"ĠпÑĢоÑģв":112074,"ĠпÑĢоÑĪÑĥ":112075,"ĠÑĢазÑĢе":112076,"ĠÑĢанга":112077,"ĠÑĢобоÑĤ":112078,"ĠÑĢожда":112079,"ĠÑģвадÑĮ":112080,"ĠÑģеÑĢиÑı":112081,"ĠÑģкажÑĥ":112082,"ĠÑģÑĤене":112083,"ĠÑģÑĥдна":112084,"ĠÑģÑĥÑĢов":112085,"ĠÑģÑħемÑĭ":112086,"ĠÑģÑĨенÑĥ":112087,"ĠÑĤоÑĩке":112088,"ĠÑĤÑĢанз":112089,"ĠÑĤÑİÑĢем":112090,"ĠÑĤÑıжÑijл":112091,"ĠÑĥважа":112092,"ĠÑĥзнав":112093,"ĠÑĥмееÑĤ":112094,"ĠÑĥÑĢавн":112095,"ĠÑĦанаÑĤ":112096,"ĠÑĦокÑĥÑģ":112097,"ĠÑħÑĥÑĤоÑĢ":112098,"ĠÑĨелое":112099,"ĠÑĩлена":112100,"ĠÑįвакÑĥ":112101,"ĠÑįÑĤапа":112102,"ĠÑİноÑĪе":112103,"ĠÑıзÑĭки":112104,"бÑĢоÑģил":112105,"валиÑģÑĮ":112106,"галÑĤеÑĢ":112107,"динами":112108,"евÑģкой":112109,"ежÑĥÑĤоÑĩ":112110,"ибиÑĢÑģк":112111,"изаÑĨиÑİ":112112,"илÑĮник":112113,"инÑĦоÑĢм":112114,"иÑģÑĤами":112115,"кажиÑĤе":112116,"леннÑĭÑħ":112117,"лиÑĩнÑĭе":112118,"наÑĩалÑĥ":112119,"нейÑĪие":112120,"никова":112121,"ноÑģÑĤÑıм":112122,"овÑģкое":112123,"омниÑĤе":112124,"омоÑĩен":112125,"оÑĤланд":112126,"пиÑģаÑĤÑĮ":112127,"пÑĢаздн":112128,"пÑĢоекÑĤ":112129,"ÑĢегÑĥли":112130,"ÑĢÑģкого":112131,"ÑĢÑĥÑģÑģки":112132,"ÑģвÑıÑīен":112133,"ÑģлÑĥжбе":112134,"ÑģоглаÑģ":112135,"ÑģÑĤÑĢаÑģÑĤ":112136,"ÑģÑĤÑĢеÑĩÑĥ":112137,"ÑĨионеÑĢ":112138,"ÑĩиваеÑĤ":112139,"ÑıÑīиеÑģÑı":112140,"ĠÐIJÑĢÑħанг":112141,"ĠÐIJÑĦÑĢике":112142,"ĠÐĴÑħодиÑĤ":112143,"ĠÐĵенÑĢиÑħ":112144,"ĠÐĶокÑĤоÑĢ":112145,"ĠÐķвÑĢопÑĥ":112146,"ĠÐĹапада":112147,"ĠÐĹападе":112148,"ĠÐĺоанна":112149,"ĠÐļолÑĥмб":112150,"ĠÐļомиÑģÑģ":112151,"ĠÐĿелÑĮзÑı":112152,"ĠСвÑıÑĤой":112153,"ĠСеваÑģÑĤ":112154,"ĠУказом":112155,"ĠанÑĤÑĢоп":112156,"ĠаÑĢомаÑĤ":112157,"ĠбежаÑĤÑĮ":112158,"Ġбелого":112159,"ĠболгаÑĢ":112160,"ĠбÑĥдеÑĪÑĮ":112161,"ĠважнÑĥÑİ":112162,"ĠважнÑĭй":112163,"Ġвведен":112164,"ĠввеÑģÑĤи":112165,"ĠвеÑĢÑģиÑİ":112166,"ĠвидиÑĤе":112167,"ĠвÑĢаÑĩей":112168,"ĠвÑĭбÑĢал":112169,"ĠвÑĭводÑĭ":112170,"ĠвÑĭзÑĭва":112171,"ĠвÑĭплаÑĤ":112172,"ĠгаÑĢмон":112173,"Ġдавали":112174,"ĠдиÑģкÑĥÑģ":112175,"ĠдобÑĢод":112176,"ĠдопÑĢоÑģ":112177,"ĠзаконÑĥ":112178,"ĠзакÑĢÑĭл":112179,"ĠзвÑĥÑĩиÑĤ":112180,"Ġземной":112181,"Ġзнаков":112182,"ĠкамеÑĢÑĭ":112183,"ĠколÑĮÑĨо":112184,"ĠкÑĢаÑĤко":112185,"ĠкÑĢиÑĤеÑĢ":112186,"ĠлидеÑĢа":112187,"ĠлиÑĩнÑĭÑħ":112188,"ĠмаÑĢкеÑĤ":112189,"ĠмаÑĤÑĩаÑħ":112190,"ĠможеÑĪÑĮ":112191,"ĠнаÑĢком":112192,"ĠновомÑĥ":112193,"ĠобÑīинÑĭ":112194,"ĠодеждÑĥ":112195,"Ġонлайн":112196,"ĠопиÑģал":112197,"ĠопÑĭÑĤом":112198,"ĠоÑĢгана":112199,"ĠоÑģобÑĭй":112200,"ĠоÑģобÑĭÑħ":112201,"ĠоÑĤпÑĥÑģк":112202,"ĠоÑĨенкÑĥ":112203,"ĠпаÑģÑģив":112204,"Ġпейзаж":112205,"ĠпеÑħоÑĤÑĭ":112206,"ĠпеÑĩаÑĤа":112207,"ĠплоÑĤно":112208,"Ġподлеж":112209,"Ġпоезда":112210,"ĠпомеÑģÑĤ":112211,"ĠпонÑıли":112212,"Ġпопали":112213,"ĠпоÑģлÑĥÑĪ":112214,"ĠпоÑĤока":112215,"ĠпоÑħвал":112216,"ĠпоÑħожи":112217,"ĠпÑĢемиÑİ":112218,"ĠпÑĢиÑĨел":112219,"ĠпÑĢиÑĩÑijм":112220,"ĠпÑĢокаÑĤ":112221,"ĠпÑĢопоÑĢ":112222,"ĠпÑģевдо":112223,"ĠÑĢазвод":112224,"ĠÑĢазнÑĭм":112225,"ĠÑĢазÑĥма":112226,"ĠÑĢайонÑĭ":112227,"ĠÑĢанниÑħ":112228,"ĠÑĢаÑģÑĤеÑĤ":112229,"ĠÑĢеÑĪено":112230,"ĠÑģамÑĭми":112231,"ĠÑģаÑħаÑĢа":112232,"ĠÑģеÑģÑĤÑĢÑĭ":112233,"ĠÑģлÑĥжаÑĤ":112234,"ĠÑģоглаÑĪ":112235,"ĠÑģÑĤавиÑĤ":112236,"ĠÑģÑĤекло":112237,"ĠÑģÑĤиÑħов":112238,"ĠÑģÑĤолов":112239,"ĠÑģÑĤолом":112240,"ĠÑģÑĤÑĢеÑģÑģ":112241,"ĠÑģÑĤÑĥдии":112242,"ĠÑĤеÑĢÑıеÑĤ":112243,"ĠÑĤоÑĢпед":112244,"ĠÑĤоÑĤÑĩаÑģ":112245,"ĠÑĤÑİÑĢÑĮмÑĭ":112246,"ĠÑĥÑģилен":112247,"ĠÑĥÑĤвеÑĢд":112248,"ĠÑĦакÑĤов":112249,"ĠÑĦоÑĢмаÑĤ":112250,"ĠÑįнеÑĢго":112251,"аÑĦÑĢикан":112252,"вижение":112253,"еÑģÑĤвенн":112254,"иÑĢекÑĤоÑĢ":112255,"иÑĩноÑģÑĤи":112256,"позиÑĤив":112257,"ÑĭвалоÑģÑĮ":112258,"ÑİÑīимиÑģÑı":112259,"ĠÐIJвÑģÑĤÑĢии":112260,"ĠÐIJлÑĮбеÑĢÑĤ":112261,"ĠÐIJндÑĢеев":112262,"ĠÐijеÑĢлине":112263,"ĠÐĴеликий":112264,"ĠÐĵеоÑĢгий":112265,"ĠÐŁÐ»Ð¾ÑīадÑĮ":112266,"ĠÐłÐ°ÑģÑģказ":112267,"ĠÐłÐµÑĪение":112268,"ĠСиÑģÑĤема":112269,"ĠСпаÑģибо":112270,"ĠакÑĤÑĢиÑģа":112271,"ĠаÑĤÑĢибÑĥÑĤ":112272,"ĠболÑĮÑĪее":112273,"ĠбÑĢигада":112274,"ĠведениÑı":112275,"Ġвеликим":112276,"ĠвеликиÑħ":112277,"Ġвеликой":112278,"ĠвнаÑĩале":112279,"ĠвÑĭÑģокаÑı":112280,"ĠвÑĭÑģокÑĥÑİ":112281,"ĠвÑĭÑģоÑĤой":112282,"ĠглавнаÑı":112283,"ĠглавнÑĭе":112284,"ĠголоÑģом":112285,"ĠдевоÑĩка":112286,"ĠдоÑħодов":112287,"ĠженилÑģÑı":112288,"ĠженÑīинÑĥ":112289,"ĠзагадоÑĩ":112290,"ĠзанÑıÑĤий":112291,"ĠимеÑİÑīиÑħ":112292,"ĠимпеÑĢаÑĤ":112293,"ĠиндийÑģк":112294,"ĠкоÑĢабле":112295,"ĠкÑĢаÑģиво":112296,"ĠкÑĢейÑģеÑĢ":112297,"ĠлаÑĥÑĢеаÑĤ":112298,"ĠлидеÑĢов":112299,"ĠлÑİбовÑĮÑİ":112300,"ĠмеÑģÑĤной":112301,"Ġмиллион":112302,"Ġмоделей":112303,"ĠнамеÑĢен":112304,"ĠнаÑģеком":112305,"ĠнеплоÑħо":112306,"ĠобÑĢаÑĤил":112307,"ĠобÑĭÑĩнÑĭÑħ":112308,"ĠобÑıзанÑĭ":112309,"ĠожидаÑĤÑĮ":112310,"Ġознаком":112311,"ĠоÑģнаÑīен":112312,"ĠоÑģновал":112313,"ĠоÑģновой":112314,"ĠоÑĦиÑĨеÑĢа":112315,"ĠпаÑĢаÑĪÑİÑĤ":112316,"ĠпеÑĢедан":112317,"ĠподнÑıÑĤÑĮ":112318,"ĠподоÑĪел":112319,"ĠподÑĩинÑı":112320,"Ġпоездки":112321,"ĠполиÑĤик":112322,"Ġположил":112323,"ĠпомниÑĤÑĮ":112324,"Ġпонадоб":112325,"ĠпоÑĢажен":112326,"ĠпоÑıÑģнил":112327,"ĠпÑĢивÑĭÑĩн":112328,"ĠпÑĢимеÑĢа":112329,"ĠпÑĢимеÑĢÑĭ":112330,"ĠпÑĢоекÑĤÑĥ":112331,"ĠпÑĢоÑģÑĤоÑĢ":112332,"ĠпÑĭÑĤаÑıÑģÑĮ":112333,"ĠÑĢабоÑĤаÑħ":112334,"ĠÑĢазниÑĨа":112335,"ĠÑĢазоÑĩаÑĢ":112336,"ĠÑĢаÑģпада":112337,"ĠÑĢоÑģÑģиÑıн":112338,"ĠÑĢÑĥÑģÑģкаÑı":112339,"ĠÑģделала":112340,"ĠÑģегменÑĤ":112341,"ĠÑģилÑĮное":112342,"ĠÑģложнÑĭе":112343,"ĠÑģлÑĥÑĪаÑĤÑĮ":112344,"ĠÑģможеÑĤе":112345,"ĠÑģÑĤадион":112346,"ĠÑģÑĭновей":112347,"ĠÑĤеÑħника":112348,"ĠÑĥÑģилива":112349,"ĠÑĥÑģловии":112350,"ĠÑĥÑĩаÑģÑĤки":112351,"ĠÑĥÑĩебнÑĭÑħ":112352,"ĠÑĥÑĩилиÑīа":112353,"ĠÑĦамилии":112354,"ĠÑħваÑĤало":112355,"ĠÑĨилиндÑĢ":112356,"ĠÑĩленами":112357,"ĠÑĪÑĤÑĥÑĢмов":112358,"ализаÑĨии":112359,"аÑĨионной":112360,"видеÑĤелÑĮ":112361,"волÑİÑĨион":112362,"клÑİÑĩениÑı":112363,"миниÑģÑĤÑĢа":112364,"ождаеÑĤÑģÑı":112365,"полнение":112366,"пÑģиÑħолог":112367,"ÑģÑĤавлÑıÑĤÑĮ":112368,"ÑģÑĤвенное":112369,"ĠÐIJнаÑĤолий":112370,"ĠÐĵÑĢигоÑĢий":112371,"ĠÐĿаполеон":112372,"ĠÐŀÑĩевидно":112373,"ĠÐŁÐ°Ð²Ð»Ð¾Ð²Ð¸Ñĩ":112374,"ĠУÑĩаÑģÑĤник":112375,"ĠбаÑģÑģейна":112376,"ĠбеÑģÑģмеÑĢÑĤ":112377,"ĠбогоÑģлов":112378,"ĠвиногÑĢад":112379,"ĠвнеÑĪнего":112380,"ĠвоÑģпиÑĤан":112381,"ĠвÑĭзÑĭваÑİÑĤ":112382,"ĠвÑĭÑģказал":112383,"ĠговоÑĢила":112384,"ĠгÑĢадÑĥÑģов":112385,"Ġдвижений":112386,"Ġдобавлен":112387,"ĠдоÑģÑĤÑĥпнÑĭ":112388,"ĠзаконÑĩен":112389,"ĠзаÑīиÑīаÑĤÑĮ":112390,"ĠизвеÑģÑĤна":112391,"ĠиÑģкÑĢенне":112392,"ĠлекаÑĢÑģÑĤв":112393,"ĠмаÑģÑģовой":112394,"ĠменÑıеÑĤÑģÑı":112395,"ĠнаблÑİдал":112396,"ĠнаиболÑĮÑĪ":112397,"ĠнаÑģÑĤÑĥпил":112398,"ĠнемеÑĨкие":112399,"ĠожиданиÑı":112400,"ĠопеÑĢаÑĨиÑİ":112401,"ĠоÑģновнаÑı":112402,"ĠпеÑĢеводе":112403,"ĠпеÑĢеÑĥлок":112404,"ĠпеÑĢÑģонал":112405,"ĠпогибÑĪиÑħ":112406,"ĠподвеÑĢга":112407,"ĠподÑĥмаÑĤÑĮ":112408,"ĠподÑĩинен":112409,"ĠпоÑģледов":112410,"ĠпÑĢавилам":112411,"ĠпÑĢакÑĤикÑĥ":112412,"ĠпÑĢивÑıзан":112413,"ĠпÑĢоводиÑĤ":112414,"ĠпÑĢодÑİÑģеÑĢ":112415,"ĠпÑĢоизнеÑģ":112416,"ĠпÑĢоповед":112417,"ĠпÑĢоÑģÑĮбой":112418,"ĠÑĢавновеÑģ":112419,"ĠÑģвойÑģÑĤво":112420,"ĠÑģекÑĢеÑĤаÑĢ":112421,"ĠÑģелÑĮÑģкое":112422,"ĠÑģоздавал":112423,"ĠÑģоÑģÑĤоÑıла":112424,"ĠÑģÑĤабилÑĮн":112425,"ĠÑģÑĤÑĢаниÑĨе":112426,"ĠÑĦолÑĮклоÑĢ":112427,"ĠÑħоÑĢоÑĪего":112428,"ĠÑĩеловеке":112429,"ĠÑįкÑģпеÑĢÑĤи":112430,"говаÑĢивал":112431,"иÑĢованной":112432,"кладÑĭваÑĤÑĮ":112433,"оÑħÑĢанениÑı":112434,"ĠÐķкаÑĤеÑĢина":112435,"ĠÐĺеÑĢÑĥÑģалим":112436,"ĠÐĺнÑģÑĤиÑĤÑĥÑĤа":112437,"ĠÐĺнÑĤеÑĢеÑģно":112438,"ĠСевеÑĢного":112439,"ĠСеÑĢгеевиÑĩ":112440,"ĠФинлÑıндии":112441,"ĠблагоÑģлов":112442,"ĠблагоÑĤвоÑĢ":112443,"ĠбÑĥÑħгалÑĤеÑĢ":112444,"ĠведомÑģÑĤва":112445,"ĠвелоÑģипед":112446,"ĠвеÑĢнÑĥлиÑģÑĮ":112447,"ĠвоÑģÑĤоÑĩной":112448,"ĠгоÑĢодÑģкиÑħ":112449,"ĠдвигаÑĤÑĮÑģÑı":112450,"ĠдейÑģÑĤвием":112451,"ĠдейÑģÑĤвÑĥÑİÑĤ":112452,"ĠзаÑģеданиÑı":112453,"ĠизвеÑģÑĤнÑĭм":112454,"ĠиÑģпÑĭÑĤÑĭвал":112455,"ĠконкÑĢеÑĤно":112456,"ĠконÑĤейнеÑĢ":112457,"Ġмгновенно":112458,"ĠминиÑģÑĤÑĢов":112459,"ĠнавÑģÑĤÑĢеÑĩÑĥ":112460,"ĠнаÑģÑĤоÑıÑīим":112461,"Ġнеизменно":112462,"ĠобÑĬединен":112463,"ĠоÑĤделÑĮнÑĭй":112464,"ĠоÑĤÑĢажение":112465,"ĠпеÑĢÑģонажа":112466,"ĠполÑĥÑĩиÑĤÑģÑı":112467,"ĠпоÑģледнÑİÑİ":112468,"ĠпоÑģледнÑıÑı":112469,"ĠпоÑģÑĤÑĢоена":112470,"ĠпоÑħоÑĢонен":112471,"ĠпÑĢедмеÑĤом":112472,"ĠпÑĢедÑĥпÑĢед":112473,"ĠпÑĢизнавал":112474,"ĠпÑĢоблемой":112475,"ĠÑĢазвиÑĤием":112476,"ĠÑĢекомендÑĥ":112477,"ĠÑģкÑĥлÑĮпÑĤÑĥÑĢ":112478,"ĠÑģледÑģÑĤвиÑı":112479,"ĠÑģовеÑĢÑĪиÑĤÑĮ":112480,"ĠÑģообÑīении":112481,"ĠÑģоÑģÑĤавила":112482,"ĠÑģÑĤÑĢаÑĤегии":112483,"ĠÑĤеÑĢÑĢоÑĢиÑģÑĤ":112484,"ĠÑĩиÑĤаÑĤелей":112485,"иÑģÑĤиÑĩеÑģкой":112486,"Ñģледование":112487,"ÑĥпÑĢавлениÑı":112488,"ĠÐĿеобÑħодимо":112489,"ĠвзаимооÑĤно":112490,"ĠвнÑĥÑĤÑĢенние":112491,"ĠвоенноÑģлÑĥж":112492,"ĠвоÑģпиÑĤаниÑı":112493,"ĠдоÑģÑĤижение":112494,"ĠзанималиÑģÑĮ":112495,"ĠиниÑĨиаÑĤиве":112496,"ĠкиломеÑĤÑĢаÑħ":112497,"ĠконкÑĢеÑĤнÑĭÑħ":112498,"ĠнаÑħодилоÑģÑĮ":112499,"ĠневеÑĢоÑıÑĤно":112500,"ĠобнаÑĢÑĥжиÑĤÑĮ":112501,"ĠобÑģÑĤановке":112502,"ĠобÑģÑĥждениÑı":112503,"ĠобÑĬÑıÑģнение":112504,"ĠобÑĬÑıÑģнениÑı":112505,"ĠоÑģÑĤавалиÑģÑĮ":112506,"ĠоÑģÑĤановиÑĤÑĮ":112507,"ĠпаÑĢамеÑĤÑĢов":112508,"ĠподÑĢазÑĥмев":112509,"ĠпожалÑĥйÑģÑĤа":112510,"ĠпоÑģÑĤÑĢоениÑı":112511,"ĠпÑĢиложений":112512,"ĠпÑĢиобÑĢеÑĤен":112513,"ĠпÑĢоизводил":112514,"ĠÑĢаÑģÑĪиÑĢение":112515,"ĠÑĢеализован":112516,"ĠÑĢоÑģÑģийÑģкие":112517,"ĠÑģобеÑģедник":112518,"ĠÑģоглаÑģован":112519,"ĠÑģодеÑĢжиÑĤÑģÑı":112520,"ĠÑģоединение":112521,"ĠÑģоединений":112522,"ĠÑģооÑĢÑĥжениÑı":112523,"ĠÑģоÑģÑĤоÑıлоÑģÑĮ":112524,"ĠÑģоÑĨиалÑĮнÑĭе":112525,"ĠÑĥÑĤвеÑĢждаÑİÑĤ":112526,"ĠÐĿовоÑģибиÑĢÑģк":112527,"ĠбомбаÑĢдиÑĢов":112528,"ĠвоÑģкÑĢеÑģенÑĮе":112529,"ĠвпеÑĩаÑĤлениÑı":112530,"ĠдеÑģÑıÑĤилеÑĤиÑı":112531,"ĠдобÑĢоволÑĮно":112532,"ĠобÑĬÑıÑģнÑıеÑĤÑģÑı":112533,"ĠобÑĭкновенно":112534,"ĠподдеÑĢживал":112535,"ĠпоÑģледÑĥÑİÑīие":112536,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвии":112537,"ĠпÑĢодолжение":112538,"ĠпÑĥÑĤеÑĪеÑģÑĤвие":112539,"ĠÑģобÑģÑĤвеннÑĭм":112540,"ĠÑģопÑĢовождал":112541,"ĠÑĤÑĢебованиÑıм":112542,"ĠÑĥÑģÑĤановлена":112543,"ĠÑĥÑĩаÑģÑĤвовали":112544,"ĠÐľÐ¸Ð½Ð¸ÑģÑĤеÑĢÑģÑĤво":112545,"ĠамеÑĢиканÑģкие":112546,"ĠбезопаÑģноÑģÑĤÑĮ":112547,"ĠгоÑģÑĥдаÑĢÑģÑĤвом":112548,"ĠминиÑģÑĤеÑĢÑģÑĤва":112549,"ĠоÑĢиенÑĤиÑĢован":112550,"ĠоÑģобенноÑģÑĤей":112551,"ĠоÑĤÑĢиÑĨаÑĤелÑĮно":112552,"ĠподдеÑĢживаеÑĤ":112553,"ĠпÑĢеимÑĥÑīеÑģÑĤво":112554,"ĠпÑĢеобÑĢазован":112555,"ĠпÑĢеÑģÑĤÑĥпление":112556,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвÑĥеÑĤ":112557,"ĠÑĢаÑģпоÑĢÑıжение":112558,"ĠÑĩеловеÑĩеÑģÑĤво":112559,"ĠÐŁÐµÑĢвонаÑĩалÑĮно":112560,"ĠиÑģÑģледоваÑĤели":112561,"ĠиÑģÑĤоÑĢиÑĩеÑģкого":112562,"ĠоÑģÑĥÑīеÑģÑĤвлениÑı":112563,"ĠÑģÑĤÑĢоиÑĤелÑĮÑģÑĤве":112564,"ĠÑįÑĦÑĦекÑĤивноÑģÑĤи":112565,"ĠдополниÑĤелÑĮнÑĭÑħ":112566,"ĠиÑģполÑĮзовалиÑģÑĮ":112567,"ĠиÑģполÑĮзоваÑĤÑĮÑģÑı":112568,"ĠмÑĥниÑĨипалÑĮного":112569,"ĠобÑģÑĤоÑıÑĤелÑĮÑģÑĤво":112570,"ĠпÑĢавиÑĤелÑĮÑģÑĤвом":112571,"ĠгоÑģÑĥдаÑĢÑģÑĤвеннÑĭе":112572,"ĠзаÑĢегиÑģÑĤÑĢиÑĢован":112573,"ĠобÑģÑĤоÑıÑĤелÑĮÑģÑĤваÑħ":112574,"»:":112575,"Ìģд":112576,"Ìģн":112577,"ÐIJÐĶ":112578,"ÐIJв":112579,"ÐijÑĢ":112580,"ÐĹв":112581,"ÐĺÐIJ":112582,"ÐĽÐķ":112583,"ÐĿÐķ":112584,"ÐŀÐĹ":112585,"ÐŀÑģ":112586,"ÐłÐ¸":112587,"ТÐķ":112588,"ТУ":112589,"ЧÐķ":112590,"вÑģ":112591,"ÑĥÑį":112592,"ÑĦÑĭ":112593,"ÑĨз":112594,"Ñĩо":112595,"ÑįÑĪ":112596,"tis":112597,"ĠÐIJг":112598,"ĠÐĴС":112599,"ĠÐĶз":112600,"ĠÐķл":112601,"ĠÐĸÑĥ":112602,"ĠÐĽÑı":112603,"ĠÐŀÐij":112604,"ĠÐŀС":112605,"ĠСÐŀ":112606,"ĠХе":112607,"ĠÐ¥Ñį":112608,"Ġвв":112609,"Ġкн":112610,"ĠÑħо":112611,"ÐijаÑĢ":112612,"ÐĵоÑģ":112613,"Ðĺнд":112614,"ÐľÐ¸ÑĢ":112615,"ТÑĥÑĢ":112616,"абÑĥ":112617,"аÑĪк":112618,"бей":112619,"беÑĤ":112620,"бок":112621,"даÑİ":112622,"доÑģ":112623,"дÑĥк":112624,"дÑĥн":112625,"дÑĥÑĢ":112626,"едн":112627,"еми":112628,"епл":112629,"жав":112630,"зÑĢа":112631,"иÑĢо":112632,"иÑĩи":112633,"коз":112634,"кÑĥÑĪ":112635,"лаÑı":112636,"лиг":112637,"лÑĭк":112638,"лÑĮз":112639,"маÑĩ":112640,"мÑģк":112641,"мÑĥÑİ":112642,"нÑıв":112643,"оиÑħ":112644,"оно":112645,"оÑĤн":112646,"пеÑģ":112647,"поп":112648,"пÑĢа":112649,"ÑģÑĤÑĥ":112650,"ÑĤÑĤи":112651,"ÑĤÑĥп":112652,"Ñĥла":112653,"ÑĦÑĢа":112654,"ÑĦÑĥÑĢ":112655,"ÑĦÑİÑĢ":112656,"Ñħен":112657,"Ñĩим":112658,"Ñĩке":112659,"Ñĩко":112660,"ÑĪеÑĤ":112661,"Ñīел":112662,"ÑĮей":112663,"ÑĮко":112664,"ÑİÑīе":112665,"ÑijÑģÑĤ":112666,"ĠÐIJга":112667,"ĠÐijан":112668,"ĠÐijей":112669,"ĠÐijÑĢи":112670,"ĠÐĴÐļÐŁ":112671,"ĠÐĴил":112672,"ĠÐĵÑĢо":112673,"ĠÐĵÑĥÑģ":112674,"ĠÐĶÐĿÐļ":112675,"ĠÐĶем":112676,"ĠÐĶиа":112677,"ĠÐĶоп":112678,"ĠÐĶÑĥм":112679,"ĠÐļен":112680,"ĠÐļип":112681,"ĠÐļÑĢе":112682,"ĠÐļÑĥÑĤ":112683,"ĠÐĽÑĥг":112684,"ĠÐľÐµÐ¹":112685,"ĠÐľÐµÑħ":112686,"ĠÐľÐ¾Ð¸":112687,"ĠÐľÐ¾Ñı":112688,"ĠÐĿаб":112689,"ĠÐŀÐIJÐŀ":112690,"ĠÐŁÐĴÐŀ":112691,"ĠÐŁÐłÐŀ":112692,"ĠÐŁÐ°Ðº":112693,"ĠÐŁÐ¸ÑĤ":112694,"ĠÐłÐIJÐĿ":112695,"ĠÐłÐĺÐIJ":112696,"ĠÐ¡ÐŁÐ±":112697,"ĠСоÑĢ":112698,"ĠФон":112699,"ĠФоÑĢ":112700,"ĠФÑijд":112701,"ĠХаб":112702,"ĠШаÑħ":112703,"ĠШек":112704,"ĠÐŃкÑģ":112705,"ĠÐŃми":112706,"ĠÐŃÑĤÑĥ":112707,"ĠаÑģÑģ":112708,"Ġбои":112709,"Ġгад":112710,"ĠгиÑĤ":112711,"Ġдеж":112712,"Ġдне":112713,"ĠкоÑĪ":112714,"ĠкÑĥл":112715,"Ġлоз":112716,"ĠлÑĭж":112717,"ĠлÑijÑĤ":112718,"Ġмеб":112719,"ĠнаÑĤ":112720,"Ġниг":112721,"ĠопÑĤ":112722,"ĠÑĢеÑĦ":112723,"ĠÑĢÑĥж":112724,"ĠÑĢÑĥм":112725,"ĠÑĤÑĢа":112726,"ĠÑĥпÑĢ":112727,"ĠÑĥÑĤи":112728,"ĠÑĦаÑģ":112729,"ĠÑħиÑĤ":112730,"ĠÑĩаÑĪ":112731,"ĠÑĪок":112732,"ĠÑİгÑĥ":112733,"ĠÑİжн":112734,"УкÑĢа":112735,"УÑĢал":112736,"абеÑĤ":112737,"алеÑĤ":112738,"алов":112739,"аман":112740,"амин":112741,"аник":112742,"аÑĤÑĮе":112743,"аÑĩев":112744,"банк":112745,"беÑĢи":112746,"вилл":112747,"влад":112748,"влеÑĩ":112749,"вого":112750,"водÑı":112751,"гÑĢеÑĪ":112752,"денн":112753,"джел":112754,"долж":112755,"дÑĢев":112756,"евод":112757,"еник":112758,"желÑĤ":112759,"жива":112760,"звÑĥÑĩ":112761,"изме":112762,"имÑĭе":112763,"каÑĢÑĤ":112764,"кинÑĥ":112765,"кÑĨиÑı":112766,"лазн":112767,"лани":112768,"ленÑĭ":112769,"лиги":112770,"малÑĮ":112771,"мели":112772,"нÑıми":112773,"овна":112774,"оком":112775,"оÑĢги":112776,"оÑĢÑıд":112777,"пиÑĢа":112778,"плоÑĪ":112779,"ÑĢаин":112780,"ÑĢеза":112781,"ÑĢенд":112782,"ÑĢеÑĩÑĮ":112783,"ÑĢилÑĮ":112784,"ÑĢинг":112785,"ÑĢожа":112786,"ÑĢоÑĩн":112787,"ÑĤикÑĥ":112788,"ÑĤова":112789,"ÑĤоÑĢÑĭ":112790,"ÑĤÑĢав":112791,"ÑĤÑĥзи":112792,"ÑĦеод":112793,"ÑĩеÑĢп":112794,"Ñĩиво":112795,"Ñĩном":112796,"ÑīемÑĥ":112797,"ĠÐijилл":112798,"ĠÐijлиж":112799,"ĠÐijÑĢаз":112800,"ĠÐijÑĢон":112801,"ĠÐĵлаз":112802,"ĠÐĸена":112803,"ĠÐĺТÐIJÐł":112804,"ĠÐļоÑĢн":112805,"ĠÐĽÑĥнÑĭ":112806,"ĠÐľÐ°Ð¼Ð°":112807,"ĠÐľÐ°ÑĢÑģ":112808,"ĠÐľÐ°ÑģÑģ":112809,"ĠÐľÑįÑĢи":112810,"ĠÐŁÐ°ÑĢа":112811,"ĠÐŁÐ¾Ð»Ñı":112812,"ĠÐŁÑĢоÑĦ":112813,"ĠСаÑĢа":112814,"ĠСенÑĤ":112815,"ĠСобÑĢ":112816,"ĠСÑĤаÑĤ":112817,"ĠТвеÑĢ":112818,"ĠТеле":112819,"ĠÐ¥ÑĢам":112820,"ĠЧеÑĢн":112821,"Ġадап":112822,"ĠбокÑģ":112823,"ĠбоÑıÑĢ":112824,"ĠваÑĪÑĥ":112825,"ĠвеÑĢÑĪ":112826,"ĠвинÑĤ":112827,"ĠгеÑĢб":112828,"Ġгибк":112829,"ĠгÑĢав":112830,"Ġдано":112831,"ĠдиÑĢи":112832,"ĠдÑĢак":112833,"ĠдÑĮÑıв":112834,"Ġзона":112835,"ĠимеÑİ":112836,"ĠиÑīеÑĤ":112837,"ĠкаÑģÑĤ":112838,"Ġкомб":112839,"ĠкÑĢед":112840,"ĠкÑĢим":112841,"Ġламп":112842,"Ġлени":112843,"ĠленÑĤ":112844,"Ġлинг":112845,"ĠлиÑĨÑĥ":112846,"ĠлоÑĢд":112847,"ĠлÑĥка":112848,"ĠнÑĥжд":112849,"ĠоÑĢеÑħ":112850,"ĠоÑĤÑĨÑĥ":112851,"ĠоÑĩаг":112852,"Ġплак":112853,"ĠплаÑĩ":112854,"ĠпооÑī":112855,"ĠпÑĥга":112856,"ĠпÑĥзÑĭ":112857,"ĠпÑĭлÑĮ":112858,"ĠÑĢаÑĥн":112859,"ĠÑĢÑıдÑĥ":112860,"ĠÑĢÑıдÑĭ":112861,"ĠÑģедÑĮ":112862,"ĠÑģмеÑģ":112863,"ĠÑģÑĥдÑı":112864,"ĠÑĤока":112865,"ĠÑĤолк":112866,"ĠÑĤÑĢÑĥÑģ":112867,"ĠÑĥлÑĮÑĤ":112868,"ĠÑĥÑıзв":112869,"ĠÑĦÑĢÑĥк":112870,"ĠÑħиÑĤÑĢ":112871,"ĠÑħÑĢаб":112872,"ĠÑĨепи":112873,"ĠÑĩеÑĢв":112874,"ĠÑĪиÑĢи":112875,"ĠÑĪкÑĥÑĢ":112876,"ĠÑĪлÑıп":112877,"ĠÑıгод":112878,"ÐĶинам":112879,"Ðļогда":112880,"абелÑĮ":112881,"авÑĤÑĢа":112882,"андеÑĢ":112883,"аново":112884,"аÑĢиев":112885,"аÑĢник":112886,"аÑģлÑĥж":112887,"аÑĤелÑİ":112888,"аÑĤоÑĢа":112889,"ведев":112890,"везли":112891,"веÑĢнÑĥ":112892,"геÑĢÑģк":112893,"гоÑĤав":112894,"екваÑĤ":112895,"екÑĤÑĥÑĢ":112896,"енков":112897,"енÑĨев":112898,"еÑģÑĤиж":112899,"еÑĩеÑģк":112900,"еÑĩнаÑı":112901,"завиÑģ":112902,"ивалÑı":112903,"инÑĤеÑĢ":112904,"иÑģÑĤÑĭÑħ":112905,"иÑĤелÑİ":112906,"иÑĨией":112907,"иÑĩнаÑı":112908,"иÑĪÑĮÑģÑı":112909,"кажем":112910,"казал":112911,"ковой":112912,"левÑĭÑħ":112913,"леÑĤие":112914,"лÑĮник":112915,"лÑİмин":112916,"меÑĢÑĤÑĮ":112917,"меÑĪан":112918,"молод":112919,"моÑĤоÑĢ":112920,"нимаÑı":112921,"номоÑĢ":112922,"нÑģким":112923,"нÑģкиÑħ":112924,"ожден":112925,"пеÑĢед":112926,"ÑĢабан":112927,"ÑĢÑĭвал":112928,"Ñģажен":112929,"ÑģпÑĢав":112930,"ÑģÑĤого":112931,"ÑģÑĥлÑĮÑĤ":112932,"ÑĤаÑĨии":112933,"Ñħлажд":112934,"Ñīенко":112935,"ÑįÑģÑĤеÑĤ":112936,"ĠÐijелаÑĢ":112937,"ĠÐijлаго":112938,"ĠÐĵÑĢÑĥпп":112939,"ĠÐĶавид":112940,"ĠÐĶениÑģ":112941,"ĠÐĶолго":112942,"ĠÐĶÑĥмаÑİ":112943,"ĠÐĺлÑĮиÑĩ":112944,"ĠÐĺÑģÑĤоÑĢ":112945,"ĠÐļакой":112946,"ĠÐļлаÑģÑģ":112947,"ĠÐļнига":112948,"ĠÐĽÑİдов":112949,"ĠÐľÐ¾ÑĢоз":112950,"ĠÐŀбÑīаÑı":112951,"ĠÐŀÑĤдел":112952,"ĠСамаÑĢ":112953,"ĠСамое":112954,"ĠСамÑĭй":112955,"ĠСаÑĢаÑĤ":112956,"ĠСлово":112957,"ĠСÑĤоиÑĤ":112958,"ĠТаÑĤаÑĢ":112959,"ĠТаÑĤÑĮÑı":112960,"ĠТомаÑģ":112961,"ĠФÑĢейд":112962,"ĠаÑĢенд":112963,"ĠаÑĢмей":112964,"Ġбежал":112965,"Ġблока":112966,"ĠбÑĢенд":112967,"ĠбÑĥквÑĭ":112968,"ĠвелиÑĩ":112969,"ĠвзлеÑĤ":112970,"ĠвойÑĤи":112971,"Ġволна":112972,"ĠвоÑĪÑijл":112973,"ĠвÑħода":112974,"ĠгалеÑĢ":112975,"ĠгаÑĢан":112976,"ĠглÑıдÑı":112977,"ĠгÑĢÑĥдÑĮ":112978,"ĠдебÑİÑĤ":112979,"ĠдежÑĥÑĢ":112980,"ĠдеÑĢжа":112981,"ĠдлинÑĥ":112982,"Ġдовод":112983,"Ġдолга":112984,"ĠевÑĢеи":112985,"Ġжелал":112986,"ĠзабÑĭв":112987,"Ġзнаки":112988,"ĠиÑģкал":112989,"Ġканад":112990,"ĠклÑĥбе":112991,"Ġкоали":112992,"Ġколод":112993,"ĠкÑĢÑĭла":112994,"ĠкÑĥлак":112995,"ĠкÑĥÑĢÑģÑĭ":112996,"Ġлодка":112997,"ĠлÑİбÑĭм":112998,"ĠлÑİдÑıÑħ":112999,"ĠминÑĥÑģ":113000,"ĠнаÑĨии":113001,"ĠнейÑĢо":113002,"Ġнекое":113003,"ĠнепÑĢо":113004,"ĠнеÑģеÑĤ":113005,"Ġнигде":113006,"ĠопеÑĢÑĭ":113007,"ĠоÑĤнеÑģ":113008,"ĠоÑĤÑĨов":113009,"ĠоÑĩиÑģÑĤ":113010,"ĠпиÑĢаÑĤ":113011,"ĠплаÑĤÑĭ":113012,"Ġподал":113013,"ĠпокоÑı":113014,"Ġполем":113015,"ĠполкÑĥ":113016,"ĠполоÑĤ":113017,"ĠполÑİÑģ":113018,"ĠпоÑģоб":113019,"ĠпоÑģол":113020,"ĠпÑĥÑģÑĤо":113021,"ĠпÑĥÑģÑĤÑĭ":113022,"ĠпÑıÑĤна":113023,"ĠÑĢавнÑĭ":113024,"ĠÑĢамки":113025,"ĠÑĢебÑıÑĤ":113026,"ĠÑĢезон":113027,"ĠÑĢепÑĥÑĤ":113028,"ĠÑģбоÑĢа":113029,"ĠÑģвеже":113030,"ĠÑģеÑĢиÑİ":113031,"ĠÑģлавÑĭ":113032,"ĠÑģоÑĤен":113033,"ĠÑģÑĤоле":113034,"ĠÑģÑĥдом":113035,"ĠÑģÑĦеÑĢа":113036,"ĠÑģÑħеме":113037,"ĠÑģÑĩеÑĤа":113038,"ĠÑĤайно":113039,"ĠÑĤанки":113040,"ĠÑĤелом":113041,"ĠÑĤеÑĢап":113042,"ĠÑĥделÑı":113043,"ĠÑĥзлов":113044,"ĠÑĥклон":113045,"ĠÑĥпÑĢек":113046,"ĠÑĦабÑĢи":113047,"ĠÑĦаÑģад":113048,"ĠÑĦизик":113049,"ĠÑħокке":113050,"ĠÑĨиÑĤаÑĤ":113051,"ĠÑįÑĤаже":113052,"ÐĵоÑģпод":113053,"ÐĶинамо":113054,"Ðļоманд":113055,"ÐłÐ¾ÑģÑģиÑı":113056,"УкÑĢаин":113057,"авÑĪего":113058,"алиÑĤеÑĤ":113059,"бегаеÑĤ":113060,"гаÑĢмон":113061,"двинÑĥл":113062,"екÑģÑĥал":113063,"енÑģкий":113064,"ималÑĮн":113065,"иÑĤаÑĨии":113066,"кладки":113067,"команд":113068,"коÑĢпоÑĢ":113069,"леÑĤнÑıÑı":113070,"менÑıÑİÑĤ":113071,"мобилÑĮ":113072,"падаÑİÑĤ":113073,"помина":113074,"пÑĢавил":113075,"ÑĢаÑīива":113076,"ÑĢовеÑĢг":113077,"ÑģкоÑĩил":113078,"ÑģÑĤÑĥпив":113079,"ÑģÑĤÑĥпил":113080,"ÑģÑĤÑĥпиÑĤ":113081,"Ñĥждено":113082,"ÑĥкÑĢаин":113083,"ÑĥÑĩение":113084,"ĠÐijÑĥдÑĥÑĩи":113085,"ĠÐĴоÑģÑĤок":113086,"ĠÐĵеоÑĢги":113087,"ĠÐķгипÑĤа":113088,"ĠÐĺиÑģÑĥÑģа":113089,"ĠСвобод":113090,"ĠСÑĢедне":113091,"ĠСÑĤеÑĦан":113092,"ĠСÑĤивен":113093,"ĠаваÑĢий":113094,"ĠбандиÑĤ":113095,"ĠбÑĢаÑĤом":113096,"ĠбÑĥÑĢжÑĥа":113097,"ĠвекÑĤоÑĢ":113098,"ĠвеÑĢÑĤол":113099,"ĠвзоÑĢва":113100,"Ġвоевод":113101,"ĠвпÑĢаве":113102,"ĠвÑħодил":113103,"ĠвÑĭбиÑĢа":113104,"Ġгимназ":113105,"ĠгоÑģпиÑĤ":113106,"ĠгоÑģÑĤин":113107,"ĠгоÑĤова":113108,"ĠдеÑĢеве":113109,"ĠдеÑĤалÑĮ":113110,"Ġдизайн":113111,"Ġдлинно":113112,"ĠдоÑģÑĤой":113113,"ĠжелаеÑĤ":113114,"Ġжелеза":113115,"ĠжеÑĢÑĤвÑĥ":113116,"ĠжеÑĢÑĤвÑĭ":113117,"ĠжеÑģÑĤко":113118,"Ġжизнен":113119,"ĠзабÑĭÑĤÑĮ":113120,"Ġзаново":113121,"ĠзанÑıли":113122,"Ġзападе":113123,"ĠигÑĢали":113124,"Ġинвали":113125,"ĠклаÑģÑģе":113126,"Ġколонн":113127,"ĠколÑĮÑĨа":113128,"ĠкомÑģом":113129,"ĠкоопеÑĢ":113130,"ĠкÑĢаÑĤеÑĢ":113131,"ĠкÑĢовÑĮÑİ":113132,"ĠлагеÑĢе":113133,"Ġлегион":113134,"ĠлегкиÑħ":113135,"ĠлекÑĨии":113136,"ĠлиÑĩнÑĭй":113137,"ĠлозÑĥнг":113138,"ĠлоÑĪадÑĮ":113139,"ĠмаÑĤÑĢоÑģ":113140,"Ġмелоди":113141,"ĠменÑıÑĤÑĮ":113142,"ĠмиÑģÑģии":113143,"ĠмиÑģÑĤеÑĢ":113144,"ĠмиÑĤинг":113145,"Ġмолока":113146,"ĠнабÑĢал":113147,"ĠнадзоÑĢ":113148,"ĠнаÑĢодÑĭ":113149,"Ġнедвиж":113150,"Ġнемног":113151,"Ġоблака":113152,"ĠобÑĢазÑĥ":113153,"Ġодноим":113154,"Ġожидал":113155,"ĠоÑģкоÑĢб":113156,"ĠоÑĤклик":113157,"ĠоÑĨенке":113158,"ĠпадаеÑĤ":113159,"ĠпеÑĩаÑĤÑĮ":113160,"ĠпиÑģали":113161,"ĠплаÑĤÑĮе":113162,"ĠповÑģед":113163,"ĠполоÑģÑĭ":113164,"Ġпопада":113165,"ĠпоÑĢодÑĭ":113166,"ĠпоÑĢÑĤал":113167,"ĠпоÑħода":113168,"ĠпÑĢеÑĤен":113169,"ĠпÑĢивел":113170,"ĠпÑĢидеÑĤ":113171,"ĠÑĢавнин":113172,"ĠÑĢазбил":113173,"ĠÑĢазбоÑĢ":113174,"ĠÑĢелÑĮеÑĦ":113175,"ĠÑĢеÑĨепÑĤ":113176,"ĠÑĢодинÑĥ":113177,"ĠÑĢÑĥÑģÑģко":113178,"ĠÑģвÑıÑĤÑĭÑħ":113179,"ĠÑģловаÑħ":113180,"ĠÑģнимал":113181,"ĠÑģÑģÑĭлки":113182,"ĠÑģÑĤÑĢаÑģÑĤ":113183,"ĠÑģÑĤÑĢелÑı":113184,"ĠÑģÑĥдÑĮбе":113185,"ĠÑģÑĨенаÑĢ":113186,"ĠÑĤакомÑĥ":113187,"ĠÑĤекÑģÑĤе":113188,"ĠÑĤÑĢеÑĤÑĮе":113189,"ĠÑĤÑĢÑĥдов":113190,"ĠÑĤÑĥалеÑĤ":113191,"ĠÑĤÑİÑĢÑĮме":113192,"ĠÑĥгÑĢозÑĭ":113193,"ĠÑĥдивлÑı":113194,"ĠÑĥмение":113195,"ĠÑĥмеÑĢла":113196,"ĠÑĥпоÑĢно":113197,"ĠÑĥÑģпели":113198,"ĠÑĦинале":113199,"ĠÑĦоÑĢмой":113200,"ĠÑĨелого":113201,"ĠÑĩеÑĢнÑĭй":113202,"ĠÑĩÑĤение":113203,"ĠÑįкÑĢане":113204,"ĠÑıвилÑģÑı":113205,"ÐĹолоÑĤой":113206,"бÑĢаÑģÑĭва":113207,"веÑĢдлов":113208,"вÑĪимиÑģÑı":113209,"евÑĢопей":113210,"енÑģкого":113211,"законод":113212,"ивалиÑģÑĮ":113213,"иÑĢовала":113214,"иÑĤекÑĤÑĥÑĢ":113215,"кваÑĢÑĤиÑĢ":113216,"коÑĢолев":113217,"мейÑģÑĤеÑĢ":113218,"меÑģÑĤиÑĤÑĮ":113219,"ознаÑĩно":113220,"ÑĢеÑģÑĤÑĮÑıн":113221,"ÑģлÑĥÑĪива":113222,"ÑģовмеÑģÑĤ":113223,"ÑģÑĤавиÑĤÑĮ":113224,"ÑħодÑıÑīие":113225,"ÑħÑĢанили":113226,"ĠÐIJлекÑģеÑı":113227,"ĠÐIJÑĢмении":113228,"ĠÐĵÑĢаждан":113229,"ĠÐķвÑĢопей":113230,"ĠÐĺзÑĢаилÑĮ":113231,"ĠÐŁÑĢедÑģед":113232,"ĠÐŁÑĢоÑĦилÑĮ":113233,"ĠÐłÐ°Ð±Ð¾ÑĤал":113234,"ĠУкÑĢаина":113235,"ĠФÑijдоÑĢов":113236,"ĠаккÑĥÑĢаÑĤ":113237,"ĠбаÑĢабан":113238,"ĠбиогÑĢаÑĦ":113239,"ĠбÑĢаÑĥзеÑĢ":113240,"ĠвиÑĢÑĤÑĥал":113241,"ĠвклÑİÑĩил":113242,"ĠвнеÑĪним":113243,"ĠвовÑĢемÑı":113244,"Ġвоенное":113245,"Ġвоенном":113246,"ĠвопÑĢеки":113247,"ĠвÑģÑĤÑĢеÑĩÑĥ":113248,"ĠвÑĤоÑĢник":113249,"ĠвÑĭдвига":113250,"ĠвÑĭзвало":113251,"ĠвÑĭÑıвлен":113252,"ĠдавайÑĤе":113253,"ĠданнÑĭми":113254,"ĠдеÑģÑıÑĤка":113255,"Ġдивизий":113256,"Ġдневник":113257,"ĠдовеÑĢие":113258,"ĠдÑĢевние":113259,"Ġзаложен":113260,"ĠзамкнÑĥÑĤ":113261,"ĠзапиÑģал":113262,"ĠзапÑĢеÑīа":113263,"ĠзапÑĥÑīен":113264,"ĠзаÑĢÑĥбеж":113265,"ĠзаÑīиÑīен":113266,"Ġизделий":113267,"ĠимеÑİÑīие":113268,"ĠиÑģклÑİÑĩа":113269,"ĠиÑģÑĤинно":113270,"ĠкваÑĢÑĤал":113271,"ĠкиÑģлоÑĤÑĭ":113272,"Ġколонии":113273,"ĠкомпенÑģ":113274,"ĠкÑĢаÑģнÑĭй":113275,"ĠкÑĢаÑģоÑĤÑĭ":113276,"ĠмаÑĤеÑĢÑĮÑİ":113277,"ĠмеÑĤодом":113278,"ĠмилиÑĨии":113279,"ĠминеÑĢал":113280,"Ġмонопол":113281,"Ġназвали":113282,"ĠнаÑģилиÑı":113283,"ĠнаÑģÑĭÑīен":113284,"ĠнаÑĥÑĩнÑĭе":113285,"Ġневидим":113286,"Ġнедолго":113287,"Ġненавид":113288,"ĠнеÑĢвной":113289,"Ġобладал":113290,"ĠобоÑĢонÑĥ":113291,"ĠобÑĭÑĩной":113292,"ĠобÑĭÑĩнÑĭм":113293,"ĠоÑĤмеÑĩен":113294,"ĠоÑĤнеÑģÑĤи":113295,"ĠоÑĤÑĢажен":113296,"ĠоÑĦиÑĨеÑĢÑĭ":113297,"ĠоÑħоÑĤник":113298,"Ġпадение":113299,"ĠпеÑĢвÑĭми":113300,"ĠпеÑĢелом":113301,"ĠпеÑĢеÑĪли":113302,"Ġплемени":113303,"Ġпомогал":113304,"ĠпопÑĭÑĤкÑĥ":113305,"ĠпоÑģÑijлка":113306,"ĠпÑĢеÑģÑĤиж":113307,"ĠпÑĢидвоÑĢ":113308,"ĠпÑĢиклад":113309,"ĠпÑĢоекÑĤе":113310,"ĠпÑĢоклÑıÑĤ":113311,"ĠпÑĢоÑģÑĤÑĭе":113312,"ĠпÑıÑĤниÑĨÑĥ":113313,"ĠÑĢазделе":113314,"ĠÑĢазмеÑīа":113315,"ĠÑĢазÑĢÑĥÑĪа":113316,"ĠÑĢаÑģÑģлаб":113317,"ĠÑĢеакÑĤив":113318,"ĠÑĢеÑĦлекÑģ":113319,"ĠÑĢеÑĪении":113320,"ĠÑĢÑĥбежом":113321,"ĠÑģвобода":113322,"ĠÑģделаеÑĤ":113323,"ĠÑģекÑĥндÑĥ":113324,"ĠÑģеминаÑĢ":113325,"ĠÑģенаÑĤоÑĢ":113326,"ĠÑģеÑĢиала":113327,"ĠÑģилÑĮнÑĭе":113328,"ĠÑģкÑĢомно":113329,"ĠÑģоблазн":113330,"ĠÑģпоÑģоба":113331,"ĠÑģÑĢедниÑħ":113332,"ĠÑģÑģÑĭлкой":113333,"ĠÑģÑĤавиÑĤÑĮ":113334,"ĠÑĤеÑĩениÑı":113335,"ĠÑĥказаÑĤÑĮ":113336,"ĠÑĥÑĩаÑģÑĤии":113337,"ĠÑħолодно":113338,"ĠÑħоÑĢоÑĪее":113339,"ĠÑĨаÑĢÑģÑĤво":113340,"ĠÑĨенÑĤÑĢов":113341,"ĠÑĩеÑĤвеÑĢг":113342,"ĠÑĪвейÑĨаÑĢ":113343,"аÑĤелÑĮнÑĭй":113344,"говаÑĢива":113345,"давалиÑģÑĮ":113346,"иÑĤелÑĮнÑĥÑİ":113347,"конÑĦеÑĢен":113348,"ÑĤелÑĮÑģÑĤво":113349,"ÑĭÑĪленник":113350,"ĠÐijолÑĮÑĪого":113351,"ĠÐļазалоÑģÑĮ":113352,"ĠÐľÐµÐ´Ð²ÐµÐ´ÐµÐ²":113353,"ĠСмоленÑģк":113354,"ĠТолÑģÑĤого":113355,"ĠабÑģÑĤÑĢакÑĤ":113356,"ĠаналиÑĤик":113357,"ĠаÑįÑĢопоÑĢÑĤ":113358,"ĠбезопаÑģн":113359,"Ġболезней":113360,"ĠведомÑģÑĤв":113361,"ĠвелиÑĩинÑĭ":113362,"ĠвклÑİÑĩаÑİÑĤ":113363,"ĠвлиÑıÑĤелÑĮ":113364,"Ġвозведен":113365,"Ġвозникли":113366,"ĠвÑģÑıÑĩеÑģки":113367,"ĠвÑĭÑĢазиÑĤÑĮ":113368,"ĠвÑĭÑıÑģниÑĤÑĮ":113369,"ĠгиÑĤлеÑĢов":113370,"ĠгÑĢаниÑĨей":113371,"Ġдиапазон":113372,"ĠединÑģÑĤво":113373,"ĠживоÑĤное":113374,"ĠжидкоÑģÑĤи":113375,"ĠзавеÑĢÑĪил":113376,"ĠзадÑĥмÑĭва":113377,"Ġзаполнен":113378,"ĠзаÑģÑĤавил":113379,"ĠзнаÑĩений":113380,"ĠидеалÑĮно":113381,"ĠиздаÑĤелÑĮ":113382,"ĠинÑģÑĤинкÑĤ":113383,"ĠконкÑĥÑĢен":113384,"ĠконкÑĥÑĢÑģа":113385,"ĠконÑģÑĥлÑĮÑĤ":113386,"ĠкÑĢÑĥпного":113387,"ĠлингвиÑģÑĤ":113388,"ĠмакÑģимÑĥм":113389,"ĠмалÑĮÑĩика":113390,"ĠмедиÑĨинÑĭ":113391,"ĠмодеÑĢниз":113392,"Ġмолодежи":113393,"ĠмоÑīноÑģÑĤÑĮ":113394,"Ġнаполнен":113395,"ĠнапÑĢавил":113396,"ĠнапÑĢÑıмÑĥÑİ":113397,"ĠобÑĢазÑĥÑİÑĤ":113398,"ĠобÑĢазÑĨов":113399,"ĠобÑĢаÑĤиÑĤÑĮ":113400,"ĠобÑĬекÑĤом":113401,"ĠогÑĢомной":113402,"ĠопÑĢовеÑĢг":113403,"ĠоÑĢганами":113404,"ĠоÑĢигинал":113405,"ĠоÑģнована":113406,"ĠоÑĤвеÑĩаÑĤÑĮ":113407,"ĠоÑĤмеÑĩаÑİÑĤ":113408,"ĠпаÑĢамеÑĤÑĢ":113409,"ĠпаÑĤÑĢиаÑĢÑħ":113410,"ĠпаÑĨиенÑĤа":113411,"ĠпеÑĢевода":113412,"ĠпеÑĢедаÑĩе":113413,"ĠпеÑĢеклÑİÑĩ":113414,"ĠподнÑıлÑģÑı":113415,"Ġпозвонил":113416,"ĠполÑĥÑĩали":113417,"ĠпоÑĤеÑĢпел":113418,"ĠпÑĢивлеÑĩÑĮ":113419,"ĠпÑĢигоÑĢод":113420,"ĠпÑĢимеÑĢов":113421,"ĠпÑĢинÑĨипÑĥ":113422,"ĠпÑĢиÑģвоен":113423,"ĠпÑĢиÑħодил":113424,"ĠпÑĢиÑħодÑıÑĤ":113425,"ĠпÑĢоводим":113426,"ĠпÑĢоизвел":113427,"ĠпÑĢоизвол":113428,"ĠпÑĢоÑĤоÑĤип":113429,"ĠпÑĢоÑĨенÑĤа":113430,"ĠпÑģиÑħиаÑĤÑĢ":113431,"ĠÑĢазмеÑĢом":113432,"ĠÑĢаÑģÑģказÑĭ":113433,"ĠÑĢаÑģÑģÑĤÑĢел":113434,"ĠÑĢегионов":113435,"ĠÑĢедакÑĨии":113436,"ĠÑģеÑĢдеÑĩно":113437,"ĠÑģобиÑĢаÑĤÑĮ":113438,"ĠÑģоглаÑģиÑı":113439,"ĠÑģодеÑĢжал":113440,"ĠÑģокÑĢаÑīен":113441,"ĠÑģокÑĢовиÑī":113442,"ĠÑģпаÑģениÑı":113443,"ĠÑģÑĤаÑĢалÑģÑı":113444,"ĠÑģÑĤÑĢанами":113445,"ĠÑģÑĨенаÑĢий":113446,"ĠÑĤелегÑĢам":113447,"ĠÑĤелеÑĦонÑĥ":113448,"ĠÑĤоÑĩноÑģÑĤи":113449,"ĠÑĤÑĢагедии":113450,"ĠÑħозÑıйÑģÑĤв":113451,"ĠÑħолодной":113452,"ĠÑĩеÑĤвеÑĢÑĤÑĮ":113453,"ĠÑįнÑĨиклоп":113454,"ĠÑıвлÑıлиÑģÑĮ":113455,"гоÑĤавлива":113456,"еÑģÑĤеÑģÑĤвен":113457,"коммÑĥниÑģÑĤ":113458,"ланиÑĢован":113459,"ÑģÑĤановлен":113460,"ÑĤелÑĮноÑģÑĤÑĮ":113461,"ĠÐIJÑĢÑħангелÑĮ":113462,"ĠÐĺÑģполÑĮзов":113463,"ĠСовеÑĤÑģкий":113464,"ĠвеÑĢÑĤикалÑĮ":113465,"ĠвладелÑĮÑĨа":113466,"ĠвÑĭполнÑıеÑĤ":113467,"Ġдвижением":113468,"ĠдемонÑģÑĤÑĢа":113469,"ĠдиÑģÑĤанÑĨии":113470,"ĠдÑĢевноÑģÑĤи":113471,"ĠзаведениÑı":113472,"ĠзакÑĢеплен":113473,"ĠинÑģпекÑĤоÑĢ":113474,"ĠинÑĤеÑĢеÑģаÑħ":113475,"ĠинÑĤеÑĢпÑĢеÑĤ":113476,"ĠкандидаÑĤа":113477,"ĠквалиÑĦика":113478,"ĠконÑĤекÑģÑĤе":113479,"ĠлибеÑĢалÑĮн":113480,"ĠлогиÑĩеÑģки":113481,"ĠмаленÑĮкие":113482,"ĠмаÑĢкеÑĤинг":113483,"ĠмеÑħанизма":113484,"ĠмогÑĥÑīеÑģÑĤв":113485,"ĠнамеÑĢениÑı":113486,"ĠнаÑģÑĤоÑıÑīей":113487,"ĠнеболÑĮÑĪое":113488,"Ġнезаконно":113489,"ĠнепонÑıÑĤно":113490,"ĠобознаÑĩен":113491,"ĠобоÑģнован":113492,"ĠобÑĬÑıÑģнÑıеÑĤ":113493,"ĠоппозиÑĨии":113494,"ĠопÑĢеделил":113495,"ĠопÑĤималÑĮн":113496,"ĠоÑĢганизме":113497,"ĠоÑģÑĤалÑĮное":113498,"ĠпамÑıÑĤника":113499,"ĠпаÑĢаллелÑĮ":113500,"ĠпаÑĢамеÑĤÑĢÑĭ":113501,"ĠпеÑĢеÑģелен":113502,"ĠпозволиÑĤÑĮ":113503,"Ġпоколение":113504,"ĠпомеÑīение":113505,"ĠпоÑģÑĤÑĢойки":113506,"ĠпÑĢевÑĭÑĪаеÑĤ":113507,"ĠпÑĢеделÑĮно":113508,"ĠпÑĢедÑģÑĤоÑıÑī":113509,"ĠпÑĢиглаÑģил":113510,"ĠпÑĢинÑĨипов":113511,"ĠпÑĢоÑĤекаеÑĤ":113512,"ĠÑģообÑīений":113513,"ĠÑģÑĢедневек":113514,"ĠÑģÑĢедÑģÑĤвом":113515,"ĠÑģÑĤÑĢаданиÑı":113516,"ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢе":113517,"ĠÑĤаланÑĤлив":113518,"ĠÑĤелеканал":113519,"ĠÑĤÑĢанÑģÑĦоÑĢм":113520,"ĠÑĥвелиÑĩива":113521,"ĠÑĥниÑĩÑĤожен":113522,"ĠÑĥпÑĢавлÑıем":113523,"ĠÑĩемпионом":113524,"ÐŁÐµÑĤеÑĢбÑĥÑĢга":113525,"аÑģлÑĥженнÑĭй":113526,"благопÑĢиÑıÑĤ":113527,"инÑĤеллекÑĤÑĥ":113528,"ÑĢабаÑĤÑĭваÑĤÑĮ":113529,"ĠÐIJлекÑģеевиÑĩ":113530,"ĠÐļазаÑħÑģÑĤана":113531,"ĠÐŁÑĢезиденÑĤа":113532,"ĠСÑĤалингÑĢад":113533,"ĠвнÑĥÑĤÑĢенний":113534,"ĠвÑģпоминаеÑĤ":113535,"ĠдемокÑĢаÑĤии":113536,"ĠзнамениÑĤÑĭй":113537,"ĠизбавиÑĤÑĮÑģÑı":113538,"ĠиÑģклÑİÑĩениÑı":113539,"ĠкандидаÑĤов":113540,"ĠкомпозиÑĨии":113541,"ĠликвидаÑĨии":113542,"ĠнаблÑİдение":113543,"ĠназÑĭваемÑĭе":113544,"ĠназÑĭваемÑĭй":113545,"ĠнаÑģелÑijннÑĭÑħ":113546,"ĠнаÑģÑĤÑĢоениÑı":113547,"ĠнедоÑģÑĤаÑĤоÑĩ":113548,"ĠобоÑĢÑĥдован":113549,"ĠокÑĢÑĥжаÑİÑīиÑħ":113550,"ĠоÑģвобожден":113551,"ĠоÑĤмеÑĩаеÑĤÑģÑı":113552,"ĠпоÑģÑĤоÑıнной":113553,"ĠпÑĢеодолеÑĤÑĮ":113554,"ĠпÑĢоведении":113555,"ĠпÑĢоекÑĤиÑĢов":113556,"ĠÑĢазÑĢабоÑĤка":113557,"ĠÑĢаÑģÑĪиÑĢениÑı":113558,"ĠÑģвободного":113559,"ĠÑģпÑĢаÑĪиваеÑĤ":113560,"ĠÑģÑĤÑĢелковой":113561,"ĠÑĤвоÑĢÑĩеÑģÑĤве":113562,"ĠÑĥвелиÑĩениÑı":113563,"ĠÑĥголовного":113564,"ĠÑĥдивиÑĤелÑĮн":113565,"ĠÑĥкÑĢеплениÑı":113566,"ĠÑĦакÑĥлÑĮÑĤеÑĤа":113567,"ĠÑĦинанÑģовÑĭÑħ":113568,"ĠÐIJзеÑĢбайджан":113569,"ĠвооÑĢÑĥженнÑĭÑħ":113570,"ĠвÑĭÑģÑĤÑĥпление":113571,"ĠгÑĢÑĥппиÑĢовки":113572,"ĠгÑĥбеÑĢнаÑĤоÑĢа":113573,"ĠдалÑĮнейÑĪего":113574,"ĠевÑĢопейÑģкой":113575,"ĠжÑĥÑĢналиÑģÑĤам":113576,"ĠзавиÑģимоÑģÑĤÑĮ":113577,"ĠзамеÑģÑĤиÑĤелÑı":113578,"ĠизвеÑģÑĤноÑģÑĤÑĮ":113579,"ĠинÑģÑĤÑĢÑĥменÑĤÑĭ":113580,"ĠинÑĦоÑĢмаÑĨией":113581,"ĠкомпоненÑĤов":113582,"ĠмедиÑĨинÑģкой":113583,"ĠобÑĬединение":113584,"ĠоказÑĭваÑİÑĤÑģÑı":113585,"ĠоÑĢганизовал":113586,"ĠоÑģÑĥÑīеÑģÑĤвиÑĤÑĮ":113587,"ĠпеÑĢеживаниÑı":113588,"ĠпоÑģледÑģÑĤвий":113589,"ĠпоÑģледÑĥÑİÑīиÑħ":113590,"ĠпоÑģÑĤоÑıнного":113591,"ĠпÑĢигоÑĤовлен":113592,"ĠпÑĢинадлежаÑĤ":113593,"ĠÑĢаÑģположено":113594,"ĠÑĢелигиознÑĭÑħ":113595,"ĠÑģобÑģÑĤвенник":113596,"ĠÑģобÑģÑĤвенное":113597,"ĠÑģпеÑĨиалÑĮной":113598,"ĠÑģпеÑĨиалÑĮнÑĭй":113599,"ĠÑģÑĤÑĢелкового":113600,"ĠÑĥÑĤвеÑĢждениÑı":113601,"ĠÑĦизиÑĩеÑģкого":113602,"ĠÑĦÑĢанÑĨÑĥзÑģкиÑħ":113603,"ĠÑĩиÑģленноÑģÑĤи":113604,"ĠÑĩÑĥвÑģÑĤвоваÑĤÑĮ":113605,"ĠÐĴладимиÑĢовиÑĩ":113606,"ĠблагополÑĥÑĩно":113607,"ĠзаконодаÑĤелÑĮ":113608,"ĠзаÑĦикÑģиÑĢован":113609,"ĠзнаÑĩиÑĤелÑĮное":113610,"ĠиÑģкÑĥÑģÑģÑĤвенно":113611,"ĠклаÑģÑģиÑĩеÑģкой":113612,"ĠобÑıзанноÑģÑĤей":113613,"ĠопÑĢеделеннÑĭм":113614,"ĠоÑģвобождение":113615,"Ġподполковник":113616,"ĠпÑĢавоÑģлавной":113617,"ĠпÑĢевÑĢаÑīаеÑĤÑģÑı":113618,"ĠпÑĢеимÑĥÑīеÑģÑĤва":113619,"ĠпÑĢеÑģÑĤÑĥплений":113620,"ĠпÑĢодолжаеÑĤÑģÑı":113621,"ĠÑģпеÑĨиалÑĮного":113622,"ĠÑģÑĤолкновениÑı":113623,"ĠÑģÑĤÑĢемиÑĤелÑĮно":113624,"ĠÑģÑĥÑīеÑģÑĤвовало":113625,"ĠÑĤеоÑĢеÑĤиÑĩеÑģки":113626,"ĠÑĥÑģовеÑĢÑĪенÑģÑĤв":113627,"ĠадминиÑģÑĤÑĢаÑĤоÑĢ":113628,"ĠиÑģÑģледоваÑĤелÑĮ":113629,"ĠопÑĢеделенного":113630,"ĠпÑĢедположение":113631,"ĠпÑĢедÑģÑĤавиÑĤелÑı":113632,"ĠпÑĢоÑĤивопоÑģÑĤав":113633,"ĠÑĢÑĥководиÑĤелем":113634,"ĠÑģвидеÑĤелÑĮÑģÑĤва":113635,"ĠÑģобÑģÑĤвенноÑģÑĤÑĮ":113636,"ĠÑģоÑĢевнованиÑıÑħ":113637,"ĠбомбаÑĢдиÑĢовÑīик":113638,"ĠвзаимодейÑģÑĤвие":113639,"ĠиÑģÑģледоваÑĤелей":113640,"ĠÑģпÑĢаведливоÑģÑĤи":113641,"ĠÑħÑĥдожеÑģÑĤвенной":113642,"ĠгоÑģÑĥдаÑĢÑģÑĤвенном":113643,"ĠздÑĢавооÑħÑĢанениÑı":113644,"ĠпÑĢедÑģÑĤавиÑĤелÑıми":113645,"ĠÑģпеÑĨиализиÑĢован":113646,"ĠÑĥÑģовеÑĢÑĪенÑģÑĤвова":113647,"Ìģл":113648,"ÐIJк":113649,"ÐĵÐĺ":113650,"ÐĶÐŀ":113651,"ÐĹд":113652,"ÐĺÐľ":113653,"ÐļÐł":113654,"ÐĿÐĵ":113655,"ÐŀÐĽ":113656,"ÐŀТ":113657,"Ðŀк":113658,"ÐŁÐŁ":113659,"ÐŁÐł":113660,"ÐłÐļ":113661,"СУ":113662,"жн":113663,"ÑĢв":113664,"ÑģÑĢ":113665,"ÑĤÑģ":113666,"ÑĮб":113667,"Ñİз":113668,"tus":113669,"ĠÐijÑį":113670,"ĠÐĴÑı":113671,"ĠÐĵУ":113672,"ĠÐķй":113673,"ĠÐłÐļ":113674,"ĠУж":113675,"ĠЮл":113676,"Ġам":113677,"Ġдж":113678,"ĠÑģз":113679,"ĠÑįÑĢ":113680,"Ðijал":113681,"ÐĴеÑĢ":113682,"ÐĵеÑĢ":113683,"Ðĵол":113684,"ÐľÐµÐ´":113685,"ÐĿеÑĤ":113686,"ÐŁÐ¾Ðº":113687,"Сам":113688,"СÑĤÑĢ":113689,"адк":113690,"адÑĤ":113691,"айк":113692,"айÑģ":113693,"алÑĭ":113694,"баÑĪ":113695,"блÑı":113696,"боÑı":113697,"вад":113698,"веÑĨ":113699,"вÑĭм":113700,"газ":113701,"гай":113702,"гей":113703,"гÑĥн":113704,"дай":113705,"дзи":113706,"евÑĤ":113707,"енк":113708,"еÑĢÑĥ":113709,"кай":113710,"каÑĦ":113711,"лки":113712,"лÑĥк":113713,"лÑĭм":113714,"лÑİз":113715,"наÑģ":113716,"ниг":113717,"нÑĥÑĢ":113718,"обо":113719,"окÑĢ":113720,"опе":113721,"пÑĢÑı":113722,"ÑĢио":113723,"ÑĢÑģк":113724,"ÑĢÑĭÑħ":113725,"ÑĢÑıÑĤ":113726,"ÑģÑĥб":113727,"ÑĤав":113728,"ÑĤÑĥн":113729,"ÑĤÑĥÑĪ":113730,"ÑĤÑİÑĢ":113731,"ÑĥÑīа":113732,"ÑĦаб":113733,"Ñħам":113734,"ÑħаÑĤ":113735,"ÑĪаÑĤ":113736,"ÑĪиÑĤ":113737,"ÑīÑijн":113738,"Ñĭпа":113739,"ÑĮÑıк":113740,"ÑıнÑĮ":113741,"ÑijÑĤÑĢ":113742,"ĠPla":113743,"ĠXXI":113744,"ĠÐIJÑĢг":113745,"ĠÐIJÑģÑģ":113746,"ĠÐijаг":113747,"ĠÐijед":113748,"ĠÐijек":113749,"ĠÐijой":113750,"ĠÐĵаб":113751,"ĠÐĵаз":113752,"ĠÐĵÑĥб":113753,"ĠÐĶве":113754,"ĠÐĶеб":113755,"ĠÐĶей":113756,"ĠÐĹаÑħ":113757,"ĠÐĺнг":113758,"ĠÐļад":113759,"ĠÐļай":113760,"ĠÐļим":113761,"ĠÐļли":113762,"ĠÐĽÐ¸Ð¿":113763,"ĠÐĽÑĥи":113764,"ĠÐľÐ°ÑĪ":113765,"ĠÐľÐ¸Ðĵ":113766,"ĠÐľÑĥÑħ":113767,"ĠÐĿаÑĤ":113768,"ĠÐŁÐ»Ðµ":113769,"ĠÐŁÐ¾Ð¶":113770,"ĠÐłÐµÐ¶":113771,"ĠСок":113772,"ĠСоÑĩ":113773,"ĠСÑĥм":113774,"ĠСÑĥÑĢ":113775,"ĠТеб":113776,"ĠТиÑĤ":113777,"ĠУол":113778,"ĠХам":113779,"ĠЦен":113780,"ĠЧай":113781,"ĠШам":113782,"ĠШан":113783,"ĠШев":113784,"ĠÐŃли":113785,"Ġвен":113786,"ĠвÑĢÑĥ":113787,"Ġдно":113788,"ĠдÑĥг":113789,"ĠедÑĥ":113790,"Ġзов":113791,"ĠидÑĥ":113792,"ĠиÑĥд":113793,"Ġков":113794,"ĠкÑĥÑĩ":113795,"Ġлаз":113796,"ĠмÑįÑĢ":113797,"ĠпÑĭл":113798,"ĠÑĢеÑĩ":113799,"ĠÑģÑĩÑij":113800,"ĠÑģÑįÑĢ":113801,"ĠÑĥÑĪи":113802,"ĠÑĦÑĥн":113803,"ĠÑĪап":113804,"ĠÑĪин":113805,"ĠÑĪло":113806,"ĠÑīек":113807,"ĠÑįÑĢÑĭ":113808,"ĠÑıзв":113809,"ÐķÐĿÐĺÐķ":113810,"ÐķкаÑĤ":113811,"ÐŁÐµÑĢе":113812,"СоÑİз":113813,"абил":113814,"авил":113815,"аева":113816,"акии":113817,"алле":113818,"анÑĮе":113819,"аÑĢка":113820,"аÑĢÑĤи":113821,"аÑĥÑįÑĢ":113822,"аÑĪин":113823,"боÑĤа":113824,"боÑĤÑĥ":113825,"вела":113826,"веÑĢн":113827,"веÑĢÑĮ":113828,"вина":113829,"волн":113830,"вÑĪем":113831,"гаÑĢд":113832,"глаз":113833,"года":113834,"гоÑĢе":113835,"гÑĢии":113836,"гÑĢÑĭз":113837,"деÑĢа":113838,"джеÑĢ":113839,"диоз":113840,"долг":113841,"дÑĢÑĥж":113842,"егаÑĤ":113843,"едÑĢо":113844,"езно":113845,"ейÑģк":113846,"елÑĮе":113847,"еним":113848,"ждÑijн":113849,"жнÑĭй":113850,"зван":113851,"зелÑij":113852,"зиаÑĤ":113853,"зиÑĢа":113854,"зова":113855,"ибеÑĤ":113856,"иваÑİ":113857,"игон":113858,"игÑĢа":113859,"измÑĥ":113860,"инок":113861,"келÑĮ":113862,"кÑĢÑĥÑĤ":113863,"лади":113864,"лизм":113865,"линÑĭ":113866,"логи":113867,"лÑĮно":113868,"лÑĮÑĨа":113869,"маÑģÑģ":113870,"мона":113871,"мÑĥдÑĢ":113872,"мÑĭка":113873,"ноÑĢм":113874,"нÑĤеÑĢ":113875,"нÑĤон":113876,"обÑĭÑĤ":113877,"одаÑĢ":113878,"одоб":113879,"ожде":113880,"олÑĮн":113881,"оним":113882,"опÑĥÑĤ":113883,"оÑĢоб":113884,"оÑĦил":113885,"оÑĦон":113886,"оÑĩке":113887,"палÑĮ":113888,"паÑĢÑĤ":113889,"пÑĢÑıж":113890,"ÑĢабо":113891,"ÑĢалÑĮ":113892,"ÑĢвал":113893,"ÑĢион":113894,"Ñģкак":113895,"ÑģмеÑĪ":113896,"Ñģозн":113897,"ÑģÑĤин":113898,"ÑģÑĭпа":113899,"ÑĤого":113900,"ÑĤоÑĢж":113901,"ÑĤÑĢак":113902,"ÑĥгÑĥб":113903,"ÑĥÑĪек":113904,"ÑĦакÑĤ":113905,"ÑħÑĢом":113906,"ÑĨиан":113907,"ÑĨкой":113908,"ÑĨком":113909,"ÑĩеÑĢк":113910,"ÑĪедÑĪ":113911,"ÑĪкин":113912,"ÑĪней":113913,"ÑıлÑģÑı":113914,"tress":113915,"ĠÐIJÐ¡Ð¡Ðł":113916,"ĠÐijала":113917,"ĠÐijеÑĢн":113918,"ĠÐijÑĢод":113919,"ĠÐĴаÑĪе":113920,"ĠÐĵÑĢаÑĦ":113921,"ĠÐĵÑĢин":113922,"ĠÐĶжеÑĢ":113923,"ĠÐĺлÑĮÑı":113924,"ĠÐļана":113925,"ĠÐļÑĥда":113926,"ĠÐĽÐ°ÑĤв":113927,"ĠÐľÐµÐ»ÑĮ":113928,"ĠÐŁÑĢоÑģ":113929,"ĠÐŁÑĮеÑĢ":113930,"ĠÐŁÑijÑĤÑĢ":113931,"ĠÐłÐļÐļÐIJ":113932,"ĠСама":113933,"ĠСбоÑĢ":113934,"ĠСело":113935,"ĠФÑĢед":113936,"ĠÐ¥Ñĥан":113937,"ĠЧелÑı":113938,"ĠЧиÑĤа":113939,"ĠЯвлÑı":113940,"ĠакÑĤа":113941,"Ġбоги":113942,"ĠбÑĥдд":113943,"ĠбÑĥнÑĤ":113944,"ĠбÑĭÑģÑĤ":113945,"ĠвеÑĢа":113946,"ĠвеÑģа":113947,"ĠвоÑģÑģ":113948,"ĠвÑģев":113949,"Ġгимн":113950,"ĠгоÑĢм":113951,"ĠгÑĢек":113952,"ĠгÑĢеÑĩ":113953,"Ġдики":113954,"Ġдоли":113955,"Ġжене":113956,"ĠживÑĥ":113957,"Ġзайм":113958,"Ġзала":113959,"ĠзÑĥбÑĭ":113960,"ĠиÑģкÑĢ":113961,"ĠкиÑģл":113962,"ĠконÑĩ":113963,"ĠкоÑĢÑĭ":113964,"ĠкÑĢаÑħ":113965,"ĠкÑĥÑĢи":113966,"ĠлаÑģк":113967,"Ġлиге":113968,"ĠлÑĮда":113969,"ĠмилÑĮ":113970,"ĠмÑĥки":113971,"ĠнаÑĨи":113972,"ĠоÑĤвл":113973,"Ġплам":113974,"ĠпÑĢÑĥд":113975,"ĠпÑĥлÑĮ":113976,"ĠпÑĩел":113977,"ĠÑĢенÑĤ":113978,"ĠÑģанÑĤ":113979,"ĠÑģвоÑı":113980,"ĠÑģего":113981,"ĠÑģкÑĥÑĩ":113982,"ĠÑģлÑĥг":113983,"ĠÑģпал":113984,"ĠÑģÑģоÑĢ":113985,"ĠÑģÑĭнÑĥ":113986,"ĠÑĤвои":113987,"ĠÑĤемн":113988,"ĠÑĤипÑĭ":113989,"ĠÑĤÑĢам":113990,"ĠÑĥдав":113991,"ĠÑĥлиÑĩ":113992,"ĠÑĥÑĪли":113993,"ĠÑĦеÑĢм":113994,"ĠÑħаоÑģ":113995,"ĠÑħода":113996,"ĠÑĨене":113997,"ĠÑĨенÑĥ":113998,"ĠÑĨепÑĮ":113999,"ĠÑĩеÑĢн":114000,"ĠÑĪаÑħÑĤ":114001,"ĠÑĪкаÑĦ":114002,"ĠÑĪлем":114003,"ĠÑįмиг":114004,"ĠÑįÑĤно":114005,"ĠÑıдÑĢо":114006,"ÐĶоÑĢог":114007,"ÐĺÑģÑĤоÑĢ":114008,"ÐŀÑģнов":114009,"СевеÑĢ":114010,"СпаÑĢÑĤ":114011,"СÑĤÑĢел":114012,"агеÑģÑĤ":114013,"азван":114014,"анÑĤов":114015,"аÑĤоÑĢÑĭ":114016,"болÑĮÑĪ":114017,"везÑĤи":114018,"влаÑģÑĤ":114019,"водил":114020,"голоÑģ":114021,"данов":114022,"динал":114023,"екÑĨиÑı":114024,"енниÑģ":114025,"енÑĨии":114026,"еÑĨкой":114027,"звезд":114028,"ивнаÑı":114029,"ивнÑĭе":114030,"инаÑĤÑĮ":114031,"иÑĢаÑĤÑĮ":114032,"иÑĩнев":114033,"ковиÑĩ":114034,"ковÑĭе":114035,"ковÑĭм":114036,"когда":114037,"кÑĢеÑģÑĤ":114038,"кÑĥÑĤÑģк":114039,"лажен":114040,"левой":114041,"лÑĮнÑĭÑħ":114042,"менÑıл":114043,"меÑĢно":114044,"мÑĭÑĪлÑı":114045,"налог":114046,"неÑģÑijн":114047,"неÑĨов":114048,"нного":114049,"ннÑĭми":114050,"нодаÑĢ":114051,"ноÑĪен":114052,"овомÑĥ":114053,"оннÑĭй":114054,"оннÑĭÑħ":114055,"оÑģÑĤан":114056,"оÑģÑĤаÑĤ":114057,"оÑĤдел":114058,"оÑĩкой":114059,"плаÑģÑĤ":114060,"позна":114061,"поÑĢÑıд":114062,"ÑĢаÑģÑĤи":114063,"ÑĢваÑĤÑĮ":114064,"ÑĢоÑģла":114065,"ÑĢÑĥÑĪил":114066,"ÑĢÑĥÑĪки":114067,"ÑģеÑĩен":114068,"ÑģлÑĥжб":114069,"ÑģлÑĭÑĪа":114070,"ÑģÑĤвÑĥÑı":114071,"ÑĤелен":114072,"ÑĤийÑģк":114073,"ÑĥлÑıÑĢн":114074,"ÑĥÑĢган":114075,"ÑĥÑĩаÑģÑĤ":114076,"ÑĥÑīего":114077,"ÑĦизик":114078,"ÑĦиÑĨиÑĤ":114079,"ÑĦÑİÑĢеÑĢ":114080,"ÑħодÑıÑĤ":114081,"ÑħоÑĢоÑĪ":114082,"ÑĨенно":114083,"ÑĩеÑĢед":114084,"ÑĪÑĤадÑĤ":114085,"ĠÐĴÑıÑĩеÑģ":114086,"ĠÐĵаÑĢÑĢи":114087,"ĠÐĵоÑĤов":114088,"ĠÐĹелен":114089,"ĠÐĹемлÑİ":114090,"ĠÐĺнаÑĩе":114091,"ĠÐļиÑĢов":114092,"ĠÐĽÐµÐ±ÐµÐ´":114093,"ĠÐľÐ°ÑĢкÑģ":114094,"ĠÐľÑĥзей":114095,"ĠÐľÑĥÑħам":114096,"ĠÐĿаÑħод":114097,"ĠÐĿикак":114098,"ĠÐŀблад":114099,"ĠÐłÑıдом":114100,"ĠСенаÑĤ":114101,"ĠСлова":114102,"ĠСпеÑĨи":114103,"ĠУÑĤÑĢом":114104,"ĠÐŃлекÑĤ":114105,"ĠÐŃÑģÑĤон":114106,"Ġангло":114107,"ĠанÑģам":114108,"ĠапоÑģÑĤ":114109,"ĠаÑĢбиÑĤ":114110,"ĠбезÑĥм":114111,"Ġбелой":114112,"ĠбеÑĢÑĥÑĤ":114113,"ĠбеÑĤон":114114,"ĠблеÑģк":114115,"ĠбомбÑĭ":114116,"ĠбÑİÑĢок":114117,"ĠваÑĪим":114118,"ĠввидÑĥ":114119,"ĠвеÑĢил":114120,"ĠвеÑĢиÑĤ":114121,"ĠвеÑĢÑģÑĤ":114122,"ĠвзÑıÑĤÑĭ":114123,"ĠвиднÑĭ":114124,"ĠвкÑĥÑģÑĥ":114125,"Ġвладе":114126,"ĠвнизÑĥ":114127,"ĠводÑıн":114128,"ĠвоÑģÑĮм":114129,"ĠвÑĢажд":114130,"ĠвÑĢаÑĩи":114131,"ĠвÑĭезд":114132,"ĠвÑĭкÑĥп":114133,"ĠвÑĭлеÑĤ":114134,"ĠгиÑĤаÑĢ":114135,"ĠдождÑĮ":114136,"ĠдÑĥÑĢак":114137,"Ġездил":114138,"ĠжелаÑı":114139,"ĠжелÑĤо":114140,"ĠженаÑĤ":114141,"ĠжилиÑī":114142,"Ġзамка":114143,"ĠзовÑĥÑĤ":114144,"ĠзÑĢели":114145,"Ġизвин":114146,"ĠизлиÑĪ":114147,"ĠкаÑĢÑĤа":114148,"ĠкаÑĤеÑĢ":114149,"ĠкоÑĢни":114150,"ĠкÑĢÑĥгÑĥ":114151,"ĠкÑĥÑģок":114152,"ĠлазеÑĢ":114153,"ĠлежаÑĤ":114154,"ĠлиÑĤов":114155,"ĠлÑİбаÑı":114156,"ĠмаÑĢкÑģ":114157,"ĠмаÑĢок":114158,"ĠмаÑģон":114159,"ĠмелоÑĩ":114160,"ĠмонаÑħ":114161,"ĠмÑĥжем":114162,"ĠнаÑĩав":114163,"Ġнежел":114164,"Ġнелег":114165,"ĠнеÑĦÑĤÑĮ":114166,"ĠнÑĥждÑĭ":114167,"ĠоÑģлож":114168,"ĠоÑĤÑģек":114169,"ĠпеÑĢеÑĨ":114170,"ĠплодÑĭ":114171,"Ġпобег":114172,"Ġповез":114173,"ĠповоÑĢ":114174,"ĠподаÑĩ":114175,"Ġпожел":114176,"ĠпозоÑĢ":114177,"Ġполей":114178,"ĠполÑijÑĤ":114179,"ĠпоÑĢÑĭв":114180,"ĠпоÑģеÑī":114181,"ĠпоÑģла":114182,"ĠпÑĢедо":114183,"ĠÑĢавна":114184,"ĠÑĢазвл":114185,"ĠÑĢÑĥкав":114186,"ĠÑģзади":114187,"ĠÑģколÑĮ":114188,"ĠÑģлава":114189,"ĠÑģловÑĥ":114190,"ĠÑģлÑĥÑħи":114191,"ĠÑģменÑĥ":114192,"ĠÑģмеÑģÑĮ":114193,"ĠÑģнижа":114194,"ĠÑģплав":114195,"ĠÑģпÑĢÑıÑĤ":114196,"ĠÑģпÑĥÑģк":114197,"ĠÑģÑĤеÑĢе":114198,"ĠÑģÑĤÑĢаж":114199,"ĠÑģÑĤÑĢог":114200,"ĠÑģÑĥдÑĮÑı":114201,"ĠÑģÑĩеÑĤе":114202,"ĠÑģÑĩиÑĤа":114203,"ĠÑĤаÑĢиÑĦ":114204,"ĠÑĤеÑĢми":114205,"ĠÑĤÑĢавм":114206,"ĠÑĤÑĢакÑĤ":114207,"ĠÑĤÑĢÑĥдÑĭ":114208,"ĠÑĤÑıгоÑĤ":114209,"ĠÑĥглов":114210,"ĠÑĥглом":114211,"ĠÑĥголÑĮ":114212,"ĠÑĥдаÑĢÑĭ":114213,"ĠÑĥполн":114214,"ĠÑĥпÑĢоÑī":114215,"ĠÑĥÑħода":114216,"ĠÑĥÑĩенÑĭ":114217,"ĠÑĥÑĩеÑĤа":114218,"ĠÑĦакÑĤа":114219,"ĠÑĦиÑĢма":114220,"ĠÑĦÑĢаза":114221,"ĠÑħимии":114222,"ĠÑĨвеÑĤÑĭ":114223,"ĠÑĨелÑĥÑİ":114224,"ĠÑĨиÑĦÑĢÑĭ":114225,"ĠÑĩаÑģÑĤÑĭ":114226,"ĠÑĩеÑģÑĤи":114227,"ĠÑĩиÑģел":114228,"ĠÑĪагом":114229,"ĠÑĪиÑĢоÑĤ":114230,"ÐIJÑĤланÑĤ":114231,"ÐŁÐ¾ÐºÑĢов":114232,"ажÑĥÑĤÑģÑı":114233,"аменÑĤа":114234,"аÑĤоÑĢов":114235,"биÑĢаеÑĤ":114236,"бÑĭваÑĤÑĮ":114237,"ваÑĢиÑĤÑĮ":114238,"веденÑĭ":114239,"визион":114240,"вÑĪемÑģÑı":114241,"гоÑģлав":114242,"даннÑĭÑħ":114243,"езжаеÑĤ":114244,"енбÑĥÑĢг":114245,"ендаÑĢн":114246,"енÑģкой":114247,"еÑĩаÑĤан":114248,"живаÑĤÑĮ":114249,"зÑĢениÑı":114250,"инаÑĨии":114251,"кидÑĭва":114252,"коваÑĤÑĮ":114253,"кÑĢаÑģив":114254,"ландÑģк":114255,"лимпий":114256,"лиÑĩнаÑı":114257,"ложенÑĭ":114258,"ложили":114259,"ложиÑĤе":114260,"лÑıÑİÑĤÑģÑı":114261,"меÑĤалл":114262,"меÑĪаÑĤÑĮ":114263,"нейÑĪим":114264,"ноÑĢвеж":114265,"ноÑģили":114266,"обоÑĢон":114267,"оваÑĢиÑī":114268,"овÑģким":114269,"оговоÑĢ":114270,"одеÑĢжа":114271,"ождаеÑĤ":114272,"оÑĢиенÑĤ":114273,"падаеÑĤ":114274,"падаÑĤÑĮ":114275,"пÑĢинÑıÑĤ":114276,"пÑĢовод":114277,"ÑĢазлиÑĩ":114278,"ÑĢÑĭваеÑĤ":114279,"ÑģеÑĢдеÑĩ":114280,"Ñģледов":114281,"ÑģлÑĥжен":114282,"ÑģлÑĥжив":114283,"ÑģÑĤавим":114284,"ÑģÑĤоÑıло":114285,"ÑģÑĤÑĢеÑĩа":114286,"ÑĤоплен":114287,"ÑĤоÑĩнаÑı":114288,"Ñĥковод":114289,"ÑĦабÑĢик":114290,"ÑįÑĦÑĦекÑĤ":114291,"ÑİÑīÑĥÑİÑģÑı":114292,"ĠÐĴидимо":114293,"ĠÐĴооÑĢÑĥж":114294,"ĠÐĴоÑģÑĤоÑĩ":114295,"ĠÐĶалÑĮÑĪе":114296,"ĠÐķгипеÑĤ":114297,"ĠÐķлизав":114298,"ĠÐļаждаÑı":114299,"ĠÐļанадÑĭ":114300,"ĠÐĽÑİбовÑĮ":114301,"ĠÐľÐ°ÑģÑĤеÑĢ":114302,"ĠÐĿаÑĤалÑĮ":114303,"ĠÐĿаÑĩало":114304,"ĠÐĿового":114305,"ĠÐŀлимпи":114306,"ĠÐŀÑĤкÑĢÑĭÑĤ":114307,"ĠÐŁÐ°ÑĢижа":114308,"ĠÐŁÐ¾Ð±ÐµÐ´Ñĭ":114309,"ĠÐŁÑĢавил":114310,"ĠСкоÑĢее":114311,"ĠСоÑĨиал":114312,"ĠСÑĤепан":114313,"ĠÐ¥ÑĢÑĥÑīев":114314,"ĠаÑĢÑĤеÑĢи":114315,"ĠбаÑĢÑĮеÑĢ":114316,"ĠбеÑģедÑĭ":114317,"ĠбеÑģпол":114318,"ĠбойÑĨов":114319,"ĠваÑĢваÑĢ":114320,"ĠвеÑĢнÑĥл":114321,"ĠвеÑģело":114322,"ĠвлиÑıеÑĤ":114323,"ĠвнеÑĪне":114324,"ĠвоенаÑĩ":114325,"ĠвозÑĢаж":114326,"Ġвокзал":114327,"ĠволÑĮно":114328,"ĠвоÑģÑģÑĤа":114329,"ĠвÑģÑıкое":114330,"ĠвÑĭбÑĢоÑģ":114331,"ĠвÑĭÑģÑĪее":114332,"Ġглавой":114333,"ĠгоÑĢмон":114334,"ĠгоÑĢнÑĭÑħ":114335,"Ġданное":114336,"ĠдевÑıÑĤи":114337,"Ġделами":114338,"ĠдеÑĢжал":114339,"ĠдеÑĢжиÑĤ":114340,"ĠдолÑĮÑĪе":114341,"ĠдоÑģÑĤал":114342,"ĠдоÑħода":114343,"Ġединой":114344,"ĠзанÑıÑĤÑĭ":114345,"ĠзаÑĤвоÑĢ":114346,"Ġземлей":114347,"ĠизмеÑĢÑı":114348,"ĠинÑĤÑĢиг":114349,"ĠкакомÑĥ":114350,"Ġкамней":114351,"ĠкапÑĥÑģÑĤ":114352,"ĠкаÑĢÑĤоÑĩ":114353,"Ġклиник":114354,"ĠкнигаÑħ":114355,"ĠколеÑģа":114356,"ĠконÑģÑĥл":114357,"ĠконÑĤÑĥÑĢ":114358,"ĠкÑĢÑĥгов":114359,"ĠлеÑĤниÑħ":114360,"ĠлеÑĤÑĩик":114361,"ĠлиÑģÑĤов":114362,"ĠлиÑĨами":114363,"ĠлиÑĩнÑĭе":114364,"ĠлиÑĩнÑĭм":114365,"ĠлÑİбиÑĤÑĮ":114366,"ĠмаÑģлом":114367,"ĠмеÑĪаеÑĤ":114368,"ĠмикÑĢоÑģ":114369,"ĠмодеÑĢн":114370,"Ġмолоко":114371,"Ġнакопи":114372,"ĠнаÑĩнеÑĤ":114373,"ĠнаÑĪими":114374,"ĠнейÑĢон":114375,"ĠнеÑĥдоб":114376,"ĠноÑģиÑĤÑĮ":114377,"ĠобÑĬема":114378,"Ġоказал":114379,"ĠоплаÑĤÑĭ":114380,"ĠоÑģобÑĭм":114381,"ĠоÑĤвеÑĤÑĭ":114382,"ĠоÑĤноÑģи":114383,"ĠоÑĤÑĢиÑĨа":114384,"ĠоÑĤÑĢÑıдÑĭ":114385,"ĠоÑħлажд":114386,"ĠоÑħоÑĤно":114387,"ĠоÑĨенил":114388,"ĠоÑĪибкÑĥ":114389,"ĠпалаÑĤÑĭ":114390,"Ġплодов":114391,"ĠподбоÑĢ":114392,"ĠподнÑıÑĤ":114393,"ĠпоеÑħал":114394,"Ġпозади":114395,"ĠпоиÑģки":114396,"ĠпокÑĢÑĭÑĤ":114397,"ĠпокÑĥпа":114398,"ĠполнаÑı":114399,"ĠпомеÑīа":114400,"Ġпопала":114401,"ĠпоÑģÑĤиг":114402,"ĠпÑĢаваÑħ":114403,"ĠпÑĢибÑĭв":114404,"ĠпÑĢивил":114405,"ĠпÑĢигод":114406,"ĠпÑĢинÑıв":114407,"ĠпÑĢодав":114408,"ĠпÑĢожил":114409,"ĠпÑĢопал":114410,"ĠпÑĢоÑĩиÑĤ":114411,"ĠпÑĢоÑĪÑijл":114412,"ĠпÑĢÑıмÑĭм":114413,"ĠÑĢазбиÑĢ":114414,"ĠÑĢазбиÑĤ":114415,"ĠÑĢазмаÑħ":114416,"ĠÑĢаÑģкол":114417,"ĠÑĢаÑģÑĩÑijÑĤ":114418,"ĠÑĢаÑĨион":114419,"ĠÑĢимлÑıн":114420,"ĠÑĢиÑģÑĥнк":114421,"ĠÑģвÑıÑĤой":114422,"ĠÑģделав":114423,"ĠÑģделки":114424,"ĠÑģевеÑĢÑĥ":114425,"ĠÑģеÑĢиал":114426,"ĠÑģидели":114427,"ĠÑģидеÑĤÑĮ":114428,"ĠÑģлÑĥÑĩаÑİ":114429,"ĠÑģлÑĥÑĪал":114430,"ĠÑģозÑĭва":114431,"ĠÑģпиной":114432,"ĠÑģпÑĥÑģка":114433,"ĠÑģÑĢедне":114434,"ĠÑģÑĤавил":114435,"ĠÑģÑĤекла":114436,"ĠÑģÑĤоÑıÑĤÑĮ":114437,"ĠÑģÑĤÑĥден":114438,"ĠÑģÑĩÑijÑĤом":114439,"ĠÑģÑĬезда":114440,"ĠÑĤекÑģÑĤÑĭ":114441,"ĠÑĤеÑģÑĤов":114442,"ĠÑĤÑĢибÑĥн":114443,"ĠÑĤÑİÑĢÑĮмÑĥ":114444,"ĠÑĥгÑĢозÑĥ":114445,"ĠÑĥдаÑĢил":114446,"ĠÑĥдаÑĢов":114447,"ĠÑĥдаÑĩно":114448,"ĠÑĥжаÑģно":114449,"ĠÑĥзнаеÑĤ":114450,"ĠÑĥзнали":114451,"ĠÑĥÑģпеÑħи":114452,"ĠÑĥÑģпоко":114453,"ĠÑĦигÑĥÑĢа":114454,"ĠÑĦилÑĮмÑĭ":114455,"ĠÑĦÑĥнÑĤов":114456,"ĠÑħваÑĤиÑĤ":114457,"ĠÑĩиÑģлом":114458,"ĠÑĩиÑģÑĤой":114459,"ĠÑĩиÑĤаеÑĤ":114460,"ĠÑįмоÑĨии":114461,"ÐŀкÑĤÑıбÑĢÑĮ":114462,"СпаÑĢÑĤак":114463,"агеÑģÑĤан":114464,"ведениÑİ":114465,"воÑģÑĤоке":114466,"иваленÑĤ":114467,"ивноÑģÑĤÑĮ":114468,"иÑĢовÑīик":114469,"казание":114470,"конÑĤÑĢол":114471,"маÑĤемаÑĤ":114472,"меÑīение":114473,"ноÑģиÑĤÑģÑı":114474,"ноÑĪение":114475,"оминаÑĤÑĮ":114476,"опÑĢоекÑĤ":114477,"оÑģпоÑģоб":114478,"плаÑĩива":114479,"пÑĢавиÑĤÑĮ":114480,"ÑĢазномÑĥ":114481,"ÑģодеÑĢжа":114482,"ÑģÑĤавлÑıл":114483,"ÑģÑĤавÑĮÑĤе":114484,"ÑģÑĤанÑĨии":114485,"ÑģÑĤоÑıние":114486,"ÑħваÑĤиÑĤÑĮ":114487,"ÑħодÑıÑīий":114488,"Ñĩеловек":114489,"ÑĭвалиÑģÑĮ":114490,"ĠÐIJмеÑĢика":114491,"ĠÐĴалеÑĢий":114492,"ĠÐĴаÑģилиÑı":114493,"ĠÐĴенгÑĢии":114494,"ĠÐĴÑģÑĤÑĢеÑĩа":114495,"ĠÐĴÑĮеÑĤнам":114496,"ĠÐĶмиÑĤÑĢиÑı":114497,"ĠÐķкаÑĤеÑĢи":114498,"ĠÐĺÑģполÑĮз":114499,"ĠÐĿаÑĩинаÑı":114500,"ĠÐĿовоÑģÑĤи":114501,"ĠÐŀÑĢганиз":114502,"ĠÐŀÑģнован":114503,"ĠÐŁÐ¾Ð´Ð¾Ð±Ð½Ð¾":114504,"ĠÐŁÑĢодолж":114505,"ĠÐŁÑĢоÑĨеÑģÑģ":114506,"ĠТолÑģÑĤой":114507,"ĠФÑĢанÑĨиÑİ":114508,"ĠФÑĢидÑĢиÑħ":114509,"ĠЧелÑıбин":114510,"ĠадмиÑĢал":114511,"ĠалÑĮбома":114512,"ĠапоÑģÑĤол":114513,"ĠбаÑĤаÑĢеи":114514,"ĠбÑĢоÑģиÑĤÑĮ":114515,"ĠвзглÑıда":114516,"ĠвиноваÑĤ":114517,"ĠвлÑİблен":114518,"ĠвнеÑĪний":114519,"ĠвÑħодила":114520,"ĠвÑĭведен":114521,"ĠвÑĭвеÑģÑĤи":114522,"ĠвÑĭÑģоком":114523,"ĠглавнÑĥÑİ":114524,"ĠглÑĥбинÑĥ":114525,"ĠглÑĥбинÑĭ":114526,"ĠдевÑĥÑĪек":114527,"ĠдеÑĢевнÑİ":114528,"ĠдеÑĦиÑĨиÑĤ":114529,"Ġдинамик":114530,"ĠдлиннÑĭе":114531,"ĠединиÑĨÑĭ":114532,"ĠженÑīине":114533,"Ġзаконам":114534,"ĠзамеÑĤнÑĭ":114535,"ĠзанÑıÑĤие":114536,"ĠзаÑıвила":114537,"ĠзаÑıвили":114538,"ĠзÑĢиÑĤелÑı":114539,"ĠигÑĢоком":114540,"ĠизÑĥÑĩаÑĤÑĮ":114541,"Ġименова":114542,"ĠкаÑĢÑĤине":114543,"ĠкаÑĦедÑĢÑĭ":114544,"ĠкваÑĢÑĤиÑĢ":114545,"ĠкоÑĢоÑĤко":114546,"ĠкÑĢиÑĤика":114547,"ĠлиÑģÑĤÑĮев":114548,"ĠлÑĥÑĩÑĪего":114549,"ĠлÑİбопÑĭÑĤ":114550,"ĠмаÑĤеÑĢии":114551,"ĠмеÑģÑĤами":114552,"ĠмеÑĤалла":114553,"ĠмеÑĤаÑĦоÑĢ":114554,"ĠмеÑĤодик":114555,"ĠмоменÑĤÑĥ":114556,"ĠнаÑĢодом":114557,"ĠнаÑģлажд":114558,"ĠнаÑĥÑĩнÑĭй":114559,"ĠнаÑħодÑıÑĤ":114560,"ĠнаÑĨиона":114561,"ĠнезамеÑĤ":114562,"Ġнеподал":114563,"ĠновоÑģÑĤи":114564,"ĠобÑīение":114565,"ĠоказаÑĤÑĮ":114566,"ĠоÑĤкÑĢÑĭва":114567,"ĠоÑĤкÑĢÑĭли":114568,"ĠоÑĤкÑĢÑĭÑĤа":114569,"ĠпалÑĮÑĨев":114570,"ĠпеÑĢеÑĪел":114571,"ĠпиÑĤание":114572,"ĠпобÑĭвал":114573,"ĠповÑģÑİдÑĥ":114574,"ĠподаÑĢок":114575,"Ġпоказан":114576,"Ġполгода":114577,"Ġполигон":114578,"ĠполиÑĨиÑı":114579,"ĠполÑĥÑĩиÑĤ":114580,"ĠпомеÑīик":114581,"ĠпонÑıÑĤий":114582,"ĠпоÑģвÑıÑĤи":114583,"ĠпоÑģÑĤели":114584,"ĠпÑĢедков":114585,"ĠпÑĢивела":114586,"ĠпÑĢивеÑĢж":114587,"ĠпÑĢидеÑĢж":114588,"ĠпÑĢизвал":114589,"ĠпÑĢиказÑĥ":114590,"ĠпÑĢодаже":114591,"ĠпÑĥбликÑĥ":114592,"ĠÑĢаÑģкÑĢÑĭÑĤ":114593,"ĠÑĢаÑģпÑĢед":114594,"ĠÑĢаÑģÑĨвеÑĤ":114595,"ĠÑĢекламÑĭ":114596,"ĠÑģаниÑĤаÑĢ":114597,"ĠÑģекÑĥндÑĭ":114598,"ĠÑģигаÑĢеÑĤ":114599,"ĠÑģигнала":114600,"ĠÑģиндÑĢом":114601,"ĠÑģинÑħÑĢон":114602,"ĠÑģледиÑĤÑĮ":114603,"ĠÑģложнее":114604,"ĠÑģложной":114605,"ĠÑģложнÑĭм":114606,"ĠÑģоздаÑİÑĤ":114607,"ĠÑģоÑģÑĤоÑıÑĤ":114608,"ĠÑģпаÑģибо":114609,"ĠÑģÑĢедний":114610,"ĠÑģÑĢеднÑıÑı":114611,"ĠÑģÑĤакана":114612,"ĠÑģÑĤаÑĢÑĪим":114613,"ĠÑģÑĤаÑĢÑĪин":114614,"ĠÑģÑĤолиÑĨÑĥ":114615,"ĠÑģÑĤолиÑĩн":114616,"ĠÑģÑĤÑĢадал":114617,"ĠÑģÑĤÑĥпенÑĮ":114618,"ĠÑģÑĥббоÑĤÑĥ":114619,"ĠÑģÑĥпÑĢÑĥга":114620,"ĠÑģÑĭновÑĮÑı":114621,"ĠÑĤÑĢакÑĤаÑĤ":114622,"ĠÑĤÑĢенеÑĢа":114623,"ĠÑĤÑıжелÑĭе":114624,"ĠÑĤÑıжелÑĭÑħ":114625,"ĠÑĤÑıжеÑģÑĤи":114626,"ĠÑĥбедиÑĤÑĮ":114627,"ĠÑĥвеÑĢенÑĭ":114628,"ĠÑĥдивлен":114629,"ĠÑĥÑģÑĤÑĥпил":114630,"ĠÑĦакÑĤоÑĢÑĭ":114631,"ĠÑĦамилиÑı":114632,"ĠÑħозÑıина":114633,"ĠÑħоÑĢоÑĪей":114634,"ĠÑħÑĢаниÑĤÑĮ":114635,"ĠÑĩаÑģÑĤиÑĨÑĭ":114636,"ĠÑĩаÑģÑĤÑıми":114637,"ĠÑĪиÑĢокий":114638,"ĠÑĪиÑĢокое":114639,"ĠÑĪиÑĢокой":114640,"ĠÑįкÑģÑĤÑĢем":114641,"ÐķкаÑĤеÑĢин":114642,"ализаÑĨиÑı":114643,"ализован":114644,"аÑĤелÑĮнÑĭм":114645,"венгеÑĢÑģк":114646,"влеÑĩение":114647,"гÑĢаниÑĩен":114648,"дÑĢагоÑĨен":114649,"еÑĢинбÑĥÑĢг":114650,"ивÑĪегоÑģÑı":114651,"илизован":114652,"индÑĥÑģÑĤÑĢи":114653,"коÑĢиÑĩнев":114654,"ниÑĩеÑģÑĤво":114655,"подвижнÑĭ":114656,"ÑĢождение":114657,"ÑģмаÑĤÑĢива":114658,"ÑģмоÑĤÑĢеÑĤÑĮ":114659,"ÑĥÑīеÑģÑĤвлÑı":114660,"ĠÐijолгаÑĢии":114661,"ĠÐijÑĢазилии":114662,"ĠÐĴаленÑĤин":114663,"ĠÐĴÑıÑĩеÑģлав":114664,"ĠÐĵеÑĢманиÑİ":114665,"ĠÐļомандиÑĢ":114666,"ĠÐļомпаниÑı":114667,"ĠÐļÑĥзнеÑĨов":114668,"ĠÐĿавеÑĢное":114669,"ĠÐĿапомним":114670,"ĠÐŀÑģновнаÑı":114671,"ĠÐŀÑģновной":114672,"ĠÐŁÑĢимеÑĢно":114673,"ĠСÑĤепанов":114674,"ĠбеÑģпокой":114675,"ĠбеÑģпоÑĢÑıд":114676,"Ġболезнен":114677,"ĠболÑĮниÑĨе":114678,"ĠболÑĮниÑĨÑĭ":114679,"ĠбÑİÑĢокÑĢаÑĤ":114680,"Ġвведение":114681,"ĠвеÑīеÑģÑĤво":114682,"ĠвзглÑıдом":114683,"ĠводиÑĤелÑĮ":114684,"ĠвоздÑĥÑĪно":114685,"Ġвозникло":114686,"ĠвÑĭбиÑĢаÑĤÑĮ":114687,"ĠвÑĭÑģÑĤавка":114688,"ĠвÑĭÑģÑĤавки":114689,"ĠвÑĭÑħодиÑĤÑĮ":114690,"ĠгалакÑĤик":114691,"ĠгаÑĢнизон":114692,"ĠглÑĥбокой":114693,"ĠгÑĢандиоз":114694,"ĠгÑĢÑĥзовик":114695,"ĠдеÑıÑĤелей":114696,"ĠдомаÑĪниÑħ":114697,"ĠженÑīиной":114698,"ĠзамеÑĩаеÑĤ":114699,"ĠзанимаÑİÑĤ":114700,"ĠзаÑħваÑĤил":114701,"ĠзаÑīиÑĤиÑĤÑĮ":114702,"ĠзнакомÑĭÑħ":114703,"ĠизÑĥÑĩениÑİ":114704,"ĠинÑĤеÑĢвал":114705,"ĠинÑĤеÑĢеÑģа":114706,"ĠиÑģклÑİÑĩен":114707,"ĠиÑģполнен":114708,"ĠиÑģполнил":114709,"ĠкалендаÑĢ":114710,"ĠкиÑģлоÑĢод":114711,"ĠкомбинаÑĤ":114712,"ĠкоммÑĥниз":114713,"ĠконÑĤÑĢаÑģÑĤ":114714,"ĠкоÑĢоÑĤкий":114715,"ĠкÑĢепоÑģÑĤн":114716,"ĠкÑĥлÑĮÑĤÑĥÑĢÑĥ":114717,"ĠмÑĥжеÑģÑĤво":114718,"ĠмÑĭÑĪление":114719,"ĠнагÑĢÑĥзки":114720,"ĠназнаÑĩил":114721,"ĠнаÑħодÑıÑģÑĮ":114722,"ĠнаÑĨионал":114723,"ĠнаÑĩинаÑĤÑĮ":114724,"Ġнеожидан":114725,"ĠобознаÑĩа":114726,"ĠознаÑĩало":114727,"ĠоказÑĭвал":114728,"ĠоÑģÑĤавили":114729,"ĠоÑģÑĤаÑijÑĤÑģÑı":114730,"ĠоÑĦоÑĢмлен":114731,"ĠпаÑĢадокÑģ":114732,"ĠпеÑĢеÑģÑĤал":114733,"Ġподавлен":114734,"Ġпоказано":114735,"ĠпомогаÑİÑĤ":114736,"ĠпоÑĤеÑĢÑıли":114737,"ĠпоÑıвиÑĤÑģÑı":114738,"ĠпÑĢеемник":114739,"ĠпÑĢимеÑĢом":114740,"ĠпÑĢиноÑģиÑĤ":114741,"ĠпÑĢинÑĨипа":114742,"ĠпÑĢинÑıÑĤие":114743,"ĠпÑĢиобÑĢел":114744,"ĠпÑĢоводÑıÑĤ":114745,"ĠпÑĢодвига":114746,"ĠпÑĢокÑĥÑĢоÑĢ":114747,"ĠпÑĢоÑģÑĤого":114748,"ĠÑĢазделен":114749,"ĠÑĢаÑģпозна":114750,"ĠÑĢаÑģÑģÑĤÑĢой":114751,"ĠÑĢаÑģÑĤение":114752,"ĠÑĢеалÑĮнÑĭÑħ":114753,"ĠÑĢебенком":114754,"ĠÑĢодиÑĤелÑĮ":114755,"ĠÑģанÑĤимеÑĤ":114756,"ĠÑģдеÑĢжива":114757,"ĠÑģобÑĭÑĤиÑıÑħ":114758,"ĠÑģоглаÑģие":114759,"ĠÑģодейÑģÑĤв":114760,"ĠÑģоÑĨиолог":114761,"ĠÑģпоÑģобна":114762,"ĠÑģÑĤÑĢелÑĮбÑĭ":114763,"ĠÑĤоÑĢговле":114764,"ĠÑĤоÑĢговÑĭÑħ":114765,"ĠÑĤÑĢенеÑĢом":114766,"ĠÑĤÑĢидÑĨаÑĤи":114767,"ĠÑĥказÑĭвал":114768,"ĠÑĥÑģловиÑıм":114769,"ĠÑĥÑģÑĤанови":114770,"ĠÑĦÑĥнкÑĨион":114771,"ĠÑĩÑĥвÑģÑĤвом":114772,"ĠÑįмигÑĢанÑĤ":114773,"ĠÑıвлÑıлаÑģÑĮ":114774,"дÑĢагоÑĨенн":114775,"пÑĢоÑģÑĤÑĢани":114776,"ÑĢоÑģÑģийÑģко":114777,"ÑĤеÑĢÑĢиÑĤоÑĢи":114778,"ÑĥÑģÑĤÑĢойÑģÑĤв":114779,"ĠÐIJндÑĢеевиÑĩ":114780,"ĠÐĵеÑĢманией":114781,"ĠÐŁÐ¾Ñģледние":114782,"ĠШвейÑĨаÑĢии":114783,"ĠаÑĥдиÑĤоÑĢии":114784,"ĠбизнеÑģмен":114785,"ĠбогаÑĤÑģÑĤва":114786,"ĠбогаÑĤÑģÑĤво":114787,"ĠвеÑĢнÑĥлаÑģÑĮ":114788,"ĠвоздÑĥÑĪнÑĭÑħ":114789,"ĠвÑģевозмож":114790,"ĠвÑģÑĤÑĢеÑĤиÑĤÑĮ":114791,"ĠвÑĭглÑıдеÑĤÑĮ":114792,"ĠгенеÑĢаÑĤоÑĢ":114793,"ĠдемонÑģÑĤÑĢи":114794,"ĠдопÑĥÑģÑĤиÑĤÑĮ":114795,"ĠдоÑģÑĤавлен":114796,"ĠдÑĥÑħовного":114797,"ĠзаÑħваÑĤиÑĤÑĮ":114798,"ĠизлÑĥÑĩениÑı":114799,"ĠкаÑĤегоÑĢиÑı":114800,"ĠколебаниÑı":114801,"ĠконÑĨепÑĨиÑı":114802,"ĠкÑĥлÑĮÑĤÑĥÑĢно":114803,"ĠлегендаÑĢн":114804,"ĠмаленÑĮкиÑħ":114805,"ĠнапеÑĩаÑĤан":114806,"Ġнапоминал":114807,"ĠнаÑģÑĤойÑĩив":114808,"ĠнаÑģÑĤÑĥпаеÑĤ":114809,"ĠнаÑĥÑĩиÑĤÑĮÑģÑı":114810,"ĠнеболÑĮÑĪаÑı":114811,"ĠнеболÑĮÑĪим":114812,"ĠненавиÑģÑĤÑĮ":114813,"ĠнепÑĢиÑıÑĤно":114814,"ĠобеÑģпеÑĩен":114815,"ĠобеÑģпеÑĩив":114816,"ĠоказÑĭваеÑĤ":114817,"ĠокÑĢÑĥжениÑı":114818,"ĠопÑĢеделÑıл":114819,"ĠоÑģнование":114820,"ĠоÑģнований":114821,"ĠоÑĤкÑĢÑĭваеÑĤ":114822,"ĠоÑĤпÑĢавиÑĤÑĮ":114823,"ĠпеÑĢеÑģмоÑĤÑĢ":114824,"ĠпиÑģÑĮменно":114825,"ĠплаÑĤÑĦоÑĢмÑĭ":114826,"ĠплоÑģкоÑģÑĤи":114827,"ĠповÑĢежден":114828,"ĠподдеÑĢжка":114829,"Ġполовиной":114830,"ĠпоÑģÑĤавили":114831,"ĠпÑĢедпоÑĩиÑĤ":114832,"ĠпÑĢеоблада":114833,"ĠпÑĢеодолев":114834,"ĠпÑĢизнаниÑı":114835,"ĠпÑĢименÑıÑİÑĤ":114836,"ĠпÑĢипиÑģÑĭва":114837,"ĠпÑĢиÑĢоднÑĭÑħ":114838,"ĠпÑĢоÑĦеÑģÑģии":114839,"ĠпÑĢоÑĨедÑĥÑĢÑĭ":114840,"ĠпÑĥблиÑĨиÑģÑĤ":114841,"ĠÑĢазведÑĩик":114842,"ĠÑĢазвеÑĢнÑĥл":114843,"ĠÑĢазлиÑĩнÑĭм":114844,"ĠÑĢайонного":114845,"ĠÑĢаÑģÑģÑĤÑĢелÑı":114846,"ĠÑĢеалÑĮного":114847,"ĠÑĢежиÑģÑģÑijÑĢа":114848,"ĠÑģекÑĢеÑĤаÑĢÑı":114849,"ĠÑģеÑĢÑĮезнÑĭе":114850,"ĠÑģиÑĤÑĥаÑĨиÑıÑħ":114851,"ĠÑģкÑĥлÑĮпÑĤоÑĢ":114852,"ĠÑģледоваÑĤÑĮ":114853,"ĠÑģобиÑĢалÑģÑı":114854,"ĠÑģодеÑĢжаÑĤÑĮ":114855,"ĠÑģоÑģÑĤавили":114856,"ĠÑģоÑģÑĤавиÑĤÑĮ":114857,"ĠÑģоÑģÑĤавлÑıл":114858,"ĠÑģоÑĩинений":114859,"ĠÑģпекÑĤаклÑı":114860,"ĠÑģпеÑĨÑģлÑĥжб":114861,"ĠÑģпоÑģобами":114862,"ĠÑģпÑĢаÑĪивал":114863,"ĠÑģÑĥбÑĬекÑĤов":114864,"ĠÑĤоваÑĢиÑīей":114865,"ĠÑĥдавалоÑģÑĮ":114866,"ĠÑĥказÑĭваÑİÑĤ":114867,"ĠÑĥлÑĥÑĩÑĪениÑı":114868,"ĠÑħозÑıйÑģÑĤве":114869,"ĠÑĨеÑĢемонии":114870,"ĠÑįкономике":114871,"ĠÑįмигÑĢаÑĨии":114872,"говаÑĢиваÑĤÑĮ":114873,"иÑĢованного":114874,"иÑģÑĤиÑĩеÑģкаÑı":114875,"овеÑĢÑĪенÑģÑĤв":114876,"ĠÐľÐ¾ÑģковÑģкий":114877,"ĠÐŁÐµÑĤеÑĢбÑĥÑĢга":114878,"ĠÐłÐµÑģпÑĥблика":114879,"ĠСобÑģÑĤвенно":114880,"ĠУпÑĢавление":114881,"ĠамеÑĢиканÑĨÑĭ":114882,"ĠаналогиÑĩно":114883,"ĠанглийÑģкой":114884,"ĠвнÑĥÑĤÑĢенним":114885,"ĠвоÑģпиÑĤание":114886,"ĠвоÑģпÑĢиÑıÑĤие":114887,"ĠвÑĭÑĢазиÑĤелÑĮ":114888,"ĠгоÑģподÑģÑĤвÑĥ":114889,"ĠгоÑĤовноÑģÑĤÑĮ":114890,"ĠдвигаÑĤелей":114891,"ĠдейÑģÑĤвовал":114892,"ĠзанимаÑİÑĤÑģÑı":114893,"ĠинÑĤеллиген":114894,"ĠинÑĤенÑģивно":114895,"ĠиÑģполнении":114896,"ĠкаÑĤаÑģÑĤÑĢоÑĦÑĭ":114897,"ĠкомпÑĮÑİÑĤеÑĢа":114898,"ĠмаÑĤемаÑĤики":114899,"ĠмиллиаÑĢдов":114900,"ĠминималÑĮно":114901,"ĠмиÑĤÑĢополиÑĤ":114902,"ĠнедоÑģÑĤаÑĤки":114903,"ĠнедоÑģÑĤаÑĤок":114904,"ĠнекоÑĤоÑĢÑĭми":114905,"ĠнеобÑħодима":114906,"ĠоблаÑģÑĤного":114907,"ĠобнаÑĢÑĥженÑĭ":114908,"ĠобÑĢаÑīаеÑĤÑģÑı":114909,"ĠобÑĢаÑīаÑĤÑĮÑģÑı":114910,"ĠобÑĬекÑĤивно":114911,"ĠопеÑĢаÑĤивно":114912,"ĠоÑģÑĤавалаÑģÑĮ":114913,"ĠоÑĤеÑĩеÑģÑĤвен":114914,"ĠоÑĤказалиÑģÑĮ":114915,"ĠоÑĤноÑģиÑĤÑĮÑģÑı":114916,"ĠподгоÑĤовка":114917,"ĠпоказалоÑģÑĮ":114918,"ĠпоказаÑĤели":114919,"Ġполковника":114920,"ĠполÑĥоÑģÑĤÑĢов":114921,"ĠполÑĥÑĩеннÑĭе":114922,"ĠполÑĮзÑĥÑİÑĤÑģÑı":114923,"ĠпÑĢедложили":114924,"ĠпÑĢедложиÑĤÑĮ":114925,"ĠпÑĢедÑĭдÑĥÑīиÑħ":114926,"ĠпÑĢекÑĢаÑĤиÑĤÑĮ":114927,"ĠпÑĢеподавал":114928,"ĠпÑĢиобÑĢеÑģÑĤи":114929,"ĠпÑĢодолжиÑĤÑĮ":114930,"ĠпÑĢоизводиÑĤ":114931,"ĠпÑĢоÑıвление":114932,"ĠÑĢазÑĢабоÑĤал":114933,"ĠÑĢазÑĢабоÑĤкÑĥ":114934,"ĠÑĢелигиозно":114935,"ĠÑģообÑīалоÑģÑĮ":114936,"ĠÑģоÑħÑĢанение":114937,"ĠÑĤеÑĢÑĢиÑĤоÑĢий":114938,"ĠÑĤÑĢебование":114939,"ĠÑĥпÑĢавлении":114940,"ĠÑĥÑģÑĤановили":114941,"ĠÑĥÑĤвеÑĢждаÑĤÑĮ":114942,"ĠÑħаÑĢакÑĤеÑĢно":114943,"ĠÑĩиновников":114944,"ĠÑįквиваленÑĤ":114945,"ĠÑįÑĦÑĦекÑĤивнÑĭ":114946,"бомбаÑĢдиÑĢов":114947,"ĠÐĹаÑģлÑĥженнÑĭй":114948,"ĠСоединеннÑĭÑħ":114949,"ĠУнивеÑĢÑģиÑĤеÑĤ":114950,"ĠамеÑĢиканÑĨев":114951,"ĠвозвÑĢаÑīении":114952,"ĠединÑģÑĤвенно":114953,"ĠжÑĥÑĢналиÑģÑĤов":114954,"ĠинÑģÑĤÑĢÑĥменÑĤа":114955,"ĠкаÑĩеÑģÑĤвенно":114956,"ĠконÑģÑĤÑĢÑĥкÑĤив":114957,"ĠкоÑģмиÑĩеÑģкиÑħ":114958,"ĠкÑĥлÑĮÑĤÑĥÑĢного":114959,"ĠмаÑĤеÑĢиалÑĮно":114960,"ĠмедиÑĨинÑģкиÑħ":114961,"ĠмоÑģковÑģкого":114962,"ĠмÑĥниÑĨипалÑĮн":114963,"ĠнÑĢавÑģÑĤвенно":114964,"ĠоÑģÑĤановилÑģÑı":114965,"ĠоÑĦиÑĨиалÑĮном":114966,"ĠоÑĦиÑĨиалÑĮнÑĭй":114967,"ĠпланиÑĢÑĥеÑĤÑģÑı":114968,"ĠповÑĢеждениÑı":114969,"ĠпопÑĢобоваÑĤÑĮ":114970,"ĠпÑĢедполагал":114971,"ĠпÑĢедпÑĢинима":114972,"ĠпÑĢименÑıÑİÑĤÑģÑı":114973,"ĠпÑĢиобÑĢеÑĤаеÑĤ":114974,"ĠпÑĢогÑĢаммиÑģÑĤ":114975,"ĠÑĢаÑģпÑĢеделен":114976,"ĠÑĢаÑģÑģмоÑĤÑĢеÑĤÑĮ":114977,"ĠÑĢеализоваÑĤÑĮ":114978,"ĠÑĢÑĥководÑģÑĤвÑĥ":114979,"ĠÑģегоднÑıÑĪний":114980,"ĠÑģовÑĢеменник":114981,"ĠÑģообÑĢажениÑı":114982,"ĠÑģоÑħÑĢанилиÑģÑĮ":114983,"ĠÑģÑĤоÑĢонников":114984,"ĠÑĤемпеÑĢаÑĤÑĥÑĢе":114985,"ĠÑĤÑĢеÑĥголÑĮник":114986,"ĠÑĥвеÑĢенноÑģÑĤÑĮ":114987,"ĠÑĥполномоÑĩен":114988,"ĠÑĥпÑĢавлением":114989,"пÑĢоÑĦеÑģÑģионал":114990,"ĠÐķкаÑĤеÑĢинбÑĥÑĢг":114991,"ĠÐĿаÑĨионалÑĮной":114992,"ĠЦенÑĤÑĢалÑĮного":114993,"ĠвоенаÑĩалÑĮник":114994,"ĠгенеÑĢалÑĮного":114995,"ĠгÑĢажданÑģкого":114996,"ĠдепаÑĢÑĤаменÑĤа":114997,"ĠединÑģÑĤвенной":114998,"ĠеÑģÑĤеÑģÑĤвеннÑĭм":114999,"ĠзаконопÑĢоекÑĤ":115000,"ĠзапланиÑĢован":115001,"ĠзнаÑĩиÑĤелÑĮнÑĭе":115002,"ĠизгоÑĤовлениÑı":115003,"ĠиÑģÑĤоÑĢиÑĩеÑģкий":115004,"Ġнаименование":115005,"ĠобÑģлÑĥживаниÑı":115006,"ĠопÑĢеделеннÑĭй":115007,"ĠоÑĢганизаÑĨией":115008,"ĠпознакомилÑģÑı":115009,"ĠпÑĢедоÑģÑĤавиÑĤÑĮ":115010,"ĠпÑĢедполагаем":115011,"ĠпÑĢедÑģÑĤавлена":115012,"ĠпÑĢедÑģÑĤавлÑıли":115013,"ĠпÑĢедÑģÑĤавлÑıÑĤÑĮ":115014,"ĠÑĢаÑģпоÑĢÑıжении":115015,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢанÑı":115016,"ĠÑĢекомендаÑĨии":115017,"ĠÑģовокÑĥпноÑģÑĤÑĮ":115018,"ĠÑĥÑģÑĤановлениÑı":115019,"ĠÑĦедеÑĢалÑĮного":115020,"ĠÑįкÑģпеÑĢименÑĤа":115021,"ĠÐĿаÑĨионалÑĮного":115022,"ĠÐŁÑĢавиÑĤелÑĮÑģÑĤво":115023,"ĠзаканÑĩиваеÑĤÑģÑı":115024,"ĠобÑıзаÑĤелÑĮÑģÑĤва":115025,"ĠподÑĢазделений":115026,"ĠпÑĢедÑģÑĤавлений":115027,"ĠÑĢазÑĢабоÑĤÑĩиков":115028,"ĠÑĢаÑģполагаеÑĤÑģÑı":115029,"ĠÑĢаÑģÑģледование":115030,"ĠÑĢаÑģÑģледованиÑı":115031,"ĠÑĢекомендÑĥеÑĤÑģÑı":115032,"ĠÑĢодÑģÑĤвенников":115033,"ĠÑģвидеÑĤелÑĮÑģÑĤво":115034,"ĠÑģпеÑĨиалÑĮноÑģÑĤи":115035,"ĠÑģÑĥÑīеÑģÑĤвовании":115036,"ĠÑĥвелиÑĩиваеÑĤÑģÑı":115037,"ĠÑĥдоволÑĮÑģÑĤвием":115038,"ĠблагоÑĤвоÑĢиÑĤелÑĮ":115039,"ĠвоÑģÑģÑĤановление":115040,"ĠконÑĤÑĢолиÑĢоваÑĤÑĮ":115041,"ĠÑģамоÑĥпÑĢавлениÑı":115042,"ĠÑģооÑĤвеÑĤÑģÑĤвовал":115043,"ĠÑģоÑĤÑĢÑĥдниÑĩеÑģÑĤво":115044,"ĠглавнокомандÑĥÑİÑī":115045,"ĠпÑĢавооÑħÑĢаниÑĤелÑĮ":115046,"ĠÑģвидеÑĤелÑĮÑģÑĤвÑĥÑİÑĤ":115047,"ĠÑħаÑĢакÑĤеÑĢизÑĥеÑĤÑģÑı":115048,"ĠÑħÑĥдожеÑģÑĤвенного":115049,"ÐĵоÑģÑĥдаÑĢÑģÑĤвенного":115050,"ÑģледоваÑĤелÑĮноÑģÑĤÑĮ":115051,"Ìģв":115052,"ÐijУ":115053,"ÐijÑĥ":115054,"ÐĴÐĺ":115055,"ÐĸÐĶ":115056,"ÐļÐij":115057,"ÐļТ":115058,"ÐĽÐ¾":115059,"ÐľÐļ":115060,"ÐŁÐĽ":115061,"ÐłÐĵ":115062,"СЯ":115063,"Ð¢ÐŁ":115064,"Ð¥ÐĽ":115065,"ЦÐĺ":115066,"Че":115067,"гÑĩ":115068,"нз":115069,"пÑĮ":115070,"ÑĢÑį":115071,"ÑĤв":115072,"ÑĤÑĤ":115073,"ÑĦл":115074,"Ñĩн":115075,"ÑĬÑı":115076,"Ñijй":115077,"dol":115078,"ĠÐIJп":115079,"ĠÐĴа":115080,"ĠÐĴн":115081,"ĠÐĵÐļ":115082,"ĠСÐļ":115083,"ĠТÐĴ":115084,"ĠФÑij":115085,"ĠШо":115086,"ĠÐŃÑģ":115087,"ĠЯк":115088,"ĠÑģе":115089,"ĠÑĪв":115090,"ÐĴоÑĤ":115091,"Ðĵам":115092,"ÐľÐ¾ÑĢ":115093,"ÐĿÐŀÐĴ":115094,"ÐŁÐ¾Ñģ":115095,"ТеÑħ":115096,"Фил":115097,"аги":115098,"аде":115099,"адж":115100,"ази":115101,"алÑı":115102,"аÑĥÑĤ":115103,"бад":115104,"биб":115105,"ваг":115106,"вик":115107,"воÑİ":115108,"вÑĭÑģ":115109,"гиÑĢ":115110,"гиÑĤ":115111,"гÑĥÑĤ":115112,"диÑı":115113,"дÑĨа":115114,"дÑĭÑĪ":115115,"еба":115116,"епо":115117,"жек":115118,"жÑijн":115119,"зжа":115120,"зло":115121,"зÑĭк":115122,"имн":115123,"йдÑĥ":115124,"кен":115125,"лÑĥÑĪ":115126,"лÑĮÑĦ":115127,"меж":115128,"мÑĥÑģ":115129,"нга":115130,"нез":115131,"нек":115132,"нив":115133,"нкÑĥ":115134,"ноÑĤ":115135,"нÑĨа":115136,"нÑijÑĢ":115137,"оке":115138,"олÑĩ":115139,"оÑĢк":115140,"оÑģн":115141,"оÑĤÑĤ":115142,"паÑĪ":115143,"пек":115144,"пим":115145,"Ñģле":115146,"ÑģоÑģ":115147,"Ñģпа":115148,"ÑĤÑĭÑħ":115149,"ÑĥкÑĤ":115150,"ÑĥÑħо":115151,"ÑĦаг":115152,"ÑĦиÑģ":115153,"Ñħон":115154,"ÑĩÑĥÑĢ":115155,"ÑĩÑijÑĢ":115156,"ÑĪаÑĢ":115157,"ÑĪов":115158,"Ñīеп":115159,"ÑĮно":115160,"ÑįнÑĮ":115161,"ÑİÑĢк":115162,"ÑıÑīе":115163,"ÑijÑĢд":115164,"poli":115165,"ttle":115166,"ĠÐIJбÑĥ":115167,"ĠÐijоÑģ":115168,"ĠÐijÑĥк":115169,"ĠÐijÑĥÑĤ":115170,"ĠÐĴеÑĩ":115171,"ĠÐĴиÑĢ":115172,"ĠÐĵлÑĥ":115173,"ĠÐĵÑĥд":115174,"ĠÐĶай":115175,"ĠÐĶÑĢа":115176,"ĠÐĶÑĥн":115177,"ĠÐĸÑĥÑĢ":115178,"ĠÐļок":115179,"ĠÐļÑĥн":115180,"ĠÐĽÐ°Ð²":115181,"ĠÐĽÐµÑĢ":115182,"ĠÐĽÐ¸Ð´":115183,"ĠÐĽÐ¸Ñģ":115184,"ĠÐĽÐ¾Ð³":115185,"ĠÐĽÐ¾Ð¼":115186,"ĠÐĽÑĥн":115187,"ĠÐľÐ°Ñģ":115188,"ĠÐĿаг":115189,"ĠÐĿей":115190,"ĠÐŀбе":115191,"ĠÐŀбо":115192,"ĠÐŁÐłÐĺ":115193,"ĠÐŁÐµÑĩ":115194,"ĠÐŁÐ¸Ð»":115195,"ĠÐłÐµÐ½":115196,"ĠÐłÐ¾Ðº":115197,"ĠÐłÐ¾ÑĤ":115198,"ĠСаÑĪ":115199,"ĠСел":115200,"ĠСиг":115201,"ĠФак":115202,"ĠХей":115203,"ĠЦез":115204,"ĠЧÑijÑĢ":115205,"Ġано":115206,"ĠвиÑĤ":115207,"ĠвоÑĢ":115208,"ĠгÑĢи":115209,"ĠгÑĥм":115210,"ĠгÑĥÑģ":115211,"Ġдез":115212,"ĠзÑĢÑı":115213,"Ġкле":115214,"Ġлеп":115215,"Ġлжи":115216,"Ġобн":115217,"ĠпÑĭÑĪ":115218,"ĠÑģпи":115219,"ĠÑģÑĥк":115220,"ĠÑģÑİж":115221,"ĠÑĤез":115222,"ĠÑĤÑĭл":115223,"Ðķдин":115224,"ÐŀÑģка":115225,"СиÑĤи":115226,"СпеÑĨ":115227,"авиÑĪ":115228,"адим":115229,"алÑĥй":115230,"аним":115231,"анÑģа":115232,"аÑĢин":115233,"баÑģÑģ":115234,"ближ":115235,"бодÑĢ":115236,"боле":115237,"бÑĢал":115238,"бÑĮеÑĤ":115239,"ваÑĢÑĨ":115240,"веÑĢб":115241,"вÑĢед":115242,"гÑĢеб":115243,"гÑĢев":115244,"даÑģÑĤ":115245,"деÑĤÑĮ":115246,"джин":115247,"диаг":115248,"доÑģÑĤ":115249,"евоÑģ":115250,"едов":115251,"едон":115252,"ежно":115253,"елеÑĤ":115254,"енка":115255,"енÑĮÑĪ":115256,"еÑĩеÑĢ":115257,"жана":115258,"жнÑĭе":115259,"звал":115260,"зÑĢев":115261,"изем":115262,"икал":115263,"илев":115264,"иÑĢно":115265,"иÑĩнÑĭ":115266,"йдÑijÑĤ":115267,"йÑĨев":115268,"кала":115269,"каÑĤа":115270,"кино":115271,"клÑĥб":115272,"коле":115273,"кома":115274,"кÑĢиÑĤ":115275,"кÑĢой":115276,"лема":115277,"ленÑĤ":115278,"лиÑĤа":115279,"лÑİдо":115280,"маÑĢа":115281,"мени":115282,"монг":115283,"монд":115284,"мÑĥнд":115285,"ндеÑĢ":115286,"нейÑĪ":115287,"ново":115288,"нÑĢав":115289,"нÑĤов":115290,"нÑĨев":115291,"овÑĨÑĭ":115292,"огов":115293,"ожан":115294,"озеÑĦ":115295,"оков":115296,"олок":115297,"оÑĤеÑĢ":115298,"пани":115299,"паÑĢÑħ":115300,"паÑĤи":115301,"поко":115302,"поле":115303,"поÑĩÑĤ":115304,"ÑĢека":115305,"ÑĢиÑĨÑĭ":115306,"ÑģвÑıз":115307,"Ñģлал":115308,"ÑģмеÑı":115309,"ÑģолÑĮ":115310,"ÑģÑĢед":115311,"ÑģÑģон":115312,"ÑģÑĤÑĢе":115313,"ÑģÑĦеÑĢ":115314,"ÑĤами":115315,"ÑĤоÑĢи":115316,"ÑĤÑĢаÑĤ":115317,"Ñĥжин":115318,"ÑĥÑĩал":115319,"ÑĥÑĪке":115320,"ÑĦакÑģ":115321,"ÑĦÑĢаз":115322,"ÑĨина":115323,"Ñĩаев":115324,"Ñĩкой":115325,"ÑĪелÑĮ":115326,"ÑĪинÑĭ":115327,"ÑĪние":115328,"ĠÐIJлла":115329,"ĠÐIJлÑĮб":115330,"ĠÐijакÑĥ":115331,"ĠÐijого":115332,"ĠÐijÑĥлг":115333,"ĠÐĴеÑĢа":115334,"ĠÐĴолÑĮ":115335,"ĠÐĵалл":115336,"ĠÐĵоÑĢб":115337,"ĠÐĵÑĢоз":115338,"ĠÐĶеÑĤи":115339,"ĠÐĶжей":115340,"ĠÐĶобÑĢ":115341,"ĠÐĶÑĥма":115342,"ĠÐĺдеÑı":115343,"ĠÐļаза":115344,"ĠÐļанÑĤ":115345,"ĠÐļÑĢон":115346,"ĠÐĽÐ¸Ð³Ð¸":115347,"ĠÐľÐµÐºÑģ":115348,"ĠÐľÐ¾Ð¸Ñģ":115349,"ĠÐĿаÑĪа":115350,"ĠÐĿико":115351,"ĠÐĿоÑĢв":115352,"ĠÐŀпÑĭÑĤ":115353,"ĠÐŀÑĤÑĤо":115354,"ĠÐŁÐ¾ÑĢо":115355,"ĠÐŁÑĢак":115356,"ĠÐłÑĥмÑĭ":115357,"ĠÐłÑĥÑģÑĮ":115358,"ĠСвое":115359,"ĠСоÑĩи":115360,"ĠУÑĩиÑĤ":115361,"ĠФÑĢÑįн":115362,"ĠЧаÑīе":115363,"ĠÐŃÑĢик":115364,"ĠЯзÑĭк":115365,"ĠаÑĥди":115366,"ĠаÑįÑĢо":115367,"Ġбело":115368,"ĠблÑİд":115369,"ĠбÑĢал":115370,"ĠбÑĢед":115371,"Ġвела":115372,"ĠвзÑıв":115373,"ĠвидÑı":115374,"ĠвнÑĥÑĪ":115375,"Ġвовл":115376,"ĠвозÑĮ":115377,"ĠволÑı":115378,"Ġвпад":115379,"ĠвÑĢаÑī":115380,"Ġгипо":115381,"ĠгоÑģп":115382,"ĠдаÑĤÑĭ":115383,"ĠдÑĢоб":115384,"ĠждÑĥÑĤ":115385,"ĠзаÑħв":115386,"ĠзонÑĥ":115387,"ĠиÑģка":115388,"ĠкадÑĢ":115389,"ĠкиÑģÑĤ":115390,"ĠконÑı":115391,"ĠлеÑģо":115392,"ĠложÑĮ":115393,"Ġлома":115394,"ĠмеÑĤе":115395,"ĠмокÑĢ":115396,"ĠмонÑĤ":115397,"ĠмоÑĤо":115398,"ĠмоÑĩе":115399,"ĠмоÑīÑĮ":115400,"ĠмÑĢам":115401,"ĠмÑĥлÑĮ":115402,"ĠнеÑıÑģ":115403,"Ġобиж":115404,"Ġобог":115405,"ĠобÑĥв":115406,"ĠопÑĥÑħ":115407,"ĠоÑĤоб":115408,"Ġпиво":115409,"ĠпиÑĪÑĥ":115410,"ĠплÑıж":115411,"ĠпÑĥÑĤа":115412,"ĠÑĢейд":115413,"ĠÑĢÑĭбÑĥ":115414,"ĠÑģадÑĥ":115415,"ĠÑģеÑĢо":115416,"ĠÑģеÑģÑģ":115417,"ĠÑģкон":115418,"ĠÑģлад":115419,"ĠÑģмол":115420,"ĠÑģоÑĥÑģ":115421,"ĠÑģпеÑĪ":115422,"ĠÑģÑĥмм":115423,"ĠÑģÑħож":115424,"ĠÑĤвоÑı":115425,"ĠÑĤенÑĮ":115426,"ĠÑĤипÑĥ":115427,"ĠÑĤÑĢой":115428,"ĠÑĤÑĥÑĢе":115429,"ĠÑĤÑİÑĢк":115430,"ĠÑĥглÑı":115431,"ĠÑĥзел":115432,"ĠÑĥзла":115433,"ĠÑĥÑģпе":115434,"ĠÑĥÑģÑĤа":115435,"ĠÑĥÑĪла":115436,"ĠÑĦалÑĮ":115437,"ĠÑħвал":115438,"ĠÑħÑĢом":115439,"ĠÑĨаÑĢе":115440,"ĠÑĩине":115441,"ĠÑĪага":115442,"ĠÑĪаги":115443,"ĠÑĪиÑĦÑĢ":115444,"ĠÑĪкал":115445,"ĠÑįкзо":115446,"ĠÑįпид":115447,"ĠÑįпоÑħ":115448,"ĠÑįÑĤаж":115449,"ĠÑįÑĤни":115450,"ĠÑįÑĪел":115451,"ÐŀÑģкаÑĢ":115452,"ÐŁÐ¾Ñģле":115453,"авÑĤоÑĢ":115454,"авÑĪий":115455,"аемÑĭÑħ":115456,"аковÑĭ":115457,"акÑģим":115458,"андии":115459,"аниÑģÑĤ":115460,"аÑĤивн":115461,"безÑĥм":115462,"беÑĢал":115463,"билей":115464,"бÑĭвал":115465,"ваниÑı":115466,"ведем":115467,"гнали":115468,"гÑĢÑĥжа":115469,"гÑĥман":115470,"дадÑĥÑĤ":115471,"дайÑĤе":115472,"двойн":115473,"дÑĥмал":115474,"евиÑĩа":115475,"егÑĢад":115476,"елоÑģÑĮ":115477,"ендеÑĢ":115478,"енÑĨиÑı":115479,"еÑģÑĤоÑĩ":115480,"еÑĤÑĮиÑħ":115481,"еÑħваÑĤ":115482,"еÑĪаÑĤÑĮ":115483,"зваÑĤÑĮ":115484,"здÑĢав":115485,"ивнÑĭй":115486,"игÑĥÑĢа":115487,"иллеÑĢ":115488,"иÑĢовк":115489,"иÑģпан":115490,"иÑģÑĤаÑı":115491,"иÑģÑĤин":115492,"камеÑĢ":115493,"кинÑĥл":115494,"ковÑĭй":115495,"кÑĥлÑıÑĢ":115496,"леваÑı":115497,"левÑĭе":115498,"лейÑģк":115499,"логии":115500,"логом":115501,"лÑıдно":115502,"лÑıÑĨиÑı":115503,"манов":115504,"милли":115505,"моÑĢож":115506,"нÑģкое":115507,"онной":115508,"оннÑĭе":115509,"оÑģкоп":115510,"падеÑĤ":115511,"пеÑĩен":115512,"поÑģле":115513,"ÑĢазиÑĤ":115514,"ÑĢаÑģно":115515,"ÑĢоÑģли":115516,"ÑĢоÑħоÑĤ":115517,"ÑĢÑıжен":115518,"Ñģенал":115519,"ÑģÑĤÑĥди":115520,"ÑĤаÑĨиÑı":115521,"ÑĤеÑĢпе":115522,"ÑĤолÑģÑĤ":115523,"ÑĤÑĢанÑģ":115524,"ÑĤÑĢога":115525,"ÑĤÑĭÑģÑıÑĩ":115526,"Ñĥвели":115527,"Ñħанов":115528,"ÑħоÑĢад":115529,"ÑĩаÑĢов":115530,"ÑĩаÑĤÑĭй":115531,"Ñĩиком":115532,"ÑĩиÑĤÑģÑı":115533,"Ñĩного":115534,"ÑĪенко":115535,"ÑĪийÑģÑı":115536,"ÑīеÑģÑĤв":115537,"ÑīиеÑģÑı":115538,"Ñıнник":115539,"ĠÐijибли":115540,"ĠÐijÑĢаÑĥн":115541,"ĠÐĴолод":115542,"ĠÐĴÑģлед":115543,"ĠÐĶеÑĢев":115544,"ĠÐĶобÑĢо":115545,"ĠÐĸелез":115546,"ĠÐĹолоÑĤ":115547,"ĠÐļазан":115548,"ĠÐļиева":115549,"ĠÐļÑĢÑĭмÑĥ":115550,"ĠÐļÑĥбок":115551,"ĠÐľÐµÑģÑĤо":115552,"ĠÐľÐ¸Ð½Ñģк":115553,"ĠÐľÐ¾Ð½ÑĤе":115554,"ĠÐŀбÑĢаÑĤ":115555,"ĠÐŀпÑıÑĤÑĮ":115556,"ĠÐŁÐ°Ð¼ÑıÑĤ":115557,"ĠÐŁÐ¾Ð»ÑĮÑĪ":115558,"ĠÐŁÑĢаво":115559,"ĠÐŁÑĢоиз":115560,"ĠСибиÑĢ":115561,"ĠСкоÑĢо":115562,"ĠСкоÑĤÑĤ":115563,"ĠСобоÑĢ":115564,"ĠСÑĤали":115565,"ĠСÑĥвоÑĢ":115566,"ĠУлиÑĨа":115567,"ĠФÑijдоÑĢ":115568,"ĠЧеÑħов":115569,"Ġавиак":115570,"ĠакÑĤов":115571,"ĠанÑĤен":115572,"ĠанÑĤиÑģ":115573,"ĠаÑĤлеÑĤ":115574,"ĠбаÑĪнÑı":115575,"ĠваÑĪем":115576,"Ġвдвое":115577,"ĠвеÑĤви":115578,"ĠвзÑıла":115579,"Ġволей":115580,"ĠволнÑĥ":115581,"Ġволок":115582,"ĠвоÑĢов":115583,"ĠвÑĢеда":115584,"ĠвÑģпÑĭÑħ":115585,"ĠвÑĭвел":115586,"ĠвÑĭдал":115587,"ĠвÑĭпад":115588,"ĠвÑĭÑĤеÑģ":115589,"ĠглавÑĥ":115590,"ĠдиÑĢиж":115591,"ĠдиÑģка":115592,"Ġдомик":115593,"ĠдÑĥÑħом":115594,"ĠепаÑĢÑħ":115595,"ĠжанÑĢа":115596,"Ġждали":115597,"ĠжениÑħ":115598,"ĠзабоÑĢ":115599,"ĠзамеÑĢ":115600,"ĠзаÑĢÑıж":115601,"ĠзеÑĢно":115602,"ĠигноÑĢ":115603,"ĠказаÑħ":115604,"ĠкиÑĪеÑĩ":115605,"ĠкоÑģÑĤÑĢ":115606,"ĠкÑĢаев":115607,"ĠкÑĥпол":115608,"ĠкÑĥÑĢÑģе":115609,"ĠлагеÑĢ":115610,"ĠлиÑĨам":115611,"ĠлиÑĪил":115612,"Ġлодок":115613,"Ġмалой":115614,"ĠмÑĥлÑĮÑĤ":115615,"ĠмÑĥÑģоÑĢ":115616,"ĠнадеÑı":115617,"Ġнамек":115618,"ĠнаÑĪла":115619,"Ġнезам":115620,"ĠнеÑĦÑĤе":115621,"ĠноÑģÑıÑĤ":115622,"Ġобеда":115623,"ĠобобÑī":115624,"ĠобÑĢÑĭв":115625,"ĠобÑĭÑģк":115626,"Ġогнев":115627,"ĠоÑģени":115628,"ĠоÑĤваÑĢ":115629,"ĠоÑĤÑģÑĤа":115630,"ĠоÑĤÑĩÑijÑĤ":115631,"ĠпаÑĢке":115632,"ĠплеÑĩи":115633,"Ġпогон":115634,"Ġполки":115635,"ĠпоÑĢок":115636,"ĠпоÑĢоÑħ":115637,"ĠпоÑĢÑĤа":115638,"ĠпоÑģÑĤÑĭ":115639,"ĠпоÑĩве":115640,"ĠпоÑĩвÑĭ":115641,"ĠпоÑĪло":115642,"ĠпоÑıви":115643,"ĠпÑĢаве":115644,"ĠпÑĤиÑĨа":115645,"ĠÑĢаÑģпа":115646,"ĠÑĢÑĥблÑı":115647,"ĠÑĢÑĥмÑĭн":115648,"ĠÑĢÑıдов":115649,"ĠÑģалаÑĤ":115650,"ĠÑģамоÑĥ":115651,"ĠÑģеанÑģ":115652,"ĠÑģеÑĢÑĤи":115653,"ĠÑģеÑĤей":115654,"ĠÑģквеÑĢ":115655,"ĠÑģкоÑĤа":115656,"ĠÑģлавÑĥ":115657,"ĠÑģмаÑĢÑĤ":115658,"ĠÑģмело":115659,"ĠÑģмеÑģи":115660,"ĠÑģнизÑĥ":115661,"ĠÑģпаÑģа":115662,"ĠÑģпине":115663,"ĠÑģпинÑĥ":115664,"ĠÑģпоÑĢÑĭ":115665,"ĠÑģÑĢеда":115666,"ĠÑģÑĤÑĢÑĥн":115667,"ĠÑģÑĥдей":115668,"ĠÑģÑĥдÑĮи":115669,"ĠÑģÑĨена":115670,"ĠÑģÑĩеÑĤÑĥ":115671,"ĠÑĤамож":115672,"ĠÑĤвоей":115673,"ĠÑĤвÑijÑĢд":115674,"ĠÑĤезиÑģ":115675,"ĠÑĤепла":115676,"ĠÑĤеÑĢмо":115677,"ĠÑĤиÑĢаж":115678,"ĠÑĤиÑĢан":115679,"ĠÑĤканÑĮ":115680,"ĠÑĤолка":115681,"ĠÑĤолпа":115682,"ĠÑĤолпÑĭ":115683,"ĠÑĤопоÑĢ":115684,"ĠÑĤÑĢавÑĭ":115685,"ĠÑĤÑĢаÑģÑģ":115686,"ĠÑĤÑĢÑĥбÑĭ":115687,"ĠÑĥглÑĥб":115688,"ĠÑĥдоÑģÑĤ":115689,"ĠÑĥмолÑĩ":115690,"ĠÑĥÑģеÑĢд":115691,"ĠÑĥÑģÑĤаÑĢ":115692,"ĠÑĥÑģÑĤÑĮÑı":115693,"ĠÑĦайлÑĭ":115694,"ĠÑĦакÑĤÑĥ":115695,"ĠÑĦÑĢазÑĭ":115696,"ĠÑĨелÑĭе":115697,"ĠÑĨелÑĭÑħ":115698,"ĠÑĨеной":115699,"ĠÑĩеÑĪÑģк":115700,"ĠÑĩиÑģли":115701,"ĠÑĩÑĥжой":115702,"ĠÑĪагов":115703,"ĠÑĪÑĤаÑĤе":115704,"академ":115705,"аÑĤоÑĢии":115706,"бегаÑĤÑĮ":115707,"бежаÑĤÑĮ":115708,"веÑĪива":115709,"вооÑĢÑĥж":115710,"вÑıзаÑĤÑĮ":115711,"глÑıнÑĥл":115712,"дÑĥмÑĭва":115713,"емоÑģÑĤÑĮ":115714,"енданÑĤ":115715,"енÑĮкий":115716,"западе":115717,"здоÑĢов":115718,"ивалÑģÑı":115719,"ийÑģким":115720,"иÑĢовкÑĥ":115721,"иÑĤивно":115722,"иÑĩного":115723,"клÑİÑĩен":115724,"кновен":115725,"колеба":115726,"кÑĢовен":115727,"леннаÑı":115728,"леÑĤеÑĤÑĮ":115729,"ливаÑĤÑĮ":115730,"ливаÑİÑĤ":115731,"моÑĤÑĢим":115732,"наÑĨиÑģÑĤ":115733,"нейÑĪий":115734,"нимаеÑĤ":115735,"ноÑģÑĤно":115736,"нÑĥÑĤÑĢен":115737,"облаÑģÑĤ":115738,"овÑģкие":115739,"оналÑĮд":115740,"оÑĢонне":115741,"оÑĩками":115742,"пиÑĪиÑĤе":115743,"поллон":115744,"пÑĢевоÑģ":115745,"пÑĥÑģÑĤив":115746,"ÑģеÑĢваÑĤ":115747,"ÑģлÑĥжба":115748,"ÑģлÑĥжеб":115749,"ÑģпеÑĪно":115750,"ÑģÑĤавил":115751,"ÑģÑĤоÑıÑĤÑĮ":115752,"ÑģÑĤÑĢали":115753,"ÑģÑĤÑĢоил":115754,"ÑģÑĭпаÑĤÑĮ":115755,"ÑĤеÑĢпим":115756,"ÑĤеÑĢÑĢоÑĢ":115757,"ÑĤолÑĮко":115758,"ÑĤоÑĩнÑĭе":115759,"ÑĨенÑĤÑĢи":115760,"ÑĩеÑģкÑĥÑİ":115761,"ÑĩеÑģÑĤве":115762,"ÑĩеÑģÑĤеÑĢ":115763,"ÑĩноÑģÑĤÑĮ":115764,"ÑĪедÑĪие":115765,"ÑĪедÑĪиÑħ":115766,"ÑĪинÑģÑĤв":115767,"ÑıÑīийÑģÑı":115768,"Ñijнного":115769,"ĠÐIJнглиÑİ":115770,"ĠÐijелого":115771,"ĠÐijоÑĢиÑģа":115772,"ĠÐĴаÑĢÑĪав":115773,"ĠÐĴеÑĢÑħне":115774,"ĠÐĵÑĢÑĥппа":115775,"ĠÐĽÐ°ÑĤвии":115776,"ĠÐľÐ°ÑĢгаÑĢ":115777,"ĠÐľÐ°ÑĤеÑĢи":115778,"ĠÐľÐ¾Ð»Ð´Ð°Ð²":115779,"ĠÐŀÑģенÑĮÑİ":115780,"ĠÐŁÑĥÑĤина":115781,"ĠÐłÐµÐ²Ð¾Ð»Ñİ":115782,"ĠЧаÑĢлÑĮз":115783,"ĠаваÑĢии":115784,"ĠадÑĢеÑģÑĥ":115785,"ĠбаÑģкеÑĤ":115786,"Ġбелков":115787,"Ġбензин":115788,"ĠболÑĮно":115789,"ĠбÑĢоÑĪен":115790,"ĠбÑĭвало":115791,"ĠбÑĭвÑĪей":115792,"Ġвидела":115793,"Ġвойной":115794,"ĠвоÑģпал":115795,"ĠвÑģÑıкие":115796,"ĠвÑĭвода":115797,"ĠвÑĭйдеÑĤ":115798,"ĠвÑĭÑħоде":115799,"ĠвÑĭÑıÑģнÑı":115800,"ĠгеомеÑĤ":115801,"ĠдаÑĤÑĩик":115802,"ĠдвоÑĢÑĨе":115803,"ĠдеÑĦекÑĤ":115804,"ĠдиÑĦÑĦеÑĢ":115805,"ĠдобÑĭва":115806,"ĠдоÑħодÑĭ":115807,"ĠдÑĢакон":115808,"ĠдÑĢевне":115809,"ĠдÑĥмали":115810,"ĠдÑĥмаÑİÑĤ":115811,"ĠдÑĮÑıвол":115812,"Ġжелаем":115813,"ĠзапаÑģÑĭ":115814,"ĠзаÑīиÑĤа":115815,"ĠзаÑīиÑīа":115816,"Ġизгнан":115817,"ĠизменÑı":115818,"ĠкаждÑĭе":115819,"ĠклавиÑĪ":115820,"ĠклÑĥбом":115821,"ĠкнопкÑĥ":115822,"ĠкнÑıзей":115823,"ĠконÑĤоÑĢ":115824,"ĠкоÑģÑĤей":115825,"ĠкÑĢиÑĩал":115826,"ĠкÑĢÑĭлÑĮÑı":115827,"ĠкÑĥÑĢоÑĢÑĤ":115828,"ĠлÑĥÑĩÑĪее":115829,"ĠлÑijÑĤÑĩик":115830,"ĠмалейÑĪ":115831,"ĠмаÑģÑģой":115832,"ĠмеÑģÑıÑĨÑĭ":115833,"ĠмеÑĩÑĤал":115834,"ĠмонÑĤаж":115835,"ĠмÑĢамоÑĢ":115836,"ĠмÑĥзÑĭке":115837,"ĠмÑĥлÑĮÑĤи":115838,"ĠнавеÑĢÑħ":115839,"ĠнавÑĭки":115840,"Ġналога":115841,"ĠнаÑĢÑĥжÑĥ":115842,"ĠнаÑģÑĤав":115843,"Ġнеделе":115844,"Ġнизкой":115845,"ĠникÑĥда":115846,"ĠобÑĢаÑīа":115847,"ĠобÑĢÑĥÑĪи":115848,"Ġодежда":115849,"ĠоÑĢÑĥдие":115850,"ĠоÑģвеÑīа":115851,"ĠоÑģозна":115852,"ĠоÑģÑĥжда":115853,"ĠоÑħÑĢане":115854,"ĠпалÑĮÑĨÑĭ":115855,"ĠпаÑĤенÑĤ":115856,"ĠпеÑĩени":115857,"ĠпиÑģала":115858,"ĠплоÑģко":115859,"ĠподаÑĤÑĮ":115860,"Ġподвал":115861,"ĠподвеÑģ":115862,"Ġподзем":115863,"ĠпожаÑĢа":115864,"ĠполоÑģа":115865,"ĠпопÑĢоÑģ":115866,"ĠпоÑĤеÑĢÑĮ":115867,"ĠпоÑĩÑĤов":115868,"ĠпоÑįÑĤов":115869,"ĠпÑĢиемÑĭ":115870,"ĠпÑĢиÑĪÑijл":115871,"ĠпÑĢодел":115872,"ĠпÑĢоÑĢок":115873,"ĠпÑĢоÑĢÑĭв":115874,"ĠпÑĢоÑĩно":115875,"ĠпÑĢÑĥжин":115876,"ĠÑĢадиÑĥÑģ":115877,"ĠÑĢегÑĥлÑı":115878,"ĠÑĢеплик":115879,"ĠÑĢоÑģÑĤом":115880,"ĠÑģимпаÑĤ":115881,"ĠÑģказки":115882,"ĠÑģкелеÑĤ":115883,"ĠÑģкÑĢипÑĤ":115884,"ĠÑģлÑĥжеб":115885,"ĠÑģновид":115886,"ĠÑģобакÑĥ":115887,"ĠÑģовеÑĤÑĥ":115888,"ĠÑģовеÑĤÑĭ":115889,"ĠÑģоÑĢока":115890,"ĠÑģÑĤавÑıÑĤ":115891,"ĠÑģÑĤаÑĢÑĭм":115892,"ĠÑģÑĤвола":115893,"ĠÑģÑĤоило":115894,"ĠÑģÑĤоÑĢож":115895,"ĠÑģÑĤÑĢоил":115896,"ĠÑģÑİжеÑĤа":115897,"ĠÑĤанÑĨев":115898,"ĠÑĤенниÑģ":115899,"ĠÑĤканей":115900,"ĠÑĤоплив":115901,"ĠÑĤÑĢавмÑĭ":115902,"ĠÑĤÑĢеÑĤÑĮÑı":115903,"ĠÑĥвидев":115904,"ĠÑĥгÑĢоза":115905,"ĠÑĥкÑĢаÑĪа":115906,"ĠÑĥлиÑĨаÑħ":115907,"ĠÑĥÑĩеник":115908,"ĠÑĥÑıзвим":115909,"ĠÑĦизико":115910,"ĠÑĦинала":115911,"ĠÑĦондов":115912,"ĠÑĦоÑĢмаÑħ":115913,"ĠÑħодили":115914,"ĠÑħÑĢоник":115915,"ĠÑĨеннÑĭÑħ":115916,"ĠÑĩеÑĢной":115917,"ĠÑįкÑĢана":115918,"ĠÑįÑĪелон":115919,"ĠÑİноÑģÑĤи":115920,"ÐĹолоÑĤаÑı":115921,"ÐļÑĢаÑģнÑĭй":115922,"ФилоÑģоÑĦ":115923,"авÑĤоном":115924,"бакÑĤеÑĢи":115925,"белоÑĢÑĥÑģ":115926,"веÑĢÑĤÑĭва":115927,"водÑıÑĤÑģÑı":115928,"говоÑĢил":115929,"гÑĢаммаÑĤ":115930,"двинÑĥÑĤÑĮ":115931,"деÑĢжаÑĤÑĮ":115932,"дÑĥмайÑĤе":115933,"еÑĤиÑĩеÑģк":115934,"изиÑĢÑĥеÑĤ":115935,"казаниÑı":115936,"кÑĢÑĭваеÑĤ":115937,"либеÑĢал":115938,"моÑĢожен":115939,"неÑģение":115940,"номеÑĢно":115941,"обÑĢажен":115942,"овалаÑģÑĮ":115943,"овалиÑģÑĮ":115944,"оÑģÑĤоÑĢож":115945,"поминаÑİ":115946,"пÑĢоÑĨеÑģÑģ":115947,"пÑĥÑģкаÑĤÑĮ":115948,"пÑĥÑģкаÑİÑĤ":115949,"пÑĥÑģÑĤили":115950,"ÑĢадоÑģÑĤн":115951,"Ñģеление":115952,"ÑģлÑĥÑĪаÑĤÑĮ":115953,"ÑģÑĤеÑĢоид":115954,"ÑģÑĤÑĢаива":115955,"ÑģÑĤÑĥпаÑİÑĤ":115956,"ÑĤиÑĢован":115957,"ÑĤÑĢеÑĤÑĮиÑħ":115958,"ÑĭваÑĤÑĮÑģÑı":115959,"ĠÐIJÑĢиÑģÑĤоÑĤ":115960,"ĠÐĴеÑĩеÑĢом":115961,"ĠÐĵеоÑĢгиÑı":115962,"ĠÐĵлавнÑĭм":115963,"ĠÐĵоÑģпода":115964,"ĠÐļалинин":115965,"ĠÐļалиÑĦоÑĢ":115966,"ĠÐļомиÑĤеÑĤ":115967,"ĠÐĽÐµÑĢмонÑĤ":115968,"ĠÐĽÐ¾Ð¼Ð¾Ð½Ð¾Ñģ":115969,"ĠÐľÐ°ÐºÐµÐ´Ð¾Ð½":115970,"ĠÐľÐ¸Ð½Ð¸ÑģÑĤÑĢ":115971,"ĠÐĿаÑĤалÑĮÑı":115972,"ĠÐĿеÑĥжели":115973,"ĠÐĿикогда":115974,"ĠÐŀкÑĤÑıбÑĢÑĮ":115975,"ĠÐŁÐ¾Ð½ÑıÑĤно":115976,"ĠÐŁÑĢинÑĨип":115977,"ĠÐłÐ¾Ð¼Ð°Ð½Ð¾Ð²":115978,"ĠÐłÑĥковод":115979,"ĠÐłÑĥмÑĭнии":115980,"ĠСовеÑĤов":115981,"ĠСоколов":115982,"ĠТаÑĤÑĮÑıна":115983,"ĠÐ¥ÑĢиÑģÑĤоÑģ":115984,"ĠÐŃлекÑĤÑĢо":115985,"ĠЮгоÑģлав":115986,"ĠЯковлев":115987,"ĠагÑĢегаÑĤ":115988,"ĠадекваÑĤ":115989,"ĠбелоÑĢÑĥÑģ":115990,"Ġбоевого":115991,"ĠболÑĮной":115992,"ĠбÑĥдÑĥÑīей":115993,"ĠбÑĥдÑĥÑīиÑħ":115994,"Ġвзаимно":115995,"ĠвзаимоÑģ":115996,"ĠвÑĭделил":115997,"ĠвÑĭзвали":115998,"ĠвÑĭÑħодÑıÑĤ":115999,"ĠгеÑĢÑĨога":116000,"ĠгимнаÑģÑĤ":116001,"ĠглÑĥбина":116002,"ĠговоÑĢим":116003,"ĠгоÑĢожан":116004,"ĠгÑĢаниÑĨа":116005,"ĠдевоÑĩки":116006,"ĠдевÑĥÑĪкÑĥ":116007,"ĠдеÑĤÑģкиÑħ":116008,"ĠдеÑĤÑģкой":116009,"Ġдиагноз":116010,"ĠдобилÑģÑı":116011,"Ġдоказал":116012,"ĠдопÑĥÑīен":116013,"ĠдÑĭÑħаниÑı":116014,"ĠединиÑĨа":116015,"ĠженÑģкой":116016,"ĠзавÑĤÑĢак":116017,"ĠзаимÑģÑĤв":116018,"ĠзакÑĢÑĭÑĤÑĭ":116019,"ĠзаполнÑı":116020,"ĠзаÑĢабоÑĤ":116021,"ĠзаÑħваÑĤа":116022,"ĠзаÑīиÑĤил":116023,"ĠзаÑıвлÑıл":116024,"ĠзеÑĢкало":116025,"Ġизменен":116026,"ĠимеÑİÑīим":116027,"Ġиндивид":116028,"Ġказаков":116029,"ĠкаÑĢÑĮеÑĢе":116030,"Ġколокол":116031,"Ġкомедии":116032,"ĠкомпакÑĤ":116033,"ĠконвеÑĢÑĤ":116034,"ĠкÑĢиÑĤикÑĥ":116035,"ĠкÑĢÑĥпной":116036,"ĠкÑĢÑĥпнÑĭм":116037,"ĠлиÑĤовÑģк":116038,"ĠлиÑĪениÑı":116039,"ĠмиÑĦолог":116040,"ĠмладÑĪий":116041,"ĠнагÑĢадÑĭ":116042,"ĠнагÑĢева":116043,"Ġнадежда":116044,"ĠнадеÑİÑģÑĮ":116045,"ĠнадпиÑģÑĮ":116046,"ĠназнаÑĩа":116047,"ĠнамеÑĢев":116048,"ĠнанеÑģÑĤи":116049,"ĠнаÑĢÑĥÑĪен":116050,"ĠнаÑĥÑĩнÑĭм":116051,"ĠнаÑħодим":116052,"ĠнемеÑĨко":116053,"ĠномеÑĢом":116054,"ĠобÑĢазеÑĨ":116055,"ĠобÑĢазÑĨÑĭ":116056,"ĠобÑĢеÑĩен":116057,"ĠобÑĭÑĩнÑĭе":116058,"ĠобÑĭÑĩнÑĭй":116059,"ĠожеÑģÑĤоÑĩ":116060,"ĠоказÑĭва":116061,"ĠопиÑģаÑĤÑĮ":116062,"ĠоÑģвеÑīен":116063,"ĠоÑĤвеÑĩаÑİ":116064,"ĠоÑĤлиÑĩиÑı":116065,"ĠпаÑĢазиÑĤ":116066,"ĠпаÑĢÑĤнÑijÑĢ":116067,"ĠпеÑĢвомÑĥ":116068,"ĠпеÑĢедел":116069,"ĠпеÑĢежил":116070,"ĠпеÑĢеÑĪла":116071,"ĠпиÑĢамид":116072,"ĠпиÑģÑĮмен":116073,"ĠпланеÑĤе":116074,"Ġплемена":116075,"Ġповезло":116076,"ĠповеÑģÑĤÑĮ":116077,"ĠподаÑĢил":116078,"ĠподкÑĢеп":116079,"Ġподнима":116080,"ĠподÑĬезд":116081,"Ġпоздней":116082,"ĠпокÑĢÑĭÑĤÑĭ":116083,"ĠпомеÑīен":116084,"ĠпопÑĭÑĤке":116085,"ĠпопÑĭÑĤок":116086,"ĠпоÑĢÑĥÑĩил":116087,"ĠпоÑģеÑīал":116088,"ĠпоÑħиÑīен":116089,"ĠпÑĢеÑĢÑĭва":116090,"ĠпÑĢизÑĭва":116091,"ĠпÑĢиказа":116092,"ĠпÑĢиÑģÑĤав":116093,"ĠпÑĢиÑħода":116094,"ĠпÑĢодаÑĤÑĮ":116095,"ĠпÑĢоÑģвеÑĤ":116096,"ĠпÑĢоÑģиÑĤÑĮ":116097,"ĠпÑĢоÑĩего":116098,"ĠÑĢазвиÑĤÑĭ":116099,"ĠÑĢаздела":116100,"ĠÑĢазмнож":116101,"ĠÑĢазного":116102,"ĠÑĢаннего":116103,"ĠÑĢаÑģпÑĢав":116104,"ĠÑĢаÑģÑģвеÑĤ":116105,"ĠÑĢаÑģÑģеÑıн":116106,"ĠÑĢаÑģÑĤеÑĢÑı":116107,"ĠÑĢаÑģÑĩеÑĤа":116108,"ĠÑĢеакÑĨиÑİ":116109,"ĠÑĢебенкÑĥ":116110,"ĠÑĢелигиÑı":116111,"ĠÑĢепÑĢеÑģÑģ":116112,"ĠÑĢÑĭболов":116113,"ĠÑģбоÑĢнаÑı":116114,"ĠÑģвободе":116115,"ĠÑģеÑĢвеÑĢа":116116,"ĠÑģеÑĢвиÑģа":116117,"ĠÑģеÑĢебÑĢо":116118,"ĠÑģилÑĮной":116119,"ĠÑģилÑĮнÑĭÑħ":116120,"ĠÑģлÑĭÑĪаÑĤÑĮ":116121,"ĠÑģнимаÑĤÑĮ":116122,"ĠÑģоблÑİда":116123,"ĠÑģовеÑģÑĤи":116124,"ĠÑģоглаÑĪа":116125,"ĠÑģоздано":116126,"ĠÑģÑĤалкив":116127,"ĠÑģÑĤаÑĤÑĥÑģа":116128,"ĠÑģÑĤÑĢаной":116129,"ĠÑģÑĤÑĢаÑģÑĤи":116130,"ĠÑģÑĤÑĥпени":116131,"ĠÑģÑĥÑħопÑĥÑĤ":116132,"ĠÑĤаблиÑĨÑĭ":116133,"ĠÑĤеÑĢмина":116134,"ĠÑĤеÑħнике":116135,"ĠÑĤÑĢакÑĤоÑĢ":116136,"ĠÑĤÑıжелой":116137,"ĠÑĤÑıжелÑĭм":116138,"ĠÑĥбийÑģÑĤв":116139,"ĠÑĥгÑĢозой":116140,"ĠÑĥкÑĢеплÑı":116141,"ĠÑĥмеÑĢеÑĤÑĮ":116142,"ĠÑĥпÑĢоÑīен":116143,"ĠÑĥÑģловие":116144,"ĠÑĥÑģпеÑħов":116145,"ĠÑĥÑĤоÑĩнил":116146,"ĠÑĦеÑĢменÑĤ":116147,"ĠÑĦилолог":116148,"ĠÑĦÑĢонÑĤов":116149,"ĠÑĦÑĥÑĤболÑĥ":116150,"ĠÑħоÑĢоÑĪаÑı":116151,"ĠÑĨаÑĢÑģÑĤва":116152,"ĠÑĩаÑģÑĤной":116153,"ĠÑĩеÑĤвеÑĢо":116154,"ĠÑĪиÑĢоким":116155,"ĠÑĪиÑĢоком":116156,"ĠÑĪоÑĤланд":116157,"ĠÑįпидеми":116158,"ĠÑįÑĦÑĦекÑĤа":116159,"аÑĢÑĤаменÑĤ":116160,"аÑĤелÑĮнÑĭе":116161,"аÑĤиÑĩеÑģки":116162,"аÑĨионнÑĭе":116163,"библейÑģк":116164,"биÑĢаеÑĤÑģÑı":116165,"благодаÑĢ":116166,"вÑĢаÑīение":116167,"говоÑĢиÑĤÑĮ":116168,"диагноÑģÑĤ":116169,"идеÑĢланд":116170,"извеÑģÑĤнÑĭ":116171,"индивидÑĥ":116172,"конÑģÑĥлÑĮÑĤ":116173,"оминаний":116174,"пеÑĢÑģидÑģк":116175,"ÑģÑĤавлÑıеÑĤ":116176,"ÑģÑĤÑĢоении":116177,"ÑģÑĤÑĢÑĥкÑĨиÑı":116178,"ÑģÑĥждение":116179,"ÑĤелÑĮнÑĭми":116180,"ÑĤелÑĮÑģÑĤва":116181,"ÑħодÑıÑīего":116182,"ÑįлекÑĤÑĢон":116183,"ĠÐijÑĢиÑĤанÑģк":116184,"ĠÐijÑĥлгаков":116185,"ĠÐĵлавного":116186,"ĠÐĵоÑĢÑĮкого":116187,"ĠÐĶагеÑģÑĤан":116188,"ĠÐĺÑĢландии":116189,"ĠÐļомиÑĤеÑĤа":116190,"ĠÐļÑĢаÑģноÑıÑĢ":116191,"ĠÐĿоÑĢвегии":116192,"ĠÐŁÐ°Ð¼ÑıÑĤник":116193,"ĠÐŁÑĢоблема":116194,"ĠÐŁÑĢоизвод":116195,"ĠСвеÑĢдлов":116196,"ĠЯвлÑıеÑĤÑģÑı":116197,"ĠакÑĤивное":116198,"ĠалкоголÑĮ":116199,"ĠболÑĮниÑĨÑĥ":116200,"ĠвзглÑıдов":116201,"ĠвклÑİÑĩиÑĤÑĮ":116202,"ĠвозможнÑĭ":116203,"ĠвоÑģпÑĢоиз":116204,"ĠвÑģемиÑĢно":116205,"ĠвÑĭдвинÑĥл":116206,"ĠвÑĭзÑĭваÑĤÑĮ":116207,"ĠвÑĭполнÑıл":116208,"ĠвÑĭпÑĥÑģÑĤил":116209,"ĠвÑĭÑģÑĤавке":116210,"ĠгÑĢаждане":116211,"ĠгÑĢÑĥппами":116212,"ĠденежнÑĭÑħ":116213,"ĠденÑĮгами":116214,"ĠдеÑĤекÑĤив":116215,"ĠдизайнеÑĢ":116216,"ĠдоÑģÑĤигли":116217,"ĠдÑĢевнего":116218,"ĠединÑģÑĤва":116219,"ĠепиÑģкопа":116220,"ĠженÑģкого":116221,"ĠжидкоÑģÑĤÑĮ":116222,"Ġжизненно":116223,"ĠзабÑĭваÑĤÑĮ":116224,"ĠзаказÑĩик":116225,"ĠзамеÑĤили":116226,"ĠзанÑıÑĤÑĮÑģÑı":116227,"ĠзнаÑĩении":116228,"ĠинÑĨиденÑĤ":116229,"ĠиÑģполнÑıл":116230,"ĠиÑģÑĤоÑĢией":116231,"ĠкаÑĢдинал":116232,"ĠкомпозиÑĤ":116233,"ĠконÑĤекÑģÑĤ":116234,"ĠкÑĢаÑģного":116235,"ĠкÑĢиминал":116236,"ĠкÑĢиÑĤиков":116237,"ĠлеÑģÑĤниÑĨе":116238,"ĠлÑİбиÑĤелÑĮ":116239,"ĠмаÑģÑĤеÑĢов":116240,"ĠмеÑĤаллов":116241,"ĠмиллионÑĭ":116242,"ĠмножеÑģÑĤв":116243,"ĠмонÑĥменÑĤ":116244,"ĠмоÑĢалÑĮно":116245,"ĠмоÑĢÑģкого":116246,"ĠнаглÑıдно":116247,"ĠнапиÑģана":116248,"Ġнапомнил":116249,"ĠнаÑĢкоÑĤик":116250,"ĠнаÑģледиÑı":116251,"ĠнеобÑĭÑĩай":116252,"ĠобÑĢазÑĥеÑĤ":116253,"ĠобÑīаÑĤÑĮÑģÑı":116254,"ĠобÑĬÑıÑģнÑıл":116255,"ĠобÑĭÑĩного":116256,"ĠогÑĢомнÑĥÑİ":116257,"ĠоÑĢденами":116258,"ĠоÑĢиенÑĤиÑĢ":116259,"ĠоÑģвободи":116260,"ĠоÑģновное":116261,"ĠоÑģÑĤÑĢоваÑħ":116262,"ĠоÑĤкÑĢÑĭÑĤой":116263,"ĠоÑĤкÑĢÑĭÑĤом":116264,"ĠоÑĤобÑĢажа":116265,"ĠоÑĤÑĢажаеÑĤ":116266,"ĠоÑħваÑĤÑĭва":116267,"ĠпеÑĢемеÑīа":116268,"ĠпеÑĢеÑĩенÑĮ":116269,"ĠплоÑīадÑĮÑİ":116270,"Ġподобной":116271,"Ġпозволил":116272,"ĠпокÑĥпаÑĤÑĮ":116273,"ĠполÑĥÑĩило":116274,"ĠпомогаÑĤÑĮ":116275,"Ġпонимали":116276,"ĠпоÑģлÑĥжил":116277,"ĠпоÑģÑĤÑĢоил":116278,"ĠпÑĢеÑĥвели":116279,"ĠпÑĢиводÑıÑĤ":116280,"ĠпÑĢидвоÑĢн":116281,"ĠпÑĢинеÑģÑĤи":116282,"ĠпÑĢоÑģмоÑĤÑĢ":116283,"ĠпÑĢоÑĦÑģоÑİз":116284,"ĠпÑĢоÑĨедÑĥÑĢ":116285,"ĠпÑĢоÑĨеÑģÑģÑĥ":116286,"ĠÑĢадоÑģÑĤно":116287,"ĠÑĢазлиÑĩие":116288,"ĠÑĢазмеÑīен":116289,"ĠÑĢазÑĢеÑĪил":116290,"ĠÑĢаÑģкÑĢÑĭва":116291,"ĠÑĢегионаÑħ":116292,"ĠÑĢÑĥÑģÑģкими":116293,"ĠÑģамолÑijÑĤа":116294,"ĠÑģвÑıÑīенно":116295,"ĠÑģилÑĮного":116296,"ĠÑģимволов":116297,"ĠÑģимволом":116298,"ĠÑģкладÑĭва":116299,"ĠÑģлабоÑģÑĤÑĮ":116300,"ĠÑģмаÑĢÑĤÑĦон":116301,"ĠÑģоглаÑģнÑĭ":116302,"ĠÑģомнений":116303,"ĠÑģообÑīиÑĤÑĮ":116304,"ĠÑģоÑħÑĢанил":116305,"ĠÑģпÑĢоÑģиÑĤÑĮ":116306,"ĠÑģÑĢавниÑĤÑĮ":116307,"ĠÑģÑĢажение":116308,"ĠÑģÑĢажении":116309,"ĠÑģÑĤоÑĢоной":116310,"ĠÑģÑĤÑĢоениÑı":116311,"ĠÑģÑĦоÑĢмÑĥли":116312,"ĠÑģÑħодÑģÑĤво":116313,"ĠÑģÑĨенаÑĢиÑı":116314,"ĠÑĤанковой":116315,"ĠÑĤелегÑĢаÑĦ":116316,"ĠÑĤелеÑĦона":116317,"ĠÑĤоваÑĢиÑīа":116318,"ĠÑĤоваÑĢиÑīи":116319,"ĠÑĥвелиÑĩен":116320,"ĠÑĥвеÑĢенно":116321,"ĠÑĥкÑĢеплен":116322,"ĠÑĥмеÑĢенно":116323,"ĠÑĥÑģÑĤÑĢоиÑĤÑĮ":116324,"ĠÑĥÑĤвеÑĢдил":116325,"ĠÑĥÑĩиÑĤÑĭваÑı":116326,"ĠÑĩÑĥвÑģÑĤвÑĥÑİ":116327,"ÐĽÐ¸ÑĤеÑĢаÑĤÑĥÑĢ":116328,"аÑĤелÑĮного":116329,"веÑĢÑĤикалÑĮ":116330,"кладÑĭваÑİÑĤ":116331,"монголÑĮÑģк":116332,"пÑĢаздниÑĩн":116333,"пÑĢевоÑģÑħод":116334,"пÑĥÑģкаеÑĤÑģÑı":116335,"ÑģовмеÑģÑĤим":116336,"ÑįнеÑĢгеÑĤиÑĩ":116337,"ĠÐĿаполеона":116338,"ĠÐŀказалоÑģÑĮ":116339,"ĠÐŁÐ¾ÑħоÑĢонен":116340,"ĠÐŁÑĢавиÑĤелÑĮ":116341,"ĠЮгоÑģлавии":116342,"ĠаÑĤмоÑģÑĦеÑĢÑĥ":116343,"ĠаÑĤмоÑģÑĦеÑĢÑĭ":116344,"ĠаÑįÑĢопоÑĢÑĤа":116345,"ĠближайÑĪее":116346,"ĠближайÑĪие":116347,"ĠважнейÑĪиÑħ":116348,"ĠвидимоÑģÑĤи":116349,"ĠвозможнÑĭе":116350,"ĠвÑĢаждебно":116351,"ĠвÑĭÑģказÑĭва":116352,"ĠвÑĭÑģÑĤÑĥпаÑİÑĤ":116353,"ĠголландÑģк":116354,"Ġдавлением":116355,"ĠдиамеÑĤÑĢом":116356,"ĠдобÑĢаÑĤÑĮÑģÑı":116357,"ĠзакономеÑĢ":116358,"ĠзаÑħваÑĤили":116359,"Ġидеологии":116360,"ĠколлекÑĨии":116361,"ĠконÑģеÑĢваÑĤ":116362,"ĠконÑĤÑĢолем":116363,"ĠконÑĦигÑĥÑĢа":116364,"ĠкÑĢеÑģÑĤÑĮÑıне":116365,"ĠкÑĥÑģÑĤаÑĢник":116366,"ĠмаленÑĮкаÑı":116367,"ĠмаленÑĮкой":116368,"Ġмгновение":116369,"ĠмеÑħанизмÑĭ":116370,"ĠминиÑģÑĤÑĢом":116371,"ĠмолодоÑģÑĤи":116372,"ĠмонаÑģÑĤÑĭÑĢе":116373,"ĠмоÑīноÑģÑĤÑĮÑİ":116374,"ĠнаÑģекомÑĭÑħ":116375,"ĠнаÑģледник":116376,"ĠнаÑģÑĤавник":116377,"ĠнаÑģÑĤÑĢойки":116378,"ĠнеболÑĮÑĪÑĥÑİ":116379,"ĠнезамеÑĤно":116380,"ĠнекоÑĤоÑĢой":116381,"ĠнеопÑĢедел":116382,"ĠнÑĥждаеÑĤÑģÑı":116383,"ĠодинаковÑĭ":116384,"ĠоÑģвобожда":116385,"ĠоÑģÑĤавлÑıеÑĤ":116386,"ĠоÑģÑĤановил":116387,"ĠоÑĤвеÑĢÑģÑĤие":116388,"ĠоÑĤделÑĮной":116389,"ĠоÑĤÑĩеÑĤливо":116390,"ĠпаÑĨиенÑĤов":116391,"ĠпеÑĢенеÑģен":116392,"ĠплемÑıнник":116393,"ĠплоÑĤноÑģÑĤÑĮ":116394,"ĠподводнÑĭÑħ":116395,"ĠподдеÑĢжал":116396,"Ġпозволили":116397,"Ġпоколений":116398,"ĠполÑĥÑĦинал":116399,"ĠпомеÑīении":116400,"ĠпоÑģÑĢедник":116401,"ĠпоÑģÑĤÑĢоенÑĭ":116402,"ĠпоÑģÑĤÑĥпаеÑĤ":116403,"ĠпоÑģÑĤÑĥпаÑĤÑĮ":116404,"ĠпÑĢедлагал":116405,"ĠпÑĢедÑĪеÑģÑĤв":116406,"ĠпÑĢедÑĬÑıвлÑı":116407,"ĠпÑĢиглаÑĪен":116408,"ĠпÑĢимениÑĤÑĮ":116409,"ĠпÑĢоводник":116410,"ĠпÑĢоживало":116411,"ĠпÑĢолеÑĤаÑĢи":116412,"ĠпÑıÑĤÑĮдеÑģÑıÑĤ":116413,"ĠÑĢадикалÑĮн":116414,"ĠÑĢазвиваÑĤÑĮ":116415,"ĠÑĢазделиÑĤÑĮ":116416,"ĠÑĢаÑģÑģказов":116417,"ĠÑĢегламенÑĤ":116418,"ĠÑģвободной":116419,"ĠÑģвойÑģÑĤвен":116420,"ĠÑģовеÑĢÑĪаÑĤÑĮ":116421,"ĠÑģовеÑĤÑģкаÑı":116422,"ĠÑģовеÑĤÑģкое":116423,"ĠÑģоздаеÑĤÑģÑı":116424,"ĠÑģообÑīеÑģÑĤв":116425,"ĠÑģоÑħÑĢанÑıÑĤÑĮ":116426,"ĠÑģоÑĩеÑĤание":116427,"ĠÑģоÑĩеÑĤании":116428,"ĠÑģпÑĥÑĤников":116429,"ĠÑģÑĢавнениÑı":116430,"ĠÑģÑĤÑĢаниÑĨаÑħ":116431,"ĠÑģÑĤÑĢемилÑģÑı":116432,"ĠÑģÑĩиÑĤалоÑģÑĮ":116433,"ĠÑģÑĩиÑĤаÑĤÑĮÑģÑı":116434,"ĠÑĤенденÑĨии":116435,"ĠÑĤенденÑĨиÑı":116436,"ĠÑĥбедиÑĤÑĮÑģÑı":116437,"ĠÑĥбеждениÑı":116438,"ĠÑĥголовное":116439,"ĠÑĥказаннÑĭÑħ":116440,"ĠÑĥмолÑĩаниÑİ":116441,"ĠÑĥникалÑĮно":116442,"ĠÑĥÑģÑĤÑĢаивал":116443,"ĠÑĦеÑģÑĤивалÑı":116444,"ĠÑĦизиÑĩеÑģки":116445,"ĠÑĦилоÑģоÑĦиÑı":116446,"ĠÑĩÑĢезмеÑĢно":116447,"ĠÑįкÑģпеÑĢÑĤов":116448,"гоÑģÑĥдаÑĢÑģÑĤв":116449,"гÑĥбеÑĢнаÑĤоÑĢ":116450,"иÑģÑĤиÑĩеÑģкий":116451,"иÑģÑĤиÑĩеÑģкиÑħ":116452,"оÑģÑĥÑīеÑģÑĤвлÑı":116453,"пÑĢомежÑĥÑĤоÑĩ":116454,"ÑģÑĥÑīеÑģÑĤвова":116455,"ĠÐĵоÑģÑĥдаÑĢÑģÑĤв":116456,"ĠÐĶоÑģÑĤаÑĤоÑĩно":116457,"ĠÐļолиÑĩеÑģÑĤво":116458,"ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢаде":116459,"ĠÐľÐ¾ÑģковÑģком":116460,"ĠÐłÐµÐ·ÑĥлÑĮÑĤаÑĤÑĭ":116461,"ĠавÑĤомобили":116462,"ĠанглийÑģкиÑħ":116463,"ĠвÑĭполнении":116464,"ĠдвенадÑĨаÑĤÑĮ":116465,"ĠдейÑģÑĤвиÑıми":116466,"ĠдиÑĢекÑĤоÑĢов":116467,"ĠдиÑĦÑĦеÑĢенÑĨи":116468,"Ġдополнение":116469,"ĠзаÑĢÑĥбежнÑĭÑħ":116470,"ĠинÑĤеÑĢеÑģÑĥеÑĤ":116471,"ĠиÑģпÑĭÑĤÑĭваеÑĤ":116472,"ĠколиÑĩеÑģÑĤвÑĥ":116473,"ĠкомпоненÑĤÑĭ":116474,"ĠконÑģÑĤиÑĤÑĥÑĨи":116475,"ĠлиÑĤеÑĢаÑĤÑĥÑĢÑĥ":116476,"ĠменÑĮÑĪинÑģÑĤв":116477,"ĠмеÑħанизмов":116478,"ĠмÑĥзÑĭкалÑĮно":116479,"ĠнаблÑİдений":116480,"ĠназÑĭваемой":116481,"ĠназÑĭваемÑĭÑħ":116482,"ĠназÑĭваÑİÑĤÑģÑı":116483,"ĠнапÑĢавленÑĭ":116484,"ĠнаÑģелением":116485,"ĠнеболÑĮÑĪого":116486,"ĠнедоÑģÑĤаÑĤка":116487,"ĠнеобÑħодимÑĭ":116488,"ĠобÑĢазÑĥеÑĤÑģÑı":116489,"ĠоднознаÑĩно":116490,"ĠопÑĢеделÑıÑĤÑĮ":116491,"ĠопÑĢеделÑıÑİÑĤ":116492,"ĠоÑģноваÑĤелÑĮ":116493,"ĠоÑĤделÑĮного":116494,"ĠпамÑıÑĤников":116495,"ĠпланиÑĢовал":116496,"ĠпобедиÑĤелÑĮ":116497,"ĠпоговоÑĢиÑĤÑĮ":116498,"ĠподгоÑĤовил":116499,"ĠподÑĢоÑģÑĤков":116500,"ĠпоказаÑĤÑĮÑģÑı":116501,"ĠполномоÑĩий":116502,"ĠполномоÑĩиÑı":116503,"ĠполÑĥÑĩеннÑĭÑħ":116504,"ĠполÑĮзÑĥеÑĤÑģÑı":116505,"ĠпоÑģÑĤоÑıннÑĭм":116506,"ĠпÑĢедлагаÑİÑĤ":116507,"ĠпÑĢедпÑĢинÑıл":116508,"ĠпÑĢедÑģÑĤоÑıло":116509,"ĠпÑĢедÑĬÑıвлен":116510,"ĠпÑĢекÑĢаÑģнÑĭй":116511,"ĠпÑĢеÑģÑĤÑĥпник":116512,"ĠпÑĢиоÑģÑĤанов":116513,"ĠпÑĢоблемами":116514,"ĠпÑĢоводÑıÑĤÑģÑı":116515,"ĠпÑĢоизвеÑģÑĤи":116516,"ĠпÑĢоизойдеÑĤ":116517,"ĠпÑĢоÑĤеÑģÑĤанÑĤ":116518,"ĠÑĢазмеÑīениÑı":116519,"ĠÑĢазÑĢÑĥÑĪениÑı":116520,"ĠÑĢаÑģÑģмоÑĤÑĢен":116521,"ĠÑģледÑģÑĤвием":116522,"ĠÑģобиÑĢалиÑģÑĮ":116523,"ĠÑģообÑīаеÑĤÑģÑı":116524,"ĠÑģооÑĢÑĥжений":116525,"ĠÑģоÑģÑĢедоÑĤоÑĩ":116526,"ĠÑģоÑĨиализма":116527,"ĠÑģпÑĢавиÑĤÑĮÑģÑı":116528,"ĠÑģÑĤановилÑģÑı":116529,"ĠÑĦинанÑģовой":116530,"ĠÑĦоÑĤогÑĢаÑĦиÑı":116531,"ĠÑħаÑĢакÑĤеÑĢнÑĭ":116532,"ĠÑħимиÑĩеÑģкиÑħ":116533,"ĠÑįлеменÑĤами":116534,"ÑĤеÑħниÑĩеÑģкий":116535,"ĠÐļонÑģÑĤиÑĤÑĥÑĨии":116536,"ĠÐŀкÑĤÑıбÑĢÑĮÑģкой":116537,"ĠболÑĮÑĪевиков":116538,"ĠвозвÑĢаÑīение":116539,"ĠвообÑĢажение":116540,"ĠвÑģÑĤÑĢеÑĤиÑĤÑĮÑģÑı":116541,"ĠвÑĭÑģÑĤÑĥплений":116542,"ĠгенеÑĢалÑĮнÑĭй":116543,"ĠголоÑģованиÑı":116544,"ĠгоÑģÑĥдаÑĢÑģÑĤве":116545,"ĠгÑĢажданÑģкиÑħ":116546,"ĠдейÑģÑĤвовали":116547,"ĠдепаÑĢÑĤаменÑĤ":116548,"ĠдиÑģÑģеÑĢÑĤаÑĨиÑİ":116549,"ĠдоÑģÑĤоинÑģÑĤво":116550,"Ġзаболевание":116551,"ĠзаимÑģÑĤвован":116552,"ĠзнамениÑĤого":116553,"ĠкомандÑĥÑİÑīий":116554,"ĠкоммеÑĢÑĩеÑģки":116555,"ĠконкÑĢеÑĤного":116556,"ĠконÑģÑĤÑĢÑĥкÑĨиÑı":116557,"ĠмеÑħаниÑĩеÑģки":116558,"ĠмногокÑĢаÑĤно":116559,"ĠмогÑĥÑīеÑģÑĤвен":116560,"ĠнапÑĢавлений":116561,"ĠнапÑĢавлениÑİ":116562,"ĠнаÑħодÑıÑīиÑħÑģÑı":116563,"ĠнеобÑħодимое":116564,"ĠобеÑģпеÑĩивал":116565,"ĠобознаÑĩениÑı":116566,"ĠобÑīеÑģÑĤвенно":116567,"ĠогÑĢаниÑĩений":116568,"ĠоÑģобенноÑģÑĤÑĮ":116569,"ĠоÑģÑĥÑīеÑģÑĤвлен":116570,"ĠоÑģÑĥÑīеÑģÑĤвлÑıл":116571,"ĠоÑĤпÑĢавилиÑģÑĮ":116572,"ĠоÑĤпÑĢавиÑĤÑĮÑģÑı":116573,"ĠоÑĦиÑĨиалÑĮной":116574,"ĠоÑĦиÑĨиалÑĮнÑĭм":116575,"ĠоÑĦиÑĨиалÑĮнÑĭÑħ":116576,"ĠпеÑĢÑģпекÑĤивÑĭ":116577,"ĠподгоÑĤовиÑĤÑĮ":116578,"ĠподÑĢобноÑģÑĤи":116579,"ĠподÑĤвеÑĢжден":116580,"ĠполÑĥоÑģÑĤÑĢова":116581,"ĠполÑĮзовалÑģÑı":116582,"ĠпоÑĤÑĢеблениÑı":116583,"ĠпоÑĤÑĢебÑĥеÑĤÑģÑı":116584,"ĠпÑĢедоÑģÑĤавил":116585,"ĠпÑĢедÑģÑĤавлÑıÑİ":116586,"ĠпÑĢименением":116587,"ĠпÑĢоводилиÑģÑĮ":116588,"ĠпÑĢоÑĤивников":116589,"ĠпÑĢоÑĤивником":116590,"ĠÑĢазвиваÑĤÑĮÑģÑı":116591,"ĠÑģамоÑĥбийÑģÑĤв":116592,"ĠÑģовÑĢеменнÑĭй":116593,"ĠÑģодеÑĢжанием":116594,"ĠÑģооÑĤноÑĪение":116595,"ĠÑģÑĤановилиÑģÑĮ":116596,"ĠÑĤеÑħниÑĩеÑģкие":116597,"ĠÑĤÑĢебовалоÑģÑĮ":116598,"ĠÑĥниÑĩÑĤожение":116599,"ĠÑĥниÑĩÑĤожениÑı":116600,"ĠÑĦÑĢанÑĨÑĥзÑģким":116601,"ĠÑįлекÑĤÑĢонной":116602,"положиÑĤелÑĮно":116603,"ÑģÑģледоваÑĤелÑĮ":116604,"ĠÐIJзеÑĢбайджана":116605,"ĠÐĿаÑĨионалÑĮнÑĭй":116606,"ĠамеÑĢиканÑģкаÑı":116607,"ĠвоÑģпÑĢинимаÑĤÑĮ":116608,"ĠвÑĭÑģказÑĭваниÑı":116609,"ĠединÑģÑĤвеннаÑı":116610,"ĠединÑģÑĤвенное":116611,"ĠзамеÑĩаÑĤелÑĮно":116612,"ĠзнаÑĩиÑĤелÑĮнÑĥÑİ":116613,"ĠиÑģÑĤоÑĢиÑĩеÑģкие":116614,"ĠиÑģÑĤÑĢебиÑĤелей":116615,"ĠквалиÑĦикаÑĨии":116616,"ĠкомандÑĥÑİÑīего":116617,"ĠнаÑĨионалÑĮнÑĭй":116618,"ĠобÑīеÑģÑĤвеннÑĭй":116619,"ĠокÑĢеÑģÑĤноÑģÑĤÑıÑħ":116620,"ĠоÑģÑĥÑīеÑģÑĤвлÑıÑĤÑĮ":116621,"ĠполиÑĤиÑĩеÑģкаÑı":116622,"ĠполиÑĤиÑĩеÑģким":116623,"ĠполиÑĤиÑĩеÑģкÑĥÑİ":116624,"ĠполÑĮзовалиÑģÑĮ":116625,"ĠпопÑĥлÑıÑĢноÑģÑĤÑĮ":116626,"ĠпоÑĤенÑĨиалÑĮно":116627,"ĠпоÑĤÑĢебиÑĤелей":116628,"ĠпоÑĤÑĢебноÑģÑĤей":116629,"ĠпÑĢиÑģпоÑģоблен":116630,"ĠпÑĢоизводÑģÑĤвÑĥ":116631,"ĠпÑĢоиÑģÑĪеÑģÑĤвиÑı":116632,"ĠпÑĢомÑĭÑĪленнÑĭÑħ":116633,"ĠпÑĢоÑĤивоÑĢеÑĩиÑı":116634,"ĠÑĢаÑģÑģказÑĭваÑĤÑĮ":116635,"ĠÑĢаÑģÑģмоÑĤÑĢениÑı":116636,"ĠÑĢеволÑİÑĨионеÑĢ":116637,"ĠÑģоÑĢевнований":116638,"ĠÑģÑĥÑīеÑģÑĤвовали":116639,"ĠÑģÑĥÑīеÑģÑĤвÑĥÑİÑīиÑħ":116640,"ĠÑĤеÑħниÑĩеÑģкого":116641,"ĠÑĤÑĢанÑģпоÑĢÑĤнÑĭÑħ":116642,"ĠÑĥдовлеÑĤвоÑĢен":116643,"ĠÑĥдоволÑĮÑģÑĤвиÑı":116644,"ĠÑħÑĢиÑģÑĤианÑģÑĤва":116645,"ĠÑįкÑģплÑĥаÑĤаÑĨиÑİ":116646,"ĠÑįмоÑĨионалÑĮно":116647,"ĠблагодаÑĢноÑģÑĤÑĮ":116648,"ĠдополниÑĤелÑĮно":116649,"ĠиндивидÑĥалÑĮно":116650,"ĠинÑĦÑĢаÑģÑĤÑĢÑĥкÑĤÑĥÑĢ":116651,"ĠиÑģполÑĮзовалÑģÑı":116652,"ĠмеждÑĥнаÑĢодном":116653,"ĠмеждÑĥнаÑĢоднÑĭм":116654,"ĠмÑĥниÑĨипалиÑĤеÑĤ":116655,"ĠнезнаÑĩиÑĤелÑĮнÑĭ":116656,"ĠподÑĢазÑĥмеваеÑĤ":116657,"ĠподÑĤвеÑĢждение":116658,"ĠпÑĢавиÑĤелÑĮÑģÑĤвÑĥ":116659,"ĠпÑĢеподаваÑĤелÑĮ":116660,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвовал":116661,"ĠÑĢаÑģположеннÑĭй":116662,"ĠÑĢаÑģположеннÑĭÑħ":116663,"ĠÑĢаÑģпÑĢеделение":116664,"ĠÑĢаÑģпÑĢеделениÑı":116665,"ĠÑģÑĤиÑħоÑĤвоÑĢение":116666,"ĠÑģÑĤиÑħоÑĤвоÑĢениÑı":116667,"демонÑģÑĤÑĢиÑĢовал":116668,"ĠÐľÐµÐ¶Ð´ÑĥнаÑĢодного":116669,"ĠвоенноÑģлÑĥжаÑīиÑħ":116670,"ĠпÑĢеобÑĢазованиÑı":116671,"ĠпÑĥÑĤеÑĪеÑģÑĤвенник":116672,"ĠÐĵоÑģÑĥдаÑĢÑģÑĤвеннÑĭй":116673,"ĠкапиÑĤалиÑģÑĤиÑĩеÑģк":116674,"пÑĢоÑĦеÑģÑģионалÑĮнÑĭÑħ":116675,"ÑģледоваÑĤелÑĮноÑģÑĤи":116676,"Ġй":116677,"Ìģм":116678,"ÌģÑģ":116679,"Ðijи":116680,"ÐķÐĶ":116681,"ÐĺÐł":116682,"ÐļУ":116683,"ÐĽÐ¯":116684,"ÐľÐ¤":116685,"ÐĿС":116686,"ÐŁÐĺ":116687,"ÐłÐĶ":116688,"ÐłÐ¡":116689,"ТÑĢ":116690,"Ð£Ðł":116691,"ФÐĹ":116692,"ФÐļ":116693,"ЧС":116694,"ÐŃк":116695,"дд":116696,"мÑĬ":116697,"ÑĤÑĩ":116698,"ÑİÑĪ":116699,"dor":116700,"eau":116701,"eck":116702,"ept":116703,"hur":116704,"tum":116705,"»\".":116706,"ĠÐķÑģ":116707,"ĠÐĸи":116708,"ĠÐĺÑĤ":116709,"ĠÐļÐIJ":116710,"ĠÐļÑį":116711,"ĠÐŀТ":116712,"ĠСÐIJ":116713,"ĠÐŃв":116714,"ĠдÑĭ":116715,"ĠпÑı":116716,"ĠÑĤÑĮ":116717,"ÐIJÐĿÐĺ":116718,"Ðijез":116719,"ÐijоÑĢ":116720,"ÐĴÐIJТ":116721,"ÐĴаÑĢ":116722,"ÐĶеÑĤ":116723,"ÐĶлÑı":116724,"ÐĺÑģÑĤ":116725,"ÐļÐŀÐĴ":116726,"ÐľÐ°Ð»":116727,"ÐľÐ½Ðµ":116728,"ÐĿÐIJЯ":116729,"ÐĿÐĺÐļ":116730,"ÐĿаÑĪ":116731,"ÐŀСТ":116732,"ÐłÐ¾Ñģ":116733,"ТÐŀÐł":116734,"Тай":116735,"Там":116736,"ТеÑĢ":116737,"ТÑĢи":116738,"Фин":116739,"апп":116740,"аÑĢм":116741,"аÑĤÑĤ":116742,"биÑģ":116743,"бло":116744,"бÑĥÑĤ":116745,"вак":116746,"ваÑģ":116747,"гаÑĤ":116748,"гел":116749,"гиз":116750,"гии":116751,"гиÑı":116752,"гни":116753,"гÑĥÑģ":116754,"диÑĢ":116755,"дни":116756,"доÑĤ":116757,"евÑĥ":116758,"екÑĥ":116759,"емо":116760,"еÑĢп":116761,"жки":116762,"жно":116763,"жог":116764,"жоÑĥ":116765,"зак":116766,"зий":116767,"ивн":116768,"идж":116769,"йÑĨÑĭ":116770,"кей":116771,"клÑı":116772,"кÑĥб":116773,"кÑĥн":116774,"лал":116775,"леÑĨ":116776,"лÑĮд":116777,"лÑİк":116778,"лÑıÑı":116779,"лÑijв":116780,"мÑĥж":116781,"наг":116782,"нда":116783,"нÑĨÑĭ":116784,"нÑıж":116785,"нÑijм":116786,"нÑijн":116787,"обе":116788,"оем":116789,"омп":116790,"оÑĢÑĥ":116791,"пеÑħ":116792,"пог":116793,"ÑĢва":116794,"ÑĢÑĭÑĪ":116795,"Ñģпи":116796,"ÑģÑĥÑĤ":116797,"ÑģÑĭÑĤ":116798,"ÑģÑijл":116799,"ÑĤаг":116800,"ÑĤез":116801,"ÑĤиÑĤ":116802,"ÑĤÑĭÑĢ":116803,"Ñĥжн":116804,"ÑĥнÑĮ":116805,"ÑĥÑģÑĭ":116806,"ÑĥÑħи":116807,"ÑĦав":116808,"ÑĦал":116809,"ÑĦÑĢо":116810,"Ñħва":116811,"ÑħÑĤа":116812,"ÑħÑĥн":116813,"ÑĨаÑħ":116814,"ÑĨид":116815,"ÑĪеб":116816,"ÑĪок":116817,"ÑīеÑĢ":116818,"ÑĬÑıв":116819,"Ñĭга":116820,"Ñĭлк":116821,"ÑĭÑħа":116822,"ÑĭÑĪк":116823,"Ñįлл":116824,"ÑıдÑĥ":116825,"Ñıза":116826,"ÑıнÑģ":116827,"ÑıнÑĥ":116828,"ÑijÑĤн":116829,"mber":116830,"ĠÐIJкÑģ":116831,"ĠÐIJкÑĤ":116832,"ĠÐijеÑĤ":116833,"ĠÐijиÑĤ":116834,"ĠÐijÑĥÑħ":116835,"ĠÐijÑĥÑĪ":116836,"ĠÐĴÐľÐ¤":116837,"ĠÐĵай":116838,"ĠÐĵам":116839,"ĠÐĵиб":116840,"ĠÐĵоÑĤ":116841,"ĠÐĶед":116842,"ĠÐĶен":116843,"ĠÐĶÑĥÑĪ":116844,"ĠÐĸак":116845,"ĠÐĹÑĥб":116846,"ĠÐĺзд":116847,"ĠÐĺмÑı":116848,"ĠÐļÐĿÐł":116849,"ĠÐļаÑĪ":116850,"ĠÐļин":116851,"ĠÐļоб":116852,"ĠÐļоÑĪ":116853,"ĠÐĽÐ°Ð¼":116854,"ĠÐĽÐ°Ð½":116855,"ĠÐĽÐµÐ´":116856,"ĠÐĽÐ¸Ð·":116857,"ĠÐĽÐ¾Ðº":116858,"ĠÐľÐĵУ":116859,"ĠÐľÐ§Ð¡":116860,"ĠÐľÐ°Ð¼":116861,"ĠÐľÐ°Ñı":116862,"ĠÐľÐµÐ¶":116863,"ĠÐľÐµÑĤ":116864,"ĠÐľÐµÑĩ":116865,"ĠÐľÑİн":116866,"ĠÐĿÐĺÐĺ":116867,"ĠÐĿеб":116868,"ĠÐĿиÑĨ":116869,"ĠÐŀÑĢд":116870,"ĠÐŁÐµÐº":116871,"ĠÐŁÐ¸Ð½":116872,"ĠÐŁÐ»Ð°":116873,"ĠÐŁÐ¾Ð³":116874,"ĠÐłÐ°Ð²":116875,"ĠÐłÐ°ÑĦ":116876,"ĠÐłÐµÐ³":116877,"ĠÐłÐ¾Ð³":116878,"ĠСаб":116879,"ĠСай":116880,"ĠСей":116881,"ĠСон":116882,"ĠСоÑģ":116883,"ĠТек":116884,"ĠТок":116885,"ĠТон":116886,"ĠУил":116887,"ĠУÑĩа":116888,"ĠÐ¤ÐłÐĵ":116889,"ĠФÑĢа":116890,"ĠХаÑģ":116891,"ĠХоÑĩ":116892,"ĠÐ¦ÐłÐ£":116893,"ĠЧан":116894,"ĠЧÑĥд":116895,"ĠШоÑĤ":116896,"ĠÐŃйн":116897,"ĠÐŃÑĢн":116898,"ĠЮÑĢÑĮ":116899,"Ġгом":116900,"Ġдай":116901,"ĠдаÑĩ":116902,"Ġдиа":116903,"ĠдÑĭÑĪ":116904,"Ġжад":116905,"ĠжÑĥÑĤ":116906,"Ġзол":116907,"Ġико":116908,"ĠкеÑĢ":116909,"ĠкоÑĩ":116910,"ĠкÑĢÑĥ":116911,"ĠкÑĢÑİ":116912,"ĠкÑĥк":116913,"Ġмаз":116914,"ĠмоÑĤ":116915,"ĠмоÑij":116916,"ĠмÑĥÑħ":116917,"ĠнеÑĥ":116918,"ĠоÑĤз":116919,"ĠпÑĥÑĩ":116920,"ĠÑĢÑĤа":116921,"ĠÑĢÑĤÑĥ":116922,"ĠÑĢÑĭÑĩ":116923,"ĠÑģев":116924,"ĠÑģми":116925,"ĠÑĤÑĥÑĩ":116926,"ĠÑĥкÑĢ":116927,"ĠÑĥкÑģ":116928,"ĠÑĥÑĤе":116929,"ĠÑĥÑħо":116930,"ĠÑĩаÑı":116931,"ĠÑĩеÑģ":116932,"ĠÑĩеÑħ":116933,"ĠÑĪеÑĦ":116934,"ĠÑĪип":116935,"ĠÑĪпа":116936,"ĠÑĪÑĢи":116937,"ĠÑįмб":116938,"ĠÑįÑĤн":116939,"ÐĿово":116940,"СÐļÐĺÐĻ":116941,"СÑĤаÑĢ":116942,"ТиÑħо":116943,"Япон":116944,"адзе":116945,"ален":116946,"анÑĤе":116947,"анÑĮÑı":116948,"аÑĤай":116949,"беÑĢн":116950,"биÑĤа":116951,"бÑĢов":116952,"ведÑĮ":116953,"веÑĤв":116954,"вили":116955,"вилÑĮ":116956,"вÑĭÑĪе":116957,"галÑĮ":116958,"гваÑĢ":116959,"гели":116960,"геÑĢо":116961,"гией":116962,"гонÑı":116963,"гÑĢоб":116964,"даÑĢм":116965,"даÑijÑĤ":116966,"денÑĮ":116967,"днÑıÑı":116968,"доÑĢа":116969,"дÑĢоб":116970,"дÑĥва":116971,"евÑĥÑİ":116972,"едеÑĤ":116973,"ежÑĥÑĤ":116974,"ездÑĭ":116975,"елеÑĨ":116976,"елла":116977,"елло":116978,"елÑĮд":116979,"енеб":116980,"еÑĢва":116981,"еÑĢÑĨа":116982,"еÑĤии":116983,"еÑĤÑĤи":116984,"еÑīин":116985,"жнаÑı":116986,"ижÑģк":116987,"изÑĢа":116988,"илла":116989,"илÑĥÑĩ":116990,"илÑĮд":116991,"имиÑĢ":116992,"иÑĤие":116993,"иÑĩен":116994,"иÑĩна":116995,"иÑīев":116996,"канÑĨ":116997,"каÑĢа":116998,"кеÑĢа":116999,"клав":117000,"клин":117001,"кмен":117002,"коÑĢд":117003,"кÑĤоÑĢ":117004,"лега":117005,"леÑĤк":117006,"лово":117007,"лÑĮÑĨÑĭ":117008,"лÑİÑģÑĮ":117009,"манд":117010,"меÑĢÑģ":117011,"молв":117012,"наÑĤа":117013,"ниÑĩа":117014,"овиÑĨ":117015,"ожил":117016,"олей":117017,"омон":117018,"оÑĩеÑĢ":117019,"оÑĪÑijл":117020,"оÑīен":117021,"паÑĢк":117022,"пелÑĮ":117023,"пенÑģ":117024,"пинг":117025,"пиÑĢи":117026,"пиÑģи":117027,"поло":117028,"поÑĢо":117029,"пÑĢиз":117030,"ÑĢамп":117031,"ÑĢанÑĤ":117032,"ÑĢеал":117033,"ÑĢелÑĮ":117034,"ÑĢена":117035,"ÑĢÑĮмÑı":117036,"ÑģайÑĤ":117037,"Ñģион":117038,"Ñģкан":117039,"Ñģман":117040,"ÑģÑĤил":117041,"ÑģÑĥÑĢд":117042,"ÑĤайм":117043,"ÑĤива":117044,"ÑĤизм":117045,"ÑĤилÑĮ":117046,"ÑĤиÑģÑĮ":117047,"ÑĤиÑħи":117048,"ÑĤоÑĢг":117049,"ÑĤÑĢал":117050,"ÑĤÑĢеп":117051,"ÑĤÑĤеÑĢ":117052,"ÑĤÑĭка":117053,"ÑĥдиÑĤ":117054,"ÑĥлÑĮÑĦ":117055,"ÑĥÑĩаÑı":117056,"ÑĥÑĩеб":117057,"ÑĥÑīаÑı":117058,"ÑĥÑīее":117059,"ÑĦилд":117060,"ÑħаÑĢд":117061,"Ñħлад":117062,"ÑĨева":117063,"ÑĩаÑĤк":117064,"Ñĩева":117065,"ÑĩÑĤен":117066,"ÑĪаÑĦÑĤ":117067,"ÑĪнÑıÑı":117068,"Ñĭган":117069,"ÑĭÑģок":117070,"ÑĮего":117071,"ÑįкÑģп":117072,"ÑıÑīее":117073,"ÑıÑīÑĥÑİ":117074,"ÑijÑģÑĤк":117075,"ĠÐIJÑĢÑħи":117076,"ĠÐijалÑĮ":117077,"ĠÐijеÑĢг":117078,"ĠÐĴаÑĪи":117079,"ĠÐĴеÑģÑĤ":117080,"ĠÐĴÑģеÑĢ":117081,"ĠÐĵенн":117082,"ĠÐĵилÑĮ":117083,"ĠÐĵÑĢом":117084,"ĠÐĶжен":117085,"ĠÐĶжим":117086,"ĠÐĶÑĥмÑĭ":117087,"ĠÐķвÑĢо":117088,"ĠÐĸела":117089,"ĠÐļалÑĮ":117090,"ĠÐļинг":117091,"ĠÐļипÑĢ":117092,"ĠÐļÑĢÑĥг":117093,"ĠÐļÑĥÑĢÑģ":117094,"ĠÐĽÐ¸ÑģÑĤ":117095,"ĠÐľÐ°Ñģл":117096,"ĠÐľÑĥÑĢа":117097,"ĠÐĿиже":117098,"ĠÐĿÑĭне":117099,"ĠÐĿÑĮÑİÑĤ":117100,"ĠÐŀдни":117101,"ĠÐŀмÑģк":117102,"ĠÐŀÑģип":117103,"ĠÐŁÐ°Ð¿Ð°":117104,"ĠÐŁÐµÑĢÑĥ":117105,"ĠÐŁÑĢив":117106,"ĠÐŁÑĢок":117107,"ĠÐŁÑģиÑħ":117108,"ĠÐłÐ°ÑģÑĤ":117109,"ĠÐłÐ¾Ð¶Ð´":117110,"ĠСайÑĤ":117111,"ĠСалÑĮ":117112,"ĠСлÑĥж":117113,"ĠСмиÑĢ":117114,"ĠСоло":117115,"ĠСÑĤен":117116,"ĠСÑĥдÑı":117117,"ĠСÑĩиÑĤ":117118,"ĠТÑĢеб":117119,"ĠТÑĢеÑĤ":117120,"ĠУÑģÑĤÑĮ":117121,"ĠЦаÑĢÑĮ":117122,"ĠЦенÑĤ":117123,"ĠЧего":117124,"ĠЧиÑģÑĤ":117125,"ĠШеÑģÑĤ":117126,"ĠЮÑĢиÑı":117127,"ĠазоÑĤ":117128,"Ġанек":117129,"ĠаÑģпи":117130,"ĠбиÑĢж":117131,"ĠвизÑĥ":117132,"ĠвинÑĥ":117133,"ĠвинÑĭ":117134,"ĠвÑģад":117135,"ĠвÑģпл":117136,"Ġгазо":117137,"ĠгоÑĢÑİ":117138,"ĠгÑĥбÑĭ":117139,"Ġдало":117140,"ĠдеÑĤа":117141,"ĠжÑĢеÑĨ":117142,"Ġидее":117143,"Ġизол":117144,"ĠковÑĢ":117145,"Ġкоем":117146,"ĠконÑĮ":117147,"ĠкÑĢÑĭÑģ":117148,"ĠкÑĥлÑĮ":117149,"ĠкÑĥпа":117150,"ĠкÑĥпе":117151,"Ġланд":117152,"Ġлонд":117153,"ĠлÑĥÑĩи":117154,"ĠмаÑĢÑĤ":117155,"Ġмега":117156,"ĠмеÑĢа":117157,"ĠмеÑĤÑĢ":117158,"ĠминÑĥ":117159,"ĠмÑĭÑĪи":117160,"ĠнапÑĢ":117161,"Ġопол":117162,"ĠоÑĤоÑĢ":117163,"ĠоÑīÑĥÑĤ":117164,"ĠпапÑĭ":117165,"ĠпаÑĢе":117166,"ĠплаÑĨ":117167,"Ġплей":117168,"Ġполз":117169,"Ġпооб":117170,"ĠпоÑĢÑĭ":117171,"ĠпÑĭли":117172,"ĠÑģада":117173,"ĠÑģкÑĥп":117174,"ĠÑģлом":117175,"ĠÑģлон":117176,"ĠÑģоло":117177,"ĠÑģоÑģн":117178,"ĠÑģпло":117179,"ĠÑģÑĤаж":117180,"ĠÑģÑĤеÑģ":117181,"ĠÑģÑĥеÑĤ":117182,"ĠÑģÑĥÑĪе":117183,"ĠÑģÑĬед":117184,"ĠÑĤабл":117185,"ĠÑĤвое":117186,"ĠÑĥжин":117187,"ĠÑĥзоÑĢ":117188,"ĠÑĥÑĢод":117189,"ĠÑĥÑĤом":117190,"ĠÑĥÑĩил":117191,"ĠÑĦоÑĢÑģ":117192,"ĠÑħлоÑĢ":117193,"ĠÑĨаÑĢÑİ":117194,"ĠÑİмоÑĢ":117195,"ĠÑıдов":117196,"ÐĹвезд":117197,"ÐļÑĥлÑĮÑĤ":117198,"СибиÑĢ":117199,"адаÑĩа":117200,"акова":117201,"андаÑĪ":117202,"аÑĢнÑĭÑħ":117203,"бегал":117204,"беÑĢга":117205,"беÑĢем":117206,"биÑĢаÑı":117207,"валÑĮд":117208,"везен":117209,"венÑĨи":117210,"водим":117211,"вÑıзки":117212,"гвозд":117213,"гелÑĮÑģ":117214,"деÑĢев":117215,"динав":117216,"ебÑĢÑıн":117217,"емлем":117218,"ендÑĥм":117219,"енÑĮка":117220,"еÑĢман":117221,"еÑģÑĤин":117222,"еÑĤики":117223,"желез":117224,"живал":117225,"иаÑĤÑİÑĢ":117226,"ивале":117227,"ивалÑĮ":117228,"иденÑĤ":117229,"избиÑĢ":117230,"измен":117231,"имвол":117232,"иÑĨизм":117233,"йÑģкаÑı":117234,"казав":117235,"кован":117236,"коÑĢен":117237,"левÑĭм":117238,"леÑĤиÑİ":117239,"ливÑĭм":117240,"логов":117241,"ложив":117242,"лÑĮмен":117243,"лÑĮÑĨев":117244,"лÑİÑģÑĤÑĢ":117245,"лÑıÑĢов":117246,"маÑĢин":117247,"менÑĮÑĪ":117248,"минÑĥÑĤ":117249,"моемÑĥ":117250,"молек":117251,"намен":117252,"ндекÑģ":117253,"нимал":117254,"новой":117255,"новÑĭÑħ":117256,"обеÑīа":117257,"обÑĭÑĤн":117258,"оиÑĤÑģÑı":117259,"около":117260,"оÑĢÑĥжи":117261,"оÑĨикл":117262,"оÑĩайÑĪ":117263,"оÑĩном":117264,"оÑıÑĤÑģÑı":117265,"паÑĢад":117266,"паÑĤÑĢи":117267,"плазм":117268,"полиÑģ":117269,"ÑĢавнÑı":117270,"ÑĢаÑīен":117271,"ÑĢилÑĮи":117272,"ÑĢоÑģло":117273,"ÑĢоÑģÑĤÑĥ":117274,"ÑģбÑĥÑĢг":117275,"ÑģкÑĢом":117276,"ÑģлаÑĤÑĮ":117277,"ÑģмеÑĢÑĤ":117278,"ÑģÑĤнÑĭе":117279,"ÑģÑĤÑĢий":117280,"ÑĤвеÑĢд":117281,"ÑĤекÑģÑĤ":117282,"ÑĥÑĩили":117283,"ÑĦавиÑĤ":117284,"ÑĦедеÑĢ":117285,"ÑĦикаÑĤ":117286,"ÑĦÑĦекÑĤ":117287,"ÑħÑĥдож":117288,"ÑĩаÑĤÑĭе":117289,"ÑĩеÑģÑĤи":117290,"Ñĩиной":117291,"ÑĩнÑĭми":117292,"ÑĪколÑĮ":117293,"ÑīийÑģÑı":117294,"ÑĮевиÑĩ":117295,"ÑĮнÑĭми":117296,"ÑıÑīими":117297,"ĠÐIJбдÑĥл":117298,"ĠÐIJбÑĢам":117299,"ĠÐIJллаÑħ":117300,"ĠÐIJÑĢÑĤем":117301,"ĠÐĴадим":117302,"ĠÐĴдÑĢÑĥг":117303,"ĠÐĴенеÑĢ":117304,"ĠÐĵолÑĥб":117305,"ĠÐĶобав":117306,"ĠÐĺлÑĮин":117307,"ĠÐĺÑĢана":117308,"ĠÐĺÑĢина":117309,"ĠÐļакаÑı":117310,"ĠÐļонÑĤÑĢ":117311,"ĠÐĽÐ°Ð·Ð°ÑĢ":117312,"ĠÐľÐ°ÐºÐ°ÑĢ":117313,"ĠÐľÐ¾Ð»Ð¾Ð´":117314,"ĠÐľÑĥзÑĭк":117315,"ĠÐĿовÑĭе":117316,"ĠÐŀдеÑģÑģ":117317,"ĠÐŀдной":117318,"ĠÐŁÐµÑĢÑģи":117319,"ĠÐŁÐµÑĤеÑĢ":117320,"ĠÐŁÑģков":117321,"ĠСимон":117322,"ĠСлавÑĭ":117323,"ĠСолов":117324,"ĠСÑĥпеÑĢ":117325,"ĠТекÑģÑĤ":117326,"ĠТимоÑĦ":117327,"ĠТокио":117328,"ĠТÑĢамп":117329,"ĠУзбек":117330,"ĠЧеÑĢно":117331,"ĠазиаÑĤ":117332,"ĠаÑĥдио":117333,"ĠбеÑĪен":117334,"ĠбиÑĤва":117335,"ĠблÑİда":117336,"ĠблÑİдо":117337,"ĠбÑĢоÑģа":117338,"ĠбÑĭвал":117339,"ĠвздоÑħ":117340,"ĠвождÑı":117341,"ĠвÑģпом":117342,"ĠвÑģÑİдÑĥ":117343,"ĠвÑĤоÑĢг":117344,"ĠвÑĭжив":117345,"ĠгомоÑģ":117346,"ĠгоÑĢло":117347,"ĠгÑĢÑĥнÑĤ":117348,"Ġдиван":117349,"ĠдомаÑħ":117350,"Ġдомом":117351,"ĠдоÑģка":117352,"ĠдÑĢамÑĭ":117353,"ĠдÑĥÑĪой":117354,"Ġжизне":117355,"ĠжилÑĭÑħ":117356,"ĠжилÑĮÑı":117357,"ĠжÑijÑģÑĤк":117358,"ĠзавеÑĤ":117359,"ĠзакаÑĤ":117360,"Ġзалог":117361,"ĠзанÑıв":117362,"ĠзаÑĢаж":117363,"ĠзаÑĢаз":117364,"Ġзвали":117365,"ĠзеÑĢна":117366,"ĠзнаÑĤн":117367,"Ġинжен":117368,"ĠиÑģпол":117369,"ĠиÑģпÑĥг":117370,"Ġквали":117371,"ĠклаÑģÑĤ":117372,"ĠкоÑĩев":117373,"ĠкÑĢÑĭлÑĮ":117374,"ĠкÑĥÑģки":117375,"ĠкÑĥÑħне":117376,"ĠлевÑĭй":117377,"ĠлеÑģаÑħ":117378,"ĠлеÑģов":117379,"ĠлиÑģÑĤа":117380,"Ġложно":117381,"ĠлопаÑĤ":117382,"ĠлÑĮгоÑĤ":117383,"ĠмакÑĢо":117384,"Ġмедиа":117385,"ĠмеÑĩÑĤÑĭ":117386,"ĠмоÑĪен":117387,"Ġнадоб":117388,"ĠналеÑĤ":117389,"ĠнаÑĢеÑĩ":117390,"Ġнежно":117391,"ĠнеÑĢаз":117392,"ĠнеÑģÑĥÑĤ":117393,"ĠногаÑħ":117394,"ĠноÑĢма":117395,"Ġоблом":117396,"ĠоплаÑĤ":117397,"Ġоппон":117398,"ĠоÑģлеп":117399,"ĠпалÑĥб":117400,"ĠплаÑĤо":117401,"ĠплемÑı":117402,"ĠплеÑĩо":117403,"Ġподел":117404,"ĠпоиÑģÑĤ":117405,"ĠполÑıÑħ":117406,"ĠпомеÑħ":117407,"ĠпопеÑĢ":117408,"ĠпоÑĤоп":117409,"ĠпоÑįмÑĭ":117410,"ĠпÑĢавÑĥ":117411,"ĠпÑĢедÑĪ":117412,"ĠпÑĢоÑĩÑĤ":117413,"ĠпÑĢÑĭга":117414,"ĠпÑıÑĤеÑĢ":117415,"ĠÑĢабов":117416,"ĠÑĢелиз":117417,"ĠÑĢемон":117418,"ĠÑĢеÑĦеÑĢ":117419,"ĠÑĢеÑĪен":117420,"ĠÑĢиÑģка":117421,"ĠÑĢÑĭÑĩаг":117422,"ĠÑģапог":117423,"ĠÑģаÑĤиÑĢ":117424,"ĠÑģвоев":117425,"ĠÑģдвиг":117426,"ĠÑģедÑĮм":117427,"ĠÑģенаÑĤ":117428,"ĠÑģлезÑĭ":117429,"ĠÑģлове":117430,"ĠÑģлоев":117431,"ĠÑģлÑĥжи":117432,"ĠÑģменÑĭ":117433,"ĠÑģмÑıгÑĩ":117434,"ĠÑģобÑĢа":117435,"ĠÑģÑĤаÑĢо":117436,"ĠÑģÑĤаÑĨи":117437,"ĠÑģÑĤенÑĥ":117438,"ĠÑģÑĥÑħой":117439,"ĠÑģÑĦеÑĢÑĥ":117440,"ĠÑģÑħемÑĥ":117441,"ĠÑģÑĭгÑĢа":117442,"ĠÑģÑĭÑĢÑĮÑı":117443,"ĠÑĤайнÑĥ":117444,"ĠÑĤеÑģÑĤа":117445,"ĠÑĤолÑģÑĤ":117446,"ĠÑĤÑĢебÑĥ":117447,"ĠÑĤÑĢеÑĤи":117448,"ĠÑĤÑĥпик":117449,"ĠÑĥбийÑĨ":117450,"ĠÑĥбили":117451,"ĠÑĥбиÑĤÑĭ":117452,"ĠÑĥвлек":117453,"ĠÑĥдалÑı":117454,"ĠÑĥклад":117455,"ĠÑĥкÑģÑĥÑģ":117456,"ĠÑĥлÑĭба":117457,"ĠÑĥÑĢоки":117458,"ĠÑĥÑģлож":117459,"ĠÑĥÑĤопи":117460,"ĠÑĦÑĢазÑĥ":117461,"ĠÑħимик":117462,"ĠÑħодиÑĤ":117463,"ĠÑħÑĢаме":117464,"ĠÑĩеÑĢÑĤа":117465,"ĠÑĪаÑĢик":117466,"ĠÑĪаÑģÑģи":117467,"ĠÑĪÑĢиÑĦÑĤ":117468,"ÐIJнджел":117469,"ÐĴаÑĢÑĪав":117470,"ÐľÐ¾Ñģква":117471,"ÐŀбÑĬекÑĤ":117472,"авÑĪиÑģÑĮ":117473,"алиÑģÑĤа":117474,"аннÑĭми":117475,"аплива":117476,"аÑģÑģоÑĨи":117477,"биÑĢаем":117478,"гваÑĢде":117479,"гÑĢÑĥжен":117480,"даннÑĭе":117481,"даÑijÑĤÑģÑı":117482,"движен":117483,"деÑĢжиÑĤ":117484,"енбеÑĢг":117485,"западÑĥ":117486,"изаÑĤоÑĢ":117487,"илÑĮнÑĭй":117488,"инÑĤенÑģ":117489,"иÑĨионн":117490,"кавказ":117491,"коÑģмон":117492,"кÑĢаÑĪен":117493,"кÑĢÑĭÑĤиÑı":117494,"ладиÑĤÑĮ":117495,"ленной":117496,"леннÑĭм":117497,"леÑĤним":117498,"леÑĤнÑİÑİ":117499,"лоÑĢода":117500,"лÑĮÑģкаÑı":117501,"лÑĮÑģкой":117502,"майоÑĢа":117503,"макÑģим":117504,"меÑĤÑĢиÑĩ":117505,"надлеж":117506,"наÑĢÑĥжи":117507,"ненÑĥжн":117508,"одоÑĢог":117509,"ождени":117510,"ожение":117511,"онÑĩиÑĤÑĮ":117512,"оÑĤеаÑĤÑĢ":117513,"оÑĩнÑĭми":117514,"пÑĢавда":117515,"пÑĢавка":117516,"ÑĢагива":117517,"ÑĢодолж":117518,"ÑĢомиÑģÑģ":117519,"Ñģажива":117520,"ÑģилÑĮно":117521,"ÑģлавÑıн":117522,"Ñģонала":117523,"ÑģÑĤавив":117524,"ÑģÑĤÑĥпаÑı":117525,"ÑģÑĩиÑĤал":117526,"ÑĤеÑĢеÑĤÑĮ":117527,"ÑĤолков":117528,"ÑĤоÑĩнÑĭÑħ":117529,"ÑĨензÑĥÑĢ":117530,"ÑĩеÑĤвеÑĢ":117531,"Ñĩиками":117532,"ÑĪников":117533,"ĠÐIJнглиÑı":117534,"ĠÐIJÑģÑĤÑĢаÑħ":117535,"ĠÐijалÑĤий":117536,"ĠÐijиблии":117537,"ĠÐĴеÑģной":117538,"ĠÐĴладив":117539,"ĠÐĴнÑĥÑĤÑĢи":117540,"ĠÐĴозник":117541,"ĠÐĴÑģемиÑĢ":117542,"ĠÐĵоголÑı":117543,"ĠÐĶонеÑĨк":117544,"ĠÐķвÑĢопа":117545,"ĠÐķгипÑĤе":117546,"ĠÐķÑģенин":117547,"ĠÐĹадаÑĩа":117548,"ĠÐĹвездÑĭ":117549,"ĠÐĺзвеÑģÑĤ":117550,"ĠÐļазани":117551,"ĠÐļоммÑĥн":117552,"ĠÐļоÑĢолÑĮ":117553,"ĠÐĿаÑĢÑıдÑĥ":117554,"ĠÐĿÑĮÑİÑĤон":117555,"ĠÐŁÐ¾Ð»ÑĤав":117556,"ĠÐŁÐ¾ÑĩÑijÑĤн":117557,"ĠÐŁÑĢиним":117558,"ĠÐŁÑĢиÑĢод":117559,"ĠÐłÐ°Ð·Ð¼ÐµÑĢ":117560,"ĠÐłÐ°Ð½ÑĮÑĪе":117561,"ĠÐłÐµÐ¶Ð¸ÑģÑģ":117562,"ĠСоÑģÑĤав":117563,"ĠТÑĢеÑĤий":117564,"ĠТÑĢÑĥдно":117565,"ĠШÑĤаÑĤов":117566,"ĠÐŃдваÑĢд":117567,"ĠабÑģÑĥÑĢд":117568,"ĠагенÑĤа":117569,"ĠаккÑĥмÑĥ":117570,"ĠаналиÑĤ":117571,"Ġаноним":117572,"ĠаÑĢендÑĥ":117573,"ĠаÑĢеÑģÑĤа":117574,"ĠбакÑĤеÑĢ":117575,"ĠбалеÑĤа":117576,"Ġбоевик":117577,"ĠбоиÑĤÑģÑı":117578,"ĠбÑĥлÑĮон":117579,"Ġважнее":117580,"Ġважной":117581,"ĠваÑĪемÑĥ":117582,"Ġвелика":117583,"ĠвеÑĢнее":117584,"ĠвеÑĢÑĪин":117585,"Ġвладел":117586,"ĠвнеÑģÑĤи":117587,"Ġвоевал":117588,"Ġвознаг":117589,"ĠвоÑģÑħиÑī":117590,"ĠвÑĢагом":117591,"ĠвÑĢемÑijн":117592,"ĠвÑĭбоÑĢе":117593,"ĠвÑĭеÑħал":117594,"ĠвÑĭÑģÑĪим":117595,"ĠвÑĭÑıвлÑı":117596,"ĠглÑĥбже":117597,"ĠданнаÑı":117598,"Ġделаем":117599,"ĠдобÑĭÑĩи":117600,"Ġдолгие":117601,"Ġдолине":117602,"ĠдоÑĢоже":117603,"ĠдÑĢÑĥжин":117604,"ĠединÑĭй":117605,"Ġжелезо":117606,"ĠжелезÑĭ":117607,"Ġживого":117608,"ĠзабÑĢал":117609,"ĠзаводÑĭ":117610,"Ġзадней":117611,"ĠзвÑĥÑĩал":117612,"Ġзелено":117613,"ĠизÑĥÑĩен":117614,"ĠиÑģÑĤина":117615,"ĠиÑģÑĤинÑĥ":117616,"ĠиÑĤогов":117617,"ĠкамеÑĢÑĥ":117618,"ĠкапелÑĮ":117619,"ĠкнÑıзÑĮÑı":117620,"Ġколени":117621,"ĠкомпеÑĤ":117622,"ĠкоÑĢенÑĮ":117623,"ĠкоÑĢзин":117624,"ĠкоÑĢолÑİ":117625,"ĠкÑĢÑĥгом":117626,"Ġлевого":117627,"Ġлегенд":117628,"Ġлегкой":117629,"ĠлиÑĩное":117630,"ĠлиÑĩном":117631,"Ġлогики":117632,"ĠлÑĥÑĩÑĪей":117633,"ĠлÑĥÑĩÑĪÑĥÑİ":117634,"ĠлÑİбомÑĥ":117635,"Ġмалого":117636,"ĠмаÑĢÑĪал":117637,"ĠмаÑģÑģаж":117638,"ĠмаÑĪино":117639,"ĠмебелÑĮ":117640,"ĠмикÑĢоб":117641,"ĠмодÑĥлÑĮ":117642,"ĠмодÑĥлÑı":117643,"ĠмонеÑĤÑĭ":117644,"ĠмоÑĢали":117645,"ĠмоÑĤивÑĭ":117646,"ĠмоÑīнÑĭй":117647,"ĠмоÑīнÑĭм":117648,"ĠнабоÑĢа":117649,"ĠназÑĭва":117650,"ĠнаÑģÑĩеÑĤ":117651,"ĠнаÑĩнÑĥÑĤ":117652,"ĠневеÑģÑĤ":117653,"ĠниÑĩÑĤож":117654,"ĠновейÑĪ":117655,"ĠноÑģили":117656,"ĠобÑĢазе":117657,"ĠокÑĢаин":117658,"ĠопÑĥÑģка":117659,"ĠоÑĢаÑĤоÑĢ":117660,"ĠоÑģобÑĥÑİ":117661,"ĠоÑģобÑĭе":117662,"ĠоÑĤзÑĭва":117663,"ĠоÑĤлиÑĩи":117664,"ĠоÑĩиÑīен":117665,"ĠпалÑĮÑĨа":117666,"ĠпионеÑĢ":117667,"ĠплоÑħой":117668,"ĠподаÑĩи":117669,"ĠподÑĢÑĭв":117670,"Ġпоказа":117671,"ĠпонÑıла":117672,"ĠпопÑĥлÑı":117673,"ĠпоÑģÑĤаÑĢ":117674,"ĠпоÑĤÑĢÑıÑģ":117675,"ĠпÑĢавдÑĭ":117676,"ĠпÑĢавÑĭй":117677,"ĠпÑĢенеб":117678,"ĠпÑĢиваÑĤ":117679,"ĠпÑĢинÑĥд":117680,"ĠпÑĢиÑĤом":117681,"ĠпÑĢодал":117682,"ĠпÑĢодан":117683,"ĠÑĢавнÑĭÑħ":117684,"ĠÑĢазвал":117685,"ĠÑĢазвил":117686,"ĠÑĢазмеÑī":117687,"ĠÑĢазÑĢез":117688,"ĠÑĢазÑĬÑıÑģ":117689,"ĠÑĢаненÑĭ":117690,"ĠÑĢанней":117691,"ĠÑĢегÑĥли":117692,"ĠÑĢиÑģков":117693,"ĠÑĢодине":117694,"ĠÑĢÑĥбеже":117695,"ĠÑģвеÑĤом":117696,"ĠÑģевеÑĢа":117697,"ĠÑģемена":117698,"ĠÑģемÑĮей":117699,"ĠÑģлÑĭÑĪиÑĤ":117700,"ĠÑģмоÑĤÑĢи":117701,"ĠÑģовÑħоз":117702,"ĠÑģообÑīа":117703,"ĠÑģоÑĤвоÑĢ":117704,"ĠÑģпеÑĢва":117705,"ĠÑģÑĤаÑĢин":117706,"ĠÑģÑĤенаÑħ":117707,"ĠÑģÑĤиÑħий":117708,"ĠÑģÑĥлÑĤан":117709,"ĠÑģÑĥмели":117710,"ĠÑģÑĥÑĢово":117711,"ĠÑģÑĬезде":117712,"ĠÑĤеÑĢакÑĤ":117713,"ĠÑĤÑĢеÑīин":117714,"ĠÑĤÑĢиждÑĭ":117715,"ĠÑĤÑĢÑĥбкÑĥ":117716,"ĠÑĤÑĭÑģÑıÑĩÑĥ":117717,"ĠÑĥвидим":117718,"ĠÑĥволен":117719,"ĠÑĥпоÑĢÑıд":117720,"ĠÑĥÑĤоÑĩнÑı":117721,"ĠÑĥÑĩебно":117722,"ĠÑĥÑĩеÑģÑĤÑĮ":117723,"ĠÑĥÑĩÑijнÑĭй":117724,"ĠÑĦеÑĢмеÑĢ":117725,"ĠÑħиÑīник":117726,"ĠÑħозÑıев":117727,"ĠÑħоккей":117728,"ĠÑħÑĢамов":117729,"ĠÑĨелоÑģÑĤ":117730,"ĠÑĨиÑĦÑĢов":117731,"ĠÑĩеÑĢнÑĭе":117732,"ĠÑĩеÑĢÑĤеж":117733,"ĠÑĩеÑģнок":117734,"ĠÑĪиÑĢина":117735,"ĠÑĪколаÑħ":117736,"ĠÑįмоÑĨий":117737,"ĠÑįнÑĤÑĥзи":117738,"ĠÑıдовиÑĤ":117739,"ÐĵазпÑĢом":117740,"ÐĺÑģÑĤоÑĢиÑı":117741,"ÐļÑĥлÑĮÑĤÑĥÑĢ":117742,"адмиÑĢал":117743,"аппаÑĢаÑĤ":117744,"аÑĤайÑģÑĤв":117745,"безопаÑģ":117746,"биÑĢалÑģÑı":117747,"бÑĢаÑĤÑĮÑģÑı":117748,"виÑĤамин":117749,"воÑģÑĤокÑĥ":117750,"вÑĢаÑĤиÑĤÑĮ":117751,"доÑħнÑĥÑĤÑĮ":117752,"изаÑĨией":117753,"иÑĢована":117754,"иÑĢÑĥÑİÑīиÑħ":117755,"иÑģÑĤÑģкой":117756,"казÑĭваÑİ":117757,"канÑĨлеÑĢ":117758,"коÑĢмиÑĤÑĮ":117759,"кÑĢÑĥÑĩива":117760,"ливоÑģÑĤÑĮ":117761,"менÑĤалÑĮ":117762,"мигÑĢанÑĤ":117763,"моÑĢÑģкой":117764,"ниÑĩеÑģÑĤв":117765,"новÑģкий":117766,"овавÑĪий":117767,"ованнÑĭе":117768,"ованнÑĭй":117769,"ованнÑĭÑħ":117770,"оÑĦеÑģÑģоÑĢ":117771,"пиÑģаниÑı":117772,"полниÑĤÑĮ":117773,"пÑĥÑģкаеÑĤ":117774,"ÑĢаÑģÑĤаеÑĤ":117775,"ÑĢебован":117776,"ÑĢегÑĥлÑıÑĢ":117777,"ÑĢенбÑĥÑĢг":117778,"Ñģелении":117779,"ÑģмоÑĤÑĢел":117780,"ÑģÑĤавлÑıÑı":117781,"ÑģÑĤÑĢаÑĤег":117782,"ÑģÑĤÑĢоиÑĤÑĮ":117783,"ÑģÑĤÑĢойкÑĥ":117784,"ÑģÑĤÑĥплен":117785,"ÑĤаÑģкива":117786,"ÑĤолкнÑĥл":117787,"ÑĦилоÑģоÑĦ":117788,"ÑħодÑıÑīее":117789,"ÑħодÑıÑīей":117790,"ÑĩаÑģÑĤлив":117791,"ÑĩеÑĤвеÑĢÑĤ":117792,"ÑĪедÑĪего":117793,"ĠÐIJмеÑĢикÑĥ":117794,"ĠÐijелÑĮгии":117795,"ĠÐijолÑĮÑĪое":117796,"ĠÐĴикÑĤоÑĢа":117797,"ĠÐĵовоÑĢÑıÑĤ":117798,"ĠÐĵÑĢигоÑĢÑĮ":117799,"ĠÐĶеÑĢевнÑı":117800,"ĠÐĶоговоÑĢ":117801,"ĠÐķвгениÑı":117802,"ĠÐĸенÑīина":117803,"ĠÐĺзÑĢаиле":117804,"ĠÐļавказа":117805,"ĠÐļажеÑĤÑģÑı":117806,"ĠÐļапиÑĤан":117807,"ĠÐľÐ¾Ð»Ð¾ÑĤов":117808,"ĠÐľÐ¾ÑĢозов":117809,"ĠÐŁÐ¾Ð»ÑĥÑĩил":117810,"ĠÐŁÑĢемÑĮеÑĢ":117811,"ĠÐłÑĥÑģÑģкий":117812,"ĠСаÑĢаÑĤов":117813,"ĠСмиÑĢнов":117814,"ĠСоломон":117815,"ĠСÑĢедней":117816,"ĠСÑĢеднÑıÑı":117817,"ĠУкÑĢаинÑĥ":117818,"ĠÐŃнгелÑĮÑģ":117819,"ĠÐŃÑģÑĤонии":117820,"ĠагенÑĤов":117821,"ĠалÑĦавиÑĤ":117822,"ĠанекдоÑĤ":117823,"ĠаÑģпекÑĤÑĭ":117824,"ĠбабÑĥÑĪка":117825,"ĠбогаÑĤÑĭÑħ":117826,"ĠведÑĥÑīий":117827,"ĠвеÑĢÑĪине":117828,"ĠвеÑĢÑĪинÑĭ":117829,"ĠвнеÑĪние":117830,"ĠвоеннаÑı":117831,"ĠвозвÑĭÑĪа":117832,"ĠвойÑģкам":117833,"ĠвопÑĢоÑģе":117834,"ĠвоÑģÑĤокÑĥ":117835,"ĠвÑģеÑĢÑĮез":117836,"ĠвÑĤоÑĢиÑĩн":117837,"ĠвÑĭÑģокое":117838,"ĠгоÑģпода":117839,"ĠделегаÑĤ":117840,"ĠдепÑĢеÑģÑģ":117841,"ĠдеÑĤÑģкий":117842,"ĠдлиннÑĭй":117843,"ĠдовеÑĢиÑı":117844,"ĠдовеÑģÑĤи":117845,"ĠдоÑĩеÑĢÑĮÑİ":117846,"ĠдÑĥмаеÑĤе":117847,"ĠдÑĥÑħовен":117848,"ĠепаÑĢÑħии":117849,"ĠжелÑĥдка":117850,"ĠзавеÑĢÑĪа":117851,"ĠзавиÑģÑıÑĤ":117852,"Ġзаводов":117853,"Ġзаданий":117854,"ĠзакÑĢÑĭÑĤÑĮ":117855,"Ġзаменен":117856,"ĠзапиÑģей":117857,"ĠзаÑĤÑĢаÑĤÑĭ":117858,"ĠздоÑĢово":117859,"ĠзолоÑĤом":117860,"ĠзолоÑĤÑĭе":117861,"ĠизнÑĥÑĤÑĢи":117862,"ĠизобÑĢаз":117863,"ĠимеÑİÑīий":117864,"Ġинвалид":117865,"ĠиÑģкажен":117866,"Ġканалов":117867,"ĠклаÑģÑĤеÑĢ":117868,"ĠколоннÑĭ":117869,"ĠкомнаÑĤа":117870,"ĠкÑĢаÑģной":117871,"ĠкÑĢиÑĤике":117872,"Ġлегенда":117873,"ĠлидеÑĢом":117874,"ĠмиÑĢовоз":117875,"ĠмиÑĢовÑĭÑħ":117876,"ĠмÑĥжÑģкой":117877,"ĠнагÑĢадÑĥ":117878,"ĠнадеждÑĥ":117879,"Ġнадолго":117880,"Ġназвана":117881,"ĠнайденÑĭ":117882,"ĠналиÑĩиÑı":117883,"ĠнамеÑĩен":117884,"ĠнанеÑģен":117885,"ĠнаполнÑı":117886,"ĠнаÑĢÑĥжно":117887,"ĠнаÑģилие":117888,"ĠневеÑĢно":117889,"ĠобоÑĢоне":117890,"Ġожидаем":117891,"ĠоÑĢганаÑħ":117892,"ĠоÑģадков":117893,"ĠоÑĤдален":117894,"ĠоÑĤноÑģÑıÑī":117895,"ĠоÑĤÑĢÑıдов":117896,"ĠпеÑĢевал":117897,"ĠпеÑĢеезд":117898,"ĠпеÑĢеÑĢÑĭв":117899,"ĠпеÑĢиодÑĭ":117900,"ĠпожеÑĢÑĤв":117901,"Ġпозвоно":117902,"ĠпоздÑĢав":117903,"ĠпокÑĥпки":117904,"ĠпоÑĢазил":117905,"ĠпоÑģовеÑĤ":117906,"ĠпоÑģÑĢеди":117907,"ĠпоÑĤеÑĢÑıн":117908,"ĠпÑĢавого":117909,"ĠпÑĢебÑĭва":117910,"ĠпÑĢевÑĭÑĪа":117911,"ĠпÑĢибÑĢеж":117912,"ĠпÑĢиглаÑĪ":117913,"ĠпÑĢиÑģлал":117914,"ĠпÑĢиÑģÑĥÑīи":117915,"ĠпÑĢиÑĩаÑģÑĤ":117916,"ĠпÑĢиÑĩинÑĥ":117917,"ĠпÑĢовела":117918,"ĠпÑĢодажÑĥ":117919,"ĠпÑĢопÑĥÑģк":117920,"ĠпÑĢоÑģÑĮбе":117921,"ĠпÑĢоÑĦилÑĮ":117922,"ĠпÑĢоÑħлад":117923,"ĠпÑĢÑıмого":117924,"ĠпÑĥблики":117925,"ĠпÑĥлемÑijÑĤ":117926,"ĠÑĢабоÑĩим":117927,"ĠÑĢазбиÑĢа":117928,"ĠÑĢазÑĢÑĥÑĪи":117929,"ĠÑĢазÑĢÑĭва":117930,"ĠÑĢанениÑı":117931,"ĠÑĢаненÑĭÑħ":117932,"ĠÑĢеакÑĤоÑĢ":117933,"ĠÑĢебÑijнка":117934,"ĠÑĢемонÑĤа":117935,"ĠÑĢенÑĤген":117936,"ĠÑĢиÑģÑĥнка":117937,"ĠÑĢиÑģÑĥнок":117938,"ĠÑĢÑĥÑģÑģкÑĥÑİ":117939,"ĠÑģанкÑĨии":117940,"ĠÑģделанÑĭ":117941,"ĠÑģекÑĤоÑĢа":117942,"ĠÑģигналÑĭ":117943,"ĠÑģловаÑĢÑĮ":117944,"ĠÑģложнÑĭй":117945,"ĠÑģлÑĥжили":117946,"ĠÑģлÑĭÑĪали":117947,"ĠÑģмоÑĤÑĢÑıÑĤ":117948,"ĠÑģнабжен":117949,"ĠÑģнимаеÑĤ":117950,"ĠÑģовеÑĢÑĪа":117951,"ĠÑģоглаÑģи":117952,"ĠÑģозеÑĢÑĨа":117953,"ĠÑģокÑĢаÑīа":117954,"ĠÑģоÑģедей":117955,"ĠÑģоÑħÑĢанÑı":117956,"ĠÑģÑĢедние":117957,"ĠÑģÑĤанÑĨий":117958,"ĠÑģÑĤанÑĨиÑİ":117959,"ĠÑģÑĥвеÑĢен":117960,"ĠÑģÑħваÑĤил":117961,"ĠÑģÑĭгÑĢала":117962,"ĠÑģÑĭгÑĢаÑĤÑĮ":117963,"ĠÑĤаблиÑĨе":117964,"ĠÑĤеÑĢапии":117965,"ĠÑĤеÑĩении":117966,"ĠÑĤÑĢеÑĤÑĮим":117967,"ĠÑĤÑĭÑģÑıÑĩел":117968,"ĠÑĥвидела":117969,"ĠÑĥдалиÑĤÑĮ":117970,"ĠÑĥказано":117971,"ĠÑĥменÑĮÑĪа":117972,"ĠÑĥмиÑĢаеÑĤ":117973,"ĠÑĥÑĢовней":117974,"ĠÑĥÑģÑĤÑĢоил":117975,"ĠÑĥÑĤÑĢаÑĤил":117976,"ĠÑĥÑĤÑĢаÑĩен":117977,"ĠÑĥÑĩеника":117978,"ĠÑĥÑĩеного":117979,"ĠÑĦабÑĢика":117980,"ĠÑĦалÑĮÑĪив":117981,"ĠÑĦикÑģиÑĢÑĥ":117982,"ĠÑĦилÑĮмаÑħ":117983,"ĠÑĦоÑĢмаÑĤе":117984,"ĠÑħваÑĤило":117985,"ĠÑħоÑĢоÑĪиÑħ":117986,"ĠÑĩаÑģÑĤоÑĤÑĭ":117987,"ĠÑĩеÑĢного":117988,"ĠÑĪиÑĢиной":117989,"ÐIJнджелеÑģ":117990,"аÑĤелÑĮной":117991,"аÑĨионнÑĭй":117992,"аÑĨионнÑĭÑħ":117993,"вÑĢаÑīениÑı":117994,"даваÑĤÑĮÑģÑı":117995,"изиÑĢовал":117996,"илизаÑĨии":117997,"инÑĤенÑģив":117998,"иÑĦикаÑĤоÑĢ":117999,"казанное":118000,"кладÑĭвал":118001,"менÑıеÑĤÑģÑı":118002,"мÑĭÑģленно":118003,"ноÑģиÑĤелÑı":118004,"нÑĥÑĤÑĢенне":118005,"позиÑĨион":118006,"пÑĢеделен":118007,"ÑĤиÑĩеÑģком":118008,"ÑĤÑıгиваеÑĤ":118009,"ĠÐIJÑģÑĤÑĢаÑħан":118010,"ĠÐĵоÑĢбаÑĩев":118011,"ĠÐļонгÑĢеÑģÑģ":118012,"ĠÐĿапÑĢоÑĤив":118013,"ĠСÑĢедизем":118014,"ĠÐ¥ÑĢиÑģÑĤиан":118015,"ĠÐ¥Ñĥдожник":118016,"Ġавиакомп":118017,"ĠавÑģÑĤÑĢали":118018,"ĠакадемиÑİ":118019,"ĠакÑĤивной":118020,"ĠакÑĤивнÑĭÑħ":118021,"ĠблеÑģÑĤÑıÑīе":118022,"ĠблизоÑģÑĤи":118023,"ĠболÑĮÑĪего":118024,"ĠбÑĭÑģÑĤÑĢого":118025,"ĠваÑĢианÑĤе":118026,"ĠвведениÑı":118027,"ĠвелиÑĩина":118028,"ĠвклÑİÑĩаÑĤÑĮ":118029,"ĠвладелеÑĨ":118030,"Ġвладение":118031,"ĠвлаÑģÑĤÑıми":118032,"ĠвозбÑĥжда":118033,"ĠвопÑĢоÑģаÑħ":118034,"ĠвÑģÑĤÑĥпиÑĤÑĮ":118035,"ĠвÑĭдвинÑĥÑĤ":118036,"ĠвÑĭдеÑĢжал":118037,"Ġгимназии":118038,"ĠгоÑĤовиÑĤÑĮ":118039,"ĠдвижеÑĤÑģÑı":118040,"ĠдолжноÑģÑĤ":118041,"ĠдоÑģÑĤигал":118042,"ĠдоÑģÑĤигла":118043,"ĠдоÑģÑĤойно":118044,"ĠжелезнÑĭÑħ":118045,"ĠзадейÑģÑĤв":118046,"ĠзаклÑİÑĩÑijн":118047,"Ġзапомнил":118048,"ĠзапÑĢеÑĤил":118049,"ĠзаÑĢÑĥбежн":118050,"ĠзнакомÑĭй":118051,"ĠинвеÑģÑĤоÑĢ":118052,"ĠинженеÑĢа":118053,"ĠиÑģÑĤоÑĢики":118054,"ĠиÑģÑĤоÑĢико":118055,"ĠиÑģÑĩезаеÑĤ":118056,"ĠкабинеÑĤа":118057,"ĠкабинеÑĤе":118058,"ĠкаÑĢандаÑĪ":118059,"ĠкомÑģомол":118060,"ĠконÑĤакÑĤÑĭ":118061,"ĠкоÑĢоÑĤкие":118062,"ĠкоÑĢоÑĤкое":118063,"ĠкÑĢÑĥпнÑĭми":118064,"ĠландÑĪаÑĦÑĤ":118065,"ĠлондонÑģк":118066,"Ġмагазине":118067,"ĠмаÑģÑģовÑĭÑħ":118068,"ĠмемоÑĢиал":118069,"ĠмеÑĤодами":118070,"ĠминиаÑĤÑİÑĢ":118071,"ĠмоÑĤоÑĨикл":118072,"ĠмÑĥдÑĢоÑģÑĤÑĮ":118073,"ĠмÑĥжÑģкого":118074,"Ġнакоплен":118075,"ĠнапиÑģанÑĭ":118076,"ĠнаÑĢоднÑĭй":118077,"ĠневолÑĮно":118078,"ĠнемеÑĨком":118079,"ĠнеобÑĭÑĩно":118080,"ĠнеÑģÑĩаÑģÑĤÑĮ":118081,"Ġобновлен":118082,"ĠобойÑĤиÑģÑĮ":118083,"ĠобÑģÑĥждал":118084,"ĠобÑĬÑıвили":118085,"ĠогÑĢомнÑĭм":118086,"ĠоппоненÑĤ":118087,"ĠопÑĢавдан":118088,"ĠоÑģмÑĭÑģлен":118089,"ĠоÑģновнÑĥÑİ":118090,"ĠоÑģновÑĭва":118091,"ĠоÑģÑĤавлÑıл":118092,"ĠоÑĤвеÑĤила":118093,"ĠоÑĤказÑĭва":118094,"ĠоÑĤкÑĢÑĭÑĤÑĭй":118095,"ĠоÑĤкÑĢÑĭÑĤÑĭÑħ":118096,"ĠоÑĤмеÑĤили":118097,"ĠоÑĩиÑģÑĤиÑĤÑĮ":118098,"ĠпалÑĮÑĨами":118099,"ĠпаÑĢÑĤнеÑĢа":118100,"ĠпеÑĢедаÑĩа":118101,"ĠпеÑĢедней":118102,"ĠпеÑĢеÑħваÑĤ":118103,"ĠпиÑģаÑĤели":118104,"ĠплаÑĨдаÑĢм":118105,"ĠплоÑīадке":118106,"ĠплоÑīадки":118107,"ĠповеÑĢиÑĤÑĮ":118108,"ĠповеÑĢнÑĥл":118109,"ĠповÑĤоÑĢил":118110,"ĠповÑĤоÑĢно":118111,"ĠповÑĭÑģиÑĤÑĮ":118112,"ĠпогÑĢÑĥжен":118113,"ĠподобнÑĭй":118114,"ĠподобнÑĭм":118115,"ĠподÑħодил":118116,"ĠпоиÑģÑĤине":118117,"Ġпоказала":118118,"ĠполагаеÑĤ":118119,"ĠполагаÑĤÑĮ":118120,"ĠполагаÑİÑĤ":118121,"Ġположено":118122,"ĠпонаÑĩалÑĥ":118123,"ĠпообеÑīал":118124,"ĠпопадаÑİÑĤ":118125,"ĠпопÑĢоÑģÑĤÑĥ":118126,"ĠпоÑģвÑıÑĤил":118127,"ĠпоÑģÑĤавки":118128,"ĠпоÑĤеÑĢпев":118129,"ĠпоÑĤеÑĢÑıÑĤÑĮ":118130,"ĠпоÑĤÑĢÑıÑģен":118131,"ĠпÑĢибоÑĢов":118132,"ĠпÑĢиведеÑĤ":118133,"ĠпÑĢиводил":118134,"ĠпÑĢивÑĭкли":118135,"ĠпÑĢидÑĥмал":118136,"ĠпÑĢиеÑħали":118137,"ĠпÑĢинеÑģли":118138,"ĠпÑĢиÑĢодой":118139,"ĠпÑĢоблеме":118140,"ĠпÑĢовеÑĢка":118141,"ĠпÑĢовеÑĢкÑĥ":118142,"ĠпÑĢомежÑĥÑĤ":118143,"ĠпÑĢопÑĥÑģка":118144,"ĠпÑĢоÑģÑĤейÑĪ":118145,"ĠпÑĢоÑĤеÑģÑĤа":118146,"ĠпÑĢоÑĩиÑĤал":118147,"ĠÑĢадоÑģÑĤÑĮÑİ":118148,"ĠÑĢазÑĢеÑĪен":118149,"ĠÑĢаÑģпоÑĢÑıд":118150,"ĠÑĢаÑģÑģкажÑĥ":118151,"ĠÑĢеалÑĮнÑĭе":118152,"ĠÑĢÑĥкопиÑģи":118153,"ĠÑģелÑĮÑģкий":118154,"ĠÑģелÑĮÑģком":118155,"ĠÑģигналов":118156,"ĠÑģимпÑĤомÑĭ":118157,"ĠÑģиÑģÑĤемаÑħ":118158,"ĠÑģиÑĤÑĥаÑĨий":118159,"ĠÑģмоÑĤÑĢели":118160,"ĠÑģнаÑĢÑıдов":118161,"ĠÑģнижениÑı":118162,"ĠÑģобÑĢании":118163,"ĠÑģоглаÑģен":118164,"ĠÑģомнение":118165,"ĠÑģоÑģедниÑħ":118166,"ĠÑģоÑģÑĤавиÑĤ":118167,"ĠÑģоÑħÑĢанÑıл":118168,"ĠÑģпеÑĨиÑĦиÑĩ":118169,"ĠÑģпÑĢоÑģила":118170,"ĠÑģÑĤоÑĢонам":118171,"ĠÑģÑĤÑĢаниÑĨа":118172,"ĠÑģÑĤÑĢаÑģÑĤно":118173,"ĠÑģÑĤÑĢоение":118174,"ĠÑģÑĤÑĥденÑĤÑĭ":118175,"ĠÑģÑĥждениÑı":118176,"ĠÑģÑĩиÑĤалÑģÑı":118177,"ĠÑĤелеÑģкоп":118178,"ĠÑĤÑĢадиÑĨий":118179,"ĠÑĤÑĥÑĢиÑģÑĤов":118180,"ĠÑĥбийÑģÑĤве":118181,"ĠÑĥважение":118182,"ĠÑĥвелиÑĩил":118183,"ĠÑĥдеÑĢжаÑĤÑĮ":118184,"ĠÑĥлÑĥÑĩÑĪиÑĤÑĮ":118185,"ĠÑĥÑģилениÑı":118186,"ĠÑĥÑģлÑĭÑĪаÑĤÑĮ":118187,"ĠÑĥÑĩаÑģÑĤкаÑħ":118188,"ĠÑĥÑĩиÑĤелей":118189,"ĠÑĦизиолог":118190,"ĠÑĨеÑĢковно":118191,"ĠÑĩеÑĤвеÑĢÑĤи":118192,"ĠÑĩеÑĤÑĭÑĢÑĮмÑı":118193,"ĠÑĩиновник":118194,"ĠÑįкÑģпÑĢеÑģÑģ":118195,"ĠÑįнеÑĢгией":118196,"ĠÑįÑĤногÑĢаÑĦ":118197,"ĠÑıвлÑıлоÑģÑĮ":118198,"ĠÑıпонÑģкиÑħ":118199,"ĠÑıпонÑģкой":118200,"ÐļÑĢаÑģнодаÑĢ":118201,"ÐĿаÑĨионалÑĮ":118202,"еÑĢбайджан":118203,"изÑĢаилÑĮÑģк":118204,"иÑĢовалиÑģÑĮ":118205,"иÑĢованнаÑı":118206,"кладÑĭваеÑĤ":118207,"коÑģмонавÑĤ":118208,"пÑĢаведлив":118209,"ÑģвидеÑĤелÑĮ":118210,"ÑģÑĤÑĢÑĥкÑĤÑĥÑĢÑĭ":118211,"ÑĨионалÑĮно":118212,"ĠÐĴладиÑģлав":118213,"ĠÐĴÑģеÑĢоÑģÑģий":118214,"ĠÐķкаÑĤеÑĢинÑĭ":118215,"ĠÐĿаÑĩалÑĮник":118216,"ĠÐŀÑģÑĤалÑĮнÑĭе":118217,"ĠÐŁÐ¾Ð»Ð¸ÑĤбÑİÑĢо":118218,"ĠÐŁÑĢавоÑģлав":118219,"ĠÐŁÑĢоÑĦеÑģÑģоÑĢ":118220,"ĠСовеÑĤÑģком":118221,"ĠШоÑĤландии":118222,"ĠавÑĤодоÑĢог":118223,"ĠаккÑĥÑĢаÑĤно":118224,"ĠанглиÑĩане":118225,"ĠбиогÑĢаÑĦии":118226,"ĠвлиÑıÑĤелÑĮн":118227,"ĠвозбÑĥжден":118228,"ĠвозвÑĢаÑīен":118229,"ĠвопÑĢоÑģами":118230,"ĠвоÑģÑĤоÑĩнÑĭÑħ":118231,"ĠвÑģеленной":118232,"ĠвÑĤоÑĢжениÑı":118233,"ĠвÑĭÑģÑĤÑĥпали":118234,"ĠвÑĭÑģÑĤÑĥпили":118235,"ĠвÑĭÑģÑĤÑĥпиÑĤÑĮ":118236,"Ġголовного":118237,"ĠдепÑĥÑĤаÑĤом":118238,"Ġдивизиона":118239,"ĠдобавлÑıеÑĤ":118240,"ĠзадеÑĢжива":118241,"ĠзаклÑİÑĩиÑĤÑĮ":118242,"ĠзапÑĢеÑīено":118243,"ĠзаÑģедание":118244,"ĠзаÑģÑĤавлÑıл":118245,"ĠзаÑĤÑĢагива":118246,"ĠзаÑħваÑĤÑĭва":118247,"ĠизвеÑģÑĤнаÑı":118248,"ĠинвеÑģÑĤиÑĨи":118249,"ĠиÑģполÑĮзÑĥÑİ":118250,"ĠиÑģпÑĢавиÑĤÑĮ":118251,"ĠкаÑĢÑĤоÑĦелÑĮ":118252,"ĠкиноÑĤеаÑĤÑĢ":118253,"ĠкиÑģлоÑĢода":118254,"ĠкиÑĤайÑģкой":118255,"Ġколебаний":118256,"ĠкооÑĢдинаÑĤ":118257,"ĠлиÑĤеÑĢаÑĤоÑĢ":118258,"ĠмаÑģÑģового":118259,"ĠмеÑģÑĤноÑģÑĤÑĮ":118260,"ĠмиллиаÑĢда":118261,"ĠмиÑĦологии":118262,"ĠнаблÑİдаем":118263,"Ġнападение":118264,"ĠнапиÑģаниÑı":118265,"ĠнапÑĢавиÑĤÑĮ":118266,"ĠнаÑĢÑĥÑĪений":118267,"ĠнаÑģÑĤаивал":118268,"ĠнеболÑĮÑĪом":118269,"ĠнегаÑĤивно":118270,"Ġобвинение":118271,"ĠобÑīеÑģÑĤвом":118272,"ĠобÑĬÑıвлено":118273,"ĠогÑĢомного":118274,"ĠодноимÑijнн":118275,"ĠоказÑĭваÑĤÑĮ":118276,"ĠоккÑĥпаÑĨии":118277,"ĠокÑĢÑĥжение":118278,"ĠопÑĢеделен":118279,"ĠоÑĤвеÑĢÑģÑĤиÑı":118280,"ĠоÑĤноÑģилÑģÑı":118281,"ĠоÑĤождеÑģÑĤв":118282,"ĠоÑĤпÑĢавили":118283,"ĠпаÑĢамеÑĤÑĢа":118284,"ĠпеÑĢвобÑĭÑĤн":118285,"ĠпеÑĢевеÑģÑĤи":118286,"ĠпеÑĢекÑĢеÑģÑĤ":118287,"ĠпеÑĢÑģонала":118288,"ĠпланиÑĢÑĥеÑĤ":118289,"ĠповÑĤоÑĢиÑĤÑĮ":118290,"ĠподвеÑĢжен":118291,"ĠпоказÑĭвал":118292,"ĠпомеÑīений":118293,"ĠпомоÑīника":118294,"Ġпонимании":118295,"ĠпоÑģÑĤÑĢадав":118296,"ĠпоÑģÑĤÑĢадал":118297,"ĠпоÑģÑĤÑĢоено":118298,"ĠпоÑģÑĤÑĥпиÑĤÑĮ":118299,"ĠпÑĢавиÑĤелÑı":118300,"ĠпÑĢавление":118301,"ĠпÑĢаздника":118302,"ĠпÑĢеÑģÑĤÑĥпно":118303,"ĠпÑĢивлекал":118304,"ĠпÑĢименÑıем":118305,"ĠпÑĢиÑģÑĤÑĥпил":118306,"ĠпÑĢоблемам":118307,"ĠпÑĢоводили":118308,"ĠпÑĢогÑĢеÑģÑģа":118309,"ĠпÑĢодаваÑĤÑĮ":118310,"ĠпÑĢоизойÑĤи":118311,"ĠпÑĢоизоÑĪли":118312,"ĠпÑĢоÑĤивном":118313,"ĠпÑĢоÑħодила":118314,"ĠпÑĢоÑħодиÑĤÑĮ":118315,"ĠпÑĢоÑĩиÑĤаÑĤÑĮ":118316,"ĠÑĢабоÑĤника":118317,"ĠÑĢабоÑĤники":118318,"ĠÑĢазговоÑĢÑĭ":118319,"ĠÑģамолÑijÑĤов":118320,"ĠÑģведениÑıм":118321,"ĠÑģвободное":118322,"ĠÑģвободнÑĭм":118323,"ĠÑģвÑıзÑĭваеÑĤ":118324,"ĠÑģледÑĥÑİÑīÑĥÑİ":118325,"ĠÑģоблÑİдаÑĤÑĮ":118326,"ĠÑģобÑĢалиÑģÑĮ":118327,"ĠÑģозданнÑĭй":118328,"ĠÑģоÑģÑĤоÑıний":118329,"ĠÑģпекÑĤаклÑĮ":118330,"ĠÑģÑĢавнении":118331,"ĠÑģÑĤаÑĢалиÑģÑĮ":118332,"ĠÑģÑĤаÑĨионаÑĢ":118333,"ĠÑģÑĤеÑĢеоÑĤип":118334,"ĠÑģÑĤÑĢемÑıÑĤÑģÑı":118335,"ĠÑģÑĨенаÑĢиÑģÑĤ":118336,"ĠÑģÑĩиÑĤаÑİÑĤÑģÑı":118337,"ĠÑĤоÑĩноÑģÑĤÑĮÑİ":118338,"ĠÑĤÑĢебовали":118339,"ĠÑĤÑĢебоваÑĤÑĮ":118340,"ĠÑĥкÑĢаÑĪениÑı":118341,"ĠÑĥнивеÑĢÑģал":118342,"ĠÑĥниÑĩÑĤожил":118343,"ĠÑĥпÑĢазднен":118344,"ĠÑĥÑģÑĤойÑĩиво":118345,"ĠÑĥÑĩаÑģÑĤвÑĥеÑĤ":118346,"ĠÑĥÑĩаÑģÑĤника":118347,"ĠÑĦедеÑĢаÑĨии":118348,"ĠÑĦоÑĢÑģиÑĢова":118349,"ĠÑĦÑĢанÑĨÑĥзов":118350,"ĠÑĩемпионов":118351,"ĠÑįкономика":118352,"ĠÑįкономиÑģÑĤ":118353,"ĠÑįнÑĤÑĥзиазм":118354,"аÑĢÑħиÑĤекÑĤÑĥÑĢ":118355,"иÑģÑĤиÑĩеÑģкие":118356,"коÑĢпоÑĢаÑĤив":118357,"молекÑĥлÑıÑĢн":118358,"ÑĢабаÑĤÑĭваÑİÑĤ":118359,"ÑĦоÑĢмиÑĢован":118360,"ĠÐĶмиÑĤÑĢиевиÑĩ":118361,"ĠÐĺзнаÑĩалÑĮно":118362,"ĠÐŁÐ¾ÑģÑĤепенно":118363,"ĠСооÑĤвеÑĤÑģÑĤв":118364,"ĠСÑĥÑīеÑģÑĤвÑĥÑİÑĤ":118365,"ĠУпÑĢавлениÑı":118366,"ĠУÑĩаÑģÑĤвовал":118367,"ĠФакÑĤиÑĩеÑģки":118368,"ĠавÑĤомобиле":118369,"ĠагÑĢеÑģÑģивно":118370,"ĠанглийÑģким":118371,"ĠаÑĢÑħиÑĤекÑĤÑĥÑĢ":118372,"ĠбÑĢиÑĤанÑģкой":118373,"ĠвнÑĥÑĤÑĢеннее":118374,"ĠвоздÑĥÑĪного":118375,"ĠвозникнÑĥÑĤÑĮ":118376,"ĠвоплоÑīение":118377,"ĠвÑģÑĤÑĢеÑĤилÑģÑı":118378,"ĠвÑģÑĤÑĥплениÑı":118379,"ĠгÑĢажданина":118380,"ĠгÑĢеÑĩеÑģкого":118381,"ĠдалÑĮнейÑĪее":118382,"ĠдокÑĥменÑĤаÑħ":118383,"ĠдоÑģÑĤоинÑģÑĤв":118384,"ĠжелаÑĤелÑĮно":118385,"ĠзаведÑĥÑİÑīий":118386,"ĠзаклÑİÑĩении":118387,"ĠизменилоÑģÑĮ":118388,"ĠизолиÑĢован":118389,"ĠинвеÑģÑĤиÑĨий":118390,"ĠинÑģÑĤÑĢÑĥкÑĨии":118391,"ĠиÑģÑĤоÑĩникаÑħ":118392,"ĠколлекÑĤива":118393,"ĠкомпÑĢомиÑģÑģ":118394,"ĠконкÑĢеÑĤной":118395,"ĠконкÑĢеÑĤнÑĭе":118396,"ĠконÑĦликÑĤов":118397,"ĠкоопеÑĢаÑĤив":118398,"ĠкоÑĢпоÑĢаÑĨии":118399,"ĠкÑĥлÑĮÑĤÑĥÑĢнÑĭÑħ":118400,"ĠмаÑģÑĤеÑĢÑģÑĤво":118401,"ĠмоÑģковÑģкиÑħ":118402,"ĠнеобÑĭÑĩайно":118403,"ĠнеподалекÑĥ":118404,"ĠобÑģÑĤановка":118405,"ĠобÑģÑĤановки":118406,"ĠобÑģÑĥждение":118407,"ĠоÑģвободиÑĤÑĮ":118408,"ĠоÑģнованием":118409,"ĠоÑģÑĤанавлив":118410,"ĠоÑĤноÑģилиÑģÑĮ":118411,"ĠпеÑĢедаваÑĤÑĮ":118412,"ĠподдеÑĢжаÑĤÑĮ":118413,"ĠподдеÑĢжкой":118414,"ĠподелиÑĤÑĮÑģÑı":118415,"ĠподÑĩеÑĢкива":118416,"ĠпоказаÑĤелÑı":118417,"ĠпомоÑīником":118418,"ĠпопÑĥлÑıÑĢнÑĭÑħ":118419,"ĠпопÑĭÑĤаÑĤÑĮÑģÑı":118420,"ĠпоÑģледовал":118421,"ĠпоÑģолÑĮÑģÑĤва":118422,"ĠпоÑıвлением":118423,"ĠпÑĢевÑĢаÑĤиÑĤÑĮ":118424,"ĠпÑĢедлагаем":118425,"ĠпÑĢименении":118426,"ĠпÑĢодолжала":118427,"ĠпÑĢоизведÑijн":118428,"ĠпÑĢоиÑģÑħодил":118429,"ĠпÑģиÑħиÑĩеÑģки":118430,"ĠпÑıÑĤнадÑĨаÑĤÑĮ":118431,"ĠÑĢазделение":118432,"ĠÑĢаÑģÑģказала":118433,"ĠÑĢаÑģÑģказÑĭва":118434,"ĠÑĢаÑģÑģмоÑĤÑĢим":118435,"ĠÑĢаÑģÑģÑĤÑĢелÑıн":118436,"ĠÑĢеÑĦеÑĢендÑĥм":118437,"ĠÑĢодиÑĤелÑıми":118438,"ĠÑĢоÑģÑģийÑģкаÑı":118439,"ĠÑĢоÑģÑģийÑģком":118440,"ĠÑģвойÑģÑĤвами":118441,"ĠÑģвÑıÑīенника":118442,"ĠÑģеÑĢÑĤиÑĦикаÑĤ":118443,"ĠÑģмеÑĢÑĤелÑĮно":118444,"ĠÑģобиÑĢаÑİÑĤÑģÑı":118445,"ĠÑģовеÑĢÑĪениÑı":118446,"ĠÑģовмеÑģÑĤной":118447,"ĠÑģокÑĢаÑīение":118448,"ĠÑģообÑīеÑģÑĤво":118449,"ĠÑģоÑĤÑĢÑĥдника":118450,"ĠÑģоÑĨиалÑĮнÑĭм":118451,"ĠÑĤвоÑĢÑĩеÑģкой":118452,"ĠÑĤÑĢÑĥдÑıÑīиÑħÑģÑı":118453,"ĠÑĥкÑĢаинÑģкий":118454,"ĠÑĥкÑĢаинÑģкиÑħ":118455,"ĠÑĥÑĩÑĢеждение":118456,"ĠÑĦизиÑĩеÑģкие":118457,"ĠÑĦинанÑģовÑĭе":118458,"ĠÑħодаÑĤайÑģÑĤв":118459,"ĠÑįÑģкадÑĢилÑĮи":118460,"емонÑģÑĤÑĢиÑĢов":118461,"ологиÑĩеÑģкой":118462,"ÑģледоваÑĤели":118463,"ÑħаÑĢакÑĤеÑĢизÑĥ":118464,"ĠÐIJÑĢÑħангелÑĮÑģк":118465,"ĠÐĴладивоÑģÑĤок":118466,"ĠÐĵÑĢажданÑģкой":118467,"ĠÐĵÑĢигоÑĢÑĮевиÑĩ":118468,"ĠÐŀказÑĭваеÑĤÑģÑı":118469,"ĠавиаÑĨионной":118470,"ĠаккÑĥмÑĥлÑıÑĤоÑĢ":118471,"ĠвеÑĢоÑıÑĤноÑģÑĤи":118472,"ĠвеÑĢÑĤикалÑĮно":118473,"ĠвоÑģпÑĢинимал":118474,"ĠвоÑģпÑĢоизвод":118475,"ĠгваÑĢдейÑģкой":118476,"ĠгенеÑĤиÑĩеÑģки":118477,"ĠгомоÑģекÑģÑĥал":118478,"ĠгоÑģÑĥдаÑĢÑģÑĤвÑĥ":118479,"ĠдейÑģÑĤвÑĥÑİÑīиÑħ":118480,"ĠзаконÑĩилаÑģÑĮ":118481,"ĠзаÑģлÑĥженнÑĭй":118482,"ĠизобÑĢажений":118483,"ĠинÑĤеллигенÑĤ":118484,"ĠиÑģÑĤÑĢебиÑĤелÑı":118485,"ĠиÑĤалÑĮÑıнÑģкий":118486,"ĠкапиÑĤализма":118487,"ĠкомменÑĤаÑĢии":118488,"ĠкоммÑĥниÑģÑĤов":118489,"ĠконÑģеÑĢваÑĤив":118490,"ĠминиÑģÑĤеÑĢÑģÑĤв":118491,"ĠнаблÑİдаÑĤелÑĮ":118492,"ĠобнаÑĢÑĥжениÑı":118493,"ĠобÑĢазованиÑİ":118494,"ĠобÑıзанноÑģÑĤÑĮ":118495,"ĠогÑĢаниÑĩение":118496,"ĠоккÑĥпиÑĢован":118497,"ĠоÑĤкÑĢÑĭваеÑĤÑģÑı":118498,"ĠоÑĤÑģÑĥÑĤÑģÑĤвием":118499,"ĠоÑĤÑģÑĥÑĤÑģÑĤвÑĥÑİÑĤ":118500,"ĠподнимаеÑĤÑģÑı":118501,"ĠпоказаÑĤелей":118502,"ĠпоÑģеÑĤиÑĤелей":118503,"ĠпоÑĤÑĢебиÑĤелÑĮ":118504,"ĠпÑĢевÑĢаÑĤилÑģÑı":118505,"ĠпÑĢедложений":118506,"ĠпÑĢедназнаÑĩа":118507,"ĠпÑĢедÑĭдÑĥÑīего":118508,"ĠпÑĢепÑıÑĤÑģÑĤвиÑı":118509,"ĠпÑĢинадлежал":118510,"ĠпÑĢоизволÑĮно":118511,"ĠпÑĢоиÑģÑħодили":118512,"ĠпÑĢоÑĤивоÑĢеÑĩи":118513,"ĠпÑĢоÑĦеÑģÑģоÑĢом":118514,"ĠÑĢаÑģÑģмаÑĤÑĢива":118515,"ĠÑĢаÑģÑģÑĥждениÑı":118516,"ĠÑĢелигиозной":118517,"ĠÑĢодÑģÑĤвенник":118518,"ĠÑģвоеобÑĢазно":118519,"ĠÑģобÑģÑĤвенном":118520,"ĠÑģовÑĢеменнÑĭм":118521,"ĠÑģоглаÑģиÑĤÑĮÑģÑı":118522,"ĠÑģоÑħÑĢанÑıеÑĤÑģÑı":118523,"ĠÑģпеÑĨиалиÑģÑĤа":118524,"ĠÑģпоÑĢÑĤÑģменов":118525,"ĠÑģÑĦоÑĢмиÑĢовал":118526,"ĠÑĤеÑħниÑĩеÑģкой":118527,"ĠÑĥкÑĢаинÑģкого":118528,"ĠÑĥÑĩаÑģÑĤниками":118529,"ĠÑĦÑĢанÑĨÑĥзÑģком":118530,"ĠÑįкземплÑıÑĢов":118531,"ĠÑİÑĢидиÑĩеÑģкиÑħ":118532,"обÑĢазоваÑĤелÑĮ":118533,"ĠÐĵенеÑĢалÑĮного":118534,"ĠÐĶоÑģÑĤоевÑģкого":118535,"ĠÐŁÑĢедÑģедаÑĤелÑĮ":118536,"ĠФедеÑĢалÑĮного":118537,"ĠбеÑĢеменноÑģÑĤи":118538,"ĠбиологиÑĩеÑģки":118539,"ĠвозможноÑģÑĤÑĮÑİ":118540,"ĠвоÑģпоминаний":118541,"ĠеÑģÑĤеÑģÑĤвеннÑĭÑħ":118542,"ĠзнаÑĩиÑĤелÑĮнÑĭм":118543,"ĠиздаÑĤелÑĮÑģÑĤво":118544,"ĠизобÑĢажением":118545,"ĠиÑģполÑĮзованÑĭ":118546,"ĠиÑģÑģледовании":118547,"ĠкоммÑĥникаÑĨии":118548,"ĠконÑĨенÑĤÑĢаÑĨии":118549,"ĠкоÑģмиÑĩеÑģкого":118550,"ĠлиÑĤеÑĢаÑĤÑĥÑĢной":118551,"ĠлиÑĤеÑĢаÑĤÑĥÑĢнÑĭÑħ":118552,"ĠмедиÑĨинÑģкого":118553,"ĠнапÑĢавлениÑıÑħ":118554,"ĠнедоволÑĮÑģÑĤво":118555,"ĠобÑĢазованием":118556,"ĠобÑīеÑģÑĤвеннÑĭе":118557,"ĠопÑĢеделенное":118558,"ĠопÑĢеделенном":118559,"ĠоÑģÑĤановиÑĤÑĮÑģÑı":118560,"ĠоÑģÑĥÑīеÑģÑĤвлÑıеÑĤ":118561,"ĠоÑĤказÑĭваеÑĤÑģÑı":118562,"ĠоÑĤпÑĢавлÑıеÑĤÑģÑı":118563,"ĠподдеÑĢживаÑİÑĤ":118564,"ĠпоÑģледоваÑĤел":118565,"ĠпÑĢедÑģÑĤавлÑıла":118566,"ĠпÑĢинÑĥдиÑĤелÑĮн":118567,"ĠпÑĢовозглаÑĪен":118568,"ĠÑĢазнообÑĢазие":118569,"ĠÑĢаÑģположениÑı":118570,"ĠÑĢаÑģÑģмоÑĤÑĢение":118571,"ĠÑĢаÑģÑģÑĩиÑĤÑĭваÑĤÑĮ":118572,"ĠÑĢÑĥководиÑĤели":118573,"ĠÑģвоевÑĢеменно":118574,"ĠÑģобÑģÑĤвенномÑĥ":118575,"ĠÑģобÑģÑĤвеннÑĭми":118576,"ĠÑģооÑĤвеÑĤÑģÑĤвие":118577,"ĠÑģпоÑģобноÑģÑĤей":118578,"ĠÑģпоÑģобноÑģÑĤÑĮÑİ":118579,"ĠÑģÑĥÑīеÑģÑĤвовала":118580,"ĠÑĤеÑģÑĤиÑĢованиÑı":118581,"ĠÑĥнивеÑĢÑģалÑĮно":118582,"ĠÑĥпоÑĤÑĢебление":118583,"ĠÑĥÑģÑĤановление":118584,"ĠÑħÑĢиÑģÑĤианÑģкой":118585,"ĠÑħÑĢиÑģÑĤианÑģÑĤво":118586,"ĠÑĨенÑĤÑĢалÑĮного":118587,"ĠÑĩеловеÑĩеÑģкие":118588,"ĠÑĩеловеÑĩеÑģкий":118589,"ÐIJдминиÑģÑĤÑĢаÑĤив":118590,"коÑĢÑĢеÑģпонденÑĤ":118591,"ĠÐĺÑģполÑĮзование":118592,"ĠÐľÐµÐ¶Ð´ÑĥнаÑĢодной":118593,"ĠÐľÐµÐ¶Ð´ÑĥнаÑĢоднÑĭй":118594,"ĠÐŁÑĢавиÑĤелÑĮÑģÑĤва":118595,"Ġвозникновение":118596,"ĠгоÑĢизонÑĤалÑĮно":118597,"ĠинÑĤеллигенÑĨии":118598,"ĠиÑģÑģледоваÑĤелÑı":118599,"ĠкаÑĤегоÑĢиÑĩеÑģки":118600,"ĠклаÑģÑģиÑĦикаÑĨии":118601,"ĠлиÑĤеÑĢаÑĤÑĥÑĢного":118602,"ĠмеждÑĥнаÑĢоднÑĭй":118603,"ĠмÑĥниÑĨипалÑĮнÑĭÑħ":118604,"ĠнезнаÑĩиÑĤелÑĮно":118605,"ĠоÑģÑĥÑīеÑģÑĤвление":118606,"ĠоÑĤеÑĩеÑģÑĤвенной":118607,"ĠпоÑģÑĤановление":118608,"ĠпÑĢавиÑĤелÑĮÑģÑĤве":118609,"ĠпÑĢедоÑģÑĤавлÑıеÑĤ":118610,"ĠпÑĢедоÑĤвÑĢаÑĤиÑĤÑĮ":118611,"ĠпÑĢедположениÑı":118612,"ĠпÑĢедÑĥÑģмаÑĤÑĢива":118613,"ĠпÑĢеÑģледованиÑı":118614,"ĠпÑĢиÑģоединилÑģÑı":118615,"ĠпÑĢоизведениÑıÑħ":118616,"ĠÑĢазнообÑĢазнÑĭе":118617,"ĠÑĢазнообÑĢазнÑĭÑħ":118618,"ĠÑĢегионалÑĮного":118619,"ĠÑĢегÑĥлиÑĢованиÑı":118620,"ĠÑĢеконÑģÑĤÑĢÑĥкÑĨии":118621,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑĤ":118622,"ĠÑģпоÑģобÑģÑĤвовал":118623,"ĠÑģÑĤÑĢаÑĤегиÑĩеÑģки":118624,"ĠÑĦанÑĤаÑģÑĤиÑĩеÑģки":118625,"ĠÑįкономиÑĩеÑģкие":118626,"ĠÑįкÑģпеÑĢименÑĤов":118627,"ĠÑįнеÑĢгеÑĤиÑĩеÑģки":118628,"ĠСооÑĤвеÑĤÑģÑĤвенно":118629,"ĠинÑĦÑĢаÑģÑĤÑĢÑĥкÑĤÑĥÑĢÑĭ":118630,"ĠобÑīеÑģÑĤвенноÑģÑĤи":118631,"ĠпÑĢедполагалоÑģÑĮ":118632,"ĠпÑĢедÑģÑĤавиÑĤелем":118633,"ĠпÑĢедÑĪеÑģÑĤвенник":118634,"ĠпÑĢинадлежноÑģÑĤи":118635,"ĠпÑĢинадлежноÑģÑĤÑĮ":118636,"ĠпÑĢоÑĤивоположнÑĭ":118637,"ĠÑĥдовлеÑĤвоÑĢениÑı":118638,"ĠÑĦинанÑģиÑĢованиÑı":118639,"ĠÑħаÑĢакÑĤеÑĢиÑģÑĤика":118640,"ĠÑħÑĥдожеÑģÑĤвеннÑĭй":118641,"ĠÑħÑĥдожеÑģÑĤвеннÑĭÑħ":118642,"ĠÐĵоÑģÑĥдаÑĢÑģÑĤвеннаÑı":118643,"ĠгоÑģÑĥдаÑĢÑģÑĤвеннÑĭм":118644,"ĠжелезнодоÑĢожной":118645,"ĠпÑĢедÑĥÑģмаÑĤÑĢиваеÑĤ":118646,"ĠпÑĢодемонÑģÑĤÑĢиÑĢов":118647,"ĠÑĢаÑģÑģмаÑĤÑĢиваеÑĤÑģÑı":118648,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīей":118649,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīий":118650,"ĠÑĥÑģÑĤанавливаеÑĤÑģÑı":118651,"ÐIJдминиÑģÑĤÑĢаÑĤивнÑĭй":118652,"пÑĢогÑĢаммиÑĢованиÑı":118653,"пÑĢоÑĦеÑģÑģионалÑĮной":118654,"ÑĢаÑģпÑĢоÑģÑĤÑĢанÑıеÑĤÑģÑı":118655,"ÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīего":118656,"Ìģз":118657,"Ìģк":118658,"ÐIJÐĻ":118659,"ÐIJÑĦ":118660,"ÐIJÑį":118661,"ÐijÐŀ":118662,"ÐĴÑĤ":118663,"ÐĵÑĥ":118664,"ÐĶÐķ":118665,"ÐĶÐĺ":118666,"ÐķС":118667,"ÐĹÐIJ":118668,"ÐĺÐķ":118669,"ÐľÐŁ":118670,"ÐľÐ£":118671,"ÐŀÐij":118672,"ÐŀÐĵ":118673,"ÐłÑĥ":118674,"СÐĺ":118675,"Ð¡Ðľ":118676,"СÐĿ":118677,"СÐŀ":118678,"ТÐij":118679,"ТÐĴ":118680,"ТÐļ":118681,"Ти":118682,"ФÐĺ":118683,"бб":118684,"дÑį":118685,"ÑĢÑĢ":118686,"ÑĤÑij":118687,"ÑħÑį":118688,"ÑĩÑĤ":118689,"Ñĭб":118690,"gri":118691,"lau":118692,"nch":118693,"plo":118694,"tig":118695,"viv":118696,"ĠÐIJÐļ":118697,"ĠÐĶв":118698,"ĠÐĺТ":118699,"ĠÐļн":118700,"ĠÐļÑĢ":118701,"ĠÐŀв":118702,"ĠÐŀÑĦ":118703,"ĠÐłÑİ":118704,"ĠТÑİ":118705,"ĠХХ":118706,"ĠЮн":118707,"ĠЮп":118708,"ĠЯÑģ":118709,"Ġем":118710,"ĠÑĤÑij":118711,"ĠÑĥÑħ":118712,"ÌģлÑĮ":118713,"Ðijог":118714,"ÐijÑĥд":118715,"ÐijÑĭÑĤ":118716,"ÐĴоз":118717,"ÐĶом":118718,"ÐķСТ":118719,"Ðĸен":118720,"ÐļÐŀÐĿ":118721,"Ðļаз":118722,"Ðļам":118723,"ÐļÑĤо":118724,"ÐļÑĥÑĢ":118725,"ÐĽÑİб":118726,"ÐľÐ°Ðº":118727,"ÐľÐµÑĢ":118728,"ÐľÐ¸Ð»":118729,"ÐľÐ¸Ð½":118730,"ÐľÐ¾Ð½":118731,"ÐĿÑĮÑİ":118732,"ÐŁÐ°Ð»":118733,"ÐŁÐ¾Ð²":118734,"ÐłÐ¾Ð´":118735,"СТÐIJ":118736,"Сан":118737,"Сов":118738,"СÑĥд":118739,"ЧаÑģ":118740,"ЧеÑĤ":118741,"адÑĬ":118742,"аик":118743,"айб":118744,"анж":118745,"аÑĤо":118746,"бла":118747,"блÑİ":118748,"бÑĢÑĥ":118749,"бÑĢÑĭ":118750,"ваÑĪ":118751,"век":118752,"вив":118753,"вÑĭк":118754,"вÑĮе":118755,"гид":118756,"гил":118757,"джо":118758,"джÑĥ":118759,"диÑĤ":118760,"дÑĢÑĥ":118761,"едж":118762,"еÑĤк":118763,"еÑħа":118764,"еÑīе":118765,"жем":118766,"жиз":118767,"жка":118768,"зил":118769,"зиÑĤ":118770,"зÑĥб":118771,"зÑĥÑĢ":118772,"иге":118773,"инÑı":118774,"иÑĤк":118775,"кож":118776,"коÑİ":118777,"лÑĭб":118778,"нан":118779,"неÑĦ":118780,"нке":118781,"нÑĥд":118782,"нÑıÑħ":118783,"оба":118784,"оÑĢв":118785,"оÑĢж":118786,"оÑħа":118787,"пай":118788,"пей":118789,"пеÑĩ":118790,"пик":118791,"плÑı":118792,"ÑĢма":118793,"ÑĢÑĥм":118794,"ÑĢÑıз":118795,"ÑģаÑģ":118796,"Ñģво":118797,"ÑģиÑĤ":118798,"ÑģÑĥа":118799,"ÑģÑĥл":118800,"ÑĤаб":118801,"ÑĤид":118802,"ÑĤÑĥл":118803,"ÑĤÑĥÑģ":118804,"ÑĥдÑĥ":118805,"Ñĥзе":118806,"ÑĥмÑĦ":118807,"Ñĥпа":118808,"ÑĥÑĢо":118809,"ÑĦак":118810,"ÑĩиÑĪ":118811,"ÑĩнÑĭ":118812,"ÑĩÑĥг":118813,"ÑīиÑĨ":118814,"ÑĭнÑĮ":118815,"ÑįкÑģ":118816,"ÑİÑģÑĤ":118817,"ĠBla":118818,"ĠTru":118819,"Ġepi":118820,"flib":118821,"solu":118822,"tire":118823,"tric":118824,"ulat":118825,"ĠÐIJбд":118826,"ĠÐIJла":118827,"ĠÐIJнн":118828,"ĠÐIJÑĢк":118829,"ĠÐijад":118830,"ĠÐijег":118831,"ĠÐijÑĥн":118832,"ĠÐĴÐľÐ¡":118833,"ĠÐĴай":118834,"ĠÐĴок":118835,"ĠÐĴоÑĢ":118836,"ĠÐĴÑģп":118837,"ĠÐĴÑģÑİ":118838,"ĠÐĵав":118839,"ĠÐĵаг":118840,"ĠÐĵил":118841,"ĠÐĶСС":118842,"ĠÐĶел":118843,"ĠÐĶжи":118844,"ĠÐĶиÑģ":118845,"ĠÐĶÑĥÑĢ":118846,"ĠÐĶÑĥÑħ":118847,"ĠÐĶÑįн":118848,"ĠÐķди":118849,"ĠÐĸиÑĢ":118850,"ĠÐĹаÑĢ":118851,"ĠÐĺде":118852,"ĠÐĺог":118853,"ĠÐļаÑĩ":118854,"ĠÐļнÑı":118855,"ĠÐļÑĢÑĥ":118856,"ĠÐļÑĥк":118857,"ĠÐļÑĥл":118858,"ĠÐĽÐ°Ð¹":118859,"ĠÐĽÐ°Ñģ":118860,"ĠÐĽÐ¾Ð±":118861,"ĠÐľÐ°Ð·":118862,"ĠÐľÑıÑģ":118863,"ĠÐĿÐĽÐŀ":118864,"ĠÐĿил":118865,"ĠÐŀле":118866,"ĠÐŁÐµÐ»":118867,"ĠÐŁÐ¾Ð²":118868,"ĠÐŁÐ¾Ñı":118869,"ĠÐłÐµÐ¿":118870,"ĠÐłÐ¸Ð¾":118871,"ĠСÐĿÐĵ":118872,"ĠСак":118873,"ĠСло":118874,"ĠСме":118875,"ĠСоÑĤ":118876,"ĠСÑĥл":118877,"ĠСÑįм":118878,"ĠТаÑĤ":118879,"ĠТен":118880,"ĠТиÑĢ":118881,"ĠТоп":118882,"ĠУоÑĢ":118883,"ĠФиз":118884,"ĠФÑĢи":118885,"ĠХим":118886,"ĠЧап":118887,"ĠЧеÑĩ":118888,"ĠЧиÑģ":118889,"ĠШÑĥм":118890,"Ġвеж":118891,"Ġдна":118892,"ĠзаÑħ":118893,"Ġибн":118894,"Ġиди":118895,"ĠизÑĬ":118896,"ĠлÑİк":118897,"ĠлÑıг":118898,"ĠмÑģк":118899,"ĠмÑĥд":118900,"Ġозв":118901,"ĠокÑĤ":118902,"Ġпак":118903,"Ġпел":118904,"ĠÑĢÑĭж":118905,"ĠÑģÑĤи":118906,"ĠÑĥвÑĭ":118907,"ĠÑĦÑİз":118908,"ĠÑĩей":118909,"ĠÑĩип":118910,"ĠÑĩÑĮÑı":118911,"ĠÑĪан":118912,"ĠÑĪеÑİ":118913,"ĠÑİга":118914,"ĠÑİни":118915,"ĠÑıиÑĨ":118916,"ÐIJÑįÑĢо":118917,"Ðĵлав":118918,"ÐĶонÑĥ":118919,"ÐĹнак":118920,"ÐŀбÑīе":118921,"ÐłÐ¾ÑģÑģ":118922,"СкоÑĢ":118923,"Слав":118924,"Хилл":118925,"авÑĤо":118926,"адеб":118927,"алÑĮÑĤ":118928,"англ":118929,"анин":118930,"аноÑģ":118931,"аÑĢаб":118932,"аÑĢен":118933,"аÑĢно":118934,"аÑĢод":118935,"аÑĩÑijв":118936,"аÑĪка":118937,"аÑīие":118938,"баев":118939,"баÑĢд":118940,"баÑģÑĤ":118941,"беÑģÑģ":118942,"боев":118943,"боÑĢо":118944,"бÑĭли":118945,"велл":118946,"велÑĮ":118947,"ггеÑĢ":118948,"гейм":118949,"геÑĢа":118950,"гиги":118951,"гнеÑĤ":118952,"гнÑĥл":118953,"гÑĢÑĥб":118954,"даем":118955,"даÑĤа":118956,"двой":118957,"деÑģÑı":118958,"деÑĪÑĮ":118959,"диÑĢа":118960,"евка":118961,"евое":118962,"езнÑĭ":118963,"елиÑı":118964,"емÑĥÑİ":118965,"ендÑĭ":118966,"енев":118967,"енна":118968,"енне":118969,"енÑĨа":118970,"еÑĢба":118971,"еÑĢжа":118972,"еÑĢÑĤа":118973,"еÑĢÑĤÑĥ":118974,"еÑĢÑĤÑĭ":118975,"еÑĤиÑĤ":118976,"еÑĤÑĤа":118977,"еÑħод":118978,"еÑĩка":118979,"еÑİÑģÑĮ":118980,"жден":118981,"жеÑĩÑĮ":118982,"зелÑĮ":118983,"иана":118984,"идзе":118985,"инÑģк":118986,"иÑĢÑĥÑİ":118987,"иÑģлÑı":118988,"иÑģÑģи":118989,"иÑĩка":118990,"кажи":118991,"квей":118992,"клей":118993,"конÑĤ":118994,"кÑĢом":118995,"кÑĢÑĥг":118996,"кÑĥла":118997,"леÑĤÑĭ":118998,"леÑĩи":118999,"лога":119000,"ложк":119001,"лÑıÑĤв":119002,"мÑĥÑĢа":119003,"немÑĥ":119004,"неÑĤе":119005,"ниÑĩÑĮ":119006,"ноги":119007,"обÑĬÑı":119008,"овик":119009,"овин":119010,"овоз":119011,"озеÑĢ":119012,"ойдÑı":119013,"окиÑģ":119014,"окко":119015,"олим":119016,"олиÑĩ":119017,"омоÑī":119018,"ониÑı":119019,"опла":119020,"опоÑĤ":119021,"оÑĢом":119022,"оÑĦеÑĢ":119023,"оÑĪен":119024,"паÑĥк":119025,"пека":119026,"пеÑĢÑģ":119027,"пина":119028,"пиÑĪÑĥ":119029,"плак":119030,"плем":119031,"плеÑĩ":119032,"плиÑĤ":119033,"плÑĭл":119034,"полÑĥ":119035,"поÑĤе":119036,"ппеÑĢ":119037,"пÑĢез":119038,"ÑĢала":119039,"ÑĢана":119040,"ÑĢезв":119041,"ÑĢипÑĤ":119042,"ÑĢиÑıÑĤ":119043,"ÑĢовк":119044,"ÑĢоен":119045,"ÑĢока":119046,"ÑģаÑĢа":119047,"Ñģвои":119048,"ÑģвÑıÑĤ":119049,"ÑģеÑĢб":119050,"Ñģинг":119051,"Ñģлад":119052,"Ñģлеж":119053,"ÑģпеÑĨ":119054,"ÑģÑĤно":119055,"ÑģÑĤом":119056,"ÑģÑĤÑĢÑĭ":119057,"ÑģÑĨен":119058,"ÑģÑĩÑijÑĤ":119059,"ÑĤавÑĢ":119060,"ÑĤаÑĢа":119061,"ÑĤепл":119062,"ÑĤоÑĩн":119063,"ÑĤÑıнÑĥ":119064,"ÑĥбеÑĢ":119065,"ÑĥдаÑĢ":119066,"Ñĥдив":119067,"Ñĥмов":119068,"ÑĥнкÑĤ":119069,"ÑĥÑĢин":119070,"ÑĥÑħин":119071,"ÑĥÑĩик":119072,"ÑĥÑĩил":119073,"ÑĥÑįлл":119074,"ÑĥÑįлÑĮ":119075,"ÑĦайл":119076,"ÑĦÑĦеÑĢ":119077,"ÑħиÑĤÑĢ":119078,"ÑĨелÑĮ":119079,"ÑĨким":119080,"ÑĩаÑģа":119081,"ÑĩÑĥÑĤÑĮ":119082,"ÑĪаÑĤÑĮ":119083,"ÑĪиÑĦÑĢ":119084,"ÑĪнее":119085,"ÑĪÑĤам":119086,"ÑĪÑĤаÑĤ":119087,"ÑĭÑģла":119088,"Ñıнин":119089,"ÑıÑīен":119090,"shing":119091,"ĠÐIJвÑĤо":119092,"ĠÐIJлма":119093,"ĠÐIJмÑĥÑĢ":119094,"ĠÐIJÑĦин":119095,"ĠÐijаÑĢÑĤ":119096,"ĠÐijеÑĢÑĤ":119097,"ĠÐijÑĢÑıн":119098,"ĠÐijÑĭÑĤÑĮ":119099,"ĠÐĴолг":119100,"ĠÐĴÑĢаÑĩ":119101,"ĠÐĴÑģев":119102,"ĠÐĵеÑĢÑĨ":119103,"ĠÐĵлеб":119104,"ĠÐĶжан":119105,"ĠÐķÑĦим":119106,"ĠÐĺÑĤог":119107,"ĠÐļала":119108,"ĠÐļÑĢай":119109,"ĠÐļÑĢиÑģ":119110,"ĠÐļÑĢиÑĤ":119111,"ĠÐļÑĥли":119112,"ĠÐĽÐ¸Ð½Ð´":119113,"ĠÐĽÑĮва":119114,"ĠÐľÐ°Ð¹Ðº":119115,"ĠÐľÐ°ÐºÐº":119116,"ĠÐľÐ¸ÑĢа":119117,"ĠÐŁÐ°ÑĢк":119118,"ĠÐŁÐ¾Ð»Ñĥ":119119,"ĠÐŁÐ¾ÑįÑĤ":119120,"ĠÐŁÑĢÑĥÑģ":119121,"ĠСвой":119122,"ĠСеми":119123,"ĠСÑĤал":119124,"ĠСÑĤÑįн":119125,"ĠСÑĥÑħо":119126,"ĠТадж":119127,"ĠТаÑĪк":119128,"ĠТвоÑĢ":119129,"ĠТебе":119130,"ĠТÑĢен":119131,"ĠТÑĥÑĢг":119132,"ĠÐ£Ð¡Ð¡Ðł":119133,"ĠУлÑĮÑı":119134,"ĠУÑĩен":119135,"ĠХолм":119136,"ĠЧеÑĤÑĭ":119137,"ĠЮжно":119138,"ĠЯкоб":119139,"ĠЯÑģно":119140,"ĠабоÑĢ":119141,"ĠагиÑĤ":119142,"Ġангл":119143,"Ġбеда":119144,"Ġбезд":119145,"ĠбогÑĥ":119146,"ĠбÑĢÑĥÑģ":119147,"ĠбÑĭÑĤа":119148,"ĠвакÑĥ":119149,"ĠвеÑĢÑİ":119150,"Ġвлаж":119151,"ĠвÑĢаÑĤ":119152,"ĠвÑģÑijм":119153,"ĠгекÑĤ":119154,"Ġглад":119155,"Ġглин":119156,"ĠгоÑĢа":119157,"ĠгоÑĢÑĥ":119158,"ĠгÑĢÑĥб":119159,"ĠданÑĮ":119160,"ĠдаÑĤÑĥ":119161,"Ġдико":119162,"ĠдÑĥмÑĭ":119163,"ĠдÑıдÑı":119164,"ĠедеÑĤ":119165,"ĠеÑħал":119166,"ĠжалÑĮ":119167,"ĠжилÑĮ":119168,"ĠзимÑĥ":119169,"ĠизбÑĭ":119170,"ĠизÑĢа":119171,"ĠизÑĥм":119172,"ĠизÑıÑī":119173,"ĠинÑĤÑĥ":119174,"ĠкиÑĤа":119175,"ĠклиÑĩ":119176,"ĠкÑĢан":119177,"ĠкÑĢон":119178,"ĠкÑĢоÑĪ":119179,"ĠкÑĥÑĩÑĥ":119180,"Ġмеда":119181,"ĠмекÑģ":119182,"ĠмеÑĢÑĥ":119183,"ĠмоÑĢÑİ":119184,"ĠмоÑģк":119185,"ĠнеиÑģ":119186,"Ġнога":119187,"ĠноÑģа":119188,"ĠноÑĥÑĤ":119189,"ĠнÑĥлÑı":119190,"ĠогоÑĢ":119191,"ĠодеÑĤ":119192,"Ġозаб":119193,"ĠозеÑĢ":119194,"ĠозÑijÑĢ":119195,"Ġокне":119196,"ĠоÑĩка":119197,"ĠоÑĩки":119198,"ĠпиÑģа":119199,"ĠплаÑī":119200,"Ġпопа":119201,"ĠпоÑĩв":119202,"ĠпÑĪен":119203,"ĠÑĢадÑĭ":119204,"ĠÑĢазн":119205,"ĠÑĢоде":119206,"ĠÑĢодÑĥ":119207,"ĠÑĢолÑı":119208,"ĠÑĢоÑĤа":119209,"ĠÑģамÑĥ":119210,"ĠÑģбил":119211,"ĠÑģвеÑĢ":119212,"ĠÑģенÑģ":119213,"ĠÑģеÑĢÑĭ":119214,"ĠÑģкоб":119215,"ĠÑģлиÑı":119216,"ĠÑģлои":119217,"ĠÑģовм":119218,"ĠÑģоле":119219,"ĠÑģÑĢав":119220,"ĠÑģÑĤÑĥк":119221,"ĠÑĤелÑĥ":119222,"ĠÑĤеÑĢм":119223,"ĠÑĤÑĢап":119224,"ĠÑĤÑĢаÑĦ":119225,"ĠÑĤÑĢек":119226,"ĠÑĤÑĢеп":119227,"ĠÑĤÑĢеÑĤ":119228,"ĠÑĤÑĢог":119229,"ĠÑĤÑĥпо":119230,"ĠÑĤÑĥÑĢа":119231,"ĠÑĤÑĭлÑĥ":119232,"ĠÑĤÑijпл":119233,"ĠÑĥзко":119234,"ĠÑĥÑĩÑijÑĤ":119235,"ĠÑĥÑĪÑijл":119236,"ĠÑĦаÑĢа":119237,"ĠÑĦлоÑĢ":119238,"ĠÑĦона":119239,"ĠÑĪайб":119240,"ĠÑĪаÑĢа":119241,"ĠÑĪиÑĢе":119242,"ĠÑİжно":119243,"ĠÑİÑģÑĤи":119244,"ĠÑıйÑĨо":119245,"ĠÑıÑĩей":119246,"ÐijеÑĢег":119247,"ÐĴеÑĩеÑĢ":119248,"ÐĹапиÑģ":119249,"ÐĹениÑĤ":119250,"ÐĺÑģкÑĥÑģ":119251,"ÐŁÐ°Ð¼ÑıÑĤ":119252,"ÐŁÐ¾Ð±ÐµÐ´":119253,"ÐłÐ°Ð½ÐµÐµ":119254,"СовеÑĤ":119255,"ЦенÑĤÑĢ":119256,"агенÑĤ":119257,"агниÑĤ":119258,"адÑĬÑİÑĤ":119259,"ангел":119260,"анова":119261,"аÑĢнÑĭе":119262,"аÑģÑĤов":119263,"аÑĤник":119264,"бивал":119265,"более":119266,"болÑĮн":119267,"бÑĭÑĤие":119268,"ведÑĥÑĤ":119269,"веÑĢÑĪи":119270,"веÑģел":119271,"вижно":119272,"волоÑĩ":119273,"вÑıзал":119274,"галии":119275,"гнÑĥÑĤÑĮ":119276,"гÑĢÑĭва":119277,"еваÑĤÑĮ":119278,"егаÑĤÑĮ":119279,"енÑĮки":119280,"еÑĢнÑģк":119281,"еÑĤÑĢов":119282,"еÑĨиан":119283,"забоÑĤ":119284,"иаÑĤÑĥÑĢ":119285,"изаÑĨи":119286,"издаÑĤ":119287,"илиÑģÑĤ":119288,"импеÑĢ":119289,"инÑĥли":119290,"инÑĨев":119291,"иÑĢÑĥÑİÑī":119292,"иÑĩнÑĥÑİ":119293,"йдиÑĤе":119294,"ковал":119295,"коваÑı":119296,"колоÑĤ":119297,"коÑĢей":119298,"лагеÑĢ":119299,"левод":119300,"леÑĤий":119301,"ливаÑı":119302,"ливÑĥд":119303,"ливÑĭе":119304,"лимпи":119305,"лÑĮнаÑı":119306,"лÑĮÑīик":119307,"лÑıÑĨиÑİ":119308,"маÑĪин":119309,"меÑĤил":119310,"неÑģло":119311,"нигов":119312,"никаÑħ":119313,"овÑĨев":119314,"овÑĭва":119315,"окойн":119316,"окÑģид":119317,"ополÑı":119318,"пийÑģк":119319,"пиона":119320,"пиÑĤан":119321,"ÑĢакÑĤа":119322,"ÑĢаÑĤак":119323,"ÑĢезал":119324,"ÑĢение":119325,"Ñģадил":119326,"ÑģбеÑĢг":119327,"ÑģообÑī":119328,"ÑģпиÑĢа":119329,"ÑģÑĤало":119330,"ÑģÑĤÑĢаÑĤ":119331,"ÑģÑĤÑĢиÑĤ":119332,"ÑģÑĭпал":119333,"ÑĤелÑıм":119334,"ÑĤонов":119335,"ÑĤÑĢезв":119336,"ÑĤÑıжел":119337,"ÑĥдиÑĤÑĮ":119338,"ÑĥÑĪкой":119339,"ÑĦÑĢанÑĨ":119340,"ÑĩаÑģов":119341,"ÑĩеÑģÑĤÑĮ":119342,"ÑĩиÑģÑĤо":119343,"ÑĪнего":119344,"ÑīиÑħÑģÑı":119345,"ÑĭваÑİÑī":119346,"ÑĮÑıнов":119347,"eather":119348,"ĠÐIJнаÑģÑĤ":119349,"ĠÐIJнгел":119350,"ĠÐijелÑĭй":119351,"ĠÐijожÑĮе":119352,"ĠÐijÑĢеÑģÑĤ":119353,"ĠÐĴойна":119354,"ĠÐĴÑĩеÑĢа":119355,"ĠÐĴÑĭÑħод":119356,"ĠÐĶании":119357,"ĠÐĶжонÑģ":119358,"ĠÐķвÑĢоÑģ":119359,"ĠÐĹавеÑĤ":119360,"ĠÐĺнÑĭми":119361,"ĠÐĺÑģаак":119362,"ĠÐĺÑģпан":119363,"ĠÐĺÑģÑĤин":119364,"ĠÐļаким":119365,"ĠÐļакое":119366,"ĠÐļнÑıзÑĮ":119367,"ĠÐļоÑĤоÑĢ":119368,"ĠÐļÑĥбке":119369,"ĠÐĽÐ¸ÑĤвÑĭ":119370,"ĠÐľÐ°ÑĢин":119371,"ĠÐľÐ°ÑĢка":119372,"ĠÐľÐ¸Ð»Ð°Ð½":119373,"ĠÐĿадеж":119374,"ĠÐĿижне":119375,"ĠÐŀÑĢган":119376,"ĠÐŀÑģман":119377,"ĠÐŀÑģобо":119378,"ĠÐŁÐ°Ð»Ð°ÑĤ":119379,"ĠÐŁÐ¾Ð¼Ð½Ñİ":119380,"ĠÐŁÐ¾ÑĢÑĤÑĥ":119381,"ĠÐŁÑĥбли":119382,"ĠÐłÐ°Ð´Ð¸Ð¾":119383,"ĠСамаÑı":119384,"ĠСамÑĭе":119385,"ĠСамÑĭм":119386,"ĠСанÑĤа":119387,"ĠСнова":119388,"ĠСоÑİзе":119389,"ĠТаÑĢаÑģ":119390,"ĠТÑĢанÑģ":119391,"ĠФоÑĢма":119392,"ĠЧиÑģло":119393,"ĠШÑĤаÑĤÑĭ":119394,"ĠÐŃÑĤого":119395,"ĠаббаÑĤ":119396,"Ġаванг":119397,"ĠакÑĨиÑı":119398,"Ġалмаз":119399,"ĠалÑĤаÑĢ":119400,"ĠаÑĤака":119401,"Ġбагаж":119402,"Ġбанке":119403,"ĠбаÑĢан":119404,"Ġбелка":119405,"ĠбелÑĭм":119406,"ĠбеÑĢез":119407,"Ġблага":119408,"Ġбледн":119409,"Ġбогом":119410,"ĠболÑĤа":119411,"ĠбоÑĢол":119412,"ĠбÑĢаке":119413,"ĠбÑĢаÑĤÑĥ":119414,"ĠбÑĭÑĤие":119415,"Ġввода":119416,"ĠведÑijÑĤ":119417,"ĠвекаÑħ":119418,"ĠвеÑģнÑĭ":119419,"Ġвзвод":119420,"ĠвиÑģел":119421,"ĠвоинÑĭ":119422,"ĠвÑĢаги":119423,"ĠвÑĭвоз":119424,"ĠвÑĭдан":119425,"ĠвÑĭнеÑģ":119426,"ĠвÑĭноÑģ":119427,"ĠвÑĭпал":119428,"Ġгнезд":119429,"ĠгоÑĢно":119430,"ĠгÑĢÑıзÑĮ":119431,"ĠгÑĥман":119432,"ĠгÑĥÑģÑĤо":119433,"Ġдавай":119434,"ĠдвоиÑħ":119435,"ĠдевиÑĨ":119436,"ĠделаÑİ":119437,"ĠделаÑı":119438,"ĠдеÑĪев":119439,"Ġдогад":119440,"ĠдождÑı":119441,"Ġдолги":119442,"Ġдомен":119443,"ĠдоноÑģ":119444,"ĠдоÑĪли":119445,"Ġжалко":119446,"Ġживое":119447,"ĠживÑĭе":119448,"ĠживÑĭм":119449,"ĠживÑijÑĤ":119450,"Ġзавал":119451,"ĠзаÑģел":119452,"ĠзаÑģÑĤÑĢ":119453,"Ġзвено":119454,"Ġзнака":119455,"ĠзÑĥбов":119456,"ĠигÑĢой":119457,"Ġидеей":119458,"ĠидиоÑĤ":119459,"ĠизолÑı":119460,"ĠизÑĭÑģк":119461,"ĠиконÑĭ":119462,"Ġиннов":119463,"ĠинÑĦек":119464,"ĠиÑĤоги":119465,"ĠкадеÑĤ":119466,"ĠказнÑĮ":119467,"ĠкибеÑĢ":119468,"ĠклÑıÑĤв":119469,"ĠкнÑıзÑİ":119470,"ĠколоÑģ":119471,"ĠкомеÑĤ":119472,"Ġконво":119473,"ĠконÑĩа":119474,"ĠкооÑĢд":119475,"Ġкопии":119476,"ĠкоÑĢне":119477,"ĠкоÑĢнÑı":119478,"ĠкÑĢÑĥÑĤо":119479,"ĠкÑĢÑĭло":119480,"ĠкÑĥзов":119481,"Ġладно":119482,"ĠлиÑĨен":119483,"Ġловко":119484,"Ġложка":119485,"ĠлÑĥÑĩей":119486,"ĠмаÑģки":119487,"ĠмаÑģÑģе":119488,"ĠмоÑĢем":119489,"ĠнаÑģоÑģ":119490,"ĠнаÑĥкÑĥ":119491,"Ġнедав":119492,"ĠноÑĩам":119493,"ĠобÑĢел":119494,"ĠобÑĭÑĩа":119495,"ĠодеÑĤÑĭ":119496,"ĠодобÑĢ":119497,"ĠопеÑĢе":119498,"ĠопÑĭÑĤе":119499,"ĠоÑģкоÑĢ":119500,"ĠоÑĤдан":119501,"ĠоÑĤозв":119502,"ĠоÑħоÑĤÑĭ":119503,"ĠоÑĩиÑīа":119504,"Ġпалео":119505,"ĠпалеÑĨ":119506,"ĠпалÑĮм":119507,"ĠпаÑĢнÑı":119508,"ĠпаÑĤÑĢÑĥ":119509,"ĠпеÑĢеб":119510,"ĠпеÑĢиÑĦ":119511,"ĠпеÑģка":119512,"ĠпланÑĥ":119513,"ĠплаÑĤÑĥ":119514,"ĠповаÑĢ":119515,"Ġпожил":119516,"Ġпокид":119517,"ĠпоÑģев":119518,"ĠпоÑĩвÑĥ":119519,"ĠпоÑıÑģа":119520,"ĠпÑĢиÑİÑĤ":119521,"ĠпÑĢомÑĭ":119522,"ĠпÑĢоÑĩÑĮ":119523,"ĠпÑĥÑĤев":119524,"ĠпÑĥÑĪек":119525,"ĠпÑĮеÑģа":119526,"ĠпÑĮеÑģе":119527,"ĠÑĢезид":119528,"ĠÑĢемеÑģ":119529,"ĠÑĢепеÑĤ":119530,"ĠÑĢеÑĨен":119531,"ĠÑĢиÑģкÑĥ":119532,"ĠÑĢолей":119533,"ĠÑĢоÑģко":119534,"ĠÑĢоÑģÑĤÑĥ":119535,"ĠÑĢÑıдаÑħ":119536,"ĠÑģадов":119537,"ĠÑģвиÑģÑĤ":119538,"ĠÑģвÑıÑĤо":119539,"ĠÑģдаÑĤÑĮ":119540,"ĠÑģидÑıÑĤ":119541,"ĠÑģлоем":119542,"ĠÑģлÑĥжб":119543,"ĠÑģмогÑĥ":119544,"ĠÑģнега":119545,"ĠÑģоÑĢÑĤа":119546,"ĠÑģоÑĩÑĥв":119547,"ĠÑģÑĢажа":119548,"ĠÑģÑĤаÑĤÑĥ":119549,"ĠÑģÑĤолÑĥ":119550,"ĠÑģÑĤÑĢои":119551,"ĠÑģÑĥмме":119552,"ĠÑĤабак":119553,"ĠÑĤайна":119554,"ĠÑĤакÑģи":119555,"ĠÑĤанÑĨа":119556,"ĠÑĤеÑģÑĤо":119557,"ĠÑĤолкÑĥ":119558,"ĠÑĥлÑĥÑĩÑĪ":119559,"ĠÑĥмеÑĤÑĮ":119560,"ĠÑĥÑģадÑĮ":119561,"ĠÑħваÑĤа":119562,"ĠÑħодом":119563,"ĠÑħодÑıÑĤ":119564,"ĠÑħÑĢÑĥÑģÑĤ":119565,"ĠÑĨелаÑı":119566,"ĠÑĨелеÑģ":119567,"ĠÑĩеÑģÑĤн":119568,"ĠÑĪанÑģÑĭ":119569,"ĠÑĪокол":119570,"ĠÑĪÑĤоÑĢм":119571,"ĠÑīедÑĢо":119572,"ĠÑįÑĤажа":119573,"ĠÑİжнее":119574,"ĠÑİжнÑĭÑħ":119575,"ĠÑİноÑĪа":119576,"ĠÑıзÑĭкÑĥ":119577,"ĠÑıÑĢким":119578,"ÐIJÑĦÑĢика":119579,"ÐĹавÑĤÑĢа":119580,"ÐĺнÑĦоÑĢм":119581,"ЧеÑĤвеÑĢ":119582,"агÑĢеÑģÑģ":119583,"аÑĢовÑģк":119584,"аÑĤивно":119585,"аÑīиÑħÑģÑı":119586,"бегаÑİÑĤ":119587,"биваÑĤÑĮ":119588,"бÑĢоÑĪен":119589,"валоÑģÑĮ":119590,"ваÑĤелÑĮ":119591,"ведено":119592,"веÑĢнÑĥл":119593,"влеÑĩеÑĤ":119594,"водили":119595,"вÑĢаÑīен":119596,"гадаÑĤÑĮ":119597,"гадÑĭва":119598,"галÑĮÑģк":119599,"гигиен":119600,"гÑĢамма":119601,"гÑĢÑĥппÑĭ":119602,"давиÑĤÑĮ":119603,"давлен":119604,"деÑģÑıÑĤи":119605,"долгоÑģ":119606,"доÑģÑĤÑĥп":119607,"евÑģкаÑı":119608,"езжаÑĤÑĮ":119609,"елилÑģÑı":119610,"елÑĮÑģин":119611,"емоÑģÑĤи":119612,"еÑĢÑĤÑĥаÑĢ":119613,"еÑĢÑĪили":119614,"еÑĩении":119615,"живаеÑĤ":119616,"жÑģкого":119617,"звонил":119618,"знание":119619,"знаниÑİ":119620,"зÑĢение":119621,"зÑĭваеÑĤ":119622,"инÑģкое":119623,"иÑĢовок":119624,"иÑĢÑĥйÑĤе":119625,"иÑģÑĤенÑĤ":119626,"иÑģÑĤика":119627,"иÑģÑĤÑģко":119628,"иÑĨкого":119629,"каÑĤÑĭва":119630,"киваеÑĤ":119631,"конÑĩил":119632,"кÑĢедиÑĤ":119633,"кÑĢÑĭÑĤÑĭй":119634,"левого":119635,"легаÑİÑī":119636,"леннÑĥÑİ":119637,"леÑĤние":119638,"леÑĤÑĢÑıÑģ":119639,"лиÑģÑĤов":119640,"лиÑĤÑĢов":119641,"лÑĮÑģком":119642,"маÑģÑĤеÑĢ":119643,"менÑıем":119644,"менÑıеÑĤ":119645,"менÑıÑĤÑĮ":119646,"меÑģÑĤил":119647,"невной":119648,"нейÑĪее":119649,"неÑĦÑĤÑıн":119650,"новомÑĥ":119651,"ождаÑĤÑĮ":119652,"ологиÑİ":119653,"онного":119654,"оÑģÑĤиÑĢа":119655,"оÑĤеÑĢап":119656,"оÑĦиÑĨеÑĢ":119657,"падали":119658,"пеÑģÑĩан":119659,"плаÑĩен":119660,"племен":119661,"плеÑĤен":119662,"повеÑĢÑħ":119663,"полага":119664,"полнен":119665,"пÑĢоÑģил":119666,"пÑĢоÑģÑĤо":119667,"ÑĢаблен":119668,"ÑĢабоÑĤа":119669,"ÑĢаздел":119670,"ÑĢÑĥблен":119671,"ÑģаÑģÑĭва":119672,"ÑģвоемÑĥ":119673,"ÑģеÑĢвиÑģ":119674,"ÑģеÑĢÑĮез":119675,"ÑģлÑĥÑĪал":119676,"ÑģÑĤанеÑĤ":119677,"ÑģÑĤанÑĨи":119678,"ÑģÑĤвÑĥÑİÑĤ":119679,"ÑģÑĤоÑĢож":119680,"ÑģÑĥÑĤÑģÑĤв":119681,"ÑĤаÑīиÑĤÑĮ":119682,"ÑĦеодал":119683,"ÑħваÑĤив":119684,"ÑĨенÑĤÑĢа":119685,"ÑĩеÑģÑĤвÑĥ":119686,"ÑĩиваÑİÑĤ":119687,"ÑĪедÑĪей":119688,"ÑįлекÑĤÑĢ":119689,"century":119690,"ĠÐIJдолÑĮÑĦ":119691,"ĠÐIJнализ":119692,"ĠÐijалкан":119693,"ĠÐijÑĢÑıнÑģк":119694,"ĠÐĴелико":119695,"ĠÐĴокÑĢÑĥг":119696,"ĠÐĴолков":119697,"ĠÐĴполне":119698,"ĠÐĴÑģегда":119699,"ĠÐĴÑĤоÑĢое":119700,"ĠÐĴÑĭÑģоÑĤа":119701,"ĠÐĵоголÑĮ":119702,"ĠÐĵоÑģдÑĥм":119703,"ĠÐĶаннÑĭе":119704,"ĠÐĶаннÑĭй":119705,"ĠÐĶаÑĢвин":119706,"ĠÐĶополн":119707,"ĠÐķлÑĮÑĨин":119708,"ĠÐĺоганн":119709,"ĠÐĺÑĤалиÑİ":119710,"ĠÐĺÑĤалиÑı":119711,"ĠÐļозлов":119712,"ĠÐļоÑĢоÑĩе":119713,"ĠÐľÐ°ÑĢина":119714,"ĠÐľÐ°ÑĢкÑģа":119715,"ĠÐľÐ¸Ð»Ð»ÐµÑĢ":119716,"ĠÐľÐ¾Ð½Ð³Ð¾Ð»":119717,"ĠÐŀÑĤделÑĮ":119718,"ĠÐŀÑĤкÑĥда":119719,"ĠÐŀÑĦиÑĨеÑĢ":119720,"ĠÐŁÐ°ÑģÑĤеÑĢ":119721,"ĠÐŁÐ¸ÐºÐ°Ð±Ñĥ":119722,"ĠÐŁÐ»Ð°ÑĤон":119723,"ĠÐŁÑĢивеÑĤ":119724,"ĠÐŁÑĢимеÑĩ":119725,"ĠÐŁÑĢиÑħод":119726,"ĠÐŁÑĢоÑĪло":119727,"ĠÐłÐ¾Ð´Ð¶ÐµÑĢ":119728,"ĠСеÑĢбии":119729,"ĠСибиÑĢÑĮ":119730,"ĠСмеÑĢÑĤÑĮ":119731,"ĠСовеÑĢÑĪ":119732,"ĠСокÑĢаÑĤ":119733,"ĠТеÑĢмин":119734,"ĠФÑĥнкÑĨи":119735,"ĠЦенÑĤÑĢа":119736,"ĠЧеÑĢÑĩил":119737,"ĠЧеÑĤÑĭÑĢе":119738,"ĠЧеÑħова":119739,"ĠЮжного":119740,"ĠЮпиÑĤеÑĢ":119741,"ĠЯпониÑı":119742,"ĠавÑĤоÑĢÑĥ":119743,"ĠадÑĢеÑģа":119744,"ĠакÑĤеÑĢа":119745,"ĠалÑİмин":119746,"ĠаÑĢендÑĭ":119747,"ĠаÑĤомов":119748,"Ġбалкон":119749,"Ġбаллов":119750,"Ġбезнад":119751,"ĠбеÑģедÑĥ":119752,"Ġблоков":119753,"ĠбоевÑĭм":119754,"ĠболелÑĮ":119755,"ĠбоÑıлÑģÑı":119756,"ĠбÑĥмаге":119757,"ĠбÑĭвÑĪие":119758,"ĠбÑĭвÑĪим":119759,"ĠвакÑĥÑĥм":119760,"ĠвеÑĢÑģий":119761,"Ġвзвода":119762,"Ġвидами":119763,"ĠвидиÑĪÑĮ":119764,"ĠвизиÑĤа":119765,"ĠвоÑģÑħод":119766,"ĠвпеÑĢÑijд":119767,"ĠвпÑĢаво":119768,"ĠвÑĭÑģади":119769,"ĠвÑĭÑģÑĪем":119770,"ĠвÑĭÑıвил":119771,"ĠгазеÑĤÑĥ":119772,"ĠгеÑĢоем":119773,"Ġгладко":119774,"ĠглаÑģиÑĤ":119775,"ĠгоÑĢÑĮко":119776,"ĠгоÑĤово":119777,"ĠгÑĢаниÑĤ":119778,"ĠгÑĢеков":119779,"ĠгÑĢозиÑĤ":119780,"ĠгÑĢÑıдÑĥÑī":119781,"ĠдвеÑĢей":119782,"ĠдеÑĢжаÑĤ":119783,"ĠдиабеÑĤ":119784,"Ġдобива":119785,"ĠдобÑĢÑĭй":119786,"ĠдобÑĭÑĩÑĥ":119787,"ĠдогмаÑĤ":119788,"Ġдолгов":119789,"ĠдолинÑĭ":119790,"ĠдоллаÑĢ":119791,"ĠдÑĢÑĥжбÑĭ":119792,"ĠевÑĢеÑıм":119793,"ĠегипеÑĤ":119794,"ĠжалобÑĭ":119795,"ĠзабÑĭли":119796,"ĠзагÑĢÑıз":119797,"ĠзадаÑĤÑĮ":119798,"Ġзаказа":119799,"ĠзалиÑĤÑĮ":119800,"Ġзамени":119801,"ĠзаменÑĥ":119802,"ĠзаменÑĭ":119803,"ĠзамÑĭка":119804,"Ġзаодно":119805,"ĠзападÑĥ":119806,"Ġзвонок":119807,"Ġземлед":119808,"ĠземлÑıÑħ":119809,"ĠзÑĢение":119810,"ĠигÑĢала":119811,"ĠигÑĢоки":119812,"ĠиеÑĢаÑĢÑħ":119813,"ĠизбÑĢал":119814,"Ġизвлек":119815,"ĠимпеÑĢи":119816,"ĠинÑĤимн":119817,"ĠиÑģÑĤеÑĢи":119818,"ĠкамеÑĢа":119819,"Ġканале":119820,"ĠклаÑģÑģÑĭ":119821,"ĠклеÑĤоÑĩ":119822,"ĠклÑĥбов":119823,"Ġкнопки":119824,"ĠкнÑıзем":119825,"Ġколебл":119826,"ĠкоÑĢоÑĩе":119827,"ĠкоÑĪмаÑĢ":119828,"ĠкÑĢаÑģки":119829,"ĠкÑĢÑĥгаÑħ":119830,"ĠкÑĥплен":119831,"ĠкÑĥÑĢÑģов":119832,"Ġлегкие":119833,"Ġлегким":119834,"ĠлейÑĤен":119835,"ĠлидеÑĢÑĭ":119836,"Ġлогика":119837,"ĠлÑĥÑĩÑĪем":119838,"ĠлÑİбили":119839,"ĠменÑıеÑĤ":119840,"ĠминÑĥÑĤе":119841,"ĠмонаÑħи":119842,"ĠмÑĥдÑĢеÑĨ":119843,"ĠнапÑĢÑıж":119844,"ĠнаÑĢоде":119845,"ĠнаÑģилÑĮ":119846,"ĠнепÑĢед":119847,"Ġнизким":119848,"ĠнÑĥжнÑĭм":119849,"ĠобеÑīан":119850,"Ġобложк":119851,"ĠобÑīемÑĥ":119852,"ĠобÑĬеме":119853,"ĠогоÑĢод":119854,"Ġодежде":119855,"Ġокеане":119856,"ĠокÑĢÑĥгÑĥ":119857,"Ġопозна":119858,"ĠоÑĤбоÑĢа":119859,"ĠоÑĤзÑĭвÑĭ":119860,"ĠоÑĤкÑĢÑĭв":119861,"ĠоÑĤÑģлеж":119862,"ĠоÑĤÑģÑĤал":119863,"ĠоÑĤÑĤого":119864,"ĠоÑĤÑĩего":119865,"ĠоÑīÑĥÑīал":119866,"Ġпанели":119867,"ĠпаÑĢков":119868,"ĠпенÑģиÑİ":119869,"ĠпеÑĩенÑĮ":119870,"ĠпланаÑħ":119871,"Ġпобеде":119872,"ĠповÑģем":119873,"ĠповÑĭÑĪа":119874,"Ġпогода":119875,"ĠподÑĬÑijм":119876,"ĠполоÑģе":119877,"ĠполÑĮзÑĭ":119878,"ĠпомниÑĤ":119879,"ĠпооÑīÑĢÑı":119880,"ĠпопÑĢав":119881,"ĠпоÑħожа":119882,"ĠпÑĢавÑĥÑİ":119883,"ĠпÑĢеÑģÑģе":119884,"ĠпÑĢиезд":119885,"ĠпÑĢинÑĨа":119886,"ĠпÑĢоÑģÑĤа":119887,"ĠпÑĢоÑĤÑıж":119888,"ĠпÑĢоÑĩее":119889,"ĠпÑĢоÑĪед":119890,"ĠпÑĢоÑıви":119891,"ĠпÑĢÑĥÑģÑģк":119892,"ĠпÑĢÑıмом":119893,"ĠпÑĢÑıмÑĭе":119894,"ĠпÑĢÑıмÑĭÑħ":119895,"ĠпÑĥÑģÑĤой":119896,"ĠÑĢавнод":119897,"ĠÑĢавной":119898,"ĠÑĢаннем":119899,"ĠÑĢаÑģкоп":119900,"ĠÑĢаÑģпад":119901,"ĠÑĢаÑģÑĤÑĥÑĤ":119902,"ĠÑĢаÑĥнде":119903,"ĠÑĢезолÑİ":119904,"ĠÑĢекÑĤоÑĢ":119905,"ĠÑĢеÑĪаÑİÑĤ":119906,"ĠÑĢодном":119907,"ĠÑĢозÑĭÑģк":119908,"ĠÑģбоÑĢки":119909,"ĠÑģекÑĨии":119910,"ĠÑģенÑģоÑĢ":119911,"ĠÑģеÑģÑģии":119912,"ĠÑģимÑĦон":119913,"ĠÑģказав":119914,"ĠÑģказка":119915,"ĠÑģказоÑĩ":119916,"ĠÑģкÑĢÑĭва":119917,"ĠÑģкÑĢÑĭÑĤÑĮ":119918,"ĠÑģлабÑĭм":119919,"ĠÑģладко":119920,"ĠÑģледил":119921,"ĠÑģможем":119922,"ĠÑģобоÑĢе":119923,"ĠÑģожжен":119924,"ĠÑģолидн":119925,"ĠÑģпаÑģен":119926,"ĠÑģпиÑģки":119927,"ĠÑģÑģÑĭлка":119928,"ĠÑģÑĤавки":119929,"ĠÑģÑĤаÑĢаÑı":119930,"ĠÑģÑĤиÑħаÑħ":119931,"ĠÑģÑĤолик":119932,"ĠÑģÑĩеÑĤом":119933,"ĠÑĤакова":119934,"ĠÑĤвоего":119935,"ĠÑĤолков":119936,"ĠÑĤолÑģÑĤо":119937,"ĠÑĤоÑĩкой":119938,"ĠÑĤÑĢагиÑĩ":119939,"ĠÑĤÑĢаÑĦик":119940,"ĠÑĤÑĢиÑĥмÑĦ":119941,"ĠÑĥбедил":119942,"ĠÑĥбежда":119943,"ĠÑĥбÑĢаÑĤÑĮ":119944,"ĠÑĥвлека":119945,"ĠÑĥдаÑĢом":119946,"ĠÑĥлиÑĨам":119947,"ĠÑĥлÑĮÑĤÑĢа":119948,"ĠÑĥнижен":119949,"ĠÑĥÑĢовнÑİ":119950,"ĠÑĥÑĢожай":119951,"ĠÑĥÑģилив":119952,"ĠÑĥÑħодÑıÑĤ":119953,"ĠÑĥÑĩÑijнÑĭÑħ":119954,"ĠÑĥÑīеÑĢба":119955,"ĠÑĦаÑĢаон":119956,"ĠÑĦаÑĪиÑģÑĤ":119957,"ĠÑĦизике":119958,"ĠÑĦонÑĤан":119959,"ĠÑĦÑİзелÑı":119960,"ĠÑĨенÑĤÑĢÑĭ":119961,"ĠÑĩеÑĢнÑĭÑħ":119962,"ĠÑįкÑģÑĤÑĢа":119963,"ĠÑįÑģÑĤÑĢад":119964,"ÐIJдмиÑĢал":119965,"ÐĵоÑģÑĥдаÑĢ":119966,"ÐŀбÑĬедин":119967,"ФÑĢанÑĨÑĥз":119968,"Человек":119969,"веÑĢнÑĥÑĤÑĮ":119970,"веÑīаниÑı":119971,"видение":119972,"вÑĪемÑĥÑģÑı":119973,"глÑıдеÑĤÑĮ":119974,"дÑĢÑĥгомÑĥ":119975,"ивÑĪаÑıÑģÑı":119976,"иÑĢованн":119977,"иÑĢовано":119978,"иÑĢÑĥÑİÑīие":119979,"иÑĢÑĥÑİÑīий":119980,"иÑĦиÑĨиÑĢÑĥ":119981,"казÑĭвал":119982,"каÑĤолиÑĩ":119983,"кликнÑĥл":119984,"клÑİÑĩиÑĤÑĮ":119985,"коÑĤоÑĢÑĭе":119986,"кÑĢаÑĤнÑĭй":119987,"кÑĢÑĭваÑĤÑĮ":119988,"наÑĢодно":119989,"новение":119990,"новениÑı":119991,"ноÑģÑıÑĤÑģÑı":119992,"обоÑĢонÑĭ":119993,"обÑīеÑģÑĤв":119994,"овавÑĪиÑħ":119995,"ождениÑİ":119996,"пеÑĩаÑĤан":119997,"попÑĥлÑıÑĢ":119998,"поÑĢÑĥÑĩик":119999,"пÑĢавлÑıл":120000,"пÑĢезенÑĤ":120001,"пÑĢиÑıÑĤие":120002,"пÑĢодÑĥкÑĤ":120003,"ÑĢадикал":120004,"ÑĢедиенÑĤ":120005,"ÑĢиÑģован":120006,"Ñģкакива":120007,"ÑģлÑĥжиÑĤÑĮ":120008,"Ñģпокойн":120009,"ÑģÑĤавлÑıÑİ":120010,"ÑģÑĤанÑĨиÑı":120011,"ÑģÑĤÑĥпаеÑĤ":120012,"ÑģÑĩиÑĤаÑĤÑĮ":120013,"ÑĤвеÑĢжда":120014,"ÑĤелÑĮном":120015,"Ñĥждений":120016,"ÑĥÑģÑĤанов":120017,"ÑĦÑĢанÑĨÑĥз":120018,"ÑħодÑıÑīим":120019,"ÑĨионнÑĭÑħ":120020,"ÑįнеÑĢгии":120021,"ÑıÑīегоÑģÑı":120022,"flibusta":120023,"ĠÐIJнаÑģÑĤаÑģ":120024,"ĠÐIJполлон":120025,"ĠÐijеÑĢлина":120026,"ĠÐĴнаÑĩале":120027,"ĠÐĵагаÑĢин":120028,"ĠÐĵенÑĢиÑħа":120029,"ĠÐĵлавнаÑı":120030,"ĠÐĶжонÑģон":120031,"ĠÐĶÑĢÑĥгими":120032,"ĠÐĺванова":120033,"ĠÐĺÑĢкÑĥÑĤÑģк":120034,"ĠÐļавказе":120035,"ĠÐļоманда":120036,"ĠÐĽÐµÐ±ÐµÐ´ÐµÐ²":120037,"ĠÐĽÐ¾Ð½Ð´Ð¾Ð½Ð°":120038,"ĠÐľÐ°ÐºÐ°ÑĢов":120039,"ĠÐľÐ¾Ñģквой":120040,"ĠÐĿадеÑİÑģÑĮ":120041,"ĠÐĿедавно":120042,"ĠÐĿемного":120043,"ĠÐŁÐµÑĢевод":120044,"ĠÐŁÐ¾Ð»ÑĥÑĩен":120045,"ĠÐŁÐ¾Ð»ÑĥÑĩив":120046,"ĠÐŁÐ¾Ð¼Ð½Ð¸ÑĤе":120047,"ĠÐŁÑĢиÑĩина":120048,"ĠÐłÐ¸Ð¼Ñģкой":120049,"ĠÐłÐ¾Ð±ÐµÑĢÑĤа":120050,"ĠÐłÑĥÑģÑģкие":120051,"ĠСамолеÑĤ":120052,"ĠСеÑĢгеев":120053,"ĠТаÑĪкенÑĤ":120054,"ĠТоваÑĢиÑī":120055,"ĠУлÑĮÑıнов":120056,"ĠУÑĢалÑĮÑģк":120057,"ĠУÑģпенÑģк":120058,"ĠФÑĢанÑģÑĥа":120059,"ĠФÑĢанÑĨÑĥз":120060,"ĠавианоÑģ":120061,"ĠавÑģÑĤÑĢий":120062,"ĠаппеÑĤиÑĤ":120063,"ĠаÑĤомной":120064,"ĠбаÑĤаÑĢей":120065,"ĠбегÑģÑĤво":120066,"ĠбеÑģÑģозн":120067,"Ġблизкие":120068,"ĠбогаÑĤÑĭм":120069,"ĠболÑĮнÑĭм":120070,"ĠбоÑıÑĤÑĮÑģÑı":120071,"ĠбÑĥдÑĥÑīий":120072,"ĠбÑĥлÑĮваÑĢ":120073,"ĠведеÑĤÑģÑı":120074,"ĠведÑĥÑīим":120075,"Ġвежливо":120076,"Ġвеликие":120077,"Ġвеликое":120078,"ĠвелиÑĩай":120079,"ĠвеÑĤеÑĢан":120080,"Ġвидение":120081,"ĠвклÑİÑĩÑijн":120082,"ĠвладееÑĤ":120083,"Ġводного":120084,"ĠвоеваÑĤÑĮ":120085,"Ġвоенноп":120086,"Ġвозлага":120087,"ĠвоÑģпиÑĤа":120088,"ĠвоÑģÑħиÑīа":120089,"ĠвÑĢÑĥÑĩнÑĥÑİ":120090,"ĠвÑģÑĤÑĢеÑĤи":120091,"ĠвÑħодило":120092,"ĠвÑĭгодно":120093,"ĠвÑĭзвала":120094,"ĠвÑĭзÑĭвал":120095,"ĠвÑĭлеÑĤел":120096,"ĠвÑĭÑĢоÑģла":120097,"ĠвÑĭÑıвиÑĤÑĮ":120098,"ĠвÑĭÑıÑģнил":120099,"ĠгазеÑĤаÑħ":120100,"ĠгоÑĢÑıÑĩей":120101,"ĠгоÑĤовÑıÑĤ":120102,"ĠданномÑĥ":120103,"ĠдвоÑĢÑĨов":120104,"Ġделение":120105,"ĠделениÑı":120106,"ĠделиÑĤÑģÑı":120107,"ĠдеÑĪевле":120108,"ĠдеÑıÑĤелÑı":120109,"ĠдиÑģÑĤанÑĨ":120110,"ĠдовеÑĢен":120111,"Ġдоволен":120112,"ĠдоллаÑĢа":120113,"Ġдоложил":120114,"ĠдÑĢевнеÑĢ":120115,"ĠдÑĢÑĥзÑĮÑıм":120116,"ĠдÑĥÑĪевно":120117,"ĠединиÑĩн":120118,"Ġжелании":120119,"ĠжеланиÑİ":120120,"ĠжеÑĢÑĤвой":120121,"Ġзаболел":120122,"ĠзавиÑģел":120123,"ĠзавиÑģим":120124,"ĠзамеÑĩал":120125,"ĠзамеÑĩен":120126,"ĠзапеÑĩаÑĤ":120127,"ĠзаÑħоÑĩеÑĤ":120128,"ĠзаÑīиÑīал":120129,"ĠзаÑıвлен":120130,"ĠзеленÑĭй":120131,"Ġземного":120132,"ĠзолоÑĤÑĭÑħ":120133,"ĠигÑĢовой":120134,"ĠиеÑĢаÑĢÑħи":120135,"Ġизданий":120136,"ĠизлиÑĪне":120137,"ĠизÑĥÑĩиÑĤÑĮ":120138,"ĠимелиÑģÑĮ":120139,"ĠимпеÑĢиÑı":120140,"ĠимпеÑĢÑģк":120141,"ĠиÑģпÑĭÑĤал":120142,"ĠкажÑĥÑĤÑģÑı":120143,"ĠкалибÑĢа":120144,"ĠколÑħоза":120145,"ĠкоÑĢобки":120146,"ĠкÑĢаÑģнÑĭе":120147,"ĠкÑĢаÑģнÑĭÑħ":120148,"ĠкÑĢоваÑĤи":120149,"ĠлегендÑĭ":120150,"Ġлинейно":120151,"ĠмедалÑĮÑİ":120152,"ĠмелÑĮниÑĨ":120153,"ĠмеÑģÑĤнÑĭй":120154,"ĠмеÑģÑĤнÑĭм":120155,"ĠминомеÑĤ":120156,"ĠмиÑĢовом":120157,"ĠмолиÑĤвÑĭ":120158,"ĠмолодаÑı":120159,"ĠмоÑĢÑģкие":120160,"ĠмоÑĤивам":120161,"ĠнавÑĭков":120162,"Ġнадежде":120163,"Ġнадежно":120164,"ĠнадпиÑģи":120165,"ĠнаÑħодил":120166,"ĠневÑĭÑģок":120167,"Ġнеизмен":120168,"ĠнейÑĤÑĢон":120169,"ĠнемÑĨами":120170,"ĠновоÑģÑĤÑĮ":120171,"ĠноÑĥÑĤбÑĥк":120172,"ĠобобÑīен":120173,"ĠобоÑĢонÑı":120174,"ĠобÑīеÑģÑĤв":120175,"Ġовладел":120176,"ĠокÑĢаÑĪен":120177,"ĠокÑĤÑıбÑĢÑĮ":120178,"ĠопаÑģнÑĭм":120179,"ĠопÑĥÑģÑĤил":120180,"ĠоÑĢганом":120181,"ĠоÑģведом":120182,"ĠоÑģкоÑĢби":120183,"ĠоÑģобнÑıк":120184,"ĠоÑĤдавал":120185,"ĠоÑĤделом":120186,"ĠоÑĤменен":120187,"ĠоÑĤпеÑĩаÑĤ":120188,"ĠоÑĤпÑĥÑģка":120189,"ĠоÑĨенкам":120190,"ĠпалÑĮÑĨем":120191,"ĠпаÑĢовоз":120192,"ĠпеÑĢенеÑģ":120193,"ĠпеÑĪеÑħод":120194,"Ġплавник":120195,"ĠпланеÑĤа":120196,"ĠпленнÑĭÑħ":120197,"Ġпобежал":120198,"ĠпобÑĥжда":120199,"ĠповеÑĢил":120200,"ĠповлиÑıл":120201,"ĠпоглоÑīа":120202,"ĠпогÑĢÑĥжа":120203,"ĠподойÑĤи":120204,"ĠподоÑĪли":120205,"ĠподÑĢÑĥга":120206,"ĠподÑģказ":120207,"ĠполеÑĤов":120208,"Ġполовой":120209,"Ġположен":120210,"ĠполоÑģÑĤи":120211,"ĠполÑĩаÑģа":120212,"ĠпомеÑģÑĤÑĮ":120213,"ĠпомидоÑĢ":120214,"Ġпомогли":120215,"ĠпомогÑĥÑĤ":120216,"Ġпонижен":120217,"ĠпонимаÑı":120218,"ĠпоÑģадки":120219,"ĠпоÑģадкÑĥ":120220,"ĠпоÑģÑĤелÑĮ":120221,"ĠпоÑģÑijлке":120222,"ĠпоÑĤоков":120223,"ĠпÑĢегÑĢад":120224,"ĠпÑĢедвод":120225,"ĠпÑĢедпоÑģ":120226,"ĠпÑĢежней":120227,"ĠпÑĢежние":120228,"ĠпÑĢежниÑħ":120229,"ĠпÑĢибоÑĢÑĭ":120230,"ĠпÑĢиемов":120231,"ĠпÑĢизÑĢак":120232,"ĠпÑĢикÑĢеп":120233,"ĠпÑĢинÑıÑĤа":120234,"ĠпÑĢиÑĤвоÑĢ":120235,"ĠпÑĢоÑĢÑĭва":120236,"ĠпÑĢоÑģÑĤаÑı":120237,"ĠпÑĢоÑģÑĤиÑĤ":120238,"ĠпÑĢоÑĪлой":120239,"ĠпÑĥÑģÑĤÑĭне":120240,"ĠÑĢабоÑĩем":120241,"ĠÑĢазвиÑĤÑĮ":120242,"ĠÑĢазлиÑĩа":120243,"ĠÑĢазобла":120244,"ĠÑĢаковин":120245,"ĠÑĢеакÑĨий":120246,"ĠÑĢоманов":120247,"ĠÑĢÑĥÑģÑģкое":120248,"ĠÑģеÑĢдÑĨем":120249,"ĠÑģеÑĢебÑĢа":120250,"ĠÑģклоннÑĭ":120251,"ĠÑģкÑĢÑĭвал":120252,"ĠÑģнаÑĢÑĥжи":120253,"ĠÑģнизиÑĤÑĮ":120254,"ĠÑģовеÑģÑĤÑĮ":120255,"ĠÑģовеÑĤов":120256,"ĠÑģоздаÑijÑĤ":120257,"ĠÑģолдаÑĤа":120258,"ĠÑģомнева":120259,"ĠÑģоÑģÑĥдов":120260,"ĠÑģÑĢеднее":120261,"ĠÑģÑĤавÑĪий":120262,"ĠÑģÑĤаÑĢÑĪиÑħ":120263,"ĠÑģÑĤилиÑģÑĤ":120264,"ĠÑģÑĤолиÑĨа":120265,"ĠÑģÑĤÑĢаÑģÑĤÑĮ":120266,"ĠÑģÑĥждено":120267,"ĠÑģÑĥпÑĢÑĥги":120268,"ĠÑĤемноÑĤе":120269,"ĠÑĤеÑĩениÑİ":120270,"ĠÑĤопливо":120271,"ĠÑĤÑĢаÑĤиÑĤÑĮ":120272,"ĠÑĤÑĢебÑĥем":120273,"ĠÑĤÑĢÑĥднее":120274,"ĠÑĤÑıжелÑĭй":120275,"ĠÑĥбиваеÑĤ":120276,"ĠÑĥвелиÑĩи":120277,"ĠÑĥвидиÑĤе":120278,"ĠÑĥглевод":120279,"ĠÑĥлÑĥÑĩÑĪен":120280,"ĠÑĥнаÑģлед":120281,"ĠÑĥÑħажива":120282,"ĠÑĥÑħодиÑĤÑĮ":120283,"ĠÑĦабÑĢики":120284,"ĠÑĦамилиÑİ":120285,"ĠÑĦÑĢÑĥкÑĤов":120286,"ĠÑĦÑĥÑĤбола":120287,"ĠÑħозÑıева":120288,"ĠÑħоÑĢоÑĪÑĥÑİ":120289,"ĠÑħÑĢанили":120290,"ĠÑĨаÑĢÑģкой":120291,"ĠÑĨеÑĢквей":120292,"ĠÑĩаÑģÑĤнÑĭе":120293,"ĠÑĩаÑģÑĤнÑĭм":120294,"ĠÑĪиÑĢокие":120295,"ĠÑĪоколад":120296,"ĠÑĪÑĤÑĥÑĢман":120297,"ĠÑįкÑģкÑĥÑĢÑģ":120298,"ĠÑİÑģÑĤиÑĨии":120299,"ĠÑıдеÑĢной":120300,"ÐļÑĢеÑģÑĤÑĮÑıн":120301,"агÑĢеÑģÑģив":120302,"адÑĬÑİÑĤанÑĤ":120303,"акÑĨионеÑĢ":120304,"аÑĨионнаÑı":120305,"балÑĤийÑģк":120306,"вÑĢеменно":120307,"вÑĭÑģоÑĩайÑĪ":120308,"гоÑĤовлен":120309,"дейÑģÑĤвие":120310,"енингÑĢад":120311,"западнее":120312,"западной":120313,"заÑīиÑĤник":120314,"иÑĢовалÑģÑı":120315,"кновенно":120316,"ливаеÑĤÑģÑı":120317,"ложеннÑĭе":120318,"маÑĤеÑĢиал":120319,"моÑĢÑģкого":120320,"ниÑĩеÑģÑĤва":120321,"ноÑģиÑĤелÑĮ":120322,"опÑĢиÑıÑĤно":120323,"оÑģобенно":120324,"оÑĤкÑĢовен":120325,"пеÑĩаÑĤаÑĤÑĮ":120326,"ÑĢабоÑĤÑĩик":120327,"ÑĢанÑģпоÑĢÑĤ":120328,"ÑĢезвÑĭÑĩай":120329,"ÑĢомагниÑĤ":120330,"Ñģознание":120331,"ÑģÑĤавлÑıем":120332,"ÑģÑĤавлÑıÑİÑĤ":120333,"ÑģÑĤвеннÑĥÑİ":120334,"ÑĤеÑĢапевÑĤ":120335,"ÑĤиÑĩеÑģким":120336,"ÑĤиÑĩеÑģкÑĥÑİ":120337,"ÑĨионалÑĮн":120338,"ÑĬекÑĤивно":120339,"ĠÐijелаÑĢÑĥÑģÑĮ":120340,"ĠÐĴÑģеволод":120341,"ĠÐĴÑĭÑģÑĤÑĥпал":120342,"ĠÐĶиÑĢекÑĤоÑĢ":120343,"ĠÐĶмиÑĤÑĢиев":120344,"ĠÐĶокÑĥменÑĤ":120345,"ĠÐķвÑĢоÑģоÑİз":120346,"ĠÐŀбÑīеÑģÑĤва":120347,"ĠÐŀÑĢенбÑĥÑĢг":120348,"ĠÐŁÐ°ÐºÐ¸ÑģÑĤан":120349,"ĠÐŁÐ¾Ð´Ð¾Ð±Ð½Ñĭе":120350,"ĠÐŁÑĢодолжа":120351,"ĠÐłÐ°Ð·Ð²Ð¸ÑĤие":120352,"ĠСевеÑĢнаÑı":120353,"ĠСевеÑĢном":120354,"ĠСоздание":120355,"ĠТвеÑĢÑģкой":120356,"ĠТÑĥÑĢгенев":120357,"ĠУÑĩиÑĤÑĭваÑı":120358,"ĠЧеÑĢнигов":120359,"ĠЧеÑħоÑģлов":120360,"ĠШекÑģпиÑĢа":120361,"ĠавангаÑĢд":120362,"ĠагÑĢеÑģÑģии":120363,"ĠакÑĤивнÑĭм":120364,"ĠаÑĢбиÑĤÑĢаж":120365,"ĠаÑģÑĤеÑĢоид":120366,"ĠбеженÑĨев":120367,"ĠбеÑģконеÑĩ":120368,"Ġбиологии":120369,"Ġбоевиков":120370,"ĠважноÑģÑĤÑĮ":120371,"ĠвеÑĢноÑģÑĤÑĮ":120372,"ĠвклÑİÑĩенÑĭ":120373,"ĠвовлеÑĩен":120374,"ĠводиÑĤелÑı":120375,"ĠводоÑĢода":120376,"ĠвоеннÑĭми":120377,"Ġвозможна":120378,"ĠвообÑĢажа":120379,"ĠвпеÑĩаÑĤлÑı":120380,"ĠвÑĢаÑīениÑı":120381,"ĠвÑģÑĤÑĢеÑĩал":120382,"ĠвÑģÑĤÑĥпаеÑĤ":120383,"ĠвÑĤоÑĢиÑĩно":120384,"ĠвÑĭбиÑĢаеÑĤ":120385,"ĠвÑĭглÑıдÑıÑĤ":120386,"ĠвÑĭигÑĢала":120387,"ĠвÑĭигÑĢаÑĤÑĮ":120388,"ĠвÑĭÑĢажаеÑĤ":120389,"ĠвÑĭÑħодили":120390,"ĠглÑĥбокий":120391,"ĠглÑĥбоким":120392,"ĠглÑĥбокое":120393,"ĠговоÑĢиÑĤе":120394,"ĠгоÑģÑĥдаÑĢÑĮ":120395,"ĠгоÑģÑĥдаÑĢÑı":120396,"ĠгÑĢаниÑĨаÑħ":120397,"ĠгÑĥбеÑĢнÑģк":120398,"ĠдеÑĢевенÑĮ":120399,"ĠдеÑĤÑģкого":120400,"ĠдиÑĢекÑĤив":120401,"ĠдоговоÑĢÑĥ":120402,"ĠдÑĥÑħовнÑĭÑħ":120403,"Ġжеланием":120404,"ĠженÑīинам":120405,"ĠживопиÑģÑĮ":120406,"ĠжÑĥÑĢналов":120407,"ĠзабаÑģÑĤов":120408,"ĠзабÑĢоÑĪен":120409,"Ġзавоеван":120410,"Ġзаконами":120411,"Ġзанимали":120412,"ĠзанимаÑĤÑĮ":120413,"Ġзападном":120414,"Ġзапомина":120415,"ĠзапÑĢоÑģов":120416,"ĠзаÑĤÑĢÑĥднÑı":120417,"ĠзаÑıвлÑıеÑĤ":120418,"ĠизбегаÑĤÑĮ":120419,"ĠизбÑĭÑĤоÑĩн":120420,"ĠизменÑıÑĤÑĮ":120421,"ĠизÑĥÑĩении":120422,"ĠиллÑİÑģÑĤÑĢа":120423,"ĠиндейÑĨев":120424,"ĠинноваÑĨи":120425,"ĠинÑĤеÑĢеÑģÑĥ":120426,"ĠинÑĤеÑĢÑĮеÑĢ":120427,"ĠиÑģÑĤоÑĢика":120428,"ĠкваÑĢÑĤиÑĢа":120429,"ĠклÑİÑĩевÑĭÑħ":120430,"ĠконкÑĥÑĢÑģе":120431,"ĠконÑĤакÑĤа":120432,"ĠкоÑĢолевÑĭ":120433,"ĠкоÑĢоÑĤким":120434,"ĠкÑĢедиÑĤоÑĢ":120435,"ĠлеÑĤÑĩиков":120436,"ĠлокалÑĮно":120437,"ĠлÑİбовник":120438,"ĠманиÑĦеÑģÑĤ":120439,"ĠмедалÑıми":120440,"ĠмедиÑĨине":120441,"ĠмекÑģикан":120442,"ĠмеÑħаники":120443,"ĠмолодежÑĮ":120444,"ĠмÑĥдÑĢоÑģÑĤи":120445,"ĠмÑĭÑģленно":120446,"ĠнадпиÑģÑĮÑİ":120447,"ĠнапиÑģала":120448,"ĠнаÑĢезаÑĤÑĮ":120449,"ĠнемеÑĨким":120450,"ĠнемногиÑħ":120451,"ĠнепÑĢоÑģÑĤо":120452,"ĠновгоÑĢод":120453,"ĠновоÑģÑĤей":120454,"ĠобладаÑĤÑĮ":120455,"ĠоболоÑĩки":120456,"ĠобоÑģÑĤÑĢен":120457,"ĠобÑĢаÑĤной":120458,"ĠобÑĢаÑĤном":120459,"ĠобÑīеÑģÑĤвÑĥ":120460,"ĠобÑĬÑıвила":120461,"ĠогÑĢомнаÑı":120462,"ĠогÑĢомнÑĭÑħ":120463,"Ġожидании":120464,"ĠозабоÑĩен":120465,"ĠопиÑģÑĭвал":120466,"ĠопÑĢедели":120467,"ĠоÑģлаблен":120468,"ĠоÑģновано":120469,"ĠоÑĤÑĢавлен":120470,"ĠоÑĤÑģÑĤÑĥпил":120471,"ĠоÑĩевиднÑĭ":120472,"ĠоÑĪибоÑĩно":120473,"ĠпеÑĢвонаÑĩ":120474,"ĠпеÑĢеданÑĭ":120475,"ĠпеÑĢедаÑĩÑĥ":120476,"ĠпеÑĢеменÑĭ":120477,"ĠпеÑĢеплеÑĤ":120478,"ĠпеÑĢеÑħоде":120479,"ĠплаваниÑı":120480,"ĠплоÑīадка":120481,"ĠпобедиÑĤÑĮ":120482,"ĠпозволÑıÑİ":120483,"ĠпокинÑĥли":120484,"ĠполезнÑĭм":120485,"ĠполезнÑĭÑħ":120486,"ĠполÑĥÑĤоÑĢа":120487,"ĠпомеÑģÑĤил":120488,"Ġпонимаем":120489,"ĠпоÑģÑĤÑĥпки":120490,"ĠпоÑĤеÑĢÑıла":120491,"ĠпоÑĤÑĢеблÑı":120492,"ĠпÑĢемÑĮеÑĢа":120493,"ĠпÑĢеÑģÑĤола":120494,"ĠпÑĢивилег":120495,"ĠпÑĢиглаÑĪа":120496,"ĠпÑĢиезжал":120497,"ĠпÑĢизнаеÑĤ":120498,"ĠпÑĢизнаÑİÑĤ":120499,"ĠпÑĢименен":120500,"ĠпÑĢименим":120501,"ĠпÑĢинеÑģла":120502,"ĠпÑĢоведÑijн":120503,"ĠпÑĢоекÑĤом":120504,"ĠпÑĢозвиÑīе":120505,"ĠпÑĢопоÑĢÑĨи":120506,"ĠпÑĢоÑĢабоÑĤ":120507,"ĠпÑĢоÑģлави":120508,"ĠпÑĢоÑģÑĤиÑĢа":120509,"ĠпÑĢоÑıвлÑıл":120510,"ĠпÑĭÑĤалаÑģÑĮ":120511,"ĠÑĢаÑģпиÑģан":120512,"ĠÑĢеалÑĮном":120513,"ĠÑĢеалÑĮнÑĭм":120514,"ĠÑĢезонанÑģ":120515,"ĠÑĢимÑģкого":120516,"ĠÑĢÑĥÑģÑģкомÑĥ":120517,"ĠÑģводиÑĤÑģÑı":120518,"ĠÑģевеÑĢнÑĭÑħ":120519,"ĠÑģелÑĮÑģкиÑħ":120520,"ĠÑģеÑĢÑĮÑijзно":120521,"ĠÑģилÑĮнейÑĪ":120522,"ĠÑģкоÑĢоÑģÑĤн":120523,"ĠÑģовеÑĤÑģко":120524,"ĠÑģообÑīаÑİÑĤ":120525,"ĠÑģопеÑĢник":120526,"ĠÑģоÑĢаÑĤник":120527,"ĠÑģпаÑģение":120528,"ĠÑģпоÑģобно":120529,"ĠÑģпÑĥÑĤника":120530,"ĠÑģÑĤаÑĢаÑıÑģÑĮ":120531,"ĠÑģÑĤаÑĢоÑģÑĤи":120532,"ĠÑģÑĤÑĢадаеÑĤ":120533,"ĠÑģÑĤÑĢаниÑĨÑĥ":120534,"ĠÑģÑĤÑĢаннÑĭм":120535,"ĠÑģÑĥдебной":120536,"ĠÑģÑĥдебнÑĭÑħ":120537,"ĠÑĤекÑĥÑīего":120538,"ĠÑĤеоÑĢеÑĤик":120539,"ĠÑĤеÑĢминал":120540,"ĠÑĤолÑīиной":120541,"ĠÑĤоÑĢговлÑı":120542,"ĠÑĤоÑĢговÑĭе":120543,"ĠÑĤÑĢаекÑĤоÑĢ":120544,"ĠÑĤÑĢÑĥдовой":120545,"ĠÑĥважениÑı":120546,"ĠÑĥголовно":120547,"ĠÑĥказание":120548,"ĠÑĥменÑĮÑĪен":120549,"ĠÑĥÑģиление":120550,"ĠÑĥÑģловием":120551,"ĠÑĥÑģÑĤаÑĢевÑĪ":120552,"ĠÑĥÑĩаÑīиÑħÑģÑı":120553,"ĠÑĥÑĩебного":120554,"ĠÑĥÑĩиÑĤелем":120555,"ĠÑĥÑĩÑĢежден":120556,"ĠÑĦакÑĤоÑĢом":120557,"ĠÑĦанÑĤазии":120558,"ĠÑĦÑĢанÑĨÑĥзÑĭ":120559,"ĠÑħÑĢаниÑĤÑģÑı":120560,"ĠÑĩемпиона":120561,"ĠÑĩиÑĤаÑĤелÑİ":120562,"ĠÑĪиÑĢокого":120563,"ĠÑįкÑģпеÑĢÑĤÑĭ":120564,"ĠÑįнеÑĢгиÑĩн":120565,"ĠÑıдеÑĢного":120566,"ÐĺÑģкÑĥÑģÑģÑĤво":120567,"ÐļоммÑĥниÑģÑĤ":120568,"аÑĦÑĢиканÑģк":120569,"аÑĨионного":120570,"иÑĢованием":120571,"иÑĢованнÑĭм":120572,"меÑĤаллÑĥÑĢг":120573,"невоÑģÑĤоÑĩн":120574,"ождеÑģÑĤвен":120575,"поминаниÑı":120576,"ÑĢабаÑĤÑĭвал":120577,"ÑĢегÑĥлиÑĢов":120578,"ÑģекÑĢеÑĤаÑĢÑĮ":120579,"ÑģледоваÑĤÑĮ":120580,"ÑģÑĤÑĥпаÑĤелÑĮ":120581,"ÑģÑĥбÑĬекÑĤив":120582,"sufficient":120583,"ĠÐĴелиÑĩеÑģÑĤв":120584,"ĠÐĴеÑĢÑħовнÑĭй":120585,"ĠÐĴолгогÑĢад":120586,"ĠÐĵенеÑĢалÑĮн":120587,"ĠÐĵÑĢигоÑĢÑĮев":120588,"ĠÐĺвановиÑĩа":120589,"ĠÐľÐ¸Ð½Ð¸ÑģÑĤÑĢов":120590,"ĠÐĿаÑģколÑĮко":120591,"ĠÐĿаÑħодиÑĤÑģÑı":120592,"ĠÐŁÐ°ÑģÑĤеÑĢнак":120593,"ĠÐŁÐ¾Ð»Ð¾Ð¶ÐµÐ½Ð¸Ðµ":120594,"ĠÐŁÐ¾Ñģледнее":120595,"ĠÐŁÑĢедполаг":120596,"ĠСовеÑĤÑģкаÑı":120597,"ĠСÑĩиÑĤаеÑĤÑģÑı":120598,"ĠФедоÑĢовиÑĩ":120599,"ĠФÑijдоÑĢовиÑĩ":120600,"ĠХабаÑĢовÑģк":120601,"ĠЧелÑıбинÑģк":120602,"ĠакÑĤÑĥалÑĮно":120603,"ĠаппаÑĢаÑĤов":120604,"ĠаÑģÑģиÑģÑĤенÑĤ":120605,"ĠаÑĤмоÑģÑĦеÑĢе":120606,"ĠаÑįÑĢодÑĢома":120607,"ĠближайÑĪиÑħ":120608,"ĠвизÑĥалÑĮно":120609,"ĠвклÑİÑĩениÑı":120610,"ĠвоздÑĥÑĪной":120611,"ĠвÑĭделениÑı":120612,"ĠвÑĭполнÑıÑİÑĤ":120613,"ĠвÑĭÑģÑĤавлен":120614,"ĠвÑĭÑģÑĤÑĥпала":120615,"ĠгÑĢеÑĩеÑģкой":120616,"ĠгÑĥманиÑĤаÑĢ":120617,"ĠдалÑĮноÑģÑĤÑĮ":120618,"ĠдейÑģÑĤвиÑıм":120619,"ĠдиÑģкÑĥÑģÑģии":120620,"ĠдобавлÑıÑİÑĤ":120621,"ĠдобÑĢоволÑĮ":120622,"ĠевÑĢейÑģкой":120623,"ĠзавеÑĢÑĪиÑĤÑĮ":120624,"ĠзаговоÑĢил":120625,"ĠзаконÑĩиÑĤÑĮ":120626,"ĠзамеÑĩаниÑı":120627,"Ġзападного":120628,"ĠзапÑĥÑģÑĤиÑĤÑĮ":120629,"ĠзаÑĢабоÑĤал":120630,"ĠзаÑģÑĤавили":120631,"ĠзаÑĤÑĢÑĥднен":120632,"ĠземлеÑĤÑĢÑıÑģ":120633,"Ġизменении":120634,"ĠизобÑĢеÑĤен":120635,"ĠинженеÑĢов":120636,"ĠинÑĤеÑĢеÑģам":120637,"ĠинÑĤеÑĢнеÑĤе":120638,"ĠиÑģкÑĥÑģÑģÑĤвÑĥ":120639,"ĠиÑģÑĤоÑĢиков":120640,"ĠкапиÑĤалÑĮн":120641,"ĠкаÑĤегоÑĢий":120642,"ĠкиÑĤайÑģкиÑħ":120643,"ĠкнÑıжеÑģÑĤва":120644,"ĠкоменданÑĤ":120645,"ĠконÑĤакÑĤов":120646,"ĠконÑĤÑĢакÑĤа":120647,"ĠконÑĤÑĢаÑĤак":120648,"ĠконÑĨепÑĨиÑİ":120649,"ĠлекаÑĢÑģÑĤва":120650,"ĠлÑİбиÑĤелей":120651,"Ġмагазинов":120652,"ĠмикÑĢоÑģкоп":120653,"ĠмобилÑĮнÑĭÑħ":120654,"ĠнадеÑıÑĤÑĮÑģÑı":120655,"Ġнакаплива":120656,"ĠнамеÑĢение":120657,"ĠнамеÑģÑĤник":120658,"ĠнаÑģÑĤоÑıÑīаÑı":120659,"ĠнаÑģÑĤоÑıÑīие":120660,"Ġнезадолго":120661,"ĠненавиÑģÑĤи":120662,"ĠноминаÑĨии":120663,"ĠнÑĭнеÑĪнего":120664,"ĠобеÑģпеÑĩил":120665,"ĠоблаÑģÑĤной":120666,"ĠобнаÑĢÑĥжив":120667,"ĠобÑĢаÑīении":120668,"ĠобÑģÑĥждаÑĤÑĮ":120669,"ĠокÑĢÑĥжении":120670,"ĠопеÑĢаÑĤоÑĢа":120671,"ĠопÑĢавдÑĭва":120672,"ĠоÑģвободил":120673,"ĠоÑģновнÑĭми":120674,"ĠоÑģÑĤановки":120675,"ĠоÑĤделÑĮнÑĭм":120676,"ĠоÑĤкÑĢÑĭÑĤого":120677,"ĠоÑĤлиÑĩалÑģÑı":120678,"ĠпаÑĢÑĤнеÑĢов":120679,"ĠпеÑĢевозки":120680,"ĠпеÑĢедавал":120681,"ĠпеÑĢенеÑģÑĤи":120682,"ĠпеÑĢеÑģÑĤали":120683,"ĠпеÑĢÑģоналÑĮ":120684,"ĠплаÑĤÑĦоÑĢма":120685,"Ġповедении":120686,"ĠповÑĤоÑĢÑıÑĤÑĮ":120687,"ĠподклÑİÑĩен":120688,"ĠподнÑıÑĤÑĮÑģÑı":120689,"Ġположений":120690,"ĠполÑĮÑģкого":120691,"ĠпонимаеÑĤе":120692,"ĠпопÑĥлÑıÑĢнÑĭ":120693,"ĠпоÑģвÑıÑīена":120694,"ĠпоÑģланник":120695,"ĠпоÑģмоÑĤÑĢим":120696,"ĠпоÑıвиÑĤÑĮÑģÑı":120697,"ĠпÑĢевÑĢаÑīен":120698,"ĠпÑĢепаÑĢаÑĤÑĭ":120699,"ĠпÑĢивлеÑĩен":120700,"ĠпÑĢилегаÑİÑī":120701,"ĠпÑĢиÑħодили":120702,"ĠпÑĢоведена":120703,"ĠпÑĢовинÑĨиÑı":120704,"ĠпÑĢодÑĥкÑĨиÑİ":120705,"ĠпÑĢоигÑĢÑĭва":120706,"ĠпÑĢоÑĨедÑĥÑĢа":120707,"ĠпÑĢоÑĨеÑģÑģом":120708,"ĠпÑĢоÑıвлÑıÑĤÑĮ":120709,"ĠÑĢадиоÑģÑĤан":120710,"ĠÑĢазвеÑĢнÑĥÑĤ":120711,"ĠÑĢазговоÑĢе":120712,"ĠÑĢазмеÑģÑĤил":120713,"ĠÑĢазноглаÑģ":120714,"ĠÑĢазÑĢеÑĪиÑĤÑĮ":120715,"ĠÑĢаÑģположи":120716,"ĠÑĢаÑģÑĪиÑĢиÑĤÑĮ":120717,"ĠÑĢеволÑİÑĨиÑİ":120718,"ĠÑĢедакÑĤоÑĢа":120719,"ĠÑĢепеÑĢÑĤÑĥаÑĢ":120720,"ĠÑĢодиÑĤелÑıм":120721,"ĠÑģвободнÑĭÑħ":120722,"ĠÑģвÑıзаннÑĭм":120723,"ĠÑģеÑĢÑĮезнÑĭм":120724,"ĠÑģеÑĢÑĮезнÑĭÑħ":120725,"ĠÑģложноÑģÑĤÑĮ":120726,"ĠÑģлÑĥÑĩаеÑĤÑģÑı":120727,"ĠÑģобÑĭÑĤиÑıми":120728,"ĠÑģовеÑĢÑĪаеÑĤ":120729,"ĠÑģовеÑĢÑĪили":120730,"ĠÑģовеÑĤÑģким":120731,"ĠÑģовеÑīаниÑı":120732,"ĠÑģовпадаеÑĤ":120733,"ĠÑģозданием":120734,"ĠÑģокÑĢаÑĤиÑĤÑĮ":120735,"ĠÑģопеÑĢника":120736,"ĠÑģоÑģÑĤоиÑĤÑģÑı":120737,"ĠÑģоÑħÑĢанÑıеÑĤ":120738,"ĠÑģоÑĨиализм":120739,"ĠÑģÑĢавнение":120740,"ĠÑģÑĤаÑĢаеÑĤÑģÑı":120741,"ĠÑģÑĤаÑĢаÑİÑĤÑģÑı":120742,"ĠÑģÑĥдебного":120743,"ĠÑģÑĩаÑģÑĤливÑĭ":120744,"ĠÑĤеÑĢÑĢоÑĢизм":120745,"ĠÑĤипогÑĢаÑĦи":120746,"ĠÑĥважением":120747,"ĠÑĥдоÑģÑĤовеÑĢ":120748,"ĠÑĥказаÑĤелÑĮ":120749,"ĠÑĥлÑĥÑĩÑĪение":120750,"ĠÑĥменÑĮÑĪиÑĤÑĮ":120751,"ĠÑĥмÑģÑĤвенно":120752,"ĠÑĥпоÑĤÑĢеблÑı":120753,"ĠÑĥпÑĢавлÑıеÑĤ":120754,"ĠÑĥпÑĢазднÑijн":120755,"ĠÑĥÑģловиÑıми":120756,"ĠÑĥÑģÑĤановок":120757,"ĠÑĥÑģÑĤÑĢаниÑĤÑĮ":120758,"ĠÑĥÑĩаÑģÑĤвÑĥÑİÑĤ":120759,"ĠÑĦеÑģÑĤивалÑĮ":120760,"ĠÑĦинанÑģово":120761,"ĠÑħаÑĢакÑĤеÑĢе":120762,"ĠÑħимиÑĩеÑģки":120763,"ĠÑħÑĥдожники":120764,"ĠÑĩиновники":120765,"ĠÑįвакÑĥаÑĨии":120766,"ĠÑįкÑģпеÑĢÑĤиз":120767,"ĠÑįлекÑĤÑĢиÑĩе":120768,"ĠÑįÑĤниÑĩеÑģки":120769,"ÐŁÑĢеобÑĢажен":120770,"веÑĢнÑĥвÑĪиÑģÑĮ":120771,"долгоÑģÑĢоÑĩн":120772,"оваÑĤелÑĮнÑĭÑħ":120773,"оÑģÑĤÑĢоиÑĤелÑĮ":120774,"ÑģпÑĢаведлив":120775,"ÑĨенÑĤÑĢиÑĢова":120776,"ĠÐļÑĢаÑģноÑıÑĢÑģк":120777,"ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢада":120778,"ĠÐŀбладаÑĤелÑĮ":120779,"ĠÐŁÐ¾ÑĢÑĤÑĥгалии":120780,"ĠÐłÐ°ÑģÑģмоÑĤÑĢим":120781,"ĠÐłÐµÑģпÑĥблике":120782,"ĠСовеÑĢÑĪенно":120783,"ĠамеÑĢиканÑĨа":120784,"ĠбиблиоÑĤеке":120785,"ĠбÑĢиÑĤанÑģкий":120786,"ĠвнÑĥÑĤÑĢеннем":120787,"ĠвнÑĥÑĤÑĢеннÑİÑİ":120788,"ĠвознагÑĢажд":120789,"Ġвозобновил":120790,"ĠвозÑĢаÑģÑĤаеÑĤ":120791,"ĠвооÑĢÑĥжении":120792,"ĠвоÑģкликнÑĥл":120793,"ĠвÑĭделÑıеÑĤÑģÑı":120794,"ĠвÑĭÑĢажаеÑĤÑģÑı":120795,"ĠгеÑĢманÑģкиÑħ":120796,"ĠгеÑĢманÑģкой":120797,"ĠгиÑĤлеÑĢовÑģк":120798,"ĠгоÑģподÑģÑĤво":120799,"ĠдалÑĮнейÑĪей":120800,"ĠдвенадÑĨаÑĤи":120801,"ĠдиÑģÑĨиплинÑĭ":120802,"ĠдоÑģÑĤижений":120803,"ĠевÑĢейÑģкого":120804,"ĠзавоеваниÑı":120805,"ĠзаклÑİÑĩениÑİ":120806,"ĠзанималаÑģÑĮ":120807,"Ġзаповедник":120808,"ĠзнакомÑģÑĤва":120809,"ĠзнакомÑģÑĤво":120810,"ĠинÑģÑĤиÑĤÑĥÑĤов":120811,"ĠинÑģÑĤÑĢÑĥкÑĤоÑĢ":120812,"ĠинÑĤегÑĢаÑĨии":120813,"ĠинÑĤеллекÑĤа":120814,"ĠинÑĤеÑĢеÑģное":120815,"ĠинÑĤеÑĢеÑģнÑĭе":120816,"ĠинÑĤеÑĢеÑģнÑĭÑħ":120817,"ĠиÑģкÑĥÑģÑģÑĤвом":120818,"ĠконÑĤÑĢоллеÑĢ":120819,"ĠкÑĥлÑĮÑĤÑĥÑĢной":120820,"ĠлейÑĤенанÑĤа":120821,"ĠмаленÑĮкого":120822,"ĠмаÑģÑĤеÑĢÑģкой":120823,"ĠмножеÑģÑĤвом":120824,"ĠмоÑģковÑģком":120825,"ĠмÑĥлÑĮÑĤÑĦилÑĮм":120826,"ĠназÑĭваемаÑı":120827,"ĠназÑĭвалаÑģÑĮ":120828,"ĠнапÑĢавлена":120829,"ĠнаÑģÑĤойÑĩиво":120830,"ĠнеболÑĮÑĪими":120831,"Ġнеподвижно":120832,"ĠноÑĢмалÑĮной":120833,"ĠобнаÑĢÑĥжено":120834,"ĠобновлениÑı":120835,"ĠобознаÑĩаеÑĤ":120836,"ĠобÑĢазÑĥÑİÑĤÑģÑı":120837,"ĠобÑĢаÑĤилиÑģÑĮ":120838,"ĠобÑģÑĤановкÑĥ":120839,"ĠобÑĬединиÑĤÑĮ":120840,"ĠобÑĬÑıвлениÑı":120841,"ĠогÑĢаниÑĩиÑĤÑĮ":120842,"ĠокÑĢÑĥжаÑİÑīим":120843,"ĠоÑĢганизмов":120844,"ĠоÑĢиенÑĤаÑĨии":120845,"ĠоÑģÑĤавÑĪиеÑģÑı":120846,"ĠоÑģÑĤавÑĪиÑħÑģÑı":120847,"ĠоÑĤделÑĮнÑĭми":120848,"ĠоÑĤлиÑĩалиÑģÑĮ":120849,"ĠпеÑĢевоÑĢоÑĤа":120850,"Ġповедением":120851,"ĠповоÑĢаÑĩива":120852,"ĠповÑĭÑĪенной":120853,"ĠпоказÑĭваÑĤÑĮ":120854,"ĠполноÑĨенно":120855,"Ġположением":120856,"ĠпопÑĥлÑıÑĢнÑĭм":120857,"ĠпоÑģÑĤановки":120858,"ĠпоÑģÑĤоÑıнное":120859,"ĠпоÑģÑĤоÑıннÑĭй":120860,"ĠпоÑģÑĤоÑıннÑĭÑħ":120861,"ĠпоÑıвлÑıÑĤÑĮÑģÑı":120862,"ĠпÑĢедÑĭдÑĥÑīей":120863,"ĠпÑĢепаÑĢаÑĤов":120864,"ĠпÑĢеÑĤенденÑĤ":120865,"ĠпÑĢиговоÑĢен":120866,"ĠпÑĢодÑĥкÑĤивн":120867,"ĠпÑĢоизводÑıÑĤ":120868,"ĠпÑĢоникнÑĥÑĤÑĮ":120869,"ĠпÑĢопагандÑĭ":120870,"ĠпÑĢоÑģлавлен":120871,"ĠпÑģиÑħоÑĤеÑĢап":120872,"ĠпÑıÑĤидеÑģÑıÑĤи":120873,"ĠÑĢабоÑĤаÑİÑīиÑħ":120874,"ĠÑĢавновеÑģиÑı":120875,"ĠÑĢавномеÑĢно":120876,"ĠÑĢазделениÑı":120877,"ĠÑĢазÑĢÑĥÑĪение":120878,"ĠÑĢаÑģпÑĢеделÑı":120879,"ĠÑĢаÑģÑģказали":120880,"ĠÑĢаÑģÑģÑĩиÑĤÑĭва":120881,"ĠÑĢаÑĨионалÑĮн":120882,"ĠÑĢеализаÑĨиÑİ":120883,"ĠÑĢеализаÑĨиÑı":120884,"ĠÑĢоÑģÑģийÑģким":120885,"ĠÑģвидеÑĤелей":120886,"ĠÑģклонноÑģÑĤÑĮ":120887,"ĠÑģодеÑĢжаниÑİ":120888,"ĠÑģокÑĢаÑīениÑı":120889,"ĠÑģооÑĢÑĥжение":120890,"ĠÑģоÑģÑĤоÑıнием":120891,"ĠÑģпоÑĢÑĤивной":120892,"ĠÑģпоÑĢÑĤивнÑĭÑħ":120893,"ĠÑģпÑĢавоÑĩник":120894,"ĠÑģÑĤÑĢемилиÑģÑĮ":120895,"ĠÑģÑĤÑĢемлениÑı":120896,"ĠÑĤелеÑģеÑĢиал":120897,"ĠÑĤÑĢагиÑĩеÑģки":120898,"ĠÑĤÑĢениÑĢовки":120899,"ĠÑĥбедиÑĤелÑĮн":120900,"ĠÑĥкÑĢаинÑģкой":120901,"ĠÑĥкÑĢепление":120902,"ĠÑĥпоминание":120903,"ĠÑĥпÑĢавлениÑİ":120904,"ĠÑĥпÑĢажнение":120905,"ĠÑĥпÑĢажнений":120906,"ĠÑĥÑĩаÑģÑĤником":120907,"ĠÑĦизиÑĩеÑģким":120908,"ĠÑħÑĥдожником":120909,"ĠÑįкÑģпедиÑĨиÑı":120910,"азеÑĢбайджан":120911,"обÑĢазиÑĤелÑĮн":120912,"ологиÑĩеÑģкие":120913,"ологиÑĩеÑģкий":120914,"ологиÑĩеÑģкиÑħ":120915,"повеÑĢÑħноÑģÑĤн":120916,"ÑĢегÑĥлиÑĢован":120917,"ÑģинÑĤеÑĤиÑĩеÑģк":120918,"ÑģпоÑģобноÑģÑĤÑĮ":120919,"ÑĤеÑħниÑĩеÑģком":120920,"ĠÐĶепаÑĢÑĤаменÑĤ":120921,"ĠÐļонÑģÑĤанÑĤина":120922,"ĠÐŁÑĢакÑĤиÑĩеÑģки":120923,"ĠÐłÐ¾ÑģÑģийÑģкого":120924,"ĠаÑĢÑħиÑĤекÑĤоÑĢа":120925,"ĠбоепÑĢипаÑģов":120926,"ĠбожеÑģÑĤвенно":120927,"ĠбÑĢиÑĤанÑģкого":120928,"ĠводоÑħÑĢанили":120929,"ĠвоÑģпиÑĤанник":120930,"ĠвÑģÑĤÑĢеÑĤилиÑģÑĮ":120931,"ĠвÑģÑĤÑĢеÑĩалиÑģÑĮ":120932,"ĠвÑĭполнÑıеÑĤÑģÑı":120933,"ĠдеÑģÑıÑĤилеÑĤий":120934,"ĠдлиÑĤелÑĮного":120935,"ĠдоÑģÑĤигаеÑĤÑģÑı":120936,"ĠзаблÑĥждение":120937,"ĠзаклÑİÑĩалаÑģÑĮ":120938,"ĠзаклÑİÑĩеннÑĭÑħ":120939,"ĠизбиÑĢаÑĤелей":120940,"ĠизгоÑĤавлива":120941,"ĠимпеÑĢаÑĤоÑĢом":120942,"ĠиÑģÑģледоваÑĤÑĮ":120943,"ĠиÑģÑĤоÑĢиÑĩеÑģки":120944,"ĠконкÑĥÑĢенÑĨии":120945,"ĠконÑģÑĤиÑĤÑĥÑĨии":120946,"ĠконÑģÑĤÑĢÑĥкÑĨий":120947,"ĠконÑģÑĥлÑĮÑĤанÑĤ":120948,"ĠконÑĦеÑĢенÑĨиÑı":120949,"ĠкоÑĢолевÑģÑĤва":120950,"ĠкоÑģмиÑĩеÑģкой":120951,"ĠмÑĥзÑĭкалÑĮной":120952,"ĠмÑĥзÑĭкалÑĮнÑĭй":120953,"ĠмÑĥзÑĭкалÑĮнÑĭÑħ":120954,"ĠназÑĭваемого":120955,"ĠнаÑĨионалÑĮно":120956,"ĠнежелаÑĤелÑĮн":120957,"ĠнеобÑħодимой":120958,"ĠобознаÑĩение":120959,"ĠобÑĢазовании":120960,"ĠопÑĢеделении":120961,"ĠопÑĢеделениÑİ":120962,"ĠопÑĢеделенно":120963,"ĠпеÑĢемеÑīениÑı":120964,"ĠпеÑĢÑģпекÑĤиве":120965,"ĠпобедиÑĤелем":120966,"ĠповÑģемеÑģÑĤно":120967,"ĠподдеÑĢжаниÑı":120968,"ĠподÑĩеÑĢкнÑĥÑĤÑĮ":120969,"ĠполиÑĨейÑģкиÑħ":120970,"ĠпонадобиÑĤÑģÑı":120971,"ĠпоÑĢÑĤÑĥгалÑĮÑģк":120972,"ĠпоÑĤÑĢебиÑĤелÑı":120973,"ĠпÑĢедÑĥпÑĢедил":120974,"ĠпÑĢекÑĢаÑīениÑı":120975,"ĠпÑĢеобÑĢазова":120976,"ĠпÑĢеÑģледовал":120977,"ĠпÑĢеÑĥвелиÑĩен":120978,"ĠпÑĢиглаÑĪение":120979,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвиÑı":120980,"ĠпÑĢодвижение":120981,"ĠпÑĢодолжениÑı":120982,"ĠпÑĢоиÑģÑħодиÑĤÑĮ":120983,"ĠпÑĢоÑģвеÑīениÑı":120984,"ĠпÑĢоÑħождениÑı":120985,"ĠÑĢазвиваÑİÑĤÑģÑı":120986,"ĠÑĢазвоÑĢаÑĩива":120987,"ĠÑĢазмÑĭÑĪлениÑı":120988,"ĠÑĢазоÑĩаÑĢован":120989,"ĠÑĢаÑģÑģÑĩиÑĤÑĭвал":120990,"ĠÑĢаÑĨионалÑĮно":120991,"ĠÑĢелигиознÑĭе":120992,"ĠÑģанÑĤимеÑĤÑĢов":120993,"ĠÑģвойÑģÑĤвенно":120994,"ĠÑģвойÑģÑĤвеннÑĭ":120995,"ĠÑģоÑħÑĢанилоÑģÑĮ":120996,"ĠÑģÑĤановилоÑģÑĮ":120997,"ĠÑģÑĤÑĢоиÑĤелÑĮно":120998,"ĠÑģÑĥбÑĬекÑĤивно":120999,"ĠÑģÑĥÑīеÑģÑĤвовал":121000,"ĠÑĤелевидениÑı":121001,"ĠÑĤеÑħниÑĩеÑģким":121002,"ĠÑĥбедиÑĤелÑĮно":121003,"ĠÑĥвеÑĢенноÑģÑĤи":121004,"ĠÑĥдовлеÑĤвоÑĢÑı":121005,"ĠÑĥменÑĮÑĪаеÑĤÑģÑı":121006,"ĠÑĥÑĩаÑģÑĤвовала":121007,"ĠÑĦинанÑģового":121008,"ĠÑĦоÑĢмиÑĢÑĥеÑĤÑģÑı":121009,"ĠÑĦÑĢанÑĨÑĥзÑģкие":121010,"ĠÑħолодилÑĮник":121011,"ĠÑĨенÑĤÑĢалÑĮнÑĭÑħ":121012,"ĠÑįлекÑĤÑĢоннÑĭÑħ":121013,"одейÑģÑĤвоваÑĤÑĮ":121014,"ологиÑĩеÑģкого":121015,"ĠÐĶополниÑĤелÑĮн":121016,"ĠЧеÑħоÑģловакии":121017,"ĠавиаÑĨионного":121018,"ĠамеÑĢиканÑģким":121019,"ĠамеÑĢиканÑģком":121020,"ĠбеÑģÑģмÑĭÑģленно":121021,"ĠвозвÑĢаÑīаÑĤÑĮÑģÑı":121022,"ĠвоздейÑģÑĤвием":121023,"ĠдемонÑģÑĤÑĢаÑĨии":121024,"ĠдокÑĥменÑĤаÑĨии":121025,"ĠзадейÑģÑĤвован":121026,"ĠзнаÑĩиÑĤелÑĮнаÑı":121027,"ĠзнаÑĩиÑĤелÑĮнÑĭй":121028,"ĠзнаÑĩиÑĤелÑĮнÑĭÑħ":121029,"ĠиÑģÑĤоÑĢиÑĩеÑģком":121030,"ĠиÑĤалÑĮÑıнÑģкого":121031,"ĠкÑĢеÑģÑĤÑĮÑıнÑģкой":121032,"ĠликвидиÑĢован":121033,"ĠмакÑģималÑĮной":121034,"ĠмаÑĤеÑĢиалÑĮной":121035,"ĠмаÑĤеÑĢиалÑĮнÑĭÑħ":121036,"ĠминиÑģÑĤеÑĢÑģÑĤво":121037,"ĠмногоÑĩиÑģленн":121038,"ĠмодеÑĢнизаÑĨии":121039,"ĠмÑĥзÑĭкалÑĮного":121040,"ĠнаÑĨионалÑĮном":121041,"ĠнаÑĨионалÑĮнÑĭе":121042,"ĠнаÑĨионалÑĮнÑĭм":121043,"ĠобеÑģпеÑĩиваÑİÑĤ":121044,"ĠобнаÑĢÑĥживаеÑĤ":121045,"ĠобÑģлÑĥживание":121046,"ĠобÑīеÑģÑĤвенное":121047,"ĠобÑīеÑģÑĤвеннÑĭм":121048,"ĠопÑĢеделеннÑĥÑİ":121049,"ĠопÑĢеделÑıÑİÑĤÑģÑı":121050,"ĠоÑĦиÑĨиалÑĮного":121051,"ĠпаÑĤологиÑĩеÑģк":121052,"ĠпланиÑĢованиÑı":121053,"ĠповÑģедневной":121054,"ĠподÑĤвеÑĢждаеÑĤ":121055,"ĠподÑĩеÑĢкиваеÑĤ":121056,"ĠполиÑĤиÑĩеÑģкое":121057,"ĠполÑĥзаÑīиÑĤник":121058,"ĠполÑĮзоваÑĤели":121059,"ĠпÑĢакÑĤиÑĩеÑģкой":121060,"ĠпÑĢеÑģÑĤÑĥпников":121061,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвÑĥÑİÑĤ":121062,"ĠпÑĢогÑĢаммного":121063,"ĠпÑĢоÑĤивоÑĢеÑĩиÑĤ":121064,"ĠÑĢазнообÑĢазнÑĭ":121065,"ĠÑĢазÑĢабоÑĤÑĩики":121066,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢани":121067,"ĠÑĢаÑģÑģÑĤÑĢойÑģÑĤва":121068,"ĠÑĢодÑģÑĤвенники":121069,"ĠÑģовокÑĥпноÑģÑĤи":121070,"ĠÑģоÑĤÑĢÑĥдниками":121071,"ĠÑĤÑĢадиÑĨионной":121072,"ĠÑĤÑĢадиÑĨионнÑĭÑħ":121073,"ĠÑĥпоÑĤÑĢеблениÑı":121074,"ĠÑĦоÑĢмиÑĢовании":121075,"ĠÑĩеловеÑĩеÑģким":121076,"ĠÑĩеловеÑĩеÑģкое":121077,"ĠÑįкологиÑĩеÑģки":121078,"ĠÑįкÑģпеÑĢименÑĤÑĭ":121079,"иÑģÑģледоваÑĤелÑĮ":121080,"ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢадÑģкой":121081,"ĠадминиÑģÑĤÑĢаÑĨиÑı":121082,"ĠвмеÑĪаÑĤелÑĮÑģÑĤва":121083,"ĠвоÑģÑģÑĤанавлива":121084,"ĠдемонÑģÑĤÑĢиÑĢÑĥеÑĤ":121085,"ĠеÑģÑĤеÑģÑĤвенного":121086,"ĠинÑĤеÑĢпÑĢеÑĤаÑĨии":121087,"ĠинÑĦоÑĢмаÑĨионно":121088,"ĠиÑģполÑĮзованиÑİ":121089,"ĠмеÑģÑĤоÑĢождениÑı":121090,"ĠнаÑģÑĩиÑĤÑĭвалоÑģÑĮ":121091,"ĠнеобÑĭкновенно":121092,"ĠоÑĢганизаÑĨиÑıми":121093,"ĠподÑĢазделение":121094,"ĠпознакомиÑĤÑĮÑģÑı":121095,"ĠполÑĮзоваÑĤелÑıм":121096,"ĠпоÑģÑĤановлениÑı":121097,"ĠпÑĢоизводиÑĤелÑı":121098,"ĠпÑĢоÑĤивоÑģÑĤоÑıÑĤÑĮ":121099,"ĠÑĢазновидноÑģÑĤÑĮ":121100,"ĠÑĢаÑģположеннÑĭе":121101,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢанÑijн":121102,"ĠÑĢаÑģÑģмаÑĤÑĢиваем":121103,"ĠÑĢаÑģÑģмаÑĤÑĢиваеÑĤ":121104,"ĠÑģвидеÑĤелÑĮÑģÑĤвÑĥ":121105,"ĠÑģовÑĢеменников":121106,"ĠÑģопÑĢовождении":121107,"ĠÑģÑĤаÑĤиÑģÑĤиÑĩеÑģки":121108,"ĠÑĥÑģÑĤанавливаÑĤÑĮ":121109,"ĠÑĥÑģÑĤановленнÑĭÑħ":121110,"ĠÑįкономиÑĩеÑģкий":121111,"ĠÐĴеликобÑĢиÑĤаниÑı":121112,"ĠбеÑģÑģознаÑĤелÑĮно":121113,"ĠдоказаÑĤелÑĮÑģÑĤво":121114,"ĠинÑĦоÑĢмаÑĨионной":121115,"ĠинÑĦоÑĢмаÑĨионнÑĭÑħ":121116,"ĠиÑģполниÑĤелÑĮной":121117,"ĠнеобÑħодимоÑģÑĤÑĮÑİ":121118,"ĠоÑĢганизаÑĨионно":121119,"ĠпÑĢедÑĥпÑĢеждениÑı":121120,"ĠпÑĢоизводиÑĤелей":121121,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢаненÑĭ":121122,"ĠÑģопÑĢовождаеÑĤÑģÑı":121123,"ĠÑģоÑĤÑĢÑĥдниÑĩеÑģÑĤве":121124,"ĠÑģпоÑģобÑģÑĤвоваÑĤÑĮ":121125,"ĠÑģпÑĢаведливоÑģÑĤÑĮ":121126,"ĠÑĤеÑħнологиÑĩеÑģки":121127,"ĠÑĥдовлеÑĤвоÑĢение":121128,"ĠÑįлекÑĤÑĢоÑįнеÑĢгии":121129,"демокÑĢаÑĤиÑĩеÑģкой":121130,"ĠвзаимооÑĤноÑĪениÑı":121131,"ĠгоÑģÑĥдаÑĢÑģÑĤвеннÑĥÑİ":121132,"ĠÑģооÑĤвеÑĤÑģÑĤвоваÑĤÑĮ":121133,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīим":121134,"админиÑģÑĤÑĢаÑĤивнÑĭй":121135,"законодаÑĤелÑĮÑģÑĤва":121136,"пÑĢедположиÑĤелÑĮно":121137,"пÑĢоизводÑģÑĤвеннÑĭÑħ":121138,"пÑĢоÑĦеÑģÑģионалÑĮнÑĭй":121139,"ÑģоÑĨиалиÑģÑĤиÑĩеÑģкой":121140,"ÑĦÑĥнкÑĨиониÑĢованиÑı":121141,";#":121142,"XV":121143,"ÐIJÐĵ":121144,"ÐIJÐ¥":121145,"ÐIJЯ":121146,"ÐIJб":121147,"ÐIJй":121148,"ÐĴÐŁ":121149,"ÐĶС":121150,"ÐĶУ":121151,"ÐķÐĹ":121152,"ÐķÐļ":121153,"ÐĸÐķ":121154,"ÐĺÐĵ":121155,"ÐĺÐ¥":121156,"ÐľÐķ":121157,"ÐĿÐŁ":121158,"ÐłÐĿ":121159,"СÐIJ":121160,"СÐij":121161,"УÐij":121162,"УÐĶ":121163,"УÐĹ":121164,"Ð£ÐĽ":121165,"Ð£Ðľ":121166,"УÐĿ":121167,"Ð£ÐŁ":121168,"УТ":121169,"Ð¥ÐIJ":121170,"Юн":121171,"ЯТ":121172,"бÑģ":121173,"бÑį":121174,"жк":121175,"кÑį":121176,"лз":121177,"нÑį":121178,"ÑĢÑĦ":121179,"ÑģÑĬ":121180,"ÑĤÑį":121181,"Ñįв":121182,"Ñıп":121183,"eep":121184,"hau":121185,"ska":121186,"tsu":121187,"ĠÐIJÐŀ":121188,"ĠÐĵÑij":121189,"ĠÐĸе":121190,"ĠÐĹÑĥ":121191,"ĠÐļÐij":121192,"ĠÐļÐĴ":121193,"ĠÐļÐĿ":121194,"ĠСÐĴ":121195,"ĠСÑĢ":121196,"ĠТÑį":121197,"ĠЦÑĥ":121198,"ĠЧо":121199,"ĠÐŃг":121200,"ĠÐŃп":121201,"ĠдÑİ":121202,"ĠжÑİ":121203,"ĠиÑĢ":121204,"ĠиÑī":121205,"ĠнÑİ":121206,"ĠоÑħ":121207,"ĠÑįм":121208,"ĠÑįÑģ":121209,"ÌģÑĤÑĮ":121210,"ÐIJÑĢк":121211,"ÐijÑĥÑĢ":121212,"ÐĴÐķÐł":121213,"ÐĴиз":121214,"ÐĶол":121215,"ÐķÐĿÐĿ":121216,"ÐĹна":121217,"ÐĺÐĿÐIJ":121218,"ÐĺСТ":121219,"ÐļÐŀÐľ":121220,"Ðļни":121221,"ÐļоÑģ":121222,"ÐļÑĢи":121223,"ÐĽÐŀÐĴ":121224,"ÐĽÐµÐ¹":121225,"ÐľÐķÐĿ":121226,"ÐľÐ°ÑĤ":121227,"ÐĿÐĺÐĺ":121228,"ÐĿак":121229,"ÐŀÐĵÐŀ":121230,"ÐŁÐŀÐĽ":121231,"ÐŁÐ¾Ñĩ":121232,"ÐłÐŀÐĴ":121233,"ÐłÐŀС":121234,"СТÐĺ":121235,"СШÐIJ":121236,"СÑĤо":121237,"ТÐķÐł":121238,"ТоÑĢ":121239,"ФоÑĢ":121240,"азÑĭ":121241,"амм":121242,"баб":121243,"баз":121244,"бов":121245,"бÑĥз":121246,"бÑĥÑħ":121247,"бÑĮÑİ":121248,"бÑįк":121249,"виÑĨ":121250,"внÑĥ":121251,"вон":121252,"вÑģп":121253,"вÑĥд":121254,"деж":121255,"дли":121256,"доп":121257,"дÑĢÑĭ":121258,"дÑĥб":121259,"дÑİй":121260,"евÑģ":121261,"еде":121262,"еем":121263,"езн":121264,"жег":121265,"заб":121266,"зей":121267,"зма":121268,"ивÑĪ":121269,"игм":121270,"икл":121271,"иод":121272,"ипп":121273,"иÑĦм":121274,"йме":121275,"леÑı":121276,"лоз":121277,"лÑĥÑħ":121278,"лÑİп":121279,"мба":121280,"нав":121281,"нÑĥк":121282,"нÑĨи":121283,"обл":121284,"окг":121285,"онк":121286,"онн":121287,"оÑģв":121288,"оÑģл":121289,"оÑĤк":121290,"пид":121291,"пÑĥн":121292,"пÑĥÑĪ":121293,"ÑĢги":121294,"ÑĢеÑı":121295,"ÑĢÑĮе":121296,"ÑĢÑĮÑı":121297,"Ñģак":121298,"Ñģик":121299,"ÑģÑģо":121300,"ÑģÑģÑĭ":121301,"ÑģÑĥм":121302,"ÑģÑĥÑī":121303,"ÑģÑıк":121304,"ÑĤаж":121305,"ÑĤег":121306,"ÑĤеÑĪ":121307,"ÑĤÑĥÑĤ":121308,"ÑĤÑĭк":121309,"Ñĥза":121310,"Ñĥзв":121311,"Ñĥйб":121312,"ÑĥлÑĭ":121313,"ÑĦел":121314,"ÑĦиÑĤ":121315,"ÑĦиÑĪ":121316,"Ñħаб":121317,"Ñħем":121318,"ÑĨив":121319,"Ñĩав":121320,"ÑĩÑĥÑĤ":121321,"ÑĪоÑĥ":121322,"ÑĪÑĥÑĤ":121323,"Ñĭнн":121324,"ÑĭÑĢе":121325,"ÑĭÑĢÑĮ":121326,"Ñįйн":121327,"Ñįмп":121328,"ÑįÑĢи":121329,"Ñıмо":121330,"Ñıно":121331,"ÑıÑĤк":121332,"Ñijжи":121333,"Ñijжн":121334,"ÑijÑĪÑĮ":121335,"ĠShu":121336,"dian":121337,"riff":121338,"soci":121339,"tens":121340,"ĠÐIJви":121341,"ĠÐIJма":121342,"ĠÐijла":121343,"ĠÐijод":121344,"ĠÐijок":121345,"ĠÐijоÑĤ":121346,"ĠÐĴÐĴÐŁ":121347,"ĠÐĴÑĭв":121348,"ĠÐĵÐĶÐł":121349,"ĠÐĵÐŃС":121350,"ĠÐĵаÑģ":121351,"ĠÐĵим":121352,"ĠÐĶÐ¢ÐŁ":121353,"ĠÐĶаÑĤ":121354,"ĠÐĶеÑģ":121355,"ĠÐĶжÑĥ":121356,"ĠÐĶим":121357,"ĠÐĶин":121358,"ĠÐĸаÑĢ":121359,"ĠÐĸеÑĢ":121360,"ĠÐĹап":121361,"ĠÐĹло":121362,"ĠÐĺоÑĢ":121363,"ĠÐļав":121364,"ĠÐļÑįÑĤ":121365,"ĠÐĽÐ°Ð¿":121366,"ĠÐĽÑİк":121367,"ĠÐľÐµÑģ":121368,"ĠÐľÐ¸Ð´":121369,"ĠÐľÐ¾Ðµ":121370,"ĠÐľÐ¾Ð·":121371,"ĠÐľÑĥн":121372,"ĠÐľÑįй":121373,"ĠÐĿез":121374,"ĠÐĿиз":121375,"ĠÐĿоÑĩ":121376,"ĠÐŀÐļÐij":121377,"ĠÐŁÐķÐł":121378,"ĠÐŁÐ°Ð´":121379,"ĠÐŁÐ°ÑĪ":121380,"ĠÐŁÐ¸ÑĪ":121381,"ĠÐŁÐ¾Ñħ":121382,"ĠÐŁÑĥг":121383,"ĠÐŁÑĥл":121384,"ĠÐŁÑĥÑĤ":121385,"ĠÐłÐ°Ðº":121386,"ĠÐłÐ¸Ð´":121387,"ĠÐłÑĥб":121388,"ĠСап":121389,"ĠСаÑĤ":121390,"ĠСаÑĦ":121391,"ĠСÑĤÑİ":121392,"ĠСÑĥн":121393,"ĠСÑĭÑĢ":121394,"ĠУвÑĭ":121395,"ĠУлÑĮ":121396,"ĠФСÐij":121397,"ĠФан":121398,"ĠФиÑĢ":121399,"ĠФок":121400,"ĠФÑĢо":121401,"ĠФÑĥÑĢ":121402,"ĠХен":121403,"ĠÐ¥ÑĮÑİ":121404,"ĠЦин":121405,"ĠЧел":121406,"ĠЧеÑĤ":121407,"ĠШаг":121408,"ĠШаÑĤ":121409,"ĠÐŃлл":121410,"ĠÐŃпи":121411,"ĠÐŃÑģÑĤ":121412,"ĠакÑĥ":121413,"ĠаÑĥк":121414,"ĠбоÑģ":121415,"Ġвак":121416,"ĠвÑijл":121417,"Ġгав":121418,"ĠглÑİ":121419,"Ġдем":121420,"ĠдеÑĪ":121421,"Ġдин":121422,"ĠжÑijл":121423,"Ġйог":121424,"Ġлже":121425,"Ġлом":121426,"ĠлоÑģ":121427,"ĠмеÑģ":121428,"ĠмÑĥк":121429,"ĠоÑĢн":121430,"ĠоÑģп":121431,"ĠоÑĤÑĩ":121432,"Ġпав":121433,"ĠпоÑĪ":121434,"ĠпÑģк":121435,"ĠпÑĥд":121436,"ĠÑĢÑĭÑĨ":121437,"ĠÑģаб":121438,"ĠÑģоÑĨ":121439,"ĠÑģÑĤÑĭ":121440,"ĠÑģÑĥж":121441,"ĠÑĤÑijм":121442,"ĠÑĥмÑĭ":121443,"ĠÑĦоÑģ":121444,"ĠÑħал":121445,"ĠÑĩÑĥг":121446,"ĠÑĩÑĮе":121447,"ĠÑĪев":121448,"ĠÑĪед":121449,"ĠÑĪеи":121450,"ĠÑĪÑijл":121451,"ĠÑıко":121452,"ĠÑıÑħÑĤ":121453,"ÐIJвÑĤо":121454,"ÐĶолг":121455,"ÐķÐĿÐĺЯ":121456,"ÐĺТÐIJÐł":121457,"Ðĺван":121458,"ÐľÐ°ÑĢи":121459,"ÐŁÐµÑĤÑĢ":121460,"ÐŁÐ¸ÑģÑĮ":121461,"СемÑĮ":121462,"ФоÑĢм":121463,"авеÑģ":121464,"авиÑĨ":121465,"адий":121466,"айÑģк":121467,"алий":121468,"анга":121469,"анги":121470,"апан":121471,"аÑĢом":121472,"аÑĢÑģк":121473,"аÑĢÑħа":121474,"аÑĤаÑħ":121475,"аÑĤаÑĪ":121476,"байÑĤ":121477,"баÑĢа":121478,"боÑĢг":121479,"боÑĢд":121480,"бÑĢаз":121481,"веев":121482,"веÑĢÑĪ":121483,"вине":121484,"вожд":121485,"гана":121486,"ганд":121487,"гаÑĤÑĮ":121488,"гени":121489,"глоÑĤ":121490,"гмаÑĤ":121491,"гоÑĢÑı":121492,"гÑĢал":121493,"гÑĢив":121494,"гÑĢÑĭÑĪ":121495,"гÑĢÑıз":121496,"гÑĥлÑı":121497,"дано":121498,"даÑĢÑĤ":121499,"двои":121500,"дека":121501,"джан":121502,"дÑĥÑĪи":121503,"ебÑģк":121504,"евеÑĤ":121505,"евик":121506,"евна":121507,"едий":121508,"едÑĥÑĤ":121509,"ездо":121510,"екÑĨи":121511,"елаг":121512,"елие":121513,"елик":121514,"елÑıÑħ":121515,"еней":121516,"еÑĢна":121517,"жÑĥÑģÑĮ":121518,"зала":121519,"звен":121520,"зина":121521,"зона":121522,"ивеÑĢ":121523,"идаÑĢ":121524,"ийÑĨÑĭ":121525,"имаÑı":121526,"ингÑĤ":121527,"инÑĥл":121528,"иÑģко":121529,"иÑĤаÑİ":121530,"иÑĨил":121531,"кана":121532,"каÑĢи":121533,"клеÑĤ":121534,"кÑĥлÑĮ":121535,"лено":121536,"лиже":121537,"лиÑģа":121538,"лиÑĩи":121539,"лого":121540,"лÑĮнÑĭ":121541,"маÑĢÑĤ":121542,"маÑĤа":121543,"маÑĩÑĤ":121544,"меÑĤÑĮ":121545,"молк":121546,"моÑģÑĤ":121547,"негÑĢ":121548,"неÑĤа":121549,"низÑĥ":121550,"ноÑģи":121551,"нÑĥÑĤо":121552,"нÑĮка":121553,"нÑıли":121554,"обÑıз":121555,"одан":121556,"оего":121557,"олно":121558,"олон":121559,"олÑĮм":121560,"олÑĮÑĤ":121561,"олÑİб":121562,"онÑıÑĤ":121563,"опад":121564,"опил":121565,"опиÑĤ":121566,"оÑĢÑĤÑĥ":121567,"оÑģеÑĢ":121568,"оÑģом":121569,"оÑĩнÑĭ":121570,"оÑĪли":121571,"оÑīад":121572,"паÑĤÑĮ":121573,"пиÑĤÑĮ":121574,"плеÑģ":121575,"пÑĢак":121576,"пÑĢем":121577,"пÑĢоп":121578,"пÑĤиÑĩ":121579,"пÑıÑĤи":121580,"пÑıÑĤÑĮ":121581,"ÑĢаги":121582,"ÑĢадÑĥ":121583,"ÑĢазг":121584,"ÑĢамм":121585,"ÑĢаÑģн":121586,"ÑĢодн":121587,"ÑĢопе":121588,"ÑĢÑĥба":121589,"ÑĢÑĥÑİÑĤ":121590,"Ñģана":121591,"ÑģбоÑĢ":121592,"ÑģемÑĮ":121593,"ÑģенÑģ":121594,"ÑģеÑĢа":121595,"ÑģеÑĤи":121596,"ÑģеÑıн":121597,"Ñģкал":121598,"ÑģкаÑħ":121599,"Ñģкиз":121600,"Ñģлим":121601,"Ñģнаб":121602,"Ñģомн":121603,"ÑģпаÑģ":121604,"Ñģпек":121605,"Ñģпел":121606,"ÑģÑģен":121607,"ÑģÑĤаб":121608,"ÑģÑĤел":121609,"ÑģÑĤеп":121610,"ÑģÑĤоп":121611,"ÑģÑĤÑĭд":121612,"ÑĤенÑĤ":121613,"ÑĤино":121614,"ÑĤнеÑĢ":121615,"ÑĤонÑĥ":121616,"ÑĤоÑĢо":121617,"ÑĤÑĢек":121618,"ÑĤÑĢин":121619,"ÑĤÑĥÑĢм":121620,"Ñĥбеж":121621,"ÑĥÑģом":121622,"ÑĥÑģпе":121623,"ÑĥÑĤаÑĤ":121624,"ÑĥÑĪно":121625,"ÑĦелÑı":121626,"ÑĦоÑĤо":121627,"ÑĦÑĢед":121628,"ÑĦÑĢей":121629,"Ñħала":121630,"Ñħлеб":121631,"ÑĨкиÑħ":121632,"ÑĨова":121633,"ÑĩжоÑĥ":121634,"Ñĩили":121635,"Ñĩонк":121636,"ÑĪева":121637,"ÑĪниÑħ":121638,"ÑĪной":121639,"ÑĪнÑİÑİ":121640,"Ñīелк":121641,"ÑĮÑıми":121642,"ÑįлÑĮÑģ":121643,"ÑıдеÑĢ":121644,"ÑıзÑĭк":121645,"ÑıнÑĥл":121646,"aught":121647,"mobil":121648,"stair":121649,"ĠÐIJлан":121650,"ĠÐIJлиÑģ":121651,"ĠÐIJÑĢаб":121652,"ĠÐIJÑĢав":121653,"ĠÐijелл":121654,"ĠÐijлиз":121655,"ĠÐijоже":121656,"ĠÐijÑĢеж":121657,"ĠÐijÑĢÑİÑģ":121658,"ĠÐijÑĥдÑĥ":121659,"ĠÐĴнеÑĪ":121660,"ĠÐĴодо":121661,"ĠÐĴойн":121662,"ĠÐĴоло":121663,"ĠÐĴоÑĢо":121664,"ĠÐĴÑģеÑħ":121665,"ĠÐĴÑĭÑĪе":121666,"ĠÐĵлин":121667,"ĠÐĵÑĢей":121668,"ĠÐĵÑijÑĤе":121669,"ĠÐĶелÑĮ":121670,"ĠÐĶжин":121671,"ĠÐĶолж":121672,"ĠÐĶона":121673,"ĠÐĶÑĢÑĥж":121674,"ĠÐķдва":121675,"ĠÐĹевÑģ":121676,"ĠÐļÐĿÐĶÐł":121677,"ĠÐļамп":121678,"ĠÐļаÑģÑĤ":121679,"ĠÐļенн":121680,"ĠÐļино":121681,"ĠÐļлим":121682,"ĠÐļлÑĥб":121683,"ĠÐļомÑĥ":121684,"ĠÐļонд":121685,"ĠÐļÑĥйб":121686,"ĠÐĽÐ°Ð²ÑĢ":121687,"ĠÐĽÐµÐ²Ð¸":121688,"ĠÐĽÑĥиз":121689,"ĠÐĽÑĥна":121690,"ĠÐľÐ°Ð½Ð´":121691,"ĠÐľÐ¾Ð½ÑĤ":121692,"ĠÐĿина":121693,"ĠÐĿоÑĢм":121694,"ĠÐŀÑħоÑĤ":121695,"ĠÐŁÐ°Ð»Ðµ":121696,"ĠÐŁÐ°Ñĥл":121697,"ĠÐŁÐµÐ½Ð·":121698,"ĠÐŁÐµÑĢи":121699,"ĠÐŁÐ»Ð¾Ð´":121700,"ĠÐŁÐ»Ð¾ÑĤ":121701,"ĠÐŁÐ¾Ñıв":121702,"ĠÐŁÑĢиÑĪ":121703,"ĠÐŁÑĥÑĤÑĮ":121704,"ĠÐłÐ¾Ð»ÑĮ":121705,"ĠÐłÑĥзв":121706,"ĠÐłÑĥко":121707,"ĠСанд":121708,"ĠСаÑĪа":121709,"ĠСвои":121710,"ĠСемÑij":121711,"ĠСинг":121712,"ĠСолж":121713,"ĠСÑĤÑĢÑĥ":121714,"ĠСÑĥда":121715,"ĠСÑĥÑĤÑĮ":121716,"ĠТело":121717,"ĠТелÑĮ":121718,"ĠТеÑģÑĤ":121719,"ĠТоÑĢг":121720,"ĠТÑĢÑĥб":121721,"ĠУайÑĤ":121722,"ĠФонд":121723,"ĠФоÑĢÑĤ":121724,"ĠФÑĢÑĥн":121725,"ĠХоÑĤÑĮ":121726,"ĠХоÑĩÑĥ":121727,"ĠЦСÐļÐIJ":121728,"ĠЧеÑĢÑĤ":121729,"ĠЧили":121730,"ĠЧÑĤоб":121731,"ĠЧÑĥÑĤÑĮ":121732,"ĠШÑĤаб":121733,"ĠЮлиÑı":121734,"Ġабон":121735,"Ġакка":121736,"ĠакÑĤÑĭ":121737,"ĠакÑĥл":121738,"ĠбайÑĤ":121739,"ĠбезÑĥ":121740,"Ġблин":121741,"ĠбоÑĩк":121742,"ĠбÑĢод":121743,"ĠбÑĢоÑĪ":121744,"ĠваÑĢÑĮ":121745,"Ġвело":121746,"ĠвеÑģе":121747,"Ġвлаг":121748,"ĠвоÑģк":121749,"Ġгамм":121750,"Ġдама":121751,"ĠдамÑĭ":121752,"ĠдвоÑİ":121753,"ĠделÑı":121754,"Ġджаз":121755,"ĠднÑıÑħ":121756,"ĠдÑĥÑħÑĥ":121757,"Ġжалк":121758,"ĠжаÑĢк":121759,"Ġживо":121760,"ĠжиÑĢа":121761,"ĠжÑİÑĢи":121762,"Ġзалп":121763,"ĠзаÑĢе":121764,"ĠзимÑĭ":121765,"Ġзлод":121766,"ĠиÑĢон":121767,"ĠиÑīÑĥÑĤ":121768,"ĠиÑİлÑĮ":121769,"ĠиÑİнÑĮ":121770,"ĠкалÑĮ":121771,"ĠканÑĤ":121772,"Ġклик":121773,"Ġклип":121774,"Ġкоже":121775,"ĠкоÑģв":121776,"ĠкÑĢÑĥÑĪ":121777,"ĠкÑĢÑĭм":121778,"ĠлавÑĢ":121779,"Ġледи":121780,"ĠлиÑĦÑĤ":121781,"ĠлÑĥга":121782,"Ġмала":121783,"ĠмаÑģл":121784,"ĠмемÑĥ":121785,"ĠмеÑģÑģ":121786,"Ġмлек":121787,"ĠмоÑīи":121788,"ĠмÑĢак":121789,"ĠмÑĥжÑĥ":121790,"ĠмÑĭÑĪÑĮ":121791,"Ġнаим":121792,"ĠнемÑĭ":121793,"ĠнеоÑĤ":121794,"ĠнеÑĥк":121795,"ĠниÑģк":121796,"ĠобÑĭв":121797,"Ġожив":121798,"ĠпеÑĤÑĮ":121799,"ĠпеÑĩи":121800,"Ġпива":121801,"ĠпиÑīа":121802,"ĠпÑĢаÑħ":121803,"ĠпÑĢел":121804,"ĠпÑĢоÑī":121805,"ĠпÑĢÑĭж":121806,"ĠпÑĥли":121807,"ĠпÑĥÑĩк":121808,"ĠÑĢака":121809,"ĠÑĢанг":121810,"ĠÑĢанÑĭ":121811,"ĠÑĢвоÑĤ":121812,"ĠÑĢейÑħ":121813,"ĠÑĢога":121814,"ĠÑĢозÑĭ":121815,"ĠÑĢÑĥин":121816,"ĠÑĢÑĭно":121817,"ĠÑģбли":121818,"ĠÑģино":121819,"ĠÑģкан":121820,"ĠÑģкоп":121821,"ĠÑģлив":121822,"ĠÑģмаз":121823,"ĠÑģнай":121824,"ĠÑģноÑģ":121825,"ĠÑģпиÑĤ":121826,"ĠÑģÑĤеб":121827,"ĠÑģÑĤеÑĢ":121828,"ĠÑģÑĥдÑĥ":121829,"ĠÑģÑĥÑĪи":121830,"ĠÑĤвоÑİ":121831,"ĠÑĤигÑĢ":121832,"ĠÑĤокÑģ":121833,"ĠÑĤÑĢол":121834,"ĠÑĤÑĢоÑģ":121835,"ĠÑĤÑĢÑıп":121836,"ĠÑĤÑıга":121837,"ĠÑĤÑıже":121838,"ĠÑĥбив":121839,"ĠÑĥбÑĭÑĤ":121840,"ĠÑĥвен":121841,"ĠÑĥмом":121842,"ĠÑĥÑĢон":121843,"ĠÑĥÑĨел":121844,"ĠÑĦазÑĭ":121845,"ĠÑĦаÑĪи":121846,"ĠÑĦÑĢей":121847,"ĠÑħиÑīн":121848,"ĠÑħÑĢен":121849,"ĠÑĨеÑħа":121850,"ĠÑĩелÑİ":121851,"ĠÑĩеÑĪÑĥ":121852,"ĠÑĪлÑİп":121853,"ĠÑĪнÑĥÑĢ":121854,"ĠÑĪÑĤÑĭк":121855,"ĠÑĪÑĥма":121856,"ĠÑīенк":121857,"ĠÑįÑĢоÑĤ":121858,"ĠÑįÑģеÑĢ":121859,"ĠÑįÑģÑģе":121860,"ĠÑİÑĢиÑģ":121861,"ĠÑıкоÑĢ":121862,"ĠÑıÑģнÑĭ":121863,"ÌģÑĤÑĮÑģÑı":121864,"ÐijолÑĮÑĪ":121865,"ÐĵÑĢÑĥпп":121866,"ÐĶеÑĢев":121867,"ÐķвÑĢей":121868,"ÐĻоÑĢка":121869,"ÐĿаÑĢод":121870,"СаÑĤÑĥÑĢ":121871,"СÑĤÑĢан":121872,"ТеÑħни":121873,"ФÑĢанÑģ":121874,"ФÑĢанÑĨ":121875,"Ð¥ÑĢиÑģÑĤ":121876,"ÐŃлекÑĤ":121877,"ЮнайÑĤ":121878,"адÑĢеÑģ":121879,"азиаÑĤ":121880,"айдеÑĢ":121881,"айзеÑĢ":121882,"алÑĮÑĪе":121883,"андаÑĢ":121884,"анизм":121885,"анÑĨев":121886,"анÑĮон":121887,"аÑĢива":121888,"аÑĢиÑıÑħ":121889,"аÑĢнаÑı":121890,"аÑĢнÑĭй":121891,"аÑĤоÑĢи":121892,"аÑİÑīим":121893,"баÑĢиÑĤ":121894,"бегаÑı":121895,"белÑĮг":121896,"беÑĢег":121897,"беÑĢеÑĤ":121898,"богаÑĤ":121899,"бÑĢидж":121900,"бÑĥдеÑĤ":121901,"бÑĥдил":121902,"бÑĥнал":121903,"бÑĭÑģÑĤÑĢ":121904,"ваÑĢен":121905,"ведеÑĤ":121906,"ведÑĥÑī":121907,"веков":121908,"велиÑĢ":121909,"веÑĢка":121910,"визиÑĤ":121911,"винов":121912,"давил":121913,"даÑĩей":121914,"делан":121915,"дениÑı":121916,"деÑĢжи":121917,"добÑĢо":121918,"долго":121919,"домин":121920,"доÑģÑĤо":121921,"доÑĩеÑĢ":121922,"ейÑĪий":121923,"екÑģон":121924,"елива":121925,"емÑĭми":121926,"еноÑģн":121927,"епÑĢин":121928,"еÑģÑĥÑįл":121929,"еÑģÑıÑĤи":121930,"жаÑĤие":121931,"ждаÑĤÑĮ":121932,"задаÑĩ":121933,"зволÑĮ":121934,"знаÑĤÑĮ":121935,"ивида":121936,"ивной":121937,"ийÑĨев":121938,"икаÑĨи":121939,"илÑĥÑĩÑĪ":121940,"илÑĮон":121941,"именÑĤ":121942,"иÑģлов":121943,"иÑģпÑĭÑĤ":121944,"иÑģÑĤам":121945,"иÑģÑĤка":121946,"иÑģÑĤÑĭм":121947,"иÑĩное":121948,"йдеÑĪÑĮ":121949,"кажÑĥÑĤ":121950,"камен":121951,"канал":121952,"колÑĮн":121953,"кÑģиÑģÑĤ":121954,"кÑĥÑĢÑĥз":121955,"левиÑĩ":121956,"лейÑĤе":121957,"леÑĤал":121958,"леÑĤов":121959,"лигаÑĢ":121960,"лиÑĤел":121961,"ловки":121962,"лÑĥÑĩÑĪе":121963,"манÑģк":121964,"маÑĤов":121965,"меÑĢен":121966,"меÑĢÑĤв":121967,"меÑĤан":121968,"меÑĤка":121969,"меÑĤки":121970,"монов":121971,"моÑĤÑĢа":121972,"немÑģÑı":121973,"никой":121974,"нÑģкÑĥÑİ":121975,"нÑıÑĤие":121976,"облаÑĩ":121977,"озавÑĢ":121978,"ониал":121979,"оннаÑı":121980,"ополе":121981,"оÑĢодн":121982,"оÑģобн":121983,"оÑĤлиÑĩ":121984,"оÑĩенÑĮ":121985,"паÑģÑĤи":121986,"пиÑģав":121987,"пиÑģки":121988,"пиÑĪеÑĤ":121989,"поним":121990,"попеÑĢ":121991,"пÑĢÑĭжк":121992,"пÑĥбли":121993,"пÑĥнкÑĤ":121994,"пÑĥÑĤин":121995,"ÑĢазил":121996,"ÑĢаÑģов":121997,"ÑĢегаÑĤ":121998,"ÑĢедка":121999,"ÑĢемеÑģ":122000,"ÑĢеÑĩев":122001,"ÑĢиаÑĢÑħ":122002,"ÑĢигад":122003,"ÑĢизма":122004,"ÑĢоман":122005,"ÑĢонÑĥÑĤ":122006,"ÑĢÑĥдно":122007,"ÑĢÑĥзки":122008,"Ñģадка":122009,"ÑģекÑģÑĥ":122010,"Ñģидел":122011,"ÑģобаÑĩ":122012,"ÑģпеÑĨи":122013,"ÑģÑĤалÑĮ":122014,"ÑģÑĤаÑİÑĤ":122015,"ÑģÑĤики":122016,"ÑģÑĤнÑĭй":122017,"ÑģÑĥдим":122018,"ÑģÑĥмаÑģ":122019,"ÑģÑĭлка":122020,"ÑģÑĭпан":122021,"ÑĤовой":122022,"ÑĤомаÑĤ":122023,"ÑĤоÑĢиÑı":122024,"ÑĤÑĢаÑģÑģ":122025,"ÑĤÑĢени":122026,"ÑĤÑıнеÑĤ":122027,"ÑĥгÑĥбо":122028,"ÑĥпÑĢеÑĩ":122029,"ÑĦалÑĮÑĤ":122030,"ÑħвоÑģÑĤ":122031,"Ñħолод":122032,"ÑĩаÑĤÑĭÑħ":122033,"Ñĩивал":122034,"ÑĩивÑĭй":122035,"ÑĪейÑģÑı":122036,"ÑĪений":122037,"ÑĪилов":122038,"ÑĪками":122039,"Ñīиком":122040,"ÑĮÑĤеÑģÑĮ":122041,"ÑİнкеÑĢ":122042,"ÑıÑĤиÑıÑħ":122043,"Ñijнной":122044,"ÑijннÑĭм":122045,"ĠÐIJкÑĤив":122046,"ĠÐIJлжиÑĢ":122047,"ĠÐIJлÑĤай":122048,"ĠÐIJндÑĢо":122049,"ĠÐIJÑĢмиÑı":122050,"ĠÐIJÑĢÑģен":122051,"ĠÐIJÑĤлан":122052,"ĠÐijеÑĢез":122053,"ĠÐijÑĥдеÑĤ":122054,"ĠÐijÑĥÑħаÑĢ":122055,"ĠÐĴавил":122056,"ĠÐĴолги":122057,"ĠÐĴолог":122058,"ĠÐĴолÑĭн":122059,"ĠÐĴолÑĮÑĦ":122060,"ĠÐĴÑĭвод":122061,"ĠÐĵвине":122062,"ĠÐĵеÑĢои":122063,"ĠÐĵолоÑģ":122064,"ĠÐĵомеÑĢ":122065,"ĠÐĶжÑĥли":122066,"ĠÐĶимиÑĤ":122067,"ĠÐĶÑĥÑħов":122068,"ĠÐķванг":122069,"ĠÐĹавод":122070,"ĠÐĹаним":122071,"ĠÐĹаÑħаÑĢ":122072,"ĠÐĺгоÑĢÑı":122073,"ĠÐĺзмен":122074,"ĠÐĺмееÑĤ":122075,"ĠÐĺндон":122076,"ĠÐļамеÑĢ":122077,"ĠÐļоÑĢее":122078,"ĠÐļоÑĢеи":122079,"ĠÐļоÑĢоÑĤ":122080,"ĠÐĽÐ¸Ð²Ð°Ð½":122081,"ĠÐĽÐ¸Ñĩно":122082,"ĠÐĽÑİбим":122083,"ĠÐĽÑİбой":122084,"ĠÐľÐ°Ð»Ð¾Ð¹":122085,"ĠÐľÐ°ÑģÑģа":122086,"ĠÐľÐ¸Ñħал":122087,"ĠÐĿазаÑĢ":122088,"ĠÐĿаÑĤаÑĪ":122089,"ĠÐĿаÑĥка":122090,"ĠÐĿемеÑĨ":122091,"ĠÐĿижег":122092,"ĠÐĿиÑĨÑĪе":122093,"ĠÐĿовое":122094,"ĠÐĿоÑĩÑĮÑİ":122095,"ĠÐŀконÑĩ":122096,"ĠÐŁÐ¾Ð³Ð¸Ð±":122097,"ĠÐŁÐ¾Ð¸Ñģк":122098,"ĠÐŁÑĢоиÑģ":122099,"ĠÐŁÑĢоÑĪÑĥ":122100,"ĠÐŁÑĢÑıмо":122101,"ĠÐłÐ¾Ð±Ð¸Ð½":122102,"ĠСинод":122103,"ĠСÑĤокг":122104,"ĠТеÑħаÑģ":122105,"ĠТибеÑĤ":122106,"ĠТомÑģк":122107,"ĠУзнав":122108,"ĠУÑģÑĤав":122109,"ĠУÑįлÑĮÑģ":122110,"ĠФÑĢÑįнк":122111,"ĠЧеÑħии":122112,"ĠШваÑĢÑĨ":122113,"ĠаванÑĤ":122114,"ĠадмиÑĢ":122115,"ĠаÑĢÑħип":122116,"ĠбаÑĪен":122117,"ĠбаÑĪне":122118,"ĠбежиÑĤ":122119,"ĠбелаÑı":122120,"Ġбелок":122121,"Ġбелом":122122,"ĠбеÑĢÑijÑĤ":122123,"ĠбеÑģпÑĢ":122124,"Ġбоков":122125,"ĠбоÑĢÑĤа":122126,"ĠбоÑİÑģÑĮ":122127,"ĠбÑĢали":122128,"ĠбÑĢаÑĩн":122129,"ĠбÑĥÑĦеÑĢ":122130,"ĠбÑĭÑĤов":122131,"Ġважен":122132,"Ġважна":122133,"ĠважнÑĭ":122134,"ĠвеÑĢÑıÑĤ":122135,"ĠвеÑīаÑħ":122136,"ĠвзноÑģ":122137,"ĠвидаÑħ":122138,"Ġвиден":122139,"ĠвкÑĥÑģа":122140,"Ġвлево":122141,"ĠводаÑħ":122142,"Ġводки":122143,"ĠвоÑĪло":122144,"ĠвÑģлÑĥÑħ":122145,"ĠвÑĬезд":122146,"ĠвÑĭдоÑħ":122147,"ĠвÑĭйдÑı":122148,"ĠвÑĭпив":122149,"ĠвÑĭпла":122150,"ĠвÑĭÑĤек":122151,"ĠгаÑĢаж":122152,"Ġгенов":122153,"ĠгеÑĢба":122154,"ĠглÑĥпо":122155,"Ġгнева":122156,"Ġгонке":122157,"Ġгонки":122158,"ĠгÑĢеки":122159,"ĠгÑĢеÑħа":122160,"ĠгÑĢибÑĭ":122161,"ĠгÑĢÑıзи":122162,"ĠдаваÑı":122163,"ĠдаÑĢом":122164,"ĠдикиÑħ":122165,"Ġдлине":122166,"Ġдолей":122167,"ĠдоÑģад":122168,"ĠдоÑģки":122169,"ĠдоÑĪло":122170,"ĠдÑĢожа":122171,"ĠдÑĥмаÑı":122172,"ĠдÑĥÑĢно":122173,"Ġжажда":122174,"ĠжанÑĢе":122175,"ĠжаÑĢко":122176,"Ġживем":122177,"ĠжилÑĮе":122178,"ĠзабÑĭÑĤ":122179,"ĠзавÑıз":122180,"Ġзалож":122181,"ĠзаÑħод":122182,"ĠзаÑĨеп":122183,"ĠзвеÑĢи":122184,"ĠзвеÑĢÑĮ":122185,"ĠзвеÑĢÑı":122186,"Ġизвне":122187,"Ġиздав":122188,"ĠиммÑĥн":122189,"ĠиÑģкоп":122190,"ĠиÑģпоÑĢ":122191,"ĠиÑģÑĤек":122192,"Ġкабел":122193,"ĠкадÑĢÑĭ":122194,"Ġкапли":122195,"ĠкипÑıÑĤ":122196,"ĠкиÑģÑĤи":122197,"ĠклÑĥбÑĭ":122198,"ĠклÑİÑĩи":122199,"ĠковаÑĢ":122200,"ĠкоÑģÑĤÑı":122201,"ĠкоÑĪка":122202,"ĠкоÑĪки":122203,"ĠкÑĢоÑģÑģ":122204,"ĠкÑĢÑĭÑĪе":122205,"ĠкÑĢÑĭÑĪи":122206,"ĠкÑĢÑİÑĩк":122207,"ĠкÑĥбик":122208,"ĠлевÑĥÑİ":122209,"ĠленÑĤÑĭ":122210,"ĠловиÑĤ":122211,"ĠлодкÑĥ":122212,"ĠлÑİбÑıÑī":122213,"ĠмакеÑĤ":122214,"Ġмалей":122215,"ĠмалÑĭм":122216,"Ġманип":122217,"ĠмаÑģка":122218,"ĠмаÑģле":122219,"ĠмаÑĤÑĩи":122220,"ĠмонаÑĪ":122221,"ĠмоÑīно":122222,"ĠнаÑĨий":122223,"ĠнаÑĪÑijл":122224,"Ġневеж":122225,"ĠнеÑĦÑĤÑı":122226,"Ġногой":122227,"Ġножом":122228,"ĠноÑģом":122229,"ĠнÑİанÑģ":122230,"Ġобижа":122231,"Ġобожа":122232,"Ġобоим":122233,"ĠовоÑīи":122234,"Ġожида":122235,"ĠозеÑĢе":122236,"ĠопаÑģа":122237,"ĠопÑĭÑĤÑĭ":122238,"ĠпаÑĢни":122239,"ĠпеÑģок":122240,"ĠпеÑģÑĤÑĢ":122241,"ĠпеÑĩаÑĤ":122242,"ĠпиÑĢог":122243,"ĠпламÑı":122244,"ĠплаÑĤа":122245,"ĠпленÑĥ":122246,"ĠплоÑĤи":122247,"Ġпокое":122248,"ĠпокÑĥÑĪ":122249,"Ġполом":122250,"Ġполон":122251,"ĠполÑĥÑĪ":122252,"ĠпоÑĢоÑĪ":122253,"ĠпоÑģпе":122254,"ĠпоÑĩÑĤÑĭ":122255,"ĠпоÑĩÑijÑĤ":122256,"ĠпоÑĪÑijл":122257,"ĠпÑĢомо":122258,"ĠпÑĥлÑĮÑģ":122259,"ĠпÑĥÑĪка":122260,"ĠпÑıÑĤÑĭй":122261,"ĠÑĢаÑģка":122262,"ĠÑĢеÑĪал":122263,"ĠÑĢеÑĪив":122264,"ĠÑĢеÑĪиÑĤ":122265,"ĠÑĢодом":122266,"ĠÑĢолÑıÑħ":122267,"ĠÑģемен":122268,"ĠÑģемÑıн":122269,"ĠÑģеÑģÑĤÑĮ":122270,"ĠÑģилам":122271,"ĠÑģиÑĢоÑĤ":122272,"ĠÑģкалÑĭ":122273,"ĠÑģлÑĥжа":122274,"ĠÑģлÑĭÑĪÑĥ":122275,"ĠÑģмена":122276,"ĠÑģмÑĥÑīа":122277,"ĠÑģнÑıли":122278,"ĠÑģпинÑĭ":122279,"ĠÑģпоÑĢа":122280,"ĠÑģÑĤепи":122281,"ĠÑģÑĤепн":122282,"ĠÑģÑĤеÑĢж":122283,"ĠÑģÑĤиÑħа":122284,"ĠÑģÑĤоил":122285,"ĠÑģÑĤоим":122286,"ĠÑģÑħваÑĤ":122287,"ĠÑģÑĭÑĢÑĮе":122288,"ĠÑĤаÑĢел":122289,"ĠÑĤвоиÑħ":122290,"ĠÑĤеÑĢÑıл":122291,"ĠÑĤеÑģÑĤÑĭ":122292,"ĠÑĤиÑĤан":122293,"ĠÑĤолÑĩк":122294,"ĠÑĤÑĢава":122295,"ĠÑĤÑĥлов":122296,"ĠÑĤÑĥÑĢеÑĨ":122297,"ĠÑĤÑĥÑĢок":122298,"ĠÑĤÑijмно":122299,"ĠÑĥволÑĮ":122300,"ĠÑĥедин":122301,"ĠÑĥжаÑģа":122302,"ĠÑĥказа":122303,"ĠÑĥмело":122304,"ĠÑĥмеÑİÑĤ":122305,"ĠÑĥмнож":122306,"ĠÑĥпала":122307,"ĠÑĥÑģÑĤÑĮе":122308,"ĠÑĦлага":122309,"ĠÑĦоÑĢÑĥм":122310,"ĠÑĦÑĥÑĤов":122311,"ĠÑħалаÑĤ":122312,"ĠÑħиÑĤÑĢо":122313,"ĠÑĨаÑĢей":122314,"ĠÑĨаÑĢем":122315,"ĠÑĨелÑıм":122316,"ĠÑĨиÑĦÑĢа":122317,"ĠÑĨÑĭган":122318,"ĠÑĩиÑĤаÑİ":122319,"ĠÑĩÑĥгÑĥн":122320,"ĠÑĩÑĥжие":122321,"ĠÑĩÑĥжим":122322,"ĠÑĩÑĥжиÑħ":122323,"ĠÑĪаман":122324,"ĠÑĪевел":122325,"ĠÑĪÑĤабе":122326,"ĠÑįпоÑħа":122327,"ĠÑįÑģкиз":122328,"ĠÑįÑģмин":122329,"ĠÑįÑĦиÑĢе":122330,"ĠÑİжном":122331,"ĠÑıÑĢкие":122332,"ÐijÑĢиÑĤан":122333,"ÐĴизанÑĤ":122334,"ÐĴÑĢемен":122335,"ÐĵазеÑĤа":122336,"Ðļавказ":122337,"СаÑĤÑĥÑĢн":122338,"СмоÑĤÑĢи":122339,"ФинанÑģ":122340,"ФонÑĤан":122341,"ФоÑĢмÑĥл":122342,"ÐŃлекÑĤÑĢ":122343,"алиÑģÑĤÑĭ":122344,"анÑģкаÑı":122345,"анÑģкиÑħ":122346,"анÑĤÑĢоп":122347,"аÑĤоÑĢом":122348,"аÑĤÑĥÑĢов":122349,"аÑĪвили":122350,"баланÑģ":122351,"беÑĢиÑĤе":122352,"биваеÑĤ":122353,"биÑĢаÑİÑĤ":122354,"виднÑĭе":122355,"владел":122356,"влеÑĩен":122357,"воÑģпиÑĤ":122358,"воÑģÑĤоÑĩ":122359,"глаÑģил":122360,"гонÑīик":122361,"гонÑıÑĤÑĮ":122362,"гÑĢавиÑĤ":122363,"далаÑģÑĮ":122364,"далиÑģÑĮ":122365,"даÑİÑīий":122366,"деÑģанÑĤ":122367,"динанд":122368,"дÑĥмаÑĤÑĮ":122369,"дÑİймов":122370,"евÑģком":122371,"егиÑģÑĤÑĢ":122372,"енение":122373,"ениÑĨÑĭн":122374,"енномÑĥ":122375,"енÑĤина":122376,"енÑĮкаÑı":122377,"еÑģÑĤвие":122378,"еÑĩеÑģки":122379,"еÑīание":122380,"живаÑİÑĤ":122381,"забвен":122382,"звÑĥков":122383,"земелÑĮ":122384,"знамен":122385,"знаÑĩен":122386,"иваÑıÑģÑĮ":122387,"игÑĢаÑĤÑĮ":122388,"икипед":122389,"илÑĮнаÑı":122390,"илÑĮÑīик":122391,"илÑıÑĤоÑĢ":122392,"инÑģким":122393,"инÑģкиÑħ":122394,"инÑĤеÑĢн":122395,"иÑģÑģлед":122396,"иÑģÑĤого":122397,"иÑĤелен":122398,"каÑĩаÑĤÑĮ":122399,"кинÑĥÑĤÑĮ":122400,"кладка":122401,"кÑĢеÑīен":122402,"кÑĢойÑĤе":122403,"кÑĢÑĭваÑİ":122404,"кÑĢÑĭваÑı":122405,"кÑĥÑĢиÑĤÑĮ":122406,"лагаем":122407,"лейбÑĥÑģ":122408,"лекÑĤоÑĢ":122409,"леÑĤаеÑĤ":122410,"леÑĤнем":122411,"леÑĤниÑħ":122412,"ливаеÑĤ":122413,"ликвид":122414,"лилиÑģÑĮ":122415,"лиÑĤÑĮÑģÑı":122416,"ложено":122417,"маÑĢкеÑĤ":122418,"маÑĢÑĪал":122419,"маÑĤÑĢиÑĨ":122420,"меÑĢÑĤно":122421,"меÑģÑĤно":122422,"молÑĩал":122423,"нейÑĪаÑı":122424,"нимаÑĤÑĮ":122425,"нимаÑİÑĤ":122426,"нÑģкомÑĥ":122427,"нÑıжеÑģк":122428,"ованно":122429,"овоÑĢод":122430,"озвÑĢаÑĤ":122431,"онÑıÑĤнÑĭ":122432,"ополиÑĤ":122433,"павÑĪиÑħ":122434,"паÑĢÑĤий":122435,"пиÑĤÑĭва":122436,"планеÑĤ":122437,"пÑĢимеÑĢ":122438,"пÑĢÑıжен":122439,"пÑĥблик":122440,"пÑĥÑģÑĤиÑĤ":122441,"ÑĢавÑģÑĤв":122442,"ÑĢазмеÑĢ":122443,"ÑĢаÑģÑĭва":122444,"ÑĢвалÑģÑı":122445,"ÑĢемонÑĤ":122446,"ÑĢовоÑĩн":122447,"ÑĢополÑĮ":122448,"ÑģеÑĢвеÑĢ":122449,"ÑģеÑĢиал":122450,"ÑģловеÑģ":122451,"Ñģловие":122452,"Ñģловно":122453,"ÑģлÑĥжбÑĭ":122454,"ÑģоÑĨиал":122455,"ÑģÑĤавке":122456,"ÑģÑĤавки":122457,"ÑģÑĤÑĢелÑĮ":122458,"ÑĤанков":122459,"ÑĤивной":122460,"ÑĤоÑĢгов":122461,"ÑĤоÑĩной":122462,"ÑĥÑģÑĤÑĢии":122463,"ÑĥÑĩениÑı":122464,"ÑĦоÑĢмаÑĤ":122465,"Ñħодило":122466,"ÑĨионно":122467,"ÑĩеÑĤÑĭÑĢе":122468,"ÑĩиÑĤаÑİÑĤ":122469,"ÑĪедÑĪаÑı":122470,"ÑĪедÑĪим":122471,"ÑıÑīейÑģÑı":122472,"electro":122473,"ĠÐijаÑĪкиÑĢ":122474,"ĠÐijожией":122475,"ĠÐijÑĭÑģÑĤÑĢо":122476,"ĠÐĴозмож":122477,"ĠÐĴойÑģка":122478,"ĠÐĴÑĭÑģоко":122479,"ĠÐĵалиле":122480,"ĠÐĵеÑĢÑĨен":122481,"ĠÐĵовоÑĢÑı":122482,"ĠÐĵолова":122483,"ĠÐĵÑĥÑģÑĤав":122484,"ĠÐĶаниил":122485,"ĠÐĶаннаÑı":122486,"ĠÐĶжозеÑĦ":122487,"ĠÐĶÑĢÑĥгаÑı":122488,"ĠÐĶÑĢÑĥгое":122489,"ĠÐĸÑĥÑĢнал":122490,"ĠÐĹакона":122491,"ĠÐĹвезда":122492,"ĠÐĹдание":122493,"ĠÐĺнÑĦоÑĢм":122494,"ĠÐĺоÑĢдан":122495,"ĠÐļаждое":122496,"ĠÐļанаде":122497,"ĠÐļиÑĢгиз":122498,"ĠÐļоÑĢпÑĥÑģ":122499,"ĠÐļÑĢемлÑı":122500,"ĠÐĽÑĥÑĩÑĪий":122501,"ĠÐľÐ°Ð´ÑĢид":122502,"ĠÐĿазван":122503,"ĠÐĿаÑĥÑĩно":122504,"ĠÐĿикиÑĤа":122505,"ĠÐŀдеÑģÑģе":122506,"ĠÐŁÐµÑĢиод":122507,"ĠÐŁÐ¾Ð´ÑĢоб":122508,"ĠÐŁÐ¾Ñħоже":122509,"ĠÐŁÑĢемиÑı":122510,"ĠÐŁÑĢиказ":122511,"ĠÐłÐ°Ð±Ð¾ÑĤÑĭ":122512,"ĠÐłÐ°Ð·Ð´ÐµÐ»":122513,"ĠÐłÑĥÑģÑģко":122514,"ĠСевеÑĢа":122515,"ĠСловом":122516,"ĠСовÑģем":122517,"ĠСоÑģÑĤоÑı":122518,"ĠСÑĤаÑĢÑĭй":122519,"ĠСÑĤÑİаÑĢÑĤ":122520,"ĠТеодоÑĢ":122521,"ĠТеоÑĢиÑı":122522,"ĠТоÑĢгов":122523,"ĠТÑĢеÑĤÑĮе":122524,"ĠУÑĩенÑĭе":122525,"ĠУÑĩилÑģÑı":122526,"ĠФÑĢÑĥнзе":122527,"ĠХеÑĢÑģон":122528,"ĠХоÑĢваÑĤ":122529,"ĠЦаÑĢÑģÑĤв":122530,"ĠШиÑĢоко":122531,"ĠШÑĤаÑĤаÑħ":122532,"ĠÐŃконом":122533,"ĠЯндекÑģ":122534,"ĠавÑĤоби":122535,"ĠалÑĮÑıнÑģ":122536,"ĠанÑĤенн":122537,"ĠаÑĤаман":122538,"ĠбеднÑĭÑħ":122539,"Ġбежали":122540,"ĠбелÑĭми":122541,"ĠбеÑģеда":122542,"ĠбеÑģеде":122543,"ĠблагоÑģ":122544,"Ġблизок":122545,"ĠблиÑģÑĤа":122546,"Ġблокад":122547,"ĠбоевÑĥÑİ":122548,"ĠбоÑĢода":122549,"ĠбоÑıÑĤÑģÑı":122550,"ĠбÑĢоÑģал":122551,"ĠбÑĢоÑĪÑİÑĢ":122552,"ĠбÑĥмага":122553,"ĠбÑĥмагÑĥ":122554,"ĠважнаÑı":122555,"ĠвакÑĨин":122556,"ĠвелиÑĩа":122557,"ĠвеÑĢили":122558,"ĠвеÑĢнÑĭм":122559,"ĠвеÑĩеÑĢÑĥ":122560,"Ġвзамен":122561,"Ġвидеок":122562,"ĠвладÑĭк":122563,"ĠвлиÑıÑİÑĤ":122564,"ĠводнÑĭÑħ":122565,"Ġводоем":122566,"ĠвозмÑĥÑī":122567,"ĠвÑĢаÑĩом":122568,"ĠвÑĢÑĥÑĩен":122569,"ĠвÑģпомн":122570,"ĠвÑģÑĤаÑĤÑĮ":122571,"ĠвÑģÑıкаÑı":122572,"ĠвÑģÑıкÑĥÑİ":122573,"ĠвÑĭдаÑĤÑĮ":122574,"ĠвÑĭжиÑĤÑĮ":122575,"ĠвÑĭзова":122576,"ĠвÑĭлеÑĤа":122577,"ĠвÑĭпиÑĤÑĮ":122578,"ĠвÑĭÑģÑĪие":122579,"ĠвÑĭÑĩиÑģл":122580,"ĠгеÑĤман":122581,"ĠгибÑĢид":122582,"Ġглазом":122583,"Ġгнездо":122584,"ĠгоÑģпож":122585,"ĠгÑĢабеж":122586,"ĠгÑĢадÑĥÑģ":122587,"ĠгÑĢаÑĦин":122588,"Ġдавала":122589,"ĠданнÑĥÑİ":122590,"ĠдвижÑĥÑī":122591,"Ġделала":122592,"ĠдеÑĦоÑĢм":122593,"ĠдеÑıниÑı":122594,"ĠдизелÑĮ":122595,"ĠдиÑģков":122596,"ĠдлиÑĤÑģÑı":122597,"ĠдобÑĢÑĭе":122598,"ĠдобÑĢÑĭм":122599,"ĠдовеÑĢи":122600,"ĠдовеÑĢÑı":122601,"ĠдокÑĤÑĢи":122602,"ĠдолгиÑħ":122603,"Ġдолина":122604,"ĠдоÑĨенÑĤ":122605,"ĠдÑĢевеÑģ":122606,"ĠдÑĥмала":122607,"Ġединое":122608,"ĠжанÑĢов":122609,"ĠжеÑĢÑĤва":122610,"ĠжиÑĤелÑı":122611,"ĠзабоÑĤÑĭ":122612,"ĠзавиÑģÑĤ":122613,"Ġзадолж":122614,"Ġзапада":122615,"ĠзапаÑģа":122616,"ĠзаÑģÑĤал":122617,"ĠзаÑıвив":122618,"Ġзвании":122619,"ĠзвÑĥÑĩаÑĤ":122620,"ĠзеленÑĮ":122621,"ĠзимниÑħ":122622,"ĠзнаÑĤок":122623,"ĠзнаÑĩим":122624,"ĠидеÑıми":122625,"ĠиздеÑĢж":122626,"ĠиÑģкали":122627,"ĠиÑģпÑĥга":122628,"ĠиÑģÑĩеÑĢп":122629,"ĠкабелÑĮ":122630,"Ġказаки":122631,"ĠказаÑĢм":122632,"ĠкалибÑĢ":122633,"ĠкамеÑĢе":122634,"ĠканалÑĭ":122635,"ĠканÑĤон":122636,"ĠкаÑĢлик":122637,"ĠкаÑĦедÑĢ":122638,"Ġклапан":122639,"ĠклаÑģÑģÑĥ":122640,"ĠклевеÑĤ":122641,"ĠклеÑĤка":122642,"Ġкнигой":122643,"ĠколбаÑģ":122644,"ĠколдÑĥн":122645,"ĠколеÑģо":122646,"ĠкомикÑģ":122647,"ĠконÑĩик":122648,"ĠкоÑĢÑĢÑĥп":122649,"ĠкÑĢеÑģло":122650,"ĠкÑĢеÑģÑĤа":122651,"ĠкÑĢиÑĩиÑĤ":122652,"ĠкÑĢÑĥпно":122653,"ĠкÑĢÑĭлаÑĤ":122654,"ĠкÑĥÑĢган":122655,"Ġладони":122656,"ĠладонÑĮ":122657,"Ġлегкий":122658,"Ġледник":122659,"Ġлежала":122660,"Ġлежали":122661,"ĠлеÑģной":122662,"ĠлеÑĤаÑĤÑĮ":122663,"ĠлиÑĪиÑĤÑĮ":122664,"ĠлиÑĪним":122665,"ĠлÑİбила":122666,"ĠлÑijгкой":122667,"ĠмаÑĢкиз":122668,"ĠмеÑģÑıÑĨе":122669,"ĠмеÑĤÑĢаÑħ":122670,"ĠмиÑĢнÑĭÑħ":122671,"ĠмиÑģÑĤик":122672,"ĠмладÑĪе":122673,"ĠмонÑģÑĤÑĢ":122674,"ĠмоÑģÑĤов":122675,"ĠмоÑīнÑĭе":122676,"ĠмÑĥÑģкÑĥл":122677,"ĠмÑĭÑģлÑĮÑİ":122678,"Ġнадлеж":122679,"ĠнадÑijжн":122680,"Ġналоги":122681,"Ġнамека":122682,"ĠнаÑĢÑĥÑĪа":122683,"ĠнаÑģÑĤоÑı":122684,"ĠнаÑĥкой":122685,"ĠнаÑĨиÑģÑĤ":122686,"ĠнаÑĩаÑĤо":122687,"ĠнедоÑĥм":122688,"Ġнелепо":122689,"ĠнеÑĤеÑĢп":122690,"ĠнеÑıÑģно":122691,"Ġнижнем":122692,"ĠнижниÑħ":122693,"Ġнизкий":122694,"Ġновелл":122695,"ĠномеÑĢе":122696,"ĠноÑĩной":122697,"ĠнÑĥжнÑĭе":122698,"ĠнÑĥжнÑĭй":122699,"ĠобÑģеÑĢв":122700,"ĠобÑīина":122701,"ĠобÑĭÑĩай":122702,"ĠопаÑģен":122703,"Ġопозда":122704,"ĠоÑĢбиÑĤÑĥ":122705,"ĠоÑģвоен":122706,"ĠоÑģÑĤÑĢÑĭм":122707,"ĠоÑĤделе":122708,"ĠоÑĤÑĬезд":122709,"ĠоÑĪибоÑĩ":122710,"ĠоÑīÑĥÑĤим":122711,"ĠпакеÑĤа":122712,"ĠпенÑģии":122713,"ĠпеÑĪком":122714,"Ġплавно":122715,"ĠплакаÑĤ":122716,"Ġпоблиз":122717,"ĠпогодÑĥ":122718,"ĠпогодÑĭ":122719,"Ġподвиж":122720,"ĠподÑĩаÑģ":122721,"ĠпоймеÑĤ":122722,"ĠполеÑĤе":122723,"ĠполоÑģÑĥ":122724,"ĠполÑijÑĤа":122725,"Ġпомнил":122726,"ĠпопÑĭÑĤа":122727,"ĠпоÑģÑĤов":122728,"ĠпоÑĤоки":122729,"ĠпоÑħоде":122730,"ĠпоÑĪлин":122731,"ĠпоÑįзиÑı":122732,"ĠпÑĢевÑĭÑģ":122733,"ĠпÑĢедки":122734,"ĠпÑĢеÑģÑģÑĭ":122735,"ĠпÑĢилив":122736,"ĠпÑĢипод":122737,"ĠпÑĢоÑĢоÑĩ":122738,"ĠпÑĢоÑģÑĤÑĭ":122739,"ĠпÑĢоÑĦил":122740,"ĠпÑĢÑıмое":122741,"ĠпÑĥблиÑĩ":122742,"ĠпÑĥзÑĭÑĢÑĮ":122743,"ĠпÑĥнкÑĤе":122744,"ĠÑĢавнÑĭм":122745,"ĠÑĢазгаÑĢ":122746,"ĠÑĢазное":122747,"ĠÑĢакеÑĤа":122748,"ĠÑĢанние":122749,"ĠÑĢедакÑĤ":122750,"ĠÑĢедкиÑħ":122751,"ĠÑĢезино":122752,"ĠÑĢодила":122753,"ĠÑĢоднÑĭÑħ":122754,"ĠÑĢоманÑĭ":122755,"ĠÑģайÑĤов":122756,"ĠÑģвÑıзÑıм":122757,"ĠÑģеÑĢдÑĨÑĥ":122758,"ĠÑģеÑģÑĤÑĢе":122759,"ĠÑģкоÑĢей":122760,"ĠÑģкÑĥÑĩно":122761,"ĠÑģлабÑĭе":122762,"ĠÑģмеÑĪно":122763,"ĠÑģмиÑĢен":122764,"ĠÑģмоÑĤÑĢÑİ":122765,"ĠÑģмоÑĤÑĢÑı":122766,"ĠÑģмÑĭÑģлÑĥ":122767,"ĠÑģнабжа":122768,"ĠÑģнизил":122769,"ĠÑģобÑĢав":122770,"ĠÑģожале":122771,"ĠÑģооÑĤеÑĩ":122772,"ĠÑģоÑĩинÑı":122773,"ĠÑģпеÑĪиÑĤ":122774,"ĠÑģпоÑĢов":122775,"ĠÑģпÑĢоÑģа":122776,"ĠÑģÑĢоком":122777,"ĠÑģÑģÑĭлке":122778,"ĠÑģÑģÑĭлкÑĥ":122779,"ĠÑģÑĤаÑĢом":122780,"ĠÑģÑĤаÑĢÑĥÑħ":122781,"ĠÑģÑĤенки":122782,"ĠÑģÑĤеÑģнÑı":122783,"ĠÑģÑĤойки":122784,"ĠÑģÑĤÑĢоиÑĤ":122785,"ĠÑģÑĤÑĢока":122786,"ĠÑģÑĤÑĭдно":122787,"ĠÑģÑĥгÑĥбо":122788,"ĠÑģÑĦеÑĢаÑħ":122789,"ĠÑĤайной":122790,"ĠÑĤаковÑĭ":122791,"ĠÑĤеоÑĢий":122792,"ĠÑĤеÑĢÑıÑĤÑĮ":122793,"ĠÑĤеÑĢÑıÑİÑĤ":122794,"ĠÑĤиÑĪина":122795,"ĠÑĤонкие":122796,"ĠÑĤонкой":122797,"ĠÑĤÑĢавма":122798,"ĠÑĤÑĢепеÑĤ":122799,"ĠÑĥбиÑĤÑĭÑħ":122800,"ĠÑĥведом":122801,"ĠÑĥделÑıл":122802,"ĠÑĥдивил":122803,"ĠÑĥеÑħаÑĤÑĮ":122804,"ĠÑĥказом":122805,"ĠÑĥлÑĥÑĩÑĪа":122806,"ĠÑĥÑģвоен":122807,"ĠÑĥÑģкоÑĢÑı":122808,"ĠÑĥÑĤилиÑĤ":122809,"ĠÑĥÑħодил":122810,"ĠÑĥÑħÑĥдÑĪа":122811,"ĠÑĥÑĩенÑĭм":122812,"ĠÑĥÑĩÑĢеди":122813,"ĠÑĥÑĩÑijнÑĭе":122814,"ĠÑĦакÑĤом":122815,"ĠÑĦизика":122816,"ĠÑĦоÑĢÑĥма":122817,"ĠÑĦоÑģÑĦоÑĢ":122818,"ĠÑĦÑĢакÑĨи":122819,"ĠÑħоÑĢваÑĤ":122820,"ĠÑħÑĢебÑĤа":122821,"ĠÑĨвеÑĤом":122822,"ĠÑĨеннÑĭе":122823,"ĠÑĨенÑĤÑĢÑĥ":122824,"ĠÑĩаÑģÑĤÑıм":122825,"ĠÑĩеÑĢепа":122826,"ĠÑĩиÑģÑĤÑĭй":122827,"ĠÑĩиÑĤаем":122828,"ĠÑĩиÑĤали":122829,"ĠÑĩленам":122830,"ĠÑĩÑĥдеÑģа":122831,"ĠÑĪедевÑĢ":122832,"ĠÑĪеÑĢÑģÑĤÑĮ":122833,"ĠÑĪеÑģÑĤеÑĢ":122834,"ĠÑįмпиÑĢи":122835,"ĠÑįÑĤапаÑħ":122836,"ĠÑįÑĤапов":122837,"ĠÑİбилей":122838,"ĠÑİвелиÑĢ":122839,"ÐijелоÑĢÑĥÑģ":122840,"ÐĵÑĢаждан":122841,"ÐĺÑģÑĤоÑĢии":122842,"СоÑħÑĢани":122843,"ТÑĥÑĢкмен":122844,"ЮнайÑĤед":122845,"азиаÑĤÑģк":122846,"ализаÑĨи":122847,"алÑĮномÑĥ":122848,"аÑĤивнÑĭе":122849,"банкÑĢоÑĤ":122850,"беÑģÑģозн":122851,"близнеÑĨ":122852,"веÑĢенно":122853,"геомеÑĤÑĢ":122854,"глажива":122855,"гÑĢаждан":122856,"гÑĢамоÑĤн":122857,"гÑĢÑĥзиÑĤÑĮ":122858,"делÑĮнÑĭй":122859,"елÑĮÑĪÑĤам":122860,"епÑĢинÑıÑĤ":122861,"еÑĢежной":122862,"живание":122863,"зволÑĮÑĤе":122864,"ивÑĪейÑģÑı":122865,"идеÑģÑıÑĤи":122866,"икиÑģÑĤан":122867,"ингÑĤоне":122868,"инженеÑĢ":122869,"иÑĢовкой":122870,"иÑĢÑĥемÑĭÑħ":122871,"иÑĢÑĥÑİÑīим":122872,"иÑĦикаÑĨи":122873,"каÑĤолик":122874,"клеÑĤоÑĩн":122875,"коÑĤоÑĢаÑı":122876,"лежаÑīиÑħ":122877,"ложении":122878,"молодÑijж":122879,"моÑĢÑģком":122880,"моÑĤÑĢиÑĤе":122881,"наилÑĥÑĩÑĪ":122882,"нейÑĤÑĢал":122883,"непÑĢиÑıÑĤ":122884,"неÑģении":122885,"нингÑĢад":122886,"овавÑĪие":122887,"огÑĢамма":122888,"одаÑĤелÑı":122889,"оловинÑĥ":122890,"оÑĢодиÑĨÑĭ":122891,"оÑģвобод":122892,"оÑģнован":122893,"оÑģÑĤепен":122894,"оÑĤеÑĩени":122895,"паÑĢижÑģк":122896,"пеÑĩаÑĤал":122897,"полиÑĨей":122898,"попеÑĢеÑĩ":122899,"пÑĢемÑĮеÑĢ":122900,"пÑĢодолж":122901,"пÑĢоÑģвеÑĤ":122902,"ÑĢавнива":122903,"ÑĢаÑīение":122904,"ÑĢедиÑĤел":122905,"ÑĢованиÑı":122906,"ÑĢополиÑĤ":122907,"ÑģеÑĩение":122908,"ÑģмоÑĤÑĢев":122909,"ÑģÑĤаваÑĤÑĮ":122910,"ÑģÑĤоÑıÑīий":122911,"ÑģÑĤÑĢанен":122912,"ÑĤеÑĢапиÑı":122913,"ÑĤеÑħники":122914,"ÑĥÑĩиÑĤелÑĮ":122915,"ÑħодÑıÑīаÑı":122916,"ÑĩиÑĤайÑĤе":122917,"ÑįлекÑĤÑĢо":122918,"ÑįлеменÑĤ":122919,"ÑıÑĤелÑĮно":122920,"speaking":122921,"ĠÐIJлÑĮÑĦÑĢед":122922,"ĠÐIJнÑĤонио":122923,"ĠÐijолÑĮÑĪÑĥÑİ":122924,"ĠÐijоÑĢиÑģов":122925,"ĠÐijÑĢежнев":122926,"ĠÐĴавилон":122927,"ĠÐĴеликаÑı":122928,"ĠÐĴиÑĤалий":122929,"ĠÐĴиÑĤебÑģк":122930,"ĠÐĵлавной":122931,"ĠÐĵоÑģдÑĥмÑĭ":122932,"ĠÐĵоÑģподи":122933,"ĠÐĶевÑĥÑĪка":122934,"ĠÐĶепÑĥÑĤаÑĤ":122935,"ĠÐĶжекÑģон":122936,"ĠÐĶоналÑĮд":122937,"ĠÐĶÑĢевней":122938,"ĠÐķлÑĮÑĨина":122939,"ĠÐĸенÑīинÑĭ":122940,"ĠÐĺÑģÑĤоÑĢик":122941,"ĠÐļаÑĢолин":122942,"ĠÐļеннеди":122943,"ĠÐļоÑģÑĤÑĢом":122944,"ĠÐļÑĢаÑģнаÑı":122945,"ĠÐļÑĢаÑģнÑĥÑİ":122946,"ĠÐĽÐ°ÑĥÑĢеаÑĤ":122947,"ĠÐĽÐµÑĩение":122948,"ĠÐĽÑİдовик":122949,"ĠÐľÐ°ÑĤвеев":122950,"ĠÐľÐµÐºÑģики":122951,"ĠÐĿаблÑİда":122952,"ĠÐĿабоков":122953,"ĠÐĿекоÑĤоÑĢ":122954,"ĠÐĿеÑĢедко":122955,"ĠÐĿикакиÑħ":122956,"ĠÐŀбÑīеÑģÑĤв":122957,"ĠÐŁÐµÑĢвого":122958,"ĠÐŁÐµÑĢеÑħод":122959,"ĠÐŁÐ¾Ð¶Ð°Ð»Ñĥй":122960,"ĠÐŁÑĢÑĥÑģÑģии":122961,"ĠÐłÑĥдолÑĮÑĦ":122962,"ĠÐłÑĥÑģÑģкаÑı":122963,"ĠСаÑħалин":122964,"ĠСеменов":122965,"ĠСÑĢедний":122966,"ĠСÑĤалинÑĥ":122967,"ĠСÑĤаÑĢÑĪий":122968,"ĠТÑĢоÑĨкий":122969,"ĠФилиппа":122970,"ĠабоненÑĤ":122971,"ĠавиаÑĨиÑı":122972,"ĠаккаÑĥнÑĤ":122973,"ĠакÑĤивов":122974,"Ġалкогол":122975,"Ġанализе":122976,"ĠаÑĢÑģенал":122977,"ĠаÑģÑĦалÑĮÑĤ":122978,"ĠаÑĥкÑĨион":122979,"ĠбабÑĥÑĪки":122980,"ĠбеÑĢегам":122981,"ĠбеÑĢегаÑħ":122982,"Ġблизким":122983,"ĠбогаÑĤÑĭе":122984,"ĠбогаÑĤÑĭй":122985,"ĠбÑĥддизм":122986,"ĠбÑĥдÑĥÑīим":122987,"ĠбÑĭÑģÑĤÑĢÑĭй":122988,"ĠбÑĭÑģÑĤÑĢÑĭм":122989,"Ġвагонов":122990,"ĠведÑĥÑīие":122991,"ĠвеликаÑı":122992,"ĠвеÑĢÑħнем":122993,"ĠвеÑĢÑħниÑħ":122994,"ĠвидениÑı":122995,"ĠвлаÑģÑĤÑıм":122996,"ĠвойÑģкаÑħ":122997,"Ġвокзала":122998,"ĠволоÑģÑĤÑĮ":122999,"ĠвоплоÑīа":123000,"ĠвоÑģÑĤока":123001,"ĠвпадаеÑĤ":123002,"ĠвÑģадник":123003,"ĠвÑģпомог":123004,"ĠвÑĭбÑĢали":123005,"ĠвÑĭдеÑĢжк":123006,"ĠвÑĭигÑĢÑĭÑĪ":123007,"ĠвÑĭнеÑģен":123008,"ĠвÑĭнÑĥдил":123009,"ĠвÑĭплаÑĤÑĭ":123010,"ĠвÑĭÑĢабоÑĤ":123011,"ĠвÑĭÑĢажал":123012,"ĠвÑĭÑħодом":123013,"ĠгеÑĢоизм":123014,"Ġглавном":123015,"ĠгоÑĢодке":123016,"ĠгоÑĢодок":123017,"ĠгÑĢÑĥÑģÑĤно":123018,"ĠдаÑĢован":123019,"ĠдвадÑĨаÑĤ":123020,"Ġдвойной":123021,"ĠдевоÑĩек":123022,"ĠдекабÑĢÑĮ":123023,"ĠделÑıÑĤÑģÑı":123024,"ĠдеÑĢжавÑĭ":123025,"ĠдеÑĤÑģкие":123026,"ĠдеÑĤÑģÑĤво":123027,"ĠдеÑıÑĤели":123028,"Ġдиалога":123029,"Ġдлинной":123030,"ĠдобавлÑı":123031,"Ġдоклада":123032,"Ġдокладе":123033,"ĠдоÑĢогие":123034,"ĠдоÑģÑĤаÑĤÑĮ":123035,"ĠдоÑĩеÑĢей":123036,"ĠдÑĢевний":123037,"ĠдÑĢевним":123038,"ĠдÑĢÑĥжеÑģк":123039,"ĠдÑĥÑħовно":123040,"ĠегипÑĤÑıн":123041,"ĠеÑģÑĤеÑģÑĤв":123042,"Ġжалован":123043,"ĠженÑģкий":123044,"ĠженÑģкиÑħ":123045,"ĠживÑĥÑīиÑħ":123046,"Ġжизнеде":123047,"ĠжиÑĤелÑıм":123048,"Ġзаголов":123049,"Ġзадолго":123050,"ĠзадÑĥман":123051,"Ġзаклина":123052,"ĠзаконÑĩи":123053,"Ġзаменил":123054,"ĠзанавеÑģ":123055,"ĠзанÑıлÑģÑı":123056,"Ġзападно":123057,"ĠзапаÑģов":123058,"ĠзапÑĢоÑģа":123059,"ĠзапÑĢоÑģÑĭ":123060,"ĠзаÑħодиÑĤ":123061,"ĠзеÑĢкала":123062,"ĠзнакомÑĭ":123063,"Ġзнамена":123064,"ĠзолоÑĤÑĥÑİ":123065,"ĠзÑĢелиÑīе":123066,"ĠизвеÑģÑĤи":123067,"Ġиздании":123068,"ĠизÑĢедка":123069,"ĠизÑĥмлен":123070,"ĠимелоÑģÑĮ":123071,"Ġименами":123072,"ĠиÑģпÑĭÑĤан":123073,"ĠиÑģÑĤоÑĢий":123074,"ĠиÑģÑĤоÑīен":123075,"ĠиÑģÑĩезли":123076,"ĠкамнÑıми":123077,"ĠкаÑĢÑĮеÑĢа":123078,"ĠклимаÑĤа":123079,"ĠкоалиÑĨи":123080,"ĠкодекÑģа":123081,"Ġколледж":123082,"ĠколониÑı":123083,"Ġколонна":123084,"ĠкоммÑĥна":123085,"ĠкоммÑĥнÑĭ":123086,"ĠконÑģÑĤаÑĤ":123087,"ĠконÑĤенÑĤ":123088,"ĠкоÑĢолем":123089,"ĠкоÑĢпÑĥÑģе":123090,"ĠкоÑģмоÑģа":123091,"ĠкÑĢаÑģнÑĭм":123092,"ĠкÑĢаÑģоÑĤа":123093,"ĠкÑĢаÑģоÑĤÑĥ":123094,"ĠкÑĢаÑĤков":123095,"ĠкÑĢикнÑĥл":123096,"ĠкÑĢоваÑĤÑĮ":123097,"ĠкÑĢÑĥпнаÑı":123098,"ĠлеÑĤÑĩика":123099,"ĠлеÑĤÑĩики":123100,"ĠлеÑĩении":123101,"ĠлиÑħоÑĢад":123102,"ĠлÑİбимой":123103,"ĠлÑİбимÑĭй":123104,"ĠлÑİбимÑĭм":123105,"Ġмелкими":123106,"ĠмембÑĢан":123107,"ĠмеÑĢÑĤвÑĭÑħ":123108,"ĠмеÑĤалло":123109,"ĠмилоÑģÑĤи":123110,"ĠмилоÑģÑĤÑĮ":123111,"ĠмиÑĢного":123112,"ĠмиÑĢоваÑı":123113,"ĠмиÑĢовÑĥÑİ":123114,"ĠмолодÑijж":123115,"ĠмоÑĢÑıков":123116,"ĠмÑĥжÑĩинÑĥ":123117,"ĠмÑĥзÑĭкой":123118,"Ġнаделен":123119,"Ġнайдено":123120,"ĠнапÑĢаво":123121,"ĠнаÑĢÑĥÑĪил":123122,"Ġнекоего":123123,"Ġнелегко":123124,"Ġнеполно":123125,"ĠнеÑĥдаÑĩи":123126,"ĠновоÑĢож":123127,"Ġобнажен":123128,"ĠобÑĢаÑīал":123129,"ĠобÑīении":123130,"ĠобÑĭденн":123131,"ĠодобÑĢен":123132,"ĠодобÑĢил":123133,"ĠожидаеÑĤ":123134,"Ġознамен":123135,"Ġоказали":123136,"ĠоконÑĩаÑĤ":123137,"ĠокÑĢаине":123138,"ĠокÑĢÑĥгов":123139,"Ġолимпий":123140,"ĠопаÑģнÑĭÑħ":123141,"ĠополÑĩен":123142,"ĠопÑĭÑĤнÑĭй":123143,"ĠопÑĭÑĤнÑĭÑħ":123144,"ĠоÑģвÑıÑīен":123145,"ĠоÑģÑĤанки":123146,"ĠоÑĤвеÑĤов":123147,"ĠоÑĤвлека":123148,"ĠоÑĤкÑĢÑĭла":123149,"ĠоÑĤноÑģÑıÑĤ":123150,"ĠоÑĤÑĢажал":123151,"ĠоÑĦоÑĢмлÑı":123152,"ĠпаÑĢÑĤией":123153,"ĠпенÑģион":123154,"ĠпеÑĢевеÑĢ":123155,"ĠпланÑĪеÑĤ":123156,"ĠплеÑĩами":123157,"Ġпобедой":123158,"Ġпобежда":123159,"ĠповÑģÑĤан":123160,"Ġпогибло":123161,"ĠподаÑĢки":123162,"ĠподпиÑģи":123163,"ĠподÑģÑĩеÑĤ":123164,"ĠподÑħоде":123165,"Ġпоездка":123166,"ĠпоеÑħали":123167,"Ġпожелал":123168,"ĠполагаÑİ":123169,"ĠполезнÑĭ":123170,"ĠполиÑĨиÑİ":123171,"ĠполовÑĭÑħ":123172,"ĠполÑĥÑĩаÑĤ":123173,"ĠполÑĥÑĩим":123174,"ĠпомниÑĤе":123175,"Ġпомогло":123176,"Ġпопадал":123177,"ĠпоÑĢодил":123178,"ĠпоÑĢÑĥÑĩен":123179,"ĠпоÑĢÑıдкÑĥ":123180,"ĠпоÑģвÑıÑīа":123181,"ĠпоÑģелка":123182,"ĠпоÑģлаÑĤÑĮ":123183,"ĠпÑĢакÑĤик":123184,"ĠпÑĢевÑĭÑĪе":123185,"ĠпÑĢедела":123186,"ĠпÑĢелеÑģÑĤ":123187,"ĠпÑĢепода":123188,"ĠпÑĢеÑĥÑģпе":123189,"ĠпÑĢидаеÑĤ":123190,"ĠпÑĢидаÑĤÑĮ":123191,"ĠпÑĢиеÑħав":123192,"ĠпÑĢизнав":123193,"ĠпÑĢинÑıло":123194,"ĠпÑĢиÑģÑĥжд":123195,"ĠпÑĢовода":123196,"ĠпÑĢодвин":123197,"ĠпÑĢодлен":123198,"ĠпÑĢоника":123199,"ĠпÑĢоÑģили":123200,"ĠпÑĢоÑģÑĭпа":123201,"ĠпÑĢоÑģÑĮба":123202,"ĠпÑĢоÑģÑĮбÑĥ":123203,"ĠпÑģиÑħики":123204,"ĠпÑĥблике":123205,"ĠпÑĥнкÑĤом":123206,"ĠпÑĥÑģÑĤÑĭни":123207,"ĠпÑĥÑģÑĤÑĭнн":123208,"ĠÑĢазбиÑĤÑĭ":123209,"ĠÑĢазлиÑĩи":123210,"ĠÑĢазоÑĢен":123211,"ĠÑĢазÑĥмно":123212,"ĠÑĢаÑģкÑĢÑĭл":123213,"ĠÑĢееÑģÑĤÑĢа":123214,"ĠÑĢеклама":123215,"ĠÑĢекламÑĥ":123216,"ĠÑĢеÑģÑĥÑĢÑģа":123217,"ĠÑĢеÑĪилÑģÑı":123218,"ĠÑĢимÑģкой":123219,"ĠÑĢиÑģÑĥнке":123220,"ĠÑĢодного":123221,"ĠÑģанкÑĨий":123222,"ĠÑģвадÑĮбÑĭ":123223,"ĠÑģделана":123224,"ĠÑģелениÑı":123225,"ĠÑģеÑĢиале":123226,"ĠÑģеÑģÑĤÑĢой":123227,"ĠÑģилÑĮнаÑı":123228,"ĠÑģимволÑĭ":123229,"ĠÑģиноним":123230,"ĠÑģинÑĤеза":123231,"ĠÑģледÑĥÑİÑĤ":123232,"ĠÑģложнаÑı":123233,"ĠÑģнайпеÑĢ":123234,"ĠÑģнаÑĢÑıда":123235,"ĠÑģобÑĢанÑĭ":123236,"ĠÑģоедини":123237,"ĠÑģолидаÑĢ":123238,"ĠÑģолнÑĨем":123239,"ĠÑģоÑģÑĤавÑĥ":123240,"ĠÑģÑĢавнив":123241,"ĠÑģÑĢеднÑİÑİ":123242,"ĠÑģÑĤавили":123243,"ĠÑģÑĤÑĢанам":123244,"ĠÑģÑĤÑĢаÑħом":123245,"ĠÑģÑĥлÑĤана":123246,"ĠÑģÑĩиÑĤаем":123247,"ĠÑģÑĭгÑĢали":123248,"ĠÑĤаковой":123249,"ĠÑĤекÑģÑĤом":123250,"ĠÑĤеÑĢпели":123251,"ĠÑĤеÑĢпеÑĤÑĮ":123252,"ĠÑĤипиÑĩно":123253,"ĠÑĤоÑĢгово":123254,"ĠÑĤÑĢамвай":123255,"ĠÑĤÑĢевоги":123256,"ĠÑĤÑĥÑĢизма":123257,"ĠÑĤÑıжеÑģÑĤÑĮ":123258,"ĠÑĥбиваÑĤÑĮ":123259,"ĠÑĥвлеÑĩен":123260,"ĠÑĥлÑĭбкой":123261,"ĠÑĥÑĢовнÑıÑħ":123262,"ĠÑĥÑģкоÑĢен":123263,"ĠÑĥÑģÑĤÑĢанÑı":123264,"ĠÑĥÑĤоÑĩнен":123265,"ĠÑĥÑĩеники":123266,"ĠÑĦакÑĤоÑĢа":123267,"ĠÑĦевÑĢалÑĮ":123268,"ĠÑĦоÑĢмÑĥла":123269,"ĠÑĦоÑĢмÑĥлÑĭ":123270,"ĠÑĦÑĢакÑĨии":123271,"ĠÑĦÑĢанков":123272,"ĠÑĦÑĢонÑĤаÑħ":123273,"ĠÑĦÑĢонÑĤом":123274,"ĠÑħоÑĢоÑĪем":123275,"ĠÑĨвеÑĤами":123276,"ĠÑĩаÑģÑĤоÑĤа":123277,"ĠÑĩемодан":123278,"ĠÑĩиÑģÑĤого":123279,"ĠÑĪиÑĢокиÑħ":123280,"ĠÑĪиÑĢокÑĥÑİ":123281,"ĠÑįпизода":123282,"ĠÑįÑģкадÑĢÑĭ":123283,"ĠÑįÑĦÑĦекÑĤÑĭ":123284,"ĠÑıвилаÑģÑĮ":123285,"ĠÑıвилиÑģÑĮ":123286,"ĠÑıвилоÑģÑĮ":123287,"ÐĶемокÑĢаÑĤ":123288,"ÐĿаканÑĥне":123289,"аÑĤÑĥÑĢовед":123290,"биÑĢаÑĤÑĮÑģÑı":123291,"вооÑĢÑĥжÑijн":123292,"вÑıзÑĭваÑĤÑĮ":123293,"гениалÑĮн":123294,"еÑģпоÑģобн":123295,"иноÑģÑĤÑĢан":123296,"казÑĭваÑĤÑĮ":123297,"казÑĭваÑİÑĤ":123298,"клонение":123299,"колониал":123300,"комплекÑĤ":123301,"кÑĢаÑģавиÑĨ":123302,"лиÑĩноÑģÑĤн":123303,"маÑĢкÑģиÑģÑĤ":123304,"непоÑģÑĢед":123305,"нимаÑĤелÑĮ":123306,"новÑģкого":123307,"опеÑĢаÑĤоÑĢ":123308,"оÑħÑĢанÑıем":123309,"паÑĢадигм":123310,"пиÑģÑĭваеÑĤ":123311,"пиÑģÑĭваÑĤÑĮ":123312,"поминаÑĤÑĮ":123313,"пÑĢавлÑıÑĤÑĮ":123314,"пÑĢавлÑıÑİÑĤ":123315,"пÑĢиемлем":123316,"ÑĢазведÑĭв":123317,"ÑĢегÑĥлиÑĢÑĥ":123318,"ÑĢикоÑģнов":123319,"ÑĢÑĭваеÑĤÑģÑı":123320,"ÑģÑĤандаÑĢÑĤ":123321,"ÑģÑĤÑĢелива":123322,"ÑĤÑĥÑĢеÑĨкой":123323,"ÑĥÑĩаÑģÑĤниÑĨ":123324,"Ñħождении":123325,"ÑħÑĢаниÑĤел":123326,"ÑħÑĢиÑģÑĤиан":123327,"ĠÐIJдминиÑģÑĤ":123328,"ĠÐIJÑĢгенÑĤин":123329,"ĠÐĴенеÑģÑĥÑįл":123330,"ĠÐĴоÑģÑĤоÑĩно":123331,"ĠÐĵеннадий":123332,"ĠÐĵÑĢигоÑĢиÑı":123333,"ĠÐĶвижение":123334,"ĠÐĶейÑģÑĤвие":123335,"ĠÐĺвановна":123336,"ĠÐļиевÑģкой":123337,"ĠÐļÑĥйбÑĭÑĪев":123338,"ĠÐĽÑİдовика":123339,"ĠÐľÐ°ÑĤеÑĢиал":123340,"ĠÐľÑĥÑĢманÑģк":123341,"ĠÐľÑĥÑħаммед":123342,"ĠÐĿаÑĢоднÑĭй":123343,"ĠÐĿекÑĢаÑģов":123344,"ĠÐŀбÑĢаÑĤиÑĤе":123345,"ĠÐŀбÑīеÑģÑĤво":123346,"ĠÐŀÑģновнÑĭм":123347,"ĠÐŁÐ°ÑĤÑĢиаÑĢÑħ":123348,"ĠÐŁÐ¾ÑģÑĤанов":123349,"ĠÐŁÑĢинимал":123350,"ĠÐŁÑĢиÑĪлоÑģÑĮ":123351,"ĠÐŁÑĢогÑĢамм":123352,"ĠÐŁÑģиÑħолог":123353,"ĠÐłÐ°ÑģпÑĥÑĤин":123354,"ĠÐłÑĥзвелÑĮÑĤ":123355,"ĠÐłÑĥÑģÑģкого":123356,"ĠСевеÑĢнÑĭй":123357,"ĠСоловÑĮев":123358,"ĠФÑĢанÑĨией":123359,"ĠШевÑĩенко":123360,"ĠадмиÑĢала":123361,"ĠалкоголÑı":123362,"Ġаналогии":123363,"ĠаÑģпиÑĢанÑĤ":123364,"ĠбезÑĥпÑĢеÑĩ":123365,"ĠбеÑģпомоÑī":123366,"ĠбеÑģпоÑīад":123367,"ĠбогаÑĤÑģÑĤв":123368,"ĠболÑĮниÑĨа":123369,"ĠболÑĮÑĪомÑĥ":123370,"ĠбÑĢоÑģилÑģÑı":123371,"ĠважноÑģÑĤи":123372,"ĠвеликомÑĥ":123373,"ĠвелиÑĩине":123374,"ĠвелиÑĩинÑĥ":123375,"ĠвеÑĢÑĤолÑijÑĤ":123376,"ĠвеÑĢÑĥÑİÑīиÑħ":123377,"ĠвеÑĢÑħнего":123378,"ĠвзÑĢоÑģлÑĭе":123379,"ĠвзÑĢоÑģлÑĭм":123380,"ĠвиновнÑĭм":123381,"ĠводоÑĢоÑģл":123382,"Ġвозложен":123383,"ĠволнениÑı":123384,"ĠвоÑģклиÑĨа":123385,"ĠвÑģÑĤÑĥпили":123386,"ĠвÑĭделÑıÑİÑĤ":123387,"ĠвÑĭÑģокими":123388,"ĠвÑĭÑģÑĤÑĢела":123389,"ĠвÑĭÑģÑĤÑĥпаÑı":123390,"ĠвÑĭÑĤекаеÑĤ":123391,"ĠгаÑĢанÑĤии":123392,"ĠгаÑĢмонии":123393,"ĠгипоÑĤеза":123394,"ĠгипоÑĤезÑĭ":123395,"ĠглÑĥбокие":123396,"Ġголовной":123397,"ĠдвижениÑİ":123398,"ĠдвоÑİÑĢодн":123399,"ĠдевÑĥÑĪкой":123400,"ĠдейÑģÑĤвиÑİ":123401,"ĠдепÑĥÑĤаÑĤа":123402,"ĠдепÑĥÑĤаÑĤÑĭ":123403,"ĠдеÑĢжиÑĤÑģÑı":123404,"ĠдеÑĤалÑĮно":123405,"ĠдиагÑĢамм":123406,"ĠдикÑĤаÑĤоÑĢ":123407,"Ġдневнике":123408,"ĠдовелоÑģÑĮ":123409,"ĠдоволÑĮнÑĭ":123410,"Ġдополнен":123411,"ĠдоÑģÑĤавки":123412,"ĠдоÑģÑĤÑĥпно":123413,"ĠдÑĢагоÑĨен":123414,"ĠдÑĢевнегÑĢ":123415,"ĠдÑĥÑħовное":123416,"ĠжелаÑİÑīиÑħ":123417,"ĠжелезнаÑı":123418,"ĠживоÑĤнÑĭм":123419,"ĠжиÑĤелÑıми":123420,"ĠжÑĥÑĢналаÑħ":123421,"Ġзаведомо":123422,"ĠзагÑĢÑĥзки":123423,"ĠзакÑĢеплÑı":123424,"ĠзакÑĢÑĭÑĤиÑı":123425,"Ġзамедлен":123426,"Ġзанимаем":123427,"ĠзападнÑĭе":123428,"ĠзапиÑģаÑĤÑĮ":123429,"ĠзапÑĥÑģÑĤил":123430,"ĠзаÑĢплаÑĤÑĭ":123431,"ĠзаÑĩиÑģлен":123432,"ĠзнакомÑĭе":123433,"ĠзнакомÑĭм":123434,"ĠиеÑĢаÑĢÑħии":123435,"ĠизвеÑģÑĤие":123436,"Ġиндивида":123437,"ĠинÑĦекÑĨии":123438,"ĠкампаниÑİ":123439,"ĠкампаниÑı":123440,"ĠкаÑĢÑĤинки":123441,"ĠкаÑĦедÑĢой":123442,"ĠкиломеÑĤÑĢ":123443,"ĠкоалиÑĨии":123444,"Ġколлегии":123445,"ĠкомиÑģÑģиÑİ":123446,"ĠкоÑĢолева":123447,"ĠкоÑĢоÑĤкой":123448,"ĠкоÑģвенно":123449,"ĠкÑĢаÑģивÑĭй":123450,"ĠкÑĢейÑģеÑĢа":123451,"ĠлиÑĨензии":123452,"ĠлÑİбовниÑĨ":123453,"ĠмагазинÑĭ":123454,"ĠмагиÑģÑĤÑĢа":123455,"ĠмаÑĢÑĪÑĢÑĥÑĤа":123456,"ĠмаÑģÑĪÑĤаба":123457,"ĠмаÑģÑĪÑĤабе":123458,"ĠмеÑģÑĤнÑĭми":123459,"ĠмикÑĢоÑĦон":123460,"ĠмладÑĪего":123461,"ĠмлекопиÑĤ":123462,"ĠмолекÑĥлÑĭ":123463,"Ġмолодежн":123464,"ĠмолодÑijжи":123465,"ĠмолÑĩание":123466,"ĠмоменÑĤов":123467,"ĠнагÑĢÑĥзка":123468,"ĠнадеÑıлÑģÑı":123469,"Ġназваний":123470,"ĠнаименÑĮÑĪ":123471,"ĠнамеÑĢева":123472,"ĠнапÑĢаÑģно":123473,"ĠнаÑĢоднÑĭе":123474,"ĠнаÑģледие":123475,"ĠнаÑħодиÑĤÑĮ":123476,"ĠнаÑĩинали":123477,"ĠнаÑĩнеÑĤÑģÑı":123478,"ĠнедоÑģÑĤÑĥп":123479,"ĠнеиÑģпÑĢав":123480,"Ġнемногие":123481,"ĠнемÑĭÑģлим":123482,"ĠнеÑĥдаÑĩно":123483,"ĠнÑĭнеÑĪней":123484,"ĠобвинÑıем":123485,"ĠобеÑīание":123486,"ĠобиÑĤаниÑı":123487,"ĠобманÑĭва":123488,"ĠобÑģÑĥдиÑĤÑĮ":123489,"ĠобÑĬÑıвиÑĤÑĮ":123490,"ĠобÑĭваÑĤел":123491,"ĠовладеÑĤÑĮ":123492,"ĠодиноÑĩкÑĥ":123493,"ĠопаÑģениÑı":123494,"ĠопиÑĢаÑıÑģÑĮ":123495,"ĠопиÑģании":123496,"ĠоÑĢкеÑģÑĤÑĢа":123497,"ĠоÑĢнаменÑĤ":123498,"ĠоÑģпаÑĢива":123499,"ĠоÑģÑĤавлÑıÑı":123500,"ĠоÑĤвеÑĩаÑİÑĤ":123501,"ĠоÑĤдаваÑĤÑĮ":123502,"ĠоÑĤкÑĢÑĭвал":123503,"ĠоÑĤкÑĢÑĭÑĤии":123504,"ĠоÑĤмеÑĤила":123505,"ĠоÑĤмеÑĩали":123506,"ĠоÑĤмеÑĩено":123507,"ĠоÑĤÑĢажаÑİÑĤ":123508,"ĠоÑĤÑĢаÑģлей":123509,"ĠоÑĤÑĩаÑıнно":123510,"ĠоÑĤÑĩÑĥжден":123511,"ĠоÑħÑĢанник":123512,"ĠоÑĨенивал":123513,"ĠпавилÑĮон":123514,"ĠпаÑĤÑĢонов":123515,"ĠпеÑĢедали":123516,"ĠпеÑĢеÑĢÑĭва":123517,"ĠпеÑĢеÑģели":123518,"ĠпеÑĤÑĢÑĥÑĪки":123519,"ĠпеÑĩалÑĮно":123520,"ĠпиÑĢамидÑĭ":123521,"ĠповлиÑıÑĤÑĮ":123522,"ĠповоÑĢоÑĤа":123523,"ĠповÑĤоÑĢÑıл":123524,"ĠподалÑĮÑĪе":123525,"ĠподклÑİÑĩа":123526,"ĠподлежиÑĤ":123527,"ĠподобнаÑı":123528,"ĠподÑģÑĥдим":123529,"ĠподÑħодÑıÑĤ":123530,"Ġпоединке":123531,"ĠпозволÑıÑĤ":123532,"ĠпокÑĢÑĭвал":123533,"ĠпокÑĢÑĭÑĤие":123534,"Ġполковод":123535,"Ġполового":123536,"ĠполÑĥÑĩенÑĭ":123537,"ĠполÑĮÑģкий":123538,"ĠполÑĮÑģкиÑħ":123539,"ĠполÑĮÑģкой":123540,"ĠпомеÑĪаÑĤÑĮ":123541,"Ġпомогали":123542,"ĠпоÑĢÑĤÑĢеÑĤÑĭ":123543,"ĠпоÑĢÑıдоÑĩн":123544,"ĠпоÑģеÑĤиÑĤÑĮ":123545,"ĠпоÑģлание":123546,"ĠпоÑģпеÑĪил":123547,"ĠпоÑģÑĤавок":123548,"ĠпоÑģÑĤÑĥпка":123549,"ĠпоÑģÑĤÑĥпок":123550,"ĠпоÑģÑĩиÑĤал":123551,"ĠпÑĢавовой":123552,"ĠпÑĢевÑĢаÑĤи":123553,"ĠпÑĢедлага":123554,"ĠпÑĢибÑĭÑĤиÑı":123555,"ĠпÑĢивÑĭÑĩки":123556,"ĠпÑĢивÑĭÑĩно":123557,"ĠпÑĢидавал":123558,"ĠпÑĢидÑĥман":123559,"ĠпÑĢизнали":123560,"ĠпÑĢизÑĭвал":123561,"ĠпÑĢиказом":123562,"ĠпÑĢинимаÑı":123563,"ĠпÑĢиноÑģÑıÑĤ":123564,"ĠпÑĢинÑıлÑģÑı":123565,"ĠпÑĢиÑģÑĤÑĥпа":123566,"ĠпÑĢиÑĩаÑģÑĤн":123567,"ĠпÑĢовеÑĢен":123568,"ĠпÑĢодавал":123569,"ĠпÑĢоживал":123570,"ĠпÑĢоÑĤÑıнÑĥл":123571,"ĠпÑĢоÑĩеÑģÑĤÑĮ":123572,"ĠпÑĢоÑıвиÑĤÑĮ":123573,"ĠпÑĢоÑıвлен":123574,"ĠпÑĭÑĤаÑĤÑĮÑģÑı":123575,"ĠÑĢабоÑĤами":123576,"ĠÑĢазвалин":123577,"ĠÑĢазведка":123578,"ĠÑĢазведкÑĥ":123579,"ĠÑĢазвлека":123580,"ĠÑĢазделил":123581,"ĠÑĢаÑģкÑĢÑĭÑĤÑĮ":123582,"ĠÑĢаÑģÑģказе":123583,"ĠÑĢаÑģÑĤвоÑĢа":123584,"ĠÑĢеалÑĮнÑĭй":123585,"ĠÑĢождение":123586,"ĠÑĢозÑĭгÑĢÑĭÑĪ":123587,"ĠÑĢÑĥкопиÑģÑĮ":123588,"ĠÑģамолеÑĤе":123589,"ĠÑģбоÑĢника":123590,"ĠÑģвÑıзÑĭвал":123591,"ĠÑģевеÑĢнее":123592,"ĠÑģевеÑĢном":123593,"ĠÑģелÑĮÑģкой":123594,"ĠÑģенÑĤÑıбÑĢÑĮ":123595,"ĠÑģковоÑĢод":123596,"ĠÑģлабоÑģÑĤи":123597,"ĠÑģлÑĥжаÑīиÑħ":123598,"ĠÑģлÑĥÑĩиÑĤÑģÑı":123599,"ĠÑģмеÑĢÑĤной":123600,"ĠÑģмоÑĤÑĢиÑĤе":123601,"ĠÑģобÑĭÑĤием":123602,"ĠÑģовеÑĢÑĪал":123603,"ĠÑģовеÑĢÑĪив":123604,"ĠÑģоздаваÑı":123605,"ĠÑģооÑĢÑĥжен":123606,"ĠÑģÑĤадионе":123607,"ĠÑģÑĤепенÑĮÑİ":123608,"ĠÑģÑĤолеÑĤий":123609,"ĠÑģÑĤÑĢанное":123610,"ĠÑģÑĤÑĢелÑĮбе":123611,"ĠÑģÑĤÑĢелÑıÑĤÑĮ":123612,"ĠÑģÑĤÑĢоиÑĤÑģÑı":123613,"ĠÑĤанковÑĭÑħ":123614,"ĠÑĤвоÑĢениÑı":123615,"ĠÑĤеÑħникой":123616,"ĠÑĤеÑħникÑĥм":123617,"ĠÑĤеÑĩением":123618,"ĠÑĤоÑĩноÑģÑĤÑĮ":123619,"ĠÑĤÑĢагедиÑı":123620,"ĠÑĤÑĢибÑĥнал":123621,"ĠÑĥдалениÑı":123622,"ĠÑĥдеÑĢжива":123623,"ĠÑĥдобÑģÑĤва":123624,"ĠÑĥпоминал":123625,"ĠÑĥпÑĢавлÑıл":123626,"ĠÑĥÑģпеÑĪнÑĭм":123627,"ĠÑĥÑģÑĤÑĢанен":123628,"ĠÑħоккеиÑģÑĤ":123629,"ĠÑħÑĢанение":123630,"ĠÑħÑĢанÑıÑĤÑģÑı":123631,"ĠÑħÑĢомоÑģом":123632,"ĠÑĨеÑĢковÑĮÑİ":123633,"ĠÑĩаÑģÑĤного":123634,"ĠÑĪколÑĮник":123635,"ĠÑįкономии":123636,"ĠÑįлекÑĤÑĢод":123637,"ĠÑįпизодов":123638,"ÐĺнÑĤеÑĢÑĦакÑģ":123639,"ÐľÐ°Ð½ÑĩеÑģÑĤеÑĢ":123640,"ТеÑħниÑĩеÑģк":123641,"ФÑĢанÑĨиÑģко":123642,"белÑĮгийÑģк":123643,"бÑĢазилÑĮÑģк":123644,"внÑĥÑĤÑĢенне":123645,"воÑģÑĤоÑĩнее":123646,"воÑģÑĤоÑĩной":123647,"еловеÑĩеÑģк":123648,"иÑĢованное":123649,"клÑİÑĩаеÑĤÑģÑı":123650,"наÑĩалÑĮник":123651,"оÑģпоÑģобно":123652,"пеÑĤеÑĢбÑĥÑĢг":123653,"плодоÑĤвоÑĢ":123654,"пÑĢовайдеÑĢ":123655,"пÑĥÑģкаÑİÑĤÑģÑı":123656,"ÑĢемеÑģленн":123657,"ÑģемнадÑĨаÑĤ":123658,"ÑģмаÑĤÑĢивал":123659,"ÑģÑĤавление":123660,"ÑģÑĤÑĢаиваÑĤÑĮ":123661,"ÑģÑĤÑĢоилиÑģÑĮ":123662,"ÑģÑĥмаÑģÑĪедÑĪ":123663,"ÑģÑĩиÑĤÑĭваеÑĤ":123664,"ÑĤелÑĮноÑģÑĤи":123665,"ÑĤÑĢанÑģпоÑĢÑĤ":123666,"ÑįнеÑĢгеÑĤик":123667,"ĠÐĴаленÑĤина":123668,"ĠÐĴеÑĢÑħовной":123669,"ĠÐĴоÑĢоÑĪилов":123670,"ĠÐķлизавеÑĤа":123671,"ĠÐĹападного":123672,"ĠÐļÑĢонÑĪÑĤадÑĤ":123673,"ĠÐĿидеÑĢланд":123674,"ĠÐĿижегоÑĢод":123675,"ĠÐŁÐ¾Ð»ÐºÐ¾Ð²Ð½Ð¸Ðº":123676,"ĠÐŁÐ¾ÑĢоÑĪенко":123677,"ĠÐŁÐ¾ÑģледнÑıÑı":123678,"ĠÐŁÑĢогÑĢамма":123679,"ĠСвÑıÑĤоÑģлав":123680,"ĠСконÑĩалÑģÑı":123681,"ĠСледÑĥÑİÑīий":123682,"ĠСÑĤокголÑĮм":123683,"ĠТÑĢÑĥдового":123684,"ĠФеÑĢдинанд":123685,"ĠÐ¥ÑĥдожеÑģÑĤв":123686,"ĠЯковлевиÑĩ":123687,"ĠавÑĤомаÑĪин":123688,"ĠакÑĤивного":123689,"ĠаÑĢгÑĥменÑĤÑĭ":123690,"ĠаÑĢÑħипелаг":123691,"ĠаÑĤаковаÑĤÑĮ":123692,"ĠаÑĤмоÑģÑĦеÑĢа":123693,"ĠаÑįÑĢопоÑĢÑĤÑĥ":123694,"ĠбаÑģкеÑĤбол":123695,"ĠбезопаÑģно":123696,"ĠбÑĥÑĢжÑĥазии":123697,"ĠвеÑĢÑĤолеÑĤа":123698,"ĠвеÑĤеÑĢинаÑĢ":123699,"ĠвзглÑıнÑĥÑĤÑĮ":123700,"ĠвнедÑĢение":123701,"ĠвнедÑĢениÑı":123702,"ĠвнеÑĪноÑģÑĤÑĮ":123703,"Ġвниманием":123704,"ĠвозглавлÑı":123705,"Ġвозможной":123706,"Ġвозобновл":123707,"ĠвоÑģпÑĢинÑıÑĤ":123708,"ĠвоÑģÑĤоÑĩном":123709,"ĠвÑĢажеÑģкиÑħ":123710,"ĠвÑĢеменной":123711,"ĠвÑģÑĤÑĢеÑĤили":123712,"ĠвÑģÑĤÑĢеÑĩаеÑĤ":123713,"ĠвÑĭбÑĢаÑģÑĭва":123714,"ĠвÑĭделение":123715,"ĠвÑĭнÑĥждена":123716,"ĠвÑĭплаÑĩива":123717,"ĠвÑĭполненÑĭ":123718,"ĠвÑĭÑģÑĤÑĥпила":123719,"ĠгенеÑĢалов":123720,"ĠгенеÑĢалом":123721,"ĠглÑĥбокого":123722,"ĠгоÑĢодÑģкие":123723,"ĠгоÑĢодÑģком":123724,"ĠгоÑģпиÑĤалÑĮ":123725,"ĠгоÑģподина":123726,"ĠгоÑĤовиÑĤÑģÑı":123727,"ĠгÑĢажданам":123728,"ĠгÑĢеÑĩеÑģкиÑħ":123729,"ĠдвигаÑĤели":123730,"ĠделегаÑĨии":123731,"ĠдеÑĢжаÑĤÑĮÑģÑı":123732,"Ġдиапазоне":123733,"ĠдоговоÑĢов":123734,"ĠдокÑĥменÑĤе":123735,"ĠдомаÑĪнего":123736,"ĠдоÑģÑĤавиÑĤÑĮ":123737,"ĠдоÑģÑĤигаÑİÑĤ":123738,"ĠженÑīинами":123739,"ĠживоÑĤнÑĭми":123740,"ĠжизненнÑĭÑħ":123741,"Ġзаведений":123742,"Ġзавоевала":123743,"ĠзаплаÑĤиÑĤÑĮ":123744,"ĠзаÑīиÑĤника":123745,"ĠизвеÑģÑĤное":123746,"ĠизлÑĥÑĩение":123747,"ĠизмеÑĢений":123748,"ĠизобÑĢажал":123749,"ĠиндикаÑĤоÑĢ":123750,"ĠиндÑĥÑģÑĤÑĢии":123751,"ĠинженеÑĢно":123752,"ĠиниÑĨиаÑĤоÑĢ":123753,"ĠинÑĦекÑĨион":123754,"ĠиÑģклÑİÑĩено":123755,"ĠиÑģклÑİÑĩиÑĤÑĮ":123756,"ĠиÑģполнÑıеÑĤ":123757,"ĠиÑģполнÑıÑĤÑĮ":123758,"ĠиÑģпÑĢавлен":123759,"ĠиÑģпÑĭÑĤание":123760,"ĠиÑģÑĩеÑĢпÑĭва":123761,"ĠкапиÑĤаном":123762,"ĠкванÑĤовой":123763,"ĠкиломеÑĤÑĢа":123764,"ĠкиÑĪеÑĩника":123765,"Ġколлегами":123766,"ĠколлекÑĨиÑı":123767,"ĠконÑĦликÑĤÑĭ":123768,"ĠкÑĥлÑĮÑĤÑĥÑĢой":123769,"ĠмалейÑĪего":123770,"ĠмалÑĮÑĩиков":123771,"ĠминеÑĢалÑĮн":123772,"ĠмиÑģÑģионеÑĢ":123773,"ĠназÑĭвалÑģÑı":123774,"ĠнаÑģÑĤоÑıÑīем":123775,"ĠнаÑģÑĤÑĢойка":123776,"ĠнаÑĩалÑĮной":123777,"ĠневежеÑģÑĤв":123778,"ĠнеизбежнÑĭ":123779,"ĠнекоÑĤоÑĢом":123780,"ĠнемеÑĨкими":123781,"ĠнепонÑıÑĤнÑĭ":123782,"ĠниÑģколÑĮко":123783,"ĠобÑĢабоÑĤке":123784,"ĠобÑģÑĥждали":123785,"ĠобÑĬекÑĤами":123786,"ĠобÑĬÑıÑģнÑıÑĤÑĮ":123787,"ĠоказÑĭваÑİÑĤ":123788,"ĠоконÑĩание":123789,"ĠопеÑĢаÑĨиÑıÑħ":123790,"ĠоÑģвеÑīение":123791,"ĠоÑģвеÑīениÑı":123792,"ĠоÑģÑĤавлÑıÑĤÑĮ":123793,"ĠоÑģÑĤалÑĮнÑĭм":123794,"ĠоÑĤделении":123795,"ĠоÑĤделÑĮнаÑı":123796,"ĠоÑĤдоÑħнÑĥÑĤÑĮ":123797,"ĠоÑĤкÑĢÑĭваÑĤÑĮ":123798,"ĠоÑĤÑĢажениÑı":123799,"ĠоÑĤÑģÑĤÑĢанен":123800,"ĠоÑĨениваÑĤÑĮ":123801,"ĠоÑĩевиднÑĭм":123802,"ĠпамÑıÑĤники":123803,"ĠпаÑĢÑĤийной":123804,"ĠпаÑĢÑĤийнÑĭÑħ":123805,"ĠпаÑĤÑĢиаÑĢÑħа":123806,"ĠпенÑģионеÑĢ":123807,"ĠпеÑĢеведÑijн":123808,"ĠпеÑĢееÑħала":123809,"ĠпеÑĢеживал":123810,"ĠпеÑĢеклÑİÑĩа":123811,"ĠпеÑĢеÑĢабоÑĤ":123812,"ĠпеÑĢÑģонажи":123813,"ĠпиÑģаÑĤелем":123814,"ĠплаÑģÑĤиков":123815,"ĠплаÑĤÑĦоÑĢме":123816,"ĠплоÑĤноÑģÑĤи":123817,"Ġподводной":123818,"ĠподÑĢобнее":123819,"Ġпозволила":123820,"ĠпозиÑĤивно":123821,"Ġпоклонник":123822,"ĠполиÑĤиков":123823,"ĠполиÑĤикой":123824,"ĠполÑĥÑĩении":123825,"ĠполÑĮзÑĥÑıÑģÑĮ":123826,"ĠпомеÑģÑĤиÑĤÑĮ":123827,"ĠпонимаеÑĪÑĮ":123828,"ĠпониманиÑİ":123829,"ĠпопÑĥлÑıÑĢно":123830,"ĠпоÑĢождаеÑĤ":123831,"ĠпоÑģвÑıÑīенÑĭ":123832,"ĠпоÑģелений":123833,"ĠпоÑģеÑīениÑı":123834,"ĠпоÑģледÑĥÑİÑī":123835,"ĠпоÑģмеÑĢÑĤно":123836,"ĠпоÑģÑĤÑĢоили":123837,"ĠпоÑģÑĤÑĥпаÑİÑĤ":123838,"ĠпоÑģÑĤÑĥпила":123839,"ĠпоÑģÑĤÑĥпили":123840,"ĠпоÑıвлениÑİ":123841,"ĠпÑĢевÑĢаÑĤил":123842,"ĠпÑĢедаÑĤелÑĮ":123843,"ĠпÑĢедпиÑģан":123844,"ĠпÑĢедÑĥпÑĢеж":123845,"ĠпÑĢенебÑĢег":123846,"ĠпÑĢепаÑĢаÑĤа":123847,"ĠпÑĢеÑĤензии":123848,"ĠпÑĢиближен":123849,"ĠпÑĢиведенÑĭ":123850,"ĠпÑĢивеÑĢжен":123851,"ĠпÑĢиводиÑĤÑĮ":123852,"ĠпÑĢидÑĥмаÑĤÑĮ":123853,"ĠпÑĢизналÑģÑı":123854,"ĠпÑĢинимаем":123855,"ĠпÑĢинимала":123856,"ĠпÑĢинÑĥжден":123857,"ĠпÑĢиобÑĢела":123858,"ĠпÑĢиÑģваива":123859,"ĠпÑĢоведенÑĭ":123860,"ĠпÑĢовеÑĢÑıÑĤÑĮ":123861,"ĠпÑĢодолжен":123862,"ĠпÑĢоживаеÑĤ":123863,"ĠпÑĢоживали":123864,"ĠпÑĢозвÑĥÑĩал":123865,"ĠпÑĢокÑĥÑĢоÑĢа":123866,"ĠпÑĢопÑĥÑģÑĤил":123867,"ĠпÑĢоÑģвеÑīен":123868,"ĠпÑĢоÑģмоÑĤÑĢа":123869,"ĠпÑĢоÑĨедÑĥÑĢÑĥ":123870,"ĠÑĢазлиÑĩной":123871,"ĠÑĢазÑĭгÑĢÑĭва":123872,"ĠÑĢегÑĥлÑıÑĤоÑĢ":123873,"ĠÑĢежиÑģÑģеÑĢа":123874,"ĠÑĢеоÑĢганиз":123875,"ĠÑĢепÑĥÑĤаÑĨиÑİ":123876,"ĠÑģвидеÑĤелÑı":123877,"ĠÑģвободнÑĭй":123878,"ĠÑģвÑıзаннÑĭй":123879,"ĠÑģвÑıзÑĭваÑİÑĤ":123880,"ĠÑģемейÑģÑĤво":123881,"ĠÑģеÑĢÑĮезнÑĭй":123882,"ĠÑģиÑģÑĤемами":123883,"ĠÑģиÑĤÑĥаÑĨией":123884,"ĠÑģледÑĥÑİÑīаÑı":123885,"ĠÑģложилаÑģÑĮ":123886,"ĠÑģнабжениÑı":123887,"ĠÑģнижаеÑĤÑģÑı":123888,"ĠÑģовеÑĢÑĪаÑİÑĤ":123889,"ĠÑģовеÑĤника":123890,"ĠÑģовеÑĤÑģком":123891,"ĠÑģовеÑīание":123892,"ĠÑģоединиÑĤÑĮ":123893,"ĠÑģозданнÑĭе":123894,"ĠÑģоздаÑİÑĤÑģÑı":123895,"ĠÑģознанием":123896,"ĠÑģоÑģÑĤоÑıÑīий":123897,"ĠÑģоÑĩеÑĤаниÑı":123898,"ĠÑģоÑĩинение":123899,"ĠÑģпоÑģобнÑĭÑħ":123900,"ĠÑģÑĢажаÑĤÑĮÑģÑı":123901,"ĠÑģÑĤÑĢаÑĤегиÑı":123902,"ĠÑģÑĩиÑĤалиÑģÑĮ":123903,"ĠÑĤоÑĢгового":123904,"ĠÑĤÑĢÑĥдового":123905,"ĠÑĥдивление":123906,"ĠÑĥпоминаеÑĤ":123907,"ĠÑĥÑĢавнениÑı":123908,"ĠÑĥÑģпеÑĪного":123909,"ĠÑĥÑģÑĤановке":123910,"ĠÑĥÑģÑĤановкÑĥ":123911,"ĠÑĥÑĤвеÑĢждÑijн":123912,"ĠÑĦеÑģÑĤивале":123913,"ĠÑĦÑĢагменÑĤÑĭ":123914,"ĠÑħаÑĢакÑĤеÑĢÑĥ":123915,"ĠÑħÑĥдожеÑģÑĤв":123916,"ĠÑĨеÑĢковной":123917,"ĠÑĨеÑĢковнÑĭÑħ":123918,"ĠÑĩеÑĤвеÑĢÑĤÑĭй":123919,"ĠÑĩиновника":123920,"ĠÑĩÑĥвÑģÑĤвÑĥÑİÑĤ":123921,"ĠÑįкономикÑĥ":123922,"ĠÑįлеменÑĤом":123923,"ĠÑıпонÑģкого":123924,"избиÑĢаÑĤелÑĮ":123925,"иÑģпÑĭÑĤаÑĤелÑĮ":123926,"иÑģÑĤиÑĩеÑģкое":123927,"казÑĭвалоÑģÑĮ":123928,"опоÑģÑĤавлен":123929,"пиÑģÑĭваеÑĤÑģÑı":123930,"подÑĤвеÑĢжда":123931,"пÑĢедпÑĢиним":123932,"ÑģекÑģÑĥалÑĮно":123933,"ÑģмаÑĤÑĢиваÑĤÑĮ":123934,"ÑģовеÑĢÑĪенно":123935,"ÑģомниÑĤелÑĮн":123936,"ÑģÑĤвенноÑģÑĤи":123937,"ÑģÑĤвенноÑģÑĤÑĮ":123938,"ĠÐIJлекÑģандÑĢÑĥ":123939,"ĠÐijогоÑĢодиÑĨÑĭ":123940,"ĠÐĴаÑĪингÑĤоне":123941,"ĠÐĴеÑĢнÑĥвÑĪиÑģÑĮ":123942,"ĠÐĴоÑģÑĤоÑĩного":123943,"ĠÐĺнÑĦоÑĢмаÑĨиÑı":123944,"ĠÐļалиÑĦоÑĢнии":123945,"ĠÐŁÑĢименение":123946,"ĠÐłÐ°ÑģÑģÑĤоÑıние":123947,"ĠÐłÐ¾ÑģÑģийÑģкаÑı":123948,"ĠСолжениÑĨÑĭн":123949,"ĠСÑĤавÑĢополÑĮ":123950,"ĠСÑĤепановиÑĩ":123951,"ĠУкÑĢаинÑģкой":123952,"ĠабÑģолÑİÑĤной":123953,"ĠанглийÑģкие":123954,"ĠбеÑģполезно":123955,"ĠбиблиоÑĤекÑĥ":123956,"Ġболезненно":123957,"ĠбÑĢиÑĤанÑģкиÑħ":123958,"ĠвзаимоÑģвÑıз":123959,"ĠвладелÑĮÑĨев":123960,"ĠвнÑĥÑĤÑĢеннÑıÑı":123961,"ĠвозвÑĢаÑīаеÑĤ":123962,"Ġвозможного":123963,"ĠвооÑĢÑĥжений":123964,"ĠвÑĢеменного":123965,"ĠвÑģÑĤÑĢеÑĩалÑģÑı":123966,"ĠвÑĭдаÑİÑīиеÑģÑı":123967,"ĠвÑĭдаÑİÑīиÑħÑģÑı":123968,"ĠвÑĭделÑıÑİÑĤÑģÑı":123969,"ĠвÑĭÑĢажением":123970,"ĠвÑĭÑĩиÑģлениÑı":123971,"ĠдалÑĮнейÑĪиÑħ":123972,"ĠдвигаÑĤелем":123973,"ĠдеÑĢевÑıннÑĭе":123974,"ĠдлиÑĤелÑĮное":123975,"ĠдоказÑĭваеÑĤ":123976,"ĠдоÑģÑĤигнÑĥÑĤÑĭ":123977,"ĠдоÑģÑĤигнÑĥÑĤÑĮ":123978,"ĠжиÑĤелÑĮÑģÑĤва":123979,"ĠжÑĥÑĢналиÑģÑĤÑĭ":123980,"ĠзавеÑĢÑĪение":123981,"ĠзаконÑĩилÑģÑı":123982,"ĠзаÑĢабоÑĤаÑĤÑĮ":123983,"ĠзаÑĢабоÑĤной":123984,"ĠзнамениÑĤой":123985,"ĠзнамениÑĤÑĭÑħ":123986,"ĠзнаÑĩимоÑģÑĤи":123987,"ĠзнаÑĩимоÑģÑĤÑĮ":123988,"ĠизменилаÑģÑĮ":123989,"ĠизменÑıеÑĤÑģÑı":123990,"ĠизобÑĢажаеÑĤ":123991,"ĠиниÑĨиаÑĤивÑĥ":123992,"ĠинÑĤеÑĢеÑģнÑĭй":123993,"ĠинÑĤеÑĢÑĦейÑģа":123994,"ĠиÑģклÑİÑĩение":123995,"ĠиÑģпÑĭÑĤÑĭваÑĤÑĮ":123996,"ĠиÑģÑģледовал":123997,"ĠквадÑĢаÑĤнÑĭÑħ":123998,"ĠкиÑĤайÑģкого":123999,"ĠкоммÑĥнизма":124000,"ĠкомплекÑģов":124001,"ĠкомпоненÑĤа":124002,"ĠконкÑĢеÑĤном":124003,"ĠконкÑĢеÑĤнÑĭм":124004,"ĠлабоÑĢаÑĤоÑĢн":124005,"ĠмаÑģÑĤеÑĢÑģÑĤва":124006,"ĠмаÑĤеÑĢиалом":124007,"ĠмоÑģковÑģкий":124008,"ĠмоÑģковÑģкой":124009,"ĠмÑĥзÑĭканÑĤов":124010,"ĠнабеÑĢежной":124011,"ĠназÑĭваÑĤÑĮÑģÑı":124012,"ĠнападаÑİÑīий":124013,"ĠнаполовинÑĥ":124014,"ĠнапоминаÑİÑĤ":124015,"ĠнапÑĢавилÑģÑı":124016,"ĠнапÑĢавлено":124017,"ĠнаÑĢкоÑĤиков":124018,"ĠнаÑĢÑĥÑĪением":124019,"ĠнаÑģеленнÑĭÑħ":124020,"ĠнаÑģледÑģÑĤво":124021,"ĠнаÑģÑĤоÑıÑĤелÑĮ":124022,"ĠнаÑģÑĩиÑĤÑĭвал":124023,"ĠнаÑħождениÑı":124024,"ĠнаÑĩинаÑİÑĤÑģÑı":124025,"ĠнедоволÑĮнÑĭ":124026,"ĠнезавиÑģимÑĭ":124027,"ĠнекоÑĤоÑĢого":124028,"ĠнепÑĢиÑıÑĤелÑĮ":124029,"ĠнепÑĢиÑıÑĤелÑı":124030,"ĠобÑīепÑĢинÑıÑĤ":124031,"ĠобÑĬединÑıеÑĤ":124032,"ĠобÑĬÑıвление":124033,"Ġознаменова":124034,"ĠопÑĢеделÑıем":124035,"ĠоÑĢиенÑĤиÑĢов":124036,"ĠоÑģнованнÑĭй":124037,"ĠоÑģÑĥÑīеÑģÑĤвил":124038,"ĠоÑĤказалаÑģÑĮ":124039,"ĠоÑĤклонениÑı":124040,"ĠоÑĤмеÑĩалоÑģÑĮ":124041,"ĠоÑĦоÑĢмление":124042,"ĠоÑĦоÑĢмлениÑı":124043,"ĠоÑħваÑĤÑĭваеÑĤ":124044,"ĠоÑħлаждениÑı":124045,"ĠоÑĩеÑĢедного":124046,"ĠпеÑĢвенÑģÑĤва":124047,"ĠпеÑĢвенÑģÑĤве":124048,"ĠпеÑĢеÑħодиÑĤÑĮ":124049,"ĠпобедиÑĤелÑı":124050,"ĠпоблизоÑģÑĤи":124051,"ĠпокÑĥпаÑĤелÑı":124052,"ĠполÑĥÑĩивÑĪий":124053,"ĠпопÑĥлÑıÑĢной":124054,"ĠпопÑĭÑĤалиÑģÑĮ":124055,"ĠпоÑģолÑĮÑģÑĤво":124056,"ĠпоÑģÑĤавлена":124057,"ĠпоÑģÑĤановка":124058,"ĠпоÑģÑĤоÑıннÑĭе":124059,"ĠпоÑģÑĤÑĢадали":124060,"ĠпоÑģÑĤÑĢоение":124061,"ĠпÑĢавилÑĮнÑĭй":124062,"ĠпÑĢавилÑĮнÑĭм":124063,"ĠпÑĢедпоÑĩиÑĤа":124064,"ĠпÑĢедÑģказан":124065,"ĠпÑĢезиденÑĤÑĥ":124066,"ĠпÑĢекÑĢаÑģнÑĭм":124067,"ĠпÑĢивлекаеÑĤ":124068,"ĠпÑĢидеÑĢжива":124069,"ĠпÑĢизнаеÑĤÑģÑı":124070,"ĠпÑĢиÑģоедини":124071,"ĠпÑĢиÑģоединÑı":124072,"ĠпÑĢиÑģÑĤалÑĮно":124073,"ĠпÑĢиÑģÑĤÑĢаÑģÑĤи":124074,"ĠпÑĢиÑģÑĤÑĥпиÑĤÑĮ":124075,"ĠпÑĢовинÑĨиал":124076,"ĠпÑĢогÑĢаммой":124077,"ĠпÑĢоживаниÑı":124078,"ĠпÑĢоизноÑģиÑĤ":124079,"ĠпÑĢоÑĤивникÑĥ":124080,"ĠпÑĥбликаÑĨий":124081,"ĠпÑĥбликаÑĨиÑı":124082,"ĠÑĢавновеÑģие":124083,"ĠÑĢадикалÑĮно":124084,"ĠÑĢазвеÑĢÑĤÑĭва":124085,"ĠÑĢазговоÑĢов":124086,"ĠÑĢазлиÑĩного":124087,"ĠÑĢаÑģÑģлаблен":124088,"ĠÑĢедакÑĤоÑĢом":124089,"ĠÑĢеÑģпÑĥблике":124090,"ĠÑģвидеÑĤелем":124091,"ĠÑģекÑĢеÑĤаÑĢем":124092,"ĠÑģкÑĥлÑĮпÑĤÑĥÑĢÑĭ":124093,"ĠÑģлÑĥÑĪаÑĤелей":124094,"ĠÑģовеÑĢÑĪении":124095,"ĠÑģодеÑĢжаÑĤÑģÑı":124096,"ĠÑģодеÑĢжаÑīие":124097,"ĠÑģодеÑĢжимое":124098,"ĠÑģоÑģÑĤавлÑıÑĤÑĮ":124099,"ĠÑģоÑĨиалÑĮнаÑı":124100,"ĠÑģоÑĨиалÑĮнÑĥÑİ":124101,"ĠÑģоÑĨиалÑĮнÑĭй":124102,"ĠÑģÑĤаÑĤиÑģÑĤики":124103,"ĠÑģÑĤоимоÑģÑĤÑĮÑİ":124104,"ĠÑģÑĤолкнÑĥлÑģÑı":124105,"ĠÑģÑĤоÑĢонники":124106,"ĠÑģÑĤÑĢемиÑĤÑĮÑģÑı":124107,"ĠÑģÑĦоÑĢмиÑĢова":124108,"ĠÑĤелеканала":124109,"ĠÑĤÑĢанзиÑģÑĤоÑĢ":124110,"ĠÑĤÑĢоллейбÑĥÑģ":124111,"ĠÑĤÑĢÑĥдноÑģÑĤей":124112,"ĠÑĥменÑĮÑĪение":124113,"ĠÑĥменÑĮÑĪениÑı":124114,"ĠÑĥпоминаниÑı":124115,"ĠÑĥпоÑĢÑıдоÑĩен":124116,"ĠÑĥÑģÑĤÑĢаиваеÑĤ":124117,"ĠÑĥÑģÑĤÑĢойÑģÑĤве":124118,"ĠÑĥÑĤвеÑĢждали":124119,"ĠÑĥÑĩаÑģÑĤникам":124120,"ĠÑĦизиÑĩеÑģкое":124121,"ĠÑĦоÑĤогÑĢаÑĦий":124122,"ĠÑĦÑĥÑĤболÑĮнÑĭй":124123,"ĠÑħаÑĢакÑĤеÑĢом":124124,"ĠÑħимиÑĩеÑģкой":124125,"ĠÑħÑĢониÑĩеÑģки":124126,"ĠÑĩÑĥвÑģÑĤвенно":124127,"ĠÑįкÑģпеÑĢÑĤизÑĭ":124128,"ĠÑįнеÑĢгеÑĤики":124129,"еÑģÑĤвенников":124130,"иÑģÑĤиÑĩеÑģкого":124131,"иÑĦиÑĨиÑĢоваÑĤÑĮ":124132,"кладÑĭваеÑĤÑģÑı":124133,"кладÑĭваÑİÑĤÑģÑı":124134,"конÑĦеÑĢенÑĨии":124135,"ÑĤеÑħниÑĩеÑģкое":124136,"ÑĤÑĢениÑĢовоÑĩн":124137,"ÑĦелÑĮдмаÑĢÑĪал":124138,"ĠÐIJлекÑģандÑĢом":124139,"ĠÐIJÑĦганиÑģÑĤане":124140,"ĠÐijалÑĤийÑģкого":124141,"ĠÐĴозÑĢождениÑı":124142,"ĠÐĶоÑģÑĤоевÑģкий":124143,"ĠÐĺÑģÑĤоÑĢиÑĩеÑģки":124144,"ĠÐļалинингÑĢад":124145,"ĠÐľÐ°Ð½Ð´ÐµÐ»ÑĮÑĪÑĤам":124146,"ĠÐĿидеÑĢландов":124147,"ĠÐŁÑĢедÑģÑĤавÑĮÑĤе":124148,"ĠСеваÑģÑĤополÑĮ":124149,"ĠСовÑĢеменнÑĭе":124150,"ĠТаджикиÑģÑĤан":124151,"ĠЦенÑĤÑĢалÑĮнÑĭй":124152,"ĠавиаÑĨионнÑĭй":124153,"ĠвозбÑĥждениÑı":124154,"ĠвозглавлÑıем":124155,"ĠвообÑĢажениÑı":124156,"ĠвоÑģпиÑĤаÑĤелÑĮ":124157,"ĠвоÑģÑģÑĤановил":124158,"ĠвоÑģÑĤÑĢебован":124159,"ĠвÑģÑĤÑĢеÑĩаÑĤÑĮÑģÑı":124160,"ĠгеÑĢманÑģкого":124161,"ĠгÑĢÑĥппиÑĢовка":124162,"ĠдейÑģÑĤвÑĥÑİÑīим":124163,"ĠдинамиÑĩеÑģки":124164,"ĠдобÑĢодеÑĤелÑĮ":124165,"ĠдолжноÑģÑĤнÑĭÑħ":124166,"ĠдоÑģÑĤаÑĤоÑĩной":124167,"ĠдÑĢевнеÑĢÑĥÑģÑģк":124168,"ĠевÑĢопейÑģкие":124169,"ĠзамеÑĩаÑĤелÑĮн":124170,"ĠзаÑģлÑĥживаеÑĤ":124171,"ĠизобÑĢеÑĤение":124172,"ĠизобÑĢеÑĤениÑı":124173,"ĠимпеÑĢаÑĤÑĢиÑĨÑĭ":124174,"ĠиноÑģÑĤÑĢаннÑĭе":124175,"ĠиÑģполнилоÑģÑĮ":124176,"ĠиÑĤалÑĮÑıнÑģкой":124177,"ĠкомпенÑģаÑĨии":124178,"ĠкомпозиÑĤоÑĢа":124179,"ĠкомпÑĮÑİÑĤеÑĢов":124180,"ĠконкÑĥÑĢенÑĤов":124181,"ĠконÑģÑĤÑĢÑĥкÑĨиÑİ":124182,"ĠкоÑĢолевÑģкой":124183,"ĠкÑĢовоÑĤеÑĩени":124184,"ĠлиÑĤеÑĢаÑĤÑĥÑĢно":124185,"ĠмодиÑĦикаÑĨии":124186,"ĠнаÑħодÑıÑīиеÑģÑı":124187,"ĠневозможнÑĭм":124188,"ĠнедоÑģÑĤаÑĤков":124189,"ĠнезавиÑģимÑĭÑħ":124190,"ĠнеобÑħодимÑĥÑİ":124191,"ĠнеобÑħодимÑĭй":124192,"ĠновоÑĢожденн":124193,"ĠноÑĢмалÑĮного":124194,"ĠобÑĢазований":124195,"ĠобÑıзаÑĤелÑĮнÑĭ":124196,"ĠопеÑĢаÑĤивной":124197,"ĠоппозиÑĨионн":124198,"ĠоÑĢганиÑĩеÑģки":124199,"ĠоÑģноваÑĤелей":124200,"ĠоÑĤождеÑģÑĤвлÑı":124201,"ĠпеÑĢеговоÑĢаÑħ":124202,"ĠподдеÑĢживаÑİ":124203,"ĠподклÑİÑĩениÑı":124204,"ĠподозÑĢеваем":124205,"ĠподÑĤвеÑĢдили":124206,"ĠпокÑĢовиÑĤелÑĮ":124207,"ĠпокÑĥпаÑĤелей":124208,"ĠполиÑĨейÑģкие":124209,"ĠполÑĥоÑģÑĤÑĢове":124210,"ĠполÑĮзованиÑı":124211,"ĠпонÑĢавилоÑģÑĮ":124212,"ĠпоÑģледÑĥÑİÑīим":124213,"ĠпоÑģовеÑĤовал":124214,"ĠпоÑģÑĤÑĥплениÑı":124215,"ĠпоÑĤÑĢебление":124216,"ĠпÑĢевоÑģÑħодиÑĤ":124217,"ĠпÑĢевÑĢаÑīениÑı":124218,"ĠпÑĢедположил":124219,"ĠпÑĢедпоÑĩиÑĤал":124220,"ĠпÑĢедÑģказÑĭва":124221,"ĠпÑĢепÑıÑĤÑģÑĤвие":124222,"ĠпÑĢеÑģÑĤÑĥпника":124223,"ĠпÑĢивлеÑĩениÑı":124224,"ĠпÑĢигоÑĤовиÑĤÑĮ":124225,"ĠпÑĢиклÑİÑĩениÑı":124226,"ĠпÑĢиÑģоединен":124227,"ĠпÑĢодвижениÑı":124228,"ĠпÑĢокÑĥÑĢаÑĤÑĥÑĢÑĭ":124229,"ĠпÑĢоÑģÑĤÑĢанÑģÑĤв":124230,"ĠÑĢаздÑĢажение":124231,"ĠÑĢазÑĢабоÑĤаÑĤÑĮ":124232,"ĠÑĢеалÑĮноÑģÑĤÑĮÑİ":124233,"ĠÑĢелигиознÑĭм":124234,"ĠÑģобеÑģедника":124235,"ĠÑģовÑĢеменнаÑı":124236,"ĠÑģовÑĢеменное":124237,"ĠÑģоглаÑģилиÑģÑĮ":124238,"ĠÑģопоÑģÑĤавлен":124239,"ĠÑģоÑĤÑĢÑĥдником":124240,"ĠÑģоÑħÑĢанилаÑģÑĮ":124241,"ĠÑģпеÑĨиалÑĮнÑĭм":124242,"ĠÑģпокойÑģÑĤвие":124243,"ĠÑģпÑĢаведливÑĭ":124244,"ĠÑģÑĤановилаÑģÑĮ":124245,"ĠÑģÑĤÑĢаÑħованиÑı":124246,"ĠÑĤвоÑĢÑĩеÑģкого":124247,"ĠÑĤемпеÑĢаменÑĤ":124248,"ĠÑĤеÑĢÑĢиÑĤоÑĢиÑıÑħ":124249,"ĠÑĤеÑĢÑĢоÑĢиÑģÑĤов":124250,"ĠÑĤÑĭÑģÑıÑĩелеÑĤиÑı":124251,"ĠÑĥпоÑĤÑĢеблÑıÑĤÑĮ":124252,"ĠÑĥÑĩÑĢеждениÑıÑħ":124253,"ĠÑĦедеÑĢалÑĮнÑĭм":124254,"ĠÑĦедеÑĢалÑĮнÑĭÑħ":124255,"ĠÑħаÑĢакÑĤеÑĢнÑĭе":124256,"ĠÑĨивилизаÑĨиÑı":124257,"ĠÑĩемпионаÑĤов":124258,"ĠÑįÑģÑĤеÑĤиÑĩеÑģки":124259,"ĠÑįÑĦÑĦекÑĤивнÑĭм":124260,"гÑĢавиÑĤаÑĨионн":124261,"пÑĢоÑģвеÑĤиÑĤелÑĮ":124262,"ÑĤеÑħниÑĩеÑģкого":124263,"ĠÐķдинÑģÑĤвенное":124264,"ĠУнивеÑĢÑģиÑĤеÑĤа":124265,"Ġавиакомпании":124266,"ĠаÑĢÑħиÑĤекÑĤÑĥÑĢно":124267,"ĠбеÑģпокойÑģÑĤво":124268,"ĠвоÑģпÑĢинимаÑİÑĤ":124269,"ĠгаÑĢанÑĤиÑĢован":124270,"ĠгваÑĢдейÑģкого":124271,"ĠдоговоÑĢилиÑģÑĮ":124272,"ĠевÑĢопейÑģкого":124273,"ĠеÑģÑĤеÑģÑĤвенной":124274,"ĠизгоÑĤовление":124275,"ĠиздаÑĤелÑĮÑģÑĤва":124276,"ĠизобÑĢеÑĤаÑĤелÑĮ":124277,"ĠиÑģполÑĮзÑĥемÑĭÑħ":124278,"ĠиÑģÑĤоÑĢиÑĩеÑģким":124279,"ĠкомменÑĤаÑĢиÑıÑħ":124280,"ĠкоммеÑĢÑĩеÑģкиÑħ":124281,"ĠконÑĦигÑĥÑĢаÑĨии":124282,"ĠкÑĢеÑģÑĤÑĮÑıнÑģкиÑħ":124283,"ĠлиÑĤеÑĢаÑĤÑĥÑĢнÑĭй":124284,"ĠнаÑĨионалÑĮнÑĥÑİ":124285,"ĠнедвижимоÑģÑĤи":124286,"ĠнеобÑħодимого":124287,"ĠобеÑģпеÑĩиваÑĤÑĮ":124288,"ĠобнаÑĢÑĥживаÑİÑĤ":124289,"ĠобÑīеÑģÑĤвенном":124290,"ĠобÑıзаÑĤелÑĮнÑĭм":124291,"ĠопÑĥбликована":124292,"ĠопÑĥбликованÑĭ":124293,"ĠоÑģвобождении":124294,"ĠоÑģÑĤановилиÑģÑĮ":124295,"ĠоÑĤÑģÑĥÑĤÑģÑĤвовал":124296,"ĠпеÑĢедвижениÑı":124297,"ĠповеÑĢÑħноÑģÑĤно":124298,"ĠповеÑĢÑħноÑģÑĤÑĮÑİ":124299,"ĠподозÑĢиÑĤелÑĮн":124300,"ĠполиÑĤиÑĩеÑģком":124301,"ĠпопÑĥлÑıÑĢноÑģÑĤи":124302,"ĠпоÑĢазиÑĤелÑĮно":124303,"ĠпоÑģÑĤÑĢадавÑĪиÑħ":124304,"ĠпÑĢевÑĢаÑĤилаÑģÑĮ":124305,"ĠпÑĢедлагаеÑĤÑģÑı":124306,"ĠпÑĢедложением":124307,"ĠпÑĢедпоÑĩиÑĤаÑİÑĤ":124308,"ĠпÑĢедпоÑĩÑĤение":124309,"ĠпÑĢедпÑĢиÑıÑĤиÑıÑħ":124310,"ĠпÑĢинадлежала":124311,"ĠпÑĢинадлежали":124312,"ĠпÑĢиобÑĢеÑĤение":124313,"ĠпÑĢиобÑĢеÑĤениÑı":124314,"ĠпÑĢовозглаÑģил":124315,"ĠпÑĢодолжалаÑģÑĮ":124316,"ĠпÑĢодолжалоÑģÑĮ":124317,"ĠпÑĢоиÑģÑħодÑıÑīее":124318,"ĠпÑĢолеÑĤаÑĢиаÑĤа":124319,"ĠпÑĢопагандиÑģÑĤ":124320,"ĠпÑĢоÑĤивоÑĢеÑĩие":124321,"ĠÑĢазговаÑĢивал":124322,"ĠÑĢазÑĢабаÑĤÑĭвал":124323,"ĠÑĢаÑģполагалÑģÑı":124324,"ĠÑĢаÑģпоÑĢÑıжениÑı":124325,"ĠÑĢаÑģÑģказÑĭвали":124326,"ĠÑĢаÑģÑģказÑĭваÑİÑĤ":124327,"ĠÑĢаÑģÑģмоÑĤÑĢении":124328,"ĠÑĢегионалÑĮнÑĭÑħ":124329,"ĠÑĢекомендовал":124330,"ĠÑĢелигиозного":124331,"ĠÑģкладÑĭваеÑĤÑģÑı":124332,"ĠÑģовеÑĢÑĪенÑģÑĤва":124333,"ĠÑģоÑģÑĤавлÑıÑİÑīиÑħ":124334,"ĠÑģÑĤÑĢоиÑĤелÑĮнÑĭÑħ":124335,"ĠÑģÑĥÑīеÑģÑĤвÑĥÑİÑīие":124336,"ĠÑģÑĦоÑĢмиÑĢоваÑĤÑĮ":124337,"ĠÑĤÑĢадиÑĨионнÑĭе":124338,"ĠÑĤÑĢебованиÑıми":124339,"ĠÑĥÑģÑĤойÑĩивоÑģÑĤÑĮ":124340,"ĠÑĩеловеÑĩеÑģком":124341,"ĠÑİÑĢидиÑĩеÑģкого":124342,"ÐŁÐµÑĤеÑĢбÑĥÑĢгÑģкой":124343,"изобÑĢазиÑĤелÑĮн":124344,"ĠÐŁÑĢедÑģÑĤавиÑĤели":124345,"ĠСÑĤÑĢоиÑĤелÑĮÑģÑĤво":124346,"ĠаÑĢÑħеологиÑĩеÑģк":124347,"ĠбиологиÑĩеÑģкиÑħ":124348,"ĠвмеÑĪаÑĤелÑĮÑģÑĤво":124349,"ĠвозможноÑģÑĤÑıми":124350,"ĠвоÑģпоминаниÑıм":124351,"ĠдÑĢевнегÑĢеÑĩеÑģк":124352,"ĠединÑģÑĤвенного":124353,"ĠзаинÑĤеÑĢеÑģовал":124354,"ĠиÑģÑģледованиÑıÑħ":124355,"ĠконÑģеÑĢваÑĤоÑĢии":124356,"ĠкÑĢаÑĤковÑĢеменн":124357,"ĠлиÑĤеÑĢаÑĤÑĥÑĢовед":124358,"ĠмаÑĤемаÑĤиÑĩеÑģки":124359,"ĠмаÑĤеÑĢиалÑĮного":124360,"ĠмеждÑĥнаÑĢоднÑĭе":124361,"ĠмеÑħанизиÑĢован":124362,"ĠмлекопиÑĤаÑİÑīиÑħ":124363,"ĠоÑĢганизаÑĤоÑĢов":124364,"ĠоÑģобенноÑģÑĤÑıми":124365,"ĠпланиÑĢовалоÑģÑĮ":124366,"ĠповеÑģÑĤвованиÑı":124367,"ĠподÑĤвеÑĢждениÑı":124368,"ĠположиÑĤелÑĮнÑĭе":124369,"ĠпоÑĩÑĥвÑģÑĤвоваÑĤÑĮ":124370,"ĠпÑĢевоÑģÑħодÑģÑĤво":124371,"ĠпÑĢедÑĥÑģмоÑĤÑĢено":124372,"ĠпÑĢоизводÑģÑĤвом":124373,"ĠпÑĢоиÑģÑħождении":124374,"ĠпÑĢомÑĭÑĪленного":124375,"ĠпÑĢоÑĤиводейÑģÑĤв":124376,"ĠÑĢазговаÑĢиваÑĤÑĮ":124377,"ĠÑĢаÑģполагалиÑģÑĮ":124378,"ĠÑĢаÑģполагаÑİÑĤÑģÑı":124379,"ĠÑĢаÑģÑĦоÑĢмиÑĢован":124380,"ĠÑĢеволÑİÑĨионной":124381,"ĠÑĢодÑģÑĤвенникам":124382,"ĠÑģÑĤÑĢоиÑĤелÑĮÑģÑĤвÑĥ":124383,"ĠÑģÑĦоÑĢмÑĥлиÑĢован":124384,"ĠÑĤÑĢанÑģпоÑĢÑĤного":124385,"ĠÑĥдовлеÑĤвоÑĢиÑĤÑĮ":124386,"ĠÑĥÑģÑĤанавливаеÑĤ":124387,"ĠÑĥÑģÑĤановленном":124388,"ĠÑħозÑıйÑģÑĤвенной":124389,"ĠÑĩÑĥвÑģÑĤвиÑĤелÑĮнÑĭ":124390,"ĠÑįкономиÑĩеÑģким":124391,"ĠÑįлекÑĤÑĢомагниÑĤ":124392,"ÐŁÐµÑĤеÑĢбÑĥÑĢгÑģкого":124393,"маÑĤемаÑĤиÑĩеÑģкиÑħ":124394,"ĠÐļонÑģÑĤанÑĤиновиÑĩ":124395,"ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢадÑģкого":124396,"ĠвоÑģпÑĢинимаеÑĤÑģÑı":124397,"ĠдополниÑĤелÑĮнÑĭй":124398,"ĠжизнедеÑıÑĤелÑĮно":124399,"ĠиндивидÑĥалÑĮнÑĭÑħ":124400,"ĠиÑģкÑĥÑģÑģÑĤвенного":124401,"ĠиÑģполÑĮзовалаÑģÑĮ":124402,"ĠквалиÑĦиÑĨиÑĢован":124403,"ĠнаÑĨионалÑĮноÑģÑĤи":124404,"ĠпÑĢедоÑģÑĤавлениÑı":124405,"ĠпÑĢедполагаеÑĤÑģÑı":124406,"ĠпÑĢедÑĥпÑĢеждение":124407,"ĠпÑĢивлекаÑĤелÑĮно":124408,"ĠпÑĢодоволÑĮÑģÑĤвиÑı":124409,"ĠпÑĢоекÑĤиÑĢованиÑı":124410,"ĠÑĢабоÑĤоÑģпоÑģобно":124411,"ĠÑĢазбиÑĢаÑĤелÑĮÑģÑĤв":124412,"ĠÑĢеволÑİÑĨионного":124413,"ĠÑģиÑģÑĤемаÑĤиÑĩеÑģки":124414,"ĠÑģпоÑģобÑģÑĤвовало":124415,"ĠÑĦизиологиÑĩеÑģки":124416,"ĠÑĦинанÑģиÑĢование":124417,"демонÑģÑĤÑĢиÑĢоваÑĤÑĮ":124418,"ĠÐļонÑģÑĤанÑĤинополÑĮ":124419,"ĠвзаимооÑĤноÑĪений":124420,"ĠвÑĭÑģокопоÑģÑĤавлен":124421,"ĠгоÑģÑĥдаÑĢÑģÑĤвеннаÑı":124422,"ĠдополниÑĤелÑĮного":124423,"ĠиндивидÑĥалÑĮного":124424,"ĠмногоÑĩиÑģленнÑĭми":124425,"ĠпÑĢодоволÑĮÑģÑĤвенн":124426,"ĠпÑĢоизводÑģÑĤвенно":124427,"ĠпÑĢоÑĤивопоÑģÑĤавле":124428,"ĠпÑĢоÑĤивопоÑģÑĤавлÑı":124429,"ĠпÑģиÑħологиÑĩеÑģкой":124430,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīее":124431,"ĠÑģооÑĤеÑĩеÑģÑĤвенник":124432,"админиÑģÑĤÑĢаÑĤивнÑĭÑħ":124433,"бомбаÑĢдиÑĢовÑīиков":124434,"дейÑģÑĤвиÑĤелÑĮноÑģÑĤÑĮ":124435,"инÑĤеллекÑĤÑĥалÑĮной":124436,"коммÑĥниÑģÑĤиÑĩеÑģкой":124437,"обÑīеобÑĢазоваÑĤелÑĮ":124438,"пÑĢедпÑĢинимаÑĤелей":124439,"ÑĢодолжиÑĤелÑĮноÑģÑĤÑĮ":124440,"ÑĩÑĥвÑģÑĤвиÑĤелÑĮноÑģÑĤÑĮ":124441,"ÐIJШ":124442,"ÐIJз":124443,"ÐijÐķ":124444,"ÐijÐĺ":124445,"ÐijÐĽ":124446,"Ðijл":124447,"ÐĴУ":124448,"ÐĵÐļ":124449,"ÐĺÐŁ":124450,"ÐĽÐ£":124451,"ÐĽÐ®":124452,"ÐĿÐĶ":124453,"ÐŀÐķ":124454,"ÐŁÐĵ":124455,"ÐŁÐĶ":124456,"ÐŁÐ¦":124457,"ÐłÐŁ":124458,"ÐłÐ¢":124459,"Сб":124460,"УÐļ":124461,"УС":124462,"ФÐŀ":124463,"ФС":124464,"Фа":124465,"Ð¥Ðŀ":124466,"ЦÐIJ":124467,"ЧÐIJ":124468,"ЧÐĺ":124469,"ÐŃÐļ":124470,"ÐŃн":124471,"ÐŃÑĢ":124472,"Юг":124473,"бк":124474,"вн":124475,"вÑĮ":124476,"жм":124477,"зк":124478,"кг":124479,"кн":124480,"лд":124481,"лÑĤ":124482,"лÑį":124483,"ÑĪл":124484,"ÑĮк":124485,"Ñįг":124486,"Ñıб":124487,"bun":124488,"pho":124489,"pul":124490,"rav":124491,"tak":124492,"tiv":124493,"tun":124494,"voc":124495,"Ġ(«":124496,"ĠÐIJÑĪ":124497,"ĠÐijÐĶ":124498,"ĠÐķж":124499,"ĠÐķÑĦ":124500,"ĠÐĺб":124501,"ĠÐĺг":124502,"ĠÐĻе":124503,"ĠÐĽÑij":124504,"ĠÐŀз":124505,"ĠÐŁÐ»":124506,"ĠÐłÑį":124507,"ĠСÐĶ":124508,"ĠСÑħ":124509,"ĠСÑİ":124510,"ĠУÐķ":124511,"ĠЦÐij":124512,"ĠШм":124513,"Ġдз":124514,"ĠмÑį":124515,"ĠÑħÑĢ":124516,"ĠÑįл":124517,"ĠÑİм":124518,"ÐIJви":124519,"ÐijеÑģ":124520,"ÐĴÑģп":124521,"ÐĵÐłÐIJ":124522,"Ðĵал":124523,"ÐĵаÑĢ":124524,"ÐĶев":124525,"ÐĺÐļÐIJ":124526,"Ðļал":124527,"Ðļан":124528,"ÐļаÑĤ":124529,"ÐļÑĥб":124530,"ÐĽÐĺÐĿ":124531,"ÐĽÐµÐ³":124532,"ÐĽÐµÐ½":124533,"ÐľÐķÐł":124534,"ÐľÐ°Ñģ":124535,"ÐľÐµÐ¼":124536,"ÐľÐµÑĤ":124537,"ÐľÐ¾Ñģ":124538,"ÐĿÐŀÐĻ":124539,"ÐŀÐĴÐIJ":124540,"ÐŀÐłÐŀ":124541,"ÐŀгÑĢ":124542,"Ðŀке":124543,"Ðŀни":124544,"ÐŀÑĤе":124545,"ÐŁÐĽÐIJ":124546,"ÐłÐķÐĶ":124547,"Сал":124548,"Сол":124549,"Тол":124550,"ТÑĢе":124551,"ХаÑĢ":124552,"ЦÐĺЯ":124553,"аго":124554,"айÑĦ":124555,"акл":124556,"аÑħÑĤ":124557,"аÑĩк":124558,"аÑĪн":124559,"аÑįл":124560,"биÑī":124561,"блÑĮ":124562,"бÑĥÑĪ":124563,"вож":124564,"вÑĪи":124565,"вÑĭÑĢ":124566,"вÑıÑĤ":124567,"гаÑĪ":124568,"гÑĥд":124569,"деб":124570,"дек":124571,"диÑĦ":124572,"днÑı":124573,"дÑĢÑİ":124574,"дÑĨе":124575,"дÑĭÑĢ":124576,"дÑĮÑı":124577,"ежа":124578,"езо":124579,"езÑĥ":124580,"ейÑģ":124581,"ейÑħ":124582,"екл":124583,"еод":124584,"епи":124585,"епÑĭ":124586,"еÑĪн":124587,"еÑĪÑĤ":124588,"жиг":124589,"жоÑĢ":124590,"заÑĨ":124591,"здÑĢ":124592,"зев":124593,"зид":124594,"зиÑģ":124595,"зиÑİ":124596,"зÑijÑĢ":124597,"иад":124598,"ивÑĭ":124599,"идÑĤ":124600,"иÑĤо":124601,"иÑĤÑı":124602,"иÑĨо":124603,"иÑıм":124604,"йди":124605,"лиÑĦ":124606,"лиÑī":124607,"лÑİв":124608,"лÑıм":124609,"лÑıÑģ":124610,"лÑijг":124611,"лÑijз":124612,"меи":124613,"моз":124614,"мом":124615,"мÑĭв":124616,"наб":124617,"нге":124618,"ндÑĭ":124619,"нÑĭÑĢ":124620,"нÑijв":124621,"нÑijÑĤ":124622,"ожж":124623,"озе":124624,"озк":124625,"оÑĢÑģ":124626,"оÑıл":124627,"оÑıн":124628,"паÑĩ":124629,"пли":124630,"ппи":124631,"пÑģи":124632,"ÑĢве":124633,"ÑĢеÑĦ":124634,"ÑĢжи":124635,"ÑĢмо":124636,"ÑĢол":124637,"ÑĢÑİк":124638,"ÑĢÑijв":124639,"ÑģÑĭн":124640,"ÑĤап":124641,"ÑĤÑĭм":124642,"ÑĥаÑĢ":124643,"Ñĥде":124644,"ÑĥÑģи":124645,"ÑĥÑįй":124646,"ÑĦаз":124647,"ÑĦаÑģ":124648,"ÑĦеÑı":124649,"ÑĦÑĥÑĤ":124650,"ÑĦÑĦа":124651,"ÑĦÑĦи":124652,"ÑĨзÑĭ":124653,"ÑĨиг":124654,"ÑĨио":124655,"ÑĨÑĨо":124656,"ÑĩжÑĥ":124657,"ÑĩÑĥд":124658,"ÑĩÑĮи":124659,"ÑĩÑĮÑı":124660,"ÑĩÑijл":124661,"ÑĪаг":124662,"ÑĪад":124663,"ÑĪай":124664,"ÑĪам":124665,"ÑĪно":124666,"ÑĪнÑı":124667,"ÑĪÑĥÑĢ":124668,"Ñĭка":124669,"ÑĭÑģÑĪ":124670,"ÑĭÑĤÑĥ":124671,"ÑĮен":124672,"ÑĮÑıÑĢ":124673,"Ñįма":124674,"ÑįнÑģ":124675,"Ñıжн":124676,"Ñıма":124677,"ÑıÑīн":124678,"ÑıÑİÑī":124679,"Ġ(!)":124680,"ĠGla":124681,"ĠLea":124682,"ĠPho":124683,"ĠTha":124684,"ĠWhi":124685,"eigh":124686,"hara":124687,"lank":124688,"nate":124689,"pple":124690,"ract":124691,"rill":124692,"slav":124693,"tine":124694,"trix":124695,"trus":124696,"ĠÐIJÐŃС":124697,"ĠÐIJбÑħ":124698,"ĠÐijил":124699,"ĠÐijÑĢо":124700,"ĠÐijÑĥг":124701,"ĠÐijÑĭв":124702,"ĠÐĴаг":124703,"ĠÐĴаÑĤ":124704,"ĠÐĴеÑĤ":124705,"ĠÐĴиз":124706,"ĠÐĴÑĥд":124707,"ĠÐĵег":124708,"ĠÐĵÑĢÑį":124709,"ĠÐĵÑĥл":124710,"ĠÐĵÑĥн":124711,"ĠÐĶÐĿÐł":124712,"ĠÐĶам":124713,"ĠÐĶвÑĥ":124714,"ĠÐĶиÑĢ":124715,"ĠÐĹам":124716,"ĠÐĹел":124717,"ĠÐĹин":124718,"ĠÐĹон":124719,"ĠÐĺÑģк":124720,"ĠÐļил":124721,"ĠÐļÑĥм":124722,"ĠÐļÑĥÑģ":124723,"ĠÐļÑĥÑĩ":124724,"ĠÐĽÐ°Ðº":124725,"ĠÐĽÐµÐ¼":124726,"ĠÐĽÐ¸Ðº":124727,"ĠÐĽÐ¾Ð´":124728,"ĠÐĽÐ¾Ð·":124729,"ĠÐĽÐ¾ÑĤ":124730,"ĠÐĽÑĥж":124731,"ĠÐĽÑĭÑģ":124732,"ĠÐĽÑĮÑİ":124733,"ĠÐľÐ¾Ñī":124734,"ĠÐľÑģÑĤ":124735,"ĠÐľÑįн":124736,"ĠÐĿиг":124737,"ĠÐĿÑĥÑĢ":124738,"ĠÐŀкÑģ":124739,"ĠÐŁÐŀÐĶ":124740,"ĠÐŁÐ¾Ð½":124741,"ĠÐŁÑĢÑı":124742,"ĠÐłÐ°ÑĤ":124743,"ĠÐłÐ°Ñħ":124744,"ĠÐłÐµÐ±":124745,"ĠÐłÐ¸Ðº":124746,"ĠÐłÐ¸ÑĤ":124747,"ĠÐłÐ¾Ð¶":124748,"ĠÐłÐ¾Ð½":124749,"ĠÐłÑįй":124750,"ĠÐłÑıб":124751,"ĠÐ¡ÐŁÐij":124752,"ĠСво":124753,"ĠСед":124754,"ĠСÑĥб":124755,"ĠТаб":124756,"ĠТÑĥн":124757,"ĠТÑİÑĢ":124758,"ĠТÑıж":124759,"ĠУгл":124760,"ĠФÐijÐł":124761,"ĠФаб":124762,"ĠФиг":124763,"ĠФиÑĪ":124764,"ĠХак":124765,"ĠХаÑĤ":124766,"ĠЦÐĺÐļ":124767,"ĠЦиÑĤ":124768,"ĠЧик":124769,"ĠШаб":124770,"ĠШал":124771,"ĠШап":124772,"ĠШей":124773,"ĠШен":124774,"ĠШÑĢи":124775,"ĠÐŃнн":124776,"ĠЮÐIJÐł":124777,"ĠЮнг":124778,"ĠЯлÑĤ":124779,"Ġакк":124780,"Ġалг":124781,"ĠалÑħ":124782,"ĠаÑĤе":124783,"Ġбод":124784,"Ġбон":124785,"ĠвÑĥз":124786,"Ġгли":124787,"ĠждÑĥ":124788,"Ġжем":124789,"ĠжÑĥк":124790,"Ġкив":124791,"ĠкÑįÑĪ":124792,"Ġлоп":124793,"ĠлÑİÑĤ":124794,"Ġмад":124795,"ĠмеÑī":124796,"ĠнаÑĨ":124797,"Ġоби":124798,"ĠобÑĢ":124799,"ĠоÑĤм":124800,"ĠоÑĤÑĬ":124801,"ĠоÑĤÑĭ":124802,"Ġпаз":124803,"ĠпÑĥÑģ":124804,"ĠпÑĥÑħ":124805,"ĠÑĢва":124806,"ĠÑĢог":124807,"ĠÑĢÑĥÑħ":124808,"ĠÑģда":124809,"ĠÑģпе":124810,"ĠÑģÑİÑĢ":124811,"ĠÑĤаз":124812,"ĠÑĤиÑħ":124813,"ĠÑĤÑĥн":124814,"ĠÑĦав":124815,"ĠÑħак":124816,"ĠÑħиж":124817,"ĠÑĨем":124818,"ĠÑĩÑijÑĤ":124819,"ĠÑĪеп":124820,"ĠÑĪпи":124821,"ĠÑĪÑĤÑĥ":124822,"ĠÑīел":124823,"ĠÑİбк":124824,"ĠÑıнв":124825,"ÐIJÐĿÐĺÐķ":124826,"ÐIJвиа":124827,"ÐijлÑįк":124828,"ÐijолÑĮ":124829,"ÐĴели":124830,"ÐĶÑĢÑĥз":124831,"ÐķвÑĢо":124832,"Ðļали":124833,"ÐļлÑİÑĩ":124834,"ÐļÑĢиÑĤ":124835,"ÐľÐ»Ð°Ð´":124836,"ÐľÑĥзÑĭ":124837,"ÐĿеÑĦÑĤ":124838,"ÐĿоÑĩÑĮ":124839,"ÐŁÐµÑģн":124840,"ÐŁÐ¾ÑĢÑĤ":124841,"ÐŁÑĢог":124842,"ÐŁÑģиÑħ":124843,"ÐłÐµÐ°Ð»":124844,"СвÑıÑī":124845,"ТвоÑĢ":124846,"ФÑĢан":124847,"Ð¥ÑĢон":124848,"ÐŃкÑģп":124849,"авÑĪи":124850,"агин":124851,"адап":124852,"аждÑĥ":124853,"азин":124854,"айна":124855,"айон":124856,"алив":124857,"алон":124858,"амик":124859,"анди":124860,"анÑģи":124861,"анÑĨÑĭ":124862,"апÑĥÑĢ":124863,"аÑĢме":124864,"аÑĢон":124865,"аÑīен":124866,"аÑīий":124867,"балÑĮ":124868,"бека":124869,"билÑĮ":124870,"биоÑĤ":124871,"биÑīа":124872,"блик":124873,"блÑĥд":124874,"боÑĢн":124875,"бÑĢиÑĤ":124876,"бÑĢÑİÑĪ":124877,"бÑĥдд":124878,"бÑĥжд":124879,"бÑĥлÑĮ":124880,"бÑĥма":124881,"вагÑĥ":124882,"вази":124883,"ванÑĮ":124884,"ваÑİÑĤ":124885,"виÑģа":124886,"вкÑĥÑģ":124887,"внÑĥÑĪ":124888,"вожÑĥ":124889,"воÑĢк":124890,"воÑĢÑı":124891,"гава":124892,"гаÑĥз":124893,"годÑı":124894,"гÑĢеÑĤ":124895,"гÑĢоз":124896,"гÑĢÑĥд":124897,"даже":124898,"денÑģ":124899,"дней":124900,"доÑĢÑĦ":124901,"еваÑĢ":124902,"евÑĢо":124903,"егеÑĤ":124904,"езии":124905,"елÑĮÑģ":124906,"елÑĮÑı":124907,"емеÑĢ":124908,"емиÑĤ":124909,"енап":124910,"ензи":124911,"ениÑĨ":124912,"енÑĮк":124913,"еÑĢан":124914,"еÑĢик":124915,"еÑģил":124916,"еÑĤин":124917,"еÑĨед":124918,"еÑĩнÑĭ":124919,"жеÑģÑĤ":124920,"жима":124921,"жнее":124922,"жник":124923,"жной":124924,"звÑĥк":124925,"зеÑĢн":124926,"игÑĢÑĭ":124927,"идал":124928,"икеÑĢ":124929,"илие":124930,"илÑıÑħ":124931,"имин":124932,"ингл":124933,"иÑĩев":124934,"иÑĩки":124935,"иÑĪка":124936,"канд":124937,"каÑĢм":124938,"каÑģа":124939,"каÑģÑģ":124940,"кинÑģ":124941,"клеп":124942,"конг":124943,"коÑĢÑĭ":124944,"кÑĢин":124945,"кÑĥÑĤа":124946,"лана":124947,"лаÑģÑģ":124948,"лбан":124949,"лейн":124950,"лемо":124951,"лени":124952,"леÑĩе":124953,"лиге":124954,"лиÑĤÑĭ":124955,"лоÑĤи":124956,"лÑĤон":124957,"лÑĥга":124958,"лÑĮнÑı":124959,"лÑıне":124960,"лÑıÑĨи":124961,"мазо":124962,"маÑĤÑĮ":124963,"мело":124964,"мила":124965,"мÑĥно":124966,"мÑĥÑĤи":124967,"надо":124968,"наив":124969,"наÑĢд":124970,"неÑĪÑĮ":124971,"ниже":124972,"ниÑĨк":124973,"нозн":124974,"нÑĥло":124975,"овеÑģ":124976,"огÑĢе":124977,"одÑĭÑĪ":124978,"ожди":124979,"окÑģи":124980,"олам":124981,"олил":124982,"олни":124983,"олоÑģ":124984,"омни":124985,"онаÑĤ":124986,"онез":124987,"ониÑĨ":124988,"онÑĤа":124989,"онÑĥл":124990,"оÑĤой":124991,"педи":124992,"плей":124993,"плен":124994,"поÑĪл":124995,"поÑįÑĤ":124996,"пÑĮÑıн":124997,"ÑĢаам":124998,"ÑĢази":124999,"ÑĢанг":125000,"ÑĢеаг":125001,"ÑĢеак":125002,"ÑĢедÑĮ":125003,"ÑĢени":125004,"ÑĢеÑĩи":125005,"ÑĢидж":125006,"ÑĢизм":125007,"ÑĢиÑħа":125008,"ÑĢоди":125009,"ÑĢоÑĢа":125010,"ÑĢÑĥкÑĤ":125011,"ÑĢÑıжа":125012,"Ñģвое":125013,"ÑģеÑĩÑĮ":125014,"Ñģиди":125015,"Ñģлой":125016,"ÑģÑĤад":125017,"ÑģÑħод":125018,"ÑģÑĭÑħа":125019,"ÑĤала":125020,"ÑĤанÑĨ":125021,"ÑĤкин":125022,"ÑĤокÑģ":125023,"ÑĤоÑĢм":125024,"ÑĤÑĢеб":125025,"ÑĤÑĢеÑĤ":125026,"ÑĤÑĢеÑħ":125027,"ÑĤÑĢой":125028,"ÑĤÑĢÑĥб":125029,"ÑĤÑĮев":125030,"Ñĥден":125031,"Ñĥлла":125032,"Ñĥнда":125033,"ÑĥÑĤан":125034,"ÑĥÑĤом":125035,"ÑĥÑĩив":125036,"ÑĥÑĪнÑĭ":125037,"ÑĦанÑĤ":125038,"ÑĦизи":125039,"ÑĦилÑĮ":125040,"ÑĦиоп":125041,"ÑĦони":125042,"ÑĦÑĢен":125043,"ÑĦÑĢов":125044,"ÑħÑĢип":125045,"ÑħÑĥдÑĪ":125046,"ÑĨеле":125047,"ÑĨело":125048,"ÑĨелÑı":125049,"ÑĨзÑıн":125050,"ÑĨкаÑı":125051,"ÑĨкие":125052,"ÑĨман":125053,"ÑĩаÑīе":125054,"Ñĩенн":125055,"ÑĩеÑĢÑĤ":125056,"ÑĪвÑĭÑĢ":125057,"ÑĪник":125058,"ÑĪним":125059,"ÑīиÑĤе":125060,"ÑīиÑĨа":125061,"ÑĬезж":125062,"Ñĭдов":125063,"ÑĭÑĪен":125064,"ÑĮмем":125065,"Ñıнка":125066,"ÑıÑĤÑĭм":125067,"ÑijÑĢом":125068,"ÑijÑĢÑĤв":125069,"ĠMaha":125070,"ĠVisi":125071,"cious":125072,"gging":125073,"lumin":125074,"physi":125075,"rator":125076,"toria":125077,"tribu":125078,"troph":125079,"ueens":125080,"ĠÐIJлÑĮп":125081,"ĠÐIJлÑĮÑĤ":125082,"ĠÐIJнне":125083,"ĠÐIJнÑĢи":125084,"ĠÐIJÑĦан":125085,"ĠÐijагÑĢ":125086,"ĠÐijалÑĤ":125087,"ĠÐijаÑĢб":125088,"ĠÐijеÑĢд":125089,"ĠÐijонд":125090,"ĠÐijоÑģÑĤ":125091,"ĠÐijÑĢай":125092,"ĠÐijÑĢиÑĤ":125093,"ĠÐijÑĥдд":125094,"ĠÐijÑĥдÑĮ":125095,"ĠÐijÑİÑĢо":125096,"ĠÐĴаÑĪа":125097,"ĠÐĴеÑĢн":125098,"ĠÐĴлаÑģ":125099,"ĠÐĴода":125100,"ĠÐĴÑĢÑıд":125101,"ĠÐĴÑĭÑģо":125102,"ĠÐĵайд":125103,"ĠÐĵалÑĮ":125104,"ĠÐĵанÑģ":125105,"ĠÐĵелÑĮ":125106,"ĠÐĵеÑĢб":125107,"ĠÐĵеÑģÑģ":125108,"ĠÐĵлÑĥб":125109,"ĠÐĵоли":125110,"ĠÐĵонÑĩ":125111,"ĠÐĵоÑĢд":125112,"ĠÐĵÑĢен":125113,"ĠÐĶвин":125114,"ĠÐĶион":125115,"ĠÐĶоÑĩÑĮ":125116,"ĠÐĶÑĥÑħа":125117,"ĠÐĸозе":125118,"ĠÐĸоÑĢж":125119,"ĠÐĹвон":125120,"ĠÐĺÑĥде":125121,"ĠÐļаиÑĢ":125122,"ĠÐļаÑĢп":125123,"ĠÐļиÑĢи":125124,"ĠÐļлав":125125,"ĠÐļлод":125126,"ĠÐļлÑİÑĩ":125127,"ĠÐļолÑı":125128,"ĠÐļÑĢеп":125129,"ĠÐļÑĥлÑĮ":125130,"ĠÐļÑĥÑĢÑĤ":125131,"ĠÐĽÐ¸Ð»Ð¸":125132,"ĠÐĽÐ¸ÑĨо":125133,"ĠÐĽÐ¾Ð½Ð³":125134,"ĠÐĽÑĥиÑģ":125135,"ĠÐĽÑĥки":125136,"ĠÐĽÑĥне":125137,"ĠÐľÐ°Ð²ÑĢ":125138,"ĠÐľÐ°ÑĢÑĪ":125139,"ĠÐľÐ°Ñģк":125140,"ĠÐľÐ°Ñħа":125141,"ĠÐľÐ¾Ð³Ñĥ":125142,"ĠÐľÐ¾ÑĢд":125143,"ĠÐľÐ¾ÑģÑĤ":125144,"ĠÐĿали":125145,"ĠÐĿаÑĪе":125146,"ĠÐĿеÑģÑĤ":125147,"ĠÐĿики":125148,"ĠÐŀпаÑģ":125149,"ĠÐŁÐ°ÑģÑħ":125150,"ĠÐŁÐ°ÑĤÑĢ":125151,"ĠÐŁÐ¸ÑģÑĮ":125152,"ĠÐŁÐ»ÑİÑģ":125153,"ĠÐŁÑĢиз":125154,"ĠÐŁÑĥÑĤи":125155,"ĠÐŁÑıÑĤÑĮ":125156,"ĠÐłÐµÐºÐ°":125157,"ĠСакÑģ":125158,"ĠСвоÑİ":125159,"ĠСвÑıÑī":125160,"ĠСели":125161,"ĠСила":125162,"ĠСиÑĤÑĥ":125163,"ĠСкал":125164,"ĠСпоÑĢ":125165,"ĠСÑĢок":125166,"ĠСÑĤам":125167,"ĠСÑİда":125168,"ĠТавÑĢ":125169,"ĠТаил":125170,"ĠТепл":125171,"ĠТони":125172,"ĠУÐķФÐIJ":125173,"ĠУдал":125174,"ĠУдаÑĢ":125175,"ĠУÑĢов":125176,"ĠУÑĩеб":125177,"ĠФакÑĤ":125178,"ĠФели":125179,"ĠФеÑĢн":125180,"ĠФеÑĢÑĢ":125181,"ĠФлаг":125182,"ĠХабÑĢ":125183,"ĠХаÑĢÑĤ":125184,"ĠХлеб":125185,"ĠХолл":125186,"ĠХоÑģе":125187,"ĠШвед":125188,"ĠШоло":125189,"ĠÐŃкип":125190,"ĠÐŃлиз":125191,"Ġамин":125192,"Ġапел":125193,"ĠаÑĢÑĤе":125194,"ĠаÑĢÑħа":125195,"Ġбеге":125196,"ĠбедÑĭ":125197,"ĠбеÑĢÑĥ":125198,"Ġблаж":125199,"ĠбÑĢил":125200,"ĠбÑĮÑİÑĤ":125201,"ĠбÑİÑģÑĤ":125202,"ĠвалÑı":125203,"ĠваÑĢе":125204,"ĠвнÑĥÑĩ":125205,"ĠвÑĥза":125206,"ĠвÑĭÑĢв":125207,"Ġгени":125208,"Ġгомо":125209,"ĠгÑĢим":125210,"ĠдаÑĩе":125211,"Ġдеда":125212,"Ġдепо":125213,"ĠдеÑģп":125214,"ĠдиÑĤÑı":125215,"ĠдоÑģÑĢ":125216,"ĠдÑĢай":125217,"ĠдÑĭма":125218,"ĠдÑıди":125219,"ĠедÑıÑĤ":125220,"Ġежен":125221,"ĠжелÑĤ":125222,"ĠжÑĥÑĤк":125223,"Ġзима":125224,"Ġзлов":125225,"Ġзлой":125226,"Ġзмеи":125227,"Ġзмей":125228,"ĠзмеÑı":125229,"Ġзооп":125230,"ĠиезÑĥ":125231,"Ġизгн":125232,"Ġиндо":125233,"ĠиÑģкÑĥ":125234,"ĠкаÑĩа":125235,"Ġкида":125236,"ĠклÑİв":125237,"Ġкозл":125238,"Ġколи":125239,"ĠкÑĥпи":125240,"ĠкÑĥÑĩа":125241,"Ġлейб":125242,"Ġлинз":125243,"Ġложе":125244,"ĠлÑĮдÑĥ":125245,"Ġмаме":125246,"ĠмамÑĭ":125247,"Ġманг":125248,"Ġманд":125249,"Ġмезо":125250,"ĠмеÑĩÑĤ":125251,"Ġмило":125252,"Ġмним":125253,"ĠмодÑĭ":125254,"ĠмоÑĩи":125255,"ĠмÑĥнд":125256,"ĠмÑĭÑģа":125257,"ĠмÑįÑĢа":125258,"Ġнеоб":125259,"ĠнизÑĪ":125260,"ĠниÑĤи":125261,"ĠнÑĥлÑİ":125262,"Ġолен":125263,"ĠолиÑĨ":125264,"Ġопла":125265,"ĠоÑģоз":125266,"ĠоÑģÑĤÑĢ":125267,"Ġпани":125268,"ĠпеÑĩÑĮ":125269,"Ġпили":125270,"ĠплÑĥÑĤ":125271,"ĠплÑıÑģ":125272,"Ġпнев":125273,"ĠпÑĥлÑı":125274,"ĠÑĢаÑģп":125275,"ĠÑĢаÑģÑĨ":125276,"ĠÑĢиÑĦм":125277,"ĠÑĢоÑıл":125278,"ĠÑĢÑĭда":125279,"ĠÑģенÑĮ":125280,"ĠÑģжаÑĤ":125281,"ĠÑģкло":125282,"ĠÑģлÑİн":125283,"ĠÑģозв":125284,"ĠÑģооÑĤ":125285,"ĠÑģоÑĦÑĤ":125286,"ĠÑģпон":125287,"ĠÑģÑĤÑĢÑĥ":125288,"ĠÑĤайг":125289,"ĠÑĤеÑĢÑı":125290,"ĠÑĤолп":125291,"ĠÑĤÑĢей":125292,"ĠÑĤÑĢем":125293,"ĠÑĤÑĢин":125294,"ĠÑĤÑĢÑİк":125295,"ĠÑĤÑĭла":125296,"ĠÑĤÑıнÑĥ":125297,"ĠÑĥгле":125298,"ĠÑĥзлÑĭ":125299,"ĠÑĥкоÑĢ":125300,"ĠÑĥкÑĥÑģ":125301,"ĠÑĥÑĢаг":125302,"ĠÑĥÑģил":125303,"ĠÑĥÑĤеÑĪ":125304,"ĠÑĥÑĤол":125305,"ĠÑĥÑĪло":125306,"ĠÑĦаза":125307,"ĠÑĦаÑĥн":125308,"ĠÑĦеод":125309,"ĠÑĦигÑĥ":125310,"ĠÑħоÑģÑĤ":125311,"ĠÑħÑĥли":125312,"ĠÑįкÑģÑĤ":125313,"ĠÑįлег":125314,"ĠÑįмиÑĢ":125315,"ĠÑįндо":125316,"ĠÑįпоÑģ":125317,"ĠÑıÑĢÑĥÑģ":125318,"ÐIJлекÑģ":125319,"ÐijÑĢаÑĤÑĮ":125320,"ÐĴолга":125321,"ÐĵидÑĢо":125322,"ÐĵоÑĢод":125323,"ÐĵоÑĢÑĮк":125324,"ÐĶеÑģÑıÑĤ":125325,"ÐĸизнÑĮ":125326,"ÐĹакон":125327,"ÐĽÐ¾ÐºÐ¾Ð¼":125328,"ÐľÐ°ÑĪин":125329,"ÐľÐµÐ¶Ð´Ñĥ":125330,"ÐĿовÑĭй":125331,"Ðŀкеан":125332,"СбеÑĢб":125333,"Сокол":125334,"ТолÑģÑĤ":125335,"ФаÑĥÑģÑĤ":125336,"авлов":125337,"аемÑģÑı":125338,"алÑĮнÑĭ":125339,"андÑĢа":125340,"андÑĢо":125341,"анной":125342,"анÑĤии":125343,"анÑĤин":125344,"апаÑĢÑĤ":125345,"апеÑĪÑĤ":125346,"аÑĢдин":125347,"аÑĢиаÑĤ":125348,"аÑĢной":125349,"аÑģкеÑĤ":125350,"биÑĤÑĭй":125351,"биÑĤÑĭÑħ":125352,"бÑĢиÑģÑĤ":125353,"важин":125354,"ваÑĢки":125355,"ваÑĤÑĭе":125356,"ваÑĤÑĭм":125357,"велиÑĩ":125358,"веÑĢди":125359,"веÑĢÑģи":125360,"веÑģÑĤн":125361,"виÑĢÑĥÑģ":125362,"волоÑģ":125363,"воÑĢож":125364,"вÑģего":125365,"вÑıзка":125366,"вÑıÑĤой":125367,"гадал":125368,"глаÑĪа":125369,"голÑĥб":125370,"гонÑıл":125371,"гÑĢаÑĨи":125372,"гÑĢома":125373,"гÑĢÑĥÑģÑĤ":125374,"давно":125375,"дадим":125376,"далÑģÑı":125377,"делал":125378,"денÑĤа":125379,"дикÑĨи":125380,"дÑĥÑħов":125381,"дÑĥÑĪно":125382,"евÑĭми":125383,"едаÑĤÑĮ":125384,"ейÑĪиÑħ":125385,"еллеÑĢ":125386,"енÑĮев":125387,"енÑıÑĤÑĮ":125388,"епÑĤоÑĢ":125389,"еÑĢами":125390,"еÑĢÑģон":125391,"еÑĢÑĪен":125392,"еÑģлав":125393,"еÑģÑĤÑĢе":125394,"еÑģÑĩÑĥÑĢ":125395,"еÑĤели":125396,"еÑħала":125397,"еÑĨкаÑı":125398,"еÑĩнÑĭÑħ":125399,"жаÑĢен":125400,"жеÑĢÑĤв":125401,"жигал":125402,"жизне":125403,"жмиÑĤе":125404,"жÑģкий":125405,"заимо":125406,"заÑĢÑıд":125407,"збиÑĢа":125408,"золоÑĤ":125409,"ивное":125410,"изайн":125411,"изÑıÑīн":125412,"илоÑĤн":125413,"имиÑĢи":125414,"ингеÑĢ":125415,"иÑĢинÑĤ":125416,"иÑģкÑĥÑģ":125417,"иÑģпол":125418,"иÑģÑĤок":125419,"иÑģÑĤÑĥÑİ":125420,"иÑĤоÑĢи":125421,"кадий":125422,"какие":125423,"калÑĮн":125424,"канÑĤÑĭ":125425,"каÑģÑģк":125426,"каÑĤил":125427,"каÑĩал":125428,"кивал":125429,"кинÑĥв":125430,"конеÑĩ":125431,"кÑĢоеÑĤ":125432,"кÑĢоме":125433,"кÑĥлез":125434,"лаÑĤÑĥÑĢ":125435,"лезÑĤÑĮ":125436,"лекÑģÑĭ":125437,"леÑĢод":125438,"лианÑĤ":125439,"ливал":125440,"ливÑĭÑħ":125441,"линаÑĢ":125442,"логиÑı":125443,"лÑĮман":125444,"лÑİбив":125445,"мазан":125446,"мвоÑĢк":125447,"меива":125448,"менее":125449,"менив":125450,"менÑıÑı":125451,"меÑĤим":125452,"меÑĤод":125453,"меÑīÑijн":125454,"можеÑĤ":125455,"можно":125456,"монав":125457,"моÑĢоз":125458,"мÑıнÑģк":125459,"навиг":125460,"нейÑĤÑĢ":125461,"неÑģÑĤÑĢ":125462,"неÑĤен":125463,"нилов":125464,"нимаÑİ":125465,"ниÑĤив":125466,"новод":125467,"новÑĭй":125468,"новÑĭм":125469,"ножко":125470,"нÑĥкле":125471,"нÑĭÑĪев":125472,"нÑıков":125473,"обвин":125474,"обмен":125475,"обÑĢаÑī":125476,"обÑĥÑĩа":125477,"овÑĤоÑĢ":125478,"оглиÑĦ":125479,"ождÑijн":125480,"озвÑĥÑĩ":125481,"оздан":125482,"окоен":125483,"околÑĮ":125484,"оконÑĩ":125485,"олеÑĤа":125486,"олиÑĤа":125487,"олÑĮзÑĥ":125488,"олÑİби":125489,"онавÑĤ":125490,"оплен":125491,"опÑĢим":125492,"опÑĤик":125493,"оÑĢвав":125494,"оÑĦиÑĨи":125495,"оÑĩиÑĤÑĮ":125496,"палÑĥб":125497,"пеÑĢво":125498,"пиÑģка":125499,"пиÑĪем":125500,"плÑĭÑĤÑĮ":125501,"погод":125502,"поезд":125503,"полоÑģ":125504,"помнÑİ":125505,"пÑĢеод":125506,"пÑĥÑĤеÑĪ":125507,"ÑĢаван":125508,"ÑĢагим":125509,"ÑĢадио":125510,"ÑĢажаÑı":125511,"ÑĢакан":125512,"ÑĢакÑĨи":125513,"ÑĢаниÑĩ":125514,"ÑĢаÑĨиÑİ":125515,"ÑĢаÑĩен":125516,"ÑĢедил":125517,"ÑĢезин":125518,"ÑĢемов":125519,"ÑĢиÑĩал":125520,"ÑĢойки":125521,"ÑĢоÑģÑĤÑĮ":125522,"ÑĢÑģкиÑħ":125523,"Ñģемей":125524,"Ñģкива":125525,"ÑģкÑĢеб":125526,"Ñģмена":125527,"ÑģмÑĭÑģл":125528,"Ñģоном":125529,"ÑģÑĤава":125530,"ÑģÑĤавÑĮ":125531,"ÑģÑĤанÑĤ":125532,"ÑģÑĤанÑĮ":125533,"ÑģÑĤаÑijÑĤ":125534,"ÑģÑĤнаÑı":125535,"ÑģÑĤолÑĮ":125536,"ÑģÑĥнÑĥл":125537,"ÑĤеаÑĤÑĢ":125538,"ÑĤиков":125539,"ÑĤинга":125540,"ÑĤкнÑĥл":125541,"ÑĤоÑĢга":125542,"ÑĤоÑĩно":125543,"ÑĤÑĢомб":125544,"ÑĤÑıжки":125545,"ÑĤÑıнÑĥв":125546,"ÑĥбийÑĨ":125547,"Ñĥдлив":125548,"ÑĥÑĤоÑĩн":125549,"ÑĥÑĤÑĢен":125550,"ÑĦанÑĤа":125551,"ÑĦоÑĢни":125552,"ÑĦÑĢонÑĤ":125553,"ÑĦÑĢÑĥкÑĤ":125554,"ÑħлеÑģÑĤ":125555,"ÑħÑĢиÑģÑĤ":125556,"ÑĩаÑĤаÑı":125557,"ÑĩеÑģко":125558,"ÑĩиÑĤав":125559,"ÑĩиÑĤан":125560,"Ñĩками":125561,"ÑĩÑĤобÑĭ":125562,"ÑĪееÑģÑı":125563,"ÑĮмиÑĤе":125564,"ÑıлиÑģÑĮ":125565,"Ñıнина":125566,"ÑijннаÑı":125567,"driven":125568,"shaped":125569,"ĠÐIJÑħмед":125570,"ĠÐijеÑĢиÑı":125571,"ĠÐijожий":125572,"ĠÐijÑĢанд":125573,"ĠÐijÑĢÑİÑģÑģ":125574,"ĠÐijÑĭков":125575,"ĠÐĴеÑģел":125576,"ĠÐĴидео":125577,"ĠÐĴÑĢоде":125578,"ĠÐĴÑĭÑģок":125579,"ĠÐĵлаза":125580,"ĠÐĶавай":125581,"ĠÐĶанил":125582,"ĠÐĶанÑĤе":125583,"ĠÐĶжейн":125584,"ĠÐĶжеÑĦÑĦ":125585,"ĠÐĶзеÑĢж":125586,"ĠÐĶÑįвиÑģ":125587,"ĠÐĸивоÑĤ":125588,"ĠÐĹимой":125589,"ĠÐĺгнаÑĤ":125590,"ĠÐĺгÑĢок":125591,"ĠÐĺндиÑİ":125592,"ĠÐĺндиÑı":125593,"ĠÐĺÑĢака":125594,"ĠÐĺÑģлам":125595,"ĠÐĺÑģÑħод":125596,"ĠÐļаÑĢам":125597,"ĠÐļаÑĢел":125598,"ĠÐļаÑĢÑĤа":125599,"ĠÐļлаÑĢк":125600,"ĠÐļолон":125601,"ĠÐļонеÑĨ":125602,"ĠÐļоÑĢан":125603,"ĠÐĽÐ°Ð´Ð½Ð¾":125604,"ĠÐĽÐµÐ³ÐºÐ¾":125605,"ĠÐĽÐ¸Ð´ÐµÑĢ":125606,"ĠÐĽÐ¸ÑĤеÑĢ":125607,"ĠÐĽÑĮÑİиÑģ":125608,"ĠÐľÐ°ÑĢко":125609,"ĠÐľÐ°ÑĢÑģа":125610,"ĠÐľÐ¸ÐºÑĢо":125611,"ĠÐľÐ¸ÑĢов":125612,"ĠÐľÑĥÑĢом":125613,"ĠÐĿебеÑģ":125614,"ĠÐĿемÑĨÑĭ":125615,"ĠÐĿигеÑĢ":125616,"ĠÐĿикон":125617,"ĠÐĿовоÑĢ":125618,"ĠÐŀбÑīее":125619,"ĠÐŀбÑīий":125620,"ĠÐŀжида":125621,"ĠÐŀлега":125622,"ĠÐŀÑģÑĤÑĢо":125623,"ĠÐŁÐµÐºÐ¸Ð½":125624,"ĠÐŁÐµÑĤÑĢÑĥ":125625,"ĠÐŁÐ¾Ð¶Ð°ÑĢ":125626,"ĠÐŁÐ¾Ð¼Ð¿Ðµ":125627,"ĠÐŁÐ¾Ð¿ÑĭÑĤ":125628,"ĠÐŁÑĢоÑģÑĤ":125629,"ĠÐłÐµÑĪил":125630,"ĠСадов":125631,"ĠСаÑħаÑĢ":125632,"ĠСвÑıÑĤо":125633,"ĠСемÑĮÑı":125634,"ĠСлава":125635,"ĠСлÑĥÑĪа":125636,"ĠСмÑĭÑģл":125637,"ĠСоÑĦии":125638,"ĠСпоÑĢÑĤ":125639,"ĠСÑĤало":125640,"ĠСÑĤиÑħи":125641,"ĠСÑħема":125642,"ĠСÑİжеÑĤ":125643,"ĠТакиÑħ":125644,"ĠТбили":125645,"ĠТимÑĥÑĢ":125646,"ĠТÑĥниÑģ":125647,"ĠТÑıжел":125648,"ĠУÑģпеÑħ":125649,"ĠФиÑĪеÑĢ":125650,"ĠФонда":125651,"ĠХмелÑĮ":125652,"ĠХолод":125653,"ĠЧаÑĢли":125654,"ĠЧеÑĢеп":125655,"ĠЧеÑĩен":125656,"ĠЧленÑĭ":125657,"ĠШмидÑĤ":125658,"ĠÐŃмили":125659,"ĠÐŃндÑĢÑİ":125660,"ĠÐŃÑĢнÑģÑĤ":125661,"ĠÐŃÑĤомÑĥ":125662,"ĠЮжнаÑı":125663,"ĠЮжном":125664,"ĠЮжнÑĭй":125665,"ĠЮÑĢÑĮев":125666,"ĠабзаÑĨ":125667,"ĠазаÑĢÑĤ":125668,"ĠанкеÑĤ":125669,"ĠаÑĢеал":125670,"ĠаÑĢене":125671,"ĠаÑĢÑħим":125672,"ĠаÑĤаке":125673,"ĠбазаÑĢ":125674,"Ġбазой":125675,"ĠбанкÑĥ":125676,"ĠбедÑĢа":125677,"Ġбездн":125678,"Ġбелки":125679,"ĠбелÑĮе":125680,"ĠбиÑĢже":125681,"Ġблоки":125682,"ĠбойÑĨа":125683,"ĠбойÑĨÑĭ":125684,"Ġбокал":125685,"ĠбонÑĥÑģ":125686,"ĠбÑĥква":125687,"ĠвенÑĩа":125688,"ĠвеÑĤвÑĮ":125689,"ĠвеÑĤки":125690,"Ġвидам":125691,"Ġвидна":125692,"ĠвождÑĮ":125693,"Ġвокал":125694,"ĠвоÑģем":125695,"ĠвÑĢагÑĥ":125696,"ĠвÑĢаÑĩÑĥ":125697,"ĠвÑĢÑĥÑĩа":125698,"ĠвÑĥзов":125699,"ĠвÑĭлез":125700,"ĠвÑĭпил":125701,"ĠвÑĭÑĢаÑī":125702,"ĠвÑĭÑĢез":125703,"Ġгеном":125704,"Ġгонка":125705,"ĠгоÑĢиÑĤ":125706,"ĠгоÑģÑĤÑĮ":125707,"ĠгоÑģÑĤÑı":125708,"ĠгÑĢави":125709,"ĠгÑĢеÑħи":125710,"ĠгÑĢÑĥза":125711,"ĠгÑĢÑĥзо":125712,"ĠдвинÑĥ":125713,"ĠдеÑĢзк":125714,"Ġдомин":125715,"ĠдÑĢеÑģÑģ":125716,"ĠдÑĥбли":125717,"Ġжадно":125718,"ĠжаждÑĥ":125719,"Ġждала":125720,"ĠжелаÑİ":125721,"Ġжилой":125722,"ĠжиÑĢов":125723,"Ġзабив":125724,"Ġзадал":125725,"ĠзайÑĤи":125726,"Ġзамке":125727,"ĠзаÑĪел":125728,"Ġзвена":125729,"ĠзвÑĥко":125730,"ĠздеÑĪн":125731,"ĠзлоÑĥм":125732,"ĠзлоÑĥп":125733,"ĠзнавÑĪ":125734,"ĠзнамÑı":125735,"ĠзнаÑĤи":125736,"ĠигÑĢÑĥÑĪ":125737,"Ġизгиб":125738,"Ġимидж":125739,"ĠиÑģÑĩеÑĢ":125740,"ĠиÑĥдей":125741,"ĠкадÑĢа":125742,"ĠканаÑĤ":125743,"ĠкаÑĢеÑĤ":125744,"ĠкаÑĤоÑĢ":125745,"ĠкиÑĪки":125746,"ĠколÑijÑģ":125747,"ĠконÑĥÑģ":125748,"ĠконÑĨÑĭ":125749,"Ġкопий":125750,"ĠкопиÑİ":125751,"ĠкопиÑı":125752,"ĠкопÑĭÑĤ":125753,"ĠкоÑĪек":125754,"ĠкÑĢики":125755,"ĠкÑĢÑĥги":125756,"ĠкÑĢÑĭÑĪа":125757,"ĠкÑĥкол":125758,"ĠкÑĥпÑĨа":125759,"ĠкÑĥÑģка":125760,"ĠкÑĥÑħни":125761,"ĠкÑĥÑħнÑİ":125762,"Ġлаком":125763,"ĠлампÑĭ":125764,"ĠлаÑĤÑĭÑĪ":125765,"Ġлебед":125766,"ĠленÑĤа":125767,"Ġлодке":125768,"ĠложкÑĥ":125769,"ĠлÑĥков":125770,"Ġмагии":125771,"Ġмадам":125772,"ĠмалÑĭе":125773,"ĠмалÑĭй":125774,"ĠмаÑĢка":125775,"ĠмаÑĤки":125776,"ĠмеÑĪок":125777,"ĠмеÑīан":125778,"ĠмилÑıÑħ":125779,"Ġмоими":125780,"ĠмоÑĢей":125781,"ĠмоÑģÑĤÑĥ":125782,"ĠмÑĥÑĢав":125783,"ĠмÑijÑĢÑĤв":125784,"Ġназем":125785,"Ġнебом":125786,"Ġнедоп":125787,"ĠнедÑĥг":125788,"ĠнекÑĥÑİ":125789,"Ġнелов":125790,"ĠнеÑĢав":125791,"ĠнеÑĢвÑĭ":125792,"ĠнÑĭнÑĩе":125793,"Ġобойд":125794,"ĠобÑĢад":125795,"ĠобÑĥви":125796,"ĠобÑĥвÑĮ":125797,"ĠобÑīеж":125798,"ĠовÑĢаг":125799,"ĠогнÑijм":125800,"Ġоклад":125801,"Ġокном":125802,"ĠопоÑĢÑĭ":125803,"ĠопÑĭÑĤÑĥ":125804,"ĠоÑĢбиÑĤ":125805,"ĠоÑģенÑĮ":125806,"ĠоÑģман":125807,"ĠоÑĤвод":125808,"ĠоÑĤÑĭÑģк":125809,"ĠоÑĦиÑģе":125810,"ĠоÑħоÑĤа":125811,"ĠоÑħоÑĤÑĥ":125812,"Ġпадал":125813,"ĠпалаÑĩ":125814,"ĠпаÑĢом":125815,"ĠпаÑĦоÑģ":125816,"ĠпевеÑĨ":125817,"Ġпение":125818,"ĠпеÑĢÑĮÑı":125819,"ĠпеÑģне":125820,"ĠпеÑĤли":125821,"ĠпиÑĤом":125822,"Ġплода":125823,"ĠплоÑĤÑĮ":125824,"ĠпогаÑģ":125825,"Ġподле":125826,"ĠпойдÑĥ":125827,"ĠпопÑĥÑĤ":125828,"ĠпоÑĩек":125829,"ĠпоÑĩÑĤе":125830,"ĠпоÑįма":125831,"ĠпоÑįÑĤÑĭ":125832,"ĠпÑĢобÑĥ":125833,"ĠпÑĢозе":125834,"ĠпÑĢозÑĭ":125835,"ĠпÑĮеÑģÑĥ":125836,"ĠпÑıÑĤно":125837,"ĠпÑıÑĤÑĮÑİ":125838,"ĠÑĢаÑģÑģÑĤ":125839,"ĠÑĢевиз":125840,"ĠÑĢезÑĮб":125841,"ĠÑĢейÑħÑģ":125842,"ĠÑĢекой":125843,"ĠÑĢепоз":125844,"ĠÑĢеÑĩÑĮÑİ":125845,"ĠÑĢиÑĤоÑĢ":125846,"ĠÑĢогаÑĤ":125847,"ĠÑĢозни":125848,"ĠÑĢÑĥжÑĮÑı":125849,"ĠÑĢÑĥÑģло":125850,"ĠÑĢÑĥÑĩей":125851,"ĠÑĢÑĭбак":125852,"ĠÑģаÑĤан":125853,"ĠÑģближ":125854,"ĠÑģвекл":125855,"ĠÑģвÑıÑĤи":125856,"ĠÑģгиба":125857,"ĠÑģдеÑĢж":125858,"ĠÑģеÑĤÑıÑħ":125859,"ĠÑģжима":125860,"ĠÑģингл":125861,"ĠÑģкÑĢеп":125862,"ĠÑģмежн":125863,"ĠÑģнаÑĢÑı":125864,"ĠÑģнегÑĥ":125865,"ĠÑģнÑıÑĤÑĭ":125866,"ĠÑģолÑĮÑİ":125867,"ĠÑģÑĢÑĭва":125868,"ĠÑģÑĤада":125869,"ĠÑģÑĤанÑĥ":125870,"ĠÑģÑĤека":125871,"ĠÑģÑĤенд":125872,"ĠÑģÑĤÑĢоÑĦ":125873,"ĠÑģÑĤÑĢоÑĩ":125874,"ĠÑģÑĤÑĢоÑİ":125875,"ĠÑģÑĥдаÑħ":125876,"ĠÑģÑħожи":125877,"ĠÑĤанеÑĨ":125878,"ĠÑĤанÑĨÑĥ":125879,"ĠÑĤвоем":125880,"ĠÑĤвоим":125881,"ĠÑĤибеÑĤ":125882,"ĠÑĤолпе":125883,"ĠÑĤолпÑĥ":125884,"ĠÑĤÑĢаве":125885,"ĠÑĤÑĢаÑĥÑĢ":125886,"ĠÑĤÑĢеÑģк":125887,"ĠÑĤÑĢоиÑħ":125888,"ĠÑĤÑĢÑĥде":125889,"ĠÑĤÑĥбеÑĢ":125890,"ĠÑĤÑıжко":125891,"ĠÑĥглеÑĢ":125892,"ĠÑĥезде":125893,"ĠÑĥзком":125894,"ĠÑĥмнÑĭй":125895,"ĠÑĥмолÑı":125896,"ĠÑĥпадк":125897,"ĠÑĥпиÑĢа":125898,"ĠÑĥпÑĢÑĥг":125899,"ĠÑĥÑģÑĤоÑı":125900,"ĠÑĥÑĤеÑĩк":125901,"ĠÑĥÑĤÑĢен":125902,"ĠÑĦиниÑĪ":125903,"ĠÑĦиÑĢме":125904,"ĠÑĦÑĢанк":125905,"ĠÑĦÑĢеÑģк":125906,"ĠÑħакеÑĢ":125907,"ĠÑħалиÑĦ":125908,"ĠÑħижин":125909,"ĠÑħодÑĮб":125910,"ĠÑħолма":125911,"ĠÑħÑĢамÑĭ":125912,"ĠÑħÑĢебÑĤ":125913,"ĠÑĨелой":125914,"ĠÑĨелÑĭм":125915,"ĠÑĩекан":125916,"ĠÑĩеÑĢÑĤÑĥ":125917,"ĠÑĩеÑĩен":125918,"ĠÑĩÑĥдом":125919,"ĠÑĩÑĥждÑĭ":125920,"ĠÑĩÑijÑĤко":125921,"ĠÑĪÑĤÑĢиÑħ":125922,"ĠÑĪÑĤÑĥка":125923,"ĠÑĪÑĥÑĤкÑĥ":125924,"ĠÑįкÑģÑĤÑĢ":125925,"ĠÑįлиÑĤÑĭ":125926,"ĠÑįллин":125927,"ĠÑįÑģÑĤон":125928,"ĠÑįÑĤапÑĭ":125929,"ĠÑİмоÑĢа":125930,"ĠÑıвлен":125931,"ĠÑıÑĢкий":125932,"ĠÑıÑĢкиÑħ":125933,"ÐIJкадем":125934,"ÐIJнглий":125935,"ÐijÑĢаÑĤÑĮÑı":125936,"ÐĵамлеÑĤ":125937,"ÐĶÑĢÑĥзÑĮÑı":125938,"ÐĹдоÑĢов":125939,"ÐĺзвеÑģÑĤ":125940,"ÐļÑĢиÑĤик":125941,"ÐĽÐµÐ³ÐµÐ½Ð´":125942,"ÐľÑĥзÑĭка":125943,"ÐĿиколÑĮ":125944,"ÐŀгÑĢомн":125945,"Ðŀлимпи":125946,"ÐŁÐ¸ÑģÑĮма":125947,"ÐŁÐ¾ÑĩемÑĥ":125948,"ÐŁÑĢавда":125949,"ÐłÐ¾ÑģÑģий":125950,"Свобод":125951,"СеÑĢдÑĨе":125952,"СиÑģÑĤем":125953,"Ð¥ÑĢоник":125954,"ЧÑĥвÑģÑĤв":125955,"аблиÑĨа":125956,"англий":125957,"андÑĢиÑĤ":125958,"аÑĢного":125959,"бавиÑĤÑĮ":125960,"бавлен":125961,"балÑĤик":125962,"бегали":125963,"бежавÑĪ":125964,"биваÑİÑĤ":125965,"биоÑĤик":125966,"биÑĤÑĮÑģÑı":125967,"бойник":125968,"болÑĮÑĪе":125969,"бÑĢоÑģан":125970,"бÑĢоÑģив":125971,"бÑĭваеÑĤ":125972,"веÑĢиÑĤÑĮ":125973,"воднÑĭе":125974,"воднÑĭй":125975,"водÑĩик":125976,"возили":125977,"возиÑĤÑĮ":125978,"вÑĭбоÑĢн":125979,"гонÑıеÑĤ":125980,"гоÑĢода":125981,"гÑĢÑĥзка":125982,"гÑĢÑĥÑģÑĤн":125983,"даннÑĭй":125984,"даÑİÑīей":125985,"даÑİÑīие":125986,"двинÑĥÑĤ":125987,"деваÑĤÑĮ":125988,"деÑĢжал":125989,"деÑĢжим":125990,"диÑģÑĨип":125991,"дÑĥмаем":125992,"едливо":125993,"езжаÑİÑĤ":125994,"ековÑĮÑı":125995,"елеÑĦон":125996,"еловал":125997,"енÑĤинÑĭ":125998,"енÑĮкие":125999,"епиано":126000,"еÑģÑģанÑģ":126001,"еÑģÑĤваÑħ":126002,"еÑĤвоÑĢÑı":126003,"еÑĩаÑĤел":126004,"жаÑĢиÑĤÑĮ":126005,"жимаеÑĤ":126006,"завÑĤÑĢа":126007,"зелÑijно":126008,"земном":126009,"знаниÑı":126010,"знаÑģил":126011,"знаÑĩим":126012,"золоÑĤо":126013,"изовал":126014,"ингенÑĤ":126015,"инÑĤегÑĢ":126016,"инÑĥлÑģÑı":126017,"иÑĢланд":126018,"иÑģÑĤана":126019,"иÑģÑĤики":126020,"иÑģÑĤоÑĢи":126021,"иÑģÑĤÑĭми":126022,"иÑĩнÑĭми":126023,"калÑĭва":126024,"капÑģÑĥл":126025,"капÑĭва":126026,"клÑİÑĩив":126027,"комбин":126028,"коммÑĥн":126029,"коÑģнов":126030,"кÑĢимин":126031,"кÑĢиÑĤик":126032,"кÑĢÑĭвал":126033,"кÑĢÑĭÑĤаÑı":126034,"кÑĥпиÑĤÑĮ":126035,"ладÑĪий":126036,"левлад":126037,"ледиÑĤÑĮ":126038,"лепеÑģÑĤ":126039,"леÑĤаÑİÑĤ":126040,"леÑĤнее":126041,"леÑĩебн":126042,"лименÑĤ":126043,"ловÑĥÑĪк":126044,"ложена":126045,"ломаÑĤÑĮ":126046,"лÑĥÑĪива":126047,"лÑĮÑģкое":126048,"магниÑĤ":126049,"маÑĤеÑĢи":126050,"менива":126051,"меÑĤÑĢии":126052,"меÑĤÑĢиÑı":126053,"меÑīаеÑĤ":126054,"монÑĤаж":126055,"мÑĭÑģлов":126056,"надзоÑĢ":126057,"назван":126058,"напÑĢав":126059,"ниÑĨкий":126060,"ниÑĩаÑĤÑĮ":126061,"нников":126062,"номенк":126063,"обÑĬекÑĤ":126064,"обÑĭÑĩно":126065,"овеÑīен":126066,"огенез":126067,"одобие":126068,"олеÑĤов":126069,"ологов":126070,"олÑĮвеÑĢ":126071,"онаÑĢдо":126072,"оÑĢÑĥжен":126073,"оÑģоÑĩеÑĤ":126074,"оÑģÑĤоиÑĤ":126075,"оÑģÑĤÑĢов":126076,"оÑĤкÑĢÑĭÑĤ":126077,"оÑĩеÑĢед":126078,"пеÑĤÑĩеÑĢ":126079,"плаÑĤил":126080,"плиÑĤÑĥд":126081,"полнив":126082,"помога":126083,"поÑģÑĢед":126084,"поÑģÑĤав":126085,"пÑĢинÑıл":126086,"пÑĢодаж":126087,"пÑĢолеÑĤ":126088,"пÑĢониÑĨ":126089,"пÑĢоÑĪен":126090,"пÑĢÑıÑĤал":126091,"ÑĢегион":126092,"ÑĢезали":126093,"ÑĢезаÑİÑĤ":126094,"ÑĢеÑģÑģоÑĢ":126095,"ÑĢиÑĦмеÑĤ":126096,"ÑĢиÑĩеÑģк":126097,"ÑĢовеÑĢÑı":126098,"ÑĢоволÑĮ":126099,"ÑĢоÑģÑĤан":126100,"ÑĢоÑħоÑĤн":126101,"ÑĢÑĥбиÑĤÑĮ":126102,"ÑĢÑĭваÑİÑĤ":126103,"Ñģваива":126104,"ÑģлÑĥжил":126105,"ÑģоблÑİд":126106,"Ñģоедин":126107,"ÑģÑĢедне":126108,"ÑģÑĤавлÑİ":126109,"ÑģÑĥжден":126110,"ÑĤвоÑĢил":126111,"ÑĤекаÑİÑī":126112,"ÑĤеÑĢмин":126113,"ÑĤивнÑĭм":126114,"ÑĤивнÑĭÑħ":126115,"ÑĤÑĥÑĢизм":126116,"ÑĥкÑĥÑĢÑĥз":126117,"ÑĥлÑıÑĨиÑı":126118,"ÑĥÑģÑĤила":126119,"ÑĦеÑĢенÑĨ":126120,"ÑĦилÑĮÑĤÑĢ":126121,"ÑħодиÑĪÑĮ":126122,"ÑĩаÑĤого":126123,"ÑĩеннÑĭе":126124,"ÑĩеннÑĭй":126125,"ÑĩиÑĤаеÑĤ":126126,"ÑĩиÑĤÑĮÑģÑı":126127,"ÑĪегоÑģÑı":126128,"ÑĪедÑĪем":126129,"ÑĮÑģкого":126130,"ÑİÑīемÑģÑı":126131,"ÑıзаниÑı":126132,"ĠÐIJбÑħази":126133,"ĠÐIJвÑĢаам":126134,"ĠÐIJвÑĤоÑĢÑĭ":126135,"ĠÐIJдÑĢиан":126136,"ĠÐIJллаÑħа":126137,"ĠÐIJмÑģÑĤеÑĢ":126138,"ĠÐIJналог":126139,"ĠÐIJнÑĤиоÑħ":126140,"ĠÐIJÑĢавии":126141,"ĠÐIJÑģÑģоÑĨи":126142,"ĠÐijогдан":126143,"ĠÐijоÑģÑĤон":126144,"ĠÐijÑĢайан":126145,"ĠÐijÑĭвÑĪий":126146,"ĠÐĴагнеÑĢ":126147,"ĠÐĴаÑĢваÑĢ":126148,"ĠÐĴлаÑģов":126149,"ĠÐĴлаÑģÑĤи":126150,"ĠÐĴÑģелен":126151,"ĠÐĴÑĭбоÑĢг":126152,"ĠÐĴÑĭпÑĥÑģк":126153,"ĠÐĴÑĭÑģÑĪей":126154,"ĠÐĵалакÑĤ":126155,"ĠÐĵеÑĢакл":126156,"ĠÐĵоÑĢдон":126157,"ĠÐĵÑĢÑĥзин":126158,"ĠÐĶавида":126159,"ĠÐĶамаÑģк":126160,"ĠÐĶенÑĮги":126161,"ĠÐĶиониÑģ":126162,"ĠÐĶоволÑĮ":126163,"ĠÐĶоÑĢога":126164,"ĠÐĶÑĥбÑĢов":126165,"ĠÐķгоÑĢов":126166,"ĠÐĸиÑĤели":126167,"ĠÐĹнаком":126168,"ĠÐĺзбÑĢан":126169,"ĠÐĺнÑĤеÑĢн":126170,"ĠÐĺоÑģиÑĦа":126171,"ĠÐĺÑģполн":126172,"ĠÐĺÑģÑħодÑı":126173,"ĠÐļазанÑĮ":126174,"ĠÐļаÑĢлоÑģ":126175,"ĠÐļиÑĢова":126176,"ĠÐļлавди":126177,"ĠÐļлимаÑĤ":126178,"ĠÐļлÑİÑĩев":126179,"ĠÐļолÑĩак":126180,"ĠÐļоÑĢнел":126181,"ĠÐļÑĢемле":126182,"ĠÐļÑĢÑĭлов":126183,"ĠÐļÑĥÑĢган":126184,"ĠÐĽÐ°Ð²ÑĢов":126185,"ĠÐĽÐ¾ÑĢенÑĨ":126186,"ĠÐĽÑİдвиг":126187,"ĠÐľÐ°ÑĢков":126188,"ĠÐľÐ°ÑĢÑģел":126189,"ĠÐľÐ°ÑĢÑĪал":126190,"ĠÐľÐ¸Ð½Ñģке":126191,"ĠÐľÐ¾Ð´ÐµÐ»ÑĮ":126192,"ĠÐľÑİнÑħен":126193,"ĠÐĿаÑĢком":126194,"ĠÐĿижний":126195,"ĠÐŀÑģнова":126196,"ĠÐŀÑģобое":126197,"ĠÐŀÑĤлиÑĩи":126198,"ĠÐŀÑĤмеÑĩа":126199,"ĠÐŁÐ°ÑĢÑĤиÑı":126200,"ĠÐŁÐ°ÑĤÑĢик":126201,"ĠÐŁÐµÑĢвÑĥÑİ":126202,"ĠÐŁÐµÑĤÑĢоп":126203,"ĠÐŁÐ¸ÑģÑĮмо":126204,"ĠÐŁÐ¾Ð»ÑĮÑĪа":126205,"ĠÐŁÐ¾Ð»ÑĮÑĪÑĥ":126206,"ĠÐŁÐ¾Ð¿ÑĢоб":126207,"ĠÐŁÐ¾ÑģÑĤоÑı":126208,"ĠÐŁÐ¾ÑĤÑĢеб":126209,"ĠÐłÐ°Ð±Ð¾Ñĩе":126210,"ĠÐłÐ°ÑĦаÑįл":126211,"ĠÐłÐ¾Ð´Ð¸Ð½Ñĭ":126212,"ĠСакÑģон":126213,"ĠСимвол":126214,"ĠСкажем":126215,"ĠСоздан":126216,"ĠСоÑĤÑĢÑĥд":126217,"ĠСÑĤаÑĢик":126218,"ĠСÑĤÑĥден":126219,"ĠТаллин":126220,"ĠТиÑħого":126221,"ĠТомаÑģа":126222,"ĠТÑĢеÑĤÑĮÑı":126223,"ĠФеликÑģ":126224,"ĠФеодоÑĢ":126225,"ĠФÑĢанко":126226,"ĠЦезаÑĢÑĮ":126227,"ĠЦезаÑĢÑı":126228,"ĠЧикаго":126229,"ĠЧиÑģлен":126230,"ĠÐŃкипаж":126231,"ĠÐŃÑĦÑĦекÑĤ":126232,"ĠалгебÑĢ":126233,"ĠалÑħими":126234,"ĠапÑĢелÑĮ":126235,"ĠаÑĤÑĤеÑģÑĤ":126236,"ĠбанкиÑĢ":126237,"ĠбилеÑĤÑĭ":126238,"Ġблизка":126239,"Ġблизки":126240,"ĠбогаÑĤо":126241,"ĠбогаÑĤÑĭ":126242,"Ġбоевом":126243,"ĠболоÑĤа":126244,"ĠбÑĥдÑĮÑĤе":126245,"ĠбÑĥкÑģиÑĢ":126246,"ĠбÑĭвали":126247,"ĠбÑĭвÑĪаÑı":126248,"Ġвагона":126249,"ĠвалÑİÑĤÑĭ":126250,"ĠвампиÑĢ":126251,"Ġведомо":126252,"ĠвелаÑģÑĮ":126253,"ĠвелиÑģÑĮ":126254,"ĠвеÑĢнÑĭй":126255,"ĠвеÑĢÑħом":126256,"ĠвеÑĤÑĢом":126257,"ĠвеÑīами":126258,"ĠвзлеÑĤа":126259,"ĠвзÑıлÑģÑı":126260,"ĠвлиÑıÑĤÑĮ":126261,"ĠвнедÑĢÑı":126262,"ĠвнÑĥÑĪен":126263,"ĠвозлÑİб":126264,"ĠвозÑĢоÑģ":126265,"ĠвозÑĮмÑĥ":126266,"ĠвоплоÑĤ":126267,"ĠвпÑĢедÑĮ":126268,"ĠвÑĢаÑĤаÑĢ":126269,"ĠвÑĢÑĥÑĩил":126270,"ĠвÑģплÑĭв":126271,"ĠвÑģпÑĭÑĪк":126272,"ĠвÑĭгодÑĭ":126273,"ĠвÑĭдаеÑĤ":126274,"ĠвÑĭдаÑĩи":126275,"ĠвÑĭÑĢази":126276,"ĠвÑĭÑģÑĪий":126277,"ĠгалеÑĢе":126278,"ĠглинÑıн":126279,"Ġгнезда":126280,"ĠговоÑĢи":126281,"ĠгоÑĢной":126282,"ĠгоÑĢнÑĭе":126283,"ĠгоÑĢÑıÑĩо":126284,"ĠгÑĢавÑİÑĢ":126285,"ĠгÑĢеÑħов":126286,"ĠгÑĢибов":126287,"ĠгÑĢозил":126288,"ĠгÑĢоÑħоÑĤ":126289,"ĠгÑĥÑģÑĤой":126290,"Ġдавало":126291,"ĠдалÑĮно":126292,"ĠдвеÑĢÑĮÑİ":126293,"ĠдвеÑģÑĤи":126294,"ĠдеклаÑĢ":126295,"ĠдекÑĢеÑĤ":126296,"ĠдеÑģпоÑĤ":126297,"ĠдикÑĤаÑĤ":126298,"ĠдобÑĢÑĭÑħ":126299,"ĠдобÑĭÑĩа":126300,"ĠдÑĢÑĥжба":126301,"ĠдÑĭÑĪаÑĤÑĮ":126302,"ĠединÑĥÑİ":126303,"ĠединÑĭм":126304,"ĠездиÑĤÑĮ":126305,"Ġжеланн":126306,"ĠживоÑĤа":126307,"Ġжилого":126308,"ĠзаказÑĥ":126309,"ĠзакÑĢÑĭв":126310,"Ġзаливе":126311,"Ġзамена":126312,"ĠзаÑĢÑıжа":126313,"ĠзаÑģлон":126314,"ĠзаÑıвки":126315,"ĠзаÑıвкÑĥ":126316,"ĠзвеÑĢей":126317,"ĠзвониÑĤ":126318,"Ġзвонки":126319,"ĠземлÑıн":126320,"ĠзловеÑī":126321,"Ġзоолог":126322,"ĠзÑĢелиÑī":126323,"ĠзÑĥбами":126324,"ĠиезÑĥиÑĤ":126325,"ĠизмелÑĮ":126326,"ĠиммÑĥно":126327,"ĠиÑģпÑĭÑĤа":126328,"ĠиÑģпÑĭÑĤÑĥ":126329,"ĠиÑģÑĤине":126330,"ĠкабинÑĭ":126331,"Ġказенн":126332,"Ġказнен":126333,"ĠкаковÑĭ":126334,"Ġкамнем":126335,"Ġкапелл":126336,"ĠкапиÑĤÑĥ":126337,"ĠкапÑĢиз":126338,"ĠкаÑĢаÑĥл":126339,"ĠкаÑĢкаÑģ":126340,"ĠкаÑĢÑĤон":126341,"ĠкаÑĤÑĥÑĪк":126342,"ĠкивнÑĥл":126343,"ĠкладÑĥÑĤ":126344,"Ġкнижки":126345,"ĠкнÑıгин":126346,"ĠковаÑĢн":126347,"ĠконÑĦеÑĤ":126348,"ĠконÑĨом":126349,"ĠкоÑĢмов":126350,"ĠкоÑĢнев":126351,"ĠкоÑĢней":126352,"ĠкÑĢеÑģла":126353,"ĠкÑĢолик":126354,"ĠкÑĢÑĥжка":126355,"ĠкÑĥлÑĮÑĤа":126356,"ĠлайнеÑĢ":126357,"ĠлежаÑĤÑĮ":126358,"ĠлекÑĨий":126359,"ĠлеÑģнÑĭÑħ":126360,"ĠлеÑĩиÑĤÑĮ":126361,"Ġлинией":126362,"ĠлинкоÑĢ":126363,"ĠлиÑĩнÑĥÑİ":126364,"ĠлиÑĪенÑĭ":126365,"ĠлиÑĪний":126366,"Ġлогике":126367,"ĠлогикÑĥ":126368,"ĠломÑĤик":126369,"ĠлÑĥÑĩÑĪаÑı":126370,"ĠмандаÑĤ":126371,"ĠманеÑĢе":126372,"ĠмеÑģÑĤеÑĩ":126373,"ĠмеÑĤеоÑĢ":126374,"ĠмеÑĤÑĢик":126375,"ĠмеÑĩеÑĤи":126376,"ĠмикÑĢоÑĢ":126377,"ĠмиÑĢное":126378,"ĠмиÑģÑģиÑģ":126379,"ĠмиÑģÑģиÑı":126380,"Ġмогила":126381,"Ġмогиле":126382,"ĠмогилÑĥ":126383,"ĠмогилÑĭ":126384,"ĠмолÑĩал":126385,"ĠмоÑģÑĤик":126386,"ĠмоÑīнÑĭÑħ":126387,"ĠмÑĥндиÑĢ":126388,"ĠмÑĥÑģоÑĢа":126389,"ĠмÑıгким":126390,"ĠнабÑĢав":126391,"Ġнадежд":126392,"Ġнаивно":126393,"ĠнайдеÑĤ":126394,"ĠнайдÑĥÑĤ":126395,"Ġналево":126396,"ĠнаÑĤиÑģк":126397,"ĠнаÑĤÑĢиÑı":126398,"ĠнаÑĥÑĩил":126399,"Ġнеблаг":126400,"ĠнеделÑı":126401,"ĠнемÑĨам":126402,"ĠнеÑĢвно":126403,"ĠнизкиÑħ":126404,"ĠниÑĩÑĥÑĤÑĮ":126405,"ĠновоÑģÑĤ":126406,"ĠноÑĢмам":126407,"ĠноÑıбÑĢÑĮ":126408,"ĠнÑĥжнÑĥÑİ":126409,"ĠобиÑħод":126410,"Ġоблако":126411,"ĠобойÑĤи":126412,"ĠобÑĥÑĩал":126413,"ĠобÑĭÑĩаи":126414,"ĠобÑĭÑĩаÑı":126415,"ĠовоÑīей":126416,"ĠодаÑĢен":126417,"ĠодобÑĢÑı":126418,"ĠожидаÑı":126419,"ĠопÑĢоÑģа":126420,"ĠоÑĢбиÑĤе":126421,"ĠоÑĢбиÑĤÑĭ":126422,"ĠоÑģлабл":126423,"ĠоÑģобаÑı":126424,"ĠоÑģобей":126425,"ĠоÑģобен":126426,"ĠоÑģÑĤÑĢой":126427,"ĠоÑģÑĤÑĢÑĭе":126428,"ĠоÑģÑĤÑĢÑĭй":126429,"ĠоÑĤвагÑĥ":126430,"ĠоÑĤдаеÑĤ":126431,"ĠоÑĤдали":126432,"ĠоÑĤменÑĭ":126433,"ĠоÑĤнÑĭне":126434,"ĠоÑħÑĢанÑĥ":126435,"ĠоÑĨенок":126436,"ĠпалÑĮÑĤо":126437,"ĠпанелÑĮ":126438,"ĠпаÑĢолÑĮ":126439,"ĠпаÑģÑĤÑĥÑħ":126440,"ĠпевиÑĨа":126441,"ĠпеÑĩали":126442,"ĠпеÑīеÑĢÑĭ":126443,"ĠпикабÑĥ":126444,"ĠпикÑģел":126445,"ĠпилоÑĤа":126446,"Ġплагин":126447,"Ġпланом":126448,"ĠплаÑĤÑĮÑı":126449,"ĠплоÑĤин":126450,"Ġпневмо":126451,"ĠпогÑĢом":126452,"ĠподÑĢаж":126453,"ĠподÑĢÑĥг":126454,"ĠподÑĩÑijÑĢ":126455,"Ġпозвал":126456,"Ġпоздне":126457,"Ġпоймал":126458,"Ġпокида":126459,"ĠполеÑĤÑĭ":126460,"ĠполнÑĭе":126461,"Ġпопало":126462,"ĠпоÑĢоге":126463,"ĠпоÑĢÑĤов":126464,"ĠпоÑģÑĥдÑĥ":126465,"ĠпоÑįÑĤом":126466,"ĠпоÑıÑģнÑı":126467,"ĠпÑĢавде":126468,"ĠпÑĢимÑĥÑĤ":126469,"ĠпÑĢиÑĩал":126470,"ĠпÑĢобел":126471,"ĠпÑĢомаÑħ":126472,"ĠпÑĢоÑģÑıÑĤ":126473,"ĠпÑĢоÑĤок":126474,"ĠпÑĢоÑĩел":126475,"ĠпÑĢÑıмаÑı":126476,"ĠпÑĥÑģков":126477,"ĠпÑĥÑģÑĤÑĭм":126478,"ĠпÑĥÑĤÑıми":126479,"ĠпÑıÑĤого":126480,"ĠÑĢаввин":126481,"ĠÑĢазбив":126482,"ĠÑĢазвÑıз":126483,"ĠÑĢазгон":126484,"ĠÑĢаÑģпиÑģ":126485,"ĠÑĢаÑģÑīеп":126486,"ĠÑĢаÑĥнда":126487,"ĠÑĢеабил":126488,"ĠÑĢедкие":126489,"ĠÑĢедким":126490,"ĠÑĢееÑģÑĤÑĢ":126491,"ĠÑĢезким":126492,"ĠÑĢеÑĩной":126493,"ĠÑĢимÑģко":126494,"ĠÑĢодинÑĭ":126495,"ĠÑĢоднÑĭм":126496,"ĠÑĢÑĥбежа":126497,"ĠÑĢÑĥдник":126498,"ĠÑĢÑĥÑħнÑĥл":126499,"ĠÑĢÑĭнкаÑħ":126500,"ĠÑģаммиÑĤ":126501,"ĠÑģбежал":126502,"ĠÑģближа":126503,"ĠÑģвадеб":126504,"ĠÑģвеÑĢÑħÑĬ":126505,"ĠÑģвеÑģÑĤи":126506,"ĠÑģвÑıÑĤÑĭм":126507,"ĠÑģделка":126508,"ĠÑģделок":126509,"ĠÑģенÑĮоÑĢ":126510,"ĠÑģидела":126511,"ĠÑģилÑĥÑįÑĤ":126512,"ĠÑģкажÑĥÑĤ":126513,"ĠÑģклонÑı":126514,"ĠÑģкоÑĢом":126515,"ĠÑģлабее":126516,"ĠÑģлабÑĭй":126517,"ĠÑģлабÑĭÑħ":126518,"ĠÑģледиÑĤ":126519,"ĠÑģледÑĥÑı":126520,"ĠÑģломал":126521,"ĠÑģлÑĥÑħов":126522,"ĠÑģлÑĭÑĪно":126523,"ĠÑģмÑĥÑīен":126524,"ĠÑģолиÑģÑĤ":126525,"ĠÑģоÑĢÑĤов":126526,"ĠÑģоÑģеди":126527,"ĠÑģоÑģлов":126528,"ĠÑģоÑģÑĥдÑĭ":126529,"ĠÑģпеÑĪил":126530,"ĠÑģпикеÑĢ":126531,"ĠÑģплоÑĪÑĮ":126532,"ĠÑģÑĢедой":126533,"ĠÑģÑĢоков":126534,"ĠÑģÑĤавкÑĥ":126535,"ĠÑģÑĤадиÑı":126536,"ĠÑģÑĤаниÑĨ":126537,"ĠÑģÑĤаÑĢое":126538,"ĠÑģÑĤаÑĢÑĥÑİ":126539,"ĠÑģÑĤаÑĤÑĥи":126540,"ĠÑģÑĤаÑĤÑĥÑı":126541,"ĠÑģÑĤеной":126542,"ĠÑģÑĤеÑĢжн":126543,"ĠÑģÑĤÑĢоке":126544,"ĠÑģÑĤÑĢокÑĥ":126545,"ĠÑģÑĥевеÑĢ":126546,"ĠÑģÑĩеÑĤов":126547,"ĠÑģÑĬемки":126548,"ĠÑģÑĭгÑĢав":126549,"ĠÑĤвоÑĢиÑĤ":126550,"ĠÑĤекÑģÑĤÑĥ":126551,"ĠÑĤеоÑĢем":126552,"ĠÑĤеплой":126553,"ĠÑĤеÑĢÑĢаÑģ":126554,"ĠÑĤонкий":126555,"ĠÑĤоÑĩнÑĭм":126556,"ĠÑĤÑĢапез":126557,"ĠÑĤÑĢаÑģÑģе":126558,"ĠÑĤÑĢаÑģÑģÑĭ":126559,"ĠÑĤÑĢеÑĤÑĮÑİ":126560,"ĠÑĤÑĢÑĥбки":126561,"ĠÑĤÑĥÑĢбин":126562,"ĠÑĤÑİÑĢÑĮма":126563,"ĠÑĥбийÑĨа":126564,"ĠÑĥвидиÑĤ":126565,"ĠÑĥдалил":126566,"ĠÑĥдобнÑĭ":126567,"ĠÑĥзнаем":126568,"ĠÑĥзнала":126569,"ĠÑĥмениÑı":126570,"ĠÑĥмеÑĢли":126571,"ĠÑĥÑĢаган":126572,"ĠÑĥÑĢовни":126573,"ĠÑĥÑĢожаÑı":126574,"ĠÑĥÑģпела":126575,"ĠÑĥÑģÑĥгÑĥб":126576,"ĠÑĥÑĩаÑģÑĤÑĮ":126577,"ĠÑĥÑĩений":126578,"ĠÑĥÑĩÑijÑĤом":126579,"ĠÑĦамили":126580,"ĠÑĦаÑĢÑĦоÑĢ":126581,"ĠÑĦигÑĥÑĢÑĥ":126582,"ĠÑĦлоÑĤом":126583,"ĠÑĦÑĢегаÑĤ":126584,"ĠÑĦÑĢÑĥкÑĤÑĭ":126585,"ĠÑħвоÑģÑĤа":126586,"ĠÑħлопоÑĤ":126587,"ĠÑħолода":126588,"ĠÑħÑĢанил":126589,"ĠÑħÑĢаниÑĤ":126590,"ĠÑĨвеÑĤок":126591,"ĠÑĨелÑıми":126592,"ĠÑĨеменÑĤ":126593,"ĠÑĨеннÑĭм":126594,"ĠÑĩаÑģами":126595,"ĠÑĩаÑģÑĤно":126596,"ĠÑĩекиÑģÑĤ":126597,"ĠÑĩеÑĢнаÑı":126598,"ĠÑĩеÑĢÑĤой":126599,"ĠÑĩиÑģÑĤом":126600,"ĠÑĩиÑģÑĤÑĭм":126601,"ĠÑĩÑĤении":126602,"ĠÑĪанÑģов":126603,"ĠÑĪелков":126604,"ĠÑĪеÑĢÑģÑĤи":126605,"ĠÑĪеÑģÑĤой":126606,"ĠÑĪиÑĢинÑĥ":126607,"ĠÑĪÑĤаÑĤов":126608,"ĠÑįгоиÑģÑĤ":126609,"ĠÑįкзиÑģÑĤ":126610,"ĠÑįкÑģпоз":126611,"ĠÑįмблем":126612,"ĠÑįÑĤикеÑĤ":126613,"ĠÑİноÑĪей":126614,"ĠÑıнваÑĢÑĮ":126615,"ĠÑıпонÑĨÑĭ":126616,"ĠÑıÑĢоÑģÑĤÑĮ":126617,"ĠÑıÑĩейки":126618,"ÐĴоÑģкÑĢеÑģ":126619,"ÐĵамбÑĥÑĢг":126620,"ÐĹапоÑĢож":126621,"ÐŁÐ¾Ð²ÐµÑģÑĤÑĮ":126622,"ÐŁÐ¾ÑĢÑĤÑĢеÑĤ":126623,"ÐłÑĥÑģÑģкий":126624,"СвÑıÑīенн":126625,"СегоднÑı":126626,"ТиÑħооке":126627,"авловÑģк":126628,"акÑĤивно":126629,"алиÑģÑĤиÑĩ":126630,"ановÑīик":126631,"аÑĤивнаÑı":126632,"аÑĤивнÑĭй":126633,"болÑĮÑĪой":126634,"бÑĢалиÑģÑĮ":126635,"бÑĢоÑģиÑĤÑĮ":126636,"валилÑģÑı":126637,"видениÑı":126638,"давлива":126639,"дневной":126640,"докÑĤÑĢин":126641,"доподоб":126642,"енапÑĢав":126643,"еÑĨеденÑĤ":126644,"иваÑİÑīиÑħ":126645,"ивноÑģÑĤи":126646,"извеÑģÑĤн":126647,"изоваÑĤÑĮ":126648,"иÑĢÑĥÑİÑīей":126649,"иÑģÑĤÑģкаÑı":126650,"иÑģÑĤÑģкие":126651,"иÑģÑĤÑģкиÑħ":126652,"иÑģÑĥÑĤÑģÑĤв":126653,"капиÑĤан":126654,"кнÑıжеÑģк":126655,"ковÑģкой":126656,"конкÑĢеÑĤ":126657,"коÑĢÑĢекÑĤ":126658,"коÑĤоÑĢÑĭй":126659,"кÑĢаÑģиÑĤÑĮ":126660,"кÑĢÑĭваем":126661,"ленÑĩеÑģк":126662,"ливаниÑı":126663,"магазин":126664,"меÑĤаÑĦиз":126665,"меÑħаник":126666,"меÑĪайÑĤе":126667,"миллион":126668,"молÑĩаÑĤÑĮ":126669,"моÑĢÑģкиÑħ":126670,"наивÑĭÑģÑĪ":126671,"неполиÑĤ":126672,"ованной":126673,"овÑĤоÑĢим":126674,"овÑĭваÑĤÑĮ":126675,"оглаÑģно":126676,"огÑĢаниÑĩ":126677,"одиÑĤели":126678,"ождений":126679,"ознаниÑı":126680,"окиÑģлоÑĤ":126681,"омÑĭÑĪлен":126682,"онÑĤолог":126683,"ополÑĥÑĩн":126684,"опÑĥÑĤÑģÑĤв":126685,"оÑģÑģийÑģк":126686,"падение":126687,"пиÑģÑĭваÑı":126688,"плаÑģÑĤик":126689,"пÑĢедваÑĢ":126690,"пÑĢеделÑĮ":126691,"пÑĢиÑıÑĤиÑı":126692,"пÑĢÑĭгнÑĥл":126693,"пÑĢÑıÑĤаÑĤÑĮ":126694,"пÑĥÑģÑĤиÑĤе":126695,"ÑĢабоÑĤкÑĥ":126696,"ÑĢабоÑĤок":126697,"ÑĢазведк":126698,"ÑĢаздÑĢаж":126699,"ÑĢайÑĤеÑģÑĮ":126700,"ÑĢаÑģÑģÑĥдк":126701,"ÑĢеалиÑģÑĤ":126702,"ÑĢиÑĩеÑģки":126703,"ÑĢÑĥÑģÑģкий":126704,"ÑģказÑĥем":126705,"ÑģледÑĥеÑĤ":126706,"ÑģÑĢедÑģÑĤв":126707,"ÑģÑĤиÑĩеÑģк":126708,"ÑģÑĤойÑĩив":126709,"ÑģÑĤоÑıÑīей":126710,"ÑģÑĤоÑıÑīие":126711,"ÑģÑĤÑĥпиÑĤÑĮ":126712,"ÑĤенбеÑĢг":126713,"ÑĤивного":126714,"ÑĥглеÑĢод":126715,"ÑĥÑĢалÑĮÑģк":126716,"ÑĦанÑĤаÑģÑĤ":126717,"ÑħодÑıÑīем":126718,"ÑħодÑıÑīÑĥÑİ":126719,"Ñħолдинг":126720,"ÑĨионнÑĭе":126721,"ÑĨионнÑĭй":126722,"ÑĩивоÑģÑĤÑĮ":126723,"ÑĩиÑģÑĤиÑĤÑĮ":126724,"ÑĩиÑĤÑĭвал":126725,"ÑĬединен":126726,"Ñıвление":126727,"Ġcommuni":126728,"ĠÐIJбÑģолÑİÑĤ":126729,"ĠÐIJнÑĤонов":126730,"ĠÐIJÑĢкадий":126731,"ĠÐIJÑĢмÑıнÑģк":126732,"ĠÐijаÑĢанов":126733,"ĠÐijелгÑĢад":126734,"ĠÐijеÑĢезов":126735,"ĠÐijеÑĢнаÑĢд":126736,"ĠÐijиблиоÑĤ":126737,"ĠÐĴалÑĮÑĤеÑĢ":126738,"ĠÐĴаÑĢÑĪаве":126739,"ĠÐĴаÑĤикан":126740,"ĠÐĴенеÑĨии":126741,"ĠÐĴикипед":126742,"ĠÐĴопÑĢоÑģÑĭ":126743,"ĠÐĵлавнÑĭе":126744,"ĠÐĵовоÑĢил":126745,"ĠÐĵовоÑĢиÑĤ":126746,"ĠÐĵолиÑĨÑĭн":126747,"ĠÐĵонконг":126748,"ĠÐĵоÑĢÑĮкий":126749,"ĠÐĶавÑĭдов":126750,"ĠÐĶалÑĮнем":126751,"ĠÐĶанилов":126752,"ĠÐĶжеймÑģа":126753,"ĠÐĶжоÑĢджа":126754,"ĠÐĶимиÑĤÑĢи":126755,"ĠÐķÑĦÑĢемов":126756,"ĠÐĹаконом":126757,"ĠÐĹападно":126758,"ĠÐĹаÑħаÑĢов":126759,"ĠÐĺбÑĢагим":126760,"ĠÐĺмееÑĤÑģÑı":126761,"ĠÐĺмпеÑĢии":126762,"ĠÐļаÑĢÑĤина":126763,"ĠÐļÑĢиÑģÑĤин":126764,"ĠÐļÑĥÑĢÑģкой":126765,"ĠÐĽÑİдмила":126766,"ĠÐľÐ°Ð»ÑĮÑĩик":126767,"ĠÐľÐ¸ÑĢовой":126768,"ĠÐľÐ¸ÑĢонов":126769,"ĠÐľÐ¾Ð»Ð¾Ð´Ð¾Ð¹":126770,"ĠÐľÑĥжÑĩина":126771,"ĠÐĿадежда":126772,"ĠÐĿалиÑĩие":126773,"ĠÐĿикиÑĤин":126774,"ĠÐĿикиÑĦоÑĢ":126775,"ĠÐĿовиков":126776,"ĠÐŀкÑģÑĦоÑĢд":126777,"ĠÐŀпÑĢедел":126778,"ĠÐŀÑĤмеÑĤим":126779,"ĠÐŁÐ»Ð°ÑĤона":126780,"ĠÐŁÐ¾Ð½ÑıÑĤие":126781,"ĠÐŁÑĢоÑĤиво":126782,"ĠÐłÐµÐ±ÐµÐ½Ð¾Ðº":126783,"ĠСлиÑĪком":126784,"ĠСÑĤамбÑĥл":126785,"ĠСÑĥвоÑĢов":126786,"ĠТаблиÑĨа":126787,"ĠТаиланд":126788,"ĠТбилиÑģи":126789,"ĠУилÑĮÑıма":126790,"ĠУилÑĮÑıмÑģ":126791,"ĠУÑĢовенÑĮ":126792,"ĠЧеÑĢного":126793,"ĠШекÑģпиÑĢ":126794,"ĠШолоÑħов":126795,"ĠагенÑĤÑĥÑĢ":126796,"ĠакÑĤеÑĢов":126797,"ĠакÑĤÑĢиÑģÑĭ":126798,"ĠанализÑĥ":126799,"ĠанÑĤÑĢопо":126800,"ĠаÑĢÑħиеÑĢе":126801,"ĠбаланÑģа":126802,"ĠбаÑĤаÑĢеÑı":126803,"ĠбезÑĥмно":126804,"ĠбеÑģÑģпоÑĢ":126805,"Ġблизкий":126806,"ĠбогаÑĤой":126807,"ĠболÑĮнÑĭе":126808,"ĠболÑĮÑĪий":126809,"ĠбомбаÑĢд":126810,"ĠбоÑĢÑĮбой":126811,"ĠбоÑĤаник":126812,"ĠбоÑıлиÑģÑĮ":126813,"ĠбÑĢоÑģаеÑĤ":126814,"ĠбÑĥквами":126815,"ĠбÑĥÑĤÑĭлки":126816,"ĠбÑĥÑĤÑĭлкÑĥ":126817,"ĠважнÑĭми":126818,"ĠвведенÑĭ":126819,"ĠведÑĥÑīей":126820,"ĠвелиÑĩие":126821,"ĠвеÑĢблÑİд":126822,"ĠвеÑĢÑħний":126823,"ĠвеÑĢÑĪина":126824,"ĠвеÑģенне":126825,"ĠвнедÑĢен":126826,"Ġвнезапн":126827,"ĠвнеÑĪнÑİÑİ":126828,"Ġводопад":126829,"ĠводоÑĢод":126830,"Ġвоевода":126831,"Ġвоздвиг":126832,"ĠвозмÑĥÑĤи":126833,"ĠвозмÑĥÑīа":126834,"ĠвозÑĢоди":126835,"ĠвозÑĮмеÑĤ":126836,"Ġволокна":126837,"Ġволокон":126838,"ĠвÑĢагами":126839,"ĠвÑģеÑĨело":126840,"ĠвÑĤоÑĢомÑĥ":126841,"ĠвÑĭводиÑĤ":126842,"ĠвÑĭдавал":126843,"ĠвÑĭигÑĢав":126844,"ĠвÑĭклÑİÑĩа":126845,"ĠвÑĭнеÑģÑĤи":126846,"ĠвÑĭнÑĥжда":126847,"ĠвÑĭÑĢаÑģÑĤи":126848,"ĠвÑĭÑĢоÑģли":126849,"ĠвÑĭÑģказа":126850,"ĠвÑĭÑĤаÑīил":126851,"ĠгалеÑĢеÑı":126852,"ĠгоÑĢодка":126853,"ĠгоÑĢÑıÑĩим":126854,"ĠгоÑĤовил":126855,"ĠгоÑĤовÑĭе":126856,"ĠгоÑĤовÑĭй":126857,"ĠгоÑĤовÑĭÑħ":126858,"ĠгÑĢаÑĦики":126859,"ĠгÑĢÑĥппаÑħ":126860,"ĠгÑĥÑģениÑĨ":126861,"ĠдевоÑĩкÑĥ":126862,"ĠдевÑĥÑĪке":126863,"Ġделовой":126864,"ĠдеÑĢжали":126865,"ĠдеÑģÑıÑĤин":126866,"ĠдеÑģÑıÑĤок":126867,"ĠдеÑĤалÑıÑħ":126868,"ĠдеÑĤÑģком":126869,"ĠдивизиÑİ":126870,"Ġдизайна":126871,"ĠдиÑĢижÑijÑĢ":126872,"ĠдиÑģкÑĢим":126873,"ĠдиÑģкÑĥÑĢÑģ":126874,"ĠдлиннÑĭÑħ":126875,"Ġдобавив":126876,"ĠдобÑĢого":126877,"Ġдолгого":126878,"Ġдолжник":126879,"ĠдополнÑı":126880,"ĠдоÑĢогам":126881,"ĠдоÑĢогаÑħ":126882,"ĠдоÑĢожно":126883,"ĠдоÑħодиÑĤ":126884,"ĠдÑĢайвеÑĢ":126885,"ĠдÑĥмаеÑĪÑĮ":126886,"ĠединиÑĨÑĥ":126887,"ĠемкоÑģÑĤÑĮ":126888,"Ġжеланий":126889,"ĠженÑģкие":126890,"ĠжÑĥÑĢналÑĭ":126891,"ĠзабÑĢаÑĤÑĮ":126892,"ĠзавиÑģÑıÑī":126893,"ĠзадÑĥмал":126894,"ĠзамедлÑı":126895,"ĠзамÑĥжем":126896,"ĠзамÑĭÑģел":126897,"ĠзамÑĭÑģла":126898,"ĠзапиÑģки":126899,"ĠзапиÑģкÑĥ":126900,"ĠзапÑĥÑĤан":126901,"ĠзаÑĢажен":126902,"ĠзаÑĢодÑĭÑĪ":126903,"ĠзаÑĢÑıжен":126904,"ĠзаÑģлÑĥга":126905,"ĠзаÑīиÑĤой":126906,"ĠзаÑıвиÑĤÑĮ":126907,"Ġзвездой":126908,"Ġзнамени":126909,"Ġзнанием":126910,"ĠзоопаÑĢк":126911,"ĠзÑĢиÑĤели":126912,"ĠигÑĢÑĥÑĪки":126913,"ĠизвлеÑĩÑĮ":126914,"ĠизÑĥÑĩаеÑĤ":126915,"ĠимевÑĪиÑħ":126916,"ĠимеÑİÑīей":126917,"ĠиндейÑģк":126918,"ĠиниÑĨиал":126919,"ĠиÑģкÑĥÑĪен":126920,"ĠиÑģÑĤÑĢеби":126921,"ĠиÑģÑħодил":126922,"ĠиÑģÑħодиÑĤ":126923,"ĠиÑģÑĩезла":126924,"ĠказалÑģÑı":126925,"ĠкаÑĢаван":126926,"ĠкаÑĢмана":126927,"ĠкаÑĢмане":126928,"ĠкаÑĦедÑĢе":126929,"ĠкеÑĢамик":126930,"ĠкипениÑı":126931,"ĠкиÑģлоÑĤа":126932,"ĠклиенÑĤÑĭ":126933,"ĠколенÑıÑħ":126934,"Ġкомбина":126935,"Ġкомедий":126936,"ĠкомедиÑı":126937,"ĠконденÑģ":126938,"ĠконкÑĥÑĢи":126939,"ĠконÑģоли":126940,"ĠкоÑĢолÑijм":126941,"ĠкоÑģмоÑģе":126942,"ĠкÑĢедиÑĤа":126943,"ĠкÑĢеÑģÑĤом":126944,"ĠкÑĢиÑĤеÑĢи":126945,"ĠкÑĢиÑĩаÑĤÑĮ":126946,"ĠкÑĢоÑħоÑĤн":126947,"ĠкÑĢÑĥпное":126948,"ĠкÑĢÑĥпном":126949,"ĠкÑĢÑĭлÑĮев":126950,"ĠкÑĢÑĭÑĪкой":126951,"ĠкÑĥлинаÑĢ":126952,"ĠкÑĥлÑĮÑĤов":126953,"ĠкÑĥÑĢÑģанÑĤ":126954,"ĠкÑĥÑģоÑĩек":126955,"ĠкÑĥÑģоÑĩки":126956,"ĠлагеÑĢей":126957,"ĠлагеÑĢÑıÑħ":126958,"ĠлеÑĩебно":126959,"ĠлиÑĨемеÑĢ":126960,"ĠлогиÑĩно":126961,"ĠлÑĥковиÑĨ":126962,"ĠлÑĥÑĩÑĪемÑĥ":126963,"ĠлÑİбезно":126964,"ĠлÑİбимÑĭÑħ":126965,"ĠлÑİбовно":126966,"ĠмаÑĢÑĪала":126967,"ĠмаÑģÑģива":126968,"ĠмаÑĪиной":126969,"Ġмедалей":126970,"ĠменÑĮÑĪим":126971,"ĠмеÑģÑĤном":126972,"ĠмладÑĪим":126973,"Ġмнением":126974,"Ġмолоком":126975,"ĠмолоÑĩно":126976,"Ġмонолог":126977,"ĠмоÑĢковÑĮ":126978,"ĠмоÑĤивов":126979,"ĠмÑĥÑĩеник":126980,"ĠмÑĭÑģлиÑĤÑĮ":126981,"ĠмÑĭÑģлÑıми":126982,"ĠнавеÑĢно":126983,"ĠнавеÑĢÑħÑĥ":126984,"ĠнагÑĢада":126985,"ĠнадеÑıÑģÑĮ":126986,"Ġнадобно":126987,"ĠназванÑĭ":126988,"ĠнанеÑģли":126989,"Ġнаполни":126990,"ĠнаÑĥÑĩиÑĤÑĮ":126991,"ĠнаÑĥÑĩнаÑı":126992,"ĠнаÑĥÑĩнÑĥÑİ":126993,"ĠнаÑħодки":126994,"ĠнаÑĨелен":126995,"ĠнаÑĩинаÑİ":126996,"Ġневажно":126997,"Ġневелик":126998,"ĠнедовеÑĢ":126999,"Ġнеловко":127000,"ĠнеÑģпÑĢав":127001,"ĠнеÑĥдаÑĩÑĥ":127002,"Ġнижнего":127003,"Ġнизкого":127004,"Ġникакие":127005,"ĠноваÑĤоÑĢ":127006,"ĠномеÑĢов":127007,"Ġноминал":127008,"Ġобвинил":127009,"ĠобеÑīаеÑĤ":127010,"ĠобилÑĮно":127011,"ĠоблегÑĩа":127012,"ĠобÑĢазÑĥÑı":127013,"ĠобÑĢаÑĤим":127014,"ĠобÑĢеÑģÑĤи":127015,"ĠобÑģÑĤоиÑĤ":127016,"ĠобÑĭÑĩнаÑı":127017,"ĠобÑıзÑĭва":127018,"Ġовладев":127019,"ĠодеÑĢжим":127020,"Ġожидали":127021,"ĠопиÑģанÑĭ":127022,"ĠоÑģознал":127023,"ĠоÑģознан":127024,"ĠоÑĤделен":127025,"ĠоÑĤделов":127026,"ĠоÑĤказал":127027,"ĠоÑĤкÑĢоеÑĤ":127028,"ĠоÑĤменил":127029,"ĠоÑĤпÑĥÑīен":127030,"ĠоÑĤÑĢазил":127031,"ĠоÑĤÑĢаÑģлÑĮ":127032,"ĠоÑĤÑĢÑıдом":127033,"ĠоÑĤÑĤенок":127034,"ĠоÑĤÑħодов":127035,"ĠоÑĤÑĬезда":127036,"ĠоÑħваÑĤил":127037,"ĠоÑħваÑĩен":127038,"ĠоÑħоÑĤниÑĩ":127039,"ĠоÑĪибкой":127040,"ĠпаÑģÑĤбиÑī":127041,"ĠпеÑĢевел":127042,"ĠпеÑĢелеÑĤ":127043,"ĠпеÑĢÑĩаÑĤк":127044,"ĠпианиÑģÑĤ":127045,"ĠпилоÑĤов":127046,"ĠпиÑģÑĮмаÑħ":127047,"ĠпиÑģÑĮмом":127048,"ĠпиÑīеваÑĢ":127049,"ĠпиÑīевой":127050,"Ġпламени":127051,"ĠпланеÑĤÑĥ":127052,"ĠплоÑħого":127053,"Ġпоближе":127054,"Ġповодом":127055,"ĠповÑĭÑģил":127056,"ĠпогÑĢани":127057,"ĠподнÑıли":127058,"Ġподобие":127059,"ĠподоÑĪла":127060,"ĠподпиÑģÑĮ":127061,"ĠподполÑĮ":127062,"ĠподÑħодÑĭ":127063,"ĠподÑĬема":127064,"Ġпоединк":127065,"ĠпоездкÑĥ":127066,"Ġпоездов":127067,"ĠпоеÑħаÑĤÑĮ":127068,"ĠпоздниÑħ":127069,"ĠпоймаÑĤÑĮ":127070,"ĠпокÑĥпке":127071,"ĠпокÑĥпкÑĥ":127072,"ĠполагаÑı":127073,"Ġполевой":127074,"ĠполевÑĭÑħ":127075,"ĠполимеÑĢ":127076,"Ġполовин":127077,"ĠполоÑĤен":127078,"ĠполоÑĤна":127079,"ĠполÑİбил":127080,"ĠполÑıков":127081,"Ġпомогла":127082,"Ġпополам":127083,"ĠпоÑģелке":127084,"ĠпоÑģеÑĤиÑĤ":127085,"ĠпоÑģобие":127086,"ĠпоÑģобиÑı":127087,"ĠпоÑģÑĭлал":127088,"ĠпоÑĤеÑĢÑıв":127089,"ĠпоÑĤоком":127090,"ĠпоÑĤолок":127091,"ĠпоÑĤомки":127092,"ĠпоÑĤÑĢÑıÑģа":127093,"ĠпоÑħожие":127094,"ĠпоÑħожий":127095,"ĠпоÑħожим":127096,"ĠпÑĢавами":127097,"ĠпÑĢаведн":127098,"ĠпÑĢедвид":127099,"ĠпÑĢеждев":127100,"ĠпÑĢежнее":127101,"ĠпÑĢежним":127102,"ĠпÑĢезенÑĤ":127103,"ĠпÑĢезиÑĢа":127104,"ĠпÑĢеÑĢвал":127105,"ĠпÑĢеÑĦекÑĤ":127106,"ĠпÑĢибоÑĢа":127107,"ĠпÑĢиезда":127108,"ĠпÑĢиказÑĭ":127109,"ĠпÑĢимиÑĢи":127110,"ĠпÑĢимÑĭка":127111,"ĠпÑĢинÑĤеÑĢ":127112,"ĠпÑĢиÑĢоÑģÑĤ":127113,"ĠпÑĢиÑģÑĥÑīе":127114,"ĠпÑĢовожа":127115,"ĠпÑĢойден":127116,"ĠпÑĢойдÑĥÑĤ":127117,"ĠпÑĢоÑĢока":127118,"ĠпÑĢоÑģлеж":127119,"ĠпÑĢоÑĪлÑĭм":127120,"ĠпÑĢоÑĪлÑĭÑħ":127121,"ĠпÑĥнкÑĤаÑħ":127122,"ĠÑĢабоÑĤаÑİ":127123,"ĠÑĢабоÑĤаÑı":127124,"ĠÑĢабоÑĩее":127125,"ĠÑĢабÑģÑĤво":127126,"ĠÑĢазбиÑĤÑĮ":127127,"ĠÑĢазвиÑĤа":127128,"ĠÑĢазвиÑĤо":127129,"ĠÑĢазмеÑĢÑĥ":127130,"ĠÑĢазниÑĨÑĥ":127131,"ĠÑĢазниÑĨÑĭ":127132,"ĠÑĢазогÑĢе":127133,"ĠÑĢазÑĢази":127134,"ĠÑĢазÑĭгÑĢа":127135,"ĠÑĢаÑģÑģÑĭпа":127136,"ĠÑĢаÑģÑĩеÑĤÑĭ":127137,"ĠÑĢебÑijнок":127138,"ĠÑĢееÑģÑĤÑĢе":127139,"ĠÑĢеÑģÑĤавÑĢ":127140,"ĠÑĢимлÑıне":127141,"ĠÑĢимÑģкий":127142,"ĠÑĢимÑģкиÑħ":127143,"ĠÑĢиÑģовал":127144,"ĠÑĢиÑģÑĥнки":127145,"ĠÑĢÑĥкопиÑģ":127146,"ĠÑĢÑĥкоÑıÑĤк":127147,"ĠÑģвÑıзаÑĤÑĮ":127148,"ĠÑģделало":127149,"ĠÑģезонов":127150,"ĠÑģекÑĤоÑĢе":127151,"ĠÑģкажиÑĤе":127152,"ĠÑģкважин":127153,"ĠÑģклонаÑħ":127154,"ĠÑģклонен":127155,"ĠÑģлезами":127156,"ĠÑģлиÑıниÑı":127157,"ĠÑģловаÑĢÑı":127158,"ĠÑģложное":127159,"ĠÑģложнÑĥÑİ":127160,"ĠÑģмениÑĤÑĮ":127161,"ĠÑģнаÑĢÑıдÑĭ":127162,"ĠÑģнижаеÑĤ":127163,"ĠÑģоавÑĤоÑĢ":127164,"ĠÑģобиÑĢал":127165,"ĠÑģобÑĢали":127166,"ĠÑģовеÑĤом":127167,"ĠÑģовмеÑīа":127168,"ĠÑģозвезд":127169,"ĠÑģокÑĢаÑĤи":127170,"ĠÑģоÑģÑĤÑıза":127171,"ĠÑģоÑİзнÑĭÑħ":127172,"ĠÑģпекÑĤÑĢа":127173,"ĠÑģпонÑģоÑĢ":127174,"ĠÑģпоÑĢиÑĤÑĮ":127175,"ĠÑģпÑĢÑıÑĤал":127176,"ĠÑģпÑĢÑıÑĤан":127177,"ĠÑģÑĢавним":127178,"ĠÑģÑĢедним":127179,"ĠÑģÑĤаÑĢика":127180,"ĠÑģÑĤаÑĢÑĤап":127181,"ĠÑģÑĤаÑĤÑĮей":127182,"ĠÑģÑĤаÑĤÑĮÑıÑħ":127183,"ĠÑģÑĤенами":127184,"ĠÑģÑĤÑĢелка":127185,"ĠÑģÑĤÑĢелки":127186,"ĠÑģÑĤÑĢелÑıл":127187,"ĠÑģÑĥбÑģиди":127188,"ĠÑģÑĥдÑĮбой":127189,"ĠÑģÑİÑĢпÑĢиз":127190,"ĠÑĤаблеÑĤк":127191,"ĠÑĤаблиÑĨа":127192,"ĠÑĤаблиÑĨÑĥ":127193,"ĠÑĤеаÑĤÑĢов":127194,"ĠÑĤекÑĥÑīей":127195,"ĠÑĤекÑĥÑīий":127196,"ĠÑĤелеÑģно":127197,"ĠÑĤеоÑĢией":127198,"ĠÑĤеÑĢÑĢоÑĢа":127199,"ĠÑĤопоним":127200,"ĠÑĤÑĢанзиÑĤ":127201,"ĠÑĤÑĢанÑģли":127202,"ĠÑĤÑıжелое":127203,"ĠÑĥбежиÑīе":127204,"ĠÑĥгнеÑĤен":127205,"ĠÑĥгÑĢожал":127206,"ĠÑĥдаÑijÑĤÑģÑı":127207,"ĠÑĥдобнее":127208,"ĠÑĥкÑĢепил":127209,"ĠÑĥлÑĥÑĩÑĪил":127210,"ĠÑĥмеÑĢÑĪиÑħ":127211,"ĠÑĥÑģилиÑĤÑĮ":127212,"ĠÑĥÑģложнÑı":127213,"ĠÑĥÑģÑĤÑĢеми":127214,"ĠÑĥÑģÑĤÑĥпив":127215,"ĠÑĥÑĤвеÑĢди":127216,"ĠÑĥÑĩебнÑĭе":127217,"ĠÑĥÑĩенÑĭми":127218,"ĠÑĦавоÑĢиÑĤ":127219,"ĠÑĦигÑĥÑĢой":127220,"ĠÑĦикÑģаÑĨи":127221,"ĠÑĦоÑĢмами":127222,"ĠÑĦоÑĢмаÑĤа":127223,"ĠÑħозÑıйка":127224,"ĠÑħÑĥлиган":127225,"ĠÑĩеÑĢепаÑħ":127226,"ĠÑĩеÑĢÑĤами":127227,"ĠÑĩеÑĩенÑģк":127228,"ĠÑĪиÑĢокаÑı":127229,"ĠÑįпизоде":127230,"ĠÑįÑģÑĤонÑģк":127231,"ĠÑİгоÑģлав":127232,"ĠÑıвлÑıÑıÑģÑĮ":127233,"ĠÑıдеÑĢнÑĭÑħ":127234,"ĠÑıпонÑĨев":127235,"ÐIJнглийÑģк":127236,"ÐĺзвеÑģÑĤиÑı":127237,"ÐľÐµÐ¼Ð¾ÑĢиал":127238,"ÐŀÑĤеÑĩеÑģÑĤв":127239,"ÐŁÐ°Ð»ÐµÑģÑĤин":127240,"ÐŁÐµÑĢÑģидÑģк":127241,"ÐŁÑĢогÑĢеÑģÑģ":127242,"СбеÑĢбанк":127243,"СеÑĢебÑĢÑıн":127244,"ЧеÑĢномоÑĢ":127245,"акÑĤиÑĩеÑģк":127246,"беÑģконеÑĩ":127247,"биваеÑĤÑģÑı":127248,"биÑĢалиÑģÑĮ":127249,"биÑĢаÑİÑĤÑģÑı":127250,"бÑĢавÑĪиÑģÑĮ":127251,"веденнÑĭе":127252,"водилиÑģÑĮ":127253,"водилоÑģÑĮ":127254,"возможно":127255,"давалаÑģÑĮ":127256,"давалоÑģÑĮ":127257,"движение":127258,"деÑĢжание":127259,"дÑĥмÑĭваÑĤÑĮ":127260,"извеÑģÑĤно":127261,"ималÑĮнаÑı":127262,"иÑĢÑĥÑİÑīего":127263,"иÑģполком":127264,"иÑģÑĤоÑĩник":127265,"иÑģÑĤÑģкого":127266,"иÑĤелÑĮÑģÑĤв":127267,"каÑĢмлива":127268,"когниÑĤив":127269,"кÑĢеÑģÑĤÑĮÑıн":127270,"лагаеÑĤÑģÑı":127271,"ложеннÑĭÑħ":127272,"менÑıлиÑģÑĮ":127273,"набжение":127274,"непÑĢеÑĢÑĭв":127275,"нималаÑģÑĮ":127276,"ноÑģилиÑģÑĮ":127277,"огÑĢаммов":127278,"олоÑģовал":127279,"оÑĢвалиÑģÑĮ":127280,"пÑĢавлÑıеÑĤ":127281,"пÑĢаÑĪивал":127282,"пÑĢоповед":127283,"ÑĢавновеÑģ":127284,"ÑģовÑĢемен":127285,"ÑģÑĥÑĤÑģÑĤвие":127286,"ÑĤиÑĢоваÑĤÑĮ":127287,"ÑĤÑıнÑĥлиÑģÑĮ":127288,"ÑĥÑĩаÑģÑĤник":127289,"ÑĦеодалÑĮн":127290,"ÑĦизиолог":127291,"ÑĦиолеÑĤов":127292,"ÑħÑĢанилиÑī":127293,"Ġspeculat":127294,"ueensland":127295,"ĠÐijелаÑĢÑĥÑģи":127296,"ĠÐijелгоÑĢод":127297,"ĠÐijлагодаÑĢ":127298,"ĠÐijонапаÑĢÑĤ":127299,"ĠÐijÑĢиÑĤании":127300,"ĠÐijÑĥдапеÑĪÑĤ":127301,"ĠÐĴведение":127302,"ĠÐĴизанÑĤии":127303,"ĠÐĴикÑĤоÑĢиÑı":127304,"ĠÐĴоенного":127305,"ĠÐĴознеÑģен":127306,"ĠÐĵолливÑĥд":127307,"ĠÐĵонÑĩаÑĢов":127308,"ĠÐĵÑĢозного":127309,"ĠÐĶоволÑĮно":127310,"ĠÐĶонеÑĨкой":127311,"ĠÐĶопÑĥÑģÑĤим":127312,"ĠÐĹападном":127313,"ĠÐĹеландии":127314,"ĠÐĺзвеÑģÑĤнÑĭ":127315,"ĠÐļаÑģпийÑģк":127316,"ĠÐļолÑĥмбии":127317,"ĠÐļомиÑģÑģаÑĢ":127318,"ĠÐļомиÑģÑģии":127319,"ĠÐļоÑĢнилов":127320,"ĠÐļÑĢаÑģнозн":127321,"ĠÐļÑĢиÑģÑĤиан":127322,"ĠÐļÑĢÑĭмÑģкой":127323,"ĠÐĽÐµÐ¾Ð½Ð°ÑĢдо":127324,"ĠÐĽÐµÐ¾Ð½ÑĤÑĮев":127325,"ĠÐľÐ¾Ð»Ð´Ð°Ð²Ð¸Ð¸":127326,"ĠÐľÐ¾Ð½Ð³Ð¾Ð»Ð¸Ð¸":127327,"ĠÐľÑģÑĤиÑģлав":127328,"ĠÐľÑĥÑħаммад":127329,"ĠÐĿаобоÑĢоÑĤ":127330,"ĠÐĿаÑĢодной":127331,"ĠÐĿевÑģкого":127332,"ĠÐŀпеÑĢаÑĤоÑĢ":127333,"ĠÐŀпиÑģание":127334,"ĠÐŀÑģновное":127335,"ĠÐŁÐ¾Ð½Ð°ÑĩалÑĥ":127336,"ĠÐŁÑĢедлага":127337,"ĠÐŁÑĢемÑĮеÑĢа":127338,"ĠÐŁÑĢиÑĩиной":127339,"ĠÐłÐµÐ²Ð¾Ð»ÑİÑĨи":127340,"ĠÐłÐµÐ¶Ð¸ÑģÑģÑijÑĢ":127341,"ĠÐłÐ¾Ð´Ð¸Ð»Ð°ÑģÑĮ":127342,"ĠÐłÐ¾Ð´Ð¸ÑĤели":127343,"ĠСвеÑĤлана":127344,"ĠСингапÑĥÑĢ":127345,"ĠСиÑĤÑĥаÑĨиÑı":127346,"ĠСкоÑĢоÑģÑĤÑĮ":127347,"ĠСÑĥвоÑĢова":127348,"ĠТеÑĢÑĢиÑĤоÑĢ":127349,"ĠТÑĢоÑĨкого":127350,"ĠФилиппин":127351,"ĠФÑĢанÑĨиÑģк":127352,"ĠФÑĢедеÑĢик":127353,"ĠФÑĢидÑĢиÑħа":127354,"ĠЧеÑĢнÑĭÑĪев":127355,"ĠЧеÑĢÑĩиллÑĮ":127356,"ĠÐŃйнÑĪÑĤейн":127357,"ĠÐŃлизабеÑĤ":127358,"ĠагенÑĤÑģÑĤв":127359,"ĠакадемиÑı":127360,"ĠакÑĤивнÑĥÑİ":127361,"ĠакÑĤивнÑĭе":127362,"ĠакÑĤивнÑĭй":127363,"ĠамплиÑĤÑĥд":127364,"ĠанÑģамблÑĮ":127365,"ĠапелÑĮÑģин":127366,"ĠаÑĢабÑģкиÑħ":127367,"ĠаÑĢгенÑĤин":127368,"ĠаÑĢÑĤеÑĦакÑĤ":127369,"ĠаÑĢÑĤиÑģÑĤка":127370,"ĠаÑĢÑĤиÑģÑĤов":127371,"ĠаÑģÑĤÑĢолог":127372,"ĠаÑĤаковал":127373,"ĠбазиÑĢова":127374,"ĠбакÑĤеÑĢий":127375,"ĠбаÑģÑģейне":127376,"ĠбедноÑģÑĤи":127377,"ĠбедÑģÑĤвиÑı":127378,"Ġблизкого":127379,"ĠблизоÑģÑĤÑĮ":127380,"ĠбожеÑģÑĤва":127381,"ĠболезнÑĮÑİ":127382,"ĠбÑĢаÑĤÑĮÑıми":127383,"ĠведÑĥÑīего":127384,"ĠвенеÑĨиан":127385,"ĠвеÑĢнемÑģÑı":127386,"ĠвеÑĢнеÑĤÑģÑı":127387,"ĠвеÑĢноÑģÑĤи":127388,"ĠвзглÑıнÑĥл":127389,"Ġвиновник":127390,"ĠвинÑĤовки":127391,"ĠвклÑİÑĩена":127392,"Ġвладений":127393,"ĠвоздеÑĢжа":127394,"ĠвоздÑĥÑħом":127395,"Ġвозможен":127396,"ĠвозмÑĥÑīен":127397,"ĠвоинÑģкой":127398,"Ġволейбол":127399,"Ġволнение":127400,"ĠволоÑģами":127401,"ĠвоплоÑīен":127402,"ĠвоÑģÑģозда":127403,"ĠвоÑģÑĤоÑĩно":127404,"ĠвоÑģÑħодиÑĤ":127405,"ĠвплоÑĤнÑĥÑİ":127406,"ĠвÑĢеменам":127407,"ĠвÑģеобÑīее":127408,"ĠвÑģеобÑīей":127409,"ĠвÑģпÑĭÑħнÑĥл":127410,"ĠвÑģÑĤÑĥпаÑĤÑĮ":127411,"ĠвÑĭбиÑĢаÑİÑĤ":127412,"ĠвÑĭделÑıеÑĤ":127413,"ĠвÑĭзÑĭвали":127414,"ĠвÑĭÑĢажаÑĤÑĮ":127415,"ĠвÑĭÑģÑĤÑĢоен":127416,"ĠвÑĭÑĤекаÑİÑī":127417,"ĠвÑĭÑĤеÑģнен":127418,"ĠвÑĭÑħоднÑĭе":127419,"ĠгаÑĢанÑĤий":127420,"ĠглÑĥбокиÑħ":127421,"ĠглÑĥбоком":127422,"ĠгоÑĢдоÑģÑĤÑĮ":127423,"ĠгоÑĢодами":127424,"ĠгÑĥманиÑģÑĤ":127425,"ĠдалÑĮнего":127426,"ĠдвинÑĥлÑģÑı":127427,"ĠдвоÑĢÑıнин":127428,"ĠдейÑģÑĤвии":127429,"ĠденежнÑĭе":127430,"ĠдлиннÑĭми":127431,"ĠдобавÑĮÑĤе":127432,"ĠдобилиÑģÑĮ":127433,"ĠдовеÑĢÑıÑĤÑĮ":127434,"ĠдомаÑĪней":127435,"ĠдопÑĥÑģÑĤил":127436,"ĠдоÑģÑĢоÑĩно":127437,"ĠдоÑģÑĤигло":127438,"ĠдоÑģÑĤÑĥпен":127439,"ĠдоÑģÑĤÑĥпна":127440,"ĠдÑĥÑħовном":127441,"ĠдÑĥÑħовнÑĥÑİ":127442,"ĠдÑĥÑħовнÑĭе":127443,"ĠдÑĥÑħовнÑĭй":127444,"ĠдÑĥÑħовнÑĭм":127445,"ĠжелезнÑĭе":127446,"ĠжениÑĤÑĮÑģÑı":127447,"ĠжеÑĢÑĤвами":127448,"Ġзаболева":127449,"ĠзавиÑģеÑĤÑĮ":127450,"ĠзаговоÑĢа":127451,"ĠзадаваÑĤÑĮ":127452,"ĠзакÑĢиÑĩал":127453,"Ġзанимала":127454,"ĠзападнÑĭм":127455,"ĠзапиÑģÑĭва":127456,"ĠзаплаÑĤил":127457,"ĠзаÑĢплаÑĤÑĥ":127458,"ĠзаÑģлÑĥжил":127459,"ĠзаÑĤоплен":127460,"ĠзаÑīиÑīаеÑĤ":127461,"ĠздоÑĢовÑĮÑİ":127462,"ĠзеÑĢкалÑĮн":127463,"ĠзнаниÑıми":127464,"ĠзолоÑĤиÑģÑĤ":127465,"ĠигноÑĢиÑĢÑĥ":127466,"ĠиеÑĢоглиÑĦ":127467,"ĠизменÑĩив":127468,"ĠизолÑıÑĨии":127469,"ĠизÑĭÑģканн":127470,"ĠиллÑİÑģÑĤÑĢи":127471,"ĠимеÑİÑīего":127472,"ĠинженеÑĢÑĭ":127473,"ĠиÑģпÑĢавлÑı":127474,"ĠиÑģпÑĭÑĤаÑĤÑĮ":127475,"ĠиÑģÑĤинное":127476,"ĠиÑģÑĤинной":127477,"ĠиÑģÑĤиннÑĭй":127478,"ĠиÑģÑĤиннÑĭм":127479,"ĠиÑģÑĩезаÑİÑĤ":127480,"ĠиÑģÑĩиÑģлен":127481,"ĠказалаÑģÑĮ":127482,"ĠказалиÑģÑĮ":127483,"ĠказаÑĤÑĮÑģÑı":127484,"ĠкаменнÑĭе":127485,"ĠкаменнÑĭÑħ":127486,"ĠкаÑĢÑĤинка":127487,"ĠкваÑĢÑĤале":127488,"ĠкиноÑĦеÑģÑĤ":127489,"ĠкладбиÑīа":127490,"ĠклÑİÑĩевÑĭе":127491,"Ġколледжа":127492,"Ġколледже":127493,"ĠколоколÑĮ":127494,"ĠкомпаÑĢÑĤи":127495,"ĠконÑģÑĤанÑĤ":127496,"ĠконÑĤенÑĤа":127497,"ĠконÑĨеÑĢÑĤÑĭ":127498,"ĠкоÑĢаблÑıÑħ":127499,"ĠкоÑĢоÑĤкиÑħ":127500,"ĠкоÑĢпÑĥÑģов":127501,"ĠкоÑĢпÑĥÑģом":127502,"ĠкоÑģмонав":127503,"ĠкÑĢаÑģиваÑı":127504,"ĠкÑĢаÑģивой":127505,"ĠкÑĢаÑģивÑĭе":127506,"ĠкÑĢаÑģивÑĭм":127507,"ĠкÑĢаÑģоÑĤой":127508,"ĠкÑĢедиÑĤов":127509,"ĠкÑĢиÑĤеÑĢии":127510,"ĠлабиÑĢинÑĤ":127511,"ĠлеÑģÑĤниÑĨÑĭ":127512,"ĠлеÑĤопиÑģи":127513,"ĠлÑİбимого":127514,"ĠмаÑĢÑĪÑĢÑĥÑĤÑĥ":127515,"ĠмаÑģÑģовое":127516,"ĠмаÑģÑģовÑĭе":127517,"ĠмаÑģÑĤеÑĢом":127518,"ĠменÑıÑĤÑĮÑģÑı":127519,"ĠменÑıÑİÑĤÑģÑı":127520,"ĠмеÑĤеоÑĢиÑĤ":127521,"ĠмеÑĤодики":127522,"ĠмладенÑĨа":127523,"ĠмолÑĩалив":127524,"ĠмонаÑĢÑħии":127525,"ĠмоÑĪенник":127526,"ĠмÑĥжÑĩиной":127527,"ĠмÑĥÑĩиÑĤелÑĮ":127528,"ĠнагÑĢÑĥзкÑĥ":127529,"ĠналадиÑĤÑĮ":127530,"ĠналиÑĩием":127531,"ĠнамеÑĢенÑĭ":127532,"ĠнапиÑģали":127533,"ĠнаÑĢаÑīива":127534,"ĠнаÑĢкоман":127535,"ĠнаÑĢодами":127536,"ĠнаÑĢоднаÑı":127537,"ĠнаÑĢодное":127538,"ĠнаÑĢоднÑĭм":127539,"ĠнаÑĢÑĥÑĪаеÑĤ":127540,"ĠнаÑģлажда":127541,"ĠнаÑģÑĤаива":127542,"ĠнаÑĥÑĩилÑģÑı":127543,"ĠнаÑħодили":127544,"Ġнезнаком":127545,"ĠнемеÑĨкаÑı":127546,"Ġнемногим":127547,"Ġнемножко":127548,"ĠнеÑĤÑĢÑĥдно":127549,"ĠнеÑĥдобно":127550,"ĠнÑĭнеÑĪнем":127551,"ĠнÑĭнеÑĪниÑħ":127552,"ĠобеÑīаниÑı":127553,"Ġобменива":127554,"ĠобогаÑīен":127555,"ĠобÑĢаÑīаеÑĤ":127556,"ĠобÑĢаÑīаÑĤÑĮ":127557,"ĠобÑĬÑıÑģнен":127558,"ĠогÑĢаблен":127559,"ĠогÑĢомном":127560,"Ġознакоми":127561,"ĠознаÑĩаÑĤÑĮ":127562,"ĠоказаниÑı":127563,"ĠопаÑģаÑıÑģÑĮ":127564,"ĠопÑĢавдал":127565,"ĠоÑģвоениÑı":127566,"ĠоÑģнованÑĭ":127567,"ĠоÑģознаÑĤÑĮ":127568,"ĠоÑģÑĤаÑĤков":127569,"ĠоÑĤвеÑĤили":127570,"ĠоÑĤвеÑĩали":127571,"ĠоÑĤвлеÑĩен":127572,"ĠоÑĤклонен":127573,"ĠоÑĤклÑİÑĩен":127574,"ĠоÑĤкÑĢÑĭлÑģÑı":127575,"ĠоÑĤкÑĢÑĭÑĤий":127576,"ĠоÑĤкÑĢÑĭÑĤое":127577,"ĠоÑĤкÑĢÑĭÑĤÑĭе":127578,"ĠоÑĤлиÑĩиÑĤÑĮ":127579,"ĠоÑĤлиÑĩнÑĭй":127580,"ĠоÑĤмениÑĤÑĮ":127581,"ĠоÑĤмеÑĩенÑĭ":127582,"ĠоÑĤпÑĥÑģÑĤил":127583,"ĠоÑĤÑģÑĤавке":127584,"ĠоÑĤÑģÑĤаива":127585,"ĠоÑĤÑĩаÑıние":127586,"ĠоÑĤÑĭÑģкаÑĤÑĮ":127587,"ĠоÑĦиÑĨеÑĢом":127588,"ĠоÑīÑĥÑīений":127589,"ĠпеÑĢвиÑĩно":127590,"ĠпеÑĢевели":127591,"ĠпеÑĢедана":127592,"ĠпеÑĢедвиж":127593,"ĠпеÑĢежиÑĤÑĮ":127594,"ĠпеÑĢекÑĢÑĭÑĤ":127595,"ĠпеÑĢиÑĦеÑĢи":127596,"ĠпеÑħоÑĤной":127597,"Ġплавание":127598,"ĠплаÑĤежей":127599,"ĠплоÑīадкÑĥ":127600,"Ġпобежден":127601,"ĠпоболÑĮÑĪе":127602,"ĠповÑĭÑĪаеÑĤ":127603,"ĠпоглоÑīен":127604,"ĠпогÑĢебен":127605,"ĠподаваÑĤÑĮ":127606,"ĠподлежаÑĤ":127607,"ĠпозволÑıл":127608,"Ġпозднего":127609,"Ġпознание":127610,"Ġпоказало":127611,"Ġпоказана":127612,"ĠпоказанÑĭ":127613,"ĠпокидаеÑĤ":127614,"ĠпокÑĢÑĭÑĤиÑı":127615,"Ġполезной":127616,"ĠполезнÑĭе":127617,"ĠполиÑĨией":127618,"ĠполÑĥÑĩиÑĤе":127619,"ĠполÑĮзова":127620,"ĠпоменÑıÑĤÑĮ":127621,"ĠпонÑıÑĤнÑĭм":127622,"ĠпооÑīÑĢени":127623,"ĠпопÑĢавки":127624,"ĠпоÑĢажаеÑĤ":127625,"ĠпоÑĢÑĥÑĩено":127626,"ĠпоÑĢÑıдком":127627,"ĠпоÑģеÑīаÑĤÑĮ":127628,"ĠпоÑģловиÑĨ":127629,"ĠпоÑģпеÑĪно":127630,"ĠпоÑģÑĤÑĥпал":127631,"ĠпоÑģÑĭлаеÑĤ":127632,"ĠпоÑĤомков":127633,"ĠпоÑĤÑĢаÑĤил":127634,"ĠпоÑĩиÑĤаÑĤÑĮ":127635,"ĠпоÑĩÑĤовÑĭÑħ":127636,"ĠпоÑıвÑıÑĤÑģÑı":127637,"ĠпÑĢавовÑĭÑħ":127638,"ĠпÑĢавоÑģÑĥд":127639,"ĠпÑĢазднов":127640,"ĠпÑĢевÑĭÑģил":127641,"ĠпÑĢевÑĭÑĪал":127642,"ĠпÑĢеданиÑı":127643,"ĠпÑĢедÑģÑĤал":127644,"ĠпÑĢежнего":127645,"ĠпÑĢеподоб":127646,"ĠпÑĢибавил":127647,"ĠпÑĢивезли":127648,"ĠпÑĢивÑĭÑĩка":127649,"ĠпÑĢигоднÑĭ":127650,"ĠпÑĢидÑijÑĤÑģÑı":127651,"ĠпÑĢиемник":127652,"ĠпÑĢиеÑħала":127653,"ĠпÑĢиеÑħаÑĤÑĮ":127654,"ĠпÑĢизÑijÑĢом":127655,"ĠпÑĢилиÑĩно":127656,"ĠпÑĢименил":127657,"ĠпÑĢинеÑģеÑĤ":127658,"ĠпÑĢинимаÑİ":127659,"ĠпÑĢиноÑģил":127660,"ĠпÑĢинÑıÑĤии":127661,"ĠпÑĢиÑģвоил":127662,"ĠпÑĢиÑıÑĤелÑĮ":127663,"ĠпÑĢобовал":127664,"ĠпÑĢовеÑĢке":127665,"ĠпÑĢогÑĥлки":127666,"ĠпÑĢодÑĥман":127667,"ĠпÑĢоекÑĤаÑħ":127668,"ĠпÑĢопаÑģÑĤÑĮ":127669,"ĠпÑĢопиÑĤан":127670,"ĠпÑĢоÑģÑĤиÑĤÑĮ":127671,"ĠпÑĢоÑĩиÑĤан":127672,"ĠпÑĢоÑīениÑı":127673,"ĠÑĢазвивал":127674,"ĠÑĢазвиÑĤÑĭÑħ":127675,"ĠÑĢазвоÑĢоÑĤ":127676,"ĠÑĢазгÑĢома":127677,"ĠÑĢаздалÑģÑı":127678,"ĠÑĢазделÑıл":127679,"ĠÑĢазлиÑĩий":127680,"ĠÑĢазмеÑĢам":127681,"ĠÑĢазмеÑĢаÑħ":127682,"ĠÑĢазмножа":127683,"ĠÑĢазобÑĢал":127684,"ĠÑĢазÑĢÑĥÑĪил":127685,"ĠÑĢаÑģÑģÑĤава":127686,"ĠÑĢаÑģÑĤвоÑĢÑı":127687,"ĠÑĢаÑģÑĨвеÑĤа":127688,"ĠÑĢаÑģÑĩеÑĤов":127689,"ĠÑĢаÑģÑĪиÑĢил":127690,"ĠÑĢеалÑĮнаÑı":127691,"ĠÑĢеалÑĮное":127692,"ĠÑĢеалÑĮнÑĥÑİ":127693,"ĠÑĢедакÑĨиÑı":127694,"ĠÑĢедкоÑģÑĤÑĮ":127695,"ĠÑĢейÑĤинга":127696,"ĠÑĢейÑĤинге":127697,"ĠÑĢеÑĨепÑĤоÑĢ":127698,"ĠÑĢеÑĪаеÑĤÑģÑı":127699,"ĠÑĢодилиÑģÑĮ":127700,"ĠÑĢождении":127701,"ĠÑĢоманÑĤик":127702,"ĠÑĢÑĭноÑĩной":127703,"ĠÑģбоÑĢнике":127704,"ĠÑģвиданиÑı":127705,"ĠÑģвÑıÑĤилиÑī":127706,"ĠÑģемейной":127707,"ĠÑģеÑĢвиÑģов":127708,"ĠÑģилÑĮнÑĭми":127709,"ĠÑģкÑĢÑĭваÑĤÑĮ":127710,"ĠÑģледовал":127711,"ĠÑģловеÑģно":127712,"ĠÑģложного":127713,"ĠÑģнижениÑİ":127714,"ĠÑģобиÑĢаеÑĤ":127715,"ĠÑģокÑĢаÑĤил":127716,"ĠÑģопÑĢÑıжен":127717,"ĠÑģоÑģедней":127718,"ĠÑģоÑģÑĤоÑıли":127719,"ĠÑģоÑģÑĤоÑıло":127720,"ĠÑģоÑģÑĤоÑıÑĤÑĮ":127721,"ĠÑģоÑĤвоÑĢен":127722,"ĠÑģоÑħÑĢанен":127723,"ĠÑģоÑİзники":127724,"ĠÑģпокойнÑĭ":127725,"ĠÑģпÑĢоÑģили":127726,"ĠÑģÑĢажений":127727,"ĠÑģÑĤабилиз":127728,"ĠÑģÑĤавиÑĤÑģÑı":127729,"ĠÑģÑĤадиона":127730,"ĠÑģÑĤолиÑĨей":127731,"ĠÑģÑĤоловой":127732,"ĠÑģÑĤÑĢадаÑİÑĤ":127733,"ĠÑģÑĤÑĢаннÑĭе":127734,"ĠÑģÑĤÑĢаннÑĭй":127735,"ĠÑģÑĤÑĢаÑĪное":127736,"ĠÑģÑĤÑĢаÑĪнÑĭй":127737,"ĠÑģÑĤÑĢемÑıÑģÑĮ":127738,"ĠÑģÑĥдебном":127739,"ĠÑģÑĥпÑĢÑĥгов":127740,"ĠÑģÑĥÑħопÑĥÑĤн":127741,"ĠÑģÑĨенаÑĢии":127742,"ĠÑĤанковаÑı":127743,"ĠÑĤеÑĢпение":127744,"ĠÑĤоÑĢговлÑİ":127745,"ĠÑĤоÑĢговой":127746,"ĠÑĤоÑĢговÑĭй":127747,"ĠÑĤÑĢÑĥдовÑĭÑħ":127748,"ĠÑĤÑīаÑĤелÑĮн":127749,"ĠÑĤÑıжелого":127750,"ĠÑĥглеÑĢода":127751,"ĠÑĥгÑĢожаеÑĤ":127752,"ĠÑĥгÑĢожаÑİÑī":127753,"ĠÑĥдаление":127754,"ĠÑĥкÑĢепиÑĤÑĮ":127755,"ĠÑĥменÑĮÑĪил":127756,"ĠÑĥмеÑĢÑĪего":127757,"ĠÑĥпомÑıнÑĥл":127758,"ĠÑĥÑģиленно":127759,"ĠÑĥÑģилиÑıми":127760,"ĠÑĥÑģпеÑĪной":127761,"ĠÑĥÑģпокоил":127762,"ĠÑĥÑģÑĤÑĢоили":127763,"ĠÑĥÑĩеником":127764,"ĠÑĦанÑĤазиÑı":127765,"ĠÑĦилоÑģоÑĦа":127766,"ĠÑĦÑĥнкÑĨией":127767,"ĠÑħолоднÑĭй":127768,"ĠÑħолоднÑĭм":127769,"ĠÑĨиÑĤиÑĢÑĥеÑĤ":127770,"ĠÑĨиÑĦÑĢовой":127771,"ĠÑĩеÑĢеÑģÑĩÑĥÑĢ":127772,"ĠÑĩеÑģÑĤолÑİб":127773,"ĠÑĩиÑĤаÑĤели":127774,"ĠÑįкÑģпанÑģи":127775,"ĠÑįкÑģпонаÑĤ":127776,"ĠÑįкÑģпоÑĢÑĤа":127777,"ĠÑıвлением":127778,"ĠÑıпонÑģкие":127779,"ĠÑıпонÑģкий":127780,"ÐIJлекÑģандÑĢ":127781,"ÐĴоÑģÑĤоÑĩной":127782,"ÐĹападного":127783,"ÐļалиÑĦоÑĢни":127784,"ÐĽÐ¾ÐºÐ¾Ð¼Ð¾ÑĤив":127785,"ÐłÐ¾ÑģÑģийÑģко":127786,"английÑģки":127787,"благодаÑĢн":127788,"бÑĢаÑģÑĭваеÑĤ":127789,"бÑĢаÑģÑĭваÑĤÑĮ":127790,"влекаÑĤелÑĮ":127791,"гÑĢаммаÑĤик":127792,"двигаеÑĤÑģÑı":127793,"деÑĢжалиÑģÑĮ":127794,"диÑĦÑĦеÑĢенÑĨ":127795,"еÑĤиÑĩеÑģкой":127796,"иÑĢовалаÑģÑĮ":127797,"клавиаÑĤÑĥÑĢ":127798,"лиÑĤеÑĢаÑĤÑĥÑĢ":127799,"напÑĢавлен":127800,"обвиниÑĤел":127801,"ообÑĢазнÑĭÑħ":127802,"опеÑĢаÑĨион":127803,"оположени":127804,"опÑĢиÑıÑĤнÑĭÑħ":127805,"оÑģоÑĩеÑĤани":127806,"подвижник":127807,"поминание":127808,"поÑģÑĤавÑīик":127809,"пÑĢавиÑĤелÑĮ":127810,"пÑĢеодолим":127811,"пÑĢомÑĭÑĪлен":127812,"пÑĢониÑĨаем":127813,"ÑĢазбойник":127814,"ÑĢеакÑĨионн":127815,"ÑģÑĤоÑĢонние":127816,"ÑģÑĤоÑĢонним":127817,"ÑģÑĤоÑĢонниÑħ":127818,"ÑģÑĤÑĢоиÑĤÑĮÑģÑı":127819,"ÑģÑĤÑĥпаÑİÑīиÑħ":127820,"ÑĥлиÑĢоваÑĤÑĮ":127821,"ÑħÑĥдожеÑģÑĤв":127822,"ÑĨиклопеди":127823,"ÑĩиÑģленнÑĭе":127824,"ÑĩÑĢезвÑĭÑĩай":127825,"ĠÐIJмÑģÑĤеÑĢдам":127826,"ĠÐIJÑĢгенÑĤинÑĭ":127827,"ĠÐijиблиоÑĤек":127828,"ĠÐijоÑĢиÑģовиÑĩ":127829,"ĠÐĴикипедии":127830,"ĠÐĴÑģеленнаÑı":127831,"ĠÐĵолландии":127832,"ĠÐĶобÑĢоволÑĮ":127833,"ĠÐķлизавеÑĤÑĭ":127834,"ĠÐĺндонезии":127835,"ĠÐĺнÑģÑĤиÑĤÑĥÑĤе":127836,"ĠÐĺнÑĤеÑĢнеÑĤе":127837,"ĠÐĺÑģполÑĮзÑĥÑı":127838,"ĠÐļиевÑģкого":127839,"ĠÐĽÐµÑĢмонÑĤов":127840,"ĠÐĽÐ¾Ð¼Ð¾Ð½Ð¾Ñģов":127841,"ĠÐľÐ°ÑĢгаÑĢиÑĤа":127842,"ĠÐĿагÑĢажден":127843,"ĠÐĿаÑĢодного":127844,"ĠÐĿекоÑĤоÑĢое":127845,"ĠÐĿовгоÑĢода":127846,"ĠÐĿовгоÑĢоде":127847,"ĠÐŀлимпиадÑĭ":127848,"ĠÐŀлимпийÑģк":127849,"ĠÐŀÑģновнÑĭми":127850,"ĠÐŁÐ°ÑĢламенÑĤ":127851,"ĠÐŁÐ¾ÑģÑĤоÑıнно":127852,"ĠÐŁÑĢавилÑĮно":127853,"ĠÐŁÑĢеÑģвÑıÑĤой":127854,"ĠÐŁÑĢибалÑĤик":127855,"ĠÐłÐµÐ²Ð¾Ð»ÑİÑĨии":127856,"ĠÐłÐ¾Ð¶Ð´ÐµÑģÑĤва":127857,"ĠСÑĤоимоÑģÑĤÑĮ":127858,"ĠТаÑĤаÑĢÑģÑĤан":127859,"ĠХмелÑĮниÑĨк":127860,"ĠабÑģÑĤÑĢакÑĨи":127861,"ĠадапÑĤаÑĨии":127862,"ĠадекваÑĤно":127863,"Ġакадемика":127864,"ĠалÑİминиев":127865,"ĠанÑĤиÑģемиÑĤ":127866,"ĠанÑĤиÑģовеÑĤ":127867,"ĠаÑģÑĤÑĢонавÑĤ":127868,"ĠаÑĤаковали":127869,"ĠаÑįÑĢодÑĢоме":127870,"ĠбеÑĢеговой":127871,"ĠбеÑģпилоÑĤн":127872,"ĠближайÑĪем":127873,"ĠбÑĢиллианÑĤ":127874,"ĠвдоÑħновлÑı":127875,"ĠвеÑĤеÑĢанов":127876,"ĠвзÑĢоÑģлого":127877,"ĠвклÑİÑĩение":127878,"ĠвладелÑĮÑĨÑĭ":127879,"ĠвоздÑĥÑĪнÑĭе":127880,"Ġвозникали":127881,"ĠвозникаÑİÑī":127882,"ĠвозÑĢаÑģÑĤом":127883,"ĠвоÑģпиÑĤÑĭва":127884,"ĠвоÑģпÑĢинÑıл":127885,"ĠвÑĢеменное":127886,"ĠвÑĢеменнÑĭÑħ":127887,"ĠвÑĢÑĥÑĩением":127888,"ĠвÑģеобÑīего":127889,"ĠвÑĤоÑĢжение":127890,"ĠвÑĭдеÑĢжаÑĤÑĮ":127891,"ĠвÑĭполнена":127892,"ĠвÑĭполнÑıем":127893,"ĠвÑĭпÑĥÑģкаÑĤÑĮ":127894,"ĠвÑĭпÑĥÑģкник":127895,"ĠвÑĭпÑĥÑģÑĤила":127896,"ĠвÑĭпÑĥÑģÑĤили":127897,"ĠвÑĭпÑĥÑģÑĤиÑĤÑĮ":127898,"ĠвÑĭÑĢабоÑĤан":127899,"ĠвÑĭÑĢажениÑİ":127900,"ĠвÑĭÑģказаÑĤÑĮ":127901,"ĠвÑĭÑģÑĤÑĢаива":127902,"ĠвÑĭÑģÑĤÑĢелов":127903,"ĠвÑĭÑıвлениÑı":127904,"ĠгаÑĢнизона":127905,"ĠгениалÑĮно":127906,"ĠгеогÑĢаÑĦии":127907,"ĠгеомеÑĤÑĢии":127908,"ĠгоÑĢизонÑĤа":127909,"ĠгоÑĢодÑģким":127910,"ĠгоÑģпиÑĤале":127911,"ĠгоÑģÑĤиниÑĨе":127912,"ĠгоÑģÑĤиниÑĨÑĭ":127913,"ĠгÑĢеÑĩеÑģкий":127914,"ĠдалÑĮноÑģÑĤи":127915,"ĠдвинÑĥлиÑģÑĮ":127916,"ĠдейÑģÑĤвенн":127917,"ĠдепÑĢеÑģÑģии":127918,"ĠдеÑĦоÑĢмаÑĨи":127919,"ĠдиагноÑģÑĤи":127920,"Ġдивизионе":127921,"ĠдиÑģпеÑĤÑĩеÑĢ":127922,"ĠдобавлÑıÑĤÑĮ":127923,"ĠдоговоÑĢом":127924,"ĠдопÑĥÑģкаеÑĤ":127925,"ĠдоÑĢожного":127926,"ĠдоÑģÑĤавили":127927,"ĠдоÑģÑĤавлÑıл":127928,"ĠдоÑģÑĤигаÑĤÑĮ":127929,"ĠдоÑģÑĤопÑĢим":127930,"ĠдÑĭÑħаÑĤелÑĮн":127931,"ĠевÑĢейÑģкиÑħ":127932,"ĠепиÑģкопом":127933,"Ġжизненной":127934,"ĠжизненнÑĭй":127935,"Ġзаведение":127936,"ĠзавоеваÑĤÑĮ":127937,"ĠзагÑĢÑıзнен":127938,"ĠзадеÑĢжали":127939,"ĠзадеÑĢжаÑĤÑĮ":127940,"ĠзаказÑĩика":127941,"ĠзакÑĢепиÑĤÑĮ":127942,"ĠзакÑĢÑĭваеÑĤ":127943,"ĠзамеÑĩание":127944,"ĠзапеÑĩаÑĤле":127945,"ĠзапÑĢеÑīаеÑĤ":127946,"ĠзаÑģÑĤавило":127947,"ĠзаÑħоÑĢонен":127948,"ĠзаÑıвлении":127949,"ĠздоÑĢовÑĮем":127950,"Ġземлевлад":127951,"ĠзнаÑĩением":127952,"ĠизгоÑĤовлÑı":127953,"Ġизложение":127954,"ĠизменениÑİ":127955,"ĠизменилÑģÑı":127956,"ĠизмеÑĢение":127957,"ĠизÑĥÑĩением":127958,"ĠимеÑİÑīиÑħÑģÑı":127959,"ĠиммÑĥниÑĤеÑĤ":127960,"ĠинженеÑĢом":127961,"ĠинÑģÑĤанÑĨии":127962,"ĠинÑģÑĤиÑĤÑĥÑĤÑĭ":127963,"ĠинÑĤеÑĢеÑģом":127964,"ĠинÑĨиденÑĤа":127965,"ĠиÑģклÑİÑĩаеÑĤ":127966,"ĠиÑģпанÑģкий":127967,"ĠиÑģполниÑĤÑĮ":127968,"ĠиÑģÑĤинного":127969,"ĠиÑģÑĤÑĢеблен":127970,"ĠкавалеÑĢии":127971,"ĠкаÑĢÑĤоÑĦелÑı":127972,"ĠкаÑĤегоÑĢиÑİ":127973,"ĠкаÑĩеÑģÑĤвом":127974,"ĠкилогÑĢамм":127975,"ĠкиноÑĦилÑĮм":127976,"ĠкиÑĤайÑģкие":127977,"ĠкиÑĤайÑģкий":127978,"ĠкоммÑĥнизм":127979,"ĠкомпеÑĤенÑĤ":127980,"ĠкомплекÑģÑĭ":127981,"ĠконгÑĢеÑģÑģа":127982,"ĠконÑĤекÑģÑĤа":127983,"ĠкоÑĢабелÑĮн":127984,"ĠкоÑĢÑĢÑĥпÑĨии":127985,"ĠлекаÑĢÑģÑĤво":127986,"ĠленингÑĢад":127987,"ĠлиÑĩноÑģÑĤÑĮÑİ":127988,"ĠмагазинаÑħ":127989,"ĠмаленÑĮким":127990,"ĠмаленÑĮком":127991,"ĠмаленÑĮкÑĥÑİ":127992,"ĠмаÑĢкÑģизма":127993,"ĠмаÑģÑĤеÑĢÑģки":127994,"ĠмаÑģÑĪÑĤабаÑħ":127995,"ĠмеÑĤаллÑĥÑĢг":127996,"ĠмножеÑģÑĤве":127997,"ĠмÑĥзÑĭканÑĤÑĭ":127998,"ĠмÑĭÑģлиÑĤелÑĮ":127999,"ĠнаблÑİдали":128000,"ĠназнаÑĩаÑİÑĤ":128001,"ĠназнаÑĩили":128002,"ĠназнаÑĩиÑĤÑĮ":128003,"ĠнамеÑĢении":128004,"ĠнамеÑĢенно":128005,"ĠнапиÑģание":128006,"Ġнаподобие":128007,"ĠнапомниÑĤÑĮ":128008,"ĠнаÑĢиÑģован":128009,"ĠнаÑĢÑĥÑĪении":128010,"ĠнаÑģелениÑİ":128011,"ĠнаÑģÑĤоÑıÑīиÑħ":128012,"ĠнаÑģÑĤоÑıÑīÑĥÑİ":128013,"ĠнаÑģÑĤÑĢоиÑĤÑĮ":128014,"ĠнаÑĥÑĩилиÑģÑĮ":128015,"ĠнекоÑĤоÑĢÑĥÑİ":128016,"ĠнекоÑĤоÑĢÑĭй":128017,"Ġненадолго":128018,"ĠнеÑģÑĩаÑģÑĤÑĮе":128019,"ĠноÑģиÑĤелей":128020,"ĠнÑĢавилоÑģÑĮ":128021,"ĠнÑĥждаÑİÑĤÑģÑı":128022,"ĠобвинениÑİ":128023,"ĠоблегÑĩиÑĤÑĮ":128024,"ĠобоÑĢаÑĩива":128025,"ĠобоÑģновал":128026,"ĠобÑĢабоÑĤка":128027,"ĠобÑĢадовал":128028,"ĠобÑĢазовав":128029,"ĠобÑĢаÑīалÑģÑı":128030,"ĠобÑĬединÑijн":128031,"ĠобÑĬÑıвлÑıеÑĤ":128032,"ĠобÑĬÑıÑģнÑıÑİÑĤ":128033,"ĠожидаеÑĤÑģÑı":128034,"ĠопиÑģÑĭваем":128035,"ĠопÑĢавдаÑĤÑĮ":128036,"ĠоÑĢбиÑĤалÑĮн":128037,"ĠоÑģознание":128038,"ĠоÑģÑĤаваÑıÑģÑĮ":128039,"ĠоÑģÑĤавлÑıÑİÑĤ":128040,"ĠоÑģÑĤалÑĮной":128041,"ĠоÑģÑĤалÑĮном":128042,"ĠоÑģÑĤанÑĥÑĤÑģÑı":128043,"ĠоÑģÑĤоÑĢожнÑĭ":128044,"ĠоÑĤвеÑĢгнÑĥÑĤ":128045,"ĠоÑĤделÑĮнÑĥÑİ":128046,"ĠоÑĤкÑĢÑĭлаÑģÑĮ":128047,"ĠоÑĤÑĢиÑĨание":128048,"ĠоÑĤÑģлежива":128049,"ĠоÑĤÑģÑĤÑĥпиÑĤÑĮ":128050,"ĠпеÑĢедвига":128051,"ĠпеÑĢедовой":128052,"ĠпеÑĢеÑģÑĤаеÑĤ":128053,"ĠпеÑĢеÑģÑĤала":128054,"ĠпеÑĢеÑħодил":128055,"ĠпеÑĢеÑħодÑıÑĤ":128056,"ĠпеÑĢеÑĩиÑģлÑı":128057,"ĠпеÑĤеÑĢбÑĥÑĢг":128058,"ĠпиÑģÑĤолеÑĤа":128059,"ĠплаÑģÑĤмаÑģÑģ":128060,"ĠповеÑĢнÑĥÑĤÑĮ":128061,"ĠповÑĤоÑĢÑıеÑĤ":128062,"ĠповÑĭÑĪениÑİ":128063,"ĠпоговоÑĢим":128064,"ĠподводнÑĭе":128065,"ĠподземнÑĭÑħ":128066,"ĠподнимаеÑĤ":128067,"ĠподнÑıлаÑģÑĮ":128068,"ĠподнÑıлиÑģÑĮ":128069,"ĠподобÑĢаÑĤÑĮ":128070,"ĠподпиÑģали":128071,"ĠподпиÑģаÑĤÑĮ":128072,"ĠподÑĩиниÑĤÑĮ":128073,"Ġпожаловал":128074,"Ġпожалован":128075,"ĠпозволÑıла":128076,"ĠпозволÑıли":128077,"ĠпозволÑıло":128078,"Ġпоказаний":128079,"Ġпокойного":128080,"ĠпоконÑĩиÑĤÑĮ":128081,"ĠположениÑİ":128082,"ĠполÑĥÑĩилÑģÑı":128083,"ĠпопаданиÑı":128084,"ĠпопÑĢоÑģили":128085,"ĠпопÑĢоÑģиÑĤÑĮ":128086,"ĠпопÑĥлÑıÑĢиз":128087,"ĠпопÑĥлÑıÑĨии":128088,"ĠпоÑģелилÑģÑı":128089,"ĠпоÑģлÑĥжило":128090,"ĠпоÑıвлении":128091,"ĠпÑĢавилами":128092,"ĠпÑĢаздники":128093,"ĠпÑĢакÑĤикой":128094,"ĠпÑĢедиÑģлов":128095,"ĠпÑĢедлагаÑİ":128096,"ĠпÑĢедлогом":128097,"ĠпÑĢедÑģÑĤавл":128098,"ĠпÑĢезÑĢение":128099,"ĠпÑĢеобÑĢазÑĥ":128100,"ĠпÑĢеÑĤензий":128101,"ĠпÑĢиговоÑĢа":128102,"ĠпÑĢизнакам":128103,"ĠпÑĢизнаком":128104,"ĠпÑĢинÑĨипаÑħ":128105,"ĠпÑĢиобÑĢели":128106,"ĠпÑĢиÑĢоднÑĭе":128107,"ĠпÑĢиÑħодиÑĤÑĮ":128108,"ĠпÑĢиÑĩÑĥдлив":128109,"ĠпÑĢоблемаÑħ":128110,"ĠпÑĢобÑĥжден":128111,"ĠпÑĢовеÑĢÑıеÑĤ":128112,"ĠпÑĢовинÑĨий":128113,"ĠпÑĢодолжаÑı":128114,"ĠпÑĢодÑĥкÑĨиÑı":128115,"ĠпÑĢоизвели":128116,"ĠпÑĢоизоÑĪÑijл":128117,"ĠпÑĢоиÑģÑĪедÑĪ":128118,"ĠпÑĢоÑģпекÑĤа":128119,"ĠпÑĢоÑĤокола":128120,"ĠпÑĢоÑĤÑıженн":128121,"ĠпÑĢоÑĨеÑģÑģаÑħ":128122,"ĠпÑĢоÑĩноÑģÑĤÑĮ":128123,"ĠпÑĢоÑıвлÑıеÑĤ":128124,"ĠпÑĥблиÑĩнÑĭÑħ":128125,"ĠпÑĥлемеÑĤов":128126,"ĠÑĢавенÑģÑĤва":128127,"ĠÑĢазбÑĢоÑģан":128128,"ĠÑĢазделÑıеÑĤ":128129,"ĠÑĢазделÑıÑİÑĤ":128130,"ĠÑĢазлиÑĩаÑĤÑĮ":128131,"ĠÑĢазÑĢÑĥÑĪиÑĤÑĮ":128132,"ĠÑĢазÑĬÑıÑģнен":128133,"ĠÑĢаÑģпоÑĢÑıди":128134,"ĠÑĢеагиÑĢÑĥеÑĤ":128135,"ĠÑĢеалиÑģÑĤиÑĩ":128136,"ĠÑĢеволÑĮвеÑĢ":128137,"ĠÑĢеÑģÑĤоÑĢане":128138,"ĠÑĢиÑģкованн":128139,"ĠÑĢождаеÑĤÑģÑı":128140,"ĠÑģвободнÑĭе":128141,"ĠÑģвÑıзаннаÑı":128142,"ĠÑģвÑıзанное":128143,"ĠÑģвÑıзанной":128144,"ĠÑģделаннÑĭе":128145,"ĠÑģдеÑĢжанно":128146,"ĠÑģевеÑĢного":128147,"ĠÑģеÑĢÑĮезное":128148,"ĠÑģеÑĢÑĮезной":128149,"ĠÑģиммеÑĤÑĢиÑĩ":128150,"ĠÑģимпаÑĤиÑĩн":128151,"ĠÑģимпÑĤомов":128152,"ĠÑģкандинав":128153,"ĠÑģложилоÑģÑĮ":128154,"ĠÑģлÑĥÑĩайнÑĭÑħ":128155,"ĠÑģлÑĥÑĩалоÑģÑĮ":128156,"ĠÑģлÑĥÑĩиÑĤÑĮÑģÑı":128157,"ĠÑģовеÑĤовал":128158,"ĠÑģовеÑīании":128159,"ĠÑģовпадаÑİÑĤ":128160,"ĠÑģоединÑıеÑĤ":128161,"ĠÑģоздавали":128162,"ĠÑģозданнаÑı":128163,"ĠÑģозданной":128164,"ĠÑģозданнÑĭÑħ":128165,"ĠÑģолдаÑĤами":128166,"ĠÑģолнеÑĩной":128167,"ĠÑģолнеÑĩнÑĭÑħ":128168,"ĠÑģоÑģедÑģÑĤвÑĥ":128169,"ĠÑģоÑģÑĤавило":128170,"ĠÑģпекÑĤакле":128171,"ĠÑģпекÑĤакли":128172,"ĠÑģпоÑģобнÑĭе":128173,"ĠÑģпоÑģобнÑĭй":128174,"ĠÑģпÑĢаÑĪиваÑİ":128175,"ĠÑģÑĢедÑģÑĤваÑħ":128176,"ĠÑģÑĤаÑĢаÑĤÑĮÑģÑı":128177,"ĠÑģÑĤаÑĢÑĤовал":128178,"ĠÑģÑĤоÑĢонами":128179,"ĠÑģÑĤÑĢаданий":128180,"ĠÑģÑĤÑĢаÑĤегиÑİ":128181,"ĠÑģÑĤÑĢаÑĪного":128182,"ĠÑģÑĤÑĥденÑĤам":128183,"ĠÑģÑĩаÑģÑĤливо":128184,"ĠÑģÑĩиÑĤалаÑģÑĮ":128185,"ĠÑĤаможенно":128186,"ĠÑĤвоÑĢÑĩеÑģки":128187,"ĠÑĤÑĢебовала":128188,"ĠÑĥбеждение":128189,"ĠÑĥвлеÑĩение":128190,"ĠÑĥказанием":128191,"ĠÑĥказаннÑĭе":128192,"ĠÑĥказÑĭваÑĤÑĮ":128193,"ĠÑĥлÑĭбнÑĥлÑģÑı":128194,"ĠÑĥпомÑıнÑĥÑĤÑĮ":128195,"ĠÑĥÑģпокоиÑĤÑĮ":128196,"ĠÑĥÑģÑĤалоÑģÑĤÑĮ":128197,"ĠÑĥÑģÑĤÑĢемлен":128198,"ĠÑĦеодалÑĮно":128199,"ĠÑĦилоÑģоÑĦиÑİ":128200,"ĠÑĦилоÑģоÑĦов":128201,"ĠÑĦÑĢеймвоÑĢк":128202,"ĠÑħÑĢабÑĢоÑģÑĤÑĮ":128203,"ĠÑĨеÑĢемониÑı":128204,"ĠÑĩиÑĤаÑĤелÑıм":128205,"ĠÑįнеÑĢгиÑĩно":128206,"ĠÑİÑĢиÑģдикÑĨи":128207,"ÐĺÑģÑĤоÑĢиÑĩеÑģк":128208,"СибиÑĢÑģкого":128209,"СпÑĢаведлив":128210,"благодаÑĢил":128211,"внÑĥÑĪиÑĤелÑĮн":128212,"говаÑĢиваеÑĤ":128213,"двойÑģÑĤвенн":128214,"доминиÑĢÑĥÑİÑī":128215,"евÑĢопейÑģки":128216,"знаÑģилован":128217,"индивидÑĥал":128218,"иÑĢованнÑĭми":128219,"иÑģÑĤиÑĩеÑģким":128220,"конÑĤÑĢолиÑĢÑĥ":128221,"наÑĨионалÑĮн":128222,"нейÑĤÑĢалÑĮно":128223,"неполиÑĤиÑĩе":128224,"огÑĢаÑĦиÑĩеÑģк":128225,"опÑĥÑĤÑģÑĤвÑĥÑİÑī":128226,"оÑĦиÑĨиалÑĮно":128227,"пиÑģÑĭваÑİÑĤÑģÑı":128228,"пÑĢавлÑıÑĤÑĮÑģÑı":128229,"пÑĢоÑģÑĤÑĢанен":128230,"ÑĢаÑģположен":128231,"ÑģоблÑİдение":128232,"ÑĦаÑĪиÑģÑĤÑģкиÑħ":128233,"Ġlocomotive":128234,"ĠÐIJÑĢиÑģÑĤоÑĤелÑĮ":128235,"ĠÐIJÑĢиÑģÑĤоÑĤелÑı":128236,"ĠÐIJÑģÑģоÑĨиаÑĨии":128237,"ĠÐijÑĢиÑĤанÑģкой":128238,"ĠÐĴÑģледÑģÑĤвие":128239,"ĠÐĽÐµÑĢмонÑĤова":128240,"ĠÐĽÐ¸ÑĤеÑĢаÑĤÑĥÑĢа":128241,"ĠÐĽÐ¾Ð¼Ð¾Ð½Ð¾Ñģова":128242,"ĠÐľÐ¸Ð½Ð¾Ð±Ð¾ÑĢонÑĭ":128243,"ĠÐĿеÑģомненно":128244,"ĠÐĿиколаевна":128245,"ĠÐŀÑĤÑģÑĥÑĤÑģÑĤвие":128246,"ĠÐŁÐ¾Ð±ÐµÐ´Ð¸ÑĤелÑĮ":128247,"ĠÐŁÐ¾Ð»ÑĥÑĩаеÑĤÑģÑı":128248,"ĠÐłÐ°ÑģÑģказÑĭва":128249,"ĠÐłÐ¾ÑģÑģийÑģкий":128250,"ĠÐłÐ¾ÑģÑĤовÑģкой":128251,"ĠСвеÑĢдловÑģк":128252,"ĠСÑĤаниÑģлава":128253,"ĠУÑģÑĤановлен":128254,"ĠанÑĤибиоÑĤик":128255,"ĠанÑĤÑĢополог":128256,"ĠаÑĢеÑģÑĤовали":128257,"ĠаÑĢÑĤиллеÑĢиÑı":128258,"ĠаÑģÑģоÑĨиаÑĨиÑı":128259,"ĠаÑģÑĤÑĢономии":128260,"ĠбаÑĤалÑĮонов":128261,"Ġбезнадежно":128262,"ĠбезÑĥÑģпеÑĪно":128263,"ĠбеÑģполезнÑĭ":128264,"ĠболÑĮÑĪевики":128265,"ĠбÑĢиÑĤанÑģким":128266,"ĠвеÑĢÑĤолеÑĤов":128267,"ĠвладелÑĮÑĨем":128268,"ĠводопÑĢовод":128269,"ĠвозбÑĥждено":128270,"ĠвоÑģÑĤоÑĩного":128271,"ĠвоÑģÑħиÑīение":128272,"ĠвоÑģÑħождени":128273,"ĠвÑģпоминаÑĤÑĮ":128274,"ĠвÑĭдаÑİÑīийÑģÑı":128275,"ĠвÑĭполнениÑİ":128276,"ĠвÑĭÑģказÑĭвал":128277,"ĠгеÑĢоиÑĩеÑģки":128278,"ĠгоÑģподÑģÑĤва":128279,"ĠгоÑĤовиÑĤÑĮÑģÑı":128280,"ĠгÑĢажданами":128281,"ĠдвоÑĢÑıнÑģÑĤва":128282,"ĠдеÑĢевÑıннÑĭй":128283,"ĠдеÑĢевÑıннÑĭÑħ":128284,"ĠдиÑģÑĨиплина":128285,"ĠдобиваÑĤÑĮÑģÑı":128286,"ĠдоÑģÑĤаÑĤоÑĩнÑĭ":128287,"ĠдоÑģÑĤигнÑĥÑĤо":128288,"ĠдоÑģÑĤижении":128289,"ĠдоÑģÑĤовеÑĢно":128290,"ĠдоÑģÑĤовеÑĢнÑĭ":128291,"ĠдÑĢевнейÑĪиÑħ":128292,"ĠжеÑģÑĤокоÑģÑĤÑĮ":128293,"Ġжизненного":128294,"ĠзабоÑĤиÑĤÑĮÑģÑı":128295,"ĠзавеÑĢÑĪении":128296,"ĠзаговоÑĢÑīик":128297,"ĠзадÑĥмаÑĤÑĮÑģÑı":128298,"ĠзаÑģÑĤавлÑıÑİÑĤ":128299,"ĠзаÑħоÑĤелоÑģÑĮ":128300,"ĠзаÑīиÑĤников":128301,"ĠзлоÑĥпоÑĤÑĢеб":128302,"ĠзнамениÑĤÑĭм":128303,"ĠизвеÑģÑĤнÑĭми":128304,"ĠизмелÑĮÑĩенн":128305,"Ġизменением":128306,"ĠимпеÑĢаÑĤоÑĢÑĥ":128307,"ĠинвеÑģÑĤиÑĨии":128308,"ĠинвеÑģÑĤоÑĢов":128309,"ĠиндивидÑĥÑĥм":128310,"ĠиниÑĨиаÑĤивÑĭ":128311,"ĠинÑģÑĤÑĢÑĥкÑĨиÑı":128312,"ĠинÑĤеÑĢеÑģами":128313,"ĠинÑĤеÑĢеÑģнÑĭм":128314,"ĠиÑģкопаемÑĭÑħ":128315,"ĠиÑģпанÑģкого":128316,"ĠиÑģпÑĭÑĤÑĭваÑİÑĤ":128317,"ĠиÑģÑĤоÑĩникам":128318,"ĠкандидаÑĤом":128319,"ĠкандидаÑĤÑĥÑĢ":128320,"ĠкапиÑĤализм":128321,"ĠкаÑĤаÑģÑĤÑĢоÑĦа":128322,"ĠкаÑĩеÑģÑĤвами":128323,"ĠкомбинаÑĨии":128324,"ĠкомпозиÑĨиÑı":128325,"ĠкомпÑĮÑİÑĤеÑĢÑĭ":128326,"ĠконкÑĢеÑĤнÑĭй":128327,"ĠконÑĤингенÑĤ":128328,"ĠконÑĤиненÑĤа":128329,"ĠкооÑĢдинаÑĤÑĭ":128330,"ĠкоÑĢпоÑĢаÑĨиÑı":128331,"ĠкÑĢеÑģÑĤÑĮÑıнин":128332,"ĠкÑĢÑĥпнейÑĪий":128333,"ĠкÑĢÑĥпнейÑĪим":128334,"ĠкÑĥлÑĮÑĤÑĥÑĢнÑĭе":128335,"ĠмагиÑģÑĤÑĢалÑĮ":128336,"ĠмаÑĤемаÑĤике":128337,"ĠмаÑĪиноÑģÑĤÑĢо":128338,"ĠмеÑĤÑĢополиÑĤ":128339,"ĠмикÑĢоÑĢайон":128340,"ĠмногообÑĢаз":128341,"ĠмонаÑģÑĤÑĭÑĢÑģк":128342,"ĠмониÑĤоÑĢинг":128343,"ĠназнаÑĩении":128344,"ĠназнаÑĩениÑİ":128345,"ĠнаиболÑĮÑĪее":128346,"ĠнакоплениÑı":128347,"ĠнапиÑģаннÑĭе":128348,"ĠнаÑģелÑijннÑĭе":128349,"ĠнаÑģелÑijннÑĭй":128350,"ĠнаÑģледника":128351,"ĠнаÑģÑĤаиваÑĤÑĮ":128352,"ĠнаÑĩалÑĮникÑĥ":128353,"ĠнаÑĩалÑĮÑģÑĤво":128354,"ĠнелегалÑĮно":128355,"ĠнеповÑĤоÑĢим":128356,"ĠнеÑģколÑĮким":128357,"ĠнеÑĥвеÑĢенно":128358,"ĠноÑĢмалÑĮнÑĭй":128359,"ĠобеÑģпокоен":128360,"ĠобиÑĤаÑĤелей":128361,"ĠобладаÑĤелÑĮ":128362,"ĠоблегÑĩение":128363,"Ġобновление":128364,"ĠобÑĢазовÑĭва":128365,"ĠобÑĢаÑĤилаÑģÑĮ":128366,"ĠобÑĢаÑīалиÑģÑĮ":128367,"ĠобÑĢаÑīаÑİÑĤÑģÑı":128368,"ĠобÑĬединенÑĭ":128369,"ĠобÑĬединÑıÑİÑī":128370,"ĠодинаковÑĭе":128371,"ĠолиÑĨеÑĤвоÑĢÑı":128372,"ĠопеÑĢаÑĤоÑĢов":128373,"ĠопÑĢеделенÑĭ":128374,"ĠопÑĢеделили":128375,"ĠоÑģведомлен":128376,"ĠоÑģнованнаÑı":128377,"ĠоÑģноваÑĤелÑı":128378,"ĠоÑģÑĤалÑĮнÑĭми":128379,"ĠоÑģÑĤановлен":128380,"ĠоÑģÑĥÑīеÑģÑĤвлÑı":128381,"ĠоÑĤвÑĢаÑīение":128382,"ĠоÑĤлиÑĩалаÑģÑĮ":128383,"ĠоÑĤпÑĢавлÑıÑĤÑĮ":128384,"ĠпаÑĢламенÑĤе":128385,"ĠпаÑĤÑĢиоÑĤизм":128386,"ĠпеÑĢедаеÑĤÑģÑı":128387,"ĠпеÑĢеживаеÑĤ":128388,"ĠпеÑĢеменной":128389,"ĠпеÑĢеменнÑĭÑħ":128390,"ĠпеÑĢеполнен":128391,"ĠповÑĭÑĪаеÑĤÑģÑı":128392,"ĠподавлениÑı":128393,"ĠподвеÑĢгнÑĥÑĤ":128394,"ĠподдеÑĢжали":128395,"ĠподозÑĢевал":128396,"ĠподозÑĢение":128397,"ĠподозÑĢениÑı":128398,"ĠподпиÑģаниÑı":128399,"ĠподÑģказÑĭва":128400,"ĠподÑĩинение":128401,"ĠподÑĩинениÑı":128402,"ĠподÑĩÑijÑĢкива":128403,"ĠпоказÑĭвали":128404,"ĠпокÑĢовиÑĤел":128405,"ĠпокÑĥпаÑĤелÑĮ":128406,"ĠпонимаеÑĤÑģÑı":128407,"ĠпонÑĢавилÑģÑı":128408,"ĠпопÑĢобовал":128409,"ĠпоÑģмоÑĤÑĢиÑĤе":128410,"ĠпоÑģÑĤавленÑĭ":128411,"ĠпоÑģÑĤановил":128412,"ĠпоÑģÑĤановке":128413,"ĠпоÑģÑĤоÑıннаÑı":128414,"ĠпоÑģÑĤÑĢадавÑĪ":128415,"ĠпоÑĤенÑĨиала":128416,"ĠпоÑıвлÑıлиÑģÑĮ":128417,"ĠпÑĢавилÑĮное":128418,"ĠпÑĢавилÑĮной":128419,"ĠпÑĢавиÑĤелей":128420,"ĠпÑĢебÑĭвание":128421,"ĠпÑĢедвÑĭбоÑĢн":128422,"ĠпÑĢедлагали":128423,"ĠпÑĢедпиÑģÑĭва":128424,"ĠпÑĢедÑĭдÑĥÑīем":128425,"ĠпÑĢедÑĭдÑĥÑīие":128426,"ĠпÑĢекÑĢаÑģнаÑı":128427,"ĠпÑĢекÑĢаÑģное":128428,"ĠпÑĢекÑĢаÑģной":128429,"ĠпÑĢекÑĢаÑģнÑĭе":128430,"ĠпÑĢивлекаÑĤÑĮ":128431,"ĠпÑĢиводиÑĤÑģÑı":128432,"ĠпÑĢиглаÑģили":128433,"ĠпÑĢиговоÑĢил":128434,"ĠпÑĢигоÑĤовил":128435,"ĠпÑĢизнаваÑĤÑĮ":128436,"ĠпÑĢикÑĢеплен":128437,"ĠпÑĢиложении":128438,"ĠпÑĢиÑĢодного":128439,"ĠпÑĢиÑģпоÑģоби":128440,"ĠпÑĢиÑģÑĤÑĥпили":128441,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвÑĥ":128442,"ĠпÑĢодÑĥкÑĤами":128443,"ĠпÑĢоизводим":128444,"ĠпÑĢоиÑģÑĪеÑģÑĤв":128445,"ĠпÑĢолеÑĤаÑĢÑģк":128446,"ĠпÑĢопÑĥÑģÑĤиÑĤÑĮ":128447,"ĠпÑĢоÑĢабоÑĤал":128448,"ĠпÑĢоÑģледиÑĤÑĮ":128449,"ĠпÑĢоÑģлÑĥÑĪива":128450,"ĠпÑĢоÑıвлений":128451,"ĠпÑģиÑħологиÑı":128452,"ĠпÑĥбликовал":128453,"ĠпÑıÑĤнадÑĨаÑĤи":128454,"ĠÑĢабоÑĤникам":128455,"ĠÑĢазвеÑĢнÑĥÑĤÑĮ":128456,"ĠÑĢазмеÑģÑĤиÑĤÑĮ":128457,"ĠÑĢазмеÑīение":128458,"ĠÑĢазоблаÑĩен":128459,"ĠÑĢаÑģполагал":128460,"ĠÑĢежиÑģÑģÑijÑĢом":128461,"ĠÑĢепозиÑĤоÑĢи":128462,"ĠÑģекÑĢеÑĤаÑĢÑijм":128463,"ĠÑģеÑĢебÑĢÑıнÑĭй":128464,"ĠÑģеÑĢебÑĢÑıнÑĭм":128465,"ĠÑģледÑĥÑİÑīемÑĥ":128466,"ĠÑģледÑĥÑİÑīими":128467,"ĠÑģоблÑİдениÑı":128468,"ĠÑģовеÑĤÑģкими":128469,"ĠÑģовмеÑģÑĤнÑĭÑħ":128470,"ĠÑģоглаÑĪений":128471,"ĠÑģодейÑģÑĤвие":128472,"ĠÑģодеÑĢжании":128473,"ĠÑģодеÑĢжаÑīиÑħ":128474,"ĠÑģозданного":128475,"ĠÑģолнеÑĩного":128476,"ĠÑģопеÑĢников":128477,"ĠÑģопÑĢоÑĤивлÑı":128478,"ĠÑģоÑģÑĤоÑıлиÑģÑĮ":128479,"ĠÑģоÑħÑĢанении":128480,"ĠÑģоÑħÑĢанилÑģÑı":128481,"ĠÑģоÑĨиалÑĮное":128482,"ĠÑģпаÑģаÑĤелÑĮн":128483,"ĠÑģпоÑĢÑĤивнÑĭе":128484,"ĠÑģпоÑĢÑĤÑģмена":128485,"ĠÑģÑĢавниваÑĤÑĮ":128486,"ĠÑģÑĤандаÑĢÑĤов":128487,"ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢой":128488,"ĠÑģÑĥÑħопÑĥÑĤнÑĭÑħ":128489,"ĠÑģÑĩаÑģÑĤливÑĭм":128490,"ĠÑĤвоÑĢÑĩеÑģкий":128491,"ĠÑĤвоÑĢÑĩеÑģкиÑħ":128492,"ĠÑĤелевизион":128493,"ĠÑĤеÑħнологиÑİ":128494,"ĠÑĤоваÑĢиÑīеÑģк":128495,"ĠÑĤÑĢебованиÑİ":128496,"ĠÑĤÑĥбеÑĢкÑĥлез":128497,"ĠÑĥвелиÑĩениÑİ":128498,"ĠÑĥдеÑĢживаÑĤÑĮ":128499,"ĠÑĥкÑĢаинÑģкие":128500,"ĠÑĥникалÑĮнÑĭй":128501,"ĠÑĥниÑĩÑĤоженÑĭ":128502,"ĠÑĥниÑĩÑĤожили":128503,"ĠÑĥÑģÑĤÑĢанениÑı":128504,"ĠÑĦакÑĥлÑĮÑĤеÑĤе":128505,"ĠÑĦизиологии":128506,"ĠÑĦизиÑĩеÑģком":128507,"ĠÑĦинанÑģовÑĭм":128508,"ĠÑĦоÑĢмÑĥлиÑĢов":128509,"ĠÑĦоÑĢÑĤепиано":128510,"ĠÑĦÑĥÑĤболÑĮной":128511,"ĠÑħаÑĢакÑĤеÑĢна":128512,"ĠÑħимиÑĩеÑģкие":128513,"ĠÑĨеленапÑĢав":128514,"ĠÑĪеÑģÑĤÑĮдеÑģÑıÑĤ":128515,"ĠÑĪколÑĮников":128516,"ĠÑįкзиÑģÑĤенÑĨи":128517,"ĠÑįлекÑĤÑĢонов":128518,"ТиÑħоокеанÑģк":128519,"девÑıÑĤнадÑĨаÑĤ":128520,"комбиниÑĢова":128521,"миллимеÑĤÑĢов":128522,"мобилизован":128523,"навигаÑĨионн":128524,"нодоÑĢожного":128525,"номенклаÑĤÑĥÑĢ":128526,"огÑĢаниÑĩенно":128527,"одейÑģÑĤвовал":128528,"ологиÑĩеÑģкаÑı":128529,"поÑģÑĤановÑīик":128530,"ÑĤеÑħниÑĩеÑģкиÑħ":128531,"ÑĤеÑħниÑĩеÑģкой":128532,"ÑĦÑĥнкÑĨионалÑĮ":128533,"ĠÐijожеÑģÑĤвенно":128534,"ĠÐĴооÑĢÑĥженнÑĭÑħ":128535,"ĠÐĴооÑĢÑĥжÑijннÑĭÑħ":128536,"ĠÐĵенеÑĢалÑĮнÑĭй":128537,"ĠÐķвÑĢопейÑģкой":128538,"ĠÐĺÑģполниÑĤелÑĮ":128539,"ĠÐľÐ°ÑıковÑģкого":128540,"ĠÐŀбÑĢазование":128541,"ĠÐŀпÑĢеделение":128542,"ĠÐŀÑĢганизаÑĨиÑı":128543,"ĠÐłÑĥководÑģÑĤво":128544,"ĠСеваÑģÑĤополÑı":128545,"ĠСоединеннÑĭе":128546,"ĠУзбекиÑģÑĤана":128547,"ĠЦенÑĤÑĢалÑĮном":128548,"ĠЧиÑģленноÑģÑĤÑĮ":128549,"ĠаминокиÑģлоÑĤ":128550,"ĠаналогиÑĩнÑĭе":128551,"ĠаÑĢÑħимандÑĢиÑĤ":128552,"ĠаÑĢÑħиÑĤекÑĤÑĥÑĢе":128553,"ĠблагоÑģловен":128554,"Ġвеликолепно":128555,"ĠвозбÑĥждение":128556,"ĠвозвÑĢаÑĤилÑģÑı":128557,"ĠвозвÑĢаÑīалÑģÑı":128558,"ĠвозникаÑİÑīие":128559,"ĠвозÑĢождениÑı":128560,"ĠвооÑĢÑĥженнÑĭе":128561,"ĠвооÑĢÑĥжÑijннÑĭÑħ":128562,"ĠголоÑģование":128563,"ĠгÑĢажданÑģÑĤва":128564,"ĠгÑĢажданÑģÑĤво":128565,"ĠгÑĥманиÑĤаÑĢно":128566,"ĠдейÑģÑĤвовала":128567,"ĠдейÑģÑĤвÑĥÑİÑīей":128568,"ĠдекоÑĢаÑĤивно":128569,"ĠдиÑģÑģеÑĢÑĤаÑĨии":128570,"ĠдобÑĢодеÑĤели":128571,"ĠдокÑĥменÑĤами":128572,"ĠдопÑĥÑģкаеÑĤÑģÑı":128573,"ĠдÑĢÑĥжеÑģÑĤвенн":128574,"ĠдÑĥÑħовенÑģÑĤва":128575,"ĠевÑĢопейÑģким":128576,"ĠзавеÑĢÑĪилаÑģÑĮ":128577,"ĠзаконÑĩилоÑģÑĮ":128578,"ĠизменениÑıми":128579,"ĠиноÑģÑĤÑĢанной":128580,"ĠиноÑģÑĤÑĢаннÑĭм":128581,"ĠиноÑģÑĤÑĢанÑĨев":128582,"ĠиÑģполниÑĤелÑı":128583,"ĠиÑģполÑĮзовав":128584,"ĠиÑģÑĤÑĢебиÑĤели":128585,"ĠиÑĤалÑĮÑıнÑģкиÑħ":128586,"ĠкилогÑĢаммов":128587,"ĠколиÑĩеÑģÑĤваÑħ":128588,"ĠкомандÑĥÑİÑīим":128589,"ĠкомменÑĤаÑĢий":128590,"ĠконденÑģаÑĤоÑĢ":128591,"ĠконеÑĩноÑģÑĤей":128592,"ĠкÑĢеÑģÑĤÑĮÑıнина":128593,"ĠлабоÑĢаÑĤоÑĢиÑı":128594,"ĠленингÑĢадÑģк":128595,"ĠлÑİбопÑĭÑĤÑģÑĤво":128596,"ĠмаÑĤеÑĢиалами":128597,"ĠмедиÑĨинÑģкий":128598,"ĠмеÑĢопÑĢиÑıÑĤие":128599,"ĠмиÑĤÑĢополиÑĤа":128600,"ĠмониÑĤоÑĢинга":128601,"ĠмÑĥзÑĭкалÑĮнÑĭе":128602,"ĠнаблÑİдаÑĤелÑı":128603,"ĠнаблÑİдаÑİÑĤÑģÑı":128604,"ĠнаÑģлаждение":128605,"ĠнаÑħодÑıÑīийÑģÑı":128606,"ĠнаÑĨионализм":128607,"ĠнезавиÑģимой":128608,"ĠнезавиÑģимÑĭм":128609,"ĠнеизвеÑģÑĤнÑĭм":128610,"ĠобеÑģпеÑĩениÑİ":128611,"ĠобладаÑĤелем":128612,"ĠобÑĥÑģловлено":128613,"ĠобÑĥÑģловлива":128614,"ĠодиннадÑĨаÑĤÑĮ":128615,"ĠодиноÑĩеÑģÑĤве":128616,"ĠокÑĢÑĥжаÑİÑīего":128617,"ĠопиÑģÑĭваеÑĤÑģÑı":128618,"ĠопÑĤимизаÑĨии":128619,"ĠоÑĤделÑĮноÑģÑĤи":128620,"ĠоÑĤлиÑĩиÑĤелÑĮн":128621,"ĠоÑĤноÑģÑıÑīиеÑģÑı":128622,"ĠоÑĤпÑĢавилаÑģÑĮ":128623,"ĠоÑĤÑģÑĤÑĥпление":128624,"ĠоÑĦиÑĨиалÑĮное":128625,"ĠоÑĦиÑĨиалÑĮнÑĭе":128626,"ĠоÑĨениваеÑĤÑģÑı":128627,"ĠпеÑĢеживаний":128628,"ĠпеÑĢемеÑīение":128629,"ĠпеÑĢеÑģеÑĩениÑı":128630,"ĠпеÑĢеÑģÑĤÑĢойки":128631,"ĠповÑĢеждений":128632,"ĠповÑģедневно":128633,"ĠподÑĤвеÑĢдиÑĤÑĮ":128634,"ĠподÑĩеÑĢкивал":128635,"ĠподÑĩиненнÑĭÑħ":128636,"ĠполиÑĨейÑģкий":128637,"ĠпоÑģвÑıÑīеннÑĭÑħ":128638,"ĠпоÑģледовавÑĪ":128639,"ĠпоÑģледовали":128640,"ĠпоÑģледовало":128641,"ĠпоÑģледÑĥÑİÑīей":128642,"ĠпоÑģÑĤÑĢоеннÑĭй":128643,"ĠпоÑĤÑĢебовали":128644,"ĠпоÑĤÑĢебоваÑĤÑĮ":128645,"ĠпÑĢавилÑĮного":128646,"ĠпÑĢевоÑģÑħодно":128647,"ĠпÑĢевоÑģÑħодÑıÑī":128648,"ĠпÑĢевÑĢаÑīение":128649,"ĠпÑĢедводиÑĤел":128650,"ĠпÑĢедоÑģÑĤавлÑı":128651,"ĠпÑĢедпÑĢинÑıÑĤÑĮ":128652,"ĠпÑĢедпÑĢиÑıÑĤии":128653,"ĠпÑĢедÑĢаÑģÑģÑĥдк":128654,"ĠпÑĢекÑĢаÑīение":128655,"ĠпÑĢекÑĢаÑīении":128656,"ĠпÑĢеодолениÑı":128657,"ĠпÑĢепÑıÑĤÑģÑĤвий":128658,"ĠпÑĢивлеÑĩение":128659,"ĠпÑĢименÑıÑĤÑĮÑģÑı":128660,"ĠпÑĢинимаеÑĤÑģÑı":128661,"ĠпÑĢиобÑĢеÑĤаÑİÑĤ":128662,"ĠпÑĢовозглаÑĪа":128663,"ĠпÑĢоиÑģÑħодивÑĪ":128664,"ĠпÑĢомÑĭÑĪленно":128665,"ĠпÑĢоповедник":128666,"ĠпÑĢоÑĦеÑģÑģиона":128667,"ĠпÑĢоÑıвленнÑĭе":128668,"ĠпÑĢоÑıвлÑıÑİÑĤÑģÑı":128669,"ĠпÑģиÑħиÑĩеÑģкиÑħ":128670,"ĠпÑģиÑħоанализ":128671,"ĠÑĢазбиÑĢаÑĤÑĮÑģÑı":128672,"ĠÑĢазвлеÑĩениÑı":128673,"ĠÑĢазлиÑĩаÑİÑĤÑģÑı":128674,"ĠÑĢазноглаÑģиÑı":128675,"ĠÑĢазÑĢабоÑĤана":128676,"ĠÑĢазÑĢабоÑĤанÑĭ":128677,"ĠÑĢазÑĢабоÑĤкой":128678,"ĠÑĢаÑģполагаеÑĤ":128679,"ĠÑĢаÑģÑģÑĤÑĢойÑģÑĤв":128680,"ĠÑĢеагиÑĢоваÑĤÑĮ":128681,"ĠÑĢезÑĥлÑĮÑĤаÑĤаÑħ":128682,"ĠÑģекÑģÑĥалÑĮной":128683,"ĠÑģекÑģÑĥалÑĮнÑĭÑħ":128684,"ĠÑģимÑĦониÑĩеÑģк":128685,"ĠÑģложивÑĪейÑģÑı":128686,"ĠÑģобÑģÑĤвеннаÑı":128687,"ĠÑģовеÑĢÑĪаеÑĤÑģÑı":128688,"ĠÑģовмеÑģÑĤного":128689,"ĠÑģоглаÑĪаеÑĤÑģÑı":128690,"ĠÑģомневаÑĤÑĮÑģÑı":128691,"ĠÑģообÑĢажений":128692,"ĠÑģооÑĤноÑĪениÑı":128693,"ĠÑģоÑĤÑĢÑĥдникам":128694,"ĠÑģоÑĤÑĢÑĥдниÑĩал":128695,"ĠÑģпеÑĨиалÑĮнаÑı":128696,"ĠÑģпеÑĨиалÑĮное":128697,"ĠÑģпеÑĨиалÑĮнÑĥÑİ":128698,"ĠÑģÑĤановиÑĤÑĮÑģÑı":128699,"ĠÑģÑĤановлениÑı":128700,"ĠÑģÑĤолкнÑĥлиÑģÑĮ":128701,"ĠÑģÑĥвеÑĢениÑĤеÑĤ":128702,"ĠÑĤелевидение":128703,"ĠÑĤелевидении":128704,"ĠÑĤемпеÑĢаÑĤÑĥÑĢÑĥ":128705,"ĠÑĤеÑĢÑĢиÑĤоÑĢией":128706,"ĠÑĤÑĢебованием":128707,"ĠÑĤÑĢÑĥбопÑĢовод":128708,"ĠÑĤÑĥÑĢиÑģÑĤиÑĩеÑģк":128709,"ĠÑĥвелиÑĩением":128710,"ĠÑĥвелиÑĩиваеÑĤ":128711,"ĠÑĥвелиÑĩиваÑĤÑĮ":128712,"ĠÑĥвлекаÑĤелÑĮн":128713,"ĠÑĥказÑĭваеÑĤÑģÑı":128714,"ĠÑĥнаÑģледовал":128715,"ĠÑĥпоÑĤÑĢеблÑıÑİÑĤ":128716,"ĠÑĥÑĤвеÑĢждениÑİ":128717,"ĠÑĥÑĩаÑģÑĤвовавÑĪ":128718,"ĠÑĦилоÑģоÑĦÑģкиÑħ":128719,"ĠÑĦоÑĢмиÑĢоваÑĤÑĮ":128720,"ĠÑĦоÑĤоаппаÑĢаÑĤ":128721,"ĠÑĦÑĢанÑĨÑĥзÑģкаÑı":128722,"ĠÑĦÑĥнкÑĨионалÑĮ":128723,"ĠÑĦÑĥÑĤболÑĮного":128724,"ĠÑħимиÑĩеÑģкого":128725,"ĠÑĨелоÑģÑĤноÑģÑĤи":128726,"ĠÑĨенÑĤÑĢалÑĮнÑĭй":128727,"ĠÑĩÑĥвÑģÑĤвовали":128728,"ĠÑįвакÑĥиÑĢован":128729,"ĠÑįлекÑĤÑĢоÑģÑĤан":128730,"ĠÑįÑĦÑĦекÑĤивной":128731,"ĠÑİÑĢидиÑĩеÑģкой":128732,"ÐĴоÑģпоминаниÑı":128733,"гÑĢаммаÑĤиÑĩеÑģк":128734,"меÑĤаÑĦизиÑĩеÑģк":128735,"полиÑĤиÑĩеÑģкой":128736,"пÑĢомÑĭÑĪленник":128737,"ÑĥпÑĢавленÑĩеÑģк":128738,"ÑħозÑıйÑģÑĤвенно":128739,"ĠÐķвÑĢопейÑģкого":128740,"ĠÐķдинÑģÑĤвеннÑĭй":128741,"ĠÐĺÑģÑģледованиÑı":128742,"ĠÐľÐ°ÐºÑģималÑĮнаÑı":128743,"ĠÐĿовгоÑĢодÑģкой":128744,"ĠÐĿовоÑĢоÑģÑģийÑģк":128745,"ĠÐŁÑĢоизводÑģÑĤво":128746,"ĠСвеÑĢдловÑģкой":128747,"ĠблагопÑĢиÑıÑĤно":128748,"ĠболÑĮÑĪинÑģÑĤвом":128749,"ĠвозвÑĢаÑīаÑİÑĤÑģÑı":128750,"ĠвоÑģпÑĢинимаеÑĤ":128751,"ĠвÑģевозможнÑĭе":128752,"ĠвÑĭÑģказÑĭвание":128753,"ĠдоговоÑĢиÑĤÑĮÑģÑı":128754,"ĠеÑģÑĤеÑģÑĤвеннÑĭй":128755,"ĠзаболеваниÑıÑħ":128756,"ĠиноÑģÑĤÑĢанного":128757,"ĠинÑģÑĤÑĢÑĥменÑĤом":128758,"ĠинÑĤегÑĢиÑĢован":128759,"ĠиÑģполниÑĤелей":128760,"ĠиÑģполÑĮзÑĥемÑĭе":128761,"ĠиÑģпÑĢавиÑĤелÑĮн":128762,"ĠиÑģÑģледованиÑİ":128763,"ĠиÑģÑĤоÑĢиÑĩеÑģкаÑı":128764,"ĠиÑģÑĤоÑĢиÑĩеÑģкое":128765,"ĠиÑģÑĤоÑĢиÑĩеÑģкÑĥÑİ":128766,"ĠкаÑĤолиÑĩеÑģкой":128767,"ĠкомменÑĤаÑĢиев":128768,"ĠкоммÑĥникаÑĨий":128769,"ĠкомпÑĮÑİÑĤеÑĢной":128770,"ĠкомпÑĮÑİÑĤеÑĢнÑĭÑħ":128771,"ĠконÑĤÑĢолиÑĢÑĥем":128772,"ĠконÑĤÑĢолиÑĢÑĥеÑĤ":128773,"ĠконÑĤÑĢÑĢазведк":128774,"ĠконÑĨенÑĤÑĢаÑĨиÑı":128775,"ĠлиÑĤеÑĢаÑĤÑĥÑĢнÑĭе":128776,"ĠлиÑĤеÑĢаÑĤÑĥÑĢнÑĭм":128777,"ĠмакÑģималÑĮнаÑı":128778,"ĠмаÑĤеÑĢиалÑĮнÑĭе":128779,"ĠмонÑĥменÑĤалÑĮн":128780,"ĠнапÑĢавлениÑıм":128781,"ĠнапÑĢавленнÑĭе":128782,"ĠнапÑĢавленнÑĭÑħ":128783,"ĠнапÑĢавлÑıеÑĤÑģÑı":128784,"ĠнаÑģÑĤÑĥплением":128785,"ĠнаÑħодивÑĪиÑħÑģÑı":128786,"ĠнаÑĨионалÑĮнаÑı":128787,"ĠнеÑģовеÑĢÑĪенно":128788,"ĠнеÑģооÑĤвеÑĤÑģÑĤв":128789,"ĠознакомиÑĤÑĮÑģÑı":128790,"ĠопеÑĢаÑĤивного":128791,"ĠопеÑĢаÑĨионной":128792,"ĠопÑĥбликовано":128793,"ĠоÑĢганизаÑĨиÑıÑħ":128794,"ĠоÑĢганиÑĩеÑģкиÑħ":128795,"ĠоÑģноваÑĤелÑĮно":128796,"ĠоÑģобенноÑģÑĤÑĮÑİ":128797,"ĠподвеÑĢгаеÑĤÑģÑı":128798,"ĠподдеÑĢживаем":128799,"ĠподдеÑĢживали":128800,"ĠподÑĤвеÑĢждаÑİÑĤ":128801,"ĠполÑĮзоваÑĤелÑİ":128802,"ĠпоÑģледÑĥÑİÑīего":128803,"ĠпоÑĤÑĢебноÑģÑĤÑıм":128804,"ĠпÑĢавоÑģлавнÑĭÑħ":128805,"ĠпÑĢакÑĤиÑĩеÑģкиÑħ":128806,"ĠпÑĢевÑĢаÑĤилиÑģÑĮ":128807,"ĠпÑĢедполагаÑİÑĤ":128808,"ĠпÑĢедпоÑĩиÑĤаеÑĤ":128809,"ĠпÑĢедÑģÑĤавлено":128810,"ĠпÑĢедÑĥпÑĢедиÑĤÑĮ":128811,"ĠпÑĢиближаеÑĤÑģÑı":128812,"ĠпÑĢоголоÑģовал":128813,"ĠпÑĢодолжалиÑģÑĮ":128814,"ĠпÑĢоизведении":128815,"ĠпÑĢомÑĭÑĪленной":128816,"ĠпÑĢоÑĤивоÑĢеÑĩий":128817,"ĠпÑģиÑħиÑĩеÑģкого":128818,"ĠÑĢадиоÑģÑĤанÑĨии":128819,"ĠÑĢеалиÑģÑĤиÑĩеÑģк":128820,"ĠÑĢеволÑİÑĨионно":128821,"ĠÑĢезÑĥлÑĮÑĤаÑĤами":128822,"ĠÑĢезÑĥлÑĮÑĤаÑĤивн":128823,"ĠÑģамоÑĥбийÑģÑĤво":128824,"ĠÑģвоеобÑĢазнÑĭй":128825,"ĠÑģегоднÑıÑĪнего":128826,"ĠÑģекÑģÑĥалÑĮного":128827,"ĠÑģимволиÑĩеÑģки":128828,"ĠÑģообÑĢажениÑıм":128829,"ĠÑģооÑĤвеÑĤÑģÑĤвиÑı":128830,"ĠÑģоÑģÑĢедоÑĤоÑĩил":128831,"ĠÑģоÑģÑĤавлÑıÑİÑīие":128832,"ĠÑģпоÑģобÑģÑĤвÑĥÑİÑĤ":128833,"ĠÑģÑĤабилÑĮноÑģÑĤи":128834,"ĠÑģÑĤолкновение":128835,"ĠÑģÑĥÑīеÑģÑĤвенное":128836,"ĠÑģÑĥÑīеÑģÑĤвеннÑĭе":128837,"ĠÑģÑĥÑīеÑģÑĤвеннÑĭÑħ":128838,"ĠÑĤеÑģÑĤиÑĢование":128839,"ĠÑĥвеÑĢенноÑģÑĤÑĮÑİ":128840,"ĠÑĥÑģÑĤанавливал":128841,"ĠÑĥÑģÑĤойÑĩивоÑģÑĤи":128842,"ĠÑħÑĢиÑģÑĤианÑģкиÑħ":128843,"ĠÑĨаÑĢÑģÑĤвованиÑı":128844,"ĠÑĩеловеÑĩеÑģкаÑı":128845,"ĠÑĩиÑģленноÑģÑĤÑĮÑİ":128846,"ĠÑįкономиÑĩеÑģки":128847,"ĠÑįнÑĨиклопедии":128848,"ĠÑįнÑĨиклопедиÑı":128849,"ÐĺнÑĤеÑĢнаÑĨионал":128850,"ĠÐŁÐµÑĤÑĢопавловÑģк":128851,"ĠÐŁÑĢедÑģÑĤавиÑĤелÑĮ":128852,"ĠÐłÐ°ÑģпÑĢоÑģÑĤÑĢанен":128853,"ĠавÑĤомаÑĤизаÑĨии":128854,"ĠводоÑħÑĢанилиÑīа":128855,"ĠвоеннопленнÑĭÑħ":128856,"ĠвоÑģпоминаниÑıÑħ":128857,"ĠвоÑģпÑĢоизведен":128858,"ĠгеогÑĢаÑĦиÑĩеÑģки":128859,"ĠгеомеÑĤÑĢиÑĩеÑģки":128860,"ĠгоÑģÑĥдаÑĢÑģÑĤвами":128861,"ĠдокÑĥменÑĤалÑĮно":128862,"ĠзамеÑĩаÑĤелÑĮнÑĭй":128863,"ĠземлеÑĤÑĢÑıÑģениÑı":128864,"ĠзлоÑĥмÑĭÑĪленник":128865,"ĠимпеÑĢаÑĤоÑĢÑģкой":128866,"ĠинÑĤенÑģивноÑģÑĤи":128867,"ĠинÑĤенÑģивноÑģÑĤÑĮ":128868,"ĠклаÑģÑģиÑĩеÑģкого":128869,"ĠконÑĤÑĢолиÑĢовал":128870,"ĠмеÑģÑĤоположени":128871,"ĠмеÑģÑĤоÑĢождений":128872,"ĠмÑĥниÑĨипалÑĮное":128873,"ĠневозможноÑģÑĤи":128874,"ĠневозможноÑģÑĤÑĮ":128875,"ĠнепÑĢедÑģказÑĥем":128876,"ĠнеÑģпÑĢаведливо":128877,"ĠоÑĤеÑĩеÑģÑĤвеннÑĭÑħ":128878,"ĠпеÑĢеÑĩиÑģленнÑĭÑħ":128879,"ĠповеÑģÑĤвование":128880,"ĠполиÑĤиÑĩеÑģкими":128881,"ĠположиÑĤелÑĮнÑĭй":128882,"ĠпопÑĥлÑıÑĢноÑģÑĤÑĮÑİ":128883,"ĠпоÑĤенÑĨиалÑĮнÑĭÑħ":128884,"ĠпоÑĤÑĢебовалоÑģÑĮ":128885,"ĠпÑĢедÑģÑĤавлении":128886,"ĠпÑĢезиденÑĤÑģкиÑħ":128887,"ĠпÑĢеподаваÑĤелÑı":128888,"ĠпÑĢивеÑĤÑģÑĤвовал":128889,"ĠпÑĢимениÑĤелÑĮно":128890,"ĠпÑĢиоÑģÑĤановлен":128891,"ĠпÑĢиÑģоединениÑı":128892,"ĠпÑĢоиÑģÑħодÑıÑīего":128893,"ĠпÑĢоиÑģÑħождениÑİ":128894,"ĠпÑĢоÑĤивоÑĢеÑĩивÑĭ":128895,"ĠÑĢазновидноÑģÑĤи":128896,"ĠÑĢазоÑĩаÑĢование":128897,"ĠÑĢазÑĢабаÑĤÑĭваеÑĤ":128898,"ĠÑĢаÑģполагалаÑģÑĮ":128899,"ĠÑĢаÑģположенной":128900,"ĠÑĢаÑģÑĤиÑĤелÑĮного":128901,"ĠÑĢеволÑİÑĨионнÑĭÑħ":128902,"ĠÑģимволизиÑĢÑĥеÑĤ":128903,"ĠÑģовÑĢеменноÑģÑĤи":128904,"ĠÑģпеÑĨиалиÑģÑĤами":128905,"ĠÑģпоÑģобноÑģÑĤÑıми":128906,"ĠÑģÑĢедневековой":128907,"ĠÑģÑĤиÑħоÑĤвоÑĢений":128908,"ĠÑĤеоÑĢеÑĤиÑĩеÑģкой":128909,"ĠÑĥнивеÑĢÑģиÑĤеÑĤов":128910,"ĠÑĥпоÑĤÑĢеблÑıеÑĤÑģÑı":128911,"ĠÑĥÑģÑĤановленнÑĭе":128912,"ĠÑĥÑģÑĤановленнÑĭй":128913,"ĠÑĥÑģÑĤановленнÑĭм":128914,"ĠÑħаÑĢакÑĤеÑĢизÑĥеÑĤ":128915,"ĠÑħÑĢиÑģÑĤианÑģкого":128916,"ĠÑĨелеÑģообÑĢазно":128917,"ĠÑĩеÑĤвеÑĢÑĤÑĮÑĦинал":128918,"ĠÑįкономиÑĩеÑģкаÑı":128919,"ĠÑįкономиÑĩеÑģком":128920,"ĠÑįлекÑĤÑĢиÑĩеÑģкиÑħ":128921,"ĠÑįлекÑĤÑĢиÑĩеÑģкой":128922,"ĠÑįлекÑĤÑĢиÑĩеÑģÑĤво":128923,"бомбаÑĢдиÑĢовоÑĩн":128924,"ĠÐŁÑĢедполагаеÑĤÑģÑı":128925,"ĠаÑĢÑĤиллеÑĢийÑģкиÑħ":128926,"ĠвзаимодейÑģÑĤвии":128927,"ĠвнеÑĪнеполиÑĤиÑĩе":128928,"ĠвознагÑĢаждение":128929,"ĠгоÑģÑĥдаÑĢÑģÑĤвенно":128930,"ĠдополниÑĤелÑĮное":128931,"ĠдополниÑĤелÑĮной":128932,"ĠдополниÑĤелÑĮнÑĭм":128933,"ĠзакономеÑĢноÑģÑĤи":128934,"ĠиндивидÑĥалÑĮной":128935,"ĠиндивидÑĥалÑĮнÑĭе":128936,"ĠобнаÑĢÑĥживаеÑĤÑģÑı":128937,"ĠобÑīеÑģÑĤвенноÑģÑĤÑĮ":128938,"ĠогÑĢаниÑĩиваеÑĤÑģÑı":128939,"ĠоÑĢганизованной":128940,"ĠоÑģÑĥÑīеÑģÑĤвлÑıÑĤÑĮÑģÑı":128941,"ĠоÑĤеÑĩеÑģÑĤвенного":128942,"ĠподÑĤвеÑĢждаеÑĤÑģÑı":128943,"ĠпоÑģледоваÑĤелей":128944,"ĠпоÑģÑĤановлением":128945,"ĠпÑĢедоÑģÑĤавление":128946,"ĠпÑĢедоÑĤвÑĢаÑīениÑı":128947,"ĠпÑĢедÑĥÑģмаÑĤÑĢивал":128948,"ĠпÑĢеобÑĢазование":128949,"ĠпÑĢеподаваÑĤелей":128950,"ĠпÑĢеподаваÑĤелем":128951,"ĠпÑĢивлекаÑĤелÑĮнÑĭ":128952,"ĠпÑĢиÑģоединилиÑģÑĮ":128953,"ĠпÑĢиÑģоединиÑĤÑĮÑģÑı":128954,"ĠпÑĢиÑģпоÑģоблениÑı":128955,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвовали":128956,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвоваÑĤÑĮ":128957,"ĠпÑĢодоволÑĮÑģÑĤвие":128958,"ĠпÑģиÑħологиÑĩеÑģки":128959,"ĠÑģконÑĨенÑĤÑĢиÑĢова":128960,"ĠÑģпоÑģобÑģÑĤвовали":128961,"ĠÑģÑĤÑĢаÑĤегиÑĩеÑģкиÑħ":128962,"ĠÑħÑĥдожеÑģÑĤвенном":128963,"ĠÑįлекÑĤÑĢиÑĩеÑģкого":128964,"ĠавÑĤомаÑĤизиÑĢован":128965,"ĠаÑĢÑĤиллеÑĢийÑģкого":128966,"ĠгоÑģÑĥдаÑĢÑģÑĤвенное":128967,"ĠдоÑģÑĤопÑĢимеÑĩаÑĤел":128968,"ĠжелезнодоÑĢожнаÑı":128969,"ĠжелезнодоÑĢожнÑĭÑħ":128970,"ĠконÑĤÑĢÑĢеволÑİÑĨион":128971,"ĠобÑĢазоваÑĤелÑĮнÑĭÑħ":128972,"ĠоÑģÑĤанавливаеÑĤÑģÑı":128973,"ĠоÑĤноÑģиÑĤелÑĮноÑģÑĤи":128974,"ĠпÑĢедпÑĢинимаÑĤелÑı":128975,"ĠпÑĢедÑĥÑģмоÑĤÑĢеннÑĭÑħ":128976,"ĠпÑĢопоÑĢÑĨионалÑĮно":128977,"ĠпÑĢоÑģÑĤÑĢанÑģÑĤвенно":128978,"ĠпÑģиÑħологиÑĩеÑģкиÑħ":128979,"ĠÑĢаÑģÑģмаÑĤÑĢиваÑĤÑĮÑģÑı":128980,"ĠÑĢаÑģÑģмаÑĤÑĢиваÑİÑĤÑģÑı":128981,"ĠÑģамоÑģÑĤоÑıÑĤелÑĮной":128982,"ĠÑģвеÑĢÑħÑĬеÑģÑĤеÑģÑĤвен":128983,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīÑĥÑİ":128984,"ĠÑĥÑģÑĤанавливаÑİÑĤÑģÑı":128985,"ÐļоммÑĥниÑģÑĤиÑĩеÑģкой":128986,"админиÑģÑĤÑĢаÑĤивнÑĭм":128987,"железнодоÑĢожного":128988,"законодаÑĤелÑĮÑģÑĤво":128989,"иÑģÑģледоваÑĤелÑĮÑģко":128990,"овеÑĢÑĪенÑģÑĤвованиÑı":128991,"пÑĢедваÑĢиÑĤелÑĮного":128992,"пÑĢоÑĦеÑģÑģионалÑĮнÑĭе":128993,"пÑģиÑħологиÑĩеÑģкого":128994,"ÑģоÑĨиалиÑģÑĤиÑĩеÑģкиÑħ":128995,"ÑĤеÑĢÑĢоÑĢиÑģÑĤиÑĩеÑģкой":128996,"ÑĤеÑħнологиÑĩеÑģкого":128997,"Ìģб":128998,"Ìģж":128999,"Ìģп":129000,"ÌģÑĩ":129001,"ÐIJÐij":129002,"ÐijÐĶ":129003,"ÐijС":129004,"ÐĴÐľ":129005,"ÐĴз":129006,"ÐĵС":129007,"ÐĵÑĨ":129008,"ÐĶÐļ":129009,"ÐĶÐŁ":129010,"ÐķÐij":129011,"ÐķЦ":129012,"ÐķЧ":129013,"ÐķÑĢ":129014,"ÐĸÐĺ":129015,"ÐĹÐĺ":129016,"ÐĹÐŀ":129017,"ÐĹУ":129018,"ÐĺЦ":129019,"ÐĺЧ":129020,"Ðĺм":129021,"ÐĺÑĤ":129022,"ÐļÐļ":129023,"ÐļÐĽ":129024,"ÐĽÐ¡":129025,"ÐľÐł":129026,"ÐĿÐij":129027,"ÐĿТ":129028,"ÐĿУ":129029,"ÐĿЯ":129030,"Ðŀд":129031,"Ðŀп":129032,"ÐŁÐ¢":129033,"ÐłÐij":129034,"ÐłÐĴ":129035,"ÐłÐľ":129036,"ÐłÐ¤":129037,"ÐłÐŃ":129038,"ÐłÐ¯":129039,"Сн":129040,"ТТ":129041,"ТÐŃ":129042,"Уб":129043,"УÑĢ":129044,"УÑĩ":129045,"Ð¤ÐĽ":129046,"Ð¤Ðł":129047,"ЦÐķ":129048,"ШÐķ":129049,"ÐŃÐĽ":129050,"ÐŃÐŁ":129051,"ÐŃÑĤ":129052,"бÑĮ":129053,"гÑį":129054,"зÑĬ":129055,"йм":129056,"лл":129057,"нÑĬ":129058,"Ñĥа":129059,"ÑĪк":129060,"Ñįз":129061,"ÑįÑĦ":129062,"Ñİд":129063,"gna":129064,"gno":129065,"jor":129066,"kha":129067,"mbo":129068,"tub":129069,"xel":129070,"ĠÐĴЦ":129071,"ĠÐĵÐĺ":129072,"ĠÐľÑİ":129073,"ĠÐŀÐĵ":129074,"ĠУп":129075,"ĠУÑĪ":129076,"ĠХв":129077,"ĠÐŃÑĪ":129078,"Ġбд":129079,"ĠвÑı":129080,"Ġки":129081,"ĠлÑĥ":129082,"ĠпÑĪ":129083,"ĠÑģÑij":129084,"ĠÑĦл":129085,"ÌģÑģÑĤ":129086,"ÐIJÐĽÐĺ":129087,"ÐIJÐĿТ":129088,"ÐIJÐłÐIJ":129089,"ÐIJÐłÐĺ":129090,"ÐIJСÐIJ":129091,"ÐIJСТ":129092,"ÐIJÑĢÑĤ":129093,"ÐIJÑĢÑħ":129094,"ÐijÐĶÐĶ":129095,"ÐijÐķÐł":129096,"Ðijаг":129097,"Ðijол":129098,"ÐijÑĭл":129099,"ÐĴÐķТ":129100,"ÐĴал":129101,"ÐĴаÑģ":129102,"ÐĴаÑĪ":129103,"ÐĴен":129104,"ÐĴид":129105,"ÐĴÑıз":129106,"ÐĵÐŀÐł":129107,"Ðĵде":129108,"Ðĵен":129109,"ÐĶÐķÐĽ":129110,"ÐĶÐłÐŁ":129111,"ÐĶан":129112,"ÐĶин":129113,"ÐķÐĵÐŀ":129114,"ÐķÐĿТ":129115,"ÐķÐłÐIJ":129116,"Ðķди":129117,"Ðĸан":129118,"Ðĸив":129119,"ÐĺÐĽÐĺ":129120,"ÐļÐŀÐĽ":129121,"Ðļап":129122,"ÐļаÑģ":129123,"ÐļÑĢе":129124,"ÐļÑĢÑĥ":129125,"ÐĽÐķÐĿ":129126,"ÐĽÐµÐ²":129127,"ÐľÐIJÐĿ":129128,"ÐľÐ°Ð³":129129,"ÐľÐ°Ð¹":129130,"ÐľÐ¾Ð»":129131,"ÐľÐ¾Ñı":129132,"ÐĿÐŀÐķ":129133,"ÐĿад":129134,"ÐĿов":129135,"ÐŀÐĽÐŀ":129136,"ÐŀÐĿÐIJ":129137,"ÐŀÑģв":129138,"ÐŁÐķÐł":129139,"ÐŁÐłÐIJ":129140,"ÐŁÐ°Ð½":129141,"ÐŁÐµÑģ":129142,"ÐŁÐµÑĩ":129143,"ÐŁÐ¾Ð¶":129144,"ÐŁÑĥÑĤ":129145,"ÐłÐIJÐĿ":129146,"ÐłÐŀÐĶ":129147,"ÐłÐ°Ð±":129148,"ÐłÐ°Ð´":129149,"СÐļÐŀ":129150,"Син":129151,"ТÐŀÐĴ":129152,"Тан":129153,"ХиÑĢ":129154,"ЦаÑĢ":129155,"ШаÑĢ":129156,"ÐŃкÑģ":129157,"айÑĢ":129158,"амп":129159,"апо":129160,"аÑĤн":129161,"аÑĨк":129162,"бÑħа":129163,"виÑĪ":129164,"вом":129165,"воп":129166,"гаÑħ":129167,"гÑĥз":129168,"даÑĪ":129169,"две":129170,"дÑĭн":129171,"едл":129172,"еек":129173,"ежд":129174,"ежк":129175,"ейк":129176,"ейÑĦ":129177,"еки":129178,"еме":129179,"еон":129180,"еÑĢз":129181,"еÑĤÑģ":129182,"еÑĩк":129183,"жон":129184,"зав":129185,"зам":129186,"зик":129187,"зиÑĢ":129188,"зÑĥн":129189,"изн":129190,"иÑĥм":129191,"иÑĪи":129192,"кнÑĥ":129193,"лоÑī":129194,"лÑĥд":129195,"лÑıÑī":129196,"миÑİ":129197,"мÑĥд":129198,"нÑĤа":129199,"нÑİÑģ":129200,"нÑıм":129201,"одо":129202,"олк":129203,"омк":129204,"опÑĢ":129205,"оÑĢÑĦ":129206,"оÑģи":129207,"оÑıÑĢ":129208,"оÑıÑģ":129209,"пÑĥб":129210,"пÑijÑĢ":129211,"ÑĢно":129212,"ÑĢÑĭз":129213,"Ñģеп":129214,"Ñģиг":129215,"ÑģлÑĮ":129216,"ÑģоÑİ":129217,"ÑģÑĤм":129218,"ÑĤаÑĪ":129219,"ÑĤиг":129220,"ÑĤÑĢÑij":129221,"ÑĤÑĥк":129222,"Ñĥгл":129223,"Ñĥмн":129224,"ÑĥÑĤи":129225,"ÑĥÑīн":129226,"ÑĦии":129227,"ÑĦиÑı":129228,"ÑĦло":129229,"ÑĦоб":129230,"ÑĦÑĥз":129231,"ÑħаÑģ":129232,"Ñħед":129233,"ÑħиÑĢ":129234,"ÑĨÑĨи":129235,"ÑĩеÑħ":129236,"ÑĩÑĥв":129237,"ÑĩÑijв":129238,"ÑĩÑijм":129239,"ÑĪеп":129240,"ÑĪон":129241,"ÑĪоп":129242,"ÑīÑĥк":129243,"ÑīÑĥп":129244,"ÑĭÑħл":129245,"ÑįлÑı":129246,"ÑįÑĤÑĤ":129247,"Ñİдж":129248,"Ñİдо":129249,"ÑİлÑİ":129250,"ÑİнÑĮ":129251,"ÑİÑĪк":129252,"ÑıдÑĮ":129253,"ÑıзÑĭ":129254,"ĠBha":129255,"ĠGru":129256,"ĠKha":129257,"ĠSwa":129258,"Ġwhi":129259,"Soci":129260,"XVII":129261,"asci":129262,"augh":129263,"equi":129264,"escu":129265,"gall":129266,"idae":129267,"iety":129268,"lith":129269,"lton":129270,"mper":129271,"rash":129272,"tray":129273,"ĠÐIJвÑĤ":129274,"ĠÐIJлб":129275,"ĠÐIJлÑı":129276,"ĠÐIJÑĢн":129277,"ĠÐijÑĢÑĥ":129278,"ĠÐijÑijÑĢ":129279,"ĠÐĴиÑĪ":129280,"ĠÐĵÐĽÐIJ":129281,"ĠÐĵиз":129282,"ĠÐĵиÑĢ":129283,"ĠÐĵом":129284,"ĠÐĵÑĥм":129285,"ĠÐĶек":129286,"ĠÐĶол":129287,"ĠÐĶÑĥг":129288,"ĠÐĶÑĥд":129289,"ĠÐĸал":129290,"ĠÐĹÐIJÐŀ":129291,"ĠÐĹай":129292,"ĠÐĹиг":129293,"ĠÐĹме":129294,"ĠÐĹоÑĢ":129295,"ĠÐĺбн":129296,"ĠÐĻем":129297,"ĠÐļÐŁÐļ":129298,"ĠÐļев":129299,"ĠÐļел":129300,"ĠÐļеÑģ":129301,"ĠÐļоÑĩ":129302,"ĠÐļÑĥÑĪ":129303,"ĠÐĽÐµÐ¿":129304,"ĠÐĽÐ¸ÑĢ":129305,"ĠÐĽÐ¾Ð¶":129306,"ĠÐĽÑĥб":129307,"ĠÐľÐĴÑĤ":129308,"ĠÐľÐļС":129309,"ĠÐľÐ¢Ð¡":129310,"ĠÐľÐ°Ð¾":129311,"ĠÐľÐ¸ÑĦ":129312,"ĠÐľÐ¸Ñĩ":129313,"ĠÐľÐ¾Ñħ":129314,"ĠÐĿÐijÐIJ":129315,"ĠÐĿÐ¥ÐĽ":129316,"ĠÐĿеп":129317,"ĠÐŁÐ°Ð¼":129318,"ĠÐŁÐ¾Ð±":129319,"ĠÐŁÑģк":129320,"ĠÐŁÑĥÑĢ":129321,"ĠÐłÐļÐŁ":129322,"ĠÐłÐĽÐ¡":129323,"ĠÐłÐ°ÑĪ":129324,"ĠÐłÐ¸Ð±":129325,"ĠÐłÐ¸Ð½":129326,"ĠÐłÐ¸Ñħ":129327,"ĠÐłÑĥм":129328,"ĠÐłÑĥÑĤ":129329,"ĠÐłÑĭж":129330,"ĠСег":129331,"ĠСез":129332,"ĠТаг":129333,"ĠТег":129334,"ĠТей":129335,"ĠТел":129336,"ĠТин":129337,"ĠТиÑĦ":129338,"ĠТоб":129339,"ĠТÑİÑĤ":129340,"ĠФаÑĤ":129341,"ĠФев":129342,"ĠФÑĥÑĤ":129343,"ĠХоз":129344,"ĠÐ¥Ñĥн":129345,"ĠÐ¥ÑĥÑģ":129346,"ĠЧен":129347,"ĠЧжÑĥ":129348,"ĠЧин":129349,"ĠШеп":129350,"ĠШил":129351,"ĠШиÑĪ":129352,"ĠШоÑĥ":129353,"ĠШÑĥÑĢ":129354,"ĠÐŃÐĴÐľ":129355,"ĠЮÐĿÐķ":129356,"ĠЮли":129357,"Ġавг":129358,"Ġамб":129359,"ĠбÑĥл":129360,"ĠвÑĤÑĢ":129361,"ĠвÑĭк":129362,"Ġдил":129363,"ĠднÑİ":129364,"Ġеде":129365,"Ġжаб":129366,"ĠжиÑĤ":129367,"Ġзоо":129368,"ĠигÑĥ":129369,"Ġинг":129370,"ĠкÐĴÑĤ":129371,"ĠкоÑĦ":129372,"ĠкÑĥм":129373,"ĠлаÑģ":129374,"ĠлбÑĥ":129375,"ĠлоÑĤ":129376,"ĠлÑĭÑģ":129377,"ĠмиÑĪ":129378,"ĠмÑĥл":129379,"ĠмÑİз":129380,"ĠноÑĤ":129381,"Ġокн":129382,"ĠоÑģк":129383,"ĠоÑģÑı":129384,"ĠоÑīÑĥ":129385,"Ġпиг":129386,"ĠпÑģа":129387,"ĠпÑĥг":129388,"ĠпÑĥп":129389,"ĠпÑĥÑĢ":129390,"ĠÑĢап":129391,"ĠÑĢеÑĤ":129392,"ĠÑĢÑĭÑģ":129393,"ĠÑĢÑİк":129394,"ĠÑĤаÑģ":129395,"ĠÑĤиÑĪ":129396,"ĠÑĤÑĥÑĪ":129397,"ĠÑĤÑıн":129398,"ĠÑĥми":129399,"ĠÑĥнÑĭ":129400,"ĠÑĥÑĤк":129401,"ĠÑĦем":129402,"ĠÑĦÑİÑĢ":129403,"ĠÑĩад":129404,"ĠÑĩÑĥм":129405,"ĠÑĪам":129406,"ĠÑĪÑĥб":129407,"ĠÑįкÑĢ":129408,"ĠÑįÑħо":129409,"ÐIJÐĿÐĺЯ":129410,"ÐIJмеÑĢ":129411,"ÐIJнгл":129412,"ÐĴенг":129413,"ÐĴеÑģÑĤ":129414,"ÐĴолÑĪ":129415,"ÐĵÑĢоз":129416,"ÐĶалÑĮ":129417,"ÐĶвен":129418,"ÐĶело":129419,"ÐĶенÑĮ":129420,"ÐĶжеÑĢ":129421,"ÐĶжон":129422,"ÐĶмиÑĤ":129423,"ÐĶнев":129424,"Ðķван":129425,"ÐķÑģÑĤÑĮ":129426,"ÐĺÐĴÐIJТ":129427,"ÐĺТÐķÐĽ":129428,"Ðļиев":129429,"Ðļомп":129430,"ÐļоÑĢÑģ":129431,"ÐļÑĢаÑĤ":129432,"ÐĽÐµÐ¹Ð¿":129433,"ÐľÐ°ÑĢк":129434,"ÐľÐ¸ÑģÑģ":129435,"ÐĿÐŀÐĵÐŀ":129436,"ÐĿÐŀСТ":129437,"Ðŀдин":129438,"ÐŀдиÑģ":129439,"ÐŁÐłÐIJÐĴ":129440,"ÐŁÑĢоÑĤ":129441,"СÐļÐIJЯ":129442,"СТÐĴÐŀ":129443,"Само":129444,"СеÑĢп":129445,"Снеж":129446,"ТигÑĢ":129447,"ТÑĢÑĥд":129448,"Убий":129449,"Феод":129450,"ЦиÑĦÑĢ":129451,"ÐŃÑĤоÑĤ":129452,"абаз":129453,"абÑĥÑĪ":129454,"агоÑĢ":129455,"адки":129456,"адок":129457,"ажеÑĤ":129458,"айеÑĢ":129459,"акÑĤе":129460,"алиÑĩ":129461,"алиÑī":129462,"алло":129463,"анал":129464,"андо":129465,"анил":129466,"аÑĢел":129467,"аÑģим":129468,"аÑĦон":129469,"аÑĩÑĥÑģ":129470,"аÑīиÑĤ":129471,"бокÑģ":129472,"бокÑĥ":129473,"бÑģко":129474,"бÑĥÑħа":129475,"венн":129476,"веÑĩа":129477,"воем":129478,"возÑĮ":129479,"вÑĪин":129480,"гиев":129481,"глоб":129482,"гнев":129483,"гÑĢен":129484,"гÑĥлÑĮ":129485,"двÑĥÑħ":129486,"делк":129487,"джаÑĢ":129488,"диво":129489,"диÑģк":129490,"дÑĢаÑĦ":129491,"дÑĥма":129492,"дÑĥÑĢа":129493,"ебÑĢÑı":129494,"евÑģк":129495,"едиÑİ":129496,"едно":129497,"езво":129498,"ейна":129499,"ейÑĢо":129500,"ейÑĨÑĭ":129501,"екÑģа":129502,"елев":129503,"елии":129504,"елÑĮÑĩ":129505,"емÑģк":129506,"енеÑĨ":129507,"еннÑĭ":129508,"енÑĭм":129509,"епÑıÑĤ":129510,"еÑĢвÑĭ":129511,"еÑĢго":129512,"еÑĢил":129513,"еÑĢÑģи":129514,"еÑĤип":129515,"еÑĤно":129516,"еÑĤÑıн":129517,"еÑıло":129518,"жина":129519,"звав":129520,"зеÑĢо":129521,"знан":129522,"зÑĬÑıÑĤ":129523,"зÑĭка":129524,"зÑĭÑĩн":129525,"иген":129526,"икаÑĤ":129527,"икли":129528,"илик":129529,"илиÑı":129530,"илли":129531,"илÑĮз":129532,"илÑĮÑĤ":129533,"имом":129534,"инаÑħ":129535,"инеÑĤ":129536,"инно":129537,"иÑĤим":129538,"иÑĤма":129539,"иÑĤÑĮб":129540,"иÑĨко":129541,"иÑĨÑĭн":129542,"йоÑĢк":129543,"каÑĢп":129544,"кенÑĤ":129545,"клев":129546,"клÑıн":129547,"кнÑĥв":129548,"колÑı":129549,"конÑĩ":129550,"коÑĢÑĤ":129551,"коÑĪк":129552,"кÑĢад":129553,"кÑĢÑĥп":129554,"кÑģен":129555,"кÑĤид":129556,"ладк":129557,"леан":129558,"лейÑĤ":129559,"леÑģк":129560,"лиÑĨо":129561,"лиÑĩа":129562,"лоид":129563,"лома":129564,"лоÑĤÑĤ":129565,"лÑİди":129566,"маил":129567,"манн":129568,"мейÑĨ":129569,"меÑĢн":129570,"млеÑĢ":129571,"мони":129572,"моÑĤо":129573,"мÑĭÑĤÑĮ":129574,"мÑıнн":129575,"навÑĤ":129576,"напÑĢ":129577,"нгеÑĢ":129578,"нелл":129579,"низм":129580,"нинÑĭ":129581,"ногÑĥ":129582,"ноÑĪÑĥ":129583,"нÑĩик":129584,"нÑĮко":129585,"обÑĭл":129586,"огÑĥÑī":129587,"одел":129588,"одил":129589,"ожно":129590,"окин":129591,"окÑĥÑĢ":129592,"олка":129593,"омÑģÑĤ":129594,"омÑijÑĤ":129595,"оÑĢам":129596,"оÑĢаÑĢ":129597,"оÑĢее":129598,"оÑĢеÑĤ":129599,"оÑĢоÑĩ":129600,"оÑģин":129601,"оÑĤоп":129602,"оÑĦей":129603,"оÑĦоÑĢ":129604,"оÑħин":129605,"пайк":129606,"пенд":129607,"пеÑĢÑĤ":129608,"понÑĤ":129609,"поÑĩк":129610,"поÑıÑģ":129611,"пÑĢÑĥд":129612,"ÑĢаба":129613,"ÑĢаге":129614,"ÑĢами":129615,"ÑĢейн":129616,"ÑĢейÑģ":129617,"ÑĢенн":129618,"ÑĢжан":129619,"ÑĢиим":129620,"ÑĢиÑĨе":129621,"ÑĢиÑįл":129622,"ÑĢолл":129623,"ÑĢолÑĮ":129624,"ÑĢона":129625,"ÑĢÑĥзк":129626,"Ñģайд":129627,"ÑģвеÑĩ":129628,"Ñģвин":129629,"ÑģеÑĢÑĤ":129630,"ÑģеÑĤÑĮ":129631,"Ñģиом":129632,"ÑģоÑĢб":129633,"ÑģоÑĢÑĤ":129634,"ÑģпеÑĪ":129635,"ÑģÑģеÑĢ":129636,"ÑģÑĤаÑĦ":129637,"ÑģÑĤÑĥк":129638,"ÑģÑĤÑĭк":129639,"ÑģÑĤÑĭÑĢ":129640,"ÑĤаба":129641,"ÑĤабл":129642,"ÑĤаÑĥн":129643,"ÑĤием":129644,"ÑĤиÑħо":129645,"ÑĤони":129646,"ÑĤÑĢик":129647,"Ñĥемо":129648,"Ñĥлей":129649,"Ñĥнок":129650,"ÑĥÑĢги":129651,"ÑĥÑĦак":129652,"ÑĦевÑĢ":129653,"ÑĦили":129654,"ÑĦонÑģ":129655,"ÑĦоÑĢÑģ":129656,"ÑĦÑĥÑĢÑĤ":129657,"ÑħаÑĥÑģ":129658,"Ñħене":129659,"Ñħлоп":129660,"Ñħолл":129661,"ÑĨзин":129662,"ÑĨкое":129663,"ÑĩайÑĪ":129664,"ÑĩиÑīа":129665,"Ñĩком":129666,"ÑĩÑijÑĤе":129667,"ÑĪанÑĮ":129668,"ÑĪива":129669,"ÑĪивк":129670,"ÑĪиÑĤÑĭ":129671,"ÑĪноÑĤ":129672,"ÑĪÑĤан":129673,"Ñĭлки":129674,"Ñĭпин":129675,"ÑĭÑĪки":129676,"ÑĮмин":129677,"Ñıгин":129678,"Ñıдок":129679,"Ñijлок":129680,"Ñijнок":129681,"ÑijÑĢов":129682,"ÑijÑĢÑģÑĤ":129683,"ĠMcCa":129684,"ĠMcCo":129685,"ĠPala":129686,"ĠRegi":129687,"ĠSlav":129688,"ĠTrac":129689,"ĠdegC":129690,"?????":129691,"Saxon":129692,"fasci":129693,"metre":129694,"nucle":129695,"pound":129696,"tempo":129697,"teria":129698,"uebec":129699,"ĠÐIJзиÑİ":129700,"ĠÐIJлеÑĪ":129701,"ĠÐijаба":129702,"ĠÐijелÑı":129703,"ĠÐijеÑģÑģ":129704,"ĠÐijомб":129705,"ĠÐijоÑıÑĢ":129706,"ĠÐijÑĢоÑģ":129707,"ĠÐijÑĢÑĥк":129708,"ĠÐijÑĢÑĥн":129709,"ĠÐijÑĢÑįд":129710,"ĠÐijÑĥÑĢг":129711,"ĠÐĴЦÐĺÐļ":129712,"ĠÐĴаÑĢи":129713,"ĠÐĴиÑģл":129714,"ĠÐĴолк":129715,"ĠÐĴÑģеÑģ":129716,"ĠÐĵолд":129717,"ĠÐĵÑĢаб":129718,"ĠÐĵÑĢиб":129719,"ĠÐĵÑĥан":129720,"ĠÐĶвое":129721,"ĠÐĶели":129722,"ĠÐĶнем":129723,"ĠÐĶнеп":129724,"ĠÐĶонб":129725,"ĠÐĶÑĢез":129726,"ĠÐķÑĢев":129727,"ĠÐĹвеÑĢ":129728,"ĠÐĹвÑĥк":129729,"ĠÐĺмел":129730,"ĠÐļÐŁÐłÐ¤":129731,"ĠÐļанд":129732,"ĠÐļанн":129733,"ĠÐļаÑĢÑĢ":129734,"ĠÐļаÑģÑģ":129735,"ĠÐļейÑĤ":129736,"ĠÐļÑĢак":129737,"ĠÐļÑĢаÑĤ":129738,"ĠÐļÑĢив":129739,"ĠÐļÑĢÑĥÑĤ":129740,"ĠÐĽÐ°Ð½Ð³":129741,"ĠÐĽÐ°Ð½Ð´":129742,"ĠÐĽÐ¸Ð±Ð¾":129743,"ĠÐĽÐ¸Ð³Ðµ":129744,"ĠÐĽÐ¸Ð·Ð°":129745,"ĠÐĽÐ¸Ð¾Ð½":129746,"ĠÐĽÑĥнÑĥ":129747,"ĠÐľÐ°ÑĤÑĩ":129748,"ĠÐľÐ°ÑĪа":129749,"ĠÐľÐµÑģÑģ":129750,"ĠÐľÐµÑĤа":129751,"ĠÐľÐ¸Ð»ÑĮ":129752,"ĠÐľÐ¾Ð½Ð°":129753,"ĠÐľÑįÑĤÑĤ":129754,"ĠÐľÑıÑģо":129755,"ĠÐĿÐIJСÐIJ":129756,"ĠÐĿаиб":129757,"ĠÐĿебо":129758,"ĠÐĿеве":129759,"ĠÐĿоÑĢÑĤ":129760,"ĠÐŀÐijСÐķ":129761,"ĠÐŀÐĵÐŁÐ£":129762,"ĠÐŀбеÑĢ":129763,"ĠÐŀдеÑģ":129764,"ĠÐŀÑģÑĤÑĢ":129765,"ĠÐŀÑĤÑĨа":129766,"ĠÐŁÐķÐłÐķ":129767,"ĠÐŁÐµÑĢм":129768,"ĠÐŁÐ¾Ð»Ð¾":129769,"ĠÐŁÐ¾Ð½ÑĤ":129770,"ĠÐłÐ°Ð¹ÑĤ":129771,"ĠÐłÐµÐ¹Ñħ":129772,"ĠÐłÐµÑĩи":129773,"ĠÐłÐ¶ÐµÐ²":129774,"ĠÐłÐ¸Ð³Ðµ":129775,"ĠСаÑĥд":129776,"ĠСеÑĢа":129777,"ĠСеÑĢд":129778,"ĠСинÑĮ":129779,"ĠСиÑĨи":129780,"ĠСкан":129781,"ĠСлож":129782,"ĠСлÑĭÑĪ":129783,"ĠСоÑĦи":129784,"ĠСпеÑĢ":129785,"ĠСпин":129786,"ĠСпиÑĢ":129787,"ĠСÑĤоÑĢ":129788,"ĠТанк":129789,"ĠТебÑı":129790,"ĠТоже":129791,"ĠТÑĢав":129792,"ĠТÑĢад":129793,"ĠТÑĥда":129794,"ĠТÑĥлÑĮ":129795,"ĠТÑĥÑĢк":129796,"ĠУвид":129797,"ĠУдив":129798,"ĠУилл":129799,"ĠУлан":129800,"ĠФлоÑĤ":129801,"ĠФоÑĢд":129802,"ĠХанÑģ":129803,"ĠХиÑĢо":129804,"ĠХозÑı":129805,"ĠЧжан":129806,"ĠШÑĤаÑĤ":129807,"ĠÐŃкÑģп":129808,"ĠаÑģÑģо":129809,"ĠаÑģÑĤм":129810,"ĠаÑĦÑĢи":129811,"ĠбаÑģн":129812,"ĠбезÑĭ":129813,"ĠбеÑĤа":129814,"ĠбиаÑĤ":129815,"Ġбоем":129816,"ĠбоÑģÑģ":129817,"ĠбоÑıз":129818,"ĠбоÑijв":129819,"ĠбÑĢез":129820,"ĠбÑĭÑĤÑĥ":129821,"ĠваÑģÑģ":129822,"ĠваÑħÑĤ":129823,"ĠвекÑĥ":129824,"ĠвелÑĮ":129825,"ĠвенÑĤ":129826,"ĠвеÑĢо":129827,"ĠвнеÑģ":129828,"Ġвоед":129829,"ĠволÑĩ":129830,"ĠволÑĪ":129831,"ĠвÑģкÑĢ":129832,"ĠвÑĭбÑĢ":129833,"ĠвÑĭзд":129834,"ĠвÑıло":129835,"Ġгалл":129836,"Ġгено":129837,"ĠгеÑģÑĤ":129838,"ĠгипÑģ":129839,"ĠглÑĭб":129840,"Ġгнил":129841,"ĠгнÑĥÑģ":129842,"ĠгÑĢиÑĦ":129843,"ĠгÑĢоÑĪ":129844,"ĠгÑĢÑĥÑĪ":129845,"ĠданÑĭ":129846,"ĠдаÑĩÑĥ":129847,"ĠделÑĮ":129848,"ĠдеÑģк":129849,"ĠдлиÑĤ":129850,"ĠднÑijм":129851,"ĠдÑĢож":129852,"ĠдÑĥÑĢа":129853,"ĠдÑĥÑįÑĤ":129854,"ĠдÑĭÑĢÑĭ":129855,"ĠдÑĮÑıк":129856,"ĠдÑİйм":129857,"ĠдÑıде":129858,"Ġедой":129859,"ĠеÑĢеÑĤ":129860,"Ġзонд":129861,"ĠзÑĢел":129862,"ĠизбÑĢ":129863,"Ġизоб":129864,"Ġизог":129865,"Ġинди":129866,"ĠиндÑĥ":129867,"Ġиноп":129868,"ĠинÑģÑĥ":129869,"ĠиÑĥда":129870,"ĠиÑĥде":129871,"Ġкани":129872,"ĠклеÑī":129873,"ĠклиÑĢ":129874,"ĠкоиÑħ":129875,"Ġконд":129876,"ĠкÑĢип":129877,"ĠкÑĢок":129878,"ĠкÑĥÑĢд":129879,"ĠкÑĥÑĩе":129880,"Ġлегк":129881,"ĠлекÑģ":129882,"ĠленÑĮ":129883,"Ġлига":129884,"ĠлиÑĪи":129885,"Ġложа":129886,"ĠлÑĥна":129887,"ĠлÑĥнÑĭ":129888,"ĠлÑĮва":129889,"ĠмамÑĥ":129890,"ĠмедÑģ":129891,"ĠмеÑĪа":129892,"ĠмÑĥка":129893,"ĠмÑĥкÑĥ":129894,"ĠнаÑģк":129895,"ĠниÑĤк":129896,"ĠноÑģÑĥ":129897,"ĠобаÑı":129898,"ĠобоÑĪ":129899,"Ġогни":129900,"Ġокан":129901,"ĠоÑĢла":129902,"ĠоÑĩаÑĢ":129903,"ĠпакÑĤ":129904,"ĠпанÑģ":129905,"Ġпели":129906,"ĠпеÑģÑģ":129907,"ĠпеÑģÑĩ":129908,"Ġпидж":129909,"ĠпÑĢап":129910,"ĠпÑĢÑĥÑĤ":129911,"ĠпÑĮеÑĤ":129912,"ĠпÑĮÑİÑĤ":129913,"ĠÑĢаÑģÑħ":129914,"ĠÑĢжав":129915,"ĠÑĢÑĥдÑĭ":129916,"ĠÑĢÑĥлÑĮ":129917,"ĠÑĢÑĥлÑı":129918,"ĠÑĢÑĥÑĩÑĮ":129919,"ĠÑĢÑĭÑħл":129920,"ĠÑģаÑĤи":129921,"ĠÑģемÑı":129922,"ĠÑģижÑĥ":129923,"ĠÑģион":129924,"ĠÑģкеп":129925,"ĠÑģкÑĥк":129926,"ĠÑģлиз":129927,"ĠÑģлое":129928,"ĠÑģмеÑĤ":129929,"ĠÑģмеÑı":129930,"ĠÑģниÑģ":129931,"ĠÑģпÑĢо":129932,"ĠÑģÑĥÑĦÑĦ":129933,"ĠÑģÑĬел":129934,"ĠÑģÑijла":129935,"ĠÑĤабÑĥ":129936,"ĠÑĤоÑĢÑĤ":129937,"ĠÑĤÑĥго":129938,"ĠÑĤÑĥÑĪи":129939,"ĠÑĤÑĮмÑĭ":129940,"ĠÑĤÑıги":129941,"ĠÑĥглÑĭ":129942,"ĠÑĥÑĢав":129943,"ĠÑĥÑģво":129944,"ĠÑĥÑĩÑijн":129945,"ĠÑĦаÑĢÑĪ":129946,"ĠÑĦÑĥнÑĤ":129947,"ĠÑħоÑĢе":129948,"ĠÑħÑĥдо":129949,"ĠÑĨинк":129950,"ĠÑĩаÑĢÑĤ":129951,"ĠÑĩÑĥмÑĭ":129952,"ĠÑĩÑĮей":129953,"ĠÑĪаÑĪк":129954,"ĠÑĪлÑİз":129955,"ĠÑįвак":129956,"ĠÑįкоÑģ":129957,"ĠÑįлÑĮÑĦ":129958,"ĠÑįÑĤÑİд":129959,"ĠÑİнÑĭÑħ":129960,"ĠÑıÑĢÑĩе":129961,"ÐIJйÑĢеÑģ":129962,"ÐIJлÑĮÑĦа":129963,"ÐijеÑģед":129964,"ÐĴаÑģил":129965,"ÐĵоÑĢÑıÑĩ":129966,"ÐĵÑĢанд":129967,"ÐĶемон":129968,"ÐĶиего":129969,"ÐĶмиÑĤÑĢ":129970,"ÐķÑĢмак":129971,"Ðĸелез":129972,"ÐĹвÑijзд":129973,"ÐĹдеÑģÑĮ":129974,"Ðĺзмен":129975,"ÐĺмпеÑĢ":129976,"ÐļоÑĢол":129977,"ÐļÑĢоме":129978,"ÐĽÐµÐ½Ð¸Ð½":129979,"ÐĽÐ¸Ð±ÐµÑĢ":129980,"ÐĽÐ¸Ð²ÐµÑĢ":129981,"ÐĿоваÑı":129982,"ÐŀÑģвоб":129983,"ÐŁÐ°ÑĢÑĤи":129984,"ÐŁÐµÑģни":129985,"ÐŁÐµÑĩоÑĢ":129986,"ÐŁÐ¾Ð¼Ð½Ð¸":129987,"ÐŁÑĥÑĤеÑĪ":129988,"ÐłÐ°Ð±Ð¾Ñĩ":129989,"ÐłÐ°ÐºÐµÑĤ":129990,"Слова":129991,"СпоÑĢÑĤ":129992,"ТеаÑĤÑĢ":129993,"ТеÑħно":129994,"ТоÑĢон":129995,"ТÑĢанÑģ":129996,"авиÑĨа":129997,"аемÑĭе":129998,"ажден":129999,"акÑģиÑģ":130000,"акÑĨии":130001,"алавÑĢ":130002,"аллел":130003,"алÑĮна":130004,"амики":130005,"амина":130006,"амÑijнн":130007,"анÑĢог":130008,"аÑĤлеÑĤ":130009,"баÑģÑģе":130010,"безоб":130011,"беков":130012,"белев":130013,"беÑĢÑĥÑĤ":130014,"биваÑı":130015,"боÑģоб":130016,"бÑĥÑĢжÑĥ":130017,"бÑĭÑĤиÑı":130018,"ваÑĤÑĭй":130019,"вейеÑĢ":130020,"взÑĢоÑģ":130021,"вклÑİÑĩ":130022,"возÑıÑĤ":130023,"вÑĭÑħод":130024,"вÑıзкÑĥ":130025,"гваÑĢд":130026,"гидÑĢо":130027,"глÑĥбÑĮ":130028,"гоÑĢÑĥк":130029,"гÑĥнов":130030,"доÑħнÑĥ":130031,"дÑĢама":130032,"дÑĢаÑĦÑĤ":130033,"дÑĥмав":130034,"единÑĥ":130035,"едомо":130036,"едÑĢин":130037,"езжаÑı":130038,"ейман":130039,"ейÑĨев":130040,"ейÑĪим":130041,"екаÑİÑī":130042,"еккеÑĢ":130043,"елиÑĩе":130044,"елÑıÑĨи":130045,"емомÑĥ":130046,"енива":130047,"ениÑĨÑĭ":130048,"еÑĢеди":130049,"еÑĢией":130050,"еÑĢÑĤиÑĢ":130051,"еÑģÑĤив":130052,"еÑĩник":130053,"еÑīени":130054,"жимал":130055,"жимаÑı":130056,"здÑĭÑħа":130057,"землÑı":130058,"зенÑħа":130059,"зовÑĥÑİ":130060,"зÑĭвал":130061,"игÑĢал":130062,"идиан":130063,"идÑĢав":130064,"илÑıÑĨи":130065,"имеÑĤÑĢ":130066,"имÑĩив":130067,"инаÑĨи":130068,"ингем":130069,"иненÑĤ":130070,"иннов":130071,"иновн":130072,"иноÑĩк":130073,"иÑĤалÑı":130074,"иÑĤаÑĢн":130075,"иÑĤÑĥÑĤк":130076,"иÑħонÑĮ":130077,"иÑĨкаÑı":130078,"канÑĮе":130079,"каÑĢди":130080,"кеÑĢам":130081,"килом":130082,"кинеÑĤ":130083,"клеен":130084,"ковÑģк":130085,"колÑıÑģ":130086,"коммÑĥ":130087,"конеÑĨ":130088,"копан":130089,"кÑĥпил":130090,"кÑĥÑĢил":130091,"лажда":130092,"лаÑĤин":130093,"ленко":130094,"леÑģÑĤÑĮ":130095,"леÑĤÑĥÑĩ":130096,"ливки":130097,"линей":130098,"линен":130099,"линÑģк":130100,"ловка":130101,"ловÑĥÑĤ":130102,"ложим":130103,"лонно":130104,"лÑİÑĤеÑĢ":130105,"маков":130106,"манаÑħ":130107,"маÑħÑĤа":130108,"междÑĥ":130109,"меÑģÑıÑĩ":130110,"миÑģÑģи":130111,"модÑĥл":130112,"молоÑĩ":130113,"нвенÑĤ":130114,"нджел":130115,"нджеÑĢ":130116,"неÑģÑĤв":130117,"неÑģÑĥÑĤ":130118,"нибал":130119,"ниÑģÑĤÑĭ":130120,"ниÑĩал":130121,"ниÑĩий":130122,"новен":130123,"ногиÑħ":130124,"ножиÑı":130125,"нÑĮков":130126,"оболÑĮ":130127,"обÑĢел":130128,"ованн":130129,"оваÑĢд":130130,"огиÑĤе":130131,"огове":130132,"одаÑİÑĤ":130133,"ожжен":130134,"океан":130135,"окÑĢÑĥж":130136,"олиÑĩн":130137,"олÑĩан":130138,"онизм":130139,"опеÑĩн":130140,"оÑĢвеÑĤ":130141,"оÑĢÑĤаж":130142,"оÑĢÑīик":130143,"оÑģеÑĢд":130144,"оÑģпиÑĤ":130145,"оÑģпÑĢи":130146,"оÑģÑĤив":130147,"оÑĤÑĢоп":130148,"оÑĤÑĢÑıд":130149,"оÑĤÑĥаÑĢ":130150,"оÑĦÑĮев":130151,"оÑĨенк":130152,"оÑĨиÑĢÑĥ":130153,"оÑĩенн":130154,"оÑıÑĤнÑĭ":130155,"падÑĥÑĤ":130156,"панÑģк":130157,"пенди":130158,"пиÑĢиÑĤ":130159,"плекÑģ":130160,"плÑĭли":130161,"побед":130162,"повед":130163,"показ":130164,"поÑħож":130165,"пÑĢедÑĪ":130166,"пÑĢинÑĤ":130167,"пÑĢода":130168,"ÑĢавне":130169,"ÑĢажда":130170,"ÑĢажÑijн":130171,"ÑĢайон":130172,"ÑĢанно":130173,"ÑĢеваÑİ":130174,"ÑĢежно":130175,"ÑĢезки":130176,"ÑĢиÑĢов":130177,"ÑĢовÑģк":130178,"ÑĢодно":130179,"ÑĢожел":130180,"ÑĢоÑģов":130181,"ÑĢÑĥбил":130182,"ÑĢÑĥжен":130183,"ÑĢÑħиÑģÑĤ":130184,"ÑĢÑĭвно":130185,"ÑĢÑıдно":130186,"ÑģеÑĢеб":130187,"ÑģкÑĢип":130188,"Ñģпока":130189,"ÑģÑĤила":130190,"ÑģÑĤÑĢаÑĪ":130191,"ÑģÑĤÑĢиг":130192,"ÑģÑĤÑĢим":130193,"ÑģÑıÑĩно":130194,"ÑĤаÑĤаÑĢ":130195,"ÑĤелÑĮн":130196,"ÑĤинов":130197,"ÑĤоÑĩки":130198,"ÑĤÑĢопи":130199,"ÑĤÑĭков":130200,"ÑĥÑĢман":130201,"ÑĥÑģÑĤаÑĢ":130202,"ÑĥÑĩива":130203,"ÑĥÑİÑīаÑı":130204,"ÑĦигÑĥÑĢ":130205,"Ñħимик":130206,"ÑħимиÑı":130207,"Ñħожан":130208,"ÑĨеÑģÑģа":130209,"ÑĨииÑĢÑĥ":130210,"ÑĩаÑĤой":130211,"ÑĩаÑĤÑĭм":130212,"ÑĩиваÑı":130213,"ÑĩиÑīен":130214,"Ñĩника":130215,"ÑĪаÑıÑģÑı":130216,"ÑĪевик":130217,"ÑĪеÑĢÑģÑĤ":130218,"ÑĪÑĤаба":130219,"ÑĪÑĤÑĥÑĢм":130220,"ÑĪÑĥÑİÑģÑı":130221,"ÑīейÑģÑı":130222,"Ñĭвало":130223,"ÑįкÑĢан":130224,"ÑİджеÑĤ":130225,"Ñıгива":130226,"ÑıзÑĩив":130227,"ÑıÑģнен":130228,"ÑıÑĤием":130229,"ÑıÑĤиÑĤÑĮ":130230,"Ġconve":130231,"mpress":130232,"nished":130233,"stitut":130234,"timate":130235,"titude":130236,"ĠÐIJллен":130237,"ĠÐIJлÑıÑģк":130238,"ĠÐIJндеÑĢ":130239,"ĠÐIJнÑĤаÑĢ":130240,"ĠÐIJÑĢбиÑĤ":130241,"ĠÐIJÑĢмиÑİ":130242,"ĠÐIJÑĢÑħив":130243,"ĠÐIJÑĦинÑĭ":130244,"ĠÐIJÑħмад":130245,"ĠÐIJÑħмаÑĤ":130246,"ĠÐijаÑĢак":130247,"ĠÐijиÑĤва":130248,"ĠÐijогаÑĤ":130249,"ĠÐijожие":130250,"ĠÐijожиÑı":130251,"ĠÐijолоÑĤ":130252,"ĠÐijоÑĢов":130253,"ĠÐijÑĢÑĥно":130254,"ĠÐijÑĥддÑĭ":130255,"ĠÐijÑĥдем":130256,"ĠÐijÑĥнин":130257,"ĠÐĴвидÑĥ":130258,"ĠÐĴеÑĤеÑĢ":130259,"ĠÐĴзÑĢÑĭв":130260,"ĠÐĴидно":130261,"ĠÐĴновÑĮ":130262,"ĠÐĴойÑģк":130263,"ĠÐĴолге":130264,"ĠÐĴолоÑģ":130265,"ĠÐĵÐĺÐijÐĶÐĶ":130266,"ĠÐĵÐĽÐIJÐĴÐIJ":130267,"ĠÐĵолÑĮд":130268,"ĠÐĵÑĢибо":130269,"ĠÐĶавно":130270,"ĠÐĶевÑıÑĤ":130271,"ĠÐĶолин":130272,"ĠÐĶомин":130273,"ĠÐķленÑĭ":130274,"ĠÐĹинов":130275,"ĠÐĺаков":130276,"ĠÐĺгÑĢал":130277,"ĠÐĺдеал":130278,"ĠÐĺÑĢаке":130279,"ĠÐĻемен":130280,"ĠÐĻозеÑĦ":130281,"ĠÐĻоÑħан":130282,"ĠÐļалÑĥг":130283,"ĠÐļалÑĥж":130284,"ĠÐļаÑĢен":130285,"ĠÐļаÑģÑģи":130286,"ĠÐļаÑĤаÑĢ":130287,"ĠÐļевин":130288,"ĠÐļелли":130289,"ĠÐļовал":130290,"ĠÐļолеÑģ":130291,"ĠÐļоÑĢаб":130292,"ĠÐļоÑĢеÑı":130293,"ĠÐļоÑģÑĤа":130294,"ĠÐļÑĢиво":130295,"ĠÐļÑĢÑĥгл":130296,"ĠÐļÑĥзÑĮм":130297,"ĠÐļÑĥпеÑĢ":130298,"ĠÐĽÐµÐ²Ð¸Ð½":130299,"ĠÐĽÐ¸Ð²Ð¸Ð¸":130300,"ĠÐĽÐ¸Ð´Ð¸Ñı":130301,"ĠÐĽÐ¸ÑĤве":130302,"ĠÐĽÑİбаÑı":130303,"ĠÐĽÑİÑĤеÑĢ":130304,"ĠÐľÐ°Ð¹Ð¾ÑĢ":130305,"ĠÐľÐ°Ð»Ñĭй":130306,"ĠÐľÐµÐ½ÑĮÑĪ":130307,"ĠÐľÐµÑģÑģи":130308,"ĠÐľÐ¸ÑģÑģи":130309,"ĠÐľÐ¾Ð»Ð¾ÑĤ":130310,"ĠÐľÐ¾Ð»Ñĩа":130311,"ĠÐľÐ¾ÑĢиÑģ":130312,"ĠÐľÑĭÑģлÑĮ":130313,"ĠÐĿаÑĨий":130314,"ĠÐĿиÑĩÑĤо":130315,"ĠÐĿовом":130316,"ĠÐĿовÑĭм":130317,"ĠÐŀбÑīие":130318,"ĠÐŀзеÑĢо":130319,"ĠÐŀкÑĢÑĥж":130320,"ĠÐŀлÑĮги":130321,"ĠÐŀпÑĢед":130322,"ĠÐŀÑĤказ":130323,"ĠÐŀÑĤноÑģ":130324,"ĠÐŀÑĤÑĢÑıд":130325,"ĠÐŀÑħÑĢан":130326,"ĠÐŁÐ°Ð½Ð°Ð¼":130327,"ĠÐŁÐ°ÑĢад":130328,"ĠÐŁÐµÐ´ÑĢо":130329,"ĠÐŁÐ¾ÐµÐ·Ð´":130330,"ĠÐŁÐ¾Ð»Ñıн":130331,"ĠÐŁÐ¾ÑĢой":130332,"ĠÐŁÑĢаге":130333,"ĠÐŁÑĢинÑĨ":130334,"ĠÐłÐ¡ÐĶÐłÐŁ":130335,"ĠÐłÐ°Ð¹Ð¾Ð½":130336,"ĠÐłÐ¾Ð·ÐµÐ½":130337,"ĠÐłÑĥÑģÑģо":130338,"ĠСавин":130339,"ĠСалÑĮв":130340,"ĠСвоим":130341,"ĠСезон":130342,"ĠСемÑijн":130343,"ĠСобак":130344,"ĠСоÑĦиÑı":130345,"ĠСоÑĦÑĮÑı":130346,"ĠСпаÑĢÑĤ":130347,"ĠСÑĤолÑĮ":130348,"ĠСÑĤÑĢем":130349,"ĠСÑĤÑĢÑĥк":130350,"ĠСÑĥдан":130351,"ĠСÑĥмма":130352,"ĠСÑĬезд":130353,"ĠТеÑĢез":130354,"ĠТимоÑĪ":130355,"ĠТиÑħом":130356,"ĠТиÑħон":130357,"ĠУпÑĢаж":130358,"ĠУÑĢала":130359,"ĠУÑĢале":130360,"ĠУÑģлов":130361,"ĠФилип":130362,"ĠФинал":130363,"ĠХаÑģан":130364,"ĠХвоÑģÑĤ":130365,"ĠХолмÑģ":130366,"ĠЦелÑĮÑİ":130367,"ĠЦиÑĨеÑĢ":130368,"ĠЧеÑĩне":130369,"ĠЧеÑĩни":130370,"ĠШеÑģÑĤÑĮ":130371,"ĠШиÑĢок":130372,"ĠШÑĤейн":130373,"ĠÐŃдгаÑĢ":130374,"ĠÐŃйнÑĪÑĤ":130375,"ĠÐŃÑĦиоп":130376,"ĠЮлиан":130377,"ĠабоÑĢÑĤ":130378,"ĠаванÑģ":130379,"ĠавÑĤоÑĤ":130380,"ĠакÑĨиÑİ":130381,"Ġаллег":130382,"ĠаÑĤлаÑģ":130383,"ĠбазиÑģ":130384,"Ġбанан":130385,"ĠбандÑĭ":130386,"ĠбаÑĢак":130387,"ĠбаÑĢÑĭÑĪ":130388,"ĠбаÑĪнÑİ":130389,"Ġбелог":130390,"Ġбелое":130391,"Ġбензо":130392,"Ġбибли":130393,"ĠблеÑģн":130394,"ĠбодÑĢо":130395,"Ġбокам":130396,"Ġболел":130397,"Ġболен":130398,"ĠболÑĮÑİ":130399,"ĠбоÑıÑģÑĮ":130400,"ĠбÑĥдни":130401,"ĠбÑĥкеÑĤ":130402,"ĠваннÑĭ":130403,"ĠвеÑĢой":130404,"ĠвеÑģна":130405,"ĠвеÑĤÑĢе":130406,"ĠвеÑĤÑĢÑĥ":130407,"Ġвзима":130408,"Ġвидне":130409,"ĠвиÑģиÑĤ":130410,"ĠвиÑģки":130411,"ĠвнÑĥÑĤÑĢ":130412,"ĠвÑģеÑģÑĤ":130413,"ĠвÑĤÑĢое":130414,"ĠвÑĭдав":130415,"ĠвÑĭжил":130416,"ĠвÑĭлеÑĩ":130417,"ĠвÑĭпÑĥк":130418,"ĠгаллÑİ":130419,"Ġгений":130420,"ĠгеÑĢоÑİ":130421,"ĠгеÑĤÑĤо":130422,"ĠгилÑĮз":130423,"ĠглинÑĭ":130424,"ĠглоÑĤк":130425,"ĠглÑĥбÑĮ":130426,"ĠгоÑĢдо":130427,"ĠгоÑĢоÑħ":130428,"ĠгÑĢанÑĮ":130429,"ĠгÑĢеко":130430,"ĠгÑĢипп":130431,"ĠдалÑijк":130432,"ĠдвижÑĥ":130433,"Ġдевиз":130434,"Ġдекад":130435,"Ġдекан":130436,"ĠделÑĮÑĤ":130437,"ĠдеÑĤÑıÑħ":130438,"ĠдженÑĤ":130439,"ĠдзÑİдо":130440,"Ġдикой":130441,"Ġдожди":130442,"ĠдойÑĤи":130443,"ĠдоÑģке":130444,"ĠдоÑĪел":130445,"ĠдоÑĪла":130446,"ĠдÑĢейÑĦ":130447,"ĠдÑĢова":130448,"ĠевÑĢеÑı":130449,"Ġежеме":130450,"ĠжилÑĭе":130451,"ĠжÑĥÑĤко":130452,"ĠзаглÑı":130453,"ĠзакÑĥп":130454,"ĠзаÑĤеÑı":130455,"Ġзимов":130456,"ĠзовеÑĤ":130457,"ĠзонаÑħ":130458,"ĠинÑĤÑĢо":130459,"ĠиÑģÑĤол":130460,"ĠкалиÑı":130461,"Ġкамне":130462,"Ġканав":130463,"ĠкаÑĢик":130464,"ĠкаÑģÑĤÑĢ":130465,"ĠкаÑĤаÑĢ":130466,"ĠкваÑĢÑĨ":130467,"ĠкиÑģло":130468,"ĠкиÑģÑĤÑĮ":130469,"Ġклана":130470,"Ġклейм":130471,"Ġклини":130472,"Ġкожей":130473,"ĠкозÑĭÑĢ":130474,"ĠкомаÑĢ":130475,"Ġконей":130476,"ĠкопÑĮе":130477,"ĠкопÑĮÑı":130478,"ĠкоÑĤел":130479,"ĠкÑĢемн":130480,"ĠкÑĢомк":130481,"ĠкÑĢÑĭÑĪÑĥ":130482,"ĠкÑĥбка":130483,"ĠкÑĥмиÑĢ":130484,"ĠкÑĥпеÑĨ":130485,"ĠкÑĥпÑĨÑĭ":130486,"ĠкÑĥÑħнÑı":130487,"ĠленÑĤе":130488,"ĠлимиÑĤ":130489,"ĠлиÑĪÑijн":130490,"Ġловли":130491,"Ġлоком":130492,"ĠлÑijгко":130493,"ĠмалаÑı":130494,"Ġмалин":130495,"Ġмамой":130496,"ĠманÑĤи":130497,"ĠмаÑģкÑĥ":130498,"ĠмаÑģÑĤи":130499,"ĠмаÑĤÑĢи":130500,"ĠмеÑĢÑĨа":130501,"ĠмеÑĩом":130502,"ĠмеÑĪка":130503,"ĠмилÑĭй":130504,"ĠмÑĥжей":130505,"ĠмÑıÑĩей":130506,"Ġнавиг":130507,"Ġналаж":130508,"Ġобвал":130509,"ĠобидÑĭ":130510,"Ġоблиг":130511,"ĠобÑĢÑĥÑĩ":130512,"ĠокоÑĪк":130513,"ĠокÑĢаÑĪ":130514,"ĠопÑĢок":130515,"ĠопÑĥÑģÑĤ":130516,"ĠоÑĢдеÑĢ":130517,"ĠоÑģадÑĭ":130518,"ĠоÑģкол":130519,"ĠоÑģмел":130520,"ĠоÑģÑĤÑĢи":130521,"ĠоÑģÑıза":130522,"ĠоÑĤÑĢез":130523,"ĠоÑħоÑĤе":130524,"ĠоÑĩеÑĢÑĤ":130525,"ĠоÑĩÑĥÑĤи":130526,"Ġпадеж":130527,"ĠпапкÑĥ":130528,"Ġпапой":130529,"ĠпевÑĨа":130530,"Ġпелен":130531,"ĠпеÑĢÑĨа":130532,"ĠпеÑĤÑĥÑħ":130533,"ĠпиÑĢож":130534,"ĠпиÑīей":130535,"ĠпланÑĤ":130536,"ĠплеÑĩа":130537,"ĠплиÑĤÑĭ":130538,"Ġпожиз":130539,"ĠполнÑĭ":130540,"ĠпомеÑĪ":130541,"Ġпонем":130542,"ĠпоÑģеÑĢ":130543,"ĠпоÑĩва":130544,"ĠпоÑĩÑĤÑĥ":130545,"ĠпоÑįме":130546,"ĠпÑĢиÑĥÑĢ":130547,"ĠпÑĥлÑĮÑĤ":130548,"ĠпÑĥÑĤÑıÑħ":130549,"ĠпÑıÑĤой":130550,"ĠÑĢадаÑĢ":130551,"ĠÑĢазоÑĪ":130552,"ĠÑĢаÑĥнд":130553,"ĠÑĢебÑĢа":130554,"ĠÑĢегби":130555,"ĠÑĢейÑħа":130556,"ĠÑĢогов":130557,"ĠÑĢÑĥблÑĮ":130558,"ĠÑĢÑĥжей":130559,"ĠÑĢÑĥжÑĮе":130560,"ĠÑĢÑĥлем":130561,"ĠÑĢÑĥÑĤин":130562,"ĠÑĢÑĥÑĩки":130563,"ĠÑĢÑĥÑĩкÑĥ":130564,"ĠÑĢÑĭнки":130565,"ĠÑģамок":130566,"ĠÑģамоÑģ":130567,"ĠÑģапеÑĢ":130568,"ĠÑģбокÑĥ":130569,"ĠÑģвеÑĢг":130570,"ĠÑģвеÑĩи":130571,"ĠÑģдаÑĩи":130572,"ĠÑģеман":130573,"ĠÑģеÑĢÑĭй":130574,"ĠÑģеÑĤÑĮÑİ":130575,"ĠÑģибиÑĢ":130576,"ĠÑģимÑĥл":130577,"ĠÑģиний":130578,"ĠÑģиÑĢен":130579,"ĠÑģиÑĢоп":130580,"ĠÑģкажи":130581,"ĠÑģкаÑĩк":130582,"ĠÑģкиÑĤа":130583,"ĠÑģлайд":130584,"ĠÑģлома":130585,"ĠÑģлоÑıÑħ":130586,"ĠÑģлÑĥга":130587,"ĠÑģмене":130588,"ĠÑģоÑĤнÑı":130589,"ĠÑģоÑĨио":130590,"ĠÑģоÑĩли":130591,"ĠÑģпалÑĮ":130592,"ĠÑģпаÑģÑĤ":130593,"ĠÑģпеÑĪа":130594,"ĠÑģпонÑĤ":130595,"ĠÑģÑģÑĭла":130596,"ĠÑģÑĤадо":130597,"ĠÑģÑĤилÑİ":130598,"ĠÑģÑĤопÑĭ":130599,"ĠÑģÑĥжен":130600,"ĠÑģÑĥмев":130601,"ĠÑģÑĥÑħие":130602,"ĠÑģÑĥÑħим":130603,"ĠÑģÑĥÑħиÑħ":130604,"ĠÑĤайне":130605,"ĠÑĤанÑĨÑĭ":130606,"ĠÑĤаÑĢан":130607,"ĠÑĤаÑģка":130608,"ĠÑĤвоÑĢи":130609,"ĠÑĤеÑĢза":130610,"ĠÑĤеÑĩеÑĤ":130611,"ĠÑĤобоÑİ":130612,"ĠÑĤомаÑĤ":130613,"ĠÑĤоÑĢгÑĥ":130614,"ĠÑĤоÑĢоп":130615,"ĠÑĤоÑĤал":130616,"ĠÑĤÑĢенд":130617,"ĠÑĤÑĢоÑģÑĤ":130618,"ĠÑĤÑĢÑĥпп":130619,"ĠÑĤÑĥндÑĢ":130620,"ĠÑĤÑĥÑĢбо":130621,"ĠÑĤÑĥÑĢки":130622,"ĠÑĤÑĥÑĪен":130623,"ĠÑĥдали":130624,"ĠÑĥдобÑĢ":130625,"ĠÑĥжина":130626,"ĠÑĥзкие":130627,"ĠÑĥзкий":130628,"ĠÑĥзким":130629,"ĠÑĥзкой":130630,"ĠÑĥзник":130631,"ĠÑĥйдеÑĤ":130632,"ĠÑĥкÑĢал":130633,"ĠÑĥмÑĢеÑĤ":130634,"ĠÑĥнÑĤеÑĢ":130635,"ĠÑĥпÑĢоÑĩ":130636,"ĠÑĥÑĢана":130637,"ĠÑĥÑĤеÑĪи":130638,"ĠÑĥÑĩебÑĭ":130639,"ĠÑĥÑĩÑijбÑĭ":130640,"ĠÑĦакел":130641,"ĠÑĦелÑĮд":130642,"ĠÑĦемин":130643,"ĠÑĦилаÑĢ":130644,"ĠÑĦлейÑĤ":130645,"ĠÑħазаÑĢ":130646,"ĠÑħолÑģÑĤ":130647,"ĠÑħÑĢома":130648,"ĠÑĨенил":130649,"ĠÑĨеплÑı":130650,"ĠÑĩеÑĢвÑı":130651,"ĠÑĩеÑĢпа":130652,"ĠÑĩиÑĤаÑı":130653,"ĠÑĩÑĥждо":130654,"ĠÑĩÑijÑĢно":130655,"ĠÑĪаÑħÑĤÑĭ":130656,"ĠÑĪепоÑĤ":130657,"ĠÑĪоÑĦеÑĢ":130658,"ĠÑĪÑĤамп":130659,"ĠÑĪÑĤанÑĭ":130660,"ĠÑĪÑĥÑĤка":130661,"ĠÑĪÑĥÑĤки":130662,"ĠÑīелоÑĩ":130663,"ĠÑįлаÑģÑĤ":130664,"ĠÑįпоÑħе":130665,"ĠÑįÑģÑĤаÑĦ":130666,"ĠÑİниоÑĢ":130667,"ĠÑİного":130668,"ĠÑİноÑĪи":130669,"ĠÑıвнÑĭм":130670,"ĠÑıгодÑĭ":130671,"ĠÑıкоÑĢÑĮ":130672,"ĠÑıÑĢлÑĭк":130673,"ĠÑıÑģнÑĭм":130674,"ÐIJмеÑĢик":130675,"Ðijагдад":130676,"ÐijаÑĢбаÑĢ":130677,"ÐijÑĢигад":130678,"ÐĴзÑĢоÑģл":130679,"ÐĴоÑģÑĤок":130680,"ÐĶжеÑĢÑģи":130681,"ÐķдинаÑı":130682,"Ðķдиной":130683,"ÐĹолоÑĤо":130684,"ÐļомÑģом":130685,"ÐļоÑģмоÑģ":130686,"ÐļÑĢаÑģно":130687,"ÐĽÑĥÑĩÑĪаÑı":130688,"ÐĽÑĥÑĩÑĪий":130689,"ÐľÐ°ÑģÑĤеÑĢ":130690,"ÐľÐµÐ´Ð²ÐµÐ´":130691,"ÐĿадежд":130692,"ÐŀбоÑĢон":130693,"ÐŀдиÑģÑģе":130694,"ÐŁÐµÑĢвом":130695,"ÐłÐ¾Ð´Ð¸Ð½Ð°":130696,"СейÑĩаÑģ":130697,"СлавÑıн":130698,"СÑĥдебн":130699,"Юбилей":130700,"авÑģÑĤÑĢи":130701,"акÑĤики":130702,"алÑĮÑĩиÑĪ":130703,"аÑĢмейÑĨ":130704,"бивали":130705,"бизнеÑģ":130706,"благоÑĩ":130707,"ближне":130708,"бÑĢалÑģÑı":130709,"бÑĢиÑĤан":130710,"бÑĢоÑģки":130711,"бÑĭваем":130712,"валиÑĤÑĮ":130713,"ваÑĢдей":130714,"ваÑĢиÑĥм":130715,"ваÑĤелÑı":130716,"ведÑĭва":130717,"велико":130718,"веÑĢнÑĥв":130719,"влекло":130720,"влеÑĩÑijн":130721,"воздÑĥÑĪ":130722,"воплоÑī":130723,"вÑģегда":130724,"вÑĭÑģÑĤав":130725,"вÑıзали":130726,"гаÑĢанÑĤ":130727,"глÑıнÑĥв":130728,"гонÑıÑİÑĤ":130729,"гÑĢÑĥзил":130730,"гÑĢÑĥзки":130731,"даÑİÑīаÑı":130732,"деваеÑĤ":130733,"делеев":130734,"деÑĢжаÑĤ":130735,"диакон":130736,"дÑĥмÑĩив":130737,"еделÑĮн":130738,"езапно":130739,"екÑĨией":130740,"ендаÑĢÑĮ":130741,"енÑĩеÑģк":130742,"епаÑĢаÑĤ":130743,"еÑĢедаÑĩ":130744,"жÑĥÑĢнал":130745,"зÑĭваÑİÑĤ":130746,"ивании":130747,"иденÑĨи":130748,"измÑĥнд":130749,"илÑĮÑĤÑıн":130750,"инаÑĢии":130751,"инвеÑģÑĤ":130752,"инÑģкÑĥÑİ":130753,"инÑĥемо":130754,"иÑĦагоÑĢ":130755,"иÑĨинÑģк":130756,"иÑĩеÑģко":130757,"йоÑĢкÑģк":130758,"казано":130759,"калÑĮÑĨи":130760,"кладкÑĥ":130761,"клÑİÑĩил":130762,"коллег":130763,"конкÑĥÑĢ":130764,"копаÑĤÑĮ":130765,"коÑĢмил":130766,"коÑĢпÑĥÑģ":130767,"коÑĢÑĭÑģÑĤ":130768,"кÑĢаÑĤно":130769,"кÑĢÑĥÑĤил":130770,"кÑĢÑĭÑĤой":130771,"кÑģÑĤаÑĤи":130772,"лагаеÑĤ":130773,"лагаÑĤÑĮ":130774,"лаÑĤÑĭни":130775,"леннее":130776,"лигаÑĢÑħ":130777,"линаÑĢн":130778,"лингов":130779,"лиÑĢова":130780,"лиÑĩаÑİÑĤ":130781,"лиÑĩеÑģк":130782,"лиÑĩнÑĭй":130783,"логооб":130784,"мазаÑĤÑĮ":130785,"манÑĮÑıк":130786,"маÑĤÑĭва":130787,"менедж":130788,"мозгов":130789,"монгол":130790,"моÑģков":130791,"мÑĥзÑĭка":130792,"налиÑģÑĤ":130793,"наÑĥÑĩно":130794,"нейÑĪей":130795,"нейÑĪÑĥÑİ":130796,"неÑģено":130797,"никаеÑĤ":130798,"нимиÑĤе":130799,"нÑĬекÑĨи":130800,"обавок":130801,"обÑĭÑĤиÑı":130802,"ованни":130803,"одÑģкой":130804,"озаÑīиÑĤ":130805,"озвоно":130806,"олниÑĤÑĮ":130807,"олодеÑĨ":130808,"олÑĮнÑĭй":130809,"онаÑĢÑĥÑĪ":130810,"ополÑĮд":130811,"опÑĭÑĤно":130812,"оÑĢодно":130813,"оÑĤвÑĢаÑĤ":130814,"оÑıзÑĭÑĩн":130815,"оÑıнием":130816,"павÑĪие":130817,"плоÑīад":130818,"подÑĬем":130819,"покоен":130820,"поÑģлед":130821,"пÑĢавлÑı":130822,"пÑĢепÑıÑĤ":130823,"пÑĢокÑĥÑĢ":130824,"пÑĥблиÑĩ":130825,"пÑĥÑģкал":130826,"ÑĢабанд":130827,"ÑĢаниÑĨа":130828,"ÑĢежиÑģÑģ":130829,"ÑĢежÑĮÑĤе":130830,"ÑĢикаÑģа":130831,"ÑĢоводн":130832,"ÑģенÑģÑĥÑģ":130833,"Ñģигнал":130834,"ÑģидеÑĤÑĮ":130835,"Ñģимвол":130836,"ÑģинÑĤез":130837,"Ñģкакал":130838,"ÑģлÑĥÑĪав":130839,"Ñģолини":130840,"ÑģоÑģÑĤав":130841,"ÑģоÑİзов":130842,"ÑģÑĤабил":130843,"ÑģÑĤавок":130844,"ÑģÑĤанÑĥÑĤ":130845,"ÑģÑĤÑĢоев":130846,"ÑģÑĤÑĥÑĩал":130847,"ÑģÑĭлаеÑĤ":130848,"ÑģÑĭлаÑİÑĤ":130849,"ÑĤелеÑģн":130850,"ÑĤеÑĢÑĮеÑĢ":130851,"ÑĤиÑĢаÑĤÑĮ":130852,"ÑĥголÑĮн":130853,"ÑĥлÑĮÑģÑĤв":130854,"ÑĥÑĢовне":130855,"ÑĥÑģкаÑĤÑĮ":130856,"ÑĥÑģÑĤимо":130857,"ÑĥÑĩилÑģÑı":130858,"ÑĥÑİÑīими":130859,"ÑĦакÑĤоÑĢ":130860,"ÑĦикаÑĨи":130861,"ÑĦоÑģÑĦаÑĤ":130862,"ÑħиÑĢÑĥÑĢг":130863,"ÑħоÑĢоÑĪо":130864,"ÑĨинаÑĨи":130865,"ÑĨиÑĦÑĢов":130866,"ÑĩеÑĢÑĩен":130867,"ÑĩиÑģÑĤил":130868,"ÑĩиÑĤаем":130869,"ÑĩиÑĤаÑĤÑĮ":130870,"ÑĪедÑĪее":130871,"ÑĪепÑĤал":130872,"ÑīегоÑģÑı":130873,"ÑĬединÑı":130874,"ÑĭвалÑģÑı":130875,"ÑĭÑĩеÑģÑĤв":130876,"ÑįнеÑĢго":130877,"ÑįнÑĤÑĥзи":130878,"ÑıнÑģкий":130879,"ĠCritic":130880,"anthrop":130881,"fantasy":130882,"lateral":130883,"tention":130884,"tically":130885,"ĠÐIJвÑģÑĤÑĢо":130886,"ĠÐIJнÑĤони":130887,"ĠÐIJÑĢиÑģÑĤо":130888,"ĠÐIJÑĢкади":130889,"ĠÐIJÑĦинаÑħ":130890,"ĠÐIJÑĦÑĢикÑĥ":130891,"ĠÐijайкал":130892,"ĠÐijайÑĢон":130893,"ĠÐijелÑıев":130894,"ĠÐijоÑĢÑĮба":130895,"ĠÐijÑĢÑİÑģов":130896,"ĠÐijÑĥдÑĮÑĤе":130897,"ĠÐijÑĭваеÑĤ":130898,"ĠÐĴалеÑĢи":130899,"ĠÐĴеÑģÑĮма":130900,"ĠÐĴнеÑĪне":130901,"ĠÐĴолодÑı":130902,"ĠÐĴолÑħов":130903,"ĠÐĴÑģÑıкий":130904,"ĠÐĵалина":130905,"ĠÐĵеÑĢинг":130906,"ĠÐĵеÑĢÑĨог":130907,"ĠÐĵлÑĥбок":130908,"ĠÐĵоваÑĢд":130909,"ĠÐĵомелÑĮ":130910,"ĠÐĶаниÑįл":130911,"ĠÐĶанное":130912,"ĠÐĶвоÑĢеÑĨ":130913,"ĠÐĶевоÑĩк":130914,"ĠÐĶекаÑĢÑĤ":130915,"ĠÐĶжеÑĢÑĢи":130916,"ĠÐĶжонни":130917,"ĠÐĶобавл":130918,"ĠÐĶолжно":130919,"ĠÐĶÑĢÑĥгим":130920,"ĠÐĶÑĥглаÑģ":130921,"ĠÐķÑĢеван":130922,"ĠÐĸданов":130923,"ĠÐĹайÑĨев":130924,"ĠÐĹаклÑİÑĩ":130925,"ĠÐĹнаеÑĤе":130926,"ĠÐļандид":130927,"ĠÐļаÑĢаба":130928,"ĠÐļаÑĢпов":130929,"ĠÐļаÑĢÑĤеÑĢ":130930,"ĠÐļаÑģÑĤÑĢо":130931,"ĠÐļлиенÑĤ":130932,"ĠÐļомпоз":130933,"ĠÐļонÑĢад":130934,"ĠÐļÑĢаков":130935,"ĠÐļÑĢемлÑĮ":130936,"ĠÐĽÐ¸Ð¿ÐµÑĨк":130937,"ĠÐĽÐ¸ÑģÑĤÑĮÑı":130938,"ĠÐĽÑİкÑģем":130939,"ĠÐľÐ°ÑĢиан":130940,"ĠÐľÐ°ÑĪина":130941,"ĠÐľÐ¸Ð½ÑĦин":130942,"ĠÐľÐ¸ÑĪелÑĮ":130943,"ĠÐľÐ¾Ð¸Ñģей":130944,"ĠÐľÐ¾ÑĢган":130945,"ĠÐľÑİллеÑĢ":130946,"ĠÐĿаÑĩина":130947,"ĠÐĿеожид":130948,"ĠÐĿижнем":130949,"ĠÐĿоÑĢман":130950,"ĠÐŀблада":130951,"ĠÐŀбÑĢаÑĤи":130952,"ĠÐŀбÑĢаÑīа":130953,"ĠÐŀдеÑģÑģÑĭ":130954,"ĠÐŀÑĢлеан":130955,"ĠÐŀÑģеÑĤии":130956,"ĠÐŀÑģновÑĭ":130957,"ĠÐŀÑĤвеÑĩа":130958,"ĠÐŁÐ°Ð¼ÑıÑĤÑĮ":130959,"ĠÐŁÐ°ÑĢалл":130960,"ĠÐŁÐ°ÑĢÑĤии":130961,"ĠÐŁÐµÐºÐ¸Ð½Ðµ":130962,"ĠÐŁÐµÑĢмÑģк":130963,"ĠÐŁÐ¾Ð±ÐµÐ´Ð°":130964,"ĠÐŁÐ¾Ð±ÐµÐ´Ð¸":130965,"ĠÐŁÐ¾Ð»Ð¾ÑĨк":130966,"ĠÐŁÐ¾Ð»ÑĥÑĩа":130967,"ĠÐŁÐ¾ÑĤеÑĢÑı":130968,"ĠÐŁÐ¾ÑĩÑijÑĤа":130969,"ĠÐŁÑĢиÑĩÑijм":130970,"ĠÐŁÑĢокоп":130971,"ĠÐŁÑĢоÑģÑĤи":130972,"ĠÐłÐ°ÑģÑģел":130973,"ĠÐłÐµÑĦоÑĢм":130974,"ĠÐłÐµÑĩной":130975,"ĠÐłÐ¾Ð´Ð¸Ð½Ñĥ":130976,"ĠСеÑĢебÑĢ":130977,"ĠСимеон":130978,"ĠСказал":130979,"ĠСлобод":130980,"ĠСловно":130981,"ĠСложно":130982,"ĠСлÑĥжил":130983,"ĠСодеÑĢж":130984,"ĠСÑĢавни":130985,"ĠСÑĤанов":130986,"ĠСÑĤаÑĢаÑı":130987,"ĠСÑĤоÑĢон":130988,"ĠСÑĤÑĢана":130989,"ĠСÑĤÑįнли":130990,"ĠСÑĥдÑĮба":130991,"ĠСÑĥлÑĤан":130992,"ĠТакова":130993,"ĠТаковÑĭ":130994,"ĠТамбов":130995,"ĠТейлоÑĢ":130996,"ĠТимоÑĦе":130997,"ĠТиÑĦлиÑģ":130998,"ĠТÑĥÑĢÑĨиÑı":130999,"ĠТÑİÑĤÑĩев":131000,"ĠУвеÑĢен":131001,"ĠУвидев":131002,"ĠУголов":131003,"ĠУилÑģон":131004,"ĠУолÑĤеÑĢ":131005,"ĠУÑĪаков":131006,"ĠФевÑĢал":131007,"ĠФеÑĢнан":131008,"ĠХаÑĢÑĢиÑģ":131009,"ĠХозÑıин":131010,"ĠÐ¥ÑĥÑģейн":131011,"ĠЧеÑĢнов":131012,"ĠЧеÑģÑĤно":131013,"ĠÐŃнÑĤони":131014,"ĠÐŃÑĢнеÑģÑĤ":131015,"ĠЮÐĿÐķСÐļÐŀ":131016,"ĠЯкÑĥÑĤÑģк":131017,"ĠЯпониÑİ":131018,"ĠагенÑĤÑĭ":131019,"ĠакÑģиом":131020,"ĠакÑĤеÑĢÑĭ":131021,"ĠакÑĨион":131022,"ĠанаÑĤом":131023,"ĠаÑĢабов":131024,"ĠаÑĢбиÑĤÑĢ":131025,"ĠаÑĢÑĤилл":131026,"ĠаÑģÑģоÑĢÑĤ":131027,"ĠаÑĤеиÑģÑĤ":131028,"ĠаÑĦÑĦекÑĤ":131029,"ĠбазиÑĢÑĥ":131030,"Ġбаллон":131031,"ĠбаÑĢÑħаÑĤ":131032,"ĠбаÑĪкиÑĢ":131033,"ĠбеднÑıк":131034,"Ġбезжал":131035,"Ġбледно":131036,"Ġближни":131037,"Ġбогини":131038,"ĠбогинÑı":131039,"ĠбоеваÑı":131040,"Ġбоевое":131041,"ĠбокÑģеÑĢ":131042,"ĠбокÑģÑijÑĢ":131043,"ĠбоÑĢозд":131044,"ĠбоÑıÑĢин":131045,"ĠбÑĢонев":131046,"ĠваÑģÑģал":131047,"ĠвглÑĥбÑĮ":131048,"Ġвдвоем":131049,"Ġвелики":131050,"ĠвеÑĤвей":131051,"ĠвеÑĤÑĢов":131052,"Ġвзволн":131053,"ĠвздÑĥма":131054,"Ġвзлома":131055,"ĠвзÑıÑĤки":131056,"ĠвиÑĤÑĢин":131057,"Ġводном":131058,"ĠводоÑijм":131059,"Ġвождей":131060,"ĠвозÑĮми":131061,"ĠволÑĪеб":131062,"ĠвоÑĤÑĩин":131063,"Ġвпадин":131064,"ĠвÑģÑıким":131065,"ĠвÑĭдаÑĩе":131066,"ĠвÑĭкÑĢик":131067,"ĠвÑĭмÑĭÑĤÑĮ":131068,"ĠвÑĭÑĢвал":131069,"ĠвÑĭÑģлан":131070,"ĠвÑĭÑģÑĪаÑı":131071,"ĠвÑĭÑģÑĪÑĥÑİ":131072,"Ġгавани":131073,"ĠгекÑĤаÑĢ":131074,"ĠгеÑĤеÑĢо":131075,"Ġгипноз":131076,"ĠгоÑĢеÑĩÑĮ":131077,"ĠгоÑģÑĤÑıм":131078,"ĠгоÑģÑĤÑıÑħ":131079,"ĠгÑĢÑĥдÑĮÑİ":131080,"ĠгÑĢÑĥнÑĤа":131081,"ĠгÑĥлÑıÑĤÑĮ":131082,"ĠдеÑĪево":131083,"ĠдиÑĦÑĦÑĥз":131084,"Ġдобавк":131085,"ĠдобÑĢой":131086,"ĠдоводÑĭ":131087,"Ġдогадк":131088,"Ġдождев":131089,"Ġдолгий":131090,"ĠдолинÑĥ":131091,"ĠдоÑģпеÑħ":131092,"ĠдÑĢÑĥжбе":131093,"ĠдÑĢÑĥжбÑĥ":131094,"ĠдÑĢÑĥжно":131095,"ĠевÑĢопе":131096,"ĠеÑĢеÑĤик":131097,"ĠжелаÑĤÑĮ":131098,"ĠжелаÑİÑĤ":131099,"ĠжелÑĥдк":131100,"ĠживÑĭми":131101,"Ġжизней":131102,"ĠжилиÑīа":131103,"ĠжилиÑīе":131104,"Ġзаблок":131105,"ĠзабÑĭÑĤÑĭ":131106,"ĠзадаеÑĤ":131107,"Ġзаднем":131108,"Ġзадний":131109,"Ġзадним":131110,"ĠзадниÑħ":131111,"ĠзаймеÑĤ":131112,"Ġзамене":131113,"ĠзапеÑĢÑĤ":131114,"ĠзапиÑĢа":131115,"ĠзапÑĥÑĤа":131116,"ĠзаÑĢоди":131117,"ĠзаÑĤÑıнÑĥ":131118,"ĠзаÑĩÑijÑĤе":131119,"Ġзвонка":131120,"Ġзелени":131121,"ĠземнÑĭÑħ":131122,"ĠзлодеÑı":131123,"ĠигÑĥмен":131124,"Ġизвини":131125,"ĠизоÑĤоп":131126,"ĠизÑĥÑĩаÑİ":131127,"ĠизÑĥÑĩил":131128,"ĠизÑĬÑıÑĤи":131129,"ĠизÑıÑīно":131130,"ĠимпÑĢов":131131,"ĠинÑĦÑĢак":131132,"ĠиÑĢланд":131133,"ĠиÑģкажа":131134,"ĠиÑģÑĤока":131135,"ĠиÑģÑĤоÑĢи":131136,"Ġкабине":131137,"ĠкаÑĢÑĤаÑħ":131138,"ĠкаÑģкад":131139,"ĠкаÑģÑģеÑĤ":131140,"Ġкинжал":131141,"ĠкиÑĪеÑĩн":131142,"ĠклеÑĤке":131143,"ĠклеÑĤкÑĥ":131144,"ĠклÑİÑĩей":131145,"ĠклÑİÑĩом":131146,"Ġкнижка":131147,"ĠкнижкÑĥ":131148,"Ġкнопка":131149,"Ġколено":131150,"Ġконвой":131151,"ĠконÑĥнг":131152,"ĠконÑĮÑıк":131153,"Ġкопеек":131154,"ĠкоÑģÑĤеÑĢ":131155,"ĠкоÑĦейн":131156,"ĠкÑĢаÑģок":131157,"ĠкÑĢеÑģле":131158,"ĠкÑĢивой":131159,"ĠкÑĢипÑĤо":131160,"ĠкÑĢÑĥжок":131161,"ĠкÑĢÑĥÑĤой":131162,"ĠкÑĢÑĭлом":131163,"ĠкÑĢÑĭÑĪей":131164,"ĠкÑĥвÑĪин":131165,"ĠкÑĥзнеÑĨ":131166,"ĠкÑĥпÑĨов":131167,"ĠкÑĥÑĢÑģаÑħ":131168,"ĠкÑĥÑĢÑĮеÑĢ":131169,"ĠкÑĥÑģоÑĩк":131170,"ĠледÑıно":131171,"ĠлекÑĨиÑı":131172,"ĠлиÑĨенз":131173,"ĠлиÑĪаеÑĤ":131174,"ĠлиÑĪниÑħ":131175,"ĠлопаÑģÑĤ":131176,"ĠлÑĥÑĩами":131177,"ĠлÑijгкиÑħ":131178,"Ġмебели":131179,"Ġмелкой":131180,"ĠмелÑĮка":131181,"ĠмеÑĩами":131182,"ĠмеÑĩеÑĤÑĮ":131183,"ĠмеÑĪало":131184,"ĠмеÑĪаÑİÑĤ":131185,"ĠмиÑģÑģиÑİ":131186,"Ġмнений":131187,"Ġмозаик":131188,"Ġмолнии":131189,"Ġмоложе":131190,"ĠмоÑĢÑīин":131191,"ĠмоÑĢÑıки":131192,"ĠмоÑīной":131193,"ĠмÑĥзеев":131194,"ĠмÑĭÑģлÑıÑī":131195,"ĠмÑİзикл":131196,"ĠмÑıгкий":131197,"ĠмÑıгкой":131198,"Ġнаводн":131199,"Ġназвав":131200,"ĠналиÑĨо":131201,"ĠнамеÑĤи":131202,"ĠнаÑģÑĤиг":131203,"ĠнаÑģÑĥÑīн":131204,"ĠнаÑĤÑĥÑĢÑĭ":131205,"ĠнаÑĩнем":131206,"ĠневÑĢоз":131207,"ĠнекÑĥда":131208,"ĠнелепÑĭ":131209,"ĠнеÑģÑĤаб":131210,"ĠнеÑħваÑĤ":131211,"ĠнеÑıÑģнÑĭ":131212,"Ġнижний":131213,"ĠнижнÑİÑİ":131214,"ĠнижнÑıÑı":131215,"ĠнизкаÑı":131216,"Ġнизкие":131217,"ĠнизÑĪиÑħ":131218,"ĠноÑĤаÑĢи":131219,"ĠноÑĩнÑĭÑħ":131220,"Ġобидел":131221,"Ġобидно":131222,"Ġобижен":131223,"Ġобилие":131224,"Ġобкома":131225,"ĠобÑĥÑĩен":131226,"ĠобÑıзал":131227,"ĠодеÑıло":131228,"ĠодноÑģÑĤ":131229,"Ġокнами":131230,"ĠопеÑĢед":131231,"ĠоплаÑĤÑĥ":131232,"ĠоÑĢгазм":131233,"ĠоÑģажда":131234,"ĠоÑģвоил":131235,"ĠоÑģнаÑīа":131236,"ĠоÑģобом":131237,"ĠоÑģÑĤÑĢÑĭÑħ":131238,"ĠоÑģÑĥдил":131239,"ĠоÑĤмене":131240,"ĠоÑĤойÑĤи":131241,"ĠоÑĤомÑģÑĤ":131242,"ĠоÑĤоÑĪли":131243,"ĠоÑĤÑĢази":131244,"ĠоÑħÑĢана":131245,"ĠоÑĨенен":131246,"ĠоÑĪибке":131247,"ĠоÑīÑĥÑĤил":131248,"ĠоÑīÑĥÑīаÑİ":131249,"ĠпалаÑĤе":131250,"Ġпаломн":131251,"ĠпалÑĥбе":131252,"ĠпаÑĢней":131253,"ĠпаÑģÑĤоÑĢ":131254,"ĠпаÑĥÑĤин":131255,"ĠпевиÑĨÑĭ":131256,"ĠпеÑĢебÑĢ":131257,"ĠпеÑģней":131258,"ĠпеÑģÑģим":131259,"ĠпеÑħоÑĤа":131260,"Ġпиджак":131261,"ĠпиÑĤомÑĨ":131262,"ĠплаÑĤиÑĤ":131263,"ĠплаÑĤÑıÑĤ":131264,"ĠплаÑĩеÑĤ":131265,"ĠплемÑijн":131266,"ĠплеÑĩаÑħ":131267,"ĠплоÑħаÑı":131268,"ĠплоÑħие":131269,"ĠплоÑħим":131270,"Ġповозк":131271,"ĠподкÑĥп":131272,"ĠподнÑıв":131273,"ĠподоÑĪв":131274,"Ġпознан":131275,"ĠпойдÑĥÑĤ":131276,"Ġпойман":131277,"ĠпомнÑıÑĤ":131278,"Ġпонижа":131279,"ĠпоÑģлом":131280,"ĠпоÑģÑĭла":131281,"ĠпоÑĤеÑĢе":131282,"ĠпоÑĤеÑĢÑİ":131283,"ĠпоÑĩеÑĢк":131284,"ĠпÑĢавÑĭм":131285,"ĠпÑĢемий":131286,"ĠпÑĢивÑijл":131287,"ĠпÑĢидÑĥÑĤ":131288,"ĠпÑĢизем":131289,"ĠпÑĢикÑĢÑĭ":131290,"ĠпÑĢобил":131291,"ĠпÑĢобÑĭл":131292,"ĠпÑĢойдÑı":131293,"ĠпÑĢониÑĨ":131294,"ĠпÑĢоÑĢез":131295,"ĠпÑĢоÑĤон":131296,"ĠпÑĢоÑīал":131297,"ĠпÑĢÑĭжка":131298,"ĠпÑĢÑıмÑĥÑİ":131299,"ĠпÑĥзÑĭÑĢÑı":131300,"ĠпÑĥÑģÑĤÑĭе":131301,"ĠпÑĥÑģÑĤÑıк":131302,"ĠÑĢадÑĥеÑĤ":131303,"ĠÑĢазвив":131304,"ĠÑĢанним":131305,"ĠÑĢапоÑĢÑĤ":131306,"ĠÑĢаÑģкаÑı":131307,"ĠÑĢаÑģпÑĥÑĤ":131308,"ĠÑĢаÑģпÑıÑĤ":131309,"ĠÑĢаÑģÑĤоп":131310,"ĠÑĢеаним":131311,"ĠÑĢезкий":131312,"ĠÑĢекÑĢÑĥÑĤ":131313,"ĠÑĢеÑģÑĤав":131314,"ĠÑĢиÑģÑĥеÑĤ":131315,"ĠÑĢÑĥбÑĢик":131316,"ĠÑĢÑĥÑĩной":131317,"ĠÑĢÑĭнков":131318,"ĠÑĢÑĭÑĨаÑĢÑı":131319,"ĠÑĢÑİкзак":131320,"ĠÑģалÑĦеÑĤ":131321,"ĠÑģамÑĨов":131322,"ĠÑģапоги":131323,"ĠÑģвежей":131324,"ĠÑģвежие":131325,"ĠÑģвежий":131326,"ĠÑģвежим":131327,"ĠÑģвежиÑħ":131328,"ĠÑģвеÑĤод":131329,"ĠÑģвиней":131330,"ĠÑģделаÑİ":131331,"ĠÑģделкÑĥ":131332,"ĠÑģемÑĮÑijй":131333,"ĠÑģеÑģÑĤеÑĢ":131334,"ĠÑģеÑģÑĤÑĢÑĥ":131335,"ĠÑģеÑĤÑĩаÑĤ":131336,"ĠÑģказке":131337,"ĠÑģказок":131338,"ĠÑģконÑĩа":131339,"ĠÑģледом":131340,"ĠÑģломан":131341,"ĠÑģлонов":131342,"ĠÑģлÑĭÑĪим":131343,"ĠÑģмеÑīен":131344,"ĠÑģмÑĥÑĤно":131345,"ĠÑģмÑıÑĤен":131346,"ĠÑģнегом":131347,"ĠÑģнижен":131348,"ĠÑģнимки":131349,"ĠÑģнÑıÑĤиÑı":131350,"ĠÑģовпал":131351,"ĠÑģозида":131352,"ĠÑģокÑĢÑĥÑĪ":131353,"ĠÑģоÑĢвал":131354,"ĠÑģпеÑĪно":131355,"ĠÑģпиÑģкÑĥ":131356,"ĠÑģпÑĥÑģÑĤи":131357,"ĠÑģÑģÑĭлок":131358,"ĠÑģÑĤадиÑİ":131359,"ĠÑģÑĤилем":131360,"ĠÑģÑĤойко":131361,"ĠÑģÑĤоÑıло":131362,"ĠÑģÑĤÑĢажÑĥ":131363,"ĠÑģÑĤÑĢоÑıÑĤ":131364,"ĠÑģÑĤÑĥдий":131365,"ĠÑģÑĤÑĥдиÑı":131366,"ĠÑģÑĤÑĭков":131367,"ĠÑģÑĥмееÑĤ":131368,"ĠÑģÑĥммаÑĢ":131369,"ĠÑģÑĬеÑģÑĤÑĮ":131370,"ĠÑģÑĬÑijмки":131371,"ĠÑģÑĬÑijмок":131372,"ĠÑĤайнÑĭÑħ":131373,"ĠÑĤележк":131374,"ĠÑĤеÑĢпиÑĤ":131375,"ĠÑĤолком":131376,"ĠÑĤолÑĩок":131377,"ĠÑĤонкаÑı":131378,"ĠÑĤонким":131379,"ĠÑĤонкиÑħ":131380,"ĠÑĤоннел":131381,"ĠÑĤоÑĩкаÑħ":131382,"ĠÑĤоÑĪноÑĤ":131383,"ĠÑĤÑĢавмÑĥ":131384,"ĠÑĤÑĢавÑıн":131385,"ĠÑĤÑĢакÑĤа":131386,"ĠÑĤÑĢакÑĤÑĥ":131387,"ĠÑĤÑĢебÑĥÑı":131388,"ĠÑĤÑĢезво":131389,"ĠÑĤÑĢиÑģÑĤа":131390,"ĠÑĤÑĢонÑĥл":131391,"ĠÑĤÑĢоÑĦей":131392,"ĠÑĤÑīеÑĤно":131393,"ĠÑĤÑıгоÑģÑĤ":131394,"ĠÑĥбежал":131395,"ĠÑĥбийÑĨÑĭ":131396,"ĠÑĥбÑĭÑĤки":131397,"ĠÑĥвенÑĩа":131398,"ĠÑĥвеÑĢÑıл":131399,"ĠÑĥвиден":131400,"ĠÑĥволил":131401,"ĠÑĥгнеÑĤа":131402,"ĠÑĥдалÑijн":131403,"ĠÑĥзнаÑİÑĤ":131404,"ĠÑĥлиÑĨей":131405,"ĠÑĥлÑĭбка":131406,"ĠÑĥмиÑĢал":131407,"ĠÑĥпадок":131408,"ĠÑĥпаков":131409,"ĠÑĥплаÑĤÑĭ":131410,"ĠÑĥÑģилил":131411,"ĠÑĥÑģпеÑĤÑĮ":131412,"ĠÑĥÑĤилиз":131413,"ĠÑĥÑĩиÑĤÑģÑı":131414,"ĠÑĥÑĩÑijнÑĭм":131415,"ĠÑĥÑīелÑĮе":131416,"ĠÑĦиниÑĪи":131417,"ĠÑĦиÑĢмой":131418,"ĠÑĦлагом":131419,"ĠÑĦоÑĢÑĥме":131420,"ĠÑĦÑİÑĢеÑĢа":131421,"ĠÑħоккеÑİ":131422,"ĠÑħоÑĢоÑĪи":131423,"ĠÑħÑĢабÑĢо":131424,"ĠÑħÑĢабÑĢÑĭ":131425,"ĠÑħÑĢебеÑĤ":131426,"ĠÑħÑĢиÑģÑĤи":131427,"ĠÑĨаÑĢÑģко":131428,"ĠÑĨелÑĭми":131429,"ĠÑĩеÑĢедÑĥ":131430,"ĠÑĩеÑĢнил":131431,"ĠÑĩеÑĢном":131432,"ĠÑĩеÑĢнÑĭм":131433,"ĠÑĩеÑĢÑĤаÑħ":131434,"ĠÑĩиÑģÑĤаÑı":131435,"ĠÑĩиÑģÑĤÑĥÑİ":131436,"ĠÑĩиÑģÑĤÑĭе":131437,"ĠÑĩÑĥжого":131438,"ĠÑĩÑijÑĢнÑĭй":131439,"ĠÑĪиÑĢинÑĭ":131440,"ĠÑĪколой":131441,"ĠÑįгоизм":131442,"ĠÑįкÑĢанÑĭ":131443,"ĠÑįмигÑĢи":131444,"ĠÑįмиÑģÑģи":131445,"ĠÑįпиÑĤеÑĤ":131446,"ĠÑįÑģеÑĢов":131447,"ĠÑįÑĤалон":131448,"ĠÑİжного":131449,"ĠÑıблоки":131450,"ĠÑıÑĢоÑģÑĤи":131451,"ĠÑıÑĢоÑģÑĤн":131452,"ÐIJÑĢÑģенал":131453,"ÐĴеÑģÑĤник":131454,"ÐĴозвÑĢаÑī":131455,"ÐĴолÑĪебн":131456,"ÐĴÑıземÑģк":131457,"ÐĶневник":131458,"ÐĸанейÑĢо":131459,"ÐĹапиÑģки":131460,"ÐĺÑĤалÑĮÑıн":131461,"ÐļапиÑĤал":131462,"ÐļоммеÑĢÑģ":131463,"ÐĽÐµÐ¹Ð¿ÑĨиг":131464,"ÐľÐ¾Ð»Ð¾Ð´Ð°Ñı":131465,"ÐĿовоÑģÑĤи":131466,"ÐŁÐµÐ´Ð°Ð³Ð¾Ð³":131467,"ÐŁÐ¾Ð¶Ð°Ð»Ñĥй":131468,"ÐŁÑĢоÑĦеÑģÑģ":131469,"ÐłÑĥÑģÑģкаÑı":131470,"ÐłÑĥÑģÑģкое":131471,"СеÑĢгиев":131472,"ТоÑĢонÑĤо":131473,"ФеодоÑģи":131474,"ШаÑĢлоÑĤÑĤ":131475,"ÐŃкÑģпеÑĢÑĤ":131476,"абÑĥÑĪник":131477,"авиÑģимо":131478,"акÑģонÑģк":131479,"амоÑģÑĤоÑı":131480,"анизаÑĨи":131481,"аÑĤивнÑĭÑħ":131482,"аÑĩиваеÑĤ":131483,"аÑĩÑĥÑģеÑĤÑģ":131484,"аÑİÑīиеÑģÑı":131485,"бавлÑıеÑĤ":131486,"ваÑĢианÑĤ":131487,"взÑĢоÑģле":131488,"виновен":131489,"вклÑİÑĩаÑı":131490,"возвÑĢаÑĤ":131491,"вÑĮеÑĤнам":131492,"вÑıзалÑģÑı":131493,"гваÑĢдии":131494,"геогÑĢаÑĦ":131495,"глÑĥблен":131496,"гоÑĤовка":131497,"гÑĢÑĥжаÑĤÑĮ":131498,"давайÑĤе":131499,"дневнÑĭй":131500,"донимом":131501,"дÑĢевеÑģн":131502,"дÑĥмÑĭвал":131503,"ебÑĢÑıнÑĭй":131504,"еннолеÑĤ":131505,"енÑĪÑĤейн":131506,"еÑĤÑĢовÑģк":131507,"заимÑģÑĤв":131508,"измелÑĮÑĩ":131509,"изованн":131510,"иклиник":131511,"иÑĢовани":131512,"иÑĢÑĥемой":131513,"иÑĢÑĥемÑĭе":131514,"иÑĢÑĥемÑĭй":131515,"иÑĢÑĥÑİÑīаÑı":131516,"иÑĢÑĥÑİÑīее":131517,"иÑħонÑĮкÑĥ":131518,"канÑģкиÑħ":131519,"ковÑģкаÑı":131520,"конеÑĩно":131521,"конÑģеÑĢв":131522,"конÑĤакÑĤ":131523,"конÑĩиÑĤÑĮ":131524,"коÑģÑĢоÑĩн":131525,"кÑĢаÑģнÑĭй":131526,"кÑĢеаÑĤив":131527,"кÑĢÑĥÑĤиÑĤÑĮ":131528,"кÑĢÑĭлаÑģÑĮ":131529,"ланеÑĤÑıн":131530,"леÑĤнемÑĥ":131531,"ливание":131532,"линÑģкий":131533,"лиÑħоÑĢад":131534,"ллеÑĢиÑģÑĤ":131535,"ложениÑİ":131536,"лÑĮÑīиков":131537,"лÑİÑĤеÑĢан":131538,"менÑıлÑģÑı":131539,"меÑĤÑĢиÑĩн":131540,"мÑĭÑĪеÑĩнÑĭ":131541,"нвенÑĤаÑĢ":131542,"нейÑĪего":131543,"нÑıвÑĪиÑģÑĮ":131544,"ованнаÑı":131545,"ованнÑĭм":131546,"огÑĢадов":131547,"одиноÑĩк":131548,"ологией":131549,"опÑĢолиÑĤ":131550,"оÑĢонниÑħ":131551,"оÑģÑĤижим":131552,"павÑĪего":131553,"паÑĤÑĢиоÑĤ":131554,"педагог":131555,"пиÑģÑĭвал":131556,"погÑĢани":131557,"положим":131558,"полÑĮзов":131559,"полÑıÑĢно":131560,"помниÑĤе":131561,"пÑĢизнан":131562,"пÑĢинÑĨип":131563,"пÑĢовеÑĢÑı":131564,"пÑĢÑĭгива":131565,"пÑĥÑģкаем":131566,"пÑĥÑģкали":131567,"ÑĢабоÑĤав":131568,"ÑĢажение":131569,"ÑĢажениÑİ":131570,"ÑĢаÑģÑĤаÑİÑĤ":131571,"ÑĢаÑĨионн":131572,"ÑĢвалаÑģÑĮ":131573,"ÑĢеволÑİÑĨ":131574,"ÑĢегиÑģÑĤÑĢ":131575,"ÑĢÑĥÑģÑģкой":131576,"ÑģвеÑĩива":131577,"ÑģвинÑĨов":131578,"ÑģекÑģÑĥал":131579,"ÑģеÑĢедин":131580,"ÑģимÑĦони":131581,"ÑģинÑĤакÑģ":131582,"ÑģиÑģÑĤемÑĭ":131583,"ÑģпоÑĢÑĤив":131584,"ÑģÑĤавкой":131585,"ÑģÑĤÑĢаÑħов":131586,"ÑģÑĤÑĢижен":131587,"ÑģÑĤÑĢойке":131588,"ÑģÑĤÑĢоном":131589,"ÑģÑĥдебно":131590,"ÑĤелÑĮÑģÑĤв":131591,"ÑĤеÑĢапии":131592,"ÑĤинÑģкий":131593,"ÑĤÑıгивал":131594,"ÑĤÑıжение":131595,"ÑĤÑıнÑĥлÑģÑı":131596,"ÑĥбийÑģÑĤв":131597,"ÑĥÑĦакÑĤÑĥÑĢ":131598,"ÑĦинÑģкой":131599,"ÑĨелÑıÑĢии":131600,"ÑĨенноÑģÑĤ":131601,"Ñĩивание":131602,"ÑĩиваниÑı":131603,"ÑĪевÑģкий":131604,"ÑĭваÑİÑīий":131605,"ÑĭÑĪленно":131606,"ÑįнÑĤÑĢопи":131607,"ÑİÑīемÑĥÑģÑı":131608,"ÑıзÑĭÑĩеÑģк":131609,"ÑıÑģнение":131610,"Ġcultiva":131611,"definite":131612,"magnetic":131613,"ĠÐIJвгÑĥÑģÑĤа":131614,"ĠÐIJвÑĤомаÑĤ":131615,"ĠÐIJкÑĤивно":131616,"ĠÐIJлбании":131617,"ĠÐIJлÑĮÑĦонÑģ":131618,"ĠÐIJнглией":131619,"ĠÐIJÑĢнолÑĮд":131620,"ĠÐIJÑĦанаÑģÑĮ":131621,"ĠÐijаÑĪкоÑĢÑĤ":131622,"ĠÐijезопаÑģ":131623,"ĠÐijлижайÑĪ":131624,"ĠÐijлижнем":131625,"ĠÐijожеÑģÑĤв":131626,"ĠÐijолÑĮÑĪие":131627,"ĠÐijолÑĮÑĪом":131628,"ĠÐijоÑĢодин":131629,"ĠÐĴалеÑĢиÑı":131630,"ĠÐĴаÑĢианÑĤ":131631,"ĠÐĴеликом":131632,"ĠÐĴеÑĢÑħнÑıÑı":131633,"ĠÐĴилÑĮнÑİÑģ":131634,"ĠÐĴоенной":131635,"ĠÐĴоеннÑĭй":131636,"ĠÐĴозвÑĢаÑī":131637,"ĠÐĴолÑĮÑĤеÑĢ":131638,"ĠÐĴоÑģкÑĢеÑģ":131639,"ĠÐĴпеÑĢеди":131640,"ĠÐĴÑģеÑģоÑİз":131641,"ĠÐĵабÑĢиÑįл":131642,"ĠÐĵеÑĢаÑģим":131643,"ĠÐĵеÑĢбеÑĢÑĤ":131644,"ĠÐĵиммлеÑĢ":131645,"ĠÐĵодÑĥнов":131646,"ĠÐĵоÑĢаздо":131647,"ĠÐĵÑĢознÑĭй":131648,"ĠÐĵÑĥмилев":131649,"ĠÐĶеникин":131650,"ĠÐĶеÑıÑĤелÑĮ":131651,"ĠÐĶмиÑĤÑĢов":131652,"ĠÐĶнепÑĢоп":131653,"ĠÐĶоминик":131654,"ĠÐĶонÑģкой":131655,"ĠÐĶÑĢезден":131656,"ĠÐĺмеÑİÑĤÑģÑı":131657,"ĠÐĺнженеÑĢ":131658,"ĠÐĺÑģпаниÑİ":131659,"ĠÐĺÑģпаниÑı":131660,"ĠÐļабинеÑĤ":131661,"ĠÐļавалеÑĢ":131662,"ĠÐļазимиÑĢ":131663,"ĠÐļаÑĢелии":131664,"ĠÐļемеÑĢов":131665,"ĠÐļеÑĢенÑģк":131666,"ĠÐļлинÑĤон":131667,"ĠÐļовалев":131668,"ĠÐļодекÑģа":131669,"ĠÐļомаÑĢов":131670,"ĠÐļомменÑĤ":131671,"ĠÐļÑĥзÑĮмин":131672,"ĠÐļÑĥликов":131673,"ĠÐĽÐ°Ð·Ð°ÑĢев":131674,"ĠÐĽÑĥганÑģк":131675,"ĠÐľÐ°ÑĢокко":131676,"ĠÐľÐ°ÑĢÑĪалл":131677,"ĠÐľÐµÐºÑģике":131678,"ĠÐľÐµÑģÑĤнÑĭе":131679,"ĠÐľÐ¾Ð¸Ñģеев":131680,"ĠÐľÐ¾Ð»Ð¾Ð´Ñĭе":131681,"ĠÐľÑĥжÑĩинÑĭ":131682,"ĠÐľÑİнÑħене":131683,"ĠÐĿедаÑĢом":131684,"ĠÐĿижнего":131685,"ĠÐĿиколаÑİ":131686,"ĠÐŁÐ¾Ð»Ð¸ÑĨиÑı":131687,"ĠÐŁÐ¾Ð»Ñıков":131688,"ĠÐŁÐ¾ÑĢÑıдок":131689,"ĠÐŁÐ¾ÑģÑijлок":131690,"ĠÐŁÑĢиÑĩинÑĭ":131691,"ĠÐŁÑĥгаÑĩев":131692,"ĠÐłÐ°Ð·Ð½Ð¸ÑĨа":131693,"ĠÐłÐ¸ÑģÑĥнок":131694,"ĠСаÑħаÑĢов":131695,"ĠСемÑijнов":131696,"ĠСеÑĢаÑĦим":131697,"ĠСеÑĢгеем":131698,"ĠСимонов":131699,"ĠСиÑĨилии":131700,"ĠСкажиÑĤе":131701,"ĠСобÑĭÑĤиÑı":131702,"ĠСоÑĢокин":131703,"ĠСÑĢедние":131704,"ĠСÑĤанÑĨиÑı":131705,"ĠСÑĤÑĢанно":131706,"ĠТаÑĢаÑģов":131707,"ĠТегеÑĢан":131708,"ĠТелеÑĦон":131709,"ĠТиÑħонов":131710,"ĠТÑĢоиÑĨко":131711,"ĠУÑģловиÑı":131712,"ĠУÑĩиÑĤелÑĮ":131713,"ĠФÑĢÑįнÑģиÑģ":131714,"ĠФÑĥнкÑĨиÑı":131715,"ĠЦиÑĨеÑĢон":131716,"ĠШоÑĤланд":131717,"ĠÐŃйзенÑħа":131718,"ĠÐŃлеменÑĤ":131719,"ĠЮÑĢÑĮевиÑĩ":131720,"ĠЯпонией":131721,"ĠаванÑĤÑİÑĢ":131722,"Ġавиабаз":131723,"ĠагенÑĤом":131724,"ĠагÑĢаÑĢно":131725,"ĠадÑĢеÑģаÑĤ":131726,"ĠакÑĤÑijÑĢов":131727,"ĠанÑĤеннÑĭ":131728,"ĠаÑĢÑħеÑĤип":131729,"ĠаÑĤомнÑĭÑħ":131730,"Ġбазилик":131731,"ĠбазовÑĭÑħ":131732,"ĠбаналÑĮн":131733,"ĠбанкноÑĤ":131734,"ĠбаÑĢокко":131735,"ĠбезÑĥмие":131736,"ĠбеÑĢежно":131737,"ĠбеÑģÑģонн":131738,"ĠбиаÑĤлон":131739,"ĠбилеÑĤов":131740,"ĠблокадÑĭ":131741,"Ġбоковой":131742,"ĠбоковÑĭÑħ":131743,"ĠбоÑĢолÑģÑı":131744,"ĠбÑĢигадÑĥ":131745,"ĠбÑĢоÑģаÑĤÑĮ":131746,"ĠбÑĢоÑģаÑİÑĤ":131747,"ĠбÑĢоÑģили":131748,"ĠбÑĥдÑĥÑīие":131749,"ĠбÑĭÑĤовой":131750,"ĠбÑĭÑĤовÑĭÑħ":131751,"Ġважного":131752,"ĠваÑĢÑĮиÑĢÑĥ":131753,"ĠведÑĥÑĤÑģÑı":131754,"Ġвеликан":131755,"ĠвеликÑĥÑİ":131756,"ĠвелиÑĩин":131757,"ĠвелиÑĩиÑı":131758,"ĠвелÑĮмож":131759,"ĠвеÑĢÑħнÑİÑİ":131760,"ĠвеÑĢÑħнÑıÑı":131761,"ĠвеÑĢÑĪинÑĥ":131762,"ĠвеÑģовой":131763,"ĠвеÑģÑĤник":131764,"Ġвладели":131765,"ĠвладеÑĤÑĮ":131766,"ĠвлаÑģÑĤнÑĭ":131767,"ĠвлиÑıниÑİ":131768,"ĠвмеÑĪива":131769,"ĠвнеÑģенÑĭ":131770,"ĠвнеÑĪнее":131771,"ĠвнеÑĪнем":131772,"ĠвнеÑĪнÑıÑı":131773,"Ġводоизм":131774,"Ġвоедино":131775,"Ġвозводи":131776,"ĠволнÑĥеÑĤ":131777,"ĠвоÑģÑħиÑĤи":131778,"ĠвÑĢаÑĩебн":131779,"ĠвÑĢеднÑĭÑħ":131780,"ĠвÑģкÑĢÑĭва":131781,"ĠвÑģплеÑģк":131782,"ĠвÑģпÑĭÑĪки":131783,"ĠвÑĭводов":131784,"ĠвÑĭделÑıл":131785,"ĠвÑĭзвавÑĪ":131786,"ĠвÑĭзвано":131787,"ĠвÑĭзовеÑĤ":131788,"ĠвÑĭзÑĭваÑı":131789,"ĠвÑĭлеÑĤов":131790,"ĠвÑĭÑĢезан":131791,"ĠвÑĭÑĢоÑģло":131792,"ĠвÑĭÑģадки":131793,"ĠвÑĭÑģоÑĤаÑħ":131794,"ĠвÑĭÑĤеÑģнÑı":131795,"ĠвÑĭÑıÑģнен":131796,"ĠгалеÑĢее":131797,"ĠгалеÑĢеи":131798,"ĠгалÑģÑĤÑĥк":131799,"ĠгваÑĢдиÑı":131800,"ĠгеноÑĨид":131801,"ĠгеÑĢалÑĮд":131802,"ĠгеÑĢоини":131803,"ĠгеÑĢоинÑı":131804,"ĠгеÑĢоÑıми":131805,"ĠгеÑģÑĤапо":131806,"ĠгодиÑĤÑģÑı":131807,"Ġголовки":131808,"ĠголÑĥбой":131809,"ĠгоноÑĢаÑĢ":131810,"ĠгоÑĢного":131811,"ĠгоÑĢÑıÑĩий":131812,"ĠгоÑĤовиÑĤ":131813,"ĠгÑĢаммов":131814,"ĠгÑĢÑĥдной":131815,"ĠгÑĢÑĥнÑĤов":131816,"ĠдалÑĮниÑħ":131817,"Ġдвойник":131818,"ĠдвÑĥÑħÑģоÑĤ":131819,"ĠдевÑĩонк":131820,"ĠдедÑĥÑĪка":131821,"ĠделаеÑĪÑĮ":131822,"ĠделовÑĭÑħ":131823,"ĠделÑĮÑĦин":131824,"Ġденежно":131825,"ĠденÑĮгаÑħ":131826,"ĠдеÑģкаÑĤÑĮ":131827,"ĠдеÑĤалÑıм":131828,"ĠдеÑĤÑģкаÑı":131829,"ĠдивеÑĢÑģи":131830,"ĠдлиннаÑı":131831,"Ġдлиннее":131832,"ĠдлиннÑĭм":131833,"ĠдобÑĭÑĩей":131834,"ĠдÑĢевнем":131835,"ĠжелÑĥдок":131836,"ĠжениÑĤÑĮб":131837,"ĠженÑģкаÑı":131838,"ĠженÑģком":131839,"ĠженÑģкÑĥÑİ":131840,"ĠжеÑģÑĤкой":131841,"ĠживÑĥÑīие":131842,"ĠжиÑĤейÑģк":131843,"ĠзабÑĭвал":131844,"ĠзавеÑĢил":131845,"ĠзавиÑģÑĤÑĮ":131846,"ĠзаводаÑħ":131847,"Ġзадавал":131848,"Ġзаднего":131849,"Ġзаказал":131850,"Ġзаказов":131851,"Ġзаменив":131852,"ĠзамеÑĤив":131853,"ĠзамеÑĤки":131854,"ĠзамÑĭÑģлÑĥ":131855,"ĠзанÑıÑĤÑĭÑħ":131856,"ĠзапиÑģка":131857,"ĠзаÑħодил":131858,"ĠзаÑħоÑĢон":131859,"ĠзвенÑĮев":131860,"ĠзвÑĥÑĩани":131861,"ĠзеленÑĭм":131862,"ĠзеленÑĮÑİ":131863,"Ġзнаками":131864,"ĠзнаÑĩило":131865,"ĠзнаÑĩимо":131866,"ĠзолоÑĤаÑı":131867,"ĠигÑĢовÑĭÑħ":131868,"Ġиздавал":131869,"Ġиздавна":131870,"ĠизданиÑİ":131871,"ĠизобÑĢел":131872,"ĠизогнÑĥÑĤ":131873,"ĠизÑĢаилÑĮ":131874,"ĠизÑĢÑıдно":131875,"ĠизÑĥÑĩаем":131876,"ĠизÑĥÑĩаÑİÑĤ":131877,"ĠиллÑİзии":131878,"ĠиллÑİзиÑı":131879,"ĠимевÑĪие":131880,"ĠимевÑĪий":131881,"ĠимеÑİÑīаÑı":131882,"ĠимеÑİÑīее":131883,"ĠимпеÑĢиÑİ":131884,"ĠинÑģÑĥлин":131885,"ĠиÑģкÑĥÑģно":131886,"ĠиÑģпÑĥган":131887,"ĠиÑģÑĤоков":131888,"ĠиÑĥдаизм":131889,"ĠказаÑĩÑĮи":131890,"ĠкалÑĮÑĨиÑı":131891,"ĠканикÑĥл":131892,"ĠкапиÑĤÑĥл":131893,"ĠкапÑĥÑģÑĤÑĭ":131894,"ĠкаÑĦедÑĢÑĥ":131895,"ĠкеÑĢоÑģин":131896,"ĠкипÑıÑĤка":131897,"ĠкиÑĤайÑĨÑĭ":131898,"ĠклеÑĤкаÑħ":131899,"ĠклиенÑĤÑĥ":131900,"Ġкнигами":131901,"Ġколоний":131902,"ĠколоÑĢиÑĤ":131903,"ĠколÑĮÑĨев":131904,"ĠконÑģÑĤÑĢÑĥ":131905,"ĠконÑĨепÑĤ":131906,"ĠконÑĨеÑĢн":131907,"ĠконÑĩинÑĭ":131908,"ĠкоÑĢнÑıми":131909,"ĠкоÑĢобка":131910,"ĠкоÑĢобкÑĥ":131911,"ĠкоÑĢолей":131912,"ĠкÑĢаÑģкой":131913,"ĠкÑĢаÑģоÑĤе":131914,"ĠкÑĢаÑħмал":131915,"ĠкÑĢÑĥглÑĭе":131916,"ĠкÑĢÑĥглÑĭй":131917,"ĠкÑĢÑĥпнÑĥÑİ":131918,"ĠкÑĢÑĭмÑģко":131919,"ĠкÑĥлÑĮÑĤив":131920,"ĠлампоÑĩк":131921,"ĠлаÑģково":131922,"Ġлегенде":131923,"ĠлегиÑĤим":131924,"Ġлегкого":131925,"ĠлеÑĤопиÑģ":131926,"ĠлиÑĤÑĥÑĢги":131927,"ĠлиÑĪилÑģÑı":131928,"ĠлогоÑĤип":131929,"Ġлокализ":131930,"ĠлÑİбимаÑı":131931,"Ġмайонез":131932,"ĠмалÑĮÑĩиÑĪ":131933,"ĠмаÑĢаÑĦон":131934,"ĠмаÑĤÑĢиÑĨÑĭ":131935,"ĠмаÑĪинаÑħ":131936,"ĠмедведÑĮ":131937,"ĠмедведÑı":131938,"ĠмеÑĢÑĤвеÑĨ":131939,"ĠмеÑģÑĤное":131940,"ĠминомÑijÑĤ":131941,"ĠминÑĥÑģов":131942,"ĠмиÑĢовÑĭм":131943,"ĠмладÑĪиÑħ":131944,"ĠмоделÑĮÑİ":131945,"ĠмодÑĥлей":131946,"ĠмонаÑħов":131947,"ĠмоÑīного":131948,"ĠмÑĥжÑģкиÑħ":131949,"ĠмÑĭÑĪеÑĩно":131950,"ĠнабоÑĢом":131951,"Ġнаедине":131952,"ĠназÑĭваÑı":131953,"ĠнайдеÑĤе":131954,"ĠнапиÑĤка":131955,"ĠнапиÑĤки":131956,"ĠнапиÑĤок":131957,"ĠнапÑĢÑıга":131958,"ĠнаÑĢавне":131959,"ĠнаÑĢоÑĩно":131960,"ĠнаÑĢÑĥÑĪиÑĤ":131961,"ĠнаÑĥÑĩном":131962,"ĠнаÑĪлоÑģÑĮ":131963,"ĠневеÑģÑĤа":131964,"ĠневеÑģÑĤÑĭ":131965,"Ġневинно":131966,"ĠнеÑĢвнÑĭÑħ":131967,"ĠнеÑĥжели":131968,"ĠноÑģовой":131969,"ĠноÑĩного":131970,"ĠобеÑĢега":131971,"ĠобиÑĤаеÑĤ":131972,"ĠобиÑĤаÑİÑĤ":131973,"ĠобиÑĤаÑİÑī":131974,"Ġоблаков":131975,"ĠобогаÑĤи":131976,"ĠобоÑģÑĤÑĢи":131977,"ĠобÑĢабаÑĤ":131978,"ĠобÑĢазÑĨÑĥ":131979,"ĠобÑĢемен":131980,"ĠобÑĢÑıдов":131981,"ĠобÑģÑĥдил":131982,"ĠобÑĥÑĩаÑĤÑĮ":131983,"ĠобÑĥÑĩаÑİÑī":131984,"ĠобÑīежиÑĤ":131985,"ĠобÑĬÑıÑĤиÑı":131986,"ĠобÑĭгÑĢал":131987,"ĠобÑĭÑĩнÑĥÑİ":131988,"ĠогоÑĢÑĩен":131989,"ĠожидаÑİÑĤ":131990,"ĠознаÑĩал":131991,"ĠоконÑĩен":131992,"ĠоконÑĩив":131993,"ĠокÑĢаÑģкÑĥ":131994,"ĠопаÑģной":131995,"ĠопаÑģнÑĭе":131996,"ĠопаÑģнÑĭй":131997,"ĠопеÑĢежа":131998,"ĠопиÑģано":131999,"ĠопÑĥÑħоли":132000,"ĠоÑĢганам":132001,"ĠоÑĢÑĥжейн":132002,"ĠоÑģажден":132003,"ĠоÑģвоиÑĤÑĮ":132004,"ĠоÑģложнÑı":132005,"ĠоÑģознав":132006,"ĠоÑģÑĤаÑĤок":132007,"ĠоÑĤвеÑĩаÑı":132008,"ĠоÑĤклонÑı":132009,"ĠоÑĤмеÑĤив":132010,"ĠоÑĤмеÑĤки":132011,"ĠоÑĤобÑĢал":132012,"ĠоÑĤобÑĢан":132013,"ĠоÑĤÑĢиÑĨал":132014,"ĠоÑĤÑĢÑĭвок":132015,"ĠоÑĦоÑĢмил":132016,"ĠоÑħлажда":132017,"ĠоÑħÑĢаной":132018,"ĠоÑĩиÑģÑĤки":132019,"ĠоÑīÑĥÑīаеÑĤ":132020,"ĠоÑīÑĥÑīаÑĤÑĮ":132021,"ĠпакеÑĤов":132022,"ĠпамÑıÑĤÑĮÑİ":132023,"ĠпаноÑĢам":132024,"ĠпанÑģион":132025,"ĠпаÑĢалиÑĩ":132026,"ĠпаÑĤоген":132027,"ĠпаÑĤÑĢÑĥлÑĮ":132028,"ĠпаÑĤÑĤеÑĢн":132029,"ĠпеÑĢебоÑĢ":132030,"ĠпеÑĢегон":132031,"ĠпеÑĢеÑĪло":132032,"ĠпеÑĩаÑĤно":132033,"ĠпигменÑĤ":132034,"ĠпиÑīевÑĭÑħ":132035,"ĠплаваÑİÑī":132036,"ĠплакаÑĤÑĮ":132037,"ĠплаÑĤили":132038,"Ġпленник":132039,"Ġпобедив":132040,"ĠпобÑĥдил":132041,"Ġповедал":132042,"ĠповеÑģил":132043,"Ġпогибла":132044,"ĠпоглоÑĤи":132045,"Ġподавал":132046,"Ġподделк":132047,"ĠподÑĢÑĥги":132048,"ĠподÑģозн":132049,"Ġпоездок":132050,"ĠпожаÑĢов":132051,"Ġпоздние":132052,"ĠпокажеÑĤ":132053,"Ġпокидал":132054,"ĠпокÑĢÑĭÑĤо":132055,"ĠполденÑĮ":132056,"Ġполезен":132057,"Ġполезна":132058,"ĠполеÑĤел":132059,"ĠполноÑĩÑĮ":132060,"ĠполовÑĭе":132061,"Ġположив":132062,"ĠполоÑģка":132063,"ĠполоÑģÑĤÑĮ":132064,"ĠполоÑĤно":132065,"ĠполÑĥÑĩаÑı":132066,"ĠполÑĮÑģко":132067,"ĠпопеÑĢек":132068,"ĠпополнÑı":132069,"ĠпопÑĥÑĤно":132070,"ĠпоÑĢажал":132071,"ĠпоÑĢоÑĪок":132072,"ĠпоÑĢÑıдки":132073,"ĠпоÑģелок":132074,"ĠпоÑĤолка":132075,"ĠпоÑħодов":132076,"ĠпÑĢаздно":132077,"ĠпÑĢедлог":132078,"ĠпÑĢежний":132079,"ĠпÑĢеÑĢван":132080,"ĠпÑĢиведÑĪ":132081,"ĠпÑĢидаÑİÑĤ":132082,"ĠпÑĢизнаÑİ":132083,"ĠпÑĢиклÑİÑĩ":132084,"ĠпÑĢиÑģлан":132085,"ĠпÑĢобива":132086,"ĠпÑĢодаÑİÑĤ":132087,"ĠпÑĢодлил":132088,"ĠпÑĢожиÑĤÑĮ":132089,"ĠпÑĢозаик":132090,"ĠпÑĢозван":132091,"ĠпÑĢолеÑĤа":132092,"ĠпÑĢоÑģÑĤÑĥд":132093,"ĠпÑĢоÑģÑĤÑĥÑİ":132094,"ĠпÑĢоÑģÑĮбÑĭ":132095,"ĠпÑĢоÑĦилÑı":132096,"ĠпÑĢоÑĨвеÑĤ":132097,"ĠпÑĥговиÑĨ":132098,"ĠпÑĪениÑĨÑĭ":132099,"ĠÑĢабоÑĩаÑı":132100,"ĠÑĢабоÑĩÑĥÑİ":132101,"ĠÑĢабÑģÑĤва":132102,"ĠÑĢавнинÑĭ":132103,"ĠÑĢазвÑĢаÑĤ":132104,"ĠÑĢазоÑĢÑĥж":132105,"ĠÑĢазÑĢеÑĪи":132106,"ĠÑĢанение":132107,"ĠÑĢаÑģклад":132108,"ĠÑĢаÑģÑģÑĥди":132109,"ĠÑĢаÑģÑģÑĥжд":132110,"ĠÑĢегÑĢеÑģÑģ":132111,"ĠÑĢезеÑĢвÑĭ":132112,"ĠÑĢелигий":132113,"ĠÑĢелигиÑİ":132114,"ĠÑĢимÑģким":132115,"ĠÑĢиÑĤоÑĢик":132116,"ĠÑĢоÑģкоÑĪи":132117,"ĠÑĢоÑģкоÑĪÑĮ":132118,"ĠÑĢÑĭÑĨаÑĢей":132119,"ĠÑģадиÑĤÑģÑı":132120,"ĠÑģбÑĢоÑģил":132121,"ĠÑģвеÑĤлÑĭе":132122,"ĠÑģделаем":132123,"ĠÑģделаÑİÑĤ":132124,"ĠÑģедÑĮмой":132125,"ĠÑģеÑĢбÑģко":132126,"ĠÑģеÑĢвиÑģÑĭ":132127,"ĠÑģиловой":132128,"ĠÑģиловÑĭÑħ":132129,"ĠÑģилÑĮнÑĥÑİ":132130,"ĠÑģинагог":132131,"ĠÑģиониÑģÑĤ":132132,"ĠÑģкажеÑĪÑĮ":132133,"ĠÑģловаÑĢе":132134,"ĠÑģлÑĥÑĪаеÑĤ":132135,"ĠÑģнимаÑİÑĤ":132136,"ĠÑģниÑģÑħод":132137,"ĠÑģобакой":132138,"ĠÑģовÑħоза":132139,"ĠÑģоÑĤвоÑĢи":132140,"ĠÑģпаÑģаеÑĤ":132141,"ĠÑģпеÑĢеди":132142,"ĠÑģпиÑĢалÑĮ":132143,"ĠÑģпиÑģков":132144,"ĠÑģпоÑĢÑĤом":132145,"ĠÑģÑĤадиÑıÑħ":132146,"ĠÑģÑĤанков":132147,"ĠÑģÑĤаÑĢомÑĥ":132148,"ĠÑģÑĤаÑĢоÑģÑĤ":132149,"ĠÑģÑĤаÑĢÑĥÑĪк":132150,"ĠÑģÑĤаÑĢÑĪей":132151,"ĠÑģÑĤолбик":132152,"ĠÑģÑĤоÑıнки":132153,"ĠÑģÑĤÑĢадаÑĤ":132154,"ĠÑģÑĤÑĢажей":132155,"ĠÑģÑĤÑĢелок":132156,"ĠÑģÑĤÑĢогий":132157,"ĠÑģÑĤÑĢогим":132158,"ĠÑģÑĤÑĢоÑĩки":132159,"ĠÑģÑĥдоÑĢог":132160,"ĠÑģÑĥÑĦÑĦикÑģ":132161,"ĠÑģÑĩеÑĤÑĩик":132162,"ĠÑĤакÑĤика":132163,"ĠÑĤакÑĤики":132164,"ĠÑĤакÑĤикÑĥ":132165,"ĠÑĤанками":132166,"ĠÑĤвеÑĢдой":132167,"ĠÑĤвоÑĢиÑĤÑĮ":132168,"ĠÑĤекÑģÑĤаÑħ":132169,"ĠÑĤекÑģÑĤÑĥÑĢ":132170,"ĠÑĤекÑĥÑīем":132171,"ĠÑĤекÑĥÑīиÑħ":132172,"ĠÑĤелеком":132173,"ĠÑĤемноÑĤÑĭ":132174,"ĠÑĤеÑĢапев":132175,"ĠÑĤеÑĢминÑĭ":132176,"ĠÑĤолÑģÑĤÑĭм":132177,"ĠÑĤонкими":132178,"ĠÑĤоÑĩками":132179,"ĠÑĤÑĢевогÑĥ":132180,"ĠÑĤÑĢенинг":132181,"ĠÑĤÑĢиггеÑĢ":132182,"ĠÑĤÑĢоÑĤÑĥаÑĢ":132183,"ĠÑĤÑīеÑģлав":132184,"ĠÑĤÑıжелаÑı":132185,"ĠÑĤÑıжелее":132186,"ĠÑĤÑıжелÑĥÑİ":132187,"ĠÑĤÑıжÑijлой":132188,"ĠÑĤÑıнеÑĤÑģÑı":132189,"ĠÑĥбеждал":132190,"ĠÑĥбежиÑīа":132191,"ĠÑĥбиваÑİÑĤ":132192,"ĠÑĥбиÑĤого":132193,"ĠÑĥбиÑĤÑĭми":132194,"ĠÑĥважаÑĤÑĮ":132195,"ĠÑĥглÑĥблÑı":132196,"ĠÑĥдаÑĢами":132197,"ĠÑĥдаÑĢиÑĤÑĮ":132198,"ĠÑĥдаÑĢной":132199,"ĠÑĥдеÑĢжал":132200,"ĠÑĥдлинен":132201,"ĠÑĥдобнÑĭй":132202,"ĠÑĥдобнÑĭм":132203,"ĠÑĥдобÑģÑĤв":132204,"ĠÑĥдоÑģÑĤои":132205,"ĠÑĥказанÑĭ":132206,"ĠÑĥмеÑģÑĤно":132207,"ĠÑĥмиÑĢаÑĤÑĮ":132208,"ĠÑĥмиÑĢаÑİÑĤ":132209,"ĠÑĥмножен":132210,"ĠÑĥÑĢавнов":132211,"ĠÑĥÑģадÑĮбÑĭ":132212,"ĠÑĥÑģваива":132213,"ĠÑĥÑģеÑĢдно":132214,"ĠÑĥÑģлÑĭÑĪав":132215,"ĠÑĥÑģлÑĭÑĪан":132216,"ĠÑĥÑģÑĤÑĥпал":132217,"ĠÑĥÑĤомлен":132218,"ĠÑĥÑĤÑĢенни":132219,"ĠÑĥÑħодили":132220,"ĠÑĥÑĨелевÑĪ":132221,"ĠÑĥÑĩаÑģÑĤиÑİ":132222,"ĠÑĥÑĩебной":132223,"ĠÑĥÑĩебном":132224,"ĠÑĥÑĩебнÑĭй":132225,"ĠÑĥÑĩилаÑģÑĮ":132226,"ĠÑĦабÑĢике":132227,"ĠÑĦаÑĪизма":132228,"ĠÑĦедеÑĢал":132229,"ĠÑĦлагман":132230,"ĠÑĦоÑĢваÑĢд":132231,"ĠÑĦоÑĢмиÑĢÑĥ":132232,"ĠÑĦоÑĢмÑĥлÑĥ":132233,"ĠÑĦÑİзелÑıж":132234,"ĠÑħвоÑģÑĤов":132235,"ĠÑĨвеÑĤков":132236,"ĠÑĨелевой":132237,"ĠÑĨепоÑĩки":132238,"ĠÑĩаÑģÑĤном":132239,"ĠÑĩаÑģÑĤнÑĭй":132240,"ĠÑĩелÑİÑģÑĤи":132241,"ĠÑĩеÑĢнÑĭми":132242,"ĠÑĩиÑģÑĤоÑĤÑĭ":132243,"ĠÑĩÑĥвÑģÑĤвÑĥ":132244,"ĠÑĪпионаж":132245,"ĠÑįкологи":132246,"ĠÑįлеганÑĤ":132247,"ĠÑįмбÑĢион":132248,"ĠÑįÑģкадÑĢи":132249,"ĠÑİниоÑĢов":132250,"ĠÑıвиÑĤÑĮÑģÑı":132251,"ĠÑıзÑĭками":132252,"ĠÑıÑĢоÑģÑĤно":132253,"ÐIJмеÑĢикан":132254,"ÐijалÑĤийÑģк":132255,"ÐĴÑģпомина":132256,"Ðķвангели":132257,"ÐļоÑĢÑģаков":132258,"ÐĽÐ¸Ð²ÐµÑĢпÑĥл":132259,"ÐŀÑģвобожд":132260,"ÐŁÐ°ÑĢÑĤизан":132261,"ÐŁÐ¾Ð´Ð¾Ð»ÑĮÑģк":132262,"ÐŁÑĢоÑĤокол":132263,"СовÑĢемен":132264,"СÑĩаÑģÑĤлив":132265,"алиÑģÑĤиÑĩе":132266,"аÑĨионнÑĥÑİ":132267,"аÑĨионнÑĭм":132268,"безобидн":132269,"боÑģоблен":132270,"бÑĥддийÑģк":132271,"веÑĢоÑıÑĤно":132272,"веÑĢоÑıÑĤнÑĭ":132273,"водилаÑģÑĮ":132274,"водиÑĤелÑĮ":132275,"вооÑĢÑĥжен":132276,"вÑģпомним":132277,"диÑĢекÑĤоÑĢ":132278,"докÑĥменÑĤ":132279,"доподобн":132280,"доÑħновен":132281,"елÑĮников":132282,"инÑĤеÑĢнаÑĤ":132283,"иÑĢÑĥемого":132284,"иÑĦикаÑĨиÑİ":132285,"иÑĩноÑģÑĤÑĮÑİ":132286,"казаннÑĭе":132287,"казÑĭваем":132288,"калибеÑĢн":132289,"киваÑİÑĤÑģÑı":132290,"кладÑĭваÑı":132291,"коммÑĥник":132292,"конÑĤÑĢолÑĮ":132293,"конÑĦигÑĥÑĢ":132294,"коÑĢейÑģки":132295,"коÑĢейÑģко":132296,"ложеннÑĭй":132297,"маÑĤиÑĩеÑģк":132298,"менеджеÑĢ":132299,"менÑıлоÑģÑĮ":132300,"милоÑģÑĤив":132301,"мÑĭÑģленнÑĭ":132302,"обÑĢазнÑĭй":132303,"ованного":132304,"оваÑĤелÑĮн":132305,"оводÑģÑĤво":132306,"одоÑħозÑıй":132307,"оммÑĥниÑģÑĤ":132308,"омÑĭÑĪленн":132309,"онимание":132310,"оÑģловаÑĨк":132311,"оÑģÑĤоÑĢожн":132312,"падаÑİÑīиÑħ":132313,"паÑĢаллел":132314,"подÑĢазÑĥм":132315,"пÑĢавлÑıем":132316,"пÑĢиÑĢодно":132317,"ÑĢабоÑĤаеÑĤ":132318,"ÑĢазделÑĮн":132319,"ÑĢедиенÑĤÑĭ":132320,"ÑĢиÑģовÑĭва":132321,"ÑĢÑĥÑģÑģкого":132322,"ÑģеÑĢебÑĢÑıн":132323,"ÑģлÑĥÑĪайÑĤе":132324,"Ñģоединен":132325,"Ñģпокаива":132326,"ÑģÑĤвенник":132327,"ÑģÑĩаÑģÑĤлив":132328,"ÑĤелÑĮниÑĨа":132329,"ÑĤолкнÑĥÑĤÑĮ":132330,"ÑĤÑıгиваÑĤÑĮ":132331,"ÑĤÑıгиваÑİÑĤ":132332,"ÑĤÑıнÑĥлаÑģÑĮ":132333,"ÑħодивÑĪие":132334,"ÑħодивÑĪиÑħ":132335,"ÑĩиÑģление":132336,"ÑįлекÑĤÑĢик":132337,"ĠAlexandr":132338,"Hungarian":132339,"plication":132340,"sponsored":132341,"ĠÐIJвгÑĥÑģÑĤин":132342,"ĠÐIJнаÑĤолиÑı":132343,"ĠÐIJндеÑĢÑģон":132344,"ĠÐIJÑĢбиÑĤÑĢаж":132345,"ĠÐijогданов":132346,"ĠÐijогоÑģлов":132347,"ĠÐijÑĢÑİÑģÑģеле":132348,"ĠÐĴнезапно":132349,"ĠÐĴоÑĢонÑĨов":132350,"ĠÐĴÑĢеменно":132351,"ĠÐĴÑģпомним":132352,"ĠÐĵенÑĪÑĤаба":132353,"ĠÐĵоÑģÑĥдаÑĢÑĮ":132354,"ĠÐĶалÑĮнего":132355,"ĠÐĶемокÑĢаÑĤ":132356,"ĠÐĶжованни":132357,"ĠÐĶолгоÑĢÑĥк":132358,"ĠÐĶонбаÑģÑģа":132359,"ĠÐĶонбаÑģÑģе":132360,"ĠÐĶонÑģкого":132361,"ĠÐĶÑĢевнего":132362,"ĠÐķлизавеÑĤ":132363,"ĠÐĹакавказ":132364,"ĠÐĹанимаеÑĤ":132365,"ĠÐĹападнаÑı":132366,"ĠÐĹападнÑĭй":132367,"ĠÐĹдÑĢавÑģÑĤв":132368,"ĠÐĹиновÑĮев":132369,"ĠÐĹнаÑĩение":132370,"ĠÐĺзвеÑģÑĤен":132371,"ĠÐĺзÑĥÑĩение":132372,"ĠÐļандидаÑĤ":132373,"ĠÐļаÑĢамзин":132374,"ĠÐļембÑĢидж":132375,"ĠÐļиÑĢгизии":132376,"ĠÐļомиÑģÑģиÑı":132377,"ĠÐļомплекÑģ":132378,"ĠÐļонвенÑĨи":132379,"ĠÐļонÑĤÑĢолÑĮ":132380,"ĠÐĽÐµÐ¾Ð¿Ð¾Ð»ÑĮд":132381,"ĠÐĽÐ¸Ð½ÐºÐ¾Ð»ÑĮн":132382,"ĠÐľÐ°ÐºÑģимов":132383,"ĠÐľÐ°ÑĢгаÑĢеÑĤ":132384,"ĠÐľÐ¾Ð½Ð°ÑģÑĤÑĭÑĢ":132385,"ĠÐĿаÑħодÑıÑģÑĮ":132386,"ĠÐĿиколаем":132387,"ĠÐŀÑģÑĤаеÑĤÑģÑı":132388,"ĠÐŀÑĤделÑĮно":132389,"ĠÐŀÑĤкÑĢÑĭÑĤие":132390,"ĠÐŁÐµÐ½Ð·ÐµÐ½Ñģк":132391,"ĠÐŁÐµÑĤÑĢовна":132392,"ĠÐŁÐ¸ÑģаÑĤелÑĮ":132393,"ĠÐŁÐ»Ð°ÑĤонов":132394,"ĠÐŁÐ¾Ð´ÑĢобно":132395,"ĠÐŁÐ¾Ð¼Ð¾Ð³Ð¸ÑĤе":132396,"ĠÐŁÐ¾ÑģÑĤÑĢоен":132397,"ĠÐłÐ°Ð·Ð³Ð¾Ð²Ð¾ÑĢ":132398,"ĠÐłÐµÐ¶Ð¸ÑģÑģеÑĢ":132399,"ĠСалÑĤÑĭков":132400,"ĠСевеÑĢнÑĥÑİ":132401,"ĠСловакии":132402,"ĠСобÑĢаниÑı":132403,"ĠСÑĤалинÑĭм":132404,"ĠСÑĤандаÑĢÑĤ":132405,"ĠСÑĤолÑĭпин":132406,"ĠСÑĤÑĢаниÑĨа":132407,"ĠСÑĥлейман":132408,"ĠТаганÑĢог":132409,"ĠТоболÑĮÑģк":132410,"ĠТÑĢеÑĤÑĮего":132411,"ĠУголовно":132412,"ĠФÑĢанклин":132413,"ĠФÑĥÑĤболÑĮн":132414,"ĠХоÑĢваÑĤии":132415,"ĠХоÑĤелоÑģÑĮ":132416,"ĠÐ¥ÑĢиÑģÑĤова":132417,"ĠЧеÑĢномоÑĢ":132418,"ĠабоÑĢиген":132419,"ĠакваÑĢиÑĥм":132420,"ĠаллегоÑĢи":132421,"ĠалÑĮманаÑħ":132422,"Ġаналогов":132423,"ĠанаÑĢÑħиÑģÑĤ":132424,"ĠанÑģамблÑı":132425,"ĠанÑĤиÑĩной":132426,"ĠаÑģпекÑĤов":132427,"ĠаÑĤлеÑĤике":132428,"ĠбакалавÑĢ":132429,"ĠбакÑĤеÑĢии":132430,"ĠбезÑĢабоÑĤ":132431,"ĠбезÑĭмÑıнн":132432,"ĠбеÑĢлинÑģк":132433,"ĠбеÑģÑģÑĤÑĢаÑĪ":132434,"Ġближнего":132435,"Ġблизкими":132436,"ĠбогаÑĤейÑĪ":132437,"ĠбогаÑĤого":132438,"ĠбогоÑģлÑĥж":132439,"ĠболезнÑıм":132440,"ĠболÑĮниÑĩн":132441,"ĠбоÑĢолиÑģÑĮ":132442,"ĠбÑĢигадиÑĢ":132443,"ĠвеÑĢмаÑħÑĤа":132444,"Ġвзаимной":132445,"ĠвздоÑħнÑĥл":132446,"ĠвиноваÑĤÑĭ":132447,"ĠвиÑĤамина":132448,"ĠвлагалиÑī":132449,"ĠвнеÑĪнемÑĥ":132450,"ĠвозбÑĥдил":132451,"ĠвозведÑijн":132452,"ĠвозÑĢажал":132453,"ĠвозÑĢазил":132454,"ĠвозÑĢаÑģÑĤÑĥ":132455,"ĠвозÑĢоÑģла":132456,"ĠвоинÑģкиÑħ":132457,"ĠволÑĪебно":132458,"ĠвÑģемогÑĥÑī":132459,"ĠвÑģпÑĭÑħива":132460,"ĠвÑģÑĤÑĢеÑĤиÑĤ":132461,"ĠвÑģÑĤÑĢеÑĩаÑħ":132462,"ĠвÑģÑĤÑĢеÑĩен":132463,"ĠвÑĭбÑĢоÑģил":132464,"ĠвÑĭбÑĢоÑĪен":132465,"ĠвÑĭводиÑĤÑĮ":132466,"ĠвÑĭдаваÑĤÑĮ":132467,"ĠвÑĭделÑıÑĤÑĮ":132468,"ĠвÑĭздоÑĢов":132469,"ĠвÑĭзÑĭваем":132470,"ĠвÑĭзÑĭвало":132471,"ĠвÑĭложиÑĤÑĮ":132472,"ĠвÑĭпадаеÑĤ":132473,"ĠвÑĭполнÑıÑı":132474,"ĠвÑĭÑĢажаÑİÑĤ":132475,"ĠвÑĭÑģкоÑĩил":132476,"ĠвÑĭÑģÑĤавил":132477,"ĠгекÑĤаÑĢов":132478,"Ġгеологии":132479,"ĠгеополиÑĤ":132480,"ĠгипоÑĤезÑĥ":132481,"ĠглавномÑĥ":132482,"ĠглÑĥбиной":132483,"ĠглÑĥбокаÑı":132484,"ĠглÑĥбокÑĥÑİ":132485,"ĠглÑĥпоÑģÑĤи":132486,"ĠглÑĥпоÑģÑĤÑĮ":132487,"ĠговоÑĢиÑĪÑĮ":132488,"Ġголовами":132489,"ĠгоÑĢдоÑģÑĤи":132490,"ĠгоÑĤовили":132491,"ĠгÑĢамоÑĤно":132492,"ĠгÑĢаниÑĩиÑĤ":132493,"ĠгÑĥбеÑĢниÑı":132494,"ĠгÑĥманизм":132495,"ĠдавноÑģÑĤи":132496,"ĠдвижÑĥÑĤÑģÑı":132497,"ĠдезеÑĢÑĤиÑĢ":132498,"ĠделалоÑģÑĮ":132499,"ĠделиÑĤÑĮÑģÑı":132500,"Ġденежной":132501,"ĠдеÑĢжалÑģÑı":132502,"ĠдеÑĤекÑĤоÑĢ":132503,"Ġдивизией":132504,"Ġдинамики":132505,"ĠдоблеÑģÑĤÑĮ":132506,"ĠдобÑĢалÑģÑı":132507,"ĠдобÑĢожел":132508,"ĠдобÑĢоÑģов":132509,"Ġдоказано":132510,"ĠдоказÑĭва":132511,"ĠдокÑĤÑĢинÑĭ":132512,"ĠдомаÑĪнем":132513,"ĠдомаÑĪние":132514,"ĠдомаÑĪний":132515,"ĠдомаÑĪним":132516,"ĠдопÑĥÑģкал":132517,"ĠдоÑģÑĤавил":132518,"ĠдÑĥÑħовнаÑı":132519,"ĠдÑĥÑĪевной":132520,"ĠединÑģÑĤве":132521,"ĠжеÑģÑĤоким":132522,"ĠзабÑĭваеÑĤ":132523,"ĠзагÑĢÑĥжен":132524,"ĠзадаÑĩами":132525,"ĠзадеÑĢжал":132526,"ĠзадеÑĢжки":132527,"ĠзакÑĢепил":132528,"ĠзакÑĢÑĭвал":132529,"Ġзаменили":132530,"ĠзамеÑĩаÑĤÑĮ":132531,"ĠзападнÑĭй":132532,"ĠзаÑĢабоÑĤк":132533,"ĠзаÑĤÑĢонÑĥÑĤ":132534,"ĠзвÑĥковой":132535,"ĠзвÑĥÑĩание":132536,"ĠздоÑĢовÑĭм":132537,"ĠздоÑĢовÑĭÑħ":132538,"Ġзеленого":132539,"ĠзнаÑĩениÑİ":132540,"ĠзнаÑĩимÑĭÑħ":132541,"ĠзолоÑĤÑĭми":132542,"ĠзÑĢелоÑģÑĤи":132543,"ĠзÑĢиÑĤелÑıм":132544,"ĠизбÑĢаниÑı":132545,"ĠизвеÑģÑĤиÑı":132546,"ĠизвÑĢаÑīен":132547,"Ġиздалека":132548,"ĠизданиÑıÑħ":132549,"ĠиздеÑĢжки":132550,"ĠизменÑıеÑĤ":132551,"ĠиндÑĥÑģÑĤÑĢи":132552,"ĠинÑģÑĤанÑĨи":132553,"ĠинÑĦлÑıÑĨии":132554,"ĠиÑģпоÑĢÑĩен":132555,"Ġкаменной":132556,"ĠкаменнÑĭй":132557,"ĠкаÑĢÑĤинкÑĥ":132558,"ĠкаÑĢÑĤоÑĩки":132559,"ĠкаÑģаÑİÑĤÑģÑı":132560,"ĠкаÑģÑĤÑĢÑİлÑİ":132561,"ĠкаÑĩеÑģÑĤвÑĥ":132562,"ĠкваÑĢÑĤала":132563,"ĠкиÑĤайÑĨев":132564,"ĠкиÑĪеÑĩник":132565,"ĠклиенÑĤам":132566,"ĠклÑİÑĩевой":132567,"ĠклÑİÑĩевÑĭм":132568,"ĠкнÑıжеÑģÑĤв":132569,"Ġкомпонов":132570,"ĠконвейеÑĢ":132571,"ĠконÑĤÑĢоле":132572,"ĠконÑĤÑĢолÑİ":132573,"ĠкоÑĢеннÑĭÑħ":132574,"ĠкоÑĢоÑĤкаÑı":132575,"ĠкÑĢаÑģивÑĭÑħ":132576,"ĠкÑĢаÑģнÑĭми":132577,"ĠкÑĢиÑĤеÑĢий":132578,"ĠкÑĢиÑĤикой":132579,"ĠкÑĢокодил":132580,"ĠкÑĢÑĥÑĪение":132581,"ĠкÑĢÑĭлÑĮÑıми":132582,"Ġледников":132583,"ĠлеÑģÑĤниÑĨа":132584,"ĠлинейнÑĭÑħ":132585,"ĠлиÑģÑĤÑĮÑıми":132586,"ĠмаÑĢÑĪÑĢÑĥÑĤÑĭ":132587,"ĠмаÑģÑģовом":132588,"ĠмаÑģÑģовÑĭм":132589,"ĠмаÑĪиниÑģÑĤ":132590,"ĠмедиÑĨина":132591,"ĠмедÑģеÑģÑĤÑĢ":132592,"ĠмелÑĮÑĩайÑĪ":132593,"ĠмеÑĢидиан":132594,"ĠмеÑģÑĤномÑĥ":132595,"ĠмигÑĢаÑĨии":132596,"ĠмолиÑĤÑĮÑģÑı":132597,"ĠмолодомÑĥ":132598,"ĠмÑĥжеÑģÑĤва":132599,"ĠнаблÑİдаÑı":132600,"ĠнавÑıзÑĩив":132601,"ĠнагÑĢажда":132602,"ĠнадееÑĤÑģÑı":132603,"Ġнадеждой":132604,"ĠнадлежиÑĤ":132605,"Ġназвании":132606,"ĠназваниÑİ":132607,"ĠназемнÑĭÑħ":132608,"ĠнайдеÑĤÑģÑı":132609,"Ġналажива":132610,"Ġналогооб":132611,"ĠнапиÑĤков":132612,"ĠнаÑĢодном":132613,"ĠнаÑĢÑĥÑĪиÑĤÑĮ":132614,"ĠнаÑģквозÑĮ":132615,"ĠнаÑģÑĤолÑĮн":132616,"ĠнаÑĩинаем":132617,"ĠнебеÑģнÑĭÑħ":132618,"ĠнебÑĢежно":132619,"Ġневедомо":132620,"ĠневеÑĢоÑıÑĤ":132621,"Ġневиданн":132622,"Ġневиновн":132623,"Ġнезамедл":132624,"Ġнеизменн":132625,"ĠнеÑģпоÑģоб":132626,"ĠнеÑĦÑĤÑıной":132627,"Ġнизменно":132628,"ĠниÑĩÑĤожно":132629,"ĠниÑĩÑĤожнÑĭ":132630,"ĠновÑĪеÑģÑĤв":132631,"ĠноÑģиÑĤели":132632,"ĠнÑĢавÑıÑĤÑģÑı":132633,"ĠнÑĭнеÑĪний":132634,"Ġобвинили":132635,"Ġобладали":132636,"ĠоблаÑģÑĤÑĮÑİ":132637,"ĠобманÑĥÑĤÑĮ":132638,"ĠобозÑĢева":132639,"ĠоболоÑĩка":132640,"ĠобоÑĢонно":132641,"ĠобоÑĪлоÑģÑĮ":132642,"ĠобÑĢазÑĨом":132643,"ĠобÑĢаÑĤили":132644,"ĠобÑĢаÑĤнÑĥÑİ":132645,"ĠобÑĢаÑĤнÑĭй":132646,"ĠобÑĢеÑĤаеÑĤ":132647,"ĠобÑĥÑĩалÑģÑı":132648,"ĠобÑĥÑĩении":132649,"ĠобÑĪиÑĢнÑĭе":132650,"ĠобÑīноÑģÑĤи":132651,"ĠобÑīноÑģÑĤÑĮ":132652,"ĠобÑĬедини":132653,"ĠогÑĢажден":132654,"Ġоживленн":132655,"Ġожидание":132656,"ĠозвÑĥÑĩива":132657,"ĠокажÑĥÑĤÑģÑı":132658,"ĠоканÑĩива":132659,"ĠокÑĢаÑĪива":132660,"ĠопиÑģаниÑİ":132661,"ĠопÑĤимизм":132662,"ĠопÑĥÑģÑĤиÑĤÑĮ":132663,"ĠопÑĭÑĤного":132664,"ĠоÑĢÑĥдиÑıми":132665,"ĠоÑģвоение":132666,"ĠоÑģкоÑĢблÑı":132667,"ĠоÑģмоÑĤÑĢел":132668,"ĠоÑģознаеÑĤ":132669,"ĠоÑģÑĤÑĢоÑĥмн":132670,"ĠоÑĤвеÑĤÑĩик":132671,"ĠоÑĤделиÑĤÑĮ":132672,"ĠоÑĤклонил":132673,"ĠоÑĤкÑĢÑĭÑĤÑĥÑİ":132674,"ĠоÑĤлиÑĩаеÑĤ":132675,"ĠоÑĤлиÑĩнÑĭм":132676,"ĠоÑĤоÑĢваÑĤÑĮ":132677,"ĠоÑĤпеÑĩаÑĤк":132678,"ĠоÑĤпÑĢавки":132679,"ĠоÑĤÑĢазиÑĤÑĮ":132680,"ĠоÑĤÑĢаÑģлев":132681,"ĠоÑĤÑĢиÑĨаеÑĤ":132682,"ĠоÑĤÑĢиÑĨаÑĤÑĮ":132683,"ĠоÑĤÑģÑĤавки":132684,"ĠоÑĤÑĩаÑıниÑı":132685,"ĠоÑĦиÑĨианÑĤ":132686,"ĠоÑĩаÑĢован":132687,"ĠоÑĩевидна":132688,"ĠпалеÑģÑĤин":132689,"ĠпеÑĢедано":132690,"ĠпеÑĢедаÑİÑĤ":132691,"ĠпеÑĢеднем":132692,"ĠпеÑĢеÑģказ":132693,"ĠпеÑĢимеÑĤÑĢ":132694,"ĠпеÑĢпенди":132695,"ĠпланÑĤаÑĨи":132696,"ĠпогибаеÑĤ":132697,"ĠпоговоÑĢк":132698,"ĠподбоÑĢод":132699,"Ġподнимал":132700,"ĠподножиÑı":132701,"ĠподобнÑĥÑİ":132702,"ĠподобÑĢал":132703,"ĠподобÑĢан":132704,"ĠподойдеÑĤ":132705,"ĠподопеÑĩн":132706,"ĠподпиÑģав":132707,"ĠподпиÑģÑĮÑİ":132708,"ĠподÑĩеÑĢкн":132709,"ĠподÑĩинил":132710,"ĠподÑĩинÑijн":132711,"Ġпоединок":132712,"ĠпозволÑıÑı":132713,"ĠпозиÑĨиÑıÑħ":132714,"ĠпоигÑĢаÑĤÑĮ":132715,"Ġпокойник":132716,"ĠпоконÑĩил":132717,"ĠпокÑĥпаеÑĤ":132718,"ĠполноÑĨен":132719,"Ġположили":132720,"ĠполÑĥÑĩено":132721,"ĠполÑĮÑģкие":132722,"ĠполÑĮÑģким":132723,"ĠпомеÑģÑĤÑĮе":132724,"ĠпомеÑģÑĤÑĮÑı":132725,"ĠпонÑıÑĤием":132726,"ĠпоÑĢÑıдков":132727,"ĠпоÑģадили":132728,"ĠпоÑģадиÑĤÑĮ":132729,"ĠпоÑģкоÑĢее":132730,"ĠпоÑģланиÑı":132731,"ĠпоÑģÑĤавив":132732,"ĠпоÑģÑĤÑĢоек":132733,"ĠпоÑģÑĤÑĥлаÑĤ":132734,"ĠпоÑģÑĭлаÑĤÑĮ":132735,"ĠпоÑĤÑĢаÑĩен":132736,"ĠпÑĢавдиво":132737,"ĠпÑĢавÑıÑīей":132738,"ĠпÑĢебÑĭвал":132739,"ĠпÑĢеданиÑİ":132740,"ĠпÑĢедвеÑīа":132741,"ĠпÑĢеделов":132742,"ĠпÑĢибÑĭÑĤии":132743,"ĠпÑĢизнанÑĭ":132744,"ĠпÑĢилеÑĤел":132745,"ĠпÑĢинÑıÑĤÑĭÑħ":132746,"ĠпÑĢиобÑĢÑijл":132747,"ĠпÑĢиÑģÑĤани":132748,"ĠпÑĢиÑħожан":132749,"ĠпÑĢиÑĩинаÑħ":132750,"ĠпÑĢиÑıÑĤелÑı":132751,"ĠпÑĢиÑıÑĤнÑĭм":132752,"ĠпÑĢобÑĥжда":132753,"ĠпÑĢовеÑĢил":132754,"ĠпÑĢовеÑĢÑıл":132755,"ĠпÑĢодавеÑĨ":132756,"ĠпÑĢодавÑĨа":132757,"ĠпÑĢоделал":132758,"ĠпÑĢоделан":132759,"ĠпÑĢоигÑĢав":132760,"ĠпÑĢоложен":132761,"ĠпÑĢопÑĥÑīен":132762,"ĠпÑĢоÑĤивоп":132763,"ĠпÑģиÑħопаÑĤ":132764,"ĠÑĢабоÑĩими":132765,"ĠÑĢазведке":132766,"ĠÑĢазведÑĭв":132767,"ĠÑĢазвиÑĤой":132768,"ĠÑĢазделÑijн":132769,"ĠÑĢазлиÑĩнÑĭ":132770,"ĠÑĢазобÑĢан":132771,"ĠÑĢазоÑĢвал":132772,"ĠÑĢазÑĬÑıÑģнÑı":132773,"ĠÑĢаÑģкопки":132774,"ĠÑĢаÑģпÑĢода":132775,"ĠÑĢаÑģпÑĥÑīен":132776,"ĠÑĢаÑģÑģвеÑĤе":132777,"ĠÑĢаÑģÑģеива":132778,"ĠÑĢеакÑĨией":132779,"ĠÑĢеализма":132780,"ĠÑĢегÑĥлÑıÑĨи":132781,"ĠÑĢедакÑĨиÑİ":132782,"ĠÑĢелигией":132783,"ĠÑĢепоÑĢÑĤаж":132784,"ĠÑĢеÑĨензии":132785,"ĠÑĢиÑģÑĥнков":132786,"ĠÑģвеÑĢгнÑĥÑĤ":132787,"ĠÑģвеÑĤовÑĭÑħ":132788,"ĠÑģвидание":132789,"ĠÑģвободен":132790,"ĠÑģвободой":132791,"ĠÑģделайÑĤе":132792,"ĠÑģделалÑģÑı":132793,"ĠÑģелÑĮÑģким":132794,"ĠÑģемейнÑĭÑħ":132795,"ĠÑģеÑĢвеÑĢов":132796,"ĠÑģеÑĢединÑĥ":132797,"ĠÑģимпаÑĤии":132798,"ĠÑģлÑĥжение":132799,"ĠÑģлÑĥжениÑı":132800,"ĠÑģлÑĥÑĩилÑģÑı":132801,"ĠÑģмелоÑģÑĤÑĮ":132802,"ĠÑģмеÑıÑĤÑĮÑģÑı":132803,"ĠÑģобиÑĢали":132804,"ĠÑģобиÑĢаÑİÑĤ":132805,"ĠÑģобÑĢалÑģÑı":132806,"ĠÑģобÑĢаний":132807,"ĠÑģолдаÑĤам":132808,"ĠÑģолнеÑĩно":132809,"ĠÑģомнениÑİ":132810,"ĠÑģооÑĤноÑģи":132811,"ĠÑģоÑģедÑıми":132812,"ĠÑģоÑģловиÑı":132813,"ĠÑģоÑħÑĢанÑıÑı":132814,"ĠÑģпаÑģÑĤиÑģÑĮ":132815,"ĠÑģплоÑĪной":132816,"ĠÑģÑĢажалÑģÑı":132817,"ĠÑģÑģÑĭлаÑıÑģÑĮ":132818,"ĠÑģÑĤанÑĨией":132819,"ĠÑģÑĤаÑĢаниÑı":132820,"ĠÑģÑĤепеней":132821,"ĠÑģÑĤолеÑĤии":132822,"ĠÑģÑĤоловÑĭе":132823,"ĠÑģÑĤоÑĢожев":132824,"ĠÑģÑĤÑĢадаÑĤÑĮ":132825,"ĠÑģÑĤÑĢаÑģÑĤей":132826,"ĠÑģÑĤÑĢаÑĪнаÑı":132827,"ĠÑģÑĤÑĢаÑĪной":132828,"ĠÑģÑĤÑĢаÑĪнÑĭе":132829,"ĠÑģÑĤÑĢаÑĪнÑĭм":132830,"ĠÑģÑĤÑĥпенÑĮк":132831,"ĠÑģÑĥдебнÑĭе":132832,"ĠÑģÑħодÑģÑĤва":132833,"ĠÑģÑĨенаÑĢиÑİ":132834,"ĠÑĤанковÑĭе":132835,"ĠÑĤвоÑĢение":132836,"ĠÑĤеÑĢминаÑħ":132837,"ĠÑĤипиÑĩнÑĭй":132838,"ĠÑĤопогÑĢаÑĦ":132839,"ĠÑĤоÑĢговÑĭм":132840,"ĠÑĤÑĢадиÑĨиÑİ":132841,"ĠÑĤÑĢанÑģÑĦеÑĢ":132842,"ĠÑĤÑĢеÑħмеÑĢн":132843,"ĠÑĤÑĢоÑģÑĤник":132844,"ĠÑĤÑĥловиÑīа":132845,"ĠÑĤÑĥÑĢниÑĢаÑħ":132846,"ĠÑĤÑĥÑĢниÑĢов":132847,"ĠÑĥбедилÑģÑı":132848,"ĠÑĥдивилÑģÑı":132849,"ĠÑĥказаний":132850,"ĠÑĥказаниÑİ":132851,"ĠÑĥказÑĭваÑı":132852,"ĠÑĥкладÑĭва":132853,"ĠÑĥлÑĥÑĩÑĪаеÑĤ":132854,"ĠÑĥпоÑĢÑģÑĤво":132855,"ĠÑĥÑģкоÑĢиÑĤÑĮ":132856,"ĠÑĥÑģпеваеÑĤ":132857,"ĠÑĥÑģпеÑĪнÑĭÑħ":132858,"ĠÑĥÑģÑĤÑĢаива":132859,"ĠÑĥÑģÑĤÑĢемлÑı":132860,"ĠÑĥÑģÑĤÑĥпаеÑĤ":132861,"ĠÑĥÑģÑĤÑĥпиÑĤÑĮ":132862,"ĠÑĥÑģÑĥгÑĥблÑı":132863,"ĠÑĥÑĤоÑĩниÑĤÑĮ":132864,"ĠÑĥÑĩаÑģÑĤвÑĥÑİ":132865,"ĠÑĦаÑĪиÑģÑĤов":132866,"ĠÑĦелÑĮдÑĪеÑĢ":132867,"ĠÑĦлоÑĤилии":132868,"ĠÑĦÑİзелÑıжа":132869,"ĠÑħиÑĢÑĥÑĢгии":132870,"ĠÑħиÑĤÑĢоÑģÑĤÑĮ":132871,"ĠÑħозÑıином":132872,"ĠÑĨаÑĢÑģкого":132873,"ĠÑĨелоÑģÑĤно":132874,"ĠÑĨиÑĦÑĢовÑĭÑħ":132875,"ĠÑĩаÑģÑĤоÑĤой":132876,"ĠÑĩÑĥвÑģÑĤвÑĥÑı":132877,"ĠÑĪампанÑģк":132878,"ĠÑĪведÑģкий":132879,"ĠÑĪколÑĮной":132880,"ĠÑĪколÑĮнÑĭÑħ":132881,"ĠÑįволÑİÑĨиÑı":132882,"ĠÑįкипажей":132883,"ĠÑįкологии":132884,"ĠÑįлаÑģÑĤиÑĩн":132885,"ĠÑįÑģÑĤаÑĦеÑĤе":132886,"ĠÑįÑĦÑĦекÑĤов":132887,"ĠÑıвлÑıÑĤÑĮÑģÑı":132888,"ĠÑıпонÑģким":132889,"ÐIJнджелеÑģе":132890,"ÐĶвенадÑĨаÑĤ":132891,"ÐļомпÑĮÑİÑĤеÑĢ":132892,"ÐľÐµÐ´Ð¸ÑĨинÑģк":132893,"ÐŁÑĢиÑģÑĥÑĤÑģÑĤв":132894,"СовÑĢеменн":132895,"болÑĮÑĪевик":132896,"венÑĤилÑıÑĨи":132897,"вÑĭÑģÑĤавоÑĩн":132898,"вÑĮеÑĤнамÑģк":132899,"генеÑĢаÑĤоÑĢ":132900,"глобалÑĮно":132901,"двинÑĥлаÑģÑĮ":132902,"деÑĢжалаÑģÑĮ":132903,"деÑĢживаÑİÑĤ":132904,"екÑĤиÑĢован":132905,"знаваÑĤелÑĮ":132906,"илизованн":132907,"иÑĢовалоÑģÑĮ":132908,"иÑĢованном":132909,"иÑĢованнÑĥÑİ":132910,"квалиÑĦика":132911,"клониÑĤÑĮÑģÑı":132912,"компÑĮÑİÑĤеÑĢ":132913,"конкÑĥÑĢенÑĤ":132914,"конÑĩалаÑģÑĮ":132915,"кÑĢепление":132916,"лизованно":132917,"меÑĤаÑĦизик":132918,"миниÑģÑĤÑĢом":132919,"неопÑĢедел":132920,"обÑĢазован":132921,"ообÑĢазнÑĭе":132922,"ообÑĢазÑĥÑİÑī":132923,"оÑģÑĤепÑĢиим":132924,"оÑģÑĤоÑĢожно":132925,"оÑģÑĤÑĢоениÑı":132926,"паÑĢламенÑĤ":132927,"плодоÑĢодн":132928,"пÑĢавилаÑģÑĮ":132929,"пÑĢавиÑĤÑĮÑģÑı":132930,"пÑĢаÑĪиваÑĤÑĮ":132931,"пÑĢоанализ":132932,"пÑĢовоÑĨиÑĢÑĥ":132933,"пÑĥÑģкалиÑģÑĮ":132934,"ÑģеÑĢебÑĢиÑģÑĤ":132935,"ÑģÑĤойкоÑģÑĤÑĮ":132936,"ÑģÑĤоÑĢонний":132937,"ÑģÑĤÑĢоеннÑĭй":132938,"ÑģÑĤÑĥпаÑİÑīие":132939,"ÑģÑĤÑĥпаÑİÑīим":132940,"ÑģÑĥбÑģÑĤанÑĨи":132941,"ÑĤиÑĩеÑģкими":132942,"ÑĤÑĢеÑĥголÑĮн":132943,"Ñĥбликован":132944,"ÑĥÑģÑĤойÑĩиво":132945,"ÑĩÑĥвÑģÑĤвенн":132946,"ÑįнÑĤÑĥзиаÑģÑĤ":132947,"ĠÐIJбÑĢамовиÑĩ":132948,"ĠÐIJнаÑģÑĤаÑģиÑı":132949,"ĠÐIJнÑĤаÑĢкÑĤид":132950,"ĠÐijиогÑĢаÑĦиÑı":132951,"ĠÐĴозникаеÑĤ":132952,"ĠÐĴоÑģÑĤоÑĩном":132953,"ĠÐĴÑģемиÑĢной":132954,"ĠÐĵÑĢибоедов":132955,"ĠÐķвангелиÑı":132956,"ĠÐĸÑĥÑĢналиÑģÑĤ":132957,"ĠÐĺзвеÑģÑĤнÑĭй":132958,"ĠÐĺзменение":132959,"ĠÐļÑĢиÑģÑĤоÑĦеÑĢ":132960,"ĠÐĽÐ°ÑĤинÑģкой":132961,"ĠÐĽÑĥганÑģкой":132962,"ĠÐĽÑİбопÑĭÑĤно":132963,"ĠÐľÐ°ÐºÐµÐ´Ð¾Ð½Ð¸Ð¸":132964,"ĠÐľÐ°ÑĤеÑĢиалÑĭ":132965,"ĠÐľÐµÐ½Ð´ÐµÐ»ÐµÐµÐ²":132966,"ĠÐľÑĥÑģÑģолини":132967,"ĠÐĿагÑĢаждÑijн":132968,"ĠÐŀлимпиаде":132969,"ĠÐŀÑģманÑģкой":132970,"ĠÐŀÑĤделÑĮнÑĭе":132971,"ĠÐŀÑĤноÑĪениÑı":132972,"ĠÐŁÐ¾Ð´Ð¼Ð¾Ñģков":132973,"ĠÐŁÐ¾Ð»ÑĮзоваÑĤ":132974,"ĠÐŁÐ¾Ñıвление":132975,"ĠÐŁÑĢедÑģÑĤави":132976,"ĠÐŁÑĢокоÑĦÑĮев":132977,"ĠÐŁÑĢоÑĤивник":132978,"ĠÐŁÑģковÑģкой":132979,"ĠÐłÐ°Ð·Ð»Ð¸ÑĩаÑİÑĤ":132980,"ĠÐłÐ¾Ð¶Ð´ÐµÑģÑĤво":132981,"ĠÐłÑıзанÑģкой":132982,"ĠСеменовиÑĩ":132983,"ĠСигизмÑĥнд":132984,"ĠСкандинав":132985,"ĠСовеÑĤÑģкие":132986,"ĠСолнеÑĩной":132987,"ĠСоÑģÑĤоÑıние":132988,"ĠСпаÑģиÑĤелÑı":132989,"ĠСÑĤÑĢÑĥкÑĤÑĥÑĢа":132990,"ĠТимоÑĪенко":132991,"ĠТÑĢадиÑĨион":132992,"ĠТÑĢанÑģпоÑĢÑĤ":132993,"ĠТÑĢебÑĥеÑĤÑģÑı":132994,"ĠТÑĢеÑĤÑĮÑıков":132995,"ĠУлÑĮÑıновÑģк":132996,"ĠУÑĩаÑģÑĤники":132997,"ĠУÑĩÑĢедиÑĤел":132998,"ĠФлоÑĢенÑĨии":132999,"ĠФÑĢанкÑĦÑĥÑĢÑĤ":133000,"ĠÐŃйнÑĪÑĤейна":133001,"ĠавÑĤономии":133002,"ĠавÑĤономно":133003,"ĠавÑĤоÑĢÑģкиÑħ":133004,"ĠадÑĢеÑģован":133005,"ĠалгоÑĢиÑĤма":133006,"ĠаÑĢабÑģкого":133007,"ĠаÑģÑģоÑĨииÑĢÑĥ":133008,"ĠаÑĥдиÑĤоÑĢиÑİ":133009,"ĠаÑĥдиÑĤоÑĢиÑı":133010,"ĠбдиÑĤелÑĮно":133011,"ĠбеÑģедовал":133012,"ĠбеÑģпокоиÑĤ":133013,"ĠбеÑģÑģпоÑĢно":133014,"ĠбиогÑĢаÑĦиÑı":133015,"Ġблагогове":133016,"ĠблаженÑģÑĤв":133017,"ĠближайÑĪей":133018,"ĠближайÑĪий":133019,"ĠболелÑĮÑīик":133020,"ĠбÑĢонзовÑĥÑİ":133021,"ĠбÑĢонзовÑĭй":133022,"ĠбÑĢонзовÑĭм":133023,"ĠбÑĢоÑģаеÑĤÑģÑı":133024,"ĠбÑĢоÑģилиÑģÑĮ":133025,"ĠважнейÑĪие":133026,"ĠважнейÑĪим":133027,"ĠваÑĢианÑĤаÑħ":133028,"ĠведомÑģÑĤво":133029,"ĠвелиÑĩиной":133030,"ĠвеÑĢованиÑı":133031,"Ġвзаимного":133032,"ĠвидимоÑģÑĤÑĮ":133033,"ĠвнеÑĪноÑģÑĤи":133034,"ĠводиÑĤелей":133035,"ĠвоздÑĥÑĪнÑĭй":133036,"ĠвоздÑĥÑĪнÑĭм":133037,"ĠвоззÑĢениÑı":133038,"ĠвозникаÑĤÑĮ":133039,"ĠвозникнеÑĤ":133040,"ĠвозÑĢожден":133041,"ĠвÑĢеменами":133042,"ĠвÑĢеменнÑĭе":133043,"ĠвÑģпоминаÑİ":133044,"ĠвÑģÑĤÑĢеÑĩаем":133045,"ĠвÑģÑĤÑĢеÑĩали":133046,"ĠвÑĭбÑĢаÑĤÑĮÑģÑı":133047,"ĠвÑĭглÑıдели":133048,"ĠвÑĭглÑıдело":133049,"ĠвÑĭживаниÑı":133050,"ĠвÑĭполнено":133051,"ĠвÑĭполнÑıли":133052,"ĠвÑĭпÑĥÑģкаеÑĤ":133053,"ĠвÑĭÑĢабоÑĤал":133054,"ĠвÑĭÑĢабоÑĤки":133055,"ĠвÑĭÑĢавнива":133056,"ĠвÑĭÑĢажении":133057,"ĠвÑĭÑĢажений":133058,"ĠвÑĭÑĢваÑĤÑĮÑģÑı":133059,"ĠвÑĭÑģÑĤавиÑĤÑĮ":133060,"ĠвÑĭÑĤаÑģкива":133061,"ĠвÑĭÑıвление":133062,"ĠгенеÑĢаÑĨии":133063,"ĠгоÑĢдоÑģÑĤÑĮÑİ":133064,"ĠгоÑĢодÑģкаÑı":133065,"ĠгоÑģпиÑĤалÑı":133066,"ĠгоÑĤовилÑģÑı":133067,"ĠгÑĢеÑĩеÑģким":133068,"ĠгÑĢеÑĩеÑģком":133069,"ĠгÑĢÑĥпповой":133070,"ĠдаÑĤиÑĢован":133071,"ĠдвигалиÑģÑĮ":133072,"ĠделегаÑĨиÑı":133073,"ĠдеÑĢевÑĮÑıми":133074,"ĠдикÑĤаÑĤÑĥÑĢÑĭ":133075,"ĠдиÑģкÑĥÑģÑģиÑı":133076,"ĠдиÑģÑĤанÑĨиÑİ":133077,"ĠдлиÑĤелÑĮно":133078,"ĠдобÑĢалиÑģÑĮ":133079,"ĠдоказÑĭвал":133080,"ĠдопÑĥÑģкаÑĤÑĮ":133081,"ĠдоÑģÑĤигнеÑĤ":133082,"ĠдоÑģÑĤойнÑĭм":133083,"ĠдоÑģÑĤÑĥпнÑĭÑħ":133084,"ĠдÑĢевеÑģинÑĭ":133085,"ĠевÑĢейÑģкий":133086,"ĠединолиÑĩн":133087,"ĠжелÑĥдоÑĩно":133088,"ĠживопиÑģеÑĨ":133089,"ĠжизненнÑĭе":133090,"ĠзаболоÑĩен":133091,"ĠзабÑĭвайÑĤе":133092,"ĠзаглÑıнÑĥÑĤÑĮ":133093,"ĠзаклÑİÑĩаеÑĤ":133094,"ĠзанÑıÑĤоÑģÑĤи":133095,"ĠзапиÑģÑĭвал":133096,"ĠзаполниÑĤÑĮ":133097,"ĠзапомниÑĤÑĮ":133098,"ĠзапÑĢеÑĤиÑĤÑĮ":133099,"ĠзапÑĥÑģкаÑĤÑĮ":133100,"ĠзаÑĢажениÑı":133101,"ĠзаÑģеданий":133102,"ĠзаÑģÑĤÑĢелил":133103,"ĠзаÑģÑĤÑĢойки":133104,"ĠзаÑıвлений":133105,"ĠздоÑĢового":133106,"ĠздÑĢавÑģÑĤвÑĥ":133107,"ĠземелÑĮнÑĭÑħ":133108,"Ġзнакомого":133109,"ĠзнакомÑģÑĤв":133110,"ĠиденÑĤиÑĩнÑĭ":133111,"ĠидеологиÑı":133112,"Ġизбежание":133113,"ĠизвеÑģÑĤнÑĥÑİ":133114,"ĠизложениÑı":133115,"ĠизмениÑĤÑģÑı":133116,"ĠизобÑĢажÑijн":133117,"ĠизобÑĢазил":133118,"ĠимеÑİÑīиеÑģÑı":133119,"Ġинвалидов":133120,"ĠинÑĤеÑĢеÑģен":133121,"ĠинÑĤеÑĢеÑģнÑĭ":133122,"ĠиÑģпанÑģкиÑħ":133123,"ĠиÑģпанÑģкой":133124,"ĠиÑģÑģледÑĥем":133125,"ĠиÑģÑĤеÑĩении":133126,"ĠиÑģÑħодного":133127,"ĠкалендаÑĢÑĮ":133128,"Ġкаменного":133129,"ĠкаÑĢикаÑĤÑĥÑĢ":133130,"ĠкиÑĤайÑģким":133131,"ĠклиенÑĤами":133132,"ĠкнÑıжеÑģÑĤво":133133,"ĠколлекÑĤоÑĢ":133134,"ĠколлекÑĨиÑİ":133135,"Ġкомандном":133136,"ĠконкÑĥÑĢиÑĢÑĥ":133137,"ĠконÑģенÑģÑĥÑģ":133138,"ĠконÑĩаеÑĤÑģÑı":133139,"ĠкоопеÑĢаÑĨи":133140,"ĠкоÑĢаблÑıми":133141,"ĠкоÑĢоÑĤкого":133142,"ĠкоÑĢÑĢекÑĤно":133143,"ĠкоÑĢÑĢелÑıÑĨи":133144,"ĠкÑĢайноÑģÑĤи":133145,"ĠкÑĢаÑģавиÑĨа":133146,"ĠкÑĢеплениÑı":133147,"ĠкÑĢиÑĤеÑĢиев":133148,"ĠкÑĢиÑĤеÑĢиÑıм":133149,"ĠкÑĢовеноÑģн":133150,"ĠлегкоÑģÑĤÑĮÑİ":133151,"ĠлиÑĩноÑģÑĤей":133152,"ĠлиÑĩноÑģÑĤно":133153,"ĠлокомоÑĤив":133154,"ĠлÑİбопÑĭÑĤно":133155,"ĠмаленÑĮкое":133156,"ĠмедиÑĤаÑĨии":133157,"Ġмедленнее":133158,"ĠменÑĮÑĪевик":133159,"ĠмикÑĢоÑģÑħем":133160,"ĠмолодоÑģÑĤÑĮ":133161,"ĠмоÑĤиваÑĨии":133162,"ĠмÑĥжÑĩинами":133163,"ĠнавигаÑĨии":133164,"ĠнадеÑıлиÑģÑĮ":133165,"ĠназваннÑĭй":133166,"Ġналоговой":133167,"Ġнападении":133168,"ĠнапÑĢавили":133169,"ĠнаÑĩалÑĮнÑĭÑħ":133170,"Ġнедавнего":133171,"ĠнедовеÑĢие":133172,"ĠнедоÑģÑĤойн":133173,"Ġнежелание":133174,"Ġнезаменим":133175,"ĠнеминÑĥемо":133176,"Ġненавидел":133177,"ĠненавиÑģÑĤн":133178,"ĠнеÑģÑĩаÑģÑĤÑĮÑı":133179,"ĠнеÑĥдобÑģÑĤв":133180,"ĠнеÑĥклонно":133181,"ĠнидеÑĢланд":133182,"Ġобвинений":133183,"ĠобÑĢабоÑĤан":133184,"ĠобÑĢабоÑĤкÑĥ":133185,"ĠобÑĢаÑīаÑıÑģÑĮ":133186,"ĠобÑģÑĥждаеÑĤ":133187,"ĠобÑģÑĥждаÑİÑĤ":133188,"ĠобÑĬединил":133189,"ĠогÑĢаниÑĩил":133190,"ĠогÑĢомнÑĭми":133191,"ĠодноÑĢодно":133192,"ĠодобÑĢение":133193,"ĠодобÑĢениÑı":133194,"ĠопиÑĢаеÑĤÑģÑı":133195,"ĠопиÑģÑĭваÑĤÑĮ":133196,"ĠопиÑģÑĭваÑİÑĤ":133197,"ĠопиÑģÑĭваÑİÑī":133198,"ĠоппозиÑĨиÑı":133199,"ĠоÑģкоÑĢблен":133200,"ĠоÑģознанно":133201,"ĠоÑģÑĤановка":133202,"ĠоÑĤвеÑĢгаеÑĤ":133203,"ĠоÑĤделений":133204,"ĠоÑĤделÑĮном":133205,"ĠоÑĤлиÑĩилÑģÑı":133206,"ĠоÑĤложениÑı":133207,"ĠоÑĤомÑģÑĤиÑĤÑĮ":133208,"ĠоÑĤпеÑĩаÑĤок":133209,"ĠоÑĤпÑĥÑģÑĤиÑĤÑĮ":133210,"ĠоÑĤÑĢабоÑĤан":133211,"ĠоÑĤÑģÑĤÑĥпаÑĤÑĮ":133212,"ĠоÑħоÑĤников":133213,"ĠоÑĨениваеÑĤ":133214,"ĠоÑĨениваÑİÑĤ":133215,"ĠоÑĩевидÑĨев":133216,"ĠоÑĩеÑĢеднÑĥÑİ":133217,"ĠоÑĩеÑĢÑĤаниÑı":133218,"ĠпаÑĢаллели":133219,"ĠпаÑĢÑĤийнÑĭй":133220,"ĠпаÑĢÑĤнеÑĢом":133221,"ĠпаÑĤологии":133222,"ĠпеÑĢвиÑĩной":133223,"ĠпеÑĢевозок":133224,"ĠпеÑĢегÑĢÑĥзк":133225,"ĠпеÑĢедовÑĭÑħ":133226,"ĠпеÑĢемеÑīен":133227,"ĠпеÑĢеноÑģиÑĤ":133228,"ĠпеÑħоÑĤного":133229,"ĠпланиÑĢÑĥем":133230,"ĠпланиÑĢÑĥÑİÑĤ":133231,"ĠплаÑģÑĤинки":133232,"ĠплаÑĤÑĦоÑĢмÑĥ":133233,"ĠплоÑģкоÑģÑĤÑĮ":133234,"ĠпобеждаеÑĤ":133235,"ĠпогибÑĪего":133236,"ĠподвеÑĢгÑģÑı":133237,"ĠподданнÑĭÑħ":133238,"ĠподнимаÑĤÑĮ":133239,"ĠподобнÑĭми":133240,"ĠподождаÑĤÑĮ":133241,"ĠподпиÑģÑĭва":133242,"ĠподÑĢоÑģÑĤка":133243,"ĠподÑĢÑıдÑĩик":133244,"ĠподÑħодиÑĤÑĮ":133245,"ĠпожеланиÑı":133246,"ĠпозвониÑĤÑĮ":133247,"Ġпознакоми":133248,"ĠпокажеÑĤÑģÑı":133249,"ĠпоказалÑģÑı":133250,"ĠпоказÑĭваÑı":133251,"ĠпокÑĥÑĪениÑı":133252,"ĠполиÑĤолог":133253,"ĠполÑĥÑĪаÑĢиÑı":133254,"ĠпонемногÑĥ":133255,"ĠпопеÑĢеÑĩно":133256,"ĠпопÑĥлÑıÑĢна":133257,"ĠпоÑĢажений":133258,"ĠпоÑĢÑĥÑĩение":133259,"ĠпоÑĢÑĥÑĩениÑİ":133260,"ĠпоÑĢÑĥÑĩениÑı":133261,"ĠпоÑģвÑıÑĤиÑĤÑĮ":133262,"ĠпоÑģеÑīение":133263,"ĠпоÑģолÑĮÑģÑĤв":133264,"ĠпоÑģÑĤÑĢойка":133265,"ĠпоÑģÑĤÑĥпали":133266,"ĠпоÑģÑĤÑĥпило":133267,"ĠпоÑģÑĤÑĥпков":133268,"ĠпоÑĤомÑģÑĤво":133269,"ĠпоÑĤÑĢаÑĤиÑĤÑĮ":133270,"ĠпоÑĤÑĢебÑĥеÑĤ":133271,"ĠпоÑıвлÑıлÑģÑı":133272,"ĠпÑĢавового":133273,"ĠпÑĢапоÑĢÑīик":133274,"ĠпÑĢевÑĭÑĪаÑĤÑĮ":133275,"ĠпÑĢедÑģÑĤаеÑĤ":133276,"ĠпÑĢезидиÑĥм":133277,"ĠпÑĢеодолел":133278,"ĠпÑĢеодолен":133279,"ĠпÑĢеÑģловÑĥÑĤ":133280,"ĠпÑĢеÑģÑĤаÑĢел":133281,"ĠпÑĢиводило":133282,"ĠпÑĢиглаÑĪал":133283,"ĠпÑĢиглаÑĪÑijн":133284,"ĠпÑĢидÑĥмали":133285,"ĠпÑĢиезжаеÑĤ":133286,"ĠпÑĢизнании":133287,"ĠпÑĢизнаниÑİ":133288,"ĠпÑĢизÑĭваеÑĤ":133289,"ĠпÑĢиказано":133290,"ĠпÑĢикÑĢÑĭвал":133291,"ĠпÑĢикÑĢÑĭÑĤиÑı":133292,"ĠпÑĢиноÑģили":133293,"ĠпÑĢиноÑģиÑĤÑĮ":133294,"ĠпÑĢинÑĨеÑģÑģа":133295,"ĠпÑĢинÑĨипам":133296,"ĠпÑĢинÑĨипом":133297,"ĠпÑĢинÑıлиÑģÑĮ":133298,"ĠпÑĢиподнÑıÑĤ":133299,"ĠпÑĢиÑĢодной":133300,"ĠпÑĢиÑĢоднÑĭй":133301,"ĠпÑĢиÑĢоднÑĭм":133302,"ĠпÑĢиÑĥÑĢоÑĩен":133303,"ĠпÑĢоведено":133304,"ĠпÑĢовинÑĨиÑİ":133305,"ĠпÑĢодвинÑĥÑĤ":133306,"ĠпÑĢодолжиÑĤ":133307,"ĠпÑĢодÑĥкÑĤом":133308,"ĠпÑĢожекÑĤоÑĢ":133309,"ĠпÑĢоживаÑİÑĤ":133310,"ĠпÑĢоизводÑı":133311,"ĠпÑĢоизоÑĪед":133312,"ĠпÑĢоникаеÑĤ":133313,"ĠпÑĢоникнÑĥÑĤ":133314,"ĠпÑĢоповеди":133315,"ĠпÑĢоÑģнÑĥлÑģÑı":133316,"ĠпÑĢоÑĤекаÑİÑī":133317,"ĠпÑĢоÑĦеÑģÑģий":133318,"ĠпÑĢоÑĦеÑģÑģиÑı":133319,"ĠпÑĢоÑħодило":133320,"ĠпÑĢоÑĨедиÑĤÑĮ":133321,"ĠпÑĢоÑĩноÑģÑĤи":133322,"ĠпÑĢоÑĪедÑĪие":133323,"ĠпÑĢоÑĪедÑĪиÑħ":133324,"ĠпÑĢоÑıвлÑıÑİÑĤ":133325,"ĠÑĢавенÑģÑĤво":133326,"ĠÑĢазвиваеÑĤ":133327,"ĠÑĢазгÑĢомил":133328,"ĠÑĢазделенÑĭ":133329,"ĠÑĢаздÑĢажен":133330,"ĠÑĢазлиÑĩаÑİÑĤ":133331,"ĠÑĢазмеÑĢами":133332,"ĠÑĢазмеÑīенÑĭ":133333,"ĠÑĢазобÑĢаÑĤÑĮ":133334,"ĠÑĢазоÑĪлиÑģÑĮ":133335,"ĠÑĢазÑĢеÑĪено":133336,"ĠÑĢазÑĢÑĥÑĪаеÑĤ":133337,"ĠÑĢазÑĭÑģкива":133338,"ĠÑĢаÑģкаленн":133339,"ĠÑĢаÑģÑĤÑıгива":133340,"ĠÑĢаÑģÑĨенива":133341,"ĠÑĢедакÑĨией":133342,"ĠÑĢезолÑİÑĨии":133343,"ĠÑĢекламнÑĭÑħ":133344,"ĠÑĢепÑĢеÑģÑģий":133345,"ĠÑĢеÑģÑĥÑĢÑģами":133346,"ĠÑĢоманÑĤизм":133347,"ĠÑĢÑĥководиÑĤ":133348,"ĠÑĢÑĥкопиÑģей":133349,"ĠÑģанÑĤимеÑĤÑĢ":133350,"ĠÑģвеÑĤодиод":133351,"ĠÑģвободном":133352,"ĠÑģвÑıзÑĭваÑİÑī":133353,"ĠÑģделаннÑĭÑħ":133354,"ĠÑģемейного":133355,"ĠÑģеминаÑĢии":133356,"ĠÑģемÑĮдеÑģÑıÑĤ":133357,"ĠÑģеÑĢÑĮезнаÑı":133358,"ĠÑģимволизм":133359,"ĠÑģинÑĤакÑģиÑģ":133360,"ĠÑģкоплениÑı":133361,"ĠÑģледовали":133362,"ĠÑģлизиÑģÑĤой":133363,"ĠÑģложилиÑģÑĮ":133364,"ĠÑģлÑĥжебнÑĭÑħ":133365,"ĠÑģлÑĥÑĪаÑĤелÑı":133366,"ĠÑģобиÑĢаÑİÑģÑĮ":133367,"ĠÑģобÑĢаннÑĭе":133368,"ĠÑģовеÑĢÑĪали":133369,"ĠÑģовеÑĢÑĪено":133370,"ĠÑģовеÑĤÑģкÑĥÑİ":133371,"ĠÑģоздаÑĤелÑĮ":133372,"ĠÑģоздаÑĤелÑı":133373,"ĠÑģокÑĢовенн":133374,"ĠÑģолнеÑĩнÑĭй":133375,"ĠÑģопÑĢикаÑģа":133376,"ĠÑģоÑģÑĤоÑıÑīаÑı":133377,"ĠÑģоÑħÑĢанили":133378,"ĠÑģоÑħÑĢанÑıÑİÑĤ":133379,"ĠÑģпеÑĨиÑĦика":133380,"ĠÑģпокойнÑĭм":133381,"ĠÑģпонÑĤанно":133382,"ĠÑģÑĢажалиÑģÑĮ":133383,"ĠÑģÑĢажениÑıÑħ":133384,"ĠÑģÑĤоÑĢонник":133385,"ĠÑģÑĤÑĢадание":133386,"ĠÑģÑĤÑĥденÑĤом":133387,"ĠÑĤанкового":133388,"ĠÑĤенденÑĨий":133389,"ĠÑĤенденÑĨиÑİ":133390,"ĠÑĤеÑĢпеливо":133391,"ĠÑĤÑĢаекÑĤоÑĢи":133392,"ĠÑĤÑĢебовало":133393,"ĠÑĤÑĢебÑĥÑİÑĤÑģÑı":133394,"ĠÑĤÑĢÑĥдиÑĤÑĮÑģÑı":133395,"ĠÑĤÑĢÑĥдолÑİби":133396,"ĠÑĤÑĥÑĢеÑĨкого":133397,"ĠÑĥбеждений":133398,"ĠÑĥбеждениÑİ":133399,"ĠÑĥголовной":133400,"ĠÑĥголовнÑĭÑħ":133401,"ĠÑĥдеÑĢживал":133402,"ĠÑĥдивлениÑİ":133403,"ĠÑĥказанной":133404,"ĠÑĥказаннÑĭм":133405,"ĠÑĥкÑĢаинÑĨев":133406,"ĠÑĥлÑĥÑĩÑĪениÑİ":133407,"ĠÑĥмÑĭÑĪленно":133408,"ĠÑĥÑĢавнение":133409,"ĠÑĥÑĢавнений":133410,"ĠÑĥÑģиливаеÑĤ":133411,"ĠÑĥÑģкоÑĢение":133412,"ĠÑĥÑģкоÑĢениÑı":133413,"ĠÑĥÑģÑĤалоÑģÑĤи":133414,"ĠÑĥÑĤвеÑĢдиÑĤÑĮ":133415,"ĠÑĥÑĤвеÑĢждаÑı":133416,"ĠÑĥÑħÑĥдÑĪение":133417,"ĠÑĥÑĩениками":133418,"ĠÑĥÑĩиÑĤÑĭваеÑĤ":133419,"ĠÑĦакÑĤоÑĢами":133420,"ĠÑĦилаÑĢмони":133421,"ĠÑĦоÑĢмиÑĢÑĥеÑĤ":133422,"ĠÑĦÑĥнкÑĨиÑıми":133423,"ĠÑħозÑıйÑģÑĤвÑĥ":133424,"ĠÑħоккейной":133425,"ĠÑħолодного":133426,"ĠÑħоÑĢеогÑĢаÑĦ":133427,"ĠÑħÑĢанилиÑīа":133428,"ĠÑħÑĢанилиÑīе":133429,"ĠÑĨенноÑģÑĤÑıм":133430,"ĠÑĩаÑģÑĤенÑĮко":133431,"ĠÑĩемпионка":133432,"ĠÑĩеÑĤвеÑĢÑĤой":133433,"ĠÑĩеÑĤвеÑĢÑĤом":133434,"ĠÑĩиÑģлилоÑģÑĮ":133435,"ĠÑĩÑĥвÑģÑĤвами":133436,"ĠÑĪколÑĮного":133437,"ĠÑįкоÑģиÑģÑĤем":133438,"ĠÑįлекÑĤÑĢона":133439,"ÐļоммеÑĢÑģанÑĤ":133440,"ÐŀбÑĬединенн":133441,"ÐŀбÑĬединÑijнн":133442,"ÐŁÐµÑĢвомайÑģк":133443,"ÐŁÐ¾Ð¶Ð°Ð»ÑĥйÑģÑĤа":133444,"ÐłÐ¾Ð¶Ð´ÐµÑģÑĤвен":133445,"ЧеловеÑĩеÑģк":133446,"аÑĤелÑĮÑģÑĤвом":133447,"боеÑģпоÑģобн":133448,"говаÑĢиваÑİÑĤ":133449,"дейÑģÑĤвовав":133450,"демокÑĢаÑĤов":133451,"егиÑģÑĤÑĢиÑĢов":133452,"еннолеÑĤниÑħ":133453,"заимÑģÑĤвова":133454,"иÑģÑĤиÑĩеÑģком":133455,"иÑģÑĤиÑĩеÑģкÑĥÑİ":133456,"кеÑĢамиÑĩеÑģк":133457,"киломеÑĤÑĢов":133458,"менеджменÑĤ":133459,"онаÑĢÑĥÑĪениÑı":133460,"оÑģпÑĢиимÑĩив":133461,"пÑĥÑĤеÑĪеÑģÑĤвÑĥ":133462,"ÑĢегÑĥлиÑĢÑĥÑİÑī":133463,"ÑĢикоÑģновен":133464,"ÑģиммеÑĤÑĢиÑĩн":133465,"ÑģмаÑĤÑĢиваеÑĤ":133466,"ÑģпеÑĨиалиÑģÑĤ":133467,"ÑģÑĤоÑĢоннего":133468,"ÑģÑĤÑĢоиÑĤелей":133469,"ÑģÑĤÑĢÑĥиÑĢован":133470,"ÑĥдовлеÑĤвоÑĢ":133471,"ÑĦÑĢанÑĨÑĥзÑģки":133472,"ĠÐIJналогиÑĩно":133473,"ĠÐIJÑĢÑħиÑĤекÑĤÑĥÑĢ":133474,"ĠÐijезÑĥÑģловно":133475,"ĠÐĴаÑģилÑĮевна":133476,"ĠÐĴикÑĤоÑĢовиÑĩ":133477,"ĠÐĴиногÑĢадов":133478,"ĠÐĴÑģемиÑĢного":133479,"ĠÐĵеоÑĢгиевиÑĩ":133480,"ĠÐĵеоÑĢгиевÑģк":133481,"ĠÐĵÑĥбеÑĢнаÑĤоÑĢ":133482,"ĠÐĹаклÑİÑĩение":133483,"ĠÐĺеÑĢÑĥÑģалиме":133484,"ĠÐĺÑģполÑĮзова":133485,"ĠÐļазанÑģкого":133486,"ĠÐļазаÑħÑģÑĤане":133487,"ĠÐļалиÑĦоÑĢниÑı":133488,"ĠÐĽÑİкÑģембÑĥÑĢг":133489,"ĠÐľÐ°ÑıковÑģкий":133490,"ĠÐľÐ¸Ñħайловна":133491,"ĠÐĿевозможно":133492,"ĠÐĿезавиÑģимо":133493,"ĠÐĿеожиданно":133494,"ĠÐŀÑĦиÑĨиалÑĮно":133495,"ĠÐŁÐ¾Ð´Ð³Ð¾ÑĤовка":133496,"ĠÐŁÐ¾Ð¿ÑĢобÑĥйÑĤе":133497,"ĠÐŁÐ¾ÑģмоÑĤÑĢиÑĤе":133498,"ĠÐŁÑĢавоÑģлавн":133499,"ĠÐŁÑĢиложение":133500,"ĠÐŁÑĢимеÑĩание":133501,"ĠÐŁÑĢомÑĭÑĪленн":133502,"ĠÐłÐ°Ð·ÑĢабоÑĤка":133503,"ĠСаÑĥдовÑģкой":133504,"ĠСеÑĢебÑĢÑıнÑĭй":133505,"ĠСмоленÑģкой":133506,"ĠСодеÑĢжание":133507,"ĠСоÑĤÑĢÑĥдники":133508,"ĠСпеÑĨиалÑĮно":133509,"ĠСÑĤаÑĤиÑģÑĤика":133510,"ĠТеÑĢÑĢиÑĤоÑĢиÑı":133511,"ĠУзбекиÑģÑĤан":133512,"ĠУпÑĢажнение":133513,"ĠЦенÑĤÑĢалÑĮно":133514,"ĠÐŃйзенÑħаÑĥÑįÑĢ":133515,"ĠавиаÑĨионно":133516,"ĠакÑĥÑģÑĤиÑĩеÑģк":133517,"ĠакÑĨионеÑĢов":133518,"ĠанглийÑģкаÑı":133519,"ĠанглиÑĩанин":133520,"ĠаппаÑĢаÑĤÑĥÑĢÑĭ":133521,"ĠаÑĢгÑĥменÑĤов":133522,"ĠаÑĢеÑģÑĤованÑĭ":133523,"ĠаÑĢмейÑģкого":133524,"ĠаÑĢÑĤеÑĢиалÑĮн":133525,"ĠаÑĢÑħеологии":133526,"ĠаÑģÑģоÑĨиаÑĨий":133527,"ĠбанковÑģкиÑħ":133528,"ĠбеÑģпомоÑīно":133529,"ĠбеÑģпÑĢоводн":133530,"ĠбиблиогÑĢаÑĦ":133531,"ĠблагодаÑĢен":133532,"ĠближайÑĪего":133533,"ĠблокиÑĢовки":133534,"ĠбоепÑĢипаÑģÑĭ":133535,"ĠбÑĢиÑĤанÑģкие":133536,"ĠбÑĥÑĢжÑĥазной":133537,"ĠвелиÑĩайÑĪиÑħ":133538,"ĠвелиÑĩеÑģÑĤво":133539,"ĠвеÑīеÑģÑĤвами":133540,"Ġвзволнован":133541,"ĠвладÑĭÑĩеÑģÑĤв":133542,"ĠвозмÑĥÑīение":133543,"ĠвозобновлÑı":133544,"ĠвозÑĢажениÑı":133545,"ĠвоплоÑīениÑı":133546,"ĠвоÑģпаление":133547,"ĠвоÑģпиÑĤании":133548,"ĠвоÑģпиÑĤÑĭвал":133549,"ĠвÑĭÑģказалÑģÑı":133550,"ĠвÑĭÑĩиÑģлений":133551,"ĠвÑĭÑĩиÑģлиÑĤел":133552,"ĠвÑĭÑıÑģнÑıеÑĤÑģÑı":133553,"ĠгазопÑĢовод":133554,"ĠгаÑĢмониÑĩно":133555,"ĠгеÑĢманÑģкие":133556,"ĠгеÑĢманÑģким":133557,"ĠглобалÑĮной":133558,"ĠгоÑĤовилиÑģÑĮ":133559,"ĠдалÑĮнейÑĪие":133560,"ĠдеклаÑĢаÑĨии":133561,"ĠдемокÑĢаÑĤиÑı":133562,"ĠдеÑĢевÑıннаÑı":133563,"ĠдеÑĢевÑıнной":133564,"ĠдеÑĢевÑıннÑĭм":133565,"ĠдженÑĤлÑĮмен":133566,"ĠдлиÑĤелÑĮной":133567,"ĠдлиÑĤелÑĮнÑĭй":133568,"ĠдобавлениÑı":133569,"ĠдобÑĢоволÑĮн":133570,"ĠдогадаÑĤÑĮÑģÑı":133571,"ĠдоказÑĭваÑĤÑĮ":133572,"ĠдокÑĤоÑĢÑģкÑĥÑİ":133573,"ĠдолжноÑģÑĤей":133574,"ĠдолжноÑģÑĤÑıÑħ":133575,"ĠдополнениÑı":133576,"ĠдоÑģÑĤавлÑıеÑĤ":133577,"ĠдоÑģÑĤигнÑĥÑĤа":133578,"ĠдоÑģÑĤоÑıнием":133579,"ĠевÑĢопейÑĨев":133580,"ĠежемеÑģÑıÑĩно":133581,"ĠеженеделÑĮн":133582,"ĠжеÑģÑĤокоÑģÑĤи":133583,"ĠзаведениÑıÑħ":133584,"ĠзаведÑĥÑİÑīим":133585,"ĠзавеÑĢÑĪилÑģÑı":133586,"ĠзаконноÑģÑĤи":133587,"ĠзаконÑĩиÑĤÑģÑı":133588,"Ġзаложников":133589,"ĠзапиÑģÑĭваÑĤÑĮ":133590,"ĠзаÑģлÑĥженно":133591,"Ġземледелие":133592,"ĠземледелиÑı":133593,"ĠзнамениÑĤаÑı":133594,"ĠзнамениÑĤом":133595,"ĠзнамениÑĤÑĭе":133596,"ĠизменилиÑģÑĮ":133597,"ĠизобÑĢажаÑİÑī":133598,"ĠизобÑĢаженÑĭ":133599,"ĠизобÑĢазиÑĤÑĮ":133600,"ĠизÑĢаилÑĮÑĤÑıн":133601,"ĠиллÑİÑģÑĤÑĢиÑĢÑĥ":133602,"ĠимÑĥÑīеÑģÑĤвом":133603,"ĠингÑĢедиенÑĤ":133604,"ĠинженеÑĢнÑĭÑħ":133605,"ĠиноÑģÑĤÑĢанÑĨа":133606,"ĠинÑĤеÑĢвенÑĨи":133607,"ĠинÑĤеÑĢеÑģнаÑı":133608,"ĠинÑĤеÑĢеÑģнее":133609,"ĠинÑĤеÑĢеÑģÑĥÑİÑĤ":133610,"ĠинÑĤÑĥиÑĤивно":133611,"ĠинÑĦÑĢакÑĢаÑģн":133612,"ĠиÑģполнениÑİ":133613,"ĠиÑģÑģледован":133614,"ĠиÑģÑĤолкован":133615,"ĠканÑĨелÑıÑĢии":133616,"ĠкаÑģаÑİÑīиеÑģÑı":133617,"ĠколеблеÑĤÑģÑı":133618,"ĠколонизаÑĨи":133619,"Ġкомандного":133620,"ĠкоммÑĥниÑģÑĤÑĭ":133621,"ĠкомпаниÑıми":133622,"ĠкомпилÑıÑĤоÑĢ":133623,"ĠкомпозиÑĨиÑİ":133624,"ĠконеÑĩноÑģÑĤи":133625,"ĠконÑģÑĥлÑĮÑģÑĤв":133626,"ĠконÑĤÑĢабанд":133627,"ĠкооÑĢдинаÑĨи":133628,"ĠкÑĢиÑĤиковал":133629,"ĠкÑĥлÑĮÑĤÑĥÑĢнÑĭй":133630,"ĠкÑĥлÑĮÑĤÑĥÑĢнÑĭм":133631,"ĠлаÑĤинÑģкого":133632,"ĠлегкоаÑĤлеÑĤ":133633,"ĠлибеÑĢализм":133634,"ĠмагиÑģÑĤÑĢали":133635,"ĠмагниÑĤного":133636,"ĠмагниÑĤоÑĦон":133637,"ĠмаленÑĮкими":133638,"ĠманÑĥÑĦакÑĤÑĥÑĢ":133639,"ĠмаÑģÑĤеÑĢÑģкиÑħ":133640,"ĠмаÑĤеÑĢиалам":133641,"ĠмогÑĥÑīеÑģÑĤво":133642,"ĠмонаÑģÑĤÑĭÑĢей":133643,"ĠмоÑĢалÑĮного":133644,"ĠмоÑģковÑģкие":133645,"ĠмоÑģковÑģким":133646,"ĠмÑĥжеÑģÑĤвенн":133647,"ĠмÑĥÑĩиÑĤелÑĮно":133648,"ĠнадежноÑģÑĤи":133649,"ĠнадежноÑģÑĤÑĮ":133650,"ĠнадобноÑģÑĤи":133651,"ĠназÑĭваемое":133652,"ĠназÑĭваемом":133653,"ĠназÑĭваемÑĥÑİ":133654,"ĠназÑĭваемÑĭм":133655,"ĠназÑĭвалиÑģÑĮ":133656,"ĠназÑĭвалоÑģÑĮ":133657,"ĠнаиболÑĮÑĪей":133658,"ĠнапиÑģаннаÑı":133659,"ĠнапиÑģанное":133660,"ĠнапиÑģанной":133661,"ĠнапиÑģаннÑĭй":133662,"ĠнапиÑģаннÑĭÑħ":133663,"ĠнапÑĢÑıженно":133664,"ĠнаÑģледÑģÑĤва":133665,"ĠнаÑģÑĤаиваеÑĤ":133666,"ĠнаÑĨиÑģÑĤÑģкой":133667,"ĠнаÑĩалÑĮÑģÑĤва":133668,"ĠнаÑĩалÑĮÑģÑĤвÑĥ":133669,"ĠнегаÑĤивнÑĭе":133670,"ĠнедоÑģÑĤÑĥпнÑĭ":133671,"ĠнедоÑĥмение":133672,"ĠнеизвеÑģÑĤна":133673,"ĠнеизменнÑĭм":133674,"ĠнеÑĢазÑĢÑĭвно":133675,"ĠнеÑģÑĩаÑģÑĤнÑĭÑħ":133676,"ĠноÑĢмалÑĮнÑĭм":133677,"ĠноÑĢмалÑĮнÑĭÑħ":133678,"ĠоблегÑĩениÑı":133679,"ĠобознаÑĩаÑİÑĤ":133680,"ĠобоÑģновÑĭва":133681,"ĠобÑģÑĥждении":133682,"ĠобÑĬединÑıÑİÑĤ":133683,"ĠобÑĬÑıÑģнений":133684,"Ġодинаковой":133685,"ĠодинаковÑĭÑħ":133686,"Ġознакомлен":133687,"ĠокÑĢÑĥжаÑİÑīие":133688,"ĠокÑĢÑĥжноÑģÑĤи":133689,"ĠопÑĢавдание":133690,"ĠоÑĢганизÑĥеÑĤ":133691,"ĠоÑģвобождÑijн":133692,"ĠоÑģлабление":133693,"ĠоÑģнованной":133694,"ĠоÑģнованнÑĭе":133695,"ĠоÑģÑĥжденнÑĭÑħ":133696,"ĠоÑĤклонение":133697,"ĠоÑĤлиÑĩаÑĤÑĮÑģÑı":133698,"ĠоÑĤноÑģилаÑģÑĮ":133699,"ĠоÑĤпÑĢавлÑıеÑĤ":133700,"ĠоÑĤÑĢавлениÑı":133701,"ĠоÑĤÑĢажаеÑĤÑģÑı":133702,"ĠпаÑĢÑĤийного":133703,"ĠпаÑĢÑĤнеÑĢами":133704,"ĠпеÑĢвенÑģÑĤво":133705,"ĠпеÑĢебÑĢалÑģÑı":133706,"ĠпеÑĢевеÑĢнÑĥл":133707,"ĠпеÑĢедаÑİÑĤÑģÑı":133708,"ĠпеÑĢекÑĢеÑģÑĤк":133709,"ĠпеÑĢеменнÑĭе":133710,"ĠпеÑĢемеÑĪаÑĤÑĮ":133711,"ĠпеÑĢемеÑĪива":133712,"ĠпеÑĢеноÑģиÑĤÑĮ":133713,"ĠпеÑĢепиÑģÑĭва":133714,"ĠпеÑĢеÑģекаеÑĤ":133715,"ĠпеÑĢеÑģÑĤÑĢоен":133716,"ĠпикабÑĥÑĪник":133717,"ĠповеÑĢнÑĥлÑģÑı":133718,"ĠповеÑģÑĤвÑĥеÑĤ":133719,"ĠповÑģÑĤанÑĨев":133720,"ĠповÑĤоÑĢение":133721,"ĠповÑĤоÑĢениÑı":133722,"ĠподклÑİÑĩиÑĤÑĮ":133723,"ĠподозÑĢеваÑİ":133724,"ĠподÑĩинении":133725,"Ġпожизненно":133726,"ĠпоказалаÑģÑĮ":133727,"ĠполагаеÑĤÑģÑı":133728,"Ġполиклиник":133729,"ĠполководÑĨа":133730,"ĠполÑĥÑĩалоÑģÑĮ":133731,"ĠполÑĥÑĩенной":133732,"ĠполÑĥÑĩеннÑĭй":133733,"ĠполÑĥÑĩилаÑģÑĮ":133734,"ĠпомеÑīениÑıÑħ":133735,"ĠпомоÑīников":133736,"ĠпопÑĢобÑĥйÑĤе":133737,"ĠпопÑĥлÑıÑĢнÑĭй":133738,"ĠпоÑģеÑĢедине":133739,"ĠпоÑģÑĤавÑīика":133740,"ĠпоÑģÑĤоÑıннÑĥÑİ":133741,"ĠпоÑĤиÑħонÑĮкÑĥ":133742,"ĠпÑĢавилÑĮнÑĭе":133743,"ĠпÑĢавиÑĤелем":133744,"ĠпÑĢавоÑģÑĥдиÑı":133745,"ĠпÑĢазднеÑģÑĤв":133746,"ĠпÑĢаздников":133747,"ĠпÑĢевÑĢаÑīаеÑĤ":133748,"ĠпÑĢедлагаÑĤÑĮ":133749,"ĠпÑĢедложено":133750,"ĠпÑĢедмеÑĤами":133751,"ĠпÑĢедÑĭдÑĥÑīий":133752,"ĠпÑĢедÑĭдÑĥÑīим":133753,"ĠпÑĢекÑĢаÑģнÑĭÑħ":133754,"ĠпÑĢеÑģледÑĥеÑĤ":133755,"ĠпÑĢивилегии":133756,"ĠпÑĢивлекаÑİÑĤ":133757,"ĠпÑĢиводÑıÑĤÑģÑı":133758,"ĠпÑĢиглаÑģиÑĤÑĮ":133759,"ĠпÑĢизнаками":133760,"ĠпÑĢизнаÑĤÑĮÑģÑı":133761,"ĠпÑĢикÑĢÑĭÑĤием":133762,"ĠпÑĢименениÑİ":133763,"ĠпÑĢинÑĨипами":133764,"ĠпÑĢиобÑĢеÑĤал":133765,"ĠпÑĢоведениÑİ":133766,"ĠпÑĢоизнеÑģен":133767,"ĠпÑĢоизноÑģил":133768,"ĠпÑĢоизÑĢаÑģÑĤа":133769,"ĠпÑĢомежÑĥÑĤок":133770,"ĠпÑĢомежÑĥÑĤоÑĩ":133771,"ĠпÑĢопаганда":133772,"ĠпÑĢоÑģÑĤиÑĤÑĥÑĤк":133773,"ĠпÑĢоÑĤивники":133774,"ĠпÑĢоÑĤивовеÑģ":133775,"ĠпÑĢоÑĦÑģоÑİзов":133776,"ĠпÑĢоÑĨеÑģÑģами":133777,"ĠÑĢабоÑĤаÑİÑīие":133778,"ĠÑĢабоÑĤаÑİÑīий":133779,"ĠÑĢазглÑıдеÑĤÑĮ":133780,"ĠÑĢазгÑĢомлен":133781,"ĠÑĢазÑĢабоÑĤок":133782,"ĠÑĢаÑģкÑĢÑĭваеÑĤ":133783,"ĠÑĢаÑģпÑĢедели":133784,"ĠÑĢаÑģÑģказÑĩик":133785,"ĠÑĢаÑģÑģмоÑĤÑĢел":133786,"ĠÑĢаÑģÑģÑĤаÑĤÑĮÑģÑı":133787,"ĠÑĢаÑģÑħождени":133788,"ĠÑĢеволÑİÑĨией":133789,"ĠÑĢегÑĥлиÑĢÑĥеÑĤ":133790,"ĠÑĢегÑĥлÑıÑĢнÑĭе":133791,"ĠÑĢезиденÑĨии":133792,"ĠÑĢекомендÑĥÑİ":133793,"ĠÑĢеÑĦоÑĢмаÑĤоÑĢ":133794,"ĠÑĢоÑģÑģийÑģкое":133795,"ĠÑĢÑĥководиÑĤÑĮ":133796,"ĠÑģаÑĤиÑĢиÑĩеÑģк":133797,"ĠÑģвÑıзанного":133798,"ĠÑģеÑĢебÑĢÑıной":133799,"ĠÑģеÑĢебÑĢÑıнÑĥÑİ":133800,"ĠÑģеÑĢебÑĢÑıнÑĭе":133801,"ĠÑģеÑĢÑĮезного":133802,"ĠÑģкÑĢÑĭваеÑĤÑģÑı":133803,"ĠÑģлавÑıнÑģкиÑħ":133804,"ĠÑģливоÑĩного":133805,"ĠÑģновидениÑı":133806,"ĠÑģобиÑĢалаÑģÑĮ":133807,"ĠÑģовеÑĢÑĪение":133808,"ĠÑģовеÑĤником":133809,"ĠÑģовпадение":133810,"ĠÑģоглаÑĪениÑİ":133811,"ĠÑģодейÑģÑĤвии":133812,"ĠÑģодеÑĢжаÑīий":133813,"ĠÑģоздаÑĤелей":133814,"ĠÑģомневалÑģÑı":133815,"ĠÑģопоÑģÑĤавим":133816,"ĠÑģоÑģÑĤоÑıÑĤÑĮÑģÑı":133817,"ĠÑģоÑĤÑĢÑĥдниÑĩа":133818,"ĠÑģоÑĨиологии":133819,"ĠÑģоÑĩÑĥвÑģÑĤвие":133820,"ĠÑģоÑİзниками":133821,"ĠÑģпоÑĢÑĤивнÑĭй":133822,"ĠÑģпоÑĢÑĤÑģменÑĭ":133823,"ĠÑģпÑĢаÑĪиваÑĤÑĮ":133824,"ĠÑģпÑĢаÑĪиваÑİÑĤ":133825,"ĠÑģÑĤандаÑĢÑĤам":133826,"ĠÑģÑĤаÑĤиÑģÑĤика":133827,"ĠÑģÑĤаÑĤиÑģÑĤике":133828,"ĠÑģÑĤеÑĢлингов":133829,"ĠÑģÑĤÑĢелковаÑı":133830,"ĠÑģÑĤÑĢелковÑĭй":133831,"ĠÑģÑĤÑĢемлении":133832,"ĠÑģÑĩаÑģÑĤливой":133833,"ĠÑĤанÑĨевалÑĮн":133834,"ĠÑĤвоÑĢÑĩеÑģкие":133835,"ĠÑĤвоÑĢÑĩеÑģÑĤвÑĥ":133836,"ĠÑĤеаÑĤÑĢалÑĮно":133837,"ĠÑĤелегÑĢаммÑĥ":133838,"ĠÑĤеÑħниÑĩеÑģки":133839,"ĠÑĤоваÑĢиÑīами":133840,"ĠÑĤождеÑģÑĤвен":133841,"ĠÑĤолкование":133842,"ĠÑĤолкованиÑı":133843,"ĠÑĤоÑĤалиÑĤаÑĢн":133844,"ĠÑĤÑĢаекÑĤоÑĢии":133845,"ĠÑĤÑĢениÑĢовал":133846,"ĠÑĤÑĢениÑĢовка":133847,"ĠÑĤÑĢениÑĢовок":133848,"ĠÑĤÑĢогаÑĤелÑĮн":133849,"ĠÑĥвелиÑĩении":133850,"ĠÑĥволÑĮнениÑı":133851,"ĠÑĥдеÑĢжаÑĤÑĮÑģÑı":133852,"ĠÑĥдивлением":133853,"ĠÑĥдивлÑıÑĤÑĮÑģÑı":133854,"ĠÑĥдоволÑĮÑģÑĤв":133855,"ĠÑĥказанного":133856,"ĠÑĥкÑĢаинÑģким":133857,"ĠÑĥкÑĢаинÑģком":133858,"ĠÑĥкÑĢеплений":133859,"ĠÑĥкÑĢеплениÑİ":133860,"ĠÑĥникалÑĮнÑĭм":133861,"ĠÑĥниÑĩÑĤожаеÑĤ":133862,"ĠÑĥниÑĩÑĤожено":133863,"ĠÑĥпоÑĤÑĢеблÑıл":133864,"ĠÑĥÑĢегÑĥлиÑĢов":133865,"ĠÑĥÑģÑĤановкой":133866,"ĠÑĥÑģÑĤÑĢаиваÑĤÑĮ":133867,"ĠÑĥÑģÑĤÑĢаиваÑİÑĤ":133868,"ĠÑĥÑģÑĤÑĢанение":133869,"ĠÑĥÑĩÑĢеждении":133870,"ĠÑĦанÑĤаÑģÑĤики":133871,"ĠÑĦаÑĪиÑģÑĤÑģкой":133872,"ĠÑĦизиÑĩеÑģкаÑı":133873,"ĠÑĦизиÑĩеÑģкий":133874,"ĠÑĦизиÑĩеÑģкÑĥÑİ":133875,"ĠÑĦизкÑĥлÑĮÑĤÑĥÑĢ":133876,"ĠÑĦилоÑģоÑĦÑģко":133877,"ĠÑĦинанÑģовÑĥÑİ":133878,"ĠÑĦинанÑģовÑĭй":133879,"ĠÑĦоÑĢмиÑĢовал":133880,"ĠÑĦоÑĤогÑĢаÑĦиÑİ":133881,"ĠÑĦÑĢагменÑĤов":133882,"ĠÑħозÑıйÑģÑĤвом":133883,"ĠÑħоÑĢоÑĪенÑĮко":133884,"ĠÑħÑĢиÑģÑĤианин":133885,"ĠÑĨеÑĢковного":133886,"ĠÑĩеÑĤвеÑĢÑĤого":133887,"ĠÑįкÑĢанизаÑĨи":133888,"ĠÑįкÑģпедиÑĨиÑİ":133889,"ĠÑįкÑģпозиÑĨии":133890,"ĠÑįлекÑĤÑĢонно":133891,"ÐĴозвÑĢаÑīение":133892,"ÐļавказÑģкого":133893,"ÐŁÑĥÑĤеÑĪеÑģÑĤвие":133894,"СовÑĢеменник":133895,"аÑĢÑĤиллеÑĢиÑģÑĤ":133896,"благополÑĥÑĩн":133897,"благоÑĩеÑģÑĤив":133898,"еÑģÑĤеÑģÑĤвенно":133899,"идÑĢавлиÑĩеÑģк":133900,"инноваÑĨионн":133901,"конÑģÑĤÑĢÑĥкÑĤоÑĢ":133902,"конÑĦеÑĢенÑĨиÑİ":133903,"обÑĢазование":133904,"обÑĢазованиÑı":133905,"обÑıзаÑĤелÑĮно":133906,"ологиÑĩеÑģкое":133907,"поведенÑĩеÑģк":133908,"погÑĢаниÑĩник":133909,"подÑĢазÑĥмева":133910,"ÑĢазÑĢабоÑĤÑĩик":133911,"ÑģÑĤойÑĩивоÑģÑĤÑĮ":133912,"ÑĤеÑħниÑĩеÑģкаÑı":133913,"ÑĦилакÑĤиÑĩеÑģк":133914,"ÑĩеловеÑĩеÑģки":133915,"ÑĩеÑħоÑģловаÑĨк":133916,"Ġhouseholder":133917,"ĠÐIJÑĦганиÑģÑĤана":133918,"ĠÐĴозможноÑģÑĤÑĮ":133919,"ĠÐĴологодÑģкой":133920,"ĠÐĴоÑĢонежÑģкой":133921,"ĠÐĴоÑģкÑĢеÑģенÑģк":133922,"ĠÐĵоÑģÑĥдаÑĢÑģÑĤво":133923,"ĠÐĶебÑİÑĤиÑĢовал":133924,"ĠÐĹнаÑĩиÑĤелÑĮно":133925,"ĠÐĺнгÑĢедиенÑĤÑĭ":133926,"ĠÐľÐ°ÑģÑģаÑĩÑĥÑģеÑĤÑģ":133927,"ĠÐŀконÑĩаÑĤелÑĮн":133928,"ĠÐŀлимпийÑģкие":133929,"ĠÐŀÑĢганизаÑĨии":133930,"ĠÐŀÑģÑĤÑĢовÑģкого":133931,"ĠÐŀÑĦиÑĨиалÑĮнаÑı":133932,"ĠÐŁÐ°ÑĢаллелÑĮно":133933,"ĠÐŁÐ¾Ð»ÑĮзоваÑĤел":133934,"ĠÐŁÑĢедположим":133935,"ĠÐŁÑĢедÑģÑĤавлен":133936,"ĠÐłÐ°Ð·ÑĢабоÑĤÑĩик":133937,"ĠÐłÐµÐ·ÑĥлÑĮÑĤаÑĤом":133938,"ĠСаÑĢаÑĤовÑģкой":133939,"ĠСовÑĢеменнаÑı":133940,"ĠСовÑĢеменнÑĭй":133941,"ĠСпеÑĨиалиÑģÑĤÑĭ":133942,"ĠУдивиÑĤелÑĮно":133943,"ĠУкÑĢаинÑģкого":133944,"ĠФедеÑĢалÑĮной":133945,"ĠФедеÑĢалÑĮнÑĭм":133946,"ĠФÑĢанÑĨÑĥзÑģкой":133947,"ĠЦенÑĤÑĢалÑĮнаÑı":133948,"ĠЧайковÑģкого":133949,"ĠЧелÑıбинÑģкой":133950,"ĠЯÑĢоÑģлавÑģкой":133951,"ĠавиаÑĨионнÑĭÑħ":133952,"ĠавÑĤономного":133953,"ĠаналогиÑĩнÑĭй":133954,"ĠаналогиÑĩнÑĭм":133955,"ĠаналогиÑĩнÑĭÑħ":133956,"ĠаÑĢÑĤиллеÑĢией":133957,"ĠаÑĢÑħиÑĤекÑĤÑĥÑĢа":133958,"ĠаÑģÑģоÑĢÑĤименÑĤ":133959,"ĠаÑĦÑĢиканÑģкиÑħ":133960,"ĠбаÑģкеÑĤболÑĮн":133961,"ĠбезжалоÑģÑĤно":133962,"ĠбелогваÑĢдей":133963,"ĠбеÑģпоÑĢÑıдоÑĩн":133964,"ĠблагоÑģоÑģÑĤоÑı":133965,"ĠболелÑĮÑīиков":133966,"ĠболÑĮÑĪинÑģÑĤвÑĥ":133967,"ĠвзаимоÑģвÑıзи":133968,"ĠвиÑĢÑĤÑĥалÑĮной":133969,"ĠвлиÑıÑĤелÑĮнÑĭÑħ":133970,"ĠвнимаÑĤелÑĮнÑĭ":133971,"ĠвозглавлÑıеÑĤ":133972,"ĠвоздейÑģÑĤвиÑİ":133973,"ĠвозникаÑİÑīиÑħ":133974,"ĠвозÑĢождение":133975,"ĠвпеÑĩаÑĤлений":133976,"ĠвÑģеÑģÑĤоÑĢонне":133977,"ĠвÑĭполнÑıÑİÑĤÑģÑı":133978,"ĠвÑĭпÑĥÑģкников":133979,"ĠгаллÑİÑĨинаÑĨи":133980,"ĠгаÑĢанÑĤиÑĢÑĥеÑĤ":133981,"ĠгваÑĢдейÑģкаÑı":133982,"ĠгваÑĢдейÑģкий":133983,"ĠгенеÑĢалÑĮнÑĭм":133984,"ĠглобалÑĮного":133985,"ĠгÑĢажданÑģкие":133986,"ĠгÑĢажданÑģким":133987,"ĠгÑĢÑĥппиÑĢовок":133988,"ĠдвигаÑĤелÑıми":133989,"ĠдейÑģÑĤвÑĥÑİÑīие":133990,"ĠдейÑģÑĤвÑĥÑİÑīий":133991,"ĠдеÑģÑıÑĤилеÑĤие":133992,"ĠдиагноÑģÑĤики":133993,"Ġдобавлением":133994,"ĠдовеÑĢиÑĤелÑĮн":133995,"ĠдоÑĢогоÑģÑĤоÑıÑī":133996,"ĠдоÑģÑĤаÑĤоÑĩнÑĭм":133997,"ĠдÑĥÑħовенÑģÑĤво":133998,"ĠевÑĢопейÑģком":133999,"ĠзавеÑĢÑĪаеÑĤÑģÑı":134000,"ĠзакономеÑĢно":134001,"ĠзаконÑĩилиÑģÑĮ":134002,"ĠзаÑĤÑĢÑĥднениÑı":134003,"ĠзаÑħоÑĢонениÑı":134004,"ĠизобÑĢажении":134005,"ĠиллÑİÑģÑĤÑĢаÑĨии":134006,"ĠимпеÑĢаÑĤÑĢиÑĨа":134007,"ĠимпеÑĢаÑĤÑĢиÑĨе":134008,"ĠимпеÑĢиализм":134009,"ĠинопланеÑĤÑıн":134010,"ĠинÑĤеÑĢеÑģного":134011,"ĠиÑģполÑĮзÑĥйÑĤе":134012,"ĠиÑģпÑĢавлениÑı":134013,"ĠиÑģÑĤоÑĩниками":134014,"ĠкандидаÑĤÑĥÑĢÑĥ":134015,"ĠкапиÑĤÑĥлÑıÑĨии":134016,"ĠклиниÑĩеÑģкой":134017,"ĠкомменÑĤаÑĢиÑı":134018,"ĠкомменÑĤаÑĤоÑĢ":134019,"ĠкомпеÑĤенÑĨии":134020,"ĠкомÑģомолÑĮÑģк":134021,"ĠкооÑĢдинаÑĨии":134022,"ĠкоÑĢолевÑģÑĤво":134023,"ĠкоÑģмиÑĩеÑģкие":134024,"ĠкоÑģмиÑĩеÑģкий":134025,"ĠкоÑģмонавÑĤов":134026,"ĠкÑĢаÑĤкоÑģÑĢоÑĩн":134027,"ĠкÑĢиÑĤиÑĩеÑģкой":134028,"ĠкÑĢовопÑĢолиÑĤ":134029,"ĠлабоÑĢаÑĤоÑĢиÑİ":134030,"ĠлиÑĤеÑĢаÑĤÑĥÑĢой":134031,"ĠмаÑĢкÑģиÑģÑĤÑģко":134032,"ĠмаÑĤеÑĢиализм":134033,"ĠмаÑĤеÑĢинÑģкой":134034,"ĠмедиÑĨинÑģкие":134035,"ĠминималÑĮнÑĭм":134036,"ĠмобилизаÑĨии":134037,"ĠмодиÑĦикаÑĨиÑı":134038,"ĠмоменÑĤалÑĮно":134039,"ĠмÑĥжеÑģÑĤвенно":134040,"ĠназнаÑĩаеÑĤÑģÑı":134041,"ĠнамеÑĢевалÑģÑı":134042,"ĠнапÑĢÑıжением":134043,"ĠнаÑģледником":134044,"ĠнаÑģÑĤÑĥплении":134045,"ĠнаÑĩалÑĮников":134046,"ĠнаÑĩалÑĮÑģÑĤвом":134047,"ĠнедопÑĥÑģÑĤимо":134048,"ĠнедоÑģÑĤаÑĤком":134049,"ĠнеизвеÑģÑĤнÑĭÑħ":134050,"ĠнеожиданнÑĭм":134051,"ĠнеоÑģÑĤоÑĢожно":134052,"ĠнеÑģÑĤабилÑĮно":134053,"ĠнеÑģÑĩаÑģÑĤного":134054,"ĠнеÑĤеÑĢпением":134055,"ĠнеÑĥÑģÑĤойÑĩиво":134056,"ĠобвинÑıемого":134057,"ĠобеÑģпеÑĩении":134058,"ĠобоÑģнование":134059,"ĠобÑĬединений":134060,"ĠодиноÑĩеÑģÑĤва":134061,"ĠодиноÑĩеÑģÑĤво":134062,"ĠоказÑĭвалиÑģÑĮ":134063,"ĠокÑĢеÑģÑĤноÑģÑĤи":134064,"ĠоÑģвобождаеÑĤ":134065,"ĠоÑĤказÑĭвалÑģÑı":134066,"ĠоÑĤноÑģÑıÑīийÑģÑı":134067,"ĠоÑĤноÑģÑıÑīиÑħÑģÑı":134068,"ĠоÑĤобÑĢажениÑı":134069,"ĠоÑĤÑģÑĤÑĥплениÑı":134070,"ĠпаÑĤÑĢÑĥлиÑĢова":134071,"ĠпеÑĢеводиÑĤÑģÑı":134072,"ĠпеÑĢеживание":134073,"ĠпеÑĢеклÑİÑĩени":134074,"ĠпеÑĢеÑĢабоÑĤки":134075,"ĠпеÑĢеÑģеÑĩении":134076,"ĠпеÑĢÑģоналÑĮно":134077,"ĠпобедиÑĤелей":134078,"ĠповÑĢеждение":134079,"ĠповÑĤоÑĢÑıеÑĤÑģÑı":134080,"ĠподавлÑıÑİÑīее":134081,"ĠподвеÑĢглиÑģÑĮ":134082,"ĠподгоÑĤовкой":134083,"ĠподдеÑĢжание":134084,"ĠподнимаÑĤÑĮÑģÑı":134085,"ĠподÑĩинÑıеÑĤÑģÑı":134086,"ĠподÑĩинÑıÑĤÑĮÑģÑı":134087,"ĠпозволÑıÑİÑīие":134088,"ĠпозволÑıÑİÑīий":134089,"Ġпоклонников":134090,"ĠполиÑĤиÑĩеÑģки":134091,"ĠполиÑĨейÑģким":134092,"ĠполÑĮзование":134093,"ĠпонÑĢавилаÑģÑĮ":134094,"ĠпоÑģвÑıÑīеннÑĭе":134095,"ĠпоÑģвÑıÑīеннÑĭй":134096,"ĠпоÑģледÑĥÑİÑīем":134097,"ĠпоÑģÑĤоÑĢонниÑħ":134098,"ĠпÑĢевоÑģÑħодил":134099,"ĠпÑĢеданноÑģÑĤÑĮ":134100,"ĠпÑĢедложениÑİ":134101,"ĠпÑĢедпоÑģÑĭлки":134102,"ĠпÑĢедÑģÑĤавÑĮÑĤе":134103,"ĠпÑĢезенÑĤаÑĨии":134104,"ĠпÑĢекÑĢаÑģного":134105,"ĠпÑĢеобладаÑİÑĤ":134106,"ĠпÑĢиближение":134107,"ĠпÑĢиближении":134108,"ĠпÑĢизнаÑĤелÑĮн":134109,"ĠпÑĢиклÑİÑĩений":134110,"ĠпÑĢименÑıлиÑģÑĮ":134111,"ĠпÑĢинимаÑİÑĤÑģÑı":134112,"ĠпÑĢиобÑĢеÑĤаÑĤÑĮ":134113,"ĠпÑĢоведеннÑĭÑħ":134114,"ĠпÑĢоводилаÑģÑĮ":134115,"ĠпÑĢоводиÑĤÑĮÑģÑı":134116,"ĠпÑĢодолжалÑģÑı":134117,"ĠпÑĢоизводÑģÑĤв":134118,"ĠпÑĢокÑĥÑĢаÑĤÑĥÑĢа":134119,"ĠпÑĢолеÑĤаÑĢиаÑĤ":134120,"ĠпÑĢоÑĤивоÑĢеÑĩа":134121,"ĠпÑģевдонимом":134122,"ĠпÑģиÑħиÑĩеÑģкой":134123,"ĠпÑģиÑħоÑĤеÑĢапи":134124,"ĠпÑĥбликоваÑĤÑĮ":134125,"ĠпÑĥÑĤеÑĪеÑģÑĤвий":134126,"ĠÑĢазведÑĩиков":134127,"ĠÑĢазвивалаÑģÑĮ":134128,"ĠÑĢазвивалиÑģÑĮ":134129,"ĠÑĢаздÑĢажиÑĤел":134130,"ĠÑĢазмножениÑı":134131,"ĠÑĢазмÑĭÑĪлений":134132,"ĠÑĢазÑĢабоÑĤали":134133,"ĠÑĢазÑĢеÑĪаеÑĤÑģÑı":134134,"ĠÑĢаÑģÑģÑĤÑĢелива":134135,"ĠÑĢаÑģÑģÑĥждений":134136,"ĠÑĢеализÑĥеÑĤÑģÑı":134137,"ĠÑĢекомендÑĥÑİÑĤ":134138,"ĠÑĢелигиознÑĭй":134139,"ĠÑĢеÑģпÑĥбликан":134140,"ĠÑĢеÑģÑĤавÑĢаÑĨии":134141,"ĠÑĢоÑģÑģийÑģкими":134142,"ĠÑĢÑĥководÑģÑĤве":134143,"ĠÑģвÑıÑīенников":134144,"ĠÑģекÑģÑĥалÑĮнÑĭе":134145,"ĠÑģказÑĭваеÑĤÑģÑı":134146,"ĠÑģледоваÑĤелÑı":134147,"ĠÑģледÑģÑĤвенно":134148,"ĠÑģоблÑİдением":134149,"ĠÑģовеÑĢÑĪеннÑĭÑħ":134150,"ĠÑģовÑĢеменнÑĥÑİ":134151,"ĠÑģоглаÑģилаÑģÑĮ":134152,"ĠÑģоздавалиÑģÑĮ":134153,"ĠÑģомниÑĤелÑĮно":134154,"ĠÑģоÑģÑĤавление":134155,"ĠÑģоÑģÑĤавлениÑı":134156,"ĠÑģоÑħÑĢанÑıÑİÑĤÑģÑı":134157,"ĠÑģпеÑĨиалÑĮном":134158,"ĠÑģпоÑĢÑĤивного":134159,"ĠÑģÑĤандаÑĢÑĤной":134160,"ĠÑģÑĤандаÑĢÑĤнÑĭÑħ":134161,"ĠÑģÑĤаÑĢаÑĤелÑĮно":134162,"ĠÑģÑĤолкнÑĥÑĤÑĮÑģÑı":134163,"ĠÑģÑĤоÑĢонником":134164,"ĠÑģÑĤÑĢемиÑĤелÑĮн":134165,"ĠÑĤеаÑĤÑĢалÑĮной":134166,"ĠÑĤеаÑĤÑĢалÑĮнÑĭй":134167,"ĠÑĤеаÑĤÑĢалÑĮнÑĭÑħ":134168,"ĠÑĤелевидениÑİ":134169,"ĠÑĤемаÑĤиÑĩеÑģки":134170,"ĠÑĤÑĢанÑģлиÑĢова":134171,"ĠÑĤÑĢопиÑĩеÑģкиÑħ":134172,"ĠÑĤÑĢÑĥдноÑģÑĤÑıми":134173,"ĠÑĥвелиÑĩилаÑģÑĮ":134174,"ĠÑĥвелиÑĩилоÑģÑĮ":134175,"ĠÑĥдоÑģÑĤовеÑĢен":134176,"ĠÑĥниÑĩÑĤожениÑİ":134177,"ĠÑĥпоминаÑİÑĤÑģÑı":134178,"ĠÑĥпÑĢавлÑıÑİÑīий":134179,"ĠÑĥÑģиливаеÑĤÑģÑı":134180,"ĠÑĥÑģÑĤÑĢойÑģÑĤвом":134181,"ĠÑĦедеÑĢалÑĮной":134182,"ĠÑĦедеÑĢалÑĮном":134183,"ĠÑĦедеÑĢалÑĮнÑĭй":134184,"ĠÑĦилоÑģоÑĦÑģкие":134185,"ĠÑĦилоÑģоÑĦÑģкой":134186,"ĠÑĦиниÑĪиÑĢовал":134187,"ĠÑĦоÑĢмиÑĢÑĥÑİÑĤÑģÑı":134188,"ĠÑĨелоÑģÑĤноÑģÑĤÑĮ":134189,"ĠÑĨенÑĤÑĢалÑĮнаÑı":134190,"ĠÑĨенÑĤÑĢалÑĮном":134191,"ĠÑĨенÑĤÑĢалÑĮнÑĥÑİ":134192,"ĠÑĨенÑĤÑĢалÑĮнÑĭм":134193,"ĠÑĨивилизаÑĨий":134194,"ĠÑĩемпионаÑĤаÑħ":134195,"ĠÑįкÑģплÑĥаÑĤиÑĢÑĥ":134196,"ĠÑįлекÑĤÑĢоннÑĭе":134197,"ĠÑįлеменÑĤаÑĢно":134198,"ĠÑįмигÑĢиÑĢовал":134199,"ĠÑįмпиÑĢиÑĩеÑģки":134200,"ĠÑİÑĢидиÑĩеÑģкий":134201,"ĠÑİÑĢидиÑĩеÑģким":134202,"ÐŁÑĢоÑĦеÑģÑģионал":134203,"амеÑĢиканÑģкиÑħ":134204,"гоÑģÑĥдаÑĢÑģÑĤвен":134205,"диÑģÑĨиплинаÑĢн":134206,"иденÑĤиÑĦикаÑĨи":134207,"моÑĤоÑĢизованн":134208,"неÑģпÑĢаведлив":134209,"оÑĤвÑĢаÑĤиÑĤелÑĮн":134210,"пÑĢомÑĭÑĪленнÑĭй":134211,"ÑĢаÑģпÑĢоÑģÑĤÑĢани":134212,"ÑģинÑĤакÑģиÑĩеÑģк":134213,"ÑģледÑģÑĤвеннÑĭÑħ":134214,"ÑĨивилизованн":134215,"ĠÐIJмеÑĢиканÑģкий":134216,"ĠÐijаÑĪкоÑĢÑĤоÑģÑĤан":134217,"ĠÐijезопаÑģноÑģÑĤи":134218,"ĠÐijелоÑĢÑĥÑģÑģкого":134219,"ĠÐĴладимиÑĢÑģкой":134220,"ĠÐĶеÑıÑĤелÑĮноÑģÑĤÑĮ":134221,"ĠÐķдинÑģÑĤвеннÑĭм":134222,"ĠÐĹдÑĢавÑģÑĤвÑĥйÑĤе":134223,"ĠÐĺÑģÑģледование":134224,"ĠÐļонÑģÑĤанÑĤинов":134225,"ĠÐĿаÑĨионалÑĮнаÑı":134226,"ĠÐŀÑĤноÑģиÑĤелÑĮно":134227,"ĠÐŁÑĢавоÑģлавной":134228,"ĠÐŁÑĢедÑģÑĤавлÑıеÑĤ":134229,"ĠÐłÑĥководиÑĤелÑĮ":134230,"ĠавÑĤобиогÑĢаÑĦи":134231,"ĠаналиÑĤиÑĩеÑģки":134232,"ĠбаÑģÑģейновомÑĥ":134233,"ĠбеÑģÑģмÑĭÑģленнÑĭ":134234,"ĠболÑĮÑĪевиками":134235,"ĠвеÑĢоÑıÑĤноÑģÑĤÑĮÑİ":134236,"ĠвеÑĢÑĤикалÑĮной":134237,"ĠвзаимоÑģвÑıзан":134238,"ĠводоизмеÑīени":134239,"ĠвозвÑĢаÑīалиÑģÑĮ":134240,"ĠвоÑģпоминание":134241,"ĠвоÑģпÑĢинимаем":134242,"ĠвоÑģпÑĢоизводи":134243,"ĠвÑģевозможнÑĭÑħ":134244,"ĠгÑĥбеÑĢнаÑĤоÑĢом":134245,"ĠдейÑģÑĤвÑĥÑİÑīего":134246,"ĠдемонÑģÑĤÑĢаÑĨиÑı":134247,"ĠдиÑģÑĤанÑĨионно":134248,"ĠдлиÑĤелÑĮноÑģÑĤÑĮ":134249,"ĠдобÑĢоволÑĮÑĨев":134250,"ĠеÑģÑĤеÑģÑĤвеннÑĭе":134251,"ĠзаÑĢабаÑĤÑĭваÑĤÑĮ":134252,"ĠзаÑħваÑĤÑĩиками":134253,"ĠземлевладелÑĮ":134254,"ĠиденÑĤиÑĩноÑģÑĤи":134255,"ĠизбиÑĢаÑĤелÑĮно":134256,"ĠиндивидÑĥализ":134257,"ĠиноÑģÑĤÑĢаннÑĭми":134258,"ĠинÑĦоÑĢмиÑĢован":134259,"ĠиÑģкÑĥÑģÑģÑĤвовед":134260,"ĠиÑģÑĩезновение":134261,"ĠиÑģÑĩезновениÑı":134262,"ĠклаÑģÑģиÑĩеÑģкий":134263,"ĠклаÑģÑģиÑĩеÑģким":134264,"ĠклаÑģÑģиÑĩеÑģкиÑħ":134265,"ĠколлекÑĨионеÑĢ":134266,"ĠкоммеÑĢÑĩеÑģкой":134267,"ĠкомпозиÑĤоÑĢов":134268,"ĠконÑģÑĤÑĢÑĥиÑĢова":134269,"ĠконÑģÑĥлÑĮÑĤаÑĨии":134270,"ĠкоÑĢолевÑģкого":134271,"ĠкÑĢаÑģноаÑĢмейÑĨ":134272,"ĠкÑĢеÑģÑĤÑĮÑıнÑģÑĤва":134273,"ĠлиÑĤеÑĢаÑĤÑĥÑĢном":134274,"ĠнаблÑİдаÑĤелей":134275,"ĠнаименованиÑı":134276,"ĠнапÑĢавлением":134277,"ĠнаÑģилÑĮÑģÑĤвенн":134278,"ĠнаÑħодивÑĪиеÑģÑı":134279,"ĠнаÑħодивÑĪийÑģÑı":134280,"ĠнаÑħодÑıÑīегоÑģÑı":134281,"ĠнаÑĨионалÑĮное":134282,"ĠнедвижимоÑģÑĤÑĮ":134283,"ĠнедоÑģÑĤаÑĤоÑĩнÑĭ":134284,"ĠнезавиÑģимого":134285,"ĠнеизвеÑģÑĤного":134286,"ĠнепÑĢиÑıÑĤноÑģÑĤи":134287,"ĠобÑĢабаÑĤÑĭваÑĤÑĮ":134288,"ĠобÑĢазовалаÑģÑĮ":134289,"ĠобÑģеÑĢваÑĤоÑĢии":134290,"ĠобÑģледованиÑı":134291,"ĠобÑīеÑģÑĤвеннаÑı":134292,"ĠобÑīеÑģÑĤвеннÑĥÑİ":134293,"ĠогÑĢаниÑĩенной":134294,"ĠогÑĢаниÑĩеннÑĭм":134295,"ĠодноÑģÑĤоÑĢонне":134296,"ĠопÑĢеделеннаÑı":134297,"ĠопÑĢеделÑijнной":134298,"ĠопÑĢеделÑijннÑĭÑħ":134299,"ĠоÑĢганизовали":134300,"ĠоÑĢигиналÑĮной":134301,"ĠоÑĢигиналÑĮнÑĭй":134302,"ĠоÑģвободиÑĤÑĮÑģÑı":134303,"ĠоÑģновÑĭваеÑĤÑģÑı":134304,"ĠоÑģÑĤановилаÑģÑĮ":134305,"ĠоÑģÑĤоÑĢожноÑģÑĤÑĮ":134306,"ĠоÑģÑĥÑīеÑģÑĤвлÑıем":134307,"ĠоÑģÑĥÑīеÑģÑĤвлÑıÑİÑĤ":134308,"ĠоÑĤвеÑĤÑģÑĤвенно":134309,"ĠоÑĤказÑĭваÑĤÑĮÑģÑı":134310,"ĠоÑĤпÑĢавлÑıÑİÑĤÑģÑı":134311,"ĠпеÑĢÑģоналÑĮнÑĭÑħ":134312,"ĠпиÑģÑĮменноÑģÑĤи":134313,"ĠпланиÑĢование":134314,"ĠповоÑĢаÑĩиваеÑĤ":134315,"ĠподвеÑĢгалиÑģÑĮ":134316,"ĠподвеÑĢгаÑİÑĤÑģÑı":134317,"ĠподÑĢобноÑģÑĤей":134318,"ĠпозвоноÑĩника":134319,"ĠполиÑĨейÑģкого":134320,"ĠполномоÑĩиÑıми":134321,"ĠпонадобилоÑģÑĮ":134322,"ĠпоÑģÑĤавленной":134323,"ĠпоÑģÑĤавленнÑĭÑħ":134324,"ĠпÑĢавдоподобн":134325,"ĠпÑĢавиÑĤелÑĮÑģÑĤв":134326,"ĠпÑĢевÑĢаÑĤиÑĤÑĮÑģÑı":134327,"ĠпÑĢевÑĢаÑīаÑİÑĤÑģÑı":134328,"ĠпÑĢедоÑĤвÑĢаÑīен":134329,"ĠпÑĢедполагаÑĤÑĮ":134330,"ĠпÑĢедÑģказаниÑı":134331,"ĠпÑĢедÑĥпÑĢеждал":134332,"ĠпÑĢедÑĥпÑĢежден":134333,"ĠпÑĢеодолеваÑĤÑĮ":134334,"ĠпÑĢеподаваниÑı":134335,"ĠпÑĢепÑıÑĤÑģÑĤвÑĥеÑĤ":134336,"ĠпÑĢеÑģледоваÑĤÑĮ":134337,"ĠпÑĢеÑģÑĤÑĥпноÑģÑĤи":134338,"ĠпÑĢиваÑĤизаÑĨии":134339,"ĠпÑĢинадлежало":134340,"ĠпÑĢогÑĢеÑģÑģивно":134341,"ĠпÑĢодолжаÑĤÑĮÑģÑı":134342,"ĠпÑĢодолжением":134343,"ĠпÑĢомÑĭÑĪленнÑĭе":134344,"ĠпÑĢониÑĨаÑĤелÑĮн":134345,"ĠпÑĢоÑĦилакÑĤики":134346,"ĠÑĢабоÑĤодаÑĤелÑı":134347,"ĠÑĢадиоакÑĤивно":134348,"ĠÑĢаздÑĢажиÑĤелÑĮ":134349,"ĠÑĢазнообÑĢазно":134350,"ĠÑĢаÑģпоÑĢÑıдилÑģÑı":134351,"ĠÑĢаÑģпоÑĢÑıжениÑİ":134352,"ĠÑĢаÑģÑģмоÑĤÑĢениÑİ":134353,"ĠÑĢаÑģÑģÑĤÑĢойÑģÑĤво":134354,"ĠÑĢаÑģÑģÑĩиÑĤÑĭваеÑĤ":134355,"ĠÑĢеабилиÑĤаÑĨии":134356,"ĠÑĢегионалÑĮной":134357,"ĠÑĢекомендаÑĨий":134358,"ĠÑĢекомендаÑĨиÑı":134359,"ĠÑĢекомендован":134360,"ĠÑģвоеобÑĢазнÑĭм":134361,"ĠÑģовеÑĢÑĪенÑģÑĤвÑĥ":134362,"ĠÑģовÑĢеменнÑĭми":134363,"ĠÑģоединиÑĤелÑĮн":134364,"ĠÑģопеÑĢниÑĩеÑģÑĤв":134365,"ĠÑģопÑĢовождаÑĤÑĮ":134366,"ĠÑģоÑģÑĤавлÑıÑİÑīей":134367,"ĠÑģоÑĤÑĢÑĥдниÑĩаÑĤÑĮ":134368,"ĠÑģпеÑĨиализиÑĢÑĥ":134369,"ĠÑģпеÑĨиалÑĮнÑĭми":134370,"ĠÑģпоÑģобÑģÑĤвÑĥÑİÑī":134371,"ĠÑģÑĤабилизаÑĨии":134372,"ĠÑģÑĤабилÑĮноÑģÑĤÑĮ":134373,"ĠÑģÑĤалкиваеÑĤÑģÑı":134374,"ĠÑģÑĤалкиваÑİÑĤÑģÑı":134375,"ĠÑģÑĤолкновений":134376,"ĠÑģÑĤоÑĢонниками":134377,"ĠÑģÑĥÑīеÑģÑĤвеннÑĭм":134378,"ĠÑģÑĥÑīеÑģÑĤвÑĥÑİÑīей":134379,"ĠÑģÑĥÑīеÑģÑĤвÑĥÑİÑīим":134380,"ĠÑĤеаÑĤÑĢалÑĮного":134381,"ĠÑĤемпеÑĢаÑĤÑĥÑĢой":134382,"ĠÑĤеÑĢминологии":134383,"ĠÑĤÑĢадиÑĨионнÑĭй":134384,"ĠÑĤÑĢанÑģпоÑĢÑĤной":134385,"ĠÑĤÑĢанÑģпоÑĢÑĤнÑĭе":134386,"ĠÑĤÑĢебоваÑĤелÑĮн":134387,"ĠÑĥпÑĢавлÑıÑİÑīего":134388,"ĠÑĥÑģÑĤановлении":134389,"ĠÑĥÑĤвеÑĢждаеÑĤÑģÑı":134390,"ĠÑĦоÑĢмиÑĢованиÑİ":134391,"ĠÑĩеловеÑĩеÑģкÑĥÑİ":134392,"ĠÑĩеловеÑĩеÑģÑĤвÑĥ":134393,"ĠÑįлеменÑĤаÑĢнÑĭÑħ":134394,"ĠÑįÑĦÑĦекÑĤивного":134395,"ÐĶалÑĮневоÑģÑĤоÑĩн":134396,"беÑģÑģознаÑĤелÑĮн":134397,"коммÑĥникаÑĤивн":134398,"полÑĮзовавÑĪиÑģÑĮ":134399,"ÑĢеволÑİÑĨионной":134400,"ÑĢеволÑİÑĨионнÑĭе":134401,"ÑĢеволÑİÑĨионнÑĭй":134402,"ÑħÑĢонологиÑĩеÑģк":134403,"ĠÐIJлекÑģандÑĢовна":134404,"ĠÐIJÑĢÑħангелÑĮÑģкой":134405,"ĠÐĴÑģеÑĢоÑģÑģийÑģкой":134406,"ĠÐĺÑģÑģледоваÑĤели":134407,"ĠÐļÑĢаÑģнознамÑijнн":134408,"ĠÐĿижегоÑĢодÑģкой":134409,"ĠÐŁÑĢимеÑĩаÑĤелÑĮно":134410,"ĠЧеÑĢномоÑĢÑģкого":134411,"ĠавÑĤомобилÑĮной":134412,"ĠавÑĤоÑĤÑĢанÑģпоÑĢÑĤ":134413,"ĠамеÑĢиканÑģкими":134414,"ĠанализиÑĢоваÑĤÑĮ":134415,"ĠбеÑģконеÑĩноÑģÑĤи":134416,"ĠбиологиÑĩеÑģкой":134417,"ĠблагодаÑĢноÑģÑĤи":134418,"ĠблагоÑģловение":134419,"ĠболÑĮÑĪевиÑģÑĤÑģко":134420,"Ġвозникновении":134421,"ĠвозникновениÑİ":134422,"ĠвоÑģпÑĢоизводиÑĤ":134423,"ĠгеополиÑĤиÑĩеÑģк":134424,"ĠдемогÑĢаÑĦиÑĩеÑģк":134425,"ĠдемонÑģÑĤÑĢиÑĢÑĥÑİÑĤ":134426,"ĠдиÑĦÑĦеÑĢенÑĨиаÑĨи":134427,"ĠдобÑĢожелаÑĤелÑĮ":134428,"ĠдобÑĢоÑģовеÑģÑĤно":134429,"ĠдоÑģÑĤовеÑĢноÑģÑĤÑĮ":134430,"ĠзадолженноÑģÑĤи":134431,"ĠзаÑĦикÑģиÑĢовано":134432,"ĠзнаÑĩиÑĤелÑĮного":134433,"ĠиденÑĤиÑĦикаÑĤоÑĢ":134434,"ĠиденÑĤиÑĦикаÑĨии":134435,"ĠизбиÑĢаÑĤелÑĮной":134436,"ĠиндÑĥÑģÑĤÑĢиалÑĮно":134437,"ĠинÑĤеÑĢеÑģовалÑģÑı":134438,"ĠиÑģкÑĥÑģÑģÑĤвеннÑĭÑħ":134439,"ĠклаÑģÑģиÑĦикаÑĨиÑı":134440,"ĠколиÑĩеÑģÑĤвенно":134441,"ĠлекаÑĢÑģÑĤвеннÑĭÑħ":134442,"ĠликвидиÑĢоваÑĤÑĮ":134443,"ĠмеждÑĥнаÑĢоднаÑı":134444,"ĠмеÑĤаллиÑĩеÑģкие":134445,"ĠмеÑĤаллиÑĩеÑģкиÑħ":134446,"ĠмеÑĤÑĢополиÑĤена":134447,"ĠмиÑĢовоззÑĢение":134448,"ĠмиÑĢовоззÑĢениÑı":134449,"ĠмоделиÑĢованиÑı":134450,"ĠнаÑģилÑĮÑģÑĤвенно":134451,"ĠнаÑģледÑģÑĤвенно":134452,"ĠнаÑģÑĩиÑĤÑĭваеÑĤÑģÑı":134453,"ĠнеопÑĢеделенно":134454,"ĠнÑĢавÑģÑĤвенного":134455,"ĠобоÑĢÑĥдованием":134456,"ĠоконÑĩаÑĤелÑĮнÑĭй":134457,"ĠоÑģÑĥÑīеÑģÑĤвлении":134458,"ĠоÑĤвеÑĤÑģÑĤвеннÑĭм":134459,"ĠоÑĤÑĢиÑĨаÑĤелÑĮнÑĭе":134460,"ĠпаÑĢламенÑĤÑģкиÑħ":134461,"ĠпеÑĢпендикÑĥлÑıÑĢ":134462,"ĠподозÑĢиÑĤелÑĮно":134463,"ĠпознакомилиÑģÑĮ":134464,"ĠположиÑĤелÑĮнÑĭм":134465,"ĠположиÑĤелÑĮнÑĭÑħ":134466,"ĠпоÑģледÑģÑĤвиÑıми":134467,"ĠпоÑģÑĢедниÑĩеÑģÑĤв":134468,"ĠпÑĢакÑĤиÑĩеÑģкого":134469,"ĠпÑĢедназнаÑĩенÑĭ":134470,"ĠпÑĢедоÑģÑĤавлÑıÑĤÑĮ":134471,"ĠпÑĢедоÑģÑĤавлÑıÑİÑĤ":134472,"ĠпÑĢедÑĪеÑģÑĤвовал":134473,"ĠпÑĢеÑģледование":134474,"ĠпÑĢинадлежаÑīиÑħ":134475,"ĠпÑĢоизводиÑĤели":134476,"ĠпÑĢоникновениÑı":134477,"ĠпÑĢÑıмоÑĥголÑĮник":134478,"ĠпÑģиÑħоÑĤеÑĢапевÑĤ":134479,"ĠÑĢазÑĢабаÑĤÑĭваÑĤÑĮ":134480,"ĠÑĢазÑĢабоÑĤÑĩикам":134481,"ĠÑĢаÑģположеннаÑı":134482,"ĠÑĢаÑģположенном":134483,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢанил":134484,"ĠÑĢаÑģÑģмаÑĤÑĢиваÑİÑĤ":134485,"ĠÑĢегÑĥлиÑĢование":134486,"ĠÑĢеконÑģÑĤÑĢÑĥкÑĨиÑı":134487,"ĠÑĢеоÑĢганизаÑĨии":134488,"ĠÑģловоÑģоÑĩеÑĤани":134489,"ĠÑģниÑģÑħодиÑĤелÑĮн":134490,"ĠÑģопÑĢовождениÑı":134491,"ĠÑģоÑģÑĢедоÑĤоÑĩива":134492,"ĠÑģпÑĢоекÑĤиÑĢован":134493,"ĠÑģÑĢедневековÑĭÑħ":134494,"ĠÑģÑĤиÑħоÑĤвоÑĢении":134495,"ĠÑģÑĥÑīеÑģÑĤвованиÑİ":134496,"ĠÑģÑĥÑīеÑģÑĤвÑĥÑİÑīего":134497,"ĠÑģÑĦоÑĢмÑĥлиÑĢовал":134498,"ĠÑĤеоÑĢеÑĤиÑĩеÑģкиÑħ":134499,"ĠÑĤеÑĢапевÑĤиÑĩеÑģк":134500,"ĠÑĤÑĢадиÑĨионного":134501,"ĠÑĤÑĢанÑģÑĦоÑĢмаÑĤоÑĢ":134502,"ĠÑĤÑĢанÑģÑĦоÑĢмаÑĨии":134503,"ĠÑĥдивиÑĤелÑĮного":134504,"ĠÑĥÑģÑĤанавливаÑİÑĤ":134505,"ĠÑĥÑģÑĤановленной":134506,"ĠÑĦÑĥнкÑĨиониÑĢÑĥеÑĤ":134507,"ĠÑħозÑıйÑģÑĤвеннÑĭÑħ":134508,"ĠÑħÑĥдожеÑģÑĤвенно":134509,"ĠÑįкономиÑĩеÑģкое":134510,"ĠÑįкономиÑĩеÑģкÑĥÑİ":134511,"ĠÑįкÑģплÑĥаÑĤиÑĢова":134512,"ĠÑįлекÑĤÑĢиÑĩеÑģкие":134513,"ĠÑįлекÑĤÑĢиÑĩеÑģкий":134514,"ĠÑįлекÑĤÑĢиÑĩеÑģÑĤва":134515,"ĠÑįмоÑĨионалÑĮной":134516,"квалиÑĦикаÑĨионн":134517,"ÑįкономиÑĩеÑģкого":134518,"ĠÐĶнепÑĢопеÑĤÑĢовÑģк":134519,"ĠÐĺмпеÑĢаÑĤоÑĢÑģкого":134520,"ĠÐŁÐ¾ÑģÑĤановлением":134521,"ĠаÑĢÑĤиллеÑĢийÑģкий":134522,"ĠаÑĢÑĤиллеÑĢийÑģкой":134523,"ĠвоÑģполÑĮзовалÑģÑı":134524,"ĠвоÑģÑģÑĤановлении":134525,"ĠвоÑģÑģÑĤановлениÑİ":134526,"ĠгеогÑĢаÑĦиÑĩеÑģкиÑħ":134527,"ĠдиÑĦÑĦеÑĢенÑĨиалÑĮн":134528,"ĠдоговоÑĢенноÑģÑĤи":134529,"ĠдополниÑĤелÑĮнÑĥÑİ":134530,"ĠзаинÑĤеÑĢеÑģованÑĭ":134531,"ĠзаконодаÑĤелÑĮно":134532,"ĠимпеÑĢаÑĤоÑĢÑģкого":134533,"ĠиндивидÑĥалÑĮнÑĭм":134534,"ĠиÑģполÑĮзовалоÑģÑĮ":134535,"ĠиÑģÑĤÑĢебиÑĤелÑĮной":134536,"ĠмаÑĤемаÑĤиÑĩеÑģкой":134537,"ĠмаÑĪиноÑģÑĤÑĢоениÑı":134538,"ĠмодеÑĢнизиÑĢован":134539,"ĠнапÑĢавленноÑģÑĤи":134540,"ĠнапÑĢавленноÑģÑĤÑĮ":134541,"ĠнÑĢавÑģÑĤвенноÑģÑĤи":134542,"ĠобеÑģпеÑĩиваеÑĤÑģÑı":134543,"ĠоконÑĩаÑĤелÑĮного":134544,"ĠоÑģÑĥÑīеÑģÑĤвлÑıÑİÑĤÑģÑı":134545,"ĠподдеÑĢживаеÑĤÑģÑı":134546,"ĠпÑĢавонаÑĢÑĥÑĪениÑı":134547,"ĠпÑĢедоÑģÑĤавлении":134548,"ĠпÑĢедÑģÑĤавиÑĤелÑıм":134549,"ĠпÑĢеобÑĢазований":134550,"ĠпÑĢидеÑĢживаÑĤÑĮÑģÑı":134551,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвÑĥÑİÑīиÑħ":134552,"ĠпÑĢоекÑĤиÑĢование":134553,"ĠпÑĢоÑĤивоÑģÑĤоÑıние":134554,"ĠпÑĢоÑĤивоÑģÑĤоÑıниÑı":134555,"ĠÑĢаÑģположенного":134556,"ĠÑĢаÑģÑģказÑĭваеÑĤÑģÑı":134557,"ĠÑĢаÑģÑĤиÑĤелÑĮноÑģÑĤÑĮ":134558,"ĠÑģобÑģÑĤвенноÑģÑĤÑĮÑİ":134559,"ĠÑģоÑĤÑĢÑĥдниÑĩеÑģÑĤвÑĥ":134560,"ĠÑģÑĦоÑĢмÑĥлиÑĢоваÑĤÑĮ":134561,"ĠÑĥÑģÑĤановленного":134562,"ĠÑĦÑĥндаменÑĤалÑĮно":134563,"ĠÑħÑĥдожеÑģÑĤвенное":134564,"ĠÑħÑĥдожеÑģÑĤвеннÑĭе":134565,"ĠÑħÑĥдожеÑģÑĤвеннÑĭм":134566,"изводиÑĤелÑĮноÑģÑĤÑĮ":134567,"маÑĤемаÑĤиÑĩеÑģкого":134568,"ÑĤеÑĢÑĢиÑĤоÑĢиалÑĮной":134569,"ĠÐIJзеÑĢбайджанÑģкой":134570,"ĠÐĵлавнокомандÑĥÑİÑī":134571,"ĠÐĶемокÑĢаÑĤиÑĩеÑģкой":134572,"ĠÐļонÑģÑĤанÑĤинополе":134573,"ĠавÑĤомаÑĤиÑĩеÑģкого":134574,"ĠдипломаÑĤиÑĩеÑģкие":134575,"ĠдипломаÑĤиÑĩеÑģкиÑħ":134576,"ĠдоказаÑĤелÑĮÑģÑĤвом":134577,"ĠинÑĦоÑĢмаÑĨионного":134578,"ĠиÑģполниÑĤелÑĮного":134579,"ĠкаÑĤаÑģÑĤÑĢоÑĦиÑĩеÑģки":134580,"ĠмаÑĪиноÑģÑĤÑĢоиÑĤелÑĮ":134581,"ĠналогообложениÑı":134582,"ĠнедоÑģÑĤаÑĤоÑĩноÑģÑĤи":134583,"ĠнедоÑģÑĤаÑĤоÑĩноÑģÑĤÑĮ":134584,"ĠнезамедлиÑĤелÑĮно":134585,"ĠоÑĢиенÑĤиÑĢоваÑĤÑĮÑģÑı":134586,"ĠоÑģÑĤанавливаÑĤÑĮÑģÑı":134587,"ĠпедагогиÑĩеÑģкого":134588,"ĠпеÑĢвонаÑĩалÑĮного":134589,"ĠпокÑĢовиÑĤелÑĮÑģÑĤво":134590,"ĠпÑĢедваÑĢиÑĤелÑĮной":134591,"ĠпÑĢедваÑĢиÑĤелÑĮнÑĭм":134592,"ĠпÑĢедназнаÑĩеннÑĭе":134593,"ĠпÑĢедназнаÑĩеннÑĭÑħ":134594,"ĠпÑĢедоÑģÑĤавлÑıеÑĤÑģÑı":134595,"ĠпÑĢедÑģедаÑĤелÑĮÑģÑĤв":134596,"ĠпÑĢивилегиÑĢованн":134597,"ĠпÑĢоÑĤиводейÑģÑĤвиÑı":134598,"ĠпÑĢоÑĤивоположной":134599,"ĠпÑĢоÑĤивоположном":134600,"ĠпÑĢоÑĤивоположнÑĭÑħ":134601,"ĠпÑģиÑħологиÑĩеÑģкие":134602,"ĠпÑģиÑħологиÑĩеÑģкий":134603,"ĠÑĢазведÑĭваÑĤелÑĮно":134604,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢанениÑİ":134605,"ĠÑģоÑģÑĢедоÑĤоÑĩиÑĤÑĮÑģÑı":134606,"ĠÑģÑĤÑĢаÑĤегиÑĩеÑģкого":134607,"ĠÑĤеÑħнологиÑĩеÑģкиÑħ":134608,"ĠÑĥдовлеÑĤвоÑĢиÑĤелÑĮ":134609,"ĠÑĦÑĥндаменÑĤалÑĮнÑĭÑħ":134610,"ĠÑĨеленапÑĢавленно":134611,"ĠÑĨенÑĤÑĢализованно":134612,"гоÑģÑĥдаÑĢÑģÑĤвеннÑĭми":134613,"демокÑĢаÑĤиÑĩеÑģкого":134614,"конкÑĥÑĢенÑĤоÑģпоÑģоб":134615,"непоÑģÑĢедÑģÑĤвеннÑĭм":134616,"овеÑĢÑĪенÑģÑĤвование":134617,"одоÑħозÑıйÑģÑĤвеннÑĭй":134618,"оммÑĥниÑģÑĤиÑĩеÑģкого":134619,"пÑĢедÑĪеÑģÑĤвенников":134620,"пÑĢоанализиÑĢоваÑĤÑĮ":134621,"пÑĢоизводÑģÑĤвенной":134622,"пÑĢоизводÑģÑĤвеннÑĭе":134623,"пÑĢоÑĦеÑģÑģионалÑĮнÑĥÑİ":134624,"пÑĢоÑĦеÑģÑģионалÑĮнÑĭм":134625,"ÑĢаÑģпÑĢоÑģÑĤÑĢанÑıÑĤÑĮÑģÑı":134626,"ÑĢаÑģпÑĢоÑģÑĤÑĢанÑıÑİÑĤÑģÑı":134627,"ÑģовеÑĢÑĪеннолеÑĤниÑħ":134628,"ÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīими":134629,"ÑģÑģледоваÑĤелÑĮÑģкий":134630,"ÑģÑģледоваÑĤелÑĮÑģкиÑħ":134631,"ÑĤеÑĢÑĢиÑĤоÑĢиалÑĮного":134632,"ÑĥдовлеÑĤвоÑĢиÑĤелÑĮн":134633,"ÑĩÑĥвÑģÑĤвиÑĤелÑĮноÑģÑĤи":134634,"ĠÑij":134635,"Ìģг":134636,"ÌģÑĪ":134637,"ÐIJп":134638,"ÐijÐļ":134639,"ÐĴÐļ":134640,"ÐĴФ":134641,"ÐĶÐĸ":134642,"ÐĺÑĢ":134643,"ÐļÐķ":134644,"Ðļв":134645,"ÐľÐij":134646,"ÐľÐĹ":134647,"ÐľÐľ":134648,"ÐĿЦ":134649,"ÐŀФ":134650,"ÐŁÐľ":134651,"ÐŁÐ§":134652,"ÐŁÐ»":134653,"ÐłÐĽ":134654,"ÐłÐ®":134655,"СÐĹ":134656,"ТÐĹ":134657,"Ð¢Ðľ":134658,"УУ":134659,"УЧ":134660,"Уд":134661,"ЧÐļ":134662,"ÐŃЦ":134663,"Ð®Ðł":134664,"ЮТ":134665,"ЮÑĢ":134666,"бÑī":134667,"йÑĨ":134668,"км":134669,"лн":134670,"мг":134671,"мÑģ":134672,"мÑĩ":134673,"ÑĢÑĪ":134674,"Ñįб":134675,"ÑİÑĩ":134676,"ÑıÑİ":134677,"DOS":134678,"VII":134679,"XII":134680,"XIX":134681,"XVI":134682,"bou":134683,"gul":134684,"hik":134685,"hle":134686,"hut":134687,"ibb":134688,"kka":134689,"zzi":134690,"ĠÐĴÐĽ":134691,"ĠÐĵÑİ":134692,"ĠÐļÐŀ":134693,"ĠÐļв":134694,"ĠÐļÑģ":134695,"ĠÐľÐ¥":134696,"ĠСн":134697,"ĠСÑĬ":134698,"ĠФÐĺ":134699,"ĠЦз":134700,"ĠЦÑİ":134701,"ĠаÑĥ":134702,"Ġвл":134703,"Ġез":134704,"Ġжг":134705,"Ġжд":134706,"ĠжÑĥ":134707,"Ġзм":134708,"Ġив":134709,"Ġми":134710,"ĠнÑĭ":134711,"Ġол":134712,"ĠпÑİ":134713,"ĠÑģÑĦ":134714,"ĠÑĪи":134715,"ĠÑįз":134716,"ĠÑıб":134717,"ĠÑıÑĩ":134718,"ĠÑıÑī":134719,"ĠÑijм":134720,"ÌģÑģÑĮ":134721,"ÐIJÐľÐĺ":134722,"ÐIJÐĿÐĶ":134723,"ÐIJÐłÐļ":134724,"ÐIJÐłÐ¢":134725,"ÐijÐŀÐł":134726,"Ðijав":134727,"ÐijиÑģ":134728,"ÐĴÐķÐĶ":134729,"ÐĴÐŀÐĶ":134730,"ÐĴан":134731,"ÐĴег":134732,"ÐĴеÑģ":134733,"ÐĴик":134734,"ÐĴой":134735,"ÐĵÐŀÐĽ":134736,"ÐĶÐķÐĿ":134737,"ÐĶÐķÐł":134738,"ÐĶÐĺÐĿ":134739,"ÐĶал":134740,"ÐĶаÑĢ":134741,"ÐĶиÑĢ":134742,"ÐĶоб":134743,"ÐĶок":134744,"ÐķÐĴÐIJ":134745,"ÐķÐļТ":134746,"ÐķСС":134747,"ÐķÑģÑĤ":134748,"ÐķÑīе":134749,"Ðĸел":134750,"ÐĸеÑĢ":134751,"Ðĸиз":134752,"ÐĸÑĥÑĢ":134753,"ÐĹÐłÐļ":134754,"ÐĹам":134755,"ÐĹаÑĩ":134756,"ÐĹем":134757,"ÐĹеÑĢ":134758,"ÐĺÐĶÐķ":134759,"ÐĺÐĹÐľ":134760,"ÐĺÐľÐŀ":134761,"ÐĺЧÐķ":134762,"ÐĺнÑĤ":134763,"ÐĺÑģк":134764,"ÐĺÑģп":134765,"ÐļÐIJÐĹ":134766,"ÐļÐĺÐĿ":134767,"ÐļÐłÐIJ":134768,"ÐļÐ¡Ðľ":134769,"ÐļиÑĢ":134770,"ÐļÑĢÑĭ":134771,"ÐĽÐķÐļ":134772,"ÐĽÐķТ":134773,"ÐĽÐĺТ":134774,"ÐĽÐµÑĤ":134775,"ÐľÐIJТ":134776,"ÐľÐķТ":134777,"ÐľÐĺÐĿ":134778,"ÐľÐĺÐł":134779,"ÐľÐ°Ñı":134780,"ÐľÐ¾Ð³":134781,"ÐľÑĥж":134782,"ÐľÑĥÑĢ":134783,"ÐĿÐķТ":134784,"ÐŀÐijÐł":134785,"ÐŀÐłÐ¢":134786,"ÐŀбÑī":134787,"ÐŀÑĢл":134788,"ÐŁÐIJС":134789,"ÐŁÐĺС":134790,"ÐŁÐ°ÑĤ":134791,"ÐŁÐ¾Ñį":134792,"ÐłÐIJÐij":134793,"ÐłÐIJТ":134794,"ÐłÐķÐĿ":134795,"ÐłÐķТ":134796,"ÐłÐĺТ":134797,"ÐłÐŀÐľ":134798,"ÐłÐŀÐĿ":134799,"ÐłÐ£Ð¡":134800,"ÐłÐµÐ½":134801,"ÐłÐ¾Ð·":134802,"ÐłÐ¾Ð¼":134803,"ÐłÑĥб":134804,"СÐļÐĺ":134805,"СТÐĴ":134806,"Сад":134807,"Сев":134808,"Ски":134809,"СÑĤа":134810,"СÑĤи":134811,"СÑĥб":134812,"СÑĭн":134813,"ТÐIJТ":134814,"ТÐķÐĽ":134815,"ТÐŀÐĽ":134816,"Ð¢ÐłÐIJ":134817,"Ð¢ÐłÐĺ":134818,"Ð¢Ð£Ðł":134819,"ТиÑħ":134820,"ТÑĢо":134821,"ТÑıж":134822,"УкÑĢ":134823,"Уни":134824,"ФÑĥÑĤ":134825,"Ð¥ÐŀÐĶ":134826,"Хол":134827,"Ð¥ÑĮÑİ":134828,"Чел":134829,"ЧÑijÑĢ":134830,"ÐŃко":134831,"ÐŃнд":134832,"ÐŃÑĤа":134833,"ÐŃÑĤи":134834,"ÐŃÑħо":134835,"авз":134836,"адо":134837,"айо":134838,"акÑĢ":134839,"алк":134840,"алÑĥ":134841,"анÑħ":134842,"анÑı":134843,"аÑĢг":134844,"аÑĢÑĢ":134845,"аÑĤÑĥ":134846,"аÑĥÑĢ":134847,"аÑĩÑĮ":134848,"аÑijÑĤ":134849,"гег":134850,"гоÑĦ":134851,"даÑħ":134852,"деп":134853,"дзе":134854,"дио":134855,"днÑĭ":134856,"еве":134857,"евн":134858,"едÑĢ":134859,"ейÑĤ":134860,"еке":134861,"екк":134862,"еоÑĢ":134863,"еÑģл":134864,"еÑħÑĤ":134865,"жел":134866,"жÑįн":134867,"жÑijл":134868,"зап":134869,"зва":134870,"зеÑĦ":134871,"иви":134872,"ивк":134873,"идÑĢ":134874,"иеÑĢ":134875,"изи":134876,"ийн":134877,"имÑĭ":134878,"иÑĨк":134879,"иÑĨÑĨ":134880,"иÑĩк":134881,"иÑĪк":134882,"иÑīÑĥ":134883,"йÑģк":134884,"кеп":134885,"кеÑģ":134886,"киÑĪ":134887,"лоÑģ":134888,"лÑİÑī":134889,"лÑijй":134890,"лÑijк":134891,"маж":134892,"нае":134893,"неб":134894,"ниÑĢ":134895,"нол":134896,"нÑĥÑģ":134897,"обÑģ":134898,"овк":134899,"овÑı":134900,"оги":134901,"оеÑĨ":134902,"ожи":134903,"ойл":134904,"оки":134905,"окк":134906,"олд":134907,"оми":134908,"опл":134909,"оÑĢÑĢ":134910,"оÑīÑĢ":134911,"пÑĥз":134912,"пÑĭÑĤ":134913,"ÑĢаÑı":134914,"ÑĢеи":134915,"ÑĢеÑĢ":134916,"ÑĢÑĭб":134917,"ÑĢÑıж":134918,"ÑĢÑıÑħ":134919,"ÑĢÑıÑī":134920,"ÑģаÑħ":134921,"Ñģий":134922,"ÑģиÑĦ":134923,"ÑģÑĥÑĪ":134924,"ÑģÑĭÑĢ":134925,"ÑģÑıг":134926,"ÑģÑıÑĨ":134927,"ÑĤиз":134928,"ÑĤиÑĨ":134929,"ÑĤÑĭÑĪ":134930,"ÑĤÑĮÑı":134931,"ÑĥвÑĢ":134932,"ÑĥдÑĭ":134933,"Ñĥил":134934,"Ñĥлк":134935,"Ñĥми":134936,"Ñĥнн":134937,"Ñĥпк":134938,"Ñĥпн":134939,"ÑĥÑĢк":134940,"ÑĥÑģл":134941,"ÑĥÑĪн":134942,"ÑĥÑīи":134943,"ÑĦол":134944,"ÑĦÑĦе":134945,"ÑħÑįÑĤ":134946,"ÑĨан":134947,"ÑĨаÑĤ":134948,"ÑĨиÑĢ":134949,"ÑĨоÑĢ":134950,"Ñĩег":134951,"ÑĩиÑĨ":134952,"ÑĩиÑĩ":134953,"ÑĩÑĩо":134954,"ÑĪиз":134955,"ÑĪип":134956,"ÑĪиÑĦ":134957,"ÑĪоÑĤ":134958,"ÑīÑĥÑĢ":134959,"ÑīÑijв":134960,"ÑĬÑİн":134961,"ÑĭвÑĪ":134962,"ÑĭгÑĢ":134963,"Ñĭжн":134964,"Ñĭма":134965,"ÑĭÑģи":134966,"ÑĭÑĩк":134967,"ÑĮÑijв":134968,"Ñįли":134969,"ÑįнÑĤ":134970,"ÑįÑģк":134971,"ÑįÑĤи":134972,"Ñİме":134973,"Ñİмк":134974,"ÑİÑĪн":134975,"ÑİÑīи":134976,"Ñıбл":134977,"ÑıвÑĥ":134978,"ÑıгÑĥ":134979,"Ñıдн":134980,"Ñıзк":134981,"ÑıзÑĮ":134982,"ÑijвÑĢ":134983,"ÑijкÑĥ":134984,"ÑijлÑĮ":134985,"Ñijнк":134986,"ÑijÑĤк":134987,"ĠEpi":134988,"Ġfli":134989,"Ġphr":134990,"AIDS":134991,"Cycl":134992,"VIII":134993,"XIII":134994,"abba":134995,"anci":134996,"aunt":134997,"bitr":134998,"ccum":134999,"chel":135000,"dell":135001,"eira":135002,"ggle":135003,"grin":135004,"gust":135005,"horr":135006,"kara":135007,"lair":135008,"limb":135009,"plic":135010,"ppen":135011,"spor":135012,"stru":135013,"synd":135014,"uery":135015,"witt":135016,"ĠÐIJпп":135017,"ĠÐijÐľÐŁ":135018,"ĠÐijÐ¢Ðł":135019,"ĠÐijав":135020,"ĠÐijиб":135021,"ĠÐijлÑİ":135022,"ĠÐijÑĢÑį":135023,"ĠÐijÑĥÑį":135024,"ĠÐĴÐĺЧ":135025,"ĠÐĴЧÐļ":135026,"ĠÐĴав":135027,"ĠÐĴаж":135028,"ĠÐĴеб":135029,"ĠÐĴей":135030,"ĠÐĵÐIJÐĹ":135031,"ĠÐĵÐłÐ£":135032,"ĠÐĵаÑĤ":135033,"ĠÐĵеб":135034,"ĠÐĵип":135035,"ĠÐĵоÑĦ":135036,"ĠÐĵÑĥÑĤ":135037,"ĠÐķÑĢм":135038,"ĠÐĸиÑĤ":135039,"ĠÐĸол":135040,"ĠÐĸоÑĢ":135041,"ĠÐĸÑĥк":135042,"ĠÐĹав":135043,"ĠÐĺзм":135044,"ĠÐĺзÑı":135045,"ĠÐĺÑģл":135046,"ĠÐĻен":135047,"ĠÐļÐIJÐļ":135048,"ĠÐļаÑĦ":135049,"ĠÐļиÑģ":135050,"ĠÐļиÑħ":135051,"ĠÐļиÑĪ":135052,"ĠÐļÑĥв":135053,"ĠÐļÑįÑĢ":135054,"ĠÐĽÐĿÐł":135055,"ĠÐĽÐ°Ð±":135056,"ĠÐĽÐµÐ¶":135057,"ĠÐĽÐ¸Ð±":135058,"ĠÐĽÑĮв":135059,"ĠÐľÐĴФ":135060,"ĠÐľÐĵÑĨ":135061,"ĠÐľÐµÑĪ":135062,"ĠÐĿÐĶС":135063,"ĠÐĿТÐĴ":135064,"ĠÐĿоб":135065,"ĠÐŀУÐĿ":135066,"ĠÐŀлд":135067,"ĠÐŀли":135068,"ĠÐŀÑĤÑĤ":135069,"ĠÐŁÐ°Ð±":135070,"ĠÐŁÐµÑĪ":135071,"ĠÐłÐijÐļ":135072,"ĠÐłÐŁÐ¦":135073,"ĠÐłÐµÐº":135074,"ĠÐłÐµÑĢ":135075,"ĠÐłÐµÑĨ":135076,"ĠÐłÐ¸ÑĪ":135077,"ĠÐłÐ¾Ð»":135078,"ĠСеб":135079,"ĠСод":135080,"ĠСом":135081,"ĠСоп":135082,"ĠСÑĥÑħ":135083,"ĠТÐŃЦ":135084,"ĠТав":135085,"ĠТоÑĩ":135086,"ĠТÑĥл":135087,"ĠТÑĥÑħ":135088,"ĠÐ£ÐŁÐļ":135089,"ĠУÑģÑĤ":135090,"ĠФад":135091,"ĠФол":135092,"ĠХад":135093,"ĠХел":135094,"ĠХин":135095,"ĠХон":135096,"ĠÐ¥Ñįм":135097,"ĠЧТÐŀ":135098,"ĠЧеб":135099,"ĠЧеÑĪ":135100,"ĠЧиÑĢ":135101,"ĠЧиÑĤ":135102,"ĠЧка":135103,"ĠЧÑĥб":135104,"ĠЧÑĥв":135105,"ĠШеÑĦ":135106,"ĠШип":135107,"ĠШон":135108,"ĠШоп":135109,"ĠШпи":135110,"ĠШÑĥв":135111,"ĠШÑĥÑĤ":135112,"ĠÐŃТÐŀ":135113,"ĠÐŃкв":135114,"ĠÐŃÑģк":135115,"ĠÐŃÑĤн":135116,"ĠЮÑģÑĤ":135117,"ĠЯйÑĨ":135118,"ĠЯкÑĥ":135119,"ĠЯнг":135120,"Ġабб":135121,"Ġакв":135122,"ĠакÑģ":135123,"Ġалл":135124,"ĠалÑĤ":135125,"ĠалÑĩ":135126,"Ġанн":135127,"ĠанÑĤ":135128,"ĠаÑĥÑĤ":135129,"Ġбам":135130,"Ġбоб":135131,"Ġвиб":135132,"ĠвиÑħ":135133,"Ġвож":135134,"ĠвÑĭм":135135,"Ġгеп":135136,"ĠгÑĥÑī":135137,"ĠдеÑģ":135138,"Ġдик":135139,"Ġдон":135140,"ĠеÑĢÑĥ":135141,"Ġзаж":135142,"Ġзом":135143,"ĠзÑĥд":135144,"ĠзÑĭб":135145,"Ġизв":135146,"Ġини":135147,"Ġйод":135148,"Ġкло":135149,"Ġлиз":135150,"ĠлиÑģ":135151,"ĠлоÑħ":135152,"ĠлоÑı":135153,"ĠлÑĥг":135154,"ĠмеÑĨ":135155,"Ġмим":135156,"Ġмкм":135157,"ĠмÑĥÑĪ":135158,"Ġнаж":135159,"Ġнай":135160,"Ġоаз":135161,"Ġопл":135162,"ĠоÑĢÑĦ":135163,"Ġпеп":135164,"ĠпоÑĨ":135165,"ĠпÑĮÑı":135166,"ĠÑĢÑĥл":135167,"ĠÑĢÑįп":135168,"ĠÑģаÑĢ":135169,"ĠÑģбÑĭ":135170,"ĠÑģиÑı":135171,"ĠÑģоÑĪ":135172,"ĠÑģпл":135173,"ĠÑģÑĤв":135174,"ĠÑģÑĥв":135175,"ĠÑģÑĭв":135176,"ĠÑĤеÑģ":135177,"ĠÑĥго":135178,"ĠÑĥÑģÑĭ":135179,"ĠÑĥÑİÑĤ":135180,"ĠÑĦал":135181,"ĠÑĦиÑĩ":135182,"ĠÑħеÑĪ":135183,"ĠÑħоб":135184,"ĠÑħÑĥй":135185,"ĠÑĨеÑģ":135186,"ĠÑĨин":135187,"ĠÑĩаÑİ":135188,"ĠÑĩÑĥÑĤ":135189,"ĠÑĪим":135190,"ĠÑĪиÑĦ":135191,"ĠÑīед":135192,"ĠÑıÑĩе":135193,"ÐIJТÐķÐĽ":135194,"ÐIJТУУ":135195,"ÐIJЦÐĺЯ":135196,"ÐIJвив":135197,"ÐIJмÑĥÑĢ":135198,"ÐIJпок":135199,"Ðijанк":135200,"ÐijеÑģÑģ":135201,"Ðijлаг":135202,"Ðijоже":135203,"ÐĴлад":135204,"ÐĴозд":135205,"ÐĵеÑĢм":135206,"Ðĵимн":135207,"Ðĵлоб":135208,"ÐĶеÑĢж":135209,"ÐĶеÑıн":135210,"ÐĶлин":135211,"ÐĶоÑģÑĤ":135212,"ÐĶÑĢак":135213,"ÐĶÑĢÑĥг":135214,"ÐĶÑĢÑĥж":135215,"ÐĶÑĮÑıв":135216,"ÐĹнам":135217,"ÐĺÐłÐŀÐĴ":135218,"ÐĺÑģкÑĢ":135219,"Ðļниж":135220,"ÐļнÑıж":135221,"ÐļÑĢик":135222,"ÐļÑĢÑĭм":135223,"ÐĽÐ°Ð½Ðº":135224,"ÐĽÐµÐ¹Ðº":135225,"ÐĽÐµÐ¾Ð½":135226,"ÐĽÑĥиÑģ":135227,"ÐĽÑİди":135228,"ÐľÐ°Ð¹Ð½":135229,"ÐľÐ°Ð½Ð¸":135230,"ÐľÐ°ÑĢÑĪ":135231,"ÐľÐµÐ´Ð¸":135232,"ÐľÐ¾Ð½Ð³":135233,"ÐĿоÑĢв":135234,"ÐĿоÑĢм":135235,"Ðŀдно":135236,"ÐŁÐ»Ð°ÑĤ":135237,"ÐŁÐ»ÑĥÑĤ":135238,"ÐŁÐ¾Ð»ÑĮ":135239,"ÐŁÐ¾ÑįÑĤ":135240,"ÐŁÑĢек":135241,"ÐŁÑĢин":135242,"ÐŁÑĢоÑī":135243,"ÐłÐ°Ð´Ð¸":135244,"ÐłÐ¾Ð¼Ðµ":135245,"ÐłÐ¾ÑģÑĤ":135246,"Ð¡Ð¡Ð¡Ðł":135247,"Ð¡Ð¢ÐłÐIJ":135248,"СкиÑĦ":135249,"След":135250,"Слов":135251,"СлÑĥÑĪ":135252,"СоÑĨи":135253,"СпÑĥÑĤ":135254,"Теле":135255,"УÑĤÑĢо":135256,"Фени":135257,"ЦвеÑĤ":135258,"ШейÑħ":135259,"ÐŃÑģÑĤе":135260,"абон":135261,"авин":135262,"агаÑģ":135263,"агаÑİ":135264,"агон":135265,"адеÑĢ":135266,"адоÑĢ":135267,"ажеÑĢ":135268,"азеп":135269,"азмÑĭ":135270,"азов":135271,"айно":135272,"акÑĤÑĥ":135273,"алид":135274,"алÑĮк":135275,"алÑĮм":135276,"алÑĮÑĦ":135277,"андж":135278,"анеÑĤ":135279,"анÑĩо":135280,"апиÑģ":135281,"апиÑĤ":135282,"апÑĤи":135283,"аÑĢаÑħ":135284,"аÑģки":135285,"аÑģÑĤа":135286,"аÑĤаи":135287,"аÑĤан":135288,"аÑĤиÑĤ":135289,"аÑĤÑģÑı":135290,"аÑĤÑĥм":135291,"аÑĤÑĭй":135292,"аÑĤÑĭÑĢ":135293,"аÑĤÑĮи":135294,"аÑħнÑĥ":135295,"аÑīее":135296,"аÑİÑīе":135297,"банд":135298,"бежн":135299,"беÑģп":135300,"блан":135301,"блаÑĤ":135302,"блег":135303,"блеи":135304,"бниÑĨ":135305,"бодж":135306,"бÑĢел":135307,"бÑĢÑĥк":135308,"бÑĢÑİк":135309,"валÑı":135310,"ванÑģ":135311,"ваÑĢÑĮ":135312,"века":135313,"веÑģк":135314,"веÑıн":135315,"взÑıÑĤ":135316,"винÑĤ":135317,"вкли":135318,"возм":135319,"вÑĢаÑĩ":135320,"гелÑı":135321,"гене":135322,"глин":135323,"гнав":135324,"гоме":135325,"гÑĢаб":135326,"гÑĢеÑĩ":135327,"гÑĥан":135328,"даÑĤÑĭ":135329,"двен":135330,"двеÑĢ":135331,"деÑĢг":135332,"джон":135333,"диан":135334,"длеж":135335,"дÑħаÑĢ":135336,"дÑıев":135337,"ебек":135338,"ебим":135339,"евал":135340,"егиÑı":135341,"едÑĢа":135342,"езем":135343,"езнÑĮ":135344,"ейки":135345,"ейно":135346,"екÑģи":135347,"екÑĤн":135348,"екÑĥн":135349,"елив":135350,"елÑĮк":135351,"елÑĮÑĦ":135352,"елÑıм":135353,"емеÑĤ":135354,"енаÑĤ":135355,"енга":135356,"ендÑĢ":135357,"ениÑĢ":135358,"енÑĭÑĪ":135359,"еÑĢди":135360,"еÑĢег":135361,"еÑĢиÑĨ":135362,"еÑģки":135363,"еÑģоÑİ":135364,"еÑģÑĤо":135365,"еÑĤие":135366,"еÑħов":135367,"еÑĨки":135368,"жаве":135369,"заим":135370,"замÑĭ":135371,"згод":135372,"зенÑĤ":135373,"зинÑĮ":135374,"злок":135375,"зоÑĢн":135376,"зÑĥÑĢÑĭ":135377,"зÑĭÑģк":135378,"ивен":135379,"иган":135380,"иенÑĤ":135381,"изан":135382,"икаÑĢ":135383,"илоÑİ":135384,"илÑĮÑģ":135385,"илÑijв":135386,"имеÑĩ":135387,"инÑĨи":135388,"ионн":135389,"иÑĢие":135390,"иÑĢиÑı":135391,"иÑĢом":135392,"иÑĢоÑģ":135393,"иÑģан":135394,"иÑģÑĤÑĢ":135395,"иÑĤил":135396,"иÑĨид":135397,"каÑĨи":135398,"каÑİÑī":135399,"кваÑĢ":135400,"квиз":135401,"кенÑģ":135402,"кипÑı":135403,"книг":135404,"кови":135405,"козÑĭ":135406,"колл":135407,"конÑĨ":135408,"кÑĢап":135409,"кÑĢем":135410,"кÑĢеÑī":135411,"кÑĢÑĥж":135412,"кÑĤÑĥÑĢ":135413,"лави":135414,"лавк":135415,"лажн":135416,"лазк":135417,"лаÑĤо":135418,"леги":135419,"ликÑĤ":135420,"лион":135421,"лодк":135422,"ложн":135423,"лойд":135424,"лонг":135425,"лоÑģÑģ":135426,"лÑĭÑĪи":135427,"лÑıÑĢи":135428,"лÑıÑħÑĤ":135429,"лÑijнн":135430,"мега":135431,"меÑĤк":135432,"моÑĤк":135433,"мÑĥÑĢÑĤ":135434,"мÑĦаÑĤ":135435,"неиз":135436,"ноÑģÑı":135437,"ноÑĤÑĭ":135438,"ноÑĩи":135439,"нÑĥвÑĪ":135440,"нÑĥÑģÑĮ":135441,"обÑĥз":135442,"овид":135443,"овÑģк":135444,"одоÑĤ":135445,"одÑĥÑĪ":135446,"озав":135447,"озиÑĤ":135448,"озÑĢи":135449,"окаÑĩ":135450,"олаз":135451,"олгÑĥ":135452,"олÑĮб":135453,"олÑıÑĢ":135454,"омиÑĢ":135455,"онно":135456,"опед":135457,"оплÑı":135458,"опов":135459,"опÑĢе":135460,"оÑĢии":135461,"оÑĢÑĥд":135462,"оÑĤан":135463,"оÑĤеÑħ":135464,"оÑĤоÑĩ":135465,"оÑĦан":135466,"оÑĦиз":135467,"оÑĩие":135468,"оÑĪиб":135469,"оÑĪин":135470,"оÑĪла":135471,"педо":135472,"пиÑģк":135473,"пиÑĪи":135474,"плоÑħ":135475,"плÑİÑģ":135476,"плÑİÑī":135477,"пнев":135478,"поÑģл":135479,"ппен":135480,"пÑģиÑģ":135481,"пÑģон":135482,"ÑĢабÑĢ":135483,"ÑĢагм":135484,"ÑĢажк":135485,"ÑĢажн":135486,"ÑĢанж":135487,"ÑĢаÑĤÑĭ":135488,"ÑĢаÑĦи":135489,"ÑĢаÑħм":135490,"ÑĢеби":135491,"ÑĢелл":135492,"ÑĢеÑģи":135493,"ÑĢибÑĥ":135494,"ÑĢиил":135495,"ÑĢиоÑĤ":135496,"ÑĢиÑĤв":135497,"ÑĢиÑīе":135498,"ÑĢови":135499,"ÑĢовÑĮ":135500,"ÑĢози":135501,"ÑĢойÑĤ":135502,"ÑĢоÑĩк":135503,"ÑĢÑĥем":135504,"ÑĢÑĭзг":135505,"ÑĢÑıми":135506,"ÑĢÑijÑģÑĤ":135507,"Ñģалм":135508,"Ñģиан":135509,"Ñģией":135510,"ÑģиÑģÑĤ":135511,"ÑģлÑĥÑĩ":135512,"Ñģолн":135513,"ÑģоÑĢи":135514,"ÑģÑĤÑĭл":135515,"ÑģÑĤÑıн":135516,"ÑģÑĥÑħо":135517,"ÑģÑħем":135518,"ÑģÑħол":135519,"ÑĤаÑĨи":135520,"ÑĤаÑĪе":135521,"ÑĤенн":135522,"ÑĤеÑģн":135523,"ÑĤеÑĩÑĮ":135524,"ÑĤике":135525,"ÑĤкан":135526,"ÑĤник":135527,"ÑĤовн":135528,"ÑĤоÑĢÑı":135529,"ÑĤÑĢид":135530,"ÑĤÑĢÑıÑħ":135531,"ÑĤÑĥан":135532,"ÑĤÑĥÑĢÑĥ":135533,"ÑĥбиÑĨ":135534,"Ñĥваж":135535,"ÑĥвÑĪе":135536,"Ñĥган":135537,"Ñĥдии":135538,"ÑĥднÑı":135539,"ÑĥдÑĢÑı":135540,"Ñĥжев":135541,"Ñĥзен":135542,"Ñĥказ":135543,"ÑĥлÑĮÑĨ":135544,"ÑĥлÑĮÑı":135545,"Ñĥмно":135546,"Ñĥнин":135547,"ÑĥÑĢÑĨÑĭ":135548,"ÑĥÑĤон":135549,"ÑĥÑĩÑĥк":135550,"ÑĥÑĩÑĩи":135551,"ÑĥÑĪие":135552,"ÑĦлоÑĤ":135553,"ÑĦÑĢан":135554,"ÑĦÑĢиÑĤ":135555,"ÑĦÑĤва":135556,"ÑĦÑĤег":135557,"ÑĦÑĥÑĤÑĥ":135558,"ÑĦÑĥÑĨи":135559,"Ñħейм":135560,"ÑħлоÑĢ":135561,"ÑĨевÑĤ":135562,"ÑĨенн":135563,"ÑĨкÑĥÑİ":135564,"ÑĩаеÑĤ":135565,"ÑĩеÑĤа":135566,"ÑĩÑĥÑģÑĮ":135567,"ÑĪенÑĮ":135568,"ÑĪÑĤÑĥÑĢ":135569,"ÑĬÑıÑģн":135570,"Ñĭвов":135571,"Ñĭлок":135572,"Ñĭнов":135573,"ÑĭÑħал":135574,"ÑįлиÑĤ":135575,"ÑįллÑģ":135576,"ÑįмиÑĤ":135577,"ÑįнÑĨе":135578,"ÑįÑĢÑĢи":135579,"ÑıзнÑĮ":135580,"ÑıнÑģк":135581,"Ñıпон":135582,"ÑıÑĤиÑİ":135583,"Ñijнно":135584,"ĠBaha":135585,"ĠLuci":135586,"ĠRaja":135587,"ĠSchu":135588,"ĠYama":135589,"ĠdegF":135590,"Ġkilo":135591,"Ġobli":135592,"Ġoccu":135593,"Ġrobb":135594,"Liber":135595,"XVIII":135596,"conce":135597,"eagle":135598,"franc":135599,"inhab":135600,"ipper":135601,"liver":135602,"lustr":135603,"medic":135604,"milit":135605,"plasm":135606,"rbitr":135607,"rrell":135608,"spire":135609,"telli":135610,"tique":135611,"ĠÐIJгаÑĦ":135612,"ĠÐIJзов":135613,"ĠÐIJÑĢаг":135614,"ĠÐIJÑĢÑħе":135615,"ĠÐijÐ¡Ð¡Ðł":135616,"ĠÐijалл":135617,"ĠÐijели":135618,"ĠÐijеÑģÑĤ":135619,"ĠÐijонн":135620,"ĠÐijÑĢаг":135621,"ĠÐijÑĢак":135622,"ĠÐijÑĢан":135623,"ĠÐijÑĢей":135624,"ĠÐijÑĢок":135625,"ĠÐijÑĥкв":135626,"ĠÐijÑĥнд":135627,"ĠÐĴÐ¡Ð®Ðł":135628,"ĠÐĴени":135629,"ĠÐĴзÑıл":135630,"ĠÐĴзÑıÑĤ":135631,"ĠÐĴлиÑı":135632,"ĠÐĴним":135633,"ĠÐĴозд":135634,"ĠÐĴолн":135635,"ĠÐĴÑĢем":135636,"ĠÐĴÑĭÑıÑģ":135637,"ĠÐĵÐŀСТ":135638,"ĠÐĵааг":135639,"ĠÐĵами":135640,"ĠÐĵаÑģÑĤ":135641,"ĠÐĵеÑĢÑĪ":135642,"ĠÐĵеÑĤе":135643,"ĠÐĵÑĢÑĥд":135644,"ĠÐĵÑĢÑıз":135645,"ĠÐĵÑĥлÑı":135646,"ĠÐĵÑİго":135647,"ĠÐĶвиг":135648,"ĠÐĶвÑĥÑħ":135649,"ĠÐĶеÑĢж":135650,"ĠÐĶеÑģÑı":135651,"ĠÐĶжÑĥн":135652,"ĠÐĶиÑģк":135653,"ĠÐĶойл":135654,"ĠÐĶÑİма":135655,"ĠÐķжов":135656,"ĠÐĸалÑĮ":135657,"ĠÐĸелÑĤ":135658,"ĠÐĸÑĥан":135659,"ĠÐĸÑİлÑĮ":135660,"ĠÐĹина":135661,"ĠÐĹнаÑİ":135662,"ĠÐĺдеи":135663,"ĠÐĺжев":135664,"ĠÐĺзаб":135665,"ĠÐĺмеÑı":135666,"ĠÐļадÑĭ":135667,"ĠÐļаÑĢÑĤ":135668,"ĠÐļиÑģл":135669,"ĠÐļонÑĤ":135670,"ĠÐļонÑĦ":135671,"ĠÐļоÑĢÑĤ":135672,"ĠÐļÑĥÑĢб":135673,"ĠÐĽÐ°ÑĥÑĢ":135674,"ĠÐĽÐ¸Ð³Ð°":135675,"ĠÐĽÐ¸ÑģÑģ":135676,"ĠÐĽÐ¾Ð¿Ð°":135677,"ĠÐĽÐ¾ÑĢд":135678,"ĠÐĽÐ¾ÑĥÑĢ":135679,"ĠÐĽÑĥвÑĢ":135680,"ĠÐĽÑĥка":135681,"ĠÐĽÑĥÑĨи":135682,"ĠÐĽÑİÑģи":135683,"ĠÐľÐ¥ÐIJТ":135684,"ĠÐľÐ°Ð»Ð¸":135685,"ĠÐľÐ°Ð½ÑĮ":135686,"ĠÐľÐµÐºÐº":135687,"ĠÐľÐ¸Ð»Ð»":135688,"ĠÐľÐ¸ÑģÑģ":135689,"ĠÐľÐ¸ÑĤÑĢ":135690,"ĠÐľÐ»ÐµÑĩ":135691,"ĠÐľÐ½Ð¾Ð¶":135692,"ĠÐľÐ¾Ð·Ð³":135693,"ĠÐľÑĥÑģÑĤ":135694,"ĠÐĿайд":135695,"ĠÐĿаÑĢв":135696,"ĠÐĿелÑĮ":135697,"ĠÐĿепÑĤ":135698,"ĠÐĿеÑĢв":135699,"ĠÐĿика":135700,"ĠÐĿиÑĨÑĨ":135701,"ĠÐŀбÑĬÑı":135702,"ĠÐŀбÑıз":135703,"ĠÐŀгне":135704,"ĠÐŀднÑĥ":135705,"ĠÐŀкÑĤÑı":135706,"ĠÐŀÑĨен":135707,"ĠÐŀÑĩеÑĢ":135708,"ĠÐŁÐķÐłÐĴ":135709,"ĠÐŁÐłÐķÐĶ":135710,"ĠÐŁÐ°ÑĨи":135711,"ĠÐŁÐµÐ½ÑĤ":135712,"ĠÐŁÐ»Ð°Ð²":135713,"ĠÐŁÐ»ÐµÐ½":135714,"ĠÐŁÐ»ÐµÑħ":135715,"ĠÐŁÐ¾Ð·Ð²":135716,"ĠÐŁÑĢек":135717,"ĠÐŁÑĢоÑħ":135718,"ĠÐŁÑĤиÑĨ":135719,"ĠÐŁÑĭÑĤа":135720,"ĠÐłÐ°Ð´Ð¶":135721,"ĠÐłÐµÐ°Ðº":135722,"ĠÐłÑĥби":135723,"ĠÐłÑįнд":135724,"ĠСаид":135725,"ĠСвеж":135726,"ĠСдел":135727,"ĠСелÑĮ":135728,"ĠСеÑĢв":135729,"ĠСеÑĢп":135730,"ĠСеÑĤи":135731,"ĠСеÑĥл":135732,"ĠСнег":135733,"ĠСозн":135734,"ĠСпен":135735,"ĠСÑģÑĭл":135736,"ĠСÑĤаÑģ":135737,"ĠСÑĤил":135738,"ĠСÑĨен":135739,"ĠТаба":135740,"ĠТабл":135741,"ĠТамб":135742,"ĠТвое":135743,"ĠТвои":135744,"ĠТвой":135745,"ĠТеоÑĢ":135746,"ĠТеÑģл":135747,"ĠТеÑħн":135748,"ĠТÑĥле":135749,"ĠТÑıнÑĮ":135750,"ĠУгол":135751,"ĠУжаÑģ":135752,"ĠУолл":135753,"ĠУÑįÑģÑĤ":135754,"ĠФÐĺФÐIJ":135755,"ĠФаби":135756,"ĠФабÑĢ":135757,"ĠФÑĢиÑĨ":135758,"ĠХайн":135759,"ĠХанÑĮ":135760,"ĠХваÑĤ":135761,"ĠХилÑĮ":135762,"ĠХиÑĤÑĢ":135763,"ĠХодж":135764,"ĠХоÑĢо":135765,"ĠÐ¥ÑĢан":135766,"ĠЦаÑĢи":135767,"ĠЦзÑıн":135768,"ĠЦикл":135769,"ĠЧеÑĢв":135770,"ĠЧжоÑĥ":135771,"ĠЧинг":135772,"ĠШиÑĢи":135773,"ĠШоÑģÑĤ":135774,"ĠÐŃдди":135775,"ĠÐŃдин":135776,"ĠÐŃдиÑĤ":135777,"ĠÐŃмма":135778,"ĠÐŃнди":135779,"ĠЯкÑĥб":135780,"ĠЯнÑĥк":135781,"ĠаÑģин":135782,"ĠаÑĥÑĤо":135783,"ĠаÑĦин":135784,"ĠаÑĦоÑĢ":135785,"Ġбане":135786,"ĠбаÑĢж":135787,"ĠбейÑģ":135788,"ĠбеÑģÑĤ":135789,"Ġбина":135790,"ĠбиоÑģ":135791,"Ġблон":135792,"ĠбобÑĢ":135793,"ĠбоеÑĨ":135794,"ĠбÑĢаÑģ":135795,"ĠбÑĢев":135796,"ĠбÑĢок":135797,"ĠбÑĥнк":135798,"ĠвеÑĢб":135799,"ĠвниÑĩ":135800,"ĠвÑĢаÑģ":135801,"ĠвÑĢез":135802,"ĠвÑĥлÑĮ":135803,"ĠвÑıзк":135804,"Ġгайк":135805,"Ġганг":135806,"Ġгемо":135807,"Ġгенд":135808,"ĠгенÑģ":135809,"ĠгидÑĢ":135810,"ĠговÑı":135811,"ĠгÑĢен":135812,"ĠгÑĢеÑĪ":135813,"ĠгÑĢоÑĤ":135814,"ĠгÑĥгл":135815,"ĠгÑĥнн":135816,"ĠгÑĥÑģи":135817,"Ġдамб":135818,"ĠдвÑĥÑģ":135819,"ĠдевÑı":135820,"Ġдели":135821,"Ġдемо":135822,"ĠдиаÑģ":135823,"ĠдиаÑĦ":135824,"Ġдиод":135825,"ĠдиÑģÑĤ":135826,"ĠдиÑĩÑĮ":135827,"ĠдобÑĮ":135828,"Ġдогм":135829,"Ġдозв":135830,"Ġдомо":135831,"ĠдÑĢаг":135832,"Ġеван":135833,"ĠездÑĭ":135834,"ĠжгÑĥÑĤ":135835,"ĠжгÑĥÑĩ":135836,"Ġждем":135837,"ĠждÑijÑĤ":135838,"Ġзаем":135839,"ĠзаÑģÑĤ":135840,"ĠзлÑĭе":135841,"ĠзлÑĭм":135842,"ĠзлÑĭÑħ":135843,"Ġзмее":135844,"Ġзоди":135845,"Ġизби":135846,"Ġизвл":135847,"Ġимми":135848,"ĠинеÑĢ":135849,"ĠипоÑĤ":135850,"ĠиÑĢÑĢа":135851,"ĠиÑģÑĤÑĨ":135852,"ĠиÑĤеÑĢ":135853,"ĠкаÑĢн":135854,"ĠквеÑĢ":135855,"ĠкедÑĢ":135856,"ĠкейÑģ":135857,"Ġкиев":135858,"Ġкока":135859,"ĠколÑİ":135860,"ĠкÑĢап":135861,"Ġлайк":135862,"Ġливн":135863,"ĠлиÑĢи":135864,"ĠлиÑħо":135865,"ĠлÑĮÑģÑĤ":135866,"ĠлÑijÑĤн":135867,"Ġмавз":135868,"ĠмавÑĢ":135869,"ĠмаÑĢг":135870,"ĠменÑĤ":135871,"ĠмиÑģк":135872,"ĠмÑĥми":135873,"ĠмÑĥÑĦÑĤ":135874,"ĠнаÑĤк":135875,"Ġнеад":135876,"ĠнеÑģл":135877,"ĠнеÑĥм":135878,"Ġнока":135879,"ĠноÑģÑĤ":135880,"ĠноÑıб":135881,"ĠнÑĭÑĢÑı":135882,"Ġобод":135883,"Ġодол":135884,"ĠокнÑĥ":135885,"Ġолив":135886,"ĠопиÑĢ":135887,"ĠоÑģÑĥÑĪ":135888,"ĠоÑĩиÑī":135889,"Ġпале":135890,"Ġпанд":135891,"ĠпаÑĪн":135892,"ĠпеÑĤÑĢ":135893,"ĠпиаÑĢ":135894,"ĠпиÑģÑĨ":135895,"ĠпиÑĨÑĨ":135896,"Ġпого":135897,"ĠподÑĢ":135898,"Ġпомп":135899,"ĠпÑĢад":135900,"ĠпÑĢÑıд":135901,"ĠпÑĥÑĤÑĩ":135902,"ĠпÑĮед":135903,"ĠпÑİÑĢе":135904,"ĠÑĢазг":135905,"ĠÑĢамÑĭ":135906,"ĠÑĢван":135907,"ĠÑĢеÑĨи":135908,"ĠÑĢодо":135909,"ĠÑĢомб":135910,"ĠÑĢÑĭÑĩа":135911,"ĠÑĢÑİмк":135912,"ĠÑģвиÑĢ":135913,"ĠÑģгоÑĢ":135914,"ĠÑģейÑĦ":135915,"ĠÑģеÑĢв":135916,"ĠÑģеÑĢп":135917,"ĠÑģмиÑĢ":135918,"ĠÑģпам":135919,"ĠÑģÑĢод":135920,"ĠÑģÑĥжа":135921,"ĠÑģÑĥнд":135922,"ĠÑĤадж":135923,"ĠÑĤаÑĤÑĥ":135924,"ĠÑĤеÑĤк":135925,"ĠÑĤиÑĤÑĢ":135926,"ĠÑĤонÑĩ":135927,"ĠÑĤоÑĢÑĨ":135928,"ĠÑĤоÑĢÑĩ":135929,"ĠÑĤÑĢлн":135930,"ĠÑĤÑĢÑİм":135931,"ĠÑĤÑĥÑģк":135932,"ĠÑĤÑĭкв":135933,"ĠÑĤÑĮма":135934,"ĠÑĤÑĮме":135935,"ĠÑĤÑıгÑĥ":135936,"ĠÑĥгад":135937,"ĠÑĥкÑĢÑĭ":135938,"ĠÑĥлÑĥÑģ":135939,"ĠÑĥмÑĢÑĥ":135940,"ĠÑĥÑĤеÑĢ":135941,"ĠÑĥÑĤиÑħ":135942,"ĠÑĦелÑĮ":135943,"ĠÑĦлеÑĪ":135944,"ĠÑĦÑĥÑĢг":135945,"ĠÑĦÑįнÑĤ":135946,"ĠÑħвой":135947,"ĠÑħлад":135948,"ĠÑħлам":135949,"ĠÑħмÑĥÑĢ":135950,"ĠÑħÑĢÑĥп":135951,"ĠÑħÑĢÑıÑī":135952,"ĠÑĩаем":135953,"ĠÑĩаÑĪе":135954,"ĠÑĩаÑĪи":135955,"ĠÑĩаÑĪÑĥ":135956,"ĠÑĩÑĢев":135957,"ĠÑĪайк":135958,"ĠÑĪанÑĤ":135959,"ĠÑĪаÑĤа":135960,"ĠÑĪаÑĤÑĢ":135961,"ĠÑĪейк":135962,"ĠÑĪейÑħ":135963,"ĠÑĪелк":135964,"ĠÑĪииÑĤ":135965,"ĠÑĪиÑĪк":135966,"ĠÑĪоÑĢÑĤ":135967,"ĠÑĪÑĢам":135968,"ĠÑĪÑħÑĥн":135969,"ĠÑīели":135970,"ĠÑīелÑĮ":135971,"ĠÑīеÑĤк":135972,"ĠÑįгид":135973,"ĠÑįдак":135974,"ĠÑįÑĢиÑĤ":135975,"ĠÑıйÑĨе":135976,"ĠÑıÑģна":135977,"ÐIJвÑĢоÑĢ":135978,"ÐIJлмаз":135979,"ÐIJндÑĢе":135980,"ÐIJÑĢÑĤÑĥÑĢ":135981,"ÐIJÑĤлаÑģ":135982,"ÐIJÑĤлеÑĤ":135983,"Ðijибли":135984,"Ðijлаго":135985,"Ðijоинг":135986,"ÐijоÑĢиÑģ":135987,"ÐĴÐļонÑĤ":135988,"ÐĴанкÑĥ":135989,"ÐĴегаÑģ":135990,"ÐĴеÑģна":135991,"ÐĴойна":135992,"ÐĴÑĢемÑı":135993,"ÐĵенеÑĢ":135994,"ÐĵовоÑĢ":135995,"ÐĵолоÑģ":135996,"ÐĵолÑĥб":135997,"ÐĶеÑĢжи":135998,"ÐĶлинн":135999,"ÐĶнепÑĢ":136000,"ÐĶобÑĢо":136001,"Ðĸизни":136002,"ÐĹамеÑĩ":136003,"ÐĹаÑĩем":136004,"ÐĹаÑīиÑĤ":136005,"ÐĹемлÑı":136006,"ÐĹнамÑı":136007,"ÐĺÑĢÑĤÑĭÑĪ":136008,"ÐĺÑģлам":136009,"ÐļазаÑħ":136010,"Ðļалин":136011,"Ðļамен":136012,"ÐļаÑĢло":136013,"ÐļванÑĤ":136014,"ÐļиÑĤай":136015,"Ðļнига":136016,"Ðļниге":136017,"ÐļолоÑĢ":136018,"ÐļоÑģмо":136019,"ÐľÐ°ÐºÐ»Ð°":136020,"ÐľÐµÐ´Ð¸Ð°":136021,"ÐľÐµÑĢкÑĥ":136022,"ÐľÐµÑĤÑĢо":136023,"ÐľÐ¾Ð³Ð¸Ð»":136024,"ÐľÐ¾Ð¶ÐµÑĤ":136025,"ÐĿÐŀСТÐĺ":136026,"ÐĿаÑĥка":136027,"ÐĿоÑĢма":136028,"ÐŀпеÑĢа":136029,"ÐŁÐ°ÑĢиж":136030,"ÐŁÐµÑĢво":136031,"ÐŁÐµÑĩеÑĢ":136032,"ÐŁÐ¾Ð¼ÐµÑĢ":136033,"ÐŁÑĢазд":136034,"ÐŁÑĥÑģÑĤÑĮ":136035,"ÐłÐ°Ð´Ð¸Ð¾":136036,"ÐłÐ°ÑģÑĪи":136037,"ÐłÐµÐ²Ð¸Ð·":136038,"ÐłÐ¸Ð²ÐµÑĢ":136039,"ÐłÐ¸Ð¶Ñģк":136040,"ÐłÐ¾Ð¼Ð°Ð½":136041,"ÐłÐ¾Ð¼ÐµÐ¾":136042,"ÐłÑĥбин":136043,"Слове":136044,"Слово":136045,"Тайна":136046,"Также":136047,"ТиÑħий":136048,"ФÑĢанк":136049,"ЦÑĭган":136050,"ЧелÑģи":136051,"ШÑĤÑĥÑĢм":136052,"ÐŃнеÑĢг":136053,"аваем":136054,"авеÑĤн":136055,"авиÑĤÑĮ":136056,"агаÑİÑī":136057,"адÑĢен":136058,"айзии":136059,"айÑĪие":136060,"акваÑĢ":136061,"акÑĤеÑĢ":136062,"алоги":136063,"алÑĮги":136064,"алÑĮÑĤи":136065,"андÑģк":136066,"андÑĥм":136067,"аполк":136068,"аÑĢени":136069,"аÑĢиан":136070,"аÑģÑĤÑĥÑİ":136071,"аÑĤеÑĢи":136072,"аÑĤике":136073,"аÑĤÑĢиÑĨ":136074,"аÑĤÑĩик":136075,"аÑĥзеÑĢ":136076,"аÑİÑīей":136077,"аÑİÑīÑĥÑİ":136078,"бежав":136079,"бекÑģк":136080,"белÑĮÑģ":136081,"бинÑģк":136082,"биÑĢай":136083,"биÑĢÑģк":136084,"блаÑģÑĤ":136085,"блегÑĩ":136086,"бонаÑĤ":136087,"боÑĢно":136088,"ведал":136089,"везла":136090,"везÑĥÑĤ":136091,"веÑĢÑıÑİ":136092,"веÑģил":136093,"веÑĤÑĢи":136094,"веÑĩно":136095,"видео":136096,"визоÑĢ":136097,"вклид":136098,"волен":136099,"воÑĢаÑĩ":136100,"воÑĢон":136101,"вÑĢемÑı":136102,"вÑĭÑĢаж":136103,"вÑĭÑģок":136104,"вÑĭÑĩиÑģ":136105,"вÑıзав":136106,"гилÑĮд":136107,"гинек":136108,"давÑģк":136109,"далее":136110,"двойк":136111,"деÑĢоб":136112,"динаÑĢ":136113,"дÑĥман":136114,"дÑĥÑĪен":136115,"ебнÑĭÑħ":136116,"евеÑĢÑģ":136117,"евиÑģÑĤ":136118,"евлен":136119,"евÑĢаз":136120,"едикÑĤ":136121,"едоÑģÑĤ":136122,"ездно":136123,"ейÑĪин":136124,"елейÑĪ":136125,"елиÑģк":136126,"елÑĭва":136127,"елÑĮеÑĦ":136128,"елÑİбн":136129,"елÑıеÑĤ":136130,"ениÑĩн":136131,"енÑĮÑĪе":136132,"еÑĢенн":136133,"еÑĢиÑĤе":136134,"еÑĢпел":136135,"еÑĢÑĤан":136136,"еÑģкие":136137,"еÑģпеÑĩ":136138,"еÑģÑĤал":136139,"еÑģÑĤил":136140,"еÑĤÑħоз":136141,"еÑīиÑĩÑĮ":136142,"желÑĥд":136143,"жÑijнно":136144,"зажиг":136145,"здеÑģÑĮ":136146,"земли":136147,"зиÑĢаÑı":136148,"зовÑĭй":136149,"ибÑģко":136150,"иваÑİÑī":136151,"ивеÑĢÑģ":136152,"ивлен":136153,"идаÑĨи":136154,"иденд":136155,"издан":136156,"икмаÑħ":136157,"илиан":136158,"иллÑıÑĢ":136159,"имого":136160,"иниан":136161,"инокл":136162,"инÑĮон":136163,"иÑĢали":136164,"иÑģÑħан":136165,"иÑĤаÑĨи":136166,"иÑĩков":136167,"каÑĤно":136168,"каÑĩки":136169,"квали":136170,"киÑĤай":136171,"ковÑĭÑĢ":136172,"комаÑĤ":136173,"конÑĦÑĥ":136174,"копал":136175,"коÑģнÑĥ":136176,"коÑĦаг":136177,"коÑĪно":136178,"кÑĢеÑĤн":136179,"кÑĢипÑĤ":136180,"кÑĥлов":136181,"кÑĥлÑijз":136182,"лагов":136183,"лаÑģÑģн":136184,"левÑģк":136185,"леннÑĭ":136186,"леÑĢоз":136187,"леÑĤев":136188,"леÑĤни":136189,"линдÑĢ":136190,"ловин":136191,"ловой":136192,"лоднÑĭ":136193,"лÑĮном":136194,"лÑĮÑĤон":136195,"лÑİлоз":136196,"лÑİÑĩен":136197,"лÑıнно":136198,"мажоÑĢ":136199,"макед":136200,"маÑģки":136201,"мгнов":136202,"медик":136203,"меÑģÑıÑĨ":136204,"меÑĤал":136205,"меÑīал":136206,"мовик":136207,"молни":136208,"моÑĢок":136209,"моÑĤал":136210,"моÑĤан":136211,"моÑĤив":136212,"мÑĥÑĤим":136213,"надÑijж":136214,"наказ":136215,"наÑĩей":136216,"нгелÑĮ":136217,"невÑģк":136218,"неÑĤик":136219,"новик":136220,"нокоÑĢ":136221,"ноÑĢеÑĩ":136222,"ноÑģÑĤо":136223,"обилÑĮ":136224,"обÑĬем":136225,"овани":136226,"оведа":136227,"оведÑĮ":136228,"овеÑĢи":136229,"огаÑīа":136230,"одокÑģ":136231,"одÑĢам":136232,"одÑĢом":136233,"оевÑģк":136234,"озван":136235,"ознав":136236,"оиеÑĢе":136237,"ойлов":136238,"ококк":136239,"окÑģаÑĢ":136240,"оллеж":136241,"олоки":136242,"олоÑĩн":136243,"онаÑĢд":136244,"ондÑĢи":136245,"ониÑģÑĤ":136246,"онÑĤеÑĢ":136247,"ооÑĢÑĥж":136248,"опаÑĤÑĢ":136249,"опаÑĪн":136250,"опÑĭÑĤн":136251,"оÑĢбиÑĤ":136252,"оÑĢвал":136253,"оÑĢонн":136254,"оÑĢоÑĤк":136255,"оÑĢÑĤеÑĢ":136256,"оÑģвеж":136257,"оÑģлаб":136258,"оÑģнаб":136259,"оÑĤеин":136260,"оÑĩкин":136261,"падаÑı":136262,"панзе":136263,"паÑĤиÑĩ":136264,"плееÑĢ":136265,"плиеÑĢ":136266,"плоÑħо":136267,"покой":136268,"поÑģаб":136269,"пÑĢава":136270,"пÑĢÑıга":136271,"пÑĢÑıмо":136272,"пÑĢÑıмÑĮ":136273,"пÑĥзÑĭÑĢ":136274,"пÑĥÑģÑĤи":136275,"пÑĥÑĤал":136276,"пÑĥÑĤан":136277,"ÑĢабин":136278,"ÑĢагÑĥа":136279,"ÑĢазии":136280,"ÑĢаива":136281,"ÑĢаÑģÑĤв":136282,"ÑĢаÑĪно":136283,"ÑĢебÑĢо":136284,"ÑĢедак":136285,"ÑĢедим":136286,"ÑĢекÑĨи":136287,"ÑĢеÑĪим":136288,"ÑĢжаве":136289,"ÑĢикад":136290,"ÑĢинÑĤе":136291,"ÑĢиÑģов":136292,"ÑĢовнÑı":136293,"ÑĢовод":136294,"ÑĢожда":136295,"ÑĢозов":136296,"ÑĢонил":136297,"ÑĢонÑĥл":136298,"ÑĢоÑģÑĤк":136299,"ÑĢоÑĦан":136300,"ÑĢоÑĨиÑĤ":136301,"ÑĢоÑĩен":136302,"ÑĢÑĥдаÑĢ":136303,"ÑĢÑĥÑĩнÑĭ":136304,"ÑĢÑĪнев":136305,"ÑģаÑħаÑĢ":136306,"ÑģвеÑĢÑħ":136307,"ÑģвеÑĤк":136308,"ÑģвÑıзÑĮ":136309,"Ñģеман":136310,"ÑģемиÑĤ":136311,"ÑģеÑıÑĤÑĮ":136312,"ÑģиÑĢоÑĤ":136313,"ÑģиÑģко":136314,"ÑģкÑĢиÑĤ":136315,"Ñģолен":136316,"ÑģоÑģÑĥд":136317,"ÑģÑĢеди":136318,"ÑģÑĤика":136319,"ÑģÑĤоÑıл":136320,"ÑģÑĤоÑıÑĤ":136321,"ÑģÑĤÑĥпн":136322,"ÑĤанÑĤÑĭ":136323,"ÑĤекла":136324,"ÑĤекло":136325,"ÑĤенев":136326,"ÑĤогда":136327,"ÑĤÑĢолл":136328,"ÑĤÑĥбеÑĢ":136329,"ÑĤÑĮÑıго":136330,"ÑĥдÑĮÑĤе":136331,"Ñĥждал":136332,"ÑĥждÑijн":136333,"Ñĥзова":136334,"ÑĥкÑĢÑĥг":136335,"ÑĥкÑĤоÑĢ":136336,"Ñĥллин":136337,"ÑĥÑĢбан":136338,"ÑĥÑģлÑĥг":136339,"ÑĥÑĩиÑĤе":136340,"ÑĦаген":136341,"ÑĦимов":136342,"ÑĦобиÑı":136343,"ÑĦÑĢовк":136344,"Ñħовен":136345,"ÑħÑĢабÑĢ":136346,"ÑħÑĢонн":136347,"ÑĨаÑĢÑĤа":136348,"ÑĨевал":136349,"ÑĨевой":136350,"ÑĨелеÑģ":136351,"ÑĨепÑĤÑĥ":136352,"ÑĨиÑıми":136353,"ÑĨовое":136354,"ÑĩайÑĪи":136355,"ÑĩаÑĤÑģк":136356,"ÑĩеÑĢез":136357,"ÑĩжÑĥÑĢи":136358,"ÑĩиÑģлÑı":136359,"ÑĩиÑĤай":136360,"ÑĩиÑĤаÑİ":136361,"ÑĩÑĤиÑĤе":136362,"ÑĩÑĥжин":136363,"ÑĩÑĮего":136364,"ÑĪении":136365,"ÑĪиков":136366,"ÑĪÑĤабн":136367,"Ñĭвани":136368,"ÑĭÑĪкин":136369,"Ñįллип":136370,"ÑįÑģкад":136371,"ÑİÑĢиÑģÑĤ":136372,"ÑıжнÑĭÑħ":136373,"ÑıзÑĭÑĩн":136374,"ÑıйÑĨев":136375,"ÑıнÑĨев":136376,"ÑıÑģнив":136377,"ÑıÑģнил":136378,"ĠPhysi":136379,"Ġemigr":136380,"Ġempha":136381,"Ġexpir":136382,"Ġhappi":136383,"Ġmutat":136384,"Ġrabbi":136385,"Ġrepri":136386,"easant":136387,"escent":136388,"ficial":136389,"nsible":136390,"phosph":136391,"plicat":136392,"schaft":136393,"solved":136394,"uarter":136395,"ĠÐIJаÑĢон":136396,"ĠÐIJббаÑģ":136397,"ĠÐIJвÑĤом":136398,"ĠÐIJдамÑģ":136399,"ĠÐIJдÑĢеÑģ":136400,"ĠÐIJзиаÑĤ":136401,"ĠÐIJкÑĤеÑĢ":136402,"ĠÐIJлгоÑĢ":136403,"ĠÐIJлиев":136404,"ĠÐIJнгол":136405,"ĠÐIJндÑĢи":136406,"ĠÐIJнкаÑĢ":136407,"ĠÐIJÑĢбаÑĤ":136408,"ĠÐIJÑĢÑĤÑijм":136409,"ĠÐIJÑħилл":136410,"ĠÐijаÑĢÑĢи":136411,"ĠÐijеÑģÑģа":136412,"ĠÐijожÑĮи":136413,"ĠÐijолон":136414,"ĠÐijÑĢаÑħм":136415,"ĠÐijÑįкон":136416,"ĠÐĴÐĽÐļÐ¡Ðľ":136417,"ĠÐĴебеÑĢ":136418,"ĠÐĴеÑĩно":136419,"ĠÐĴзÑıÑĤÑĮ":136420,"ĠÐĴилли":136421,"ĠÐĴилÑĮн":136422,"ĠÐĴинÑĩи":136423,"ĠÐĴиÑĤÑĤе":136424,"ĠÐĴозле":136425,"ĠÐĴоÑĢоб":136426,"ĠÐĵавай":136427,"ĠÐĵаван":136428,"ĠÐĵалиÑĩ":136429,"ĠÐĵипеÑĢ":136430,"ĠÐĵогол":136431,"ĠÐĵолод":136432,"ĠÐĵÑĢанÑĤ":136433,"ĠÐĵÑĢоÑģÑģ":136434,"ĠÐĵÑĥÑģев":136435,"ĠÐĶайÑĤе":136436,"ĠÐĶаÑĢÑĮÑı":136437,"ĠÐĶвига":136438,"ĠÐĶебÑİÑĤ":136439,"ĠÐĶеÑĢжа":136440,"ĠÐĶжоан":136441,"ĠÐĶжобÑģ":136442,"ĠÐĶжÑĥлÑĮ":136443,"ĠÐĶинам":136444,"ĠÐĶÑĢама":136445,"ĠÐĶÑĥнае":136446,"ĠÐĶÑĥнай":136447,"ĠÐķвдок":136448,"ĠÐķвÑĢеи":136449,"ĠÐĸеÑĢÑĤв":136450,"ĠÐĸÑĥÑĢав":136451,"ĠÐĹамеÑĤ":136452,"ĠÐĹамок":136453,"ĠÐĹлаÑĤо":136454,"ĠÐĺннок":136455,"ĠÐĺÑĢкÑĥÑĤ":136456,"ĠÐĺÑģаев":136457,"ĠÐĺÑģкÑĥÑģ":136458,"ĠÐĺÑģÑĤок":136459,"ĠÐļабÑĥл":136460,"ĠÐļамÑĭÑĪ":136461,"ĠÐļвинÑĤ":136462,"ĠÐļеÑĢÑĢи":136463,"ĠÐļиÑħоÑĤ":136464,"ĠÐļиÑĪин":136465,"ĠÐļопеÑĢ":136466,"ĠÐļоÑĢол":136467,"ĠÐļоÑĢон":136468,"ĠÐļÑĢовÑĮ":136469,"ĠÐļÑįÑĢол":136470,"ĠÐĽÐ°ÑĢÑĢи":136471,"ĠÐĽÐ¸Ð±ÐµÑĢ":136472,"ĠÐĽÐ»Ð¾Ð¹Ð´":136473,"ĠÐľÐ°Ð³Ð´Ð°":136474,"ĠÐľÐ°Ð¹ÐµÑĢ":136475,"ĠÐľÐ°ÑĢаÑĤ":136476,"ĠÐľÐ°ÑĢÑĮÑı":136477,"ĠÐľÐµÐ¹ÐµÑĢ":136478,"ĠÐľÐµÐ»Ð°Ð½":136479,"ĠÐľÐµÑĢеж":136480,"ĠÐľÐµÑģÑĤа":136481,"ĠÐľÐµÑħан":136482,"ĠÐľÐ¸ÐºÐµÐ»":136483,"ĠÐľÐ¸Ð½ÑĥÑĤ":136484,"ĠÐľÐ¾Ð³ÑĥÑĤ":136485,"ĠÐľÐ¾Ð½Ð¾Ð¼":136486,"ĠÐľÐ¾ÑĢав":136487,"ĠÐľÐ¾ÑĤив":136488,"ĠÐľÑĥжик":136489,"ĠÐľÑĥзее":136490,"ĠÐľÑĥзеÑı":136491,"ĠÐľÑĥÑĢав":136492,"ĠÐľÑĭÑģли":136493,"ĠÐĿидеÑĢ":136494,"ĠÐĿилÑĮÑģ":136495,"ĠÐĿобел":136496,"ĠÐŀбама":136497,"ĠÐŀбзоÑĢ":136498,"ĠÐŀбÑĬем":136499,"ĠÐŀбÑĬÑıÑģ":136500,"ĠÐŀбÑıза":136501,"ĠÐŀгайо":136502,"ĠÐŀкÑĢÑĥг":136503,"ĠÐŁÐ°Ð±Ð»Ð¾":136504,"ĠÐŁÐ°Ð»ÑĮм":136505,"ĠÐŁÐµÑĢеÑı":136506,"ĠÐŁÐµÑĢÑģе":136507,"ĠÐŁÐ¸Ð»Ð¾ÑĤ":136508,"ĠÐŁÐ¸Ñģал":136509,"ĠÐŁÐ»Ð°ÑģÑĤ":136510,"ĠÐŁÐ»Ð¾Ñħо":136511,"ĠÐŁÐ¾Ð»Ð¾Ð²":136512,"ĠÐŁÑĢоÑģв":136513,"ĠÐŁÑģиÑħо":136514,"ĠÐłÐ°Ð¹Ð°Ð½":136515,"ĠÐłÐ°Ð»ÑĮÑĦ":136516,"ĠÐłÐµÐ´Ð°Ðº":136517,"ĠÐłÐµÐ¶Ð¸Ð¼":136518,"ĠÐłÐµÐ¿Ð¸Ð½":136519,"ĠÐłÐµÑĢиÑħ":136520,"ĠÐłÐ¾Ð²Ð½Ð¾":136521,"ĠÐłÑĥбен":136522,"ĠСаÑĤан":136523,"ĠСвÑıзÑĮ":136524,"ĠСелен":136525,"ĠСеÑĢеж":136526,"ĠСкажи":136527,"ĠСкÑĢип":136528,"ĠСмеÑĢÑĤ":136529,"ĠСогла":136530,"ĠСообÑī":136531,"ĠСоÑģед":136532,"ĠСоÑĤни":136533,"ĠСÑĤоÑĥн":136534,"ĠСÑĥдÑĮÑı":136535,"ĠТавÑĢи":136536,"ĠТаÑĢан":136537,"ĠТвеÑĢд":136538,"ĠТвеÑĢи":136539,"ĠТвоÑĢÑĨ":136540,"ĠТÑĥлÑĥз":136541,"ĠТÑĥман":136542,"ĠТÑĥÑĢин":136543,"ĠТÑĥÑħаÑĩ":136544,"ĠУÑģлÑĭÑĪ":136545,"ĠУÑįллÑģ":136546,"ĠФалÑĮк":136547,"ĠФелÑĮд":136548,"ĠФигÑĥÑĢ":136549,"ĠФлави":136550,"ĠФомин":136551,"ĠХаджи":136552,"ĠХелен":136553,"ĠХоÑĤел":136554,"ĠЦзинÑĮ":136555,"ĠЦÑİÑĢиÑħ":136556,"ĠЧаÑĢлз":136557,"ĠЧÑĥков":136558,"ĠШаÑĢлÑĮ":136559,"ĠШÑĥлÑĮÑĨ":136560,"ĠÐŃванÑģ":136561,"ĠÐŃллиÑģ":136562,"ĠÐŃмилÑĮ":136563,"ĠЮжнÑĥÑİ":136564,"Ġадмин":136565,"ĠалÑĮÑĦа":136566,"ĠангаÑĢ":136567,"ĠанеÑģÑĤ":136568,"ĠанÑĤаг":136569,"ĠанÑĤиÑĩ":136570,"ĠаÑĢбÑĥз":136571,"ĠаÑĢÑħаи":136572,"ĠбаÑģÑĤи":136573,"ĠбеглÑĭ":136574,"ĠбегÑĥн":136575,"ĠбегÑĥÑĤ":136576,"ĠбелÑĥÑİ":136577,"ĠбелÑĮÑı":136578,"ĠбиÑĤвÑĥ":136579,"Ġбланк":136580,"Ġбобов":136581,"Ġболев":136582,"ĠболиÑĤ":136583,"ĠбоÑĢеÑĨ":136584,"ĠбÑĢани":136585,"ĠбÑĢезг":136586,"ĠбÑĢемÑı":136587,"ĠбÑĢиÑĤв":136588,"ĠбÑĢови":136589,"ĠбÑĢони":136590,"ĠбÑĢÑĭзг":136591,"ĠбÑĢÑİки":136592,"ĠбÑĢÑİÑħо":136593,"ĠбÑĥлав":136594,"ĠбÑĥлоÑĩ":136595,"ĠбÑĥÑĦеÑĤ":136596,"ĠбÑĥÑħÑĤе":136597,"ĠбÑĥÑħÑĤÑĭ":136598,"Ġвалид":136599,"ĠваннÑĥ":136600,"ĠвдÑĭÑħа":136601,"ĠведÑĢо":136602,"ĠвеÑĢев":136603,"ĠвеÑĢÑĤе":136604,"ĠвеÑĢÑĦи":136605,"ĠвеÑģнÑĥ":136606,"ĠвеÑģÑijл":136607,"ĠвеÑĤка":136608,"ĠвеÑĤÑĢÑĭ":136609,"ĠвеÑīам":136610,"ĠвздоÑĢ":136611,"ĠвзмаÑħ":136612,"ĠвзÑĢоÑģ":136613,"ĠвизиÑĢ":136614,"ĠвиÑĤам":136615,"ĠвиÑħÑĢе":136616,"ĠвкÑĢаÑĤ":136617,"Ġвлаги":136618,"ĠвовÑģÑİ":136619,"ĠводкÑĥ":136620,"ĠводоÑģ":136621,"Ġвожак":136622,"ĠвозвÑĢ":136623,"ĠвÑģÑĤав":136624,"ĠвÑĭÑĢÑĥÑĩ":136625,"Ġгазон":136626,"ĠгаÑģÑĤÑĢ":136627,"Ġгвозд":136628,"ĠгемаÑĤ":136629,"Ġгипно":136630,"ĠглоÑĤа":136631,"ĠгоÑĢÑĪк":136632,"ĠгоÑĢÑıÑī":136633,"ĠгÑĢанÑĤ":136634,"ĠгÑĥÑģаÑĢ":136635,"ĠдвеÑĢÑĨ":136636,"Ġдвижк":136637,"ĠдвÑĥÑģÑĤ":136638,"ĠдеÑĪÑijв":136639,"ĠдиеÑĤÑĭ":136640,"ĠдикаÑĢ":136641,"Ġдикие":136642,"Ġдикий":136643,"Ġдиким":136644,"Ġдиков":136645,"ĠдилеÑĢ":136646,"Ġдожид":136647,"ĠдÑĢаки":136648,"ĠдÑĥÑįли":136649,"ĠдÑĭÑĪиÑĤ":136650,"ĠдÑİжин":136651,"ĠединÑĭ":136652,"Ġежели":136653,"ĠеÑĢеÑģи":136654,"ĠеÑĢÑĥнд":136655,"ĠжаждÑĭ":136656,"Ġжалел":136657,"ĠжелÑĤк":136658,"ĠживÑĥÑİ":136659,"ĠжÑĢеби":136660,"Ġзамки":136661,"ĠзаоÑģÑĤ":136662,"ĠзаÑģÑĥÑħ":136663,"ĠзаÑģÑĥÑĪ":136664,"ĠзаÑĤаи":136665,"ĠзаÑĤиÑħ":136666,"ĠзаÑĪиÑĦ":136667,"Ġзомби":136668,"ĠивÑĢиÑĤ":136669,"Ġиздев":136670,"ĠизоÑīÑĢ":136671,"ĠиндÑĥÑģ":136672,"ĠиÑģкаж":136673,"ĠиÑģÑģÑıк":136674,"Ġкабан":136675,"ĠказнÑĥ":136676,"ĠказнÑĭ":136677,"Ġкамин":136678,"ĠкамÑĭÑĪ":136679,"ĠканÑĥн":136680,"ĠкаплÑı":136681,"ĠкапоÑĤ":136682,"ĠкаÑĤак":136683,"ĠкаÑĪлÑı":136684,"ĠквадÑĢ":136685,"Ġклави":136686,"ĠкланÑı":136687,"ĠклоÑĥн":136688,"ĠкнÑıжн":136689,"ĠколеÑĨ":136690,"ĠкоÑģмо":136691,"ĠкоÑģÑıк":136692,"ĠкоÑĪкÑĥ":136693,"ĠкÑĢипÑĤ":136694,"ĠкÑĢÑĭле":136695,"ĠкÑĥбок":136696,"ĠкÑĥпÑİÑĢ":136697,"Ġлавин":136698,"Ġлевое":136699,"Ġлегла":136700,"Ġлегли":136701,"Ġлейбл":136702,"ĠленÑĤÑĥ":136703,"ĠлепеÑĪ":136704,"ĠлиÑģиÑĨ":136705,"Ġловил":136706,"Ġловле":136707,"ĠловÑıÑĤ":136708,"ĠлокÑĤÑı":136709,"ĠлоÑıлÑĮ":136710,"ĠлÑĥгов":136711,"ĠлÑĮвов":136712,"ĠлÑĮдом":136713,"ĠмалоÑĩ":136714,"ĠмалÑĥÑİ":136715,"Ġманев":136716,"ĠмаÑĦии":136717,"ĠмаÑħин":136718,"ĠмемоÑĢ":136719,"ĠмеÑĤко":136720,"ĠмеÑħов":136721,"ĠмеÑĩÑĤÑĥ":136722,"ĠмеÑĪки":136723,"Ġмимик":136724,"ĠмиÑĤоÑħ":136725,"Ġмнимо":136726,"ĠмнимÑĭ":136727,"ĠмолÑĮб":136728,"ĠмÑĥзеи":136729,"ĠмÑĥÑĩил":136730,"Ġнавод":136731,"ĠнажаÑĤ":136732,"ĠнаизÑĥ":136733,"Ġнайма":136734,"Ġнакид":136735,"Ġнакон":136736,"ĠнаÑħож":136737,"ĠнаÑıвÑĥ":136738,"Ġневоз":136739,"Ġнегод":136740,"Ġнедов":136741,"Ġнемал":136742,"ĠнеÑĢов":136743,"ĠнеÑģÑijÑĤ":136744,"Ġникем":136745,"Ġномин":136746,"ĠоазиÑģ":136747,"Ġобедн":136748,"ĠобÑĢÑĥÑĪ":136749,"ĠобÑīен":136750,"ĠобÑīеÑĩ":136751,"ĠобÑĬÑıÑĤ":136752,"ĠовÑĩаÑĢ":136753,"Ġоднов":136754,"Ġоднок":136755,"Ġокопа":136756,"ĠоленÑĮ":136757,"ĠоленÑı":136758,"Ġоплак":136759,"ĠопÑĢоÑĪ":136760,"ĠопÑĤов":136761,"ĠопÑĥÑĪк":136762,"ĠопÑĮÑıн":136763,"ĠоÑģеда":136764,"ĠоÑĤваж":136765,"ĠпазÑĥÑħ":136766,"ĠпаÑĢаг":136767,"ĠпаÑĢиж":136768,"ĠпаÑĥзÑĭ":136769,"ĠпаÑĨан":136770,"ĠпевиÑĨ":136771,"Ġпепел":136772,"ĠпеÑĤлÑİ":136773,"ĠпеÑĤлÑı":136774,"ĠплеÑĩÑĥ":136775,"ĠплÑijнк":136776,"ĠпогÑĥб":136777,"Ġподог":136778,"Ġпойма":136779,"Ġпокои":136780,"ĠполÑĥп":136781,"Ġпомил":136782,"ĠпопеÑĩ":136783,"ĠпоÑĢаб":136784,"ĠпоÑģÑıг":136785,"ĠпоÑįмÑĥ":136786,"ĠпÑĢевз":136787,"ĠпÑĢеем":136788,"ĠпÑĢеле":136789,"ĠпÑĢеÑĢв":136790,"ĠпÑĢонз":136791,"ĠпÑĢоÑĢв":136792,"ĠпÑĢоÑıÑģ":136793,"ĠпÑģалм":136794,"ĠпÑĥдов":136795,"ĠпÑĥÑĩок":136796,"ĠпÑĭÑĤок":136797,"ĠпÑıÑĤен":136798,"ĠÑĢадÑĥг":136799,"ĠÑĢадÑĥж":136800,"ĠÑĢанил":136801,"ĠÑĢаÑģпи":136802,"ĠÑĢеÑĤÑĢо":136803,"ĠÑĢеÑĩей":136804,"ĠÑĢеÑĩки":136805,"ĠÑĢеÑĪеÑĤ":136806,"ĠÑĢобко":136807,"ĠÑĢолев":136808,"ĠÑĢоÑĤоÑĢ":136809,"ĠÑĢÑĥбаÑĪ":136810,"ĠÑĢÑĥмÑıн":136811,"ĠÑĢÑĥÑģле":136812,"ĠÑĢÑĥÑĩка":136813,"ĠÑĢÑĥÑĩÑĮÑı":136814,"ĠÑģамод":136815,"ĠÑģанов":136816,"ĠÑģблиз":136817,"ĠÑģбÑĭÑĤа":136818,"ĠÑģвеÑĢж":136819,"ĠÑģвеÑĢл":136820,"ĠÑģеÑĤки":136821,"ĠÑģеÑĤÑıм":136822,"ĠÑģжаÑĤо":136823,"ĠÑģигаÑĢ":136824,"ĠÑģилоÑİ":136825,"ĠÑģиним":136826,"ĠÑģинод":136827,"ĠÑģкÑĢин":136828,"ĠÑģмазк":136829,"ĠÑģмиÑĢи":136830,"ĠÑģоиÑģк":136831,"ĠÑģойÑĤи":136832,"ĠÑģоÑĤнÑİ":136833,"ĠÑģпазм":136834,"ĠÑģпиÑĩк":136835,"ĠÑģпÑĢов":136836,"ĠÑģÑĤепÑĮ":136837,"ĠÑģÑĤолп":136838,"ĠÑģÑĤÑĢÑĥи":136839,"ĠÑģÑĤÑĢÑĥÑı":136840,"ĠÑģÑĤÑĥÑĩа":136841,"ĠÑģÑĤÑĭке":136842,"ĠÑģÑĤÑĭÑĩк":136843,"ĠÑģÑĥмеÑĢ":136844,"ĠÑģÑĥмки":136845,"ĠÑģÑĥмкÑĥ":136846,"ĠÑĤелеп":136847,"ĠÑĤеÑĢке":136848,"ĠÑĤеÑĢÑıÑı":136849,"ĠÑĤеÑĩÑijÑĤ":136850,"ĠÑĤиÑħий":136851,"ĠÑĤокен":136852,"ĠÑĤонÑĥÑģ":136853,"ĠÑĤÑĢиви":136854,"ĠÑĤÑĢоÑıн":136855,"ĠÑĤÑĥÑĢне":136856,"ĠÑĤÑİлен":136857,"ĠÑĥбÑĢан":136858,"ĠÑĥгаÑģа":136859,"ĠÑĥгоÑīа":136860,"ĠÑĥзкиÑħ":136861,"ĠÑĥзнаÑİ":136862,"ĠÑĥкÑĢад":136863,"ĠÑĥлÑĭбн":136864,"ĠÑĥнижа":136865,"ĠÑĥнÑĭни":136866,"ĠÑĥплоÑĤ":136867,"ĠÑĥпова":136868,"ĠÑĥÑģнÑĥл":136869,"ĠÑĥÑĤеÑĪа":136870,"ĠÑĥÑĩебÑĥ":136871,"ĠÑĥÑĩÑijбÑĥ":136872,"ĠÑĥÑİÑĤно":136873,"ĠÑĦанеÑĢ":136874,"ĠÑĦаÑĢма":136875,"ĠÑħобби":136876,"ĠÑħолеÑĢ":136877,"ĠÑħолоп":136878,"ĠÑħоÑħоÑĤ":136879,"ĠÑĨаÑĢил":136880,"ĠÑĨепей":136881,"ĠÑĨеÑģаÑĢ":136882,"ĠÑĩаÑĪки":136883,"ĠÑĩаÑĪкÑĥ":136884,"ĠÑĩеÑĢеÑĪ":136885,"ĠÑĩÑĥваÑĪ":136886,"ĠÑĩÑĥжое":136887,"ĠÑĩÑĥжом":136888,"ĠÑĩÑĥжÑĥÑİ":136889,"ĠÑĩÑĥÑĤко":136890,"ĠÑĪелÑĮÑĦ":136891,"ĠÑĪеÑĢиÑĦ":136892,"ĠÑĪланг":136893,"ĠÑĪлÑıÑħÑĤ":136894,"ĠÑĪÑĤанг":136895,"ĠÑĪÑĥмеÑĢ":136896,"ĠÑīедÑĢÑĭ":136897,"ĠÑīеÑĤин":136898,"ĠÑįпопе":136899,"ĠÑįÑĢози":136900,"ĠÑįÑģким":136901,"ĠÑİжнÑĭй":136902,"ĠÑıблон":136903,"ĠÑıкоÑĢÑı":136904,"ĠÑıнÑĤаÑĢ":136905,"ĠÑıÑĢкаÑı":136906,"ĠÑıÑĢмаÑĢ":136907,"ĠÑıÑģнее":136908,"ĠÑıÑĩеек":136909,"ĠÑıÑĩмен":136910,"ÐIJйленд":136911,"ÐIJлÑĮÑıнÑģ":136912,"ÐijаваÑĢи":136913,"Ðijиблио":136914,"Ðijлажен":136915,"ÐijÑĢазил":136916,"ÐĴелико":136917,"ÐĴикÑĤоÑĢ":136918,"ÐĴÑģÑĤÑĢеÑĩ":136919,"Ðĵлобал":136920,"ÐĵовоÑĢи":136921,"ÐĶаллаÑģ":136922,"ÐĶейÑģÑĤв":136923,"ÐĶиалог":136924,"ÐĶиÑĢекÑĤ":136925,"ÐĶокÑĤоÑĢ":136926,"ÐĶÑĢакон":136927,"ÐĶÑĢÑĥжба":136928,"ÐĶÑĮÑıвол":136929,"ÐķвÑĢопе":136930,"ÐĸеÑĢмен":136931,"ÐĸÑĥÑĢнал":136932,"ÐĹеÑĢкал":136933,"ÐĺЧÐķСÐļÐĺ":136934,"ÐĺнÑĤегÑĢ":136935,"Ðļомеди":136936,"ÐļÑĢаÑĤко":136937,"ÐļÑĢÑĭлÑĮÑı":136938,"ÐļÑĥбанÑĮ":136939,"ÐĽÑİбовÑĮ":136940,"ÐľÐ°Ð½ÑħÑįÑĤ":136941,"ÐľÐµÑĤалл":136942,"Ðŀднако":136943,"ÐŀÑĢиенÑĤ":136944,"ÐŀÑĤкÑĢÑĭÑĤ":136945,"ÐŁÐ°ÑģÑģаж":136946,"ÐŁÐµÑĢвÑĭй":136947,"ÐŁÐ¸Ð¾Ð½ÐµÑĢ":136948,"ÐŁÐ¾ÑįзиÑı":136949,"ÐŁÑĢоекÑĤ":136950,"ÐŁÑĢоÑīай":136951,"ÐŁÑĥÑĪкин":136952,"ÐłÐ¾ÑģÑĤов":136953,"СТÐĴÐķÐĿÐĿ":136954,"СевилÑĮ":136955,"СлÑĥÑĪай":136956,"СмеÑĢÑĤÑĮ":136957,"СовеÑĢÑĪ":136958,"СоÑĨиал":136959,"СÑĤалин":136960,"СÑĤиÑħоÑĤ":136961,"СÑĥббоÑĤ":136962,"ТепеÑĢÑĮ":136963,"ТеÑĢÑĢоÑĢ":136964,"ТолÑĮко":136965,"ТÑĢоиÑĨк":136966,"УдмÑĥÑĢÑĤ":136967,"ФеникÑģ":136968,"ФÑĥÑĤбол":136969,"ЧеÑĢкеÑģ":136970,"ШколÑĮн":136971,"ÐŃконом":136972,"ЯндекÑģ":136973,"абелÑĮн":136974,"абилиÑĤ":136975,"аводÑģк":136976,"аковиÑĩ":136977,"амблеи":136978,"аменем":136979,"анного":136980,"анÑħоли":136981,"апÑĤиÑģÑĤ":136982,"аÑĢгаÑĢи":136983,"аÑĢканд":136984,"аÑĥÑĢÑıдн":136985,"бавлÑıл":136986,"баÑĤÑİÑĪк":136987,"безлÑİд":136988,"болезн":136989,"бÑĢигад":136990,"бÑīевой":136991,"бÑĭвÑĪий":136992,"бÑİджеÑĤ":136993,"валенÑĤ":136994,"венÑĨии":136995,"веÑĢнеÑĤ":136996,"взаимо":136997,"виденн":136998,"воздÑĥÑħ":136999,"воÑĢени":137000,"воÑģпал":137001,"вÑģÑĤÑĢеÑĩ":137002,"вÑĭÑģоко":137003,"вÑıзкой":137004,"гелÑĮÑģк":137005,"геÑĢмеÑĤ":137006,"гиганÑĤ":137007,"гиÑĤаÑĢа":137008,"гоÑĢани":137009,"гоÑĢеÑĤÑĮ":137010,"давÑĪий":137011,"далеке":137012,"далеко":137013,"двеÑĢии":137014,"двинÑĥв":137015,"деваÑİÑĤ":137016,"делÑĮно":137017,"деÑĢжка":137018,"деÑĢнÑĥл":137019,"дивеÑĢÑģ":137020,"дизайн":137021,"должен":137022,"доÑĢоги":137023,"дÑĥмаеÑĤ":137024,"дÑĭваеÑĤ":137025,"егнÑĥÑĤÑĮ":137026,"елезоб":137027,"елениÑı":137028,"емеÑĤев":137029,"ендоÑĢÑĦ":137030,"еноÑģÑıÑĤ":137031,"енÑģÑĤво":137032,"епоезд":137033,"еÑĢбÑĢод":137034,"еÑĢжива":137035,"еÑĢпева":137036,"еÑĢÑĮезн":137037,"еÑģоÑİзн":137038,"еÑģÑģÑĥаÑĢ":137039,"еÑģÑĤвии":137040,"еÑģÑĤине":137041,"еÑģÑĤинÑĭ":137042,"еÑĤÑĢажн":137043,"женÑīин":137044,"живлен":137045,"жимаÑĤÑĮ":137046,"жимаÑİÑĤ":137047,"здание":137048,"землед":137049,"злокаÑĩ":137050,"зовиÑĤе":137051,"зÑĭваÑĤÑĮ":137052,"иаÑĤÑĢии":137053,"иваниÑİ":137054,"ивÑĭÑĩно":137055,"иеÑĢаÑĢÑħ":137056,"изÑĬÑıÑģн":137057,"икидзе":137058,"имаÑĤÑĥм":137059,"иногда":137060,"инÑģÑĤÑĢÑĥ":137061,"инÑĤокÑģ":137062,"иономи":137063,"иÑĢениÑı":137064,"иÑĢÑĤÑĥоз":137065,"иÑģкаÑĨи":137066,"иÑģленн":137067,"иÑĤеÑĢÑģк":137068,"иÑĨейÑģк":137069,"иÑĨизма":137070,"иÑĨиозн":137071,"иÑĪвили":137072,"кажеÑĪÑĮ":137073,"калÑĮÑģк":137074,"каÑĢÑĤин":137075,"кепÑĤик":137076,"кладок":137077,"клиенÑĤ":137078,"клонно":137079,"колоÑĤÑĮ":137080,"коÑĢоÑĤк":137081,"кÑĢаÑģил":137082,"кÑĢизиÑģ":137083,"кÑĢÑĥÑĩен":137084,"кÑĢÑĭÑĤии":137085,"кÑĢÑĭÑĤÑĭм":137086,"кÑĥпаÑĤÑĮ":137087,"кÑĥÑĢÑģив":137088,"кÑĥÑĢÑģии":137089,"кÑĥÑģиÑĤÑĮ":137090,"кÑĥÑĪаÑĤÑĮ":137091,"ламÑĭва":137092,"ландаÑħ":137093,"локаÑĨи":137094,"лÑĭÑĪиÑĪÑĮ":137095,"лÑĮзÑĭва":137096,"лÑıндиÑı":137097,"лÑıÑĨией":137098,"магнеÑĤ":137099,"маÑĤики":137100,"маÑĤÑĥÑĪк":137101,"медвеж":137102,"меÑĤеоÑĢ":137103,"меÑĤÑĮÑĤе":137104,"меÑħани":137105,"меÑĩено":137106,"меÑīаÑĤÑĮ":137107,"миÑĢалÑĤ":137108,"модели":137109,"моделÑĮ":137110,"модеÑĢн":137111,"молвил":137112,"моÑĢалÑĮ":137113,"моÑĨион":137114,"моÑĩиÑĤÑĮ":137115,"мÑĥжÑĩин":137116,"мÑĩалÑģÑı":137117,"небÑĢеж":137118,"нейÑĪем":137119,"немеÑĨк":137120,"неÑģанк":137121,"неÑģиÑĤе":137122,"нимаем":137123,"ниÑĤеÑģÑĮ":137124,"ниÑĩего":137125,"новлен":137126,"нокожи":137127,"нокÑĢов":137128,"нолÑĭжн":137129,"ноÑģÐ¸Ð¼Ð¾":137130,"ноÑģлав":137131,"нÑģÑĤÑĢÑĥк":137132,"обедим":137133,"обоÑĢÑĥд":137134,"обÑĭÑĤно":137135,"овалÑİÑĤ":137136,"оваÑĤÑĭй":137137,"овоÑĢил":137138,"овÑĭвал":137139,"одаÑĤел":137140,"одÑĥÑĪно":137141,"ожданн":137142,"ожениÑı":137143,"озапиÑģ":137144,"ознани":137145,"ознаÑĩн":137146,"оказан":137147,"окÑĢаÑĤн":137148,"олÑĮÑĪее":137149,"олÑĮÑĪий":137150,"омÑĦоÑĢÑĤ":137151,"омÑıнÑĥÑĤ":137152,"оновÑģк":137153,"опоÑĤам":137154,"оÑĢÑĤаÑĨи":137155,"оÑĢÑĤиÑĤÑĮ":137156,"оÑģмÑĭÑģл":137157,"оÑģÑĤнÑĭÑħ":137158,"оÑģÑĤоÑĩк":137159,"оÑģÑĤоÑıн":137160,"оÑĤвеÑĢж":137161,"оÑĤкÑĥда":137162,"оÑĥÑģÑĤÑĢо":137163,"оÑħоÑĤно":137164,"оÑħÑĢанÑı":137165,"павÑĪий":137166,"пеÑĢвок":137167,"пеÑĢвÑĭй":137168,"пеÑĢиод":137169,"пеÑĢÑģон":137170,"пиниÑģÑĤ":137171,"подÑĪип":137172,"полнÑıÑı":137173,"полÑĮзÑĥ":137174,"помалÑĥ":137175,"поÑģлÑĥÑĪ":137176,"поÑĤÑĥÑģÑĤ":137177,"пÑĢежде":137178,"пÑĢимеÑĩ":137179,"пÑĢовок":137180,"пÑĢоком":137181,"пÑĥÑģÑĤоÑĪ":137182,"пÑĥÑģÑĤÑıÑĤ":137183,"пÑĭÑĤÑĭва":137184,"ÑĢазиÑĤÑĮ":137185,"ÑĢазÑĢÑıд":137186,"ÑĢалÑĤаÑĢ":137187,"ÑĢанÑĤов":137188,"ÑĢаÑģÑĤеÑĤ":137189,"ÑĢаÑģÑħод":137190,"ÑĢаÑħман":137191,"ÑĢаÑĨией":137192,"ÑĢаÑĨион":137193,"ÑĢедиÑĤÑĮ":137194,"ÑĢезеÑĢв":137195,"ÑĢеклам":137196,"ÑĢеÑģÑĥÑĢÑģ":137197,"ÑĢизаÑĨи":137198,"ÑĢиÑĢÑĥеÑĤ":137199,"ÑĢоÑģÑĪие":137200,"ÑĢоÑĩнÑĭе":137201,"ÑĢÑĥгаÑĨк":137202,"ÑĢÑĥменÑĤ":137203,"ÑĢÑĥÑĩаеÑĤ":137204,"ÑĢÑĭваÑĤÑĮ":137205,"ÑģейÑĩаÑģ":137206,"ÑģекÑĥнд":137207,"ÑģеллеÑĢ":137208,"ÑģеÑĢебÑĢ":137209,"ÑģеÑĢийн":137210,"ÑģкÑĢипÑĤ":137211,"Ñģледно":137212,"ÑģловаÑĤ":137213,"Ñģмеива":137214,"ÑģмиÑģÑģи":137215,"Ñģоздан":137216,"ÑģоÑģÑĢед":137217,"ÑģпеÑĨиÑĦ":137218,"ÑģÑĢавни":137219,"ÑģÑĤалин":137220,"ÑģÑĤанно":137221,"ÑģÑĤÑĢойк":137222,"ÑģÑĤÑĥпаÑħ":137223,"ÑģÑĤÑĥпÑıÑĤ":137224,"ÑģÑĥÑĪиÑĤÑĮ":137225,"ÑģÑĩиÑĤан":137226,"ÑģÑĭпаÑİÑĤ":137227,"ÑĤикали":137228,"ÑĤокÑģин":137229,"ÑĤокÑģиÑĩ":137230,"ÑĤоÑĢмоз":137231,"ÑĤоÑĩнее":137232,"ÑĤÑĢаÑĤив":137233,"ÑĤÑĢойкÑĥ":137234,"ÑĤÑĢопин":137235,"ÑĤÑıнÑĥÑĤо":137236,"ÑĤÑıнÑĥÑĤÑĭ":137237,"ÑĥалÑĮно":137238,"Ñĥжденн":137239,"ÑĥлÑıÑĤоÑĢ":137240,"ÑĥÑĢкеÑģÑĤ":137241,"ÑĥÑĩеник":137242,"ÑĦоÑĢмÑĥл":137243,"ÑĦÑĥÑĤбол":137244,"ÑħаÑĥзен":137245,"ÑħлоÑĢид":137246,"ÑĨепÑĨиÑı":137247,"ÑĨовÑīиÑĨ":137248,"ÑĩаÑģÑĤиÑĨ":137249,"ÑĩеÑģÑĭва":137250,"Ñĩленен":137251,"ÑĪениÑıÑħ":137252,"ÑĪкевиÑĩ":137253,"ÑīÑĥпÑĭва":137254,"ÑĬеÑħаÑĤÑĮ":137255,"Ñĭваний":137256,"ÑĭваÑıÑģÑĮ":137257,"ÑĭгÑĢаÑĤÑĮ":137258,"Ñįколог":137259,"ÑįкÑģпед":137260,"ÑįмпиÑĢи":137261,"ÑįÑĤажнÑĭ":137262,"ÑįÑĤилен":137263,"ÑıблоÑĩн":137264,"ÑıжениÑı":137265,"ÑıноÑĦил":137266,"ÑıÑīимÑģÑı":137267,"ĠConsul":137268,"ĠMongol":137269,"ĠRotten":137270,"Ġcommut":137271,"Ġpredat":137272,"arriage":137273,"eastern":137274,"egotiat":137275,"elected":137276,"llusion":137277,"militar":137278,"syndica":137279,"winning":137280,"ĠÐIJнглий":137281,"ĠÐIJнÑĤÑĥан":137282,"ĠÐIJÑĢагон":137283,"ĠÐijеÑĢинг":137284,"ĠÐijеÑĢнаÑĢ":137285,"ĠÐijиблиÑı":137286,"ĠÐijобÑĢов":137287,"ĠÐijоÑģнии":137288,"ĠÐijÑĥндеÑģ":137289,"ĠÐijÑĥÑĢбон":137290,"ĠÐijÑĥÑįноÑģ":137291,"ĠÐĴажнÑĭм":137292,"ĠÐĴаÑĪего":137293,"ĠÐĴеймаÑĢ":137294,"ĠÐĴеÑĢнеÑĢ":137295,"ĠÐĴзаимо":137296,"ĠÐĴилÑĮÑıм":137297,"ĠÐĴинниÑĨ":137298,"ĠÐĴладик":137299,"ĠÐĴладÑĭк":137300,"ĠÐĴоевод":137301,"ĠÐĴологд":137302,"ĠÐĴÑĢемен":137303,"ĠÐĴÑĤоÑĢÑĥÑİ":137304,"ĠÐĴÑĤоÑĢÑĭм":137305,"ĠÐĵайдаÑĢ":137306,"ĠÐĵаÑĤÑĩин":137307,"ĠÐĵегелÑĮ":137308,"ĠÐĵегелÑı":137309,"ĠÐĵеÑĢоев":137310,"ĠÐĵимала":137311,"ĠÐĵоÑĦман":137312,"ĠÐĵÑĢеÑĨиÑİ":137313,"ĠÐĵÑĢеÑĨиÑı":137314,"ĠÐĵÑĢÑĥппÑĭ":137315,"ĠÐĶалеко":137316,"ĠÐĶваждÑĭ":137317,"ĠÐĶеÑģÑıÑĤÑĮ":137318,"ĠÐĶжеÑģÑģи":137319,"ĠÐĶжимми":137320,"ĠÐĶизайн":137321,"ĠÐĶнеÑģÑĤÑĢ":137322,"ĠÐĶобÑĢÑĭй":137323,"ĠÐĶоклад":137324,"ĠÐĶолжен":137325,"ĠÐĶоÑģÑĤÑĥп":137326,"ĠÐĶÑĢÑĥжбÑĭ":137327,"ĠÐķвгенÑĮ":137328,"ĠÐĸеневе":137329,"ĠÐĹамеÑģÑĤ":137330,"ĠÐĹинаид":137331,"ĠÐĹнаеÑĪÑĮ":137332,"ĠÐĹнамен":137333,"ĠÐĺгнаÑĤÑĮ":137334,"ĠÐĺжевÑģк":137335,"ĠÐĺндиан":137336,"ĠÐĺÑģклÑİÑĩ":137337,"ĠÐĺÑģмаил":137338,"ĠÐĺÑģÑģлед":137339,"ĠÐļÐŀÐIJТУУ":137340,"ĠÐļаковÑĭ":137341,"ĠÐļанада":137342,"ĠÐļаÑĢпаÑĤ":137343,"ĠÐļаÑĢÑĤин":137344,"ĠÐļвебек":137345,"ĠÐļомÑģом":137346,"ĠÐļоÑĢÑĤеÑģ":137347,"ĠÐļоÑģово":137348,"ĠÐļÑĢайне":137349,"ĠÐļÑĢедиÑĤ":137350,"ĠÐļÑģениÑı":137351,"ĠÐļÑĥбани":137352,"ĠÐļÑĥвейÑĤ":137353,"ĠÐļÑįÑĤÑĢин":137354,"ĠÐĽÐ°ÑĢиÑģа":137355,"ĠÐĽÐµÑģков":137356,"ĠÐĽÐµÑĤÑĩик":137357,"ĠÐĽÑĥжков":137358,"ĠÐĽÑĥÑĩÑĪие":137359,"ĠÐĽÑİблин":137360,"ĠÐľÐ°Ð³Ð½ÑĥÑģ":137361,"ĠÐľÐ°Ð½ÑĥÑįл":137362,"ĠÐľÐ°ÑħмÑĥд":137363,"ĠÐľÐµÐ´Ð¸Ñĩи":137364,"ĠÐľÐµÐ¹ÐµÑĢÑħ":137365,"ĠÐľÐµÑħико":137366,"ĠÐľÐ¸ÐºÐ¾Ñıн":137367,"ĠÐľÐ¸Ñħайл":137368,"ĠÐľÐ¾Ð¸ÑģеÑı":137369,"ĠÐľÐ¾ÑĢÑĢиÑģ":137370,"ĠÐľÑĥÑģÑĤаÑĦ":137371,"ĠÐĿаваÑĢÑĢ":137372,"ĠÐĿайден":137373,"ĠÐĿаÑĩнем":137374,"ĠÐĿемало":137375,"ĠÐĿемÑĨов":137376,"ĠÐĿепÑĤÑĥн":137377,"ĠÐĿеÑģÑĤоÑĢ":137378,"ĠÐĿеÑĥдив":137379,"ĠÐĿижнÑıÑı":137380,"ĠÐŀдеÑģÑģÑĥ":137381,"ĠÐŀливеÑĢ":137382,"ĠÐŀÑĢджон":137383,"ĠÐŀÑĢеÑħов":137384,"ĠÐŀÑĤкÑĢÑĭв":137385,"ĠÐŀÑĤнÑĭне":137386,"ĠÐŀÑĤÑĤÑĥда":137387,"ĠÐŀÑĨенка":137388,"ĠÐŀÑĩеÑĢки":137389,"ĠÐŁÐ°ÑĢенÑĮ":137390,"ĠÐŁÐ°ÑĢкеÑĢ":137391,"ĠÐŁÐµÑģков":137392,"ĠÐŁÐµÑĤÑĢоз":137393,"ĠÐŁÐ»ÐµÐ½Ñĥм":137394,"ĠÐŁÐ»ÑĥÑĤон":137395,"ĠÐŁÐ¾Ð·Ð²Ð¾Ð»":137396,"ĠÐŁÐ¾Ð·Ð¸ÑĨи":137397,"ĠÐŁÐ¾Ð»ÐµÐ·Ð½":137398,"ĠÐŁÐ¾ÑĤеÑĢи":137399,"ĠÐŁÑĢибÑĭв":137400,"ĠÐŁÑĢовеÑĢ":137401,"ĠÐłÐ°Ð·Ð²ÐµÐ´":137402,"ĠÐłÐµÐ·ÐµÑĢв":137403,"ĠÐłÐµÐ¹Ð³Ð°Ð½":137404,"ĠÐłÐµÐºÐ»Ð°Ð¼":137405,"ĠÐłÐµÑĨепÑĤ":137406,"ĠÐłÐ¸ÑħаÑĢд":137407,"ĠÐłÐ¾Ð´Ð¸Ð½Ðµ":137408,"ĠÐłÐ¾Ð»Ð°Ð½Ð´":137409,"ĠСаймон":137410,"ĠСамÑģон":137411,"ĠСамÑĥил":137412,"ĠСвеÑĤло":137413,"ĠСеÑĢвиÑģ":137414,"ĠСеÑĢгеÑİ":137415,"ĠСеÑĢгиÑı":137416,"ĠСеÑģÑĤÑĢа":137417,"ĠСимÑĦеÑĢ":137418,"ĠСлÑĥжба":137419,"ĠСлÑĥжбÑĭ":137420,"ĠСобака":137421,"ĠСобиÑĢа":137422,"ĠСодÑĢÑĥж":137423,"ĠСомали":137424,"ĠСпеÑĢва":137425,"ĠСпÑĢава":137426,"ĠСÑģÑĭлки":137427,"ĠСÑĤавки":137428,"ĠСÑĤаÑĤÑĥÑģ":137429,"ĠСÑĤаÑĤÑĮи":137430,"ĠТвеÑĢÑģк":137431,"ĠТемпеÑĢ":137432,"ĠТолÑģÑĤÑĭ":137433,"ĠТоÑĩнее":137434,"ĠТÑĢенеÑĢ":137435,"ĠТÑĢоиÑĨÑĭ":137436,"ĠТÑĥÑĢеÑĨк":137437,"ĠТÑĥÑĢÑĨиÑİ":137438,"ĠУоÑĢÑĢен":137439,"ĠУÑģÑĤÑĢой":137440,"ĠУÑĩеник":137441,"ĠФадеев":137442,"ĠФеоÑĦан":137443,"ĠФÑĢолов":137444,"ĠХоÑĤиÑĤе":137445,"ĠÐ¥ÑĢаниÑĤ":137446,"ĠÐ¥ÑĢиÑģÑĤе":137447,"ĠÐ¥ÑĢиÑģÑĤÑĥ":137448,"ĠÐ¥ÑĢÑĥÑīÑijв":137449,"ĠЧаплин":137450,"ĠЧеÑĢног":137451,"ĠЧкалов":137452,"ĠЧÑĥбайÑģ":137453,"ĠШиллеÑĢ":137454,"ĠШиÑĢина":137455,"ĠÐŃдмÑĥнд":137456,"ĠЯкÑĥÑĤии":137457,"ĠаббÑĢев":137458,"ĠаваÑĢиÑı":137459,"ĠавÑģÑĤÑĢо":137460,"ĠаккоÑĢд":137461,"ĠакÑĥÑĪеÑĢ":137462,"ĠаллеÑĢг":137463,"ĠалÑĤаÑĢÑĮ":137464,"ĠапеллÑı":137465,"ĠапÑĤека":137466,"ĠаÑĤланÑĤ":137467,"ĠаÑĤÑĤаÑĪе":137468,"ĠаÑĥÑĤенÑĤ":137469,"ĠаÑĦинÑıн":137470,"Ġбаллад":137471,"ĠбамбÑĥк":137472,"ĠбаÑĪмак":137473,"ĠбеглеÑĨ":137474,"ĠбеднÑĭм":137475,"ĠбезÑĢаз":137476,"ĠбинаÑĢн":137477,"Ġбинокл":137478,"ĠбойкоÑĤ":137479,"ĠбоÑĢÑĨов":137480,"ĠбоÑıзнÑĮ":137481,"ĠбÑĢодил":137482,"ĠбÑĢодÑıг":137483,"ĠбÑĢокеÑĢ":137484,"ĠбÑĥнкеÑĢ":137485,"Ġванной":137486,"Ġведома":137487,"ĠвелоÑģÑĮ":137488,"ĠвеÑĤоÑĩк":137489,"ĠвзглÑıн":137490,"ĠвзÑıÑĤие":137491,"ĠвзÑıÑĤиÑı":137492,"Ġвлажно":137493,"ĠвлÑİблÑı":137494,"ĠвниÑĩÑĮÑİ":137495,"ĠвнÑĥÑĪал":137496,"ĠвозбÑĥд":137497,"Ġвоззва":137498,"ĠвоодÑĥÑĪ":137499,"ĠвпÑĢÑıмÑĮ":137500,"ĠвÑĢажде":137501,"ĠвÑĤоÑĢÑĭе":137502,"ĠвÑĭвеÑģк":137503,"ĠвÑĭлазк":137504,"ĠвÑĭмога":137505,"ĠвÑĭпиÑģк":137506,"ĠвÑĭÑĢÑĭва":137507,"ĠвÑĭÑħлоп":137508,"ĠвÑĭÑĪеÑĥп":137509,"ĠгаванÑĮ":137510,"ĠгаджеÑĤ":137511,"ĠгаÑĥбиÑĨ":137512,"ĠгенÑģек":137513,"ĠгибнÑĥÑĤ":137514,"ĠглаÑģил":137515,"ĠглобÑĥÑģ":137516,"Ġголени":137517,"ĠгоÑĢÑĩиÑĨ":137518,"ĠгоÑģÑĤев":137519,"ĠгÑĢивен":137520,"ĠгÑĢомÑĩе":137521,"ĠгÑĢÑĥбÑĭе":137522,"ĠгÑĢÑĥбÑĭм":137523,"ĠгÑĢÑĥÑģÑĤи":137524,"ĠгÑĢÑĥÑģÑĤÑĮ":137525,"ĠгÑĥÑģÑĤÑĭм":137526,"ĠдавниÑħ":137527,"ĠдаÑĤÑĩан":137528,"ĠдвеÑĢÑıм":137529,"ĠдвеÑĢÑıÑħ":137530,"ĠдевайÑģ":137531,"ĠдегÑĢад":137532,"ĠдеÑĢевÑĥ":137533,"ĠдеÑģеÑĢÑĤ":137534,"ĠдеÑĤÑģко":137535,"ĠдеÑıние":137536,"ĠдлилÑģÑı":137537,"ĠдобÑĭÑĩе":137538,"Ġдождей":137539,"Ġдождем":137540,"Ġдомога":137541,"ĠдоÑģеле":137542,"ĠдÑĢагÑĥн":137543,"ĠдÑĥÑĢаÑĨк":137544,"ĠединаÑı":137545,"Ġедином":137546,"ĠжаÑĢгон":137547,"ĠжелавÑĪ":137548,"ĠжелÑĤÑĭе":137549,"ĠжелÑĤÑĭй":137550,"ĠжелÑĤÑĭм":137551,"ĠжемÑĩÑĥг":137552,"ĠживÑĪиÑħ":137553,"ĠзабÑĥдÑĥ":137554,"Ġзадние":137555,"ĠзадниÑĨ":137556,"ĠзадÑĥма":137557,"ĠзадÑĭÑħа":137558,"Ġзамков":137559,"ĠзаÑģнÑĥл":137560,"ĠзаÑģÑĤен":137561,"ĠзаÑģÑĤÑĭл":137562,"ĠзаÑĤÑĭлк":137563,"ĠзаÑĤÑıжн":137564,"ĠзаÑıвок":137565,"ĠзвенÑĮÑı":137566,"ĠземлÑijй":137567,"Ġзимней":137568,"Ġзимние":137569,"Ġзимний":137570,"Ġзлодей":137571,"Ġзодиак":137572,"ĠзонÑĤик":137573,"Ġидилли":137574,"ĠидÑĥÑīие":137575,"ĠидÑĥÑīий":137576,"ĠидÑĥÑīиÑħ":137577,"ĠизвинÑı":137578,"Ġиздава":137579,"Ġизмене":137580,"ĠизÑĬÑıÑĤÑĭ":137581,"ĠиниÑĨии":137582,"Ġинквиз":137583,"ĠиноÑĢод":137584,"ĠинÑĤона":137585,"ĠинÑĦанÑĤ":137586,"ĠипоÑĤек":137587,"ĠиÑĢонии":137588,"ĠиÑģÑĤоки":137589,"ĠиÑĥдеев":137590,"ĠкабинÑĥ":137591,"ĠкаблÑĥк":137592,"Ġказино":137593,"ĠказÑijнн":137594,"ĠкаÑĢдио":137595,"ĠкаÑĢниз":137596,"ĠкаÑĤоÑĢг":137597,"ĠкаÑĥÑĩÑĥк":137598,"ĠкаÑĪелÑĮ":137599,"ĠкаÑĪÑĤан":137600,"ĠквеÑĢÑħÑĥ":137601,"ĠкиноÑģÑĤ":137602,"ĠкиÑĢгиз":137603,"ĠкладеÑĤ":137604,"Ġкладов":137605,"Ġкнижке":137606,"Ġкнопок":137607,"ĠковÑĩег":137608,"Ġкокаин":137609,"ĠколоÑģÑģ":137610,"Ġколпак":137611,"ĠкоммÑĥÑĤ":137612,"ĠкомпаÑģ":137613,"ĠконÑģол":137614,"ĠконÑĦиÑģ":137615,"ĠконÑĬÑİн":137616,"ĠконÑİÑĪн":137617,"ĠкоÑĢоли":137618,"ĠкоÑģÑĤÑĭл":137619,"ĠкоÑĤлеÑĤ":137620,"ĠкоÑĪаÑĩÑĮ":137621,"ĠкÑĢапив":137622,"ĠкÑĢиÑĩаÑĤ":137623,"ĠкÑĢовÑıн":137624,"ĠкÑĢÑĥжев":137625,"ĠкÑĢÑĭÑĪка":137626,"ĠкÑĢÑĭÑĪки":137627,"ĠкÑĢÑĭÑĪкÑĥ":137628,"ĠкÑĢÑİÑĩок":137629,"ĠкÑĥÑħонн":137630,"ĠлаÑĤино":137631,"ĠлегкаÑı":137632,"ĠлекÑĤоÑĢ":137633,"ĠлекÑĨиÑİ":137634,"ĠленивÑĭ":137635,"Ġлизинг":137636,"ĠлогиÑĩн":137637,"Ġложкой":137638,"ĠложнÑĭе":137639,"ĠложнÑĭм":137640,"ĠложнÑĭÑħ":137641,"ĠлопаÑĤк":137642,"ĠлоÑĤеÑĢе":137643,"ĠлÑİбиÑĪÑĮ":137644,"ĠлÑİбозн":137645,"ĠлÑİÑĦÑĤва":137646,"ĠмагнаÑĤ":137647,"ĠмалÑıÑĢи":137648,"ĠмамонÑĤ":137649,"ĠманÑijвÑĢ":137650,"ĠмаÑĢган":137651,"ĠмаÑĢкеÑĢ":137652,"Ġмедвед":137653,"Ġмедико":137654,"Ġмелкий":137655,"Ġмелким":137656,"ĠмелоÑĩÑĮ":137657,"ĠмемоÑĢи":137658,"Ġменедж":137659,"ĠмеÑĢкам":137660,"ĠмеÑĪали":137661,"ĠмиÑĢозд":137662,"ĠмиÑĪенÑĮ":137663,"ĠмодÑĥли":137664,"ĠмолодÑĨ":137665,"ĠмолÑĩиÑĤ":137666,"ĠмоÑīнаÑı":137667,"ĠмоÑīнÑĥÑİ":137668,"ĠмÑĥÑĪкеÑĤ":137669,"ĠмÑĭÑģлÑıÑħ":137670,"ĠмÑıгкие":137671,"ĠмÑıгкиÑħ":137672,"Ġнавеки":137673,"ĠнаилÑĥÑĩ":137674,"Ġнаполе":137675,"ĠнаÑĩнÑijÑĤ":137676,"ĠнедÑĢаÑħ":137677,"ĠнекоÑĢÑĢ":137678,"ĠнепÑĢин":137679,"ĠнеÑĥдив":137680,"ĠнеÑĥклÑİ":137681,"ĠнеÑĩеÑģÑĤ":137682,"Ġнижние":137683,"ĠнизкÑĥÑİ":137684,"Ġновизн":137685,"ĠнокаÑĥÑĤ":137686,"ĠноÑĩлег":137687,"ĠоблиÑĩа":137688,"ĠобмоÑĤк":137689,"Ġобнажа":137690,"ĠобоÑģоб":137691,"ĠобоÑĪел":137692,"ĠобоÑĪли":137693,"ĠобÑģлед":137694,"ĠобÑĪивк":137695,"ĠобÑĭÑĩаÑİ":137696,"ĠогоÑĢÑĩа":137697,"ĠогÑĥÑĢÑĨÑĭ":137698,"Ġодолев":137699,"ĠоживлÑı":137700,"ĠозаÑĢен":137701,"ĠоконеÑĩ":137702,"Ġоленей":137703,"ĠолигаÑĢ":137704,"Ġолимпи":137705,"ĠопаÑģна":137706,"ĠопаÑģнÑĭ":137707,"ĠопекÑĥн":137708,"ĠоплаÑĤа":137709,"ĠоплаÑĤе":137710,"ĠопÑĨион":137711,"ĠоÑĢбиÑĤа":137712,"ĠоÑĢÑĥжиÑİ":137713,"ĠоÑģенне":137714,"ĠоÑģеÑĤин":137715,"ĠоÑģÑĤава":137716,"ĠоÑģÑĤÑĢаÑı":137717,"ĠоÑĤвÑĢаÑĤ":137718,"ĠоÑĤклад":137719,"ĠоÑĤладк":137720,"ĠоÑĤоÑĪла":137721,"ĠоÑĤÑĢеаг":137722,"ĠоÑĤÑĤеÑģн":137723,"ĠоÑħлади":137724,"ĠоÑħоÑĤой":137725,"ĠоÑĪибÑģÑı":137726,"ĠпалиÑĤÑĢ":137727,"ĠпалÑĥбÑĥ":137728,"ĠпалÑĥбÑĭ":137729,"Ġпанике":137730,"ĠпаникÑĥ":137731,"ĠпанÑĨиÑĢ":137732,"ĠпаÑĢнем":137733,"ĠпаÑĢоÑĩк":137734,"ĠпаÑģÑĤÑĭÑĢ":137735,"ĠпаÑħнеÑĤ":137736,"ĠпеÑĢÑģов":137737,"ĠпеÑĢÑĨем":137738,"ĠпеÑĢÑĮев":137739,"ĠпеÑģком":137740,"ĠпеÑĤиÑĨи":137741,"Ġплавал":137742,"ĠплазмÑĭ":137743,"ĠпланеÑĢ":137744,"ĠплеÑĩев":137745,"ĠповеÑģÑĤ":137746,"Ġпогоде":137747,"ĠпогоÑģÑĤ":137748,"ĠпогÑĢÑĥз":137749,"ĠподаÑĩе":137750,"Ġподожд":137751,"ĠподÑĭма":137752,"ĠпожиÑĢа":137753,"ĠпоймÑĥÑĤ":137754,"ĠполÑĮза":137755,"Ġпомним":137756,"Ġпополн":137757,"ĠпоÑģели":137758,"ĠпоÑģпеÑĪ":137759,"ĠпоÑģÑĥдÑĭ":137760,"ĠпоÑħиÑĤи":137761,"ĠпоÑħиÑīа":137762,"ĠпоÑįзиÑİ":137763,"ĠпÑĢадед":137764,"ĠпÑĢевоз":137765,"ĠпÑĢедал":137766,"ĠпÑĢеÑģек":137767,"ĠпÑĢимеÑĩ":137768,"ĠпÑĢинÑijÑģ":137769,"ĠпÑĢиобÑī":137770,"ĠпÑĢовок":137771,"ĠпÑĢÑĭжок":137772,"ĠпÑģиÑħоз":137773,"ĠпÑĥзÑĭÑĢе":137774,"ĠпÑĥÑĢпÑĥÑĢ":137775,"ĠпÑĥÑĤаÑĤÑĮ":137776,"ĠпÑĥÑĤник":137777,"ĠпÑĮÑıниÑĨ":137778,"ĠÑĢазгÑĥл":137779,"ĠÑĢазлив":137780,"ĠÑĢазлÑĥк":137781,"ĠÑĢазмÑĭÑĤ":137782,"ĠÑĢазоÑĢÑı":137783,"ĠÑĢазÑĬем":137784,"ĠÑĢакÑĥÑĢÑģ":137785,"ĠÑĢаннее":137786,"ĠÑĢанний":137787,"ĠÑĢаÑģкаÑĤ":137788,"ĠÑĢаÑģÑĤÑijÑĤ":137789,"ĠÑĢванÑĥл":137790,"ĠÑĢевеÑĢÑģ":137791,"ĠÑĢевнив":137792,"ĠÑĢедкий":137793,"ĠÑĢезкие":137794,"ĠÑĢезкиÑħ":137795,"ĠÑĢезÑİме":137796,"ĠÑĢеÑĪÑijÑĤк":137797,"ĠÑĢозеÑĤк":137798,"ĠÑĢозово":137799,"ĠÑĢÑĥлево":137800,"ĠÑĢÑĭбалк":137801,"ĠÑĢÑĭÑĨаÑĢÑĮ":137802,"ĠÑģвинÑĨа":137803,"ĠÑģвÑıзÑıÑħ":137804,"ĠÑģвÑıÑĤÑĭе":137805,"ĠÑģеÑĢбов":137806,"ĠÑģеÑģÑģиÑı":137807,"ĠÑģжаÑĤиÑı":137808,"ĠÑģидевÑĪ":137809,"ĠÑģилÑĮна":137810,"ĠÑģилÑĮнÑĭ":137811,"ĠÑģиÑıние":137812,"ĠÑģказкÑĥ":137813,"ĠÑģкован":137814,"ĠÑģкоÑĢби":137815,"ĠÑģкоÑĢбÑĮ":137816,"ĠÑģкÑĥднÑĭ":137817,"ĠÑģлабаÑı":137818,"ĠÑģловеÑģ":137819,"ĠÑģлÑĥÑħам":137820,"ĠÑģлÑĥÑĩив":137821,"ĠÑģлÑĭÑħал":137822,"ĠÑģлÑĭÑĪаÑĤ":137823,"ĠÑģмеÑģÑĮÑİ":137824,"ĠÑģнимка":137825,"ĠÑģнимок":137826,"ĠÑģнÑıÑĤÑĭй":137827,"ĠÑģобаÑĩк":137828,"ĠÑģожгли":137829,"ĠÑģозÑĢев":137830,"ĠÑģомкнÑĥ":137831,"ĠÑģоÑģлан":137832,"ĠÑģоÑĨиÑĥм":137833,"ĠÑģÑĢабаÑĤ":137834,"ĠÑģÑĢодни":137835,"ĠÑģÑĤадий":137836,"ĠÑģÑĤебле":137837,"ĠÑģÑĤеблÑı":137838,"ĠÑģÑĤекол":137839,"ĠÑģÑĤенке":137840,"ĠÑģÑĤенок":137841,"ĠÑģÑĤеÑĢео":137842,"ĠÑģÑĤойка":137843,"ĠÑģÑĤолкн":137844,"ĠÑģÑĤолÑıÑĢ":137845,"ĠÑģÑĤомаÑĤ":137846,"ĠÑģÑĤÑĢажи":137847,"ĠÑģÑĤÑĢоем":137848,"ĠÑģÑĤÑĥдиÑİ":137849,"ĠÑģÑĤÑĥлÑĮÑı":137850,"ĠÑģÑĥдÑĮей":137851,"ĠÑģÑĥиÑĨид":137852,"ĠÑģÑĥндÑĥк":137853,"ĠÑģÑĥпÑĢÑĥж":137854,"ĠÑģÑĥÑħого":137855,"ĠÑģÑĬемок":137856,"ĠÑģÑĭгÑĢан":137857,"ĠÑĤаблиÑĩ":137858,"ĠÑĤаджик":137859,"ĠÑĤайком":137860,"ĠÑĤаймеÑĢ":137861,"ĠÑĤайник":137862,"ĠÑĤаможн":137863,"ĠÑĤанкеÑĢ":137864,"ĠÑĤанÑĨоÑĢ":137865,"ĠÑĤвоÑĢог":137866,"ĠÑĤеплÑĭе":137867,"ĠÑĤеплÑĭй":137868,"ĠÑĤеплÑĭм":137869,"ĠÑĤеÑģнÑĭе":137870,"ĠÑĤиÑĪине":137871,"ĠÑĤканÑıÑħ":137872,"ĠÑĤолпой":137873,"ĠÑĤонкÑĥÑİ":137874,"ĠÑĤÑĢаÑģÑģа":137875,"ĠÑĤÑĢаÑĤиÑĤ":137876,"ĠÑĤÑĢениÑı":137877,"ĠÑĤÑĢеÑĤей":137878,"ĠÑĤÑĢонÑĥÑĤ":137879,"ĠÑĤÑĢÑĥппÑĭ":137880,"ĠÑĤÑıжкие":137881,"ĠÑĥвеков":137882,"ĠÑĥвидÑıÑĤ":137883,"ĠÑĥвлажн":137884,"ĠÑĥглÑĥби":137885,"ĠÑĥгодÑĮÑı":137886,"ĠÑĥдвоен":137887,"ĠÑĥдивиÑĤ":137888,"ĠÑĥзнаÑijÑĤ":137889,"ĠÑĥкÑĢепи":137890,"ĠÑĥкÑĢопа":137891,"ĠÑĥкÑĢÑĭва":137892,"ĠÑĥлÑĭбкÑĥ":137893,"ĠÑĥмножа":137894,"ĠÑĥпÑĢоÑģÑĤ":137895,"ĠÑĥпÑĢÑıмо":137896,"ĠÑĥÑģадеб":137897,"ĠÑĥÑģвоил":137898,"ĠÑĥÑģмоÑĤÑĢ":137899,"ĠÑĥÑģпока":137900,"ĠÑĥÑĤеÑĢÑıн":137901,"ĠÑĥÑĤомлÑı":137902,"ĠÑĥÑĤонÑĥл":137903,"ĠÑĥÑĤÑĢаÑĤÑĭ":137904,"ĠÑĥÑĨелел":137905,"ĠÑĥÑĩаÑĤÑģÑı":137906,"ĠÑĥÑĩении":137907,"ĠÑĥÑĩениÑĨ":137908,"ĠÑĥÑĩениÑİ":137909,"ĠÑĥÑĩилиÑī":137910,"ĠÑĥÑīелÑĮÑı":137911,"ĠÑĦаланг":137912,"ĠÑĦонаÑĢÑĮ":137913,"ĠÑĦонаÑĢÑı":137914,"ĠÑĦÑĢазой":137915,"ĠÑĦÑĢанко":137916,"ĠÑĦÑĥÑĢажк":137917,"ĠÑĦÑĥÑĢгон":137918,"ĠÑħваÑģÑĤа":137919,"ĠÑħвойнÑĭ":137920,"ĠÑħоккеÑı":137921,"ĠÑħолеÑģÑĤ":137922,"ĠÑħÑĢанÑıÑĤ":137923,"ĠÑħÑĢÑĥпко":137924,"ĠÑħÑĥдÑĪем":137925,"ĠÑĨаÑĢевн":137926,"ĠÑĨаÑĢиÑĨа":137927,"ĠÑĨаÑĢиÑĨÑĭ":137928,"ĠÑĨвеÑĤÑĥÑī":137929,"ĠÑĨиÑĤиÑĢÑĥ":137930,"ĠÑĩайник":137931,"ĠÑĩеÑĢвей":137932,"ĠÑĩеÑĢдак":137933,"ĠÑĩеÑĢнÑĥÑİ":137934,"ĠÑĩиÑģÑĤÑĭÑħ":137935,"ĠÑĩÑĢеваÑĤ":137936,"ĠÑĩÑĤениÑİ":137937,"ĠÑĩÑijÑĢной":137938,"ĠÑĩÑijÑĢнÑĭе":137939,"ĠÑĩÑijÑĢнÑĭм":137940,"ĠÑĩÑijÑĢнÑĭÑħ":137941,"ĠÑĪанÑĤаж":137942,"ĠÑĪаÑħÑĤеÑĢ":137943,"ĠÑĪиÑĢине":137944,"ĠÑįгидой":137945,"ĠÑįзоÑĤеÑĢ":137946,"ĠÑįкÑģÑĤаз":137947,"ĠÑįÑģкоÑĢÑĤ":137948,"ĠÑıÑĩейка":137949,"ĠÑıÑīеÑĢиÑĨ":137950,"ĠÑijмкоÑģÑĤ":137951,"ÐIJбÑģолÑİÑĤ":137952,"ÐIJпокали":137953,"ÐIJполлон":137954,"ÐIJÑĤлеÑĤик":137955,"ÐijезопаÑģ":137956,"ÐijиÑģмаÑĢк":137957,"ÐijолÑĮÑĪой":137958,"ÐijÑĥдÑĥÑīее":137959,"ÐĴенгÑĢиÑı":137960,"ÐĵенеÑĢал":137961,"ÐĶейÑģÑĤвÑĥ":137962,"ÐĶеÑĤÑĢойÑĤ":137963,"ÐĶонбаÑģÑģ":137964,"ÐĺÑģповед":137965,"Ðļолокол":137966,"ÐļонеÑĩно":137967,"ÐļоÑĢолев":137968,"ÐļÑĢаÑģнаÑı":137969,"ÐĽÐµÑĤопиÑģ":137970,"ÐľÐ¸Ð»Ð»Ð¸Ð¾Ð½":137971,"ÐľÐ¾Ð»Ð¾Ð´Ñijж":137972,"ÐŁÐ°ÑĤÑĢиоÑĤ":137973,"ÐŁÐµÑĩеÑĢÑģк":137974,"ÐŁÐ»ÑĥÑĤаÑĢÑħ":137975,"ÐŁÐ¾Ð²ÐµÑģÑĤи":137976,"ÐŁÐ¾Ð¼ÐµÑĢан":137977,"ÐłÐ°Ð±Ð¾Ñĩий":137978,"ÐłÐµÐ²Ð¸Ð·Ð¾ÑĢ":137979,"СпÑĥÑĤник":137980,"СÑĤÑĢаÑĤег":137981,"ТоÑĢпедо":137982,"УбийÑģÑĤв":137983,"ФÑĢанÑĨиÑı":137984,"Ð¥ÑĮÑİÑģÑĤон":137985,"ШвейÑĨаÑĢ":137986,"ÐŃнеÑĢгиÑı":137987,"авÑĤомаÑĤ":137988,"агаÑģкаÑĢ":137989,"акваÑĢел":137990,"алиÑģÑĤов":137991,"анджело":137992,"аÑĢамеÑĤÑĢ":137993,"аÑģÑĪÑĤабн":137994,"аÑĤивное":137995,"аÑİÑīиÑħÑģÑı":137996,"баÑģÑģейн":137997,"беÑģпоко":137998,"биÑĢайÑĤе":137999,"богаÑĤÑĭÑĢ":138000,"бÑĢалаÑģÑĮ":138001,"бÑĭвание":138002,"бÑĭваниÑı":138003,"вигаÑĤел":138004,"влекаеÑĤ":138005,"водоÑĢод":138006,"водÑıÑīие":138007,"водÑıÑīий":138008,"водÑıÑīиÑħ":138009,"вÑĭÑĢажен":138010,"вÑĭÑĩиÑģли":138011,"вÑijÑĢÑĤÑĭва":138012,"гегемон":138013,"генеÑĢал":138014,"гоÑĢожен":138015,"гÑĢÑĥзоÑĩн":138016,"даваÑıÑģÑĮ":138017,"деÑĢгива":138018,"дÑĢоблен":138019,"евÑĢазий":138020,"едиÑĩеÑģк":138021,"елÑĮного":138022,"елÑĮÑĩеÑģк":138023,"елÑıÑİÑĤÑģÑı":138024,"енгаÑĥÑįÑĢ":138025,"еÑĢбаков":138026,"еÑĢиÑĩеÑģк":138027,"еÑĩеннÑĭм":138028,"еÑīаÑĤÑĮÑģÑı":138029,"живаниÑı":138030,"зелÑijнÑĭе":138031,"зелÑijнÑĭй":138032,"иваÑİÑīие":138033,"икмаÑħеÑĢ":138034,"икÑĤован":138035,"илизаÑĨи":138036,"иналиÑģÑĤ":138037,"ионалÑĮн":138038,"казÑĥемо":138039,"казÑĭваÑı":138040,"капиÑĤал":138041,"кипÑıÑĩен":138042,"клÑİÑĩаем":138043,"клÑİÑĩиÑĤе":138044,"комиÑĤеÑĤ":138045,"конÑĨеÑĢÑĤ":138046,"коÑĢмлен":138047,"коÑģвенн":138048,"кÑĢаÑĪива":138049,"кÑĢепиÑĤÑĮ":138050,"кÑĢеплÑijн":138051,"кÑĢеÑīива":138052,"кÑĥÑĢÑģник":138053,"лаÑģÑģник":138054,"леÑĩений":138055,"ливÑĥдÑģк":138056,"лизаÑĤоÑĢ":138057,"лиÑģÑĤиÑĩе":138058,"ложений":138059,"локаÑĨии":138060,"маÑĤÑĢива":138061,"младÑĪий":138062,"моÑĢÑĦизм":138063,"мÑĭÑģленн":138064,"немеÑĨки":138065,"нимайÑĤе":138066,"ниÑĨкого":138067,"нологиÑĩ":138068,"ноÑĢÑĥÑĩно":138069,"обоÑĢÑģÑĤв":138070,"обÑĥздан":138071,"овеÑĢоÑıÑĤ":138072,"огÑĢаÑĦий":138073,"озавÑĢов":138074,"озаÑīиÑĤн":138075,"оздоÑĢов":138076,"олодоÑĩн":138077,"олÑĮевиÑĩ":138078,"омаÑĤеÑĢи":138079,"омеÑĤÑĢов":138080,"оÑĢаÑĩива":138081,"оÑĢженно":138082,"оÑĢÑĤиÑĢов":138083,"оÑģеÑĢдиÑı":138084,"оÑģпиÑĤал":138085,"оÑģÑĤеÑĢег":138086,"оÑĤвоÑĢно":138087,"оÑĩеÑĢедн":138088,"планеÑĤн":138089,"пликаÑĨи":138090,"повÑģÑĤан":138091,"подозÑĢи":138092,"подполÑĮ":138093,"позиÑĨиÑı":138094,"полиÑĤик":138095,"полиÑĤой":138096,"полниÑĤе":138097,"поÑĢÑĤÑĢеÑĤ":138098,"пÑĢавлÑıÑİ":138099,"пÑĢавлÑıÑı":138100,"пÑĢедмеÑĤ":138101,"пÑĢоизво":138102,"пÑĢоÑģиÑĤÑĮ":138103,"пÑĢоÑĤеин":138104,"пÑĢоÑĨенÑĤ":138105,"ÑĢажениÑı":138106,"ÑĢанÑĤÑĥÑĢÑĥ":138107,"ÑĢаÑģÑĤвоÑĢ":138108,"ÑĢеделÑĮн":138109,"ÑĢежение":138110,"ÑĢибÑĥÑĤив":138111,"ÑĢиÑĢовал":138112,"ÑĢиÑģÑĤойн":138113,"ÑĢование":138114,"ÑĢованнÑĭ":138115,"ÑĢÑĥженик":138116,"ÑĢÑĭваÑıÑģÑĮ":138117,"ÑģаниÑĤаÑĢ":138118,"ÑģколÑĮза":138119,"ÑģкоÑĩиÑĤÑĮ":138120,"ÑģкÑĢипÑĨи":138121,"ÑģледÑĥем":138122,"ÑģовеÑĤÑģк":138123,"ÑģолнеÑĩн":138124,"ÑģÑĤавÑĪиÑħ":138125,"ÑģÑĤановк":138126,"ÑģÑĤанÑĮÑĤе":138127,"ÑģÑĤоÑıниÑı":138128,"ÑģÑĤÑĢаниÑĨ":138129,"ÑģÑĤÑĢÑĥкÑĨи":138130,"ÑģÑħолаÑģÑĤ":138131,"ÑĤандаÑĢÑĤ":138132,"ÑĤеÑĢапиÑİ":138133,"ÑĤеÑģниÑĤÑĮ":138134,"ÑĤоваÑĢиÑī":138135,"ÑĤÑĢидÑĨаÑĤ":138136,"ÑĤÑĢойкой":138137,"ÑĤÑĢÑıÑħива":138138,"Ñĥважаем":138139,"Ñĥказанн":138140,"ÑĥлиÑĢÑĥеÑĤ":138141,"ÑĥлÑıÑĤивн":138142,"ÑĥнивеÑĢÑģ":138143,"ÑĦÑĢанÑĪиз":138144,"ÑĨелоÑģÑĤн":138145,"ÑĨивилиз":138146,"ÑĨилиндÑĢ":138147,"Ñĩемпион":138148,"ÑĪинÑģкий":138149,"ÑĬемлемо":138150,"ÑĭваÑİÑīиÑħ":138151,"ÑįкÑģпеÑĢÑĤ":138152,"ÑįмиÑĤенÑĤ":138153,"ÑįнÑĨеÑĦал":138154,"ÑijнноÑģÑĤÑĮ":138155,"Ġliberat":138156,"Ġpronoun":138157,"Ġsimulat":138158,"Sullivan":138159,"ccumulat":138160,"cultural":138161,"cylinder":138162,"families":138163,"informal":138164,"receptor":138165,"vocation":138166,"ĠÐIJвÑĤоном":138167,"ĠÐIJзовÑģко":138168,"ĠÐIJкÑģаков":138169,"ĠÐIJнÑĤанÑĤÑĭ":138170,"ĠÐIJнÑĤоний":138171,"ĠÐIJнÑĤониÑı":138172,"ĠÐIJппаÑĢаÑĤ":138173,"ĠÐIJÑĢкÑĤики":138174,"ĠÐIJÑĢмениÑı":138175,"ĠÐijабÑĥÑĪка":138176,"ĠÐijакÑĥнин":138177,"ĠÐijалÑĮзак":138178,"ĠÐijеÑĢдÑıев":138179,"ĠÐijиогÑĢаÑĦ":138180,"ĠÐijолезнÑĮ":138181,"ĠÐijÑĥÑħаÑĢин":138182,"ĠÐĴавилов":138183,"ĠÐĴаÑĢÑĪавÑĭ":138184,"ĠÐĴаÑģилев":138185,"ĠÐĴедÑĥÑīий":138186,"ĠÐĴеликим":138187,"ĠÐĴеликиÑħ":138188,"ĠÐĴеликÑĥÑİ":138189,"ĠÐĴеÑĢÑħний":138190,"ĠÐĴилÑĮÑģон":138191,"ĠÐĴлиÑıние":138192,"ĠÐĴозвÑĢаÑĤ":138193,"ĠÐĴозÑĢаÑģÑĤ":138194,"ĠÐĴозÑĮмем":138195,"ĠÐĴолоÑĪин":138196,"ĠÐĴопÑĢеки":138197,"ĠÐĴÑĢемени":138198,"ĠÐĴÑĤоÑĢого":138199,"ĠÐĴÑĭÑģокаÑı":138200,"ĠÐĴÑĭÑģокий":138201,"ĠÐĴÑĭÑģÑĪего":138202,"ĠÐĴÑĭÑħодиÑĤ":138203,"ĠÐĵавÑĢиил":138204,"ĠÐĵеннади":138205,"ĠÐĵеÑĢодоÑĤ":138206,"ĠÐĵоловин":138207,"ĠÐĵоÑģподÑĥ":138208,"ĠÐĶалÑĮний":138209,"ĠÐĶемидов":138210,"ĠÐĶжейÑģон":138211,"ĠÐĶжеÑĦÑĦÑĢи":138212,"ĠÐĶжоÑĢдан":138213,"ĠÐĶжÑĥлиан":138214,"ĠÐĶиккенÑģ":138215,"ĠÐĶÑĢевнем":138216,"ĠÐĶÑĢевние":138217,"ĠÐķвÑĢазии":138218,"ĠÐķвÑĢопой":138219,"ĠÐķпиÑģкоп":138220,"ĠÐķÑĢмолов":138221,"ĠÐĸиÑĤомиÑĢ":138222,"ĠÐĹамеÑĤим":138223,"ĠÐĺзабелл":138224,"ĠÐĺздание":138225,"ĠÐĺзобÑĢаж":138226,"ĠÐĺзÑıÑģлав":138227,"ĠÐļадÑĭÑĢов":138228,"ĠÐļаждомÑĥ":138229,"ĠÐļамбодж":138230,"ĠÐļаменев":138231,"ĠÐļаÑĤеÑĢин":138232,"ĠÐļаÑĦедÑĢа":138233,"ĠÐļаÑĩеÑģÑĤв":138234,"ĠÐļиÑģелев":138235,"ĠÐļлименÑĤ":138236,"ĠÐļоллеги":138237,"ĠÐļонÑĦÑĥÑĨи":138238,"ĠÐļоÑĢаблÑĮ":138239,"ĠÐļоÑĢейÑģк":138240,"ĠÐļоÑĢоÑĤко":138241,"ĠÐļÑĥбанÑģк":138242,"ĠÐĽÐµÐ¹Ð±Ð½Ð¸ÑĨ":138243,"ĠÐĽÐµÐ¾Ð½Ð°ÑĢд":138244,"ĠÐĽÐ¸Ð±ÐµÑĢал":138245,"ĠÐĽÐ¾ÑĥÑĢенÑģ":138246,"ĠÐĽÑĭÑģенко":138247,"ĠÐĽÑĮвовиÑĩ":138248,"ĠÐľÐ°Ð»Ð¸Ð½Ð¾Ð²":138249,"ĠÐľÐµÑĢкелÑĮ":138250,"ĠÐľÐ¸Ñĩиган":138251,"ĠÐľÐ»Ð°Ð´ÑĪий":138252,"ĠÐľÐ¾Ð³Ð¸Ð»ÐµÐ²":138253,"ĠÐľÐ¾Ð³Ð¸Ð»Ñijв":138254,"ĠÐľÐ¾Ð¶Ð°Ð¹Ñģк":138255,"ĠÐľÐ¾Ð½Ð¾Ð¼Ð°Ñħ":138256,"ĠÐľÐ¾ÑĨаÑĢÑĤа":138257,"ĠÐĿадеждÑĭ":138258,"ĠÐĿаÑĢодно":138259,"ĠÐĿаÑĩинал":138260,"ĠÐĿелÑĮÑģон":138261,"ĠÐĿигеÑĢии":138262,"ĠÐĿикакой":138263,"ĠÐĿикиÑĤиÑĩ":138264,"ĠÐĿиколаÑģ":138265,"ĠÐĿовоÑĩеÑĢ":138266,"ĠÐŀбеÑģпеÑĩ":138267,"ĠÐŀконÑĩив":138268,"ĠÐŀкÑĤÑıбÑĢÑı":138269,"ĠÐŀÑģÑĤалÑĮн":138270,"ĠÐŀÑĤлиÑĩно":138271,"ĠÐŁÐ°ÑĨиенÑĤ":138272,"ĠÐŁÐ¸ÑĢогов":138273,"ĠÐŁÐ¸ÑģаниÑı":138274,"ĠÐŁÐ¸ÑĤание":138275,"ĠÐŁÐ¸ÑĦагоÑĢ":138276,"ĠÐŁÐ¾Ð²ÑĤоÑĢÑı":138277,"ĠÐŁÐ¾Ð²ÑĭÑĪен":138278,"ĠÐŁÐ¾Ð»Ð°Ð³Ð°Ñİ":138279,"ĠÐŁÐ¾Ð»Ð¾Ð²Ð¸Ð½":138280,"ĠÐŁÐ¾Ð¿ÑĥлÑıÑĢ":138281,"ĠÐŁÐ¾Ð¿ÑĭÑĤка":138282,"ĠÐŁÐ¾Ð¿ÑĭÑĤки":138283,"ĠÐŁÑĢакÑĤик":138284,"ĠÐŁÑĢедмеÑĤ":138285,"ĠÐŁÑĢиеÑħал":138286,"ĠÐŁÑĢодÑĥкÑĤ":138287,"ĠÐŁÑĥгаÑĩÑijв":138288,"ĠÐłÐ°Ð±Ð¾Ñĩие":138289,"ĠÐłÐ°Ð·Ð²Ð¸Ð²Ð°":138290,"ĠÐłÐµÐ°ÐºÑĨиÑı":138291,"ĠÐłÐµÐ³Ð¸ÑģÑĤÑĢ":138292,"ĠÐłÐ¾Ð·Ð°Ð½Ð¾Ð²":138293,"ĠÐłÐ¾Ð½Ð°Ð»ÑĮд":138294,"ĠÐłÑĭбинÑģк":138295,"ĠСбоÑĢнаÑı":138296,"ĠСвеÑĤлан":138297,"ĠСелÑĮÑģко":138298,"ĠСеÑĢÑĮезн":138299,"ĠСидоÑĢов":138300,"ĠСоболев":138301,"ĠСолдаÑĤÑĭ":138302,"ĠСоÑģÑĤоиÑĤ":138303,"ĠСоÑģÑĤоÑıл":138304,"ĠСпенÑģеÑĢ":138305,"ĠСÑĢеднев":138306,"ĠСÑĤÑĢаÑĪно":138307,"ĠСÑĥбÑĬекÑĤ":138308,"ĠТаÑĤÑĮÑıнÑĭ":138309,"ĠТомпÑģон":138310,"ĠТÑĢебова":138311,"ĠТÑĢÑĥбеÑĨк":138312,"ĠТÑĥÑĢÑĨией":138313,"ĠУÑģлÑĭÑĪав":138314,"ĠУÑģÑĤанов":138315,"ĠУÑģÑĤинов":138316,"ĠУÑĩаÑģÑĤие":138317,"ĠУÑĩиÑĤелÑı":138318,"ĠФедоÑĤов":138319,"ĠФилаÑĢеÑĤ":138320,"ĠФилаÑĤов":138321,"ĠХелÑĮÑģин":138322,"ĠХоÑĢоÑĪий":138323,"ĠХоÑĩеÑĤÑģÑı":138324,"ĠЦаÑĢиÑĨÑĭн":138325,"ĠЧÑĥвÑģÑĤво":138326,"ĠЧÑĥковÑģк":138327,"ĠШÑĥвалов":138328,"ĠÐŃквадоÑĢ":138329,"ĠÐŃÑģÑĤонÑģк":138330,"ĠÐŃÑĦиопии":138331,"ĠагÑĢоном":138332,"ĠадапÑĤеÑĢ":138333,"ĠалименÑĤ":138334,"ĠаннекÑģи":138335,"ĠанÑĤиÑĤел":138336,"ĠаÑĢиÑĦмеÑĤ":138337,"ĠаÑĦоÑĢизм":138338,"Ġбазовой":138339,"ĠбазовÑĭе":138340,"ĠбазовÑĭй":138341,"ĠбанкÑĢоÑĤ":138342,"ĠбаÑģÑĤион":138343,"ĠбаÑĤаÑĢее":138344,"ĠбаÑĤаÑĢеÑİ":138345,"ĠбегÑģÑĤва":138346,"ĠбеженÑĨа":138347,"Ġбезвозм":138348,"Ġбездомн":138349,"ĠбезоÑĪиб":138350,"ĠбезÑĥмиÑı":138351,"ĠбейÑģбол":138352,"ĠбеÑģÑĨенн":138353,"ĠбиоÑģÑĦеÑĢ":138354,"ĠблокноÑĤ":138355,"Ġблондин":138356,"ĠбоковÑĭе":138357,"ĠболÑĤовн":138358,"ĠболÑĮниÑĨ":138359,"ĠбоÑĢеÑĤÑģÑı":138360,"ĠбоÑĤинки":138361,"ĠбоÑıлаÑģÑĮ":138362,"ĠбÑĢаÑģлеÑĤ":138363,"ĠбÑĢÑİÑĪной":138364,"ĠбÑĥÑĤÑĭлка":138365,"ĠбÑĭÑģÑĤÑĢÑĭе":138366,"ĠбÑĭÑģÑĤÑĢÑĭÑħ":138367,"ĠбÑĭÑĤовÑĭе":138368,"ĠведÑĥÑīаÑı":138369,"ĠведÑĥÑīÑĥÑİ":138370,"ĠведÑijÑĤÑģÑı":138371,"ĠвеÑĢдикÑĤ":138372,"ĠвеÑĢнÑĥÑģÑĮ":138373,"ĠвеÑĢÑģией":138374,"ĠвеÑĢÑģÑĤаÑħ":138375,"ĠвеÑĢÑħние":138376,"ĠвеÑģелÑĮе":138377,"Ġвзаимоп":138378,"ĠвзлеÑĤел":138379,"ĠвзÑıлиÑģÑĮ":138380,"ĠвизанÑĤи":138381,"ĠвкÑĢаÑĤÑĨе":138382,"ĠвлаÑģÑĤно":138383,"ĠвлиÑıнии":138384,"ĠвлиÑıÑİÑīи":138385,"Ġвовлека":138386,"Ġводолаз":138387,"Ġвозвели":138388,"ĠвозвÑĭÑģи":138389,"ĠвозглаÑģ":138390,"ĠвозÑĮмем":138391,"ĠволоÑģÑĤн":138392,"ĠвообÑĢаз":138393,"ĠвоÑģпева":138394,"ĠвоÑģÑĮмой":138395,"ĠвпÑĢавдÑĥ":138396,"ĠвÑĢаÑĤаÑĢÑĮ":138397,"ĠвÑģÑĤавал":138398,"ĠвÑĥлÑĮгаÑĢ":138399,"ĠвÑĭвезен":138400,"ĠвÑĭдÑĥман":138401,"ĠвÑĭеÑħаÑĤÑĮ":138402,"ĠвÑĭживÑĪи":138403,"ĠвÑĭигÑĢан":138404,"ĠвÑĭпÑĢÑıми":138405,"ĠвÑĭпÑĥкло":138406,"Ġгвоздик":138407,"ĠгепаÑĤиÑĤ":138408,"ĠглÑİкозÑĭ":138409,"ĠговÑıдин":138410,"ĠгоÑĢÑıÑĩее":138411,"ĠгоÑĢÑıÑĩие":138412,"ĠгоÑĢÑıÑĩиÑħ":138413,"ĠгоÑĢÑıÑĩÑĥÑİ":138414,"ĠгÑĢеÑĪник":138415,"ĠгÑĢомкий":138416,"ĠгÑĢомким":138417,"ĠгÑĢоÑĤеÑģк":138418,"Ġдалекие":138419,"ĠдалекиÑħ":138420,"ĠдалÑĮние":138421,"ĠдалÑĮний":138422,"ĠдвойнÑĭм":138423,"ĠделайÑĤе":138424,"ĠдепозиÑĤ":138425,"ĠдеÑģÑıÑĤкÑĥ":138426,"ĠдеÑĤенÑĭÑĪ":138427,"ĠдеÑĤÑģким":138428,"ĠдеÑĤÑģкÑĥÑİ":138429,"ĠдиаÑģпоÑĢ":138430,"Ġдиковин":138431,"ĠдиÑĢекÑĨи":138432,"ĠдиÑĢижеÑĢ":138433,"ĠдлилаÑģÑĮ":138434,"ĠдлилоÑģÑĮ":138435,"ĠдлиннÑĥÑİ":138436,"Ġдобавим":138437,"ĠдовеÑĢÑıл":138438,"ĠдонеÑģÑĤи":138439,"ĠдоÑĢожка":138440,"ĠдоÑĢожки":138441,"ĠдÑĢаÑĤÑĮÑģÑı":138442,"ĠдÑĢевнÑıÑı":138443,"ĠдÑĥблиÑĢÑĥ":138444,"ĠемкоÑģÑĤи":138445,"ĠжалоÑģÑĤи":138446,"ĠжалоÑģÑĤÑĮ":138447,"ĠжелÑĥдоÑĩ":138448,"ĠженÑģкое":138449,"ĠжеÑģÑĤкие":138450,"ĠжеÑģÑĤкий":138451,"ĠжеÑģÑĤким":138452,"ĠжеÑģÑĤкиÑħ":138453,"ĠзаблÑĥди":138454,"ĠзавиÑģÑĤи":138455,"ĠзавÑĭÑĪен":138456,"Ġзагадка":138457,"Ġзагадки":138458,"ĠзагÑĢажд":138459,"ĠзаданиÑİ":138460,"ĠзаемÑīик":138461,"ĠзакÑĢепи":138462,"ĠзакÑĥпки":138463,"ĠзамаÑģки":138464,"ĠзамениÑĤ":138465,"ĠзамеÑĢза":138466,"ĠзамеÑĤиÑĤ":138467,"ĠзамеÑĤна":138468,"ĠзапиÑģке":138469,"ĠзапиÑģÑıм":138470,"Ġзапозда":138471,"ĠзаÑĢожда":138472,"ĠзаÑģÑĤÑĢой":138473,"ĠзаÑģÑĤÑĢÑıл":138474,"ĠзаÑģÑĤÑĭвÑĪ":138475,"ĠзаÑĤонÑĥл":138476,"ĠзаÑĤоÑĩен":138477,"ĠзаÑĤÑĢÑĥдн":138478,"ĠзаÑħоÑĤÑıÑĤ":138479,"ĠзвониÑĤÑĮ":138480,"Ġзвонков":138481,"ĠзеленÑĭÑħ":138482,"ĠзеÑĢкале":138483,"Ġзимнего":138484,"ĠзнаÑĤнÑĭÑħ":138485,"ĠзолоÑĤÑĭм":138486,"ĠзÑĢиÑĤелÑİ":138487,"ĠигÑĢÑĥÑĪек":138488,"ĠигÑĢÑĥÑĪка":138489,"ĠизбавлÑı":138490,"Ġизбиени":138491,"ĠизвеÑīен":138492,"Ġизделие":138493,"ĠизлиÑĪни":138494,"ĠизмениÑĤ":138495,"ĠизмÑĥÑĩен":138496,"ĠизÑıÑīнÑĭÑħ":138497,"ĠиллÑİзий":138498,"ĠиллÑİзиÑİ":138499,"ĠимелаÑģÑĮ":138500,"ĠименÑĥÑİÑĤ":138501,"ĠиндейÑĨа":138502,"ĠиндейÑĨÑĭ":138503,"ĠиндÑĥиÑģÑĤ":138504,"ĠинеÑĢÑĨии":138505,"ĠинÑģÑĤÑĢÑĥк":138506,"ĠинÑģÑĥлÑĮÑĤ":138507,"ĠиÑģпанÑĨа":138508,"ĠиÑģпанÑĨÑĭ":138509,"ĠиÑģÑĩезал":138510,"ĠиÑģÑĩезло":138511,"ĠиÑģÑĩеÑĢпа":138512,"ĠиÑģÑĩиÑģлÑı":138513,"ĠиÑĤеÑĢаÑĨи":138514,"ĠказаÑĩÑĮе":138515,"ĠкаÑĢабин":138516,"ĠкаÑĢдина":138517,"ĠкаÑĤоÑĢжн":138518,"ĠкваÑĢÑĤеÑĤ":138519,"ĠкиÑĤайÑĨа":138520,"Ġкнопкой":138521,"ĠкнÑıгини":138522,"ĠкнÑıгинÑı":138523,"ĠколодÑĨа":138524,"ĠколониÑİ":138525,"Ġколонки":138526,"Ġкомбайн":138527,"ĠконниÑĨÑĭ":138528,"ĠконÑģолÑĮ":138529,"ĠконÑĨлаг":138530,"Ġкопейки":138531,"ĠкоÑĢобке":138532,"ĠкоÑģÑĤоÑĩк":138533,"ĠкоÑĪелÑĮк":138534,"ĠкÑĢайниÑħ":138535,"ĠкÑĢаÑĤкий":138536,"ĠкÑĢепкие":138537,"ĠкÑĢепкий":138538,"ĠкÑĢепким":138539,"ĠкÑĢÑĥглоÑģ":138540,"ĠкÑĢÑĥглÑĭм":138541,"ĠкÑĢÑĥпнее":138542,"ĠкÑĥÑĢаÑĤоÑĢ":138543,"Ġледокол":138544,"ĠлекÑģико":138545,"ĠлеÑĩениÑİ":138546,"ĠлиÑĨевой":138547,"ĠлиÑĩинки":138548,"ĠлиÑĪнего":138549,"ĠловÑĥÑĪкÑĥ":138550,"Ġлогикой":138551,"ĠложиÑĤÑģÑı":138552,"ĠлÑİбезнÑĭ":138553,"Ġмавзоле":138554,"ĠмакаÑĢон":138555,"ĠмаÑĢÑģиан":138556,"ĠмаÑģÑģово":138557,"ĠмаÑĤеÑĢей":138558,"ĠмаÑıÑĤник":138559,"Ġмелкого":138560,"ĠмемÑĥаÑĢÑĭ":138561,"ĠменÑĮÑĪий":138562,"ĠменÑĮÑĪиÑħ":138563,"ĠменÑĮÑĪÑĥÑİ":138564,"ĠмеÑĢÑĤвÑĭм":138565,"ĠмеÑģÑĤона":138566,"ĠмеÑĨенаÑĤ":138567,"ĠмеÑĩÑĤаеÑĤ":138568,"ĠмеÑĩÑĤаÑĤÑĮ":138569,"ĠмилиÑĨиÑİ":138570,"ĠмилиÑĨиÑı":138571,"Ġминовал":138572,"ĠминÑĥвÑĪе":138573,"ĠмиÑĢовое":138574,"ĠмоделÑıм":138575,"ĠмоделÑıÑħ":138576,"ĠмолодеÑĨ":138577,"ĠмонолиÑĤ":138578,"ĠмоÑĢеÑħод":138579,"ĠмоÑĢкови":138580,"ĠмÑĥÑĢавÑĮи":138581,"ĠмÑĥÑĤаÑĨии":138582,"ĠмÑĥÑĩениÑı":138583,"ĠнагнеÑĤа":138584,"Ġнадевал":138585,"ĠнадзиÑĢа":138586,"Ġнадоело":138587,"ĠнапÑĥган":138588,"ĠнаÑĢÑĥÑĪал":138589,"ĠнаÑģÑĤоÑıл":138590,"ĠнаÑħодка":138591,"ĠнаÑħодок":138592,"Ġневзгод":138593,"ĠнедаÑĢом":138594,"ĠнейÑĤÑĢал":138595,"ĠнеобÑĢаÑĤ":138596,"ĠнеопÑĭÑĤн":138597,"Ġнепокол":138598,"ĠнеÑĢовно":138599,"ĠнеÑģÑĢавн":138600,"ĠнеÑĥдобн":138601,"ĠнеÑĥпÑĢав":138602,"ĠновенÑĮк":138603,"ĠновиÑĩка":138604,"ĠобаÑıние":138605,"Ġобвинен":138606,"ĠобелиÑģк":138607,"ĠобеÑīаÑİÑĤ":138608,"ĠобиÑĤели":138609,"ĠобладаÑı":138610,"Ġобломки":138611,"ĠобманÑĥл":138612,"ĠобмоÑĢок":138613,"ĠобнаÑĢод":138614,"ĠобогаÑīа":138615,"ĠобоÑĢвал":138616,"ĠобоÑĢона":138617,"ĠобоÑģÑĤÑĢÑı":138618,"ĠобÑĢаÑīаÑı":138619,"ĠобÑĢиÑģов":138620,"ĠобÑģÑĤоÑıÑĤ":138621,"ĠобÑīалÑģÑı":138622,"ĠобÑĬÑıвив":138623,"ĠобÑĭÑĩаев":138624,"Ġогненно":138625,"ĠогнеÑģÑĤÑĢ":138626,"Ġодеждой":138627,"ĠозвÑĥÑĩен":138628,"ĠокÑĢаÑģки":138629,"ĠокÑĢÑĥжал":138630,"ĠокÑĢÑĥжÑijн":138631,"ĠопеÑĢеÑĤÑĤ":138632,"ĠопоÑģÑĢед":138633,"ĠопÑĥÑħолÑĮ":138634,"ĠоÑĢдинаÑĢ":138635,"ĠоÑģколки":138636,"ĠоÑģÑĤавиÑĤ":138637,"ĠоÑģÑĤаÑĤка":138638,"ĠоÑģÑĥждÑijн":138639,"ĠоÑĤмеÑĤим":138640,"ĠоÑĤозвал":138641,"ĠоÑĤозван":138642,"ĠоÑĤоÑĢвал":138643,"ĠоÑĤоÑĢван":138644,"ĠоÑĤÑĢезок":138645,"ĠоÑĤÑģÑĢоÑĩк":138646,"ĠоÑĤÑģÑĩеÑĤа":138647,"ĠоÑĤÑĤенка":138648,"ĠоÑĤÑĤенки":138649,"ĠоÑĤÑĭгÑĢал":138650,"ĠоÑħÑĢанÑıл":138651,"ĠоÑĨенкой":138652,"ĠоÑīÑĥÑĤиÑĤÑĮ":138653,"Ġпадении":138654,"ĠпалоÑĩки":138655,"Ġпандеми":138656,"ĠпапиÑĢоÑģ":138657,"ĠпеÑĢевеÑģ":138658,"ĠпеÑĢеÑĢаÑģ":138659,"ĠпеÑģÑĩано":138660,"ĠпилоÑĤаж":138661,"ĠпиÑĤании":138662,"ĠплаваÑĤÑĮ":138663,"Ġплакала":138664,"ĠплоÑģкие":138665,"ĠплоÑģким":138666,"ĠплоÑĤник":138667,"Ġповелел":138668,"ĠподаÑĢен":138669,"Ġподлодк":138670,"ĠподнÑıÑĤÑĭ":138671,"ĠподолгÑĥ":138672,"ĠподÑĢазд":138673,"Ġпоездке":138674,"Ġпожалел":138675,"Ġпожилой":138676,"ĠпожилÑĭÑħ":138677,"ĠпозабоÑĤ":138678,"Ġпоздний":138679,"Ġпоздним":138680,"ĠпокинÑĥÑĤ":138681,"ĠпокоÑĢен":138682,"ĠпокоÑĢил":138683,"ĠпокÑĥпка":138684,"Ġполвека":138685,"ĠполноÑĤÑĭ":138686,"ĠполоÑĤни":138687,"ĠполÑĤоÑĢÑĭ":138688,"ĠполÑĥднÑı":138689,"ĠпонÑıÑĤнÑĭ":138690,"ĠпопÑĢиÑīе":138691,"ĠпоÑĢоÑĪка":138692,"ĠпоÑģадке":138693,"ĠпоÑģеÑĤив":138694,"ĠпоÑģлево":138695,"ĠпоÑģобий":138696,"ĠпоÑģÑģоÑĢи":138697,"ĠпоÑģÑĤиÑĩÑĮ":138698,"ĠпоÑģÑĤоÑıл":138699,"ĠпоÑĤеÑĢей":138700,"ĠпоÑħиÑĤил":138701,"ĠпоÑĩÑĤенн":138702,"ĠпоÑıÑģниÑĨ":138703,"ĠпÑĢавдой":138704,"ĠпÑĢеднам":138705,"ĠпÑĢежнем":138706,"ĠпÑĢезÑĢен":138707,"ĠпÑĢекÑĢаÑĤ":138708,"ĠпÑĢемией":138709,"ĠпÑĢививк":138710,"ĠпÑĢивнеÑģ":138711,"ĠпÑĢилавк":138712,"ĠпÑĢиноÑģÑı":138713,"ĠпÑĢиÑĢодо":138714,"ĠпÑĢиÑģÑĥÑīа":138715,"ĠпÑĢиÑģÑıгÑĥ":138716,"ĠпÑĢиÑģÑıжн":138717,"ĠпÑĢиÑĤеÑģн":138718,"ĠпÑĢиÑĩиÑĤа":138719,"ĠпÑĢиÑĪелÑĮ":138720,"ĠпÑĢоведÑı":138721,"ĠпÑĢоеÑħал":138722,"ĠпÑĢомÑĭÑĤÑĮ":138723,"ĠпÑĢоÑģÑĤил":138724,"ĠпÑĢоÑĪлÑĭй":138725,"ĠпÑĥÑģÑĤоÑĤа":138726,"ĠпÑĥÑģÑĤоÑĤÑĥ":138727,"ĠпÑĥÑģÑĤоÑĤÑĭ":138728,"ĠпÑĥÑģÑĤÑĭнÑİ":138729,"ĠпÑĥÑģÑĤÑĭнÑı":138730,"ĠпÑĭÑĤаÑİÑģÑĮ":138731,"ĠпÑıÑĤÑĮÑģоÑĤ":138732,"ĠÑĢабоÑĤод":138733,"ĠÑĢазвеÑĢÑĤ":138734,"ĠÑĢазмеÑĤк":138735,"ĠÑĢазÑĬезд":138736,"ĠÑĢайкома":138737,"ĠÑĢаÑģкинÑĥ":138738,"ĠÑĢаÑģплаÑĤ":138739,"ĠÑĢаÑģÑģеÑıл":138740,"ĠÑĢаÑģÑģÑĭлк":138741,"ĠÑĢаÑģÑĤиÑĢа":138742,"ĠÑĢаÑģÑĪиÑĢи":138743,"ĠÑĢевизии":138744,"ĠÑĢеликви":138745,"ĠÑĢелÑĮÑģов":138746,"ĠÑĢемеÑģла":138747,"ĠÑĢемеÑģло":138748,"ĠÑĢеÑĦеÑĢен":138749,"ĠÑĢеÑĨидив":138750,"ĠÑĢимÑģкие":138751,"ĠÑĢобоÑĤов":138752,"ĠÑĢодÑģÑĤве":138753,"ĠÑĢоÑģпиÑģи":138754,"ĠÑĢоÑģпиÑģÑĮ":138755,"ĠÑĢоÑģпÑĥÑģк":138756,"ĠÑĢÑıдовÑĭÑħ":138757,"ĠÑģадовод":138758,"ĠÑģбаланÑģ":138759,"ĠÑģблизил":138760,"ĠÑģвадÑĮба":138761,"ĠÑģвадÑĮбе":138762,"ĠÑģвадÑĮбÑĥ":138763,"ĠÑģвеÑĢÑĪен":138764,"ĠÑģвеÑĤлÑĭй":138765,"ĠÑģвеÑĤлÑĭм":138766,"ĠÑģвÑıзÑĥÑİÑī":138767,"ĠÑģебеÑģÑĤо":138768,"ĠÑģелÑĮÑħоз":138769,"ĠÑģепаÑĢаÑĤ":138770,"ĠÑģеÑĤевой":138771,"ĠÑģеÑĤевÑĭÑħ":138772,"ĠÑģеÑĩениÑı":138773,"ĠÑģиденÑĮе":138774,"ĠÑģиденÑĮÑı":138775,"ĠÑģказÑĭва":138776,"ĠÑģкаÑĩива":138777,"ĠÑģкоÑĢлÑĥп":138778,"ĠÑģкÑĢипаÑĩ":138779,"ĠÑģкÑĢÑĭлÑģÑı":138780,"ĠÑģладкий":138781,"ĠÑģлиÑıние":138782,"ĠÑģлÑĥжанк":138783,"ĠÑģлÑĥжбой":138784,"ĠÑģмазÑĭва":138785,"ĠÑģмеÑĤанÑĭ":138786,"ĠÑģможеÑĪÑĮ":138787,"ĠÑģнимков":138788,"ĠÑģнÑıлаÑģÑĮ":138789,"ĠÑģобÑĭÑĤии":138790,"ĠÑģоздаÑģÑĤ":138791,"ĠÑģозÑĢева":138792,"ĠÑģозÑĭвов":138793,"ĠÑģообÑīен":138794,"ĠÑģооÑĢÑĥжа":138795,"ĠÑģоÑĢваÑĤÑĮ":138796,"ĠÑģоÑģÑĤÑĢад":138797,"ĠÑģоÑĤнÑıми":138798,"ĠÑģоÑĩинил":138799,"ĠÑģоÑĪлиÑģÑĮ":138800,"ĠÑģпаÑģаÑĤÑĮ":138801,"ĠÑģпиÑĢали":138802,"ĠÑģплеÑĤни":138803,"ĠÑģпÑĢавки":138804,"ĠÑģпÑĢинÑĤе":138805,"ĠÑģÑĢавнил":138806,"ĠÑģÑĤавÑĪаÑı":138807,"ĠÑģÑĤавÑĪей":138808,"ĠÑģÑĤавÑĪие":138809,"ĠÑģÑĤаниÑĨе":138810,"ĠÑģÑĤаниÑĨÑĭ":138811,"ĠÑģÑĤаÑĢинÑĥ":138812,"ĠÑģÑĤаÑĢÑĪаÑı":138813,"ĠÑģÑĤаÑĢÑĪие":138814,"ĠÑģÑĤаÑĤÑĥÑįÑĤ":138815,"ĠÑģÑĤволов":138816,"ĠÑģÑĤеÑģнен":138817,"ĠÑģÑĤÑĢелÑĮÑĨ":138818,"ĠÑģÑĤÑĢогие":138819,"ĠÑģÑĤÑĢоÑĩкÑĥ":138820,"ĠÑģÑĥббоÑĤа":138821,"ĠÑģÑĥвениÑĢ":138822,"ĠÑģÑĥÑĢовÑĭм":138823,"ĠÑģÑħваÑĤке":138824,"ĠÑģÑħваÑĤки":138825,"ĠÑģÑĭгÑĢаеÑĤ":138826,"ĠÑģÑįконом":138827,"ĠÑĤайного":138828,"ĠÑĤакÑģиÑģÑĤ":138829,"ĠÑĤаÑĢелки":138830,"ĠÑĤаÑĢелкÑĥ":138831,"ĠÑĤвеÑĢдÑĭм":138832,"ĠÑĤекÑĥÑīие":138833,"ĠÑĤеÑĩений":138834,"ĠÑĤолÑģÑĤÑĭе":138835,"ĠÑĤолÑģÑĤÑĭй":138836,"ĠÑĤолÑīина":138837,"ĠÑĤолÑīинÑĭ":138838,"ĠÑĤонÑĩайÑĪ":138839,"ĠÑĤÑĢакÑĤиÑĢ":138840,"ĠÑĤÑĢакÑĤов":138841,"ĠÑĤÑĢамваÑı":138842,"ĠÑĤÑĢейдеÑĢ":138843,"ĠÑĤÑĢейлеÑĢ":138844,"ĠÑĤÑĢениÑĢÑĥ":138845,"ĠÑĤÑĢиллеÑĢ":138846,"ĠÑĤÑĢогаÑĤÑĮ":138847,"ĠÑĤÑĥÑĢками":138848,"ĠÑĤÑĥÑĢкмен":138849,"ĠÑĤÑıжÑijлÑĭе":138850,"ĠÑĤÑıжÑijлÑĭм":138851,"ĠÑĤÑıжÑijлÑĭÑħ":138852,"ĠÑĥбивали":138853,"ĠÑĥбÑĭÑĤков":138854,"ĠÑĥвенÑĩан":138855,"ĠÑĥвидиÑĪÑĮ":138856,"ĠÑĥволÑĮнÑı":138857,"ĠÑĥгадÑĭва":138858,"ĠÑĥдалÑıÑĤÑĮ":138859,"ĠÑĥдалÑıÑİÑĤ":138860,"ĠÑĥдаÑĩлив":138861,"ĠÑĥдаÑĩнÑĭм":138862,"ĠÑĥделÑıÑĤÑĮ":138863,"ĠÑĥезжаеÑĤ":138864,"ĠÑĥзбекÑģк":138865,"ĠÑĥзнавал":138866,"ĠÑĥкоÑĢени":138867,"ĠÑĥкÑĢаден":138868,"ĠÑĥкÑĢÑĭÑĤиÑı":138869,"ĠÑĥÑĢоженÑĨ":138870,"ĠÑĥÑģадÑĮба":138871,"ĠÑĥÑģкоÑĢил":138872,"ĠÑĥÑģлÑĭÑĪиÑĤ":138873,"ĠÑĥÑģпевал":138874,"ĠÑĥÑģÑĤаÑĢел":138875,"ĠÑĥÑģÑĤÑĥпки":138876,"ĠÑĥÑħÑĥдÑĪил":138877,"ĠÑĥÑĩебнÑĭм":138878,"ĠÑĥÑĩÑĢедил":138879,"ĠÑĥÑĩÑijного":138880,"ĠÑĥÑıзвимÑĭ":138881,"ĠÑĦамилий":138882,"ĠÑĦаÑĪиÑģÑĤÑĭ":138883,"ĠÑĦонаÑĢик":138884,"ĠÑĦÑįнÑĤези":138885,"ĠÑħанÑģÑĤва":138886,"ĠÑħозÑıйки":138887,"ĠÑĨаÑĢÑģкий":138888,"ĠÑĨаÑĢÑģкиÑħ":138889,"ĠÑĨеловал":138890,"ĠÑĨензÑĥÑĢÑĭ":138891,"ĠÑĨепоÑĩка":138892,"ĠÑĨепоÑĩкÑĥ":138893,"ĠÑĩаÑģÑĤнаÑı":138894,"ĠÑĩаÑģÑĤнÑĥÑİ":138895,"ĠÑĩелÑİÑģÑĤÑĮ":138896,"ĠÑĩеÑģÑĤнÑĭй":138897,"ĠÑĩеÑģÑĤнÑĭм":138898,"ĠÑĩиÑģÑĤоÑĤе":138899,"ĠÑĩиÑģÑĤоÑĤÑĥ":138900,"ĠÑĩÑĥдеÑģно":138901,"ĠÑĩÑĥжезем":138902,"ĠÑĩÑijÑĢного":138903,"ĠÑĪеÑĢÑģÑĤÑıн":138904,"ĠÑĪеÑģÑĤвие":138905,"ĠÑĪеÑģÑĤого":138906,"ĠÑįкваÑĤоÑĢ":138907,"ĠÑįнеÑĢгий":138908,"ĠÑįпиÑĤели":138909,"ĠÑįÑģкадÑĢа":138910,"ĠÑįÑģкимоÑģ":138911,"ĠÑįÑģминÑĨа":138912,"ĠÑİжнокоÑĢ":138913,"ĠÑİмоÑĢиÑģÑĤ":138914,"ĠÑıпонÑĨам":138915,"ĠÑıÑĢкоÑģÑĤи":138916,"ĠÑıÑĢкоÑģÑĤÑĮ":138917,"ÐIJÑįÑĢоÑĦлоÑĤ":138918,"ÐijеÑģÑģмеÑĢÑĤ":138919,"ÐĴанкÑĥвеÑĢ":138920,"ÐĴладимиÑĢ":138921,"ÐĴоздÑĥÑĪнÑĭ":138922,"ÐĴооÑĢÑĥжен":138923,"ÐĵеÑĢманиÑı":138924,"ÐĹаÑīиÑĤник":138925,"ÐĹдÑĢавÑģÑĤв":138926,"ÐĺноÑģÑĤÑĢан":138927,"ÐļамÑĩаÑĤÑģк":138928,"ÐļолоÑĢадо":138929,"ÐļомÑģомол":138930,"ÐľÐ°Ð½Ð¸ÑĦеÑģÑĤ":138931,"ÐľÐµÑĢкÑĥÑĢий":138932,"ÐĿоÑĢвегиÑı":138933,"ÐŁÐ°ÑģÑģажиÑĢ":138934,"ÐŁÑĢаздник":138935,"ÐŁÑĢекÑĢаÑģн":138936,"ÐŁÑĢинÑĨеÑģÑģ":138937,"ÐłÐ°ÑģÑĪиÑĢен":138938,"СвеÑĢдлов":138939,"СовеÑĢÑĪен":138940,"СоглаÑģно":138941,"УнивеÑĢÑģи":138942,"ФонÑĤанке":138943,"ФонÑĤанки":138944,"адапÑĤаÑĨи":138945,"адапÑĤивн":138946,"ализаÑĤоÑĢ":138947,"ализаÑĨиÑİ":138948,"алÑĮпийÑģк":138949,"аналиÑĤик":138950,"аÑģÑĤÑĢоном":138951,"бивалиÑģÑĮ":138952,"валилаÑģÑĮ":138953,"валилиÑģÑĮ":138954,"веÑīаÑĤелÑĮ":138955,"вигаÑĤÑĮÑģÑı":138956,"вÑģпомина":138957,"вÑıзÑĭваÑİÑĤ":138958,"генеÑĢалÑĮ":138959,"гомеопаÑĤ":138960,"гÑĢаниÑĩно":138961,"гÑĢеÑĩеÑģки":138962,"гÑĥÑģениÑĩн":138963,"даваемÑĭе":138964,"даваемÑĭÑħ":138965,"дейÑģÑĤвиÑı":138966,"длежаÑīее":138967,"доÑĢожник":138968,"евиÑģÑĤÑģки":138969,"еводÑģÑĤво":138970,"едоÑģÑĤÑĥпн":138971,"енÑģÑĤвова":138972,"еÑĦлекÑĤоÑĢ":138973,"еÑĨеденÑĤн":138974,"желÑĥдоÑĩн":138975,"жизненно":138976,"завеÑĢÑĪен":138977,"заклÑİÑĩен":138978,"западном":138979,"ивеÑĢÑģанÑĤ":138980,"избиÑĢком":138981,"изволÑĮно":138982,"инÑĨиалÑĮн":138983,"иÑĢований":138984,"иÑģÑĤиками":138985,"иÑĦикаÑĨий":138986,"канÑģкого":138987,"каÑĢбонаÑĤ":138988,"киÑĤайÑģки":138989,"клаÑģÑģник":138990,"клÑİÑĩилÑģÑı":138991,"командиÑĢ":138992,"комбинаÑĤ":138993,"компании":138994,"компаний":138995,"компаниÑı":138996,"комплекÑģ":138997,"конÑĨепÑĤÑĥ":138998,"коÑĢÑĢекÑĨи":138999,"кÑĢиÑģÑĤалл":139000,"лагаÑİÑĤÑģÑı":139001,"ленников":139002,"леÑĤаÑİÑīиÑħ":139003,"лингвиÑģÑĤ":139004,"линейнÑĭе":139005,"ложеннÑĭм":139006,"мгновенн":139007,"медленно":139008,"меÑģÑıÑĩнÑĭй":139009,"милоÑģеÑĢд":139010,"моÑĢажива":139011,"неизбежн":139012,"немаÑĤеÑĢи":139013,"неÑģеннÑĭе":139014,"нимаÑİÑīий":139015,"нимаÑİÑīиÑħ":139016,"нодоÑĢожн":139017,"нÑĤенданÑĤ":139018,"обÑĬекÑĤив":139019,"обÑĬемлÑİÑī":139020,"овавÑĪиÑģÑĮ":139021,"овеÑīенÑģк":139022,"оводÑģÑĤва":139023,"огÑĢаÑĦиÑĩе":139024,"оединени":139025,"олинейно":139026,"оплаÑĤелÑĮ":139027,"оÑĢÑĤодокÑģ":139028,"оÑĢÑĥдовал":139029,"оÑģлабева":139030,"оÑģÑĤепенн":139031,"оÑĤÑģÑĥÑĤÑģÑĤв":139032,"оÑĩеÑĢедно":139033,"падаÑİÑīие":139034,"пеÑĤÑĢовÑģк":139035,"пеÑĩаÑĤÑĭва":139036,"пиÑģавÑĪий":139037,"пиÑĤанник":139038,"подÑĢоÑģÑĤк":139039,"покойÑģÑĤв":139040,"помеÑīиÑĩÑĮ":139041,"поминаеÑĤ":139042,"поÑģÑĤижим":139043,"пÑĢавовой":139044,"пÑĢедÑģÑĤав":139045,"пÑĢиемник":139046,"пÑĢимеÑĢно":139047,"пÑĢокÑĥÑĢоÑĢ":139048,"пÑĢÑĭгнÑĥÑĤÑĮ":139049,"ÑĢаÑģÑģÑĥжда":139050,"ÑĢаÑĦиолеÑĤ":139051,"ÑĢеабилиÑĤ":139052,"ÑĢежиÑģÑģеÑĢ":139053,"ÑĢеÑģпÑĥбли":139054,"ÑĢиÑĢованн":139055,"ÑĢиÑĦмеÑĤик":139056,"ÑĢÑĭваÑİÑĤÑģÑı":139057,"ÑģакÑģонÑģк":139058,"ÑģамоÑģÑĤоÑı":139059,"ÑģимпаÑĤиÑĩ":139060,"Ñģледовав":139061,"ÑģлÑĥÑĩайно":139062,"ÑģÑĤÑĢаивал":139063,"ÑĤанÑĨевал":139064,"ÑĤоÑĢможен":139065,"ÑĤÑĢебован":139066,"ÑĤÑıнÑĥÑĤÑĮÑģÑı":139067,"ÑĦиÑĨиÑĢова":139068,"ÑĦÑĥÑĤÑĥÑĢиÑģÑĤ":139069,"ÑħодивÑĪей":139070,"ÑħодивÑĪий":139071,"ÑħÑĥдожниÑĨ":139072,"ÑĨеллÑİлоз":139073,"ÑĨенÑĤÑĢиÑĢÑĥ":139074,"ÑĨионного":139075,"ÑįкÑģплÑĥаÑĤ":139076,"ÑıйÑĨевидн":139077,"ÑıпонÑģкой":139078,"ĠTomatoes":139079,"Ġgarrison":139080,"Universit":139081,"authentic":139082,"inhabited":139083,"ĠÐIJдмиÑĢалÑĤ":139084,"ĠÐIJкадемик":139085,"ĠÐIJкадемиÑİ":139086,"ĠÐIJкадемиÑı":139087,"ĠÐIJлгоÑĢиÑĤм":139088,"ĠÐIJлекÑģеем":139089,"ĠÐIJндÑĢопов":139090,"ĠÐIJÑĢÑħеолог":139091,"ĠÐIJÑĤланÑĤид":139092,"ĠÐijенедикÑĤ":139093,"ĠÐijеÑģÑģаÑĢаб":139094,"ĠÐijеÑģÑĤÑĥжев":139095,"ĠÐijеÑĤÑħовен":139096,"ĠÐijлижнего":139097,"ĠÐijÑĥÑħаÑĢеÑģÑĤ":139098,"ĠÐĴенеÑĨиан":139099,"ĠÐĴениамин":139100,"ĠÐĴиÑĪневÑģк":139101,"ĠÐĴнимание":139102,"ĠÐĴодиÑĤелÑĮ":139103,"ĠÐĴозвÑĢаÑīа":139104,"ĠÐĴозможнÑĭ":139105,"ĠÐĴозÑĮмиÑĤе":139106,"ĠÐĴоÑĢобÑĮев":139107,"ĠÐĴÑĭÑģоÑĨкий":139108,"ĠÐĵабÑģбÑĥÑĢг":139109,"ĠÐĵаннибал":139110,"ĠÐĵеббелÑĮÑģ":139111,"ĠÐĵоÑģподин":139112,"ĠÐĵоÑģподнÑı":139113,"ĠÐĵоÑģÑĥдаÑĢÑı":139114,"ĠÐĶвадÑĨаÑĤÑĮ":139115,"ĠÐĶвижениÑı":139116,"ĠÐĶейÑģÑĤвиÑı":139117,"ĠÐĶеÑĢжавин":139118,"ĠÐĶжеÑĢалÑĮд":139119,"ĠÐĶжонаÑĤан":139120,"ĠÐĶжÑĥлÑĮеÑĤÑĤ":139121,"ĠÐĶмиÑĤÑĢием":139122,"ĠÐĶобавиÑĤÑĮ":139123,"ĠÐķжегодно":139124,"ĠÐķÑĦимовиÑĩ":139125,"ĠÐĹаÑĩаÑģÑĤÑĥÑİ":139126,"ĠÐĹлаÑĤоÑĥÑģÑĤ":139127,"ĠÐĺгнаÑĤÑĮев":139128,"ĠÐĺзмайлов":139129,"ĠÐĺннокенÑĤ":139130,"ĠÐĺнÑĤеÑĢвÑĮÑİ":139131,"ĠÐĺÑģкÑĥÑģÑģÑĤв":139132,"ĠÐĺÑģландии":139133,"ĠÐļаÑĢибÑģко":139134,"ĠÐļаÑĢÑĦаген":139135,"ĠÐļиÑĢгизÑģк":139136,"ĠÐļлеопаÑĤÑĢ":139137,"ĠÐļомпании":139138,"ĠÐļонкÑĢеÑĤн":139139,"ĠÐļонÑģÑĤанÑĨ":139140,"ĠÐļонÑĦликÑĤ":139141,"ĠÐļопеÑĢник":139142,"ĠÐļÑĥÑĤÑĥзова":139143,"ĠÐĽÐ¸ÑģÑģабон":139144,"ĠÐĽÐ¸ÑĤвинов":139145,"ĠÐľÐ°ÐºÑģвелл":139146,"ĠÐľÐ°Ð»Ð°Ð¹Ð·Ð¸Ð¸":139147,"ĠÐľÐ°Ð»ÐµÐ½ÐºÐ¾Ð²":139148,"ĠÐľÐ°ÑĢÑĤÑĭнов":139149,"ĠÐľÐµÐ½ÑĪиков":139150,"ĠÐľÐµÑħанизм":139151,"ĠÐľÐ¸Ð½Ð·Ð´ÑĢав":139152,"ĠÐľÐ¸ÑĤÑĢоÑĦан":139153,"ĠÐľÐ¸Ñħалков":139154,"ĠÐľÑĥÑĢавÑĮев":139155,"ĠÐĿаÑĢÑĭÑĪкин":139156,"ĠÐĿаÑĩалаÑģÑĮ":139157,"ĠÐĿедоÑģÑĤаÑĤ":139158,"ĠÐĿемеÑĨкие":139159,"ĠÐĿемеÑĨкий":139160,"ĠÐĿеÑģÑĤеÑĢов":139161,"ĠÐĿикакого":139162,"ĠÐŀбÑĥÑĩение":139163,"ĠÐŀдеÑģÑģкой":139164,"ĠÐŀлимпиад":139165,"ĠÐŀпеÑĢаÑĨиÑı":139166,"ĠÐŀпÑĢедели":139167,"ĠÐŀÑģиповиÑĩ":139168,"ĠÐŀÑĤкÑĢовен":139169,"ĠÐŁÐ°ÑĢамеÑĤÑĢ":139170,"ĠÐŁÐµÐ½ÑĤагон":139171,"ĠÐŁÐµÑĤеÑĢгоÑĦ":139172,"ĠÐŁÐ»ÐµÑħанов":139173,"ĠÐŁÐ¾Ð´Ð¾Ð±Ð½Ð°Ñı":139174,"ĠÐŁÐ¾Ð´Ð¾Ð±Ð½Ñĭй":139175,"ĠÐŁÐ¾Ð»Ð¸ÑĤика":139176,"ĠÐŁÑĢигоÑĤов":139177,"ĠÐŁÑĢиказом":139178,"ĠÐŁÑĢовеÑĢка":139179,"ĠÐŁÑĢоÑħодиÑĤ":139180,"ĠÐŁÑĢоÑħоÑĢов":139181,"ĠÐłÐµÐ³ÑĥлÑıÑĢн":139182,"ĠÐłÐµÐ´Ð°ÐºÑĤоÑĢ":139183,"ĠÐłÑĥмÑıнÑĨев":139184,"ĠСамойлов":139185,"ĠСанÑĤÑĮÑıго":139186,"ĠСеÑĢпÑĥÑħов":139187,"ĠСимбиÑĢÑģк":139188,"ĠСлавÑıнÑģк":139189,"ĠСмоÑĤÑĢиÑĤе":139190,"ĠСознание":139191,"ĠСоловÑĮÑijв":139192,"ĠСопÑĢоÑĤив":139193,"ĠСоÑĢевнов":139194,"ĠСÑĢедÑģÑĤва":139195,"ĠСÑĤÑĢÑĥгаÑĨк":139196,"ĠСÑĥÑīеÑģÑĤво":139197,"ĠСÑĨенаÑĢий":139198,"ĠТвоÑĢÑĩеÑģк":139199,"ĠТимоÑĦеев":139200,"ĠТÑĢоÑĦимов":139201,"ĠТÑĥлÑĮÑģкой":139202,"ĠУкÑĢаиной":139203,"ĠЧебокÑģаÑĢ":139204,"ĠЧеÑĢкаÑģÑģк":139205,"ĠЧеÑĢÑĩиллÑı":139206,"ĠЧиÑĤаÑĤелÑĮ":139207,"ĠÐŃдинбÑĥÑĢг":139208,"ĠÐŃкÑģпеÑĢÑĤÑĭ":139209,"ĠÐŃнÑĨиклоп":139210,"ĠЮÑģÑĤиниан":139211,"ĠЯнÑĥковиÑĩ":139212,"Ġавиаполк":139213,"ĠавиаÑĨией":139214,"ĠавÑĤогÑĢаÑĦ":139215,"ĠагиÑĤаÑĨии":139216,"ĠагÑĢеÑģÑģиÑİ":139217,"ĠагÑĢеÑģÑģоÑĢ":139218,"ĠакваÑĤоÑĢи":139219,"ĠакÑĤÑĢиÑģой":139220,"ĠакÑĨионеÑĢ":139221,"ĠалÑİминиÑı":139222,"ĠаналиÑĤиÑĩ":139223,"ĠанаÑĤомии":139224,"ĠанеÑģÑĤези":139225,"ĠанимаÑĨии":139226,"ĠанÑģамбле":139227,"ĠанÑĤикваÑĢ":139228,"ĠанÑĤиÑĩнÑĭÑħ":139229,"ĠапеллÑıÑĨи":139230,"ĠаÑĢеÑģÑĤанÑĤ":139231,"ĠаÑĤакован":139232,"ĠаÑįÑĢоплан":139233,"Ġбазового":139234,"ĠбаналÑĮно":139235,"ĠбаÑĢелÑĮеÑĦ":139236,"ĠбаÑĢÑĢикад":139237,"ĠбедноÑģÑĤÑĮ":139238,"ĠбедÑģÑĤвие":139239,"ĠбедÑģÑĤвий":139240,"Ġбезнаказ":139241,"ĠболÑĮномÑĥ":139242,"ĠбÑĢаÑĤÑģÑĤва":139243,"ĠваÑĢиаÑĨии":139244,"Ġвдобавок":139245,"ĠвеÑĢбалÑĮн":139246,"ĠвеÑĢÑĥÑİÑīим":139247,"ĠвеÑĢÑħÑĥÑĪки":139248,"ĠвеÑĩноÑģÑĤи":139249,"ĠвеÑĩноÑģÑĤÑĮ":139250,"ĠвзвеÑĪива":139251,"ĠвзÑĢоÑģлой":139252,"ĠвзÑĢоÑģлом":139253,"ĠвзÑĢоÑģлÑĭй":139254,"ĠвибÑĢаÑĨии":139255,"ĠвидеоигÑĢ":139256,"ĠвиновнÑĭÑħ":139257,"ĠвинÑĤовка":139258,"ĠвклÑİÑĩавÑĪ":139259,"Ġвладении":139260,"ĠвлеÑĩениÑı":139261,"ĠвлÑİбилÑģÑı":139262,"ĠвнедÑĢиÑĤÑĮ":139263,"ĠводоÑģнаб":139264,"ĠвозвеÑģÑĤи":139265,"Ġвозложил":139266,"ĠвозÑĢожда":139267,"ĠвозÑĢоÑģло":139268,"ĠвозÑĮмиÑĤе":139269,"ĠвокалиÑģÑĤ":139270,"ĠволонÑĤеÑĢ":139271,"ĠвоплоÑĤил":139272,"ĠвоÑĢоÑĤник":139273,"ĠвоÑģÑħвалÑı":139274,"ĠвÑĢажеÑģко":139275,"ĠвÑĢаÑģплоÑħ":139276,"ĠвÑĢезалÑģÑı":139277,"ĠвÑģеÑģоÑİзн":139278,"ĠвÑģпомниÑĤ":139279,"ĠвÑĭбеÑĢиÑĤе":139280,"ĠвÑĭделÑıем":139281,"ĠвÑĭигÑĢÑĭва":139282,"ĠвÑĭклÑİÑĩен":139283,"ĠвÑĭполниÑĤ":139284,"ĠвÑĭÑĢаÑģÑĤеÑĤ":139285,"ĠвÑĭÑģмеива":139286,"ĠвÑĭÑģÑĤавкÑĥ":139287,"ĠвÑĭÑģÑĤавок":139288,"ĠвÑĭÑĤаÑīиÑĤÑĮ":139289,"ĠвÑĭÑĤÑıнÑĥÑĤо":139290,"ĠвÑĭÑĤÑıнÑĥÑĤÑĭ":139291,"ĠгангÑģÑĤеÑĢ":139292,"ĠгаÑĢанÑĤиÑı":139293,"ĠгаÑĢдеÑĢоб":139294,"ĠгаÑĢмониÑİ":139295,"ĠгаÑģÑĤÑĢоли":139296,"ĠгибкоÑģÑĤÑĮ":139297,"ĠгимназиÑİ":139298,"ĠгоÑĢоÑģкоп":139299,"ĠгоÑĢÑİÑĩего":139300,"ĠгоÑĢÑıÑĩего":139301,"ĠгоÑģÑĥдаÑĢÑİ":139302,"ĠгÑĢадиенÑĤ":139303,"ĠгÑĢаÑĦÑģÑĤва":139304,"ĠгÑĢенадеÑĢ":139305,"ĠгÑĢобниÑĨÑĭ":139306,"ĠгÑĢÑĥзовÑĭÑħ":139307,"ĠгÑĥбеÑĢний":139308,"Ġдавлении":139309,"ĠдаÑĤиÑĢовк":139310,"ĠдвигалÑģÑı":139311,"Ġдвойного":139312,"ĠдежÑĥÑĢÑģÑĤв":139313,"ĠдейÑģÑĤвÑĥÑı":139314,"ĠдемонÑģÑĤÑĢ":139315,"ĠдеÑĢевÑĥÑĪк":139316,"ĠдиаÑĦÑĢагм":139317,"Ġдивиденд":139318,"ĠдинаÑģÑĤиÑı":139319,"ĠдиÑģквали":139320,"ĠдобилаÑģÑĮ":139321,"Ġдозволен":139322,"ĠдокÑĤÑĢина":139323,"ĠдомаÑĪнее":139324,"ĠдоминанÑĤ":139325,"ĠдоÑģÑĤавал":139326,"ĠдÑĢамаÑĤиÑĩ":139327,"ĠдÑĢевеÑģин":139328,"ĠдÑĥÑĪевнÑĭÑħ":139329,"ĠжадноÑģÑĤÑĮ":139330,"ĠжалÑĥеÑĤÑģÑı":139331,"ĠжелаÑİÑīие":139332,"ĠжелезнÑĭм":139333,"ĠжемÑĩÑĥжин":139334,"ĠжеÑģÑĤокий":139335,"ĠжеÑģÑĤокиÑħ":139336,"Ġзаблагов":139337,"ĠзабÑĥдÑĮÑĤе":139338,"ĠзабÑĭваÑİÑĤ":139339,"Ġзавоевав":139340,"Ġзагадкой":139341,"Ġзаданной":139342,"ĠзадеÑĢжка":139343,"Ġзаказник":139344,"ĠзакÑĢÑĭÑĤÑĭÑħ":139345,"Ġзамедлил":139346,"ĠзамеÑĩаÑİÑĤ":139347,"ĠзаоÑģÑĤÑĢен":139348,"Ġзаполнил":139349,"ĠзапÑĢеÑīÑijн":139350,"ĠзаÑģÑĤавиÑĤ":139351,"ĠзаÑĤÑĢонÑĥл":139352,"ĠзаÑīиÑĤнÑĭе":139353,"ĠзаÑīиÑĤнÑĭÑħ":139354,"ĠзаÑīиÑīаÑİÑĤ":139355,"ĠзаÑıвлÑıÑİÑĤ":139356,"ĠздоÑĢовÑĭй":139357,"ĠзеÑĢновÑĭÑħ":139358,"ĠзнаÑĩимÑĭе":139359,"ĠзнаÑĩимÑĭм":139360,"ĠигÑĢового":139361,"Ġидеализм":139362,"ĠизвиниÑĤе":139363,"Ġизгнание":139364,"ĠизгнаниÑı":139365,"ĠиздаÑĤелÑı":139366,"ĠиздеÑĢжек":139367,"Ġизменник":139368,"ĠизмеÑĢиÑĤÑĮ":139369,"ĠизолÑıÑĤоÑĢ":139370,"ĠиконопиÑģ":139371,"ĠиллÑİзоÑĢн":139372,"ĠимпеÑĢией":139373,"ĠинÑĤегÑĢал":139374,"ĠинÑĤÑĥиÑĨии":139375,"ĠинÑĦекÑĨиÑı":139376,"ĠиÑģклÑİÑĩил":139377,"ĠиÑģламиÑģÑĤ":139378,"ĠиÑģпанÑĨев":139379,"ĠиÑģпаÑĢени":139380,"ĠиÑģповеда":139381,"ĠиÑģполниÑĤ":139382,"ĠиÑģпоÑĢÑĤил":139383,"ĠиÑģÑĤиннаÑı":139384,"ĠиÑģÑĤиннÑĥÑİ":139385,"ĠиÑģÑĤиннÑĭе":139386,"ĠиÑģÑĤиннÑĭÑħ":139387,"ĠиÑģÑħодиÑĤÑĮ":139388,"ĠиÑģÑħодное":139389,"ĠиÑģÑħоднÑĭм":139390,"ĠиÑģÑĩезнеÑĤ":139391,"ĠиÑģÑĩеÑĢпан":139392,"ĠказнаÑĩей":139393,"Ġкампаний":139394,"ĠкапиллÑıÑĢ":139395,"ĠкаÑĢанÑĤин":139396,"ĠкаÑĢнавал":139397,"ĠкаÑĢÑĤоÑĩка":139398,"ĠкаÑĢÑĤоÑĩкÑĥ":139399,"ĠкаÑģалоÑģÑĮ":139400,"ĠкипÑıÑĤком":139401,"ĠколониÑģÑĤ":139402,"ĠкомиÑģÑģий":139403,"ĠкоммеÑĢÑĨи":139404,"ĠкомпÑĢеÑģÑģ":139405,"ĠконеÑĩнÑĭй":139406,"ĠконеÑĩнÑĭÑħ":139407,"ĠконÑĩиÑĤÑģÑı":139408,"ĠкоÑĢеннÑĭм":139409,"ĠкоÑĢобоÑĩк":139410,"ĠкоÑĢоÑĤкÑĥÑİ":139411,"ĠкоÑĤловин":139412,"ĠкÑĢаÑģивÑĥÑİ":139413,"ĠкÑĢаÑģками":139414,"ĠкÑĢеÑīение":139415,"ĠкÑĢÑĥглого":139416,"ĠкÑĢÑĥÑĪениÑı":139417,"ĠкÑĢÑĭмÑģкиÑħ":139418,"ĠлегалÑĮно":139419,"ĠлеÑĤопиÑģÑĮ":139420,"ĠлиÑĨензиÑİ":139421,"ĠлÑİбиÑĤели":139422,"ĠлÑİбовнÑĭÑħ":139423,"ĠмаÑĢгинал":139424,"ĠмаÑĢкÑģизм":139425,"ĠмаÑģÑģовÑĭй":139426,"ĠмедиÑĤаÑĨи":139427,"ĠмелодÑĢам":139428,"ĠмемÑĥаÑĢаÑħ":139429,"ĠмеÑģÑĤеÑĩке":139430,"ĠмеÑģÑĤеÑĩко":139431,"ĠмодиÑĦиÑĨи":139432,"ĠмолдавÑģк":139433,"ĠмолÑĩаниÑı":139434,"Ġмонголов":139435,"ĠнавÑĭками":139436,"ĠнагÑĢадил":139437,"ĠнагÑĢÑĥзок":139438,"ĠнадеемÑģÑı":139439,"ĠнаизÑĥÑģÑĤÑĮ":139440,"Ġнаименее":139441,"ĠнападавÑĪ":139442,"ĠнапаÑĢник":139443,"ĠнаÑĢÑĥÑĪаÑĤÑĮ":139444,"ĠнаÑĢÑĥÑĪаÑİÑĤ":139445,"ĠнаÑģмеÑĢÑĤÑĮ":139446,"ĠнаÑģÑĤÑĢоек":139447,"ĠнаÑħожÑĥÑģÑĮ":139448,"ĠнаÑĨиÑģÑĤов":139449,"ĠнаÑĩеÑĢÑĤан":139450,"ĠневзиÑĢаÑı":139451,"ĠневÑĢедим":139452,"ĠнедавниÑħ":139453,"Ġнедвижим":139454,"ĠнежноÑģÑĤÑĮ":139455,"ĠнемеÑĨкÑĥÑİ":139456,"ĠнеоÑĤложн":139457,"ĠнеоÑħоÑĤно":139458,"ĠнепÑĢеÑĢÑĭв":139459,"ĠнепÑĢилиÑĩ":139460,"ĠнепÑĢимиÑĢ":139461,"ĠнеÑĢвниÑĩа":139462,"ĠнеÑģложно":139463,"ĠнеÑģоÑģÑĤоÑı":139464,"ĠнеÑĤÑĢонÑĥÑĤ":139465,"ĠнеÑĥмолим":139466,"ĠнеÑĦÑĤÑıнÑĭÑħ":139467,"ĠнеÑħваÑĤки":139468,"ĠновейÑĪиÑħ":139469,"ĠновиÑĩков":139470,"ĠноÑĤаÑĢиÑĥÑģ":139471,"ĠнÑĭнеÑĪнее":139472,"ĠнÑĭнеÑĪние":139473,"ĠнÑĭнеÑĪним":139474,"ĠобвинÑıеÑĤ":139475,"ĠобвинÑıÑİÑĤ":139476,"ĠобладавÑĪ":139477,"ĠоблаÑģÑĤÑıм":139478,"ĠоблегÑĩен":139479,"Ġобломков":139480,"ĠобновиÑĤÑĮ":139481,"ĠоболоÑĩек":139482,"ĠоболоÑĩкÑĥ":139483,"ĠобÑĢаÑĤиÑĤе":139484,"ĠобÑĢаÑĤнаÑı":139485,"ĠобÑĢаÑīаÑİÑĤ":139486,"ĠобÑĢÑĥÑĪива":139487,"ĠобÑĥÑĩениÑİ":139488,"ĠобÑĬÑıвлÑıл":139489,"ĠобÑĬÑıÑģним":139490,"ĠобÑĬÑıÑģниÑĤ":139491,"Ġожиданий":139492,"ĠознаÑĩаÑİÑĤ":139493,"ĠокÑĢÑĥжавÑĪ":139494,"ĠокÑĢÑĥжаеÑĤ":139495,"ĠокÑĢÑĥжаÑİÑĤ":139496,"ĠокÑĢÑĥжили":139497,"Ġоливково":139498,"ĠолигаÑĢÑħи":139499,"Ġолимпиад":139500,"ĠопаÑģалÑģÑı":139501,"ĠопеÑĢедил":139502,"Ġоплакива":139503,"ĠоплаÑĤиÑĤÑĮ":139504,"ĠоповеÑīен":139505,"ĠоÑģведоми":139506,"ĠоÑģлабиÑĤÑĮ":139507,"ĠоÑĤвеÑĢгал":139508,"ĠоÑĤделÑıеÑĤ":139509,"ĠоÑĤдÑĭÑħаÑĤÑĮ":139510,"ĠоÑĤмеÑĩаÑĤÑĮ":139511,"ĠоÑĤобÑĢаÑĤÑĮ":139512,"ĠоÑĤÑĢажаÑĤÑĮ":139513,"ĠоÑĤÑĢаÑģлÑıÑħ":139514,"ĠоÑĤÑĤенков":139515,"ĠоÑĤÑĤенком":139516,"ĠоÑĤÑĩаÑıнии":139517,"ĠоÑĦоÑĢмиÑĤÑĮ":139518,"ĠоÑħÑĢанÑıÑĤÑĮ":139519,"ĠоÑĩиÑīениÑı":139520,"ĠпаÑĢагÑĢаÑĦ":139521,"ĠпаÑĢÑĤийно":139522,"ĠпаÑĤологи":139523,"ĠпеналÑĮÑĤи":139524,"ĠпеÑĢедаÑijÑĤ":139525,"ĠпеÑĢедниÑħ":139526,"ĠпеÑĢедÑĭÑĪк":139527,"ĠпеÑĢежиÑĤо":139528,"ĠпеÑĢеÑģадк":139529,"ĠпеÑĢеÑĥлка":139530,"ĠпеÑĢеÑĥлке":139531,"ĠпеÑħоÑĤнÑĭй":139532,"ĠпеÑħоÑĤнÑĭÑħ":139533,"ĠпеÑĩаÑĤнÑĭÑħ":139534,"ĠпиÑģаÑĤелÑİ":139535,"ĠпиÑĤаÑİÑĤÑģÑı":139536,"Ġпламенем":139537,"ĠплоÑģкоÑģÑĤ":139538,"ĠплоÑīадей":139539,"ĠплоÑīадок":139540,"ĠповÑĢедил":139541,"ĠповÑĤоÑĢен":139542,"ĠповÑĭÑĪаÑĤÑĮ":139543,"ĠпогибÑĪим":139544,"ĠподаÑĢиÑĤÑĮ":139545,"ĠподаÑĢков":139546,"ĠподклÑİÑĩи":139547,"ĠподконÑĤÑĢ":139548,"Ġподлежал":139549,"ĠподоÑĢвал":139550,"ĠподпиÑģей":139551,"ĠподполÑĮе":139552,"ĠподÑĢÑĥÑĩнÑĭ":139553,"ĠподÑģвеÑĤк":139554,"ĠподÑģказк":139555,"ĠподÑĬеÑħал":139556,"Ġпозволив":139557,"ĠпозиÑĨией":139558,"ĠпокаÑĩива":139559,"ĠпокидаÑĤÑĮ":139560,"ĠпокÑĥпаÑİÑĤ":139561,"ĠполÑĥкÑĢÑĥг":139562,"ĠполÑĥноÑĩи":139563,"ĠпоменÑĮÑĪе":139564,"ĠпомеÑĪало":139565,"ĠпомеÑīаÑİÑĤ":139566,"ĠпомогаÑİÑī":139567,"ĠпомогиÑĤе":139568,"Ġпополнил":139569,"ĠпопÑĢавок":139570,"ĠпопÑĭÑĤкой":139571,"ĠпоÑĢÑĤÑĦелÑĮ":139572,"ĠпоÑģелков":139573,"ĠпоÑģеÑīаеÑĤ":139574,"ĠпоÑģеÑīаÑİÑĤ":139575,"ĠпоÑģмоÑĤÑĢи":139576,"ĠпоÑģолиÑĤÑĮ":139577,"ĠпоÑģÑĤавкÑĥ":139578,"ĠпоÑĩÑĤение":139579,"ĠпоÑĩÑĤовой":139580,"ĠпоÑĩÑĤовÑĭе":139581,"ĠпоÑĩÑĤовÑĭй":139582,"ĠпоÑĩÑijÑĤнÑĭй":139583,"ĠпÑĢавовÑĭе":139584,"ĠпÑĢакÑĤиÑĩн":139585,"ĠпÑĢедикаÑĤ":139586,"ĠпÑĢелеÑģÑĤÑĮ":139587,"ĠпÑĢеÑĢваÑĤÑĮ":139588,"ĠпÑĢиведÑijн":139589,"ĠпÑĢивезен":139590,"ĠпÑĢивÑĭÑĩек":139591,"ĠпÑĢивÑĭÑĩке":139592,"ĠпÑĢивÑĭÑĩкÑĥ":139593,"ĠпÑĢигодно":139594,"ĠпÑĢизнаÑijÑĤ":139595,"ĠпÑĢикован":139596,"ĠпÑĢикоÑģнÑĥ":139597,"ĠпÑĢимкнÑĥл":139598,"ĠпÑĢинеÑģло":139599,"ĠпÑĢинÑĥжда":139600,"ĠпÑĢиÑĩиÑģлÑı":139601,"ĠпÑĢиÑıÑĤнÑĭе":139602,"ĠпÑĢиÑıÑĤнÑĭй":139603,"ĠпÑĢоведеÑĤ":139604,"ĠпÑĢовеÑĢок":139605,"ĠпÑĢодлева":139606,"ĠпÑĢодлиÑĤÑĮ":139607,"ĠпÑĢоеÑħаÑĤÑĮ":139608,"ĠпÑĢозвали":139609,"ĠпÑĢозвиÑīÑĥ":139610,"ĠпÑĢоигÑĢÑĭÑĪ":139611,"ĠпÑĢоклина":139612,"ĠпÑĢолеÑĤел":139613,"ĠпÑĢомÑĭÑģел":139614,"ĠпÑĢомÑĭÑģла":139615,"ĠпÑĢонизан":139616,"ĠпÑĢоникал":139617,"ĠпÑĢопавÑĪи":139618,"ĠпÑĢопиÑģан":139619,"ĠпÑĢоÑģвеÑĤл":139620,"ĠпÑĢоÑģÑĤÑĥпк":139621,"ĠпÑĢоÑĤекал":139622,"ĠпÑĢоÑħодим":139623,"ĠпÑĢоÑĩиÑĤав":139624,"ĠпÑĢоÑīание":139625,"ĠпÑĭÑĤаемÑģÑı":139626,"ĠпÑıÑĤилеÑĤк":139627,"ĠÑĢадиаÑĤоÑĢ":139628,"ĠÑĢадиаÑĨии":139629,"ĠÑĢадиолок":139630,"ĠÑĢазбÑĥдил":139631,"ĠÑĢазвоÑĢаÑĩ":139632,"ĠÑĢазделÑıÑİ":139633,"ĠÑĢазлиÑĩен":139634,"ĠÑĢазлиÑĩно":139635,"ĠÑĢазоÑĢван":139636,"ĠÑĢаненÑĭми":139637,"ĠÑĢаÑģкопок":139638,"ĠÑĢаÑģпаÑħнÑĥ":139639,"ĠÑĢаÑģÑģеÑĢди":139640,"ĠÑĢаÑģÑģпÑĢоÑģ":139641,"ĠÑĢебÑijнком":139642,"ĠÑĢевноÑģÑĤи":139643,"ĠÑĢевноÑģÑĤÑĮ":139644,"ĠÑĢезиÑģÑĤоÑĢ":139645,"ĠÑĢеквизиÑĤ":139646,"ĠÑĢепоÑĢÑĤеÑĢ":139647,"ĠÑĢепÑĩаÑĤÑĭй":139648,"ĠÑĢеÑĪаÑİÑīее":139649,"ĠÑĢеÑĪаÑİÑīий":139650,"ĠÑĢеÑĪаÑİÑīим":139651,"ĠÑĢеÑĪаÑİÑīÑĥÑİ":139652,"ĠÑĢогаÑĤого":139653,"ĠÑĢодилоÑģÑĮ":139654,"ĠÑĢодиÑĤелÑı":139655,"ĠÑĢоÑģкоÑĪно":139656,"ĠÑĢÑĥкопаÑĪн":139657,"ĠÑģамозван":139658,"ĠÑģановник":139659,"ĠÑģанÑģкÑĢиÑĤ":139660,"ĠÑģаÑĢкоÑĦаг":139661,"ĠÑģбÑĢоÑģиÑĤÑĮ":139662,"ĠÑģвеÑĢкаÑİÑī":139663,"ĠÑģвеÑĤоÑĦоÑĢ":139664,"ĠÑģвободнÑĭ":139665,"ĠÑģгоÑĢаниÑı":139666,"ĠÑģедÑĮмого":139667,"ĠÑģелÑĮÑģкие":139668,"ĠÑģеманÑĤик":139669,"ĠÑģеÑĤевого":139670,"ĠÑģибиÑĢÑģко":139671,"ĠÑģигналÑĮн":139672,"ĠÑģимÑĦонии":139673,"ĠÑģиÑģÑĤемаÑĤ":139674,"ĠÑģкÑĢинÑĪоÑĤ":139675,"ĠÑģкÑĢомнÑĭй":139676,"ĠÑģкÑĢомнÑĭм":139677,"ĠÑģкÑĢÑĭваÑİÑĤ":139678,"ĠÑģкÑĢÑĭÑĤÑĮÑģÑı":139679,"ĠÑģложилÑģÑı":139680,"ĠÑģложнейÑĪ":139681,"ĠÑģлÑĥжаÑīие":139682,"ĠÑģлÑĥжаÑīий":139683,"ĠÑģлÑĥÑĪаниÑı":139684,"ĠÑģмелоÑģÑĤи":139685,"ĠÑģмеÑīениÑı":139686,"ĠÑģмеÑıлиÑģÑĮ":139687,"ĠÑģнижении":139688,"ĠÑģовеÑĢÑĪÑijн":139689,"ĠÑģовеÑĤÑĥеÑĤ":139690,"ĠÑģовмеÑīен":139691,"ĠÑģовпадал":139692,"ĠÑģоединил":139693,"ĠÑģоединÑijн":139694,"ĠÑģознавал":139695,"ĠÑģообÑīаÑĤÑĮ":139696,"ĠÑģообÑīник":139697,"ĠÑģоÑģеднем":139698,"ĠÑģоÑģедние":139699,"ĠÑģоÑħÑĢаниÑĤ":139700,"ĠÑģплоÑĩенн":139701,"ĠÑģпÑĢовоÑĨи":139702,"ĠÑģпÑĢоÑģиÑĤе":139703,"ĠÑģÑĢавниÑĤе":139704,"ĠÑģÑĤавÑĪего":139705,"ĠÑģÑĤалÑĮной":139706,"ĠÑģÑĤаÑĢаÑİÑģÑĮ":139707,"ĠÑģÑĤаÑĢоÑģÑĤÑĮ":139708,"ĠÑģÑĤаÑĢÑĪемÑĥ":139709,"ĠÑģÑĤеÑĢилиз":139710,"ĠÑģÑĤолеÑĤие":139711,"ĠÑģÑĤоловаÑı":139712,"ĠÑģÑĤоловÑĥÑİ":139713,"ĠÑģÑĤоÑıÑīего":139714,"ĠÑģÑĤÑĢаÑģÑĤÑĮÑİ":139715,"ĠÑģÑĤÑĢелÑĮба":139716,"ĠÑģÑĤÑĢелÑĮбÑĥ":139717,"ĠÑģÑĤÑĢоений":139718,"ĠÑģÑĤÑĢоÑıÑĤÑģÑı":139719,"ĠÑģÑĤÑĥпеней":139720,"ĠÑģÑĥбмаÑĢин":139721,"ĠÑģÑĥбÑģÑĤÑĢаÑĤ":139722,"ĠÑģÑĥдоÑģÑĤÑĢо":139723,"ĠÑģÑĥждений":139724,"ĠÑģÑĥммаÑĢно":139725,"ĠÑģÑĥпÑĢÑĥгой":139726,"ĠÑģÑħодÑıÑĤÑģÑı":139727,"ĠÑģÑĭвоÑĢоÑĤк":139728,"ĠÑĤамплиеÑĢ":139729,"ĠÑĤанковÑĭй":139730,"ĠÑĤемаÑĤике":139731,"ĠÑĤепловой":139732,"ĠÑĤеÑĢпениÑı":139733,"ĠÑĤипиÑĩнÑĭе":139734,"ĠÑĤипиÑĩнÑĭм":139735,"ĠÑĤоÑĢговал":139736,"ĠÑĤоÑĢговÑĨа":139737,"ĠÑĤоÑĢговÑĨÑĭ":139738,"ĠÑĤÑĢагедиÑİ":139739,"ĠÑĤÑĢенажеÑĢ":139740,"ĠÑĤÑĢÑĥдилÑģÑı":139741,"ĠÑĤÑĢÑĥдовÑĥÑİ":139742,"ĠÑĤÑĢÑĥдовÑĭе":139743,"ĠÑĤÑĥловиÑīе":139744,"ĠÑĤÑĥÑĢеÑĨкий":139745,"ĠÑĤÑĥÑĢеÑĨким":139746,"ĠÑĤÑĥÑĢеÑĨкиÑħ":139747,"ĠÑĤÑıжелейÑĪ":139748,"ĠÑĥбеждаеÑĤ":139749,"ĠÑĥбÑĢанÑģÑĤв":139750,"ĠÑĥдалении":139751,"ĠÑĥзнаваем":139752,"ĠÑĥзнаваÑĤÑĮ":139753,"ĠÑĥкоÑĢоÑĩен":139754,"ĠÑĥкÑĢаинÑĨÑĭ":139755,"ĠÑĥкÑĢÑĭÑĤÑĮÑģÑı":139756,"ĠÑĥлÑĭбаÑıÑģÑĮ":139757,"ĠÑĥпаковки":139758,"ĠÑĥплоÑĤнен":139759,"ĠÑĥÑĢоженеÑĨ":139760,"ĠÑĥÑģколÑĮза":139761,"ĠÑĥÑģложнен":139762,"ĠÑĥÑģпеÑĪнÑĭе":139763,"ĠÑĥÑģпеÑĪнÑĭй":139764,"ĠÑĥÑĤеÑĪение":139765,"ĠÑĦамилией":139766,"ĠÑĦелÑĮеÑĤон":139767,"ĠÑĦигÑĥÑĢанÑĤ":139768,"ĠÑĦиналиÑģÑĤ":139769,"ĠÑħÑĢанении":139770,"ĠÑħÑĢÑĥÑģÑĤалÑĮ":139771,"ĠÑĩеÑĢновик":139772,"ĠÑĩиÑģленно":139773,"ĠÑĩÑĥдоÑĤвоÑĢ":139774,"ĠÑĪимпанзе":139775,"ĠÑĪколÑĮнÑĭе":139776,"ĠÑįволÑİÑĨиÑİ":139777,"ĠÑįкÑģÑĤÑĢакÑĤ":139778,"ĠÑįмигÑĢаÑĨи":139779,"ĠÑįмоÑĨиÑıми":139780,"ĠÑįÑģминÑĨев":139781,"ĠÑįÑģÑĤеÑĤики":139782,"ĠÑıвÑģÑĤвенн":139783,"ĠÑıзÑĭÑĩеÑģко":139784,"ĠÑıпонÑģкаÑı":139785,"ĠÑıпонÑģком":139786,"ÐijолÑĮÑĪевик":139787,"ÐĴÐļонÑĤакÑĤе":139788,"ÐĴнÑĥÑĤÑĢенне":139789,"ÐĶоÑģÑĤоевÑģк":139790,"ÐĺÑģламÑģкое":139791,"ÐļазаÑħÑģÑĤан":139792,"ÐĽÐµÐ½Ð¸Ð½Ð³ÑĢад":139793,"ÐľÐ°Ð½ÑħÑįÑĤÑĤен":139794,"ÐľÐµÑĤаллÑĥÑĢг":139795,"ÐľÐ¾Ð½Ð³Ð¾Ð»ÑĮÑģк":139796,"ÐĿеизвеÑģÑĤн":139797,"ÐŁÐ¾Ð»Ð¸ÑĨейÑģк":139798,"ÐŁÑĢезиденÑĤ":139799,"ÐłÐµÐ½ÐµÑģÑģанÑģ":139800,"СвидеÑĤелÑĮ":139801,"СибиÑĢÑģкой":139802,"СовеÑĤÑģкаÑı":139803,"ФинлÑıндиÑı":139804,"ШвейÑĨаÑĢиÑı":139805,"ÐŃкономика":139806,"акÑĤÑĥалÑĮнÑĭ":139807,"апиÑĤалиÑģÑĤ":139808,"аÑĨионалÑĮн":139809,"байкалÑĮÑģк":139810,"беÑģпÑĢепÑıÑĤ":139811,"бÑĢаÑģÑĭваÑİÑĤ":139812,"влекаеÑĤÑģÑı":139813,"воздÑĥÑĪнÑĭÑħ":139814,"воÑģÑģÑĤанов":139815,"вÑĢеменнаÑı":139816,"вÑĭÑģокоÑĤеÑħ":139817,"генеалоги":139818,"геÑĢмеÑĤиÑĩн":139819,"гинеколог":139820,"глÑıдÑĭваÑĤÑĮ":139821,"гÑĢаниÑĩнÑĭе":139822,"гÑĢаниÑĩнÑĭй":139823,"двенадÑĨаÑĤ":139824,"двигалаÑģÑĮ":139825,"двигаÑĤелÑĮ":139826,"девÑģÑĤвенн":139827,"дейÑģÑĤвÑĥеÑĤ":139828,"должноÑģÑĤн":139829,"егеÑĤаÑĢиан":139830,"егеÑĤаÑĤивн":139831,"жеÑĢÑĤвопÑĢи":139832,"инÑĤеÑĢпÑĢеÑĤ":139833,"иÑĢовавÑĪий":139834,"иÑĢовавÑĪиÑħ":139835,"квалиÑĦиÑĨи":139836,"киÑĪеÑĩного":139837,"кладÑĭваем":139838,"клонÑıлиÑģÑĮ":139839,"клонÑıÑİÑĤÑģÑı":139840,"конÑĤиненÑĤ":139841,"конÑĦÑĥÑĨиан":139842,"коÑĢиÑĩнево":139843,"кÑĢемлевÑģк":139844,"кÑĢÑĭваÑĤÑĮÑģÑı":139845,"магнеÑĤизм":139846,"македонÑģк":139847,"маÑģкиÑĢовк":139848,"мÑĥÑģÑĥлÑĮман":139849,"мÑĦаÑĤиÑĩеÑģк":139850,"наÑģÑĤÑĢаива":139851,"ноÑĢмалÑĮно":139852,"нÑĤеллекÑĤÑĥ":139853,"обÑĢаÑīениÑı":139854,"озвоноÑĩнÑĭ":139855,"ознаваниÑı":139856,"окиÑģлиÑĤел":139857,"опиÑģаÑĤелÑĮ":139858,"ополагаÑİÑī":139859,"оположник":139860,"опÑĢеделен":139861,"опÑĢиÑıÑĤнÑĭе":139862,"оÑĢиенÑĤаÑĨи":139863,"оÑĢÑĤиÑĢовки":139864,"оÑĤанковÑĭÑħ":139865,"подÑĪипник":139866,"полниÑĤелÑĮ":139867,"поÑģаблива":139868,"пÑĢавилÑĮно":139869,"пÑĢиклÑİÑĩен":139870,"пÑĢикоÑģнов":139871,"пÑĢоводник":139872,"пÑĢоволоÑĩн":139873,"пÑĢоизводÑı":139874,"пÑĥÑģÑĤилаÑģÑĮ":139875,"ÑĢазведÑĩик":139876,"ÑĢеагиÑĢова":139877,"ÑĢезÑĥлÑĮÑĤаÑĤ":139878,"ÑĢенеÑģÑģанÑģ":139879,"ÑĢодÑģÑĤвенн":139880,"ÑģекÑĢеÑĤаÑĢÑı":139881,"ÑģкалÑĮзÑĭва":139882,"ÑģледÑģÑĤвие":139883,"ÑģоÑĨиалÑĮно":139884,"ÑģпаÑģаÑĤелÑĮ":139885,"ÑģÑĤановиÑĤÑĮ":139886,"ÑģÑĤвованиÑı":139887,"ÑģÑĤойкоÑģÑĤи":139888,"ÑģÑĤоÑĢонней":139889,"ÑģÑĤÑĢаиваем":139890,"ÑģÑĤÑĢоилаÑģÑĮ":139891,"ÑģÑĤÑĥпаÑİÑīей":139892,"ÑģÑĤÑĥпивÑĪиÑħ":139893,"ÑģÑĩиÑĤÑĭваÑĤÑĮ":139894,"ÑģÑĩиÑĤÑĭваÑİÑĤ":139895,"ÑĤеÑĢÑĢоÑĢиÑģÑĤ":139896,"ÑĤиÑĢованиÑı":139897,"ÑĥÑĩÑĢедиÑĤел":139898,"ÑħваÑĤÑĭваеÑĤ":139899,"ÑĩиÑģленнÑĭÑħ":139900,"ÑĪÑĤÑĥÑĢмовик":139901,"ÑįÑģкадÑĢилÑĮ":139902,"ĠByzantine":139903,"Ġaccelerat":139904,"affiliated":139905,"ĠÐIJбÑģолÑİÑĤно":139906,"ĠÐIJнÑĤоновиÑĩ":139907,"ĠÐIJÑĦанаÑģÑĮев":139908,"ĠÐIJÑħмаÑĤовой":139909,"ĠÐijелинÑģкий":139910,"ĠÐijлижайÑĪие":139911,"ĠÐijÑĢонзовÑĭй":139912,"ĠÐijÑĥквалÑĮно":139913,"ĠÐĴÑģпомниÑĤе":139914,"ĠÐĴÑĭÑĢажение":139915,"ĠÐĴÑĭÑģоÑĨкого":139916,"ĠÐĵамилÑĮÑĤон":139917,"ĠÐĵеÑĢаÑģимов":139918,"ĠÐĵибÑĢалÑĤаÑĢ":139919,"ĠÐĶвигаÑĤелÑĮ":139920,"ĠÐĶзеÑĢжинÑģк":139921,"ĠÐķвангелие":139922,"ĠÐĹанималÑģÑı":139923,"ĠÐĺзменениÑı":139924,"ĠÐĺÑĢкÑĥÑĤÑģкой":139925,"ĠÐĺÑģÑģледова":139926,"ĠÐļазанÑģкой":139927,"ĠÐļазаÑħÑģкой":139928,"ĠÐļалÑĥжÑģкой":139929,"ĠÐļоллекÑĤив":139930,"ĠÐļонÑĨепÑĨиÑı":139931,"ĠÐļÑĢаÑģнодаÑĢ":139932,"ĠÐĽÑĥкаÑĪенко":139933,"ĠÐľÐ°Ð½ÑĮÑĩжÑĥÑĢи":139934,"ĠÐľÐµÐ»ÑĮников":139935,"ĠÐľÐµÑģопоÑĤам":139936,"ĠÐľÐ½Ð¾Ð¶ÐµÑģÑĤво":139937,"ĠÐĿезадолго":139938,"ĠÐĿикаÑĢагÑĥа":139939,"ĠÐĿоÑĢмандии":139940,"ĠÐŀбÑĢазован":139941,"ĠÐŀгÑĢаниÑĩен":139942,"ĠÐŀпÑĢеделен":139943,"ĠÐŀÑĢловÑģкой":139944,"ĠÐŀÑĤеÑĩеÑģÑĤва":139945,"ĠÐŀÑĤноÑĪение":139946,"ĠÐŁÐ°Ð»ÐµÑģÑĤине":139947,"ĠÐŁÐ°Ð»ÐµÑģÑĤинÑĭ":139948,"ĠÐŁÐ°ÑĢижÑģкой":139949,"ĠÐŁÐµÑĢеÑıÑģлав":139950,"ĠÐŁÐµÑĢмÑģкого":139951,"ĠÐŁÐ¾Ð´Ð´ÐµÑĢжка":139952,"ĠÐŁÐ¾Ð´ÑĢобнее":139953,"ĠÐŁÐ¾Ð»Ð½Ð¾ÑģÑĤÑĮÑİ":139954,"ĠÐŁÐ¾Ñģледним":139955,"ĠÐŁÐ¾ÑģмоÑĤÑĢим":139956,"ĠÐŁÐ¾ÑıвилиÑģÑĮ":139957,"ĠÐŁÑĢезидиÑĥм":139958,"ĠÐŁÑĢекÑĢаÑģно":139959,"ĠÐŁÑĢинимаÑĤÑĮ":139960,"ĠÐłÐ°Ð·Ð»Ð¸ÑĩнÑĭе":139961,"ĠÐłÐ°Ñģполага":139962,"ĠÐłÐ¾Ð¼Ð°Ð½Ð¾Ð²ÑĭÑħ":139963,"ĠÐłÐ¾ÑģÑĤиÑģлав":139964,"ĠСамаÑĢканд":139965,"ĠСамаÑĢÑģкой":139966,"ĠСвÑıÑīенной":139967,"ĠСемÑijновиÑĩ":139968,"ĠСеÑĢгеевна":139969,"ĠСледÑģÑĤвие":139970,"ĠСледÑĥÑİÑīаÑı":139971,"ĠСледÑĥÑİÑīие":139972,"ĠСледÑĥÑİÑīим":139973,"ĠСовеÑĤÑģким":139974,"ĠСовеÑĤÑģкое":139975,"ĠСовмеÑģÑĤно":139976,"ĠУÑģÑĤановка":139977,"ĠФедеÑĢаÑĨиÑı":139978,"ĠФÑĢанÑģиÑģко":139979,"ĠФÑĢанÑĩеÑģко":139980,"ĠХелÑĮÑģинки":139981,"ĠХлебников":139982,"ĠЧингиÑģÑħан":139983,"ĠШеÑĢемеÑĤев":139984,"ĠавианоÑģÑĨа":139985,"ĠакÑģеÑģÑģÑĥаÑĢ":139986,"ĠакÑĤивиÑģÑĤÑĭ":139987,"Ġалкоголик":139988,"ĠалÑĮпиниÑģÑĤ":139989,"ĠамбиÑĨиозн":139990,"ĠаÑĢендаÑĤоÑĢ":139991,"ĠаÑĢмейÑģкий":139992,"ĠаÑĢмейÑģкиÑħ":139993,"ĠаÑĢмейÑģкой":139994,"ĠаÑĢÑħаиÑĩеÑģк":139995,"ĠаÑģинÑħÑĢонн":139996,"Ġбезнадежн":139997,"ĠбезоговоÑĢ":139998,"ĠбеÑĢеменнÑĭ":139999,"ĠбеÑģплоднÑĭ":140000,"ĠбеÑģÑģледно":140001,"ĠбиблиоÑĤеÑĩ":140002,"ĠблагодаÑĤи":140003,"ĠблагодаÑĤн":140004,"ĠблагодаÑĤÑĮ":140005,"ĠблеÑģÑĤÑıÑīие":140006,"ĠблеÑģÑĤÑıÑīий":140007,"ĠблеÑģÑĤÑıÑīим":140008,"ĠближайÑĪим":140009,"ĠбожеÑģÑĤвен":140010,"ĠбÑĢонзовÑĭе":140011,"ĠбÑĥÑĢжÑĥазиÑı":140012,"ĠбÑĥÑĤеÑĢбÑĢод":140013,"ĠваÑĢÑĮиÑĢова":140014,"ĠвдоÑħновил":140015,"ĠвеÑĢоÑıÑĤнее":140016,"ĠвеÑĢÑĤикали":140017,"ĠвзÑĢÑĭвÑĩаÑĤк":140018,"ĠвидеокаÑĢÑĤ":140019,"ĠвиÑĤаминов":140020,"ĠвладелÑĮÑĨÑĥ":140021,"ĠвлажноÑģÑĤи":140022,"ĠвлажноÑģÑĤÑĮ":140023,"ĠвозгоÑĢани":140024,"ĠвозделÑĭва":140025,"Ġвозникало":140026,"ĠвозникÑĪие":140027,"ĠвозÑĢазиÑĤÑĮ":140028,"ĠволÑĪебник":140029,"ĠвоплоÑĤиÑĤÑĮ":140030,"ĠвоÑģÑģоздан":140031,"ĠвоÑģÑģÑĤании":140032,"ĠвоÑģÑĤоÑĩнÑĭе":140033,"ĠвÑĢажеÑģкие":140034,"ĠвÑĢажеÑģкой":140035,"ĠвÑĢаÑīаеÑĤÑģÑı":140036,"ĠвÑĢеменнÑĭм":140037,"ĠвÑģадников":140038,"ĠвÑģпоминаÑı":140039,"ĠвÑĭбÑĢоÑģиÑĤÑĮ":140040,"ĠвÑĭживание":140041,"ĠвÑĭзÑĭваÑİÑīе":140042,"ĠвÑĭигÑĢÑĭвал":140043,"ĠвÑĭплаÑĤиÑĤÑĮ":140044,"ĠвÑĭÑĢабоÑĤке":140045,"ĠвÑĭÑģказанн":140046,"ĠвÑĭÑģококаÑĩ":140047,"ĠвÑĭÑģÑĤÑĢелил":140048,"ĠвÑĭÑģÑĤÑĥпавÑĪ":140049,"ĠвÑĭÑĩиÑģлиÑĤÑĮ":140050,"ĠвÑĭÑıÑģнениÑı":140051,"ĠгаÑĢанÑĤиÑĢÑĥ":140052,"Ġголоволом":140053,"ĠгоÑĢдиÑĤÑĮÑģÑı":140054,"ĠгоÑĢнолÑĭжн":140055,"ĠгоÑģÑĤиниÑĨÑĥ":140056,"ĠгÑĢеÑĩеÑģкие":140057,"ĠдевÑıноÑģÑĤо":140058,"ĠдегÑĢадаÑĨи":140059,"ĠдейÑģÑĤвÑĥÑİÑī":140060,"ĠдекоÑĢаÑĨии":140061,"ĠделикаÑĤно":140062,"Ġденежного":140063,"ĠдепоÑĢÑĤаÑĨи":140064,"ĠдепÑĢеÑģÑģиÑı":140065,"ĠдинамиÑĩно":140066,"ĠдиÑģкÑĢимин":140067,"ĠдиÑģкÑĥÑģÑģий":140068,"ĠдиÑģлокаÑĨи":140069,"ĠдиÑģÑģиденÑĤ":140070,"ĠдобавлÑıем":140071,"ĠдобивалÑģÑı":140072,"ĠдобÑĢодÑĥÑĪн":140073,"ĠдогадалÑģÑı":140074,"ĠдождаÑĤÑĮÑģÑı":140075,"ĠдожидаÑıÑģÑĮ":140076,"ĠдолговеÑĩн":140077,"ĠдополнÑıеÑĤ":140078,"ĠдоÑģÑĤалаÑģÑĮ":140079,"ĠдоÑģÑĤалоÑģÑĮ":140080,"ĠдоÑģÑĤигнÑĥв":140081,"ĠдÑĢÑĥжелÑİбн":140082,"ĠдÑĢÑĥжеÑģкие":140083,"ĠдÑĥблиÑĢова":140084,"ĠдÑĮÑıволÑĮÑģк":140085,"ĠевÑĢейÑģкие":140086,"ĠевÑĢейÑģким":140087,"ĠевÑĢопейÑĨа":140088,"ĠевÑĢопейÑĨÑĭ":140089,"ĠжаловалÑģÑı":140090,"ĠжалованÑĮе":140091,"ĠженÑģÑĤвенн":140092,"ĠжизненнÑĭм":140093,"ĠзаблÑĥжден":140094,"ĠзабоÑĤиÑĤÑģÑı":140095,"Ġзаведовал":140096,"ĠзавеÑīание":140097,"ĠзавоевÑĭва":140098,"Ġзаголовка":140099,"Ġзаголовок":140100,"ĠзадÑĥмалÑģÑı":140101,"ĠзадÑĥмÑĩиво":140102,"ĠзаклÑİÑĩаÑĤÑĮ":140103,"ĠзакÑĢÑĭваÑİÑĤ":140104,"ĠзамеÑĩаний":140105,"ĠзанимаÑİÑģÑĮ":140106,"ĠзанимаÑıÑģÑĮ":140107,"ĠзаÑģÑĤенÑĩив":140108,"ĠзаÑıвлениÑİ":140109,"ĠидеалÑĮнÑĭй":140110,"ĠидеалÑĮнÑĭм":140111,"ĠизвинениÑı":140112,"ĠизгоÑĤовил":140113,"ĠизÑĭÑģканиÑı":140114,"ĠименÑĥеÑĤÑģÑı":140115,"ĠиммигÑĢаÑĨи":140116,"ĠимпеÑĢаÑĤив":140117,"ĠиндийÑģкиÑħ":140118,"ĠинквизиÑĨи":140119,"ĠинÑģпекÑĨии":140120,"ĠиÑĢландÑģко":140121,"ĠиÑģкажениÑı":140122,"ĠиÑģкÑĢивлен":140123,"ĠиÑģпанÑģким":140124,"ĠиÑģпанÑģком":140125,"ĠиÑģполкома":140126,"ĠиÑģполнÑıем":140127,"ĠиÑģполнÑıÑİÑĤ":140128,"ĠиÑģпоÑĢÑĤиÑĤÑĮ":140129,"ĠиÑģпÑĥгалÑģÑı":140130,"ĠиÑģпÑĭÑĤÑĭваÑİ":140131,"ĠиÑģÑģледÑĥеÑĤ":140132,"ĠиÑģÑĤеÑĩениÑı":140133,"ĠиÑģÑĩезнÑĥвÑĪ":140134,"ĠиÑģÑĩезнÑĥÑĤÑĮ":140135,"ĠиÑĤалÑĮÑıнÑĨÑĭ":140136,"ĠказаÑĩÑĮего":140137,"ĠкаÑĢаÑĤелÑĮн":140138,"ĠкаÑĢÑĤогÑĢаÑĦ":140139,"ĠкаÑĤаклизм":140140,"ĠкаÑĤегоÑĢиÑĩ":140141,"ĠкаÑĤоликов":140142,"ĠкиевÑģкого":140143,"ĠкиÑĤайÑģкаÑı":140144,"ĠкиÑĤайÑģком":140145,"ĠколÑħозник":140146,"ĠкомиÑģÑģией":140147,"ĠкомпанÑĮон":140148,"ĠконвенÑĨии":140149,"ĠконÑĤÑĢÑĥдаÑĢ":140150,"ĠконÑĨепÑĨий":140151,"ĠконÑĩилаÑģÑĮ":140152,"ĠконÑĩилоÑģÑĮ":140153,"ĠкоÑĢмлениÑı":140154,"ĠкоÑĢÑĢекÑĨии":140155,"ĠкоÑģмодÑĢом":140156,"ĠкÑĢаÑĤÑĩайÑĪи":140157,"ĠкÑĢепоÑģÑĤей":140158,"ĠкÑĥÑģоÑĩками":140159,"ĠлиÑħоÑĢадка":140160,"ĠлиÑħоÑĢадки":140161,"ĠлокалÑĮнÑĭÑħ":140162,"ĠлÑİÑĦÑĤваÑĦÑĦе":140163,"ĠмагиÑģÑĤÑĢаÑĤ":140164,"ĠмалÑĮÑĩиÑĪка":140165,"ĠманевÑĢенн":140166,"ĠмаÑĢкиÑĢовк":140167,"ĠмаÑĤеÑĢиков":140168,"ĠмгновениÑı":140169,"ĠмеланÑħоли":140170,"ĠмигÑĢанÑĤов":140171,"ĠмиллимеÑĤÑĢ":140172,"ĠмиллионеÑĢ":140173,"ĠмиÑĤÑĢополи":140174,"ĠмладенÑĨев":140175,"ĠмобилÑĮной":140176,"ĠмобилÑĮнÑĭе":140177,"ĠмобилÑĮнÑĭй":140178,"ĠмонаÑģÑĤÑĭÑĢи":140179,"ĠмоÑīноÑģÑĤей":140180,"ĠнаблÑİдаеÑĤ":140181,"ĠнагÑĢÑĥзкой":140182,"Ġнадлежало":140183,"ĠнадÑģÑĤÑĢойк":140184,"ĠназнаÑĩаÑĤÑĮ":140185,"ĠнаилÑĥÑĩÑĪим":140186,"Ġнаказаний":140187,"ĠналоговÑĭÑħ":140188,"ĠнамеÑĢений":140189,"Ġнападений":140190,"ĠнападениÑİ":140191,"ĠнапиÑģании":140192,"ĠнаÑģекомÑĭе":140193,"ĠнаÑģÑĤоÑıниÑİ":140194,"ĠнаÑĤкнÑĥлÑģÑı":140195,"ĠнаÑħодимÑģÑı":140196,"ĠнаÑĩалÑĮнаÑı":140197,"ĠнаÑĩалÑĮном":140198,"ĠнаÑĩинаеÑĪÑĮ":140199,"ĠнеадекваÑĤ":140200,"Ġнедоволен":140201,"ĠнедоÑģÑĤаÑİÑī":140202,"ĠнедоÑĥмева":140203,"ĠнезаÑĥÑĢÑıдн":140204,"ĠнезнакомÑĨ":140205,"ĠненавидиÑĤ":140206,"ĠнеобÑĭÑĩнÑĭм":140207,"Ġнепобедим":140208,"ĠнепоÑģÑĤоÑıн":140209,"ĠнепÑĢиÑıзнÑĮ":140210,"ĠнепÑĢодолж":140211,"ĠнеÑģколÑĮкÑĥ":140212,"ĠнеÑģÑĩаÑģÑĤÑĮÑİ":140213,"ĠнеÑĥÑģÑĤанно":140214,"ĠноминаÑĨиÑı":140215,"ĠноÑģиÑĤелем":140216,"ĠноÑģÑĤалÑĮги":140217,"ĠобеÑĢнÑĥлÑģÑı":140218,"ĠобеÑģпеÑĩиÑĤ":140219,"ĠобиÑĤаÑĤели":140220,"ĠобиÑĤаÑĤелÑı":140221,"ĠоблегÑĩаеÑĤ":140222,"ĠоблигаÑĨий":140223,"ĠобнаÑĢÑĥжиÑĤ":140224,"ĠобобÑīениÑı":140225,"ĠобознаÑĩил":140226,"ĠобозÑĢение":140227,"ĠобойдеÑĤÑģÑı":140228,"ĠобÑĢеÑĤениÑı":140229,"ĠобÑģÑĥждаем":140230,"ĠобÑħодиÑĤÑģÑı":140231,"ĠобÑīежиÑĤиÑı":140232,"ĠобÑĬединÑıл":140233,"Ġовладение":140234,"ĠодиноÑĩном":140235,"ĠоднознаÑĩн":140236,"ĠокÑĢеÑģÑĤнÑĭÑħ":140237,"ĠопаÑģаÑĤÑĮÑģÑı":140238,"ĠопеÑĢаÑĨией":140239,"ĠопиÑĢаÑĤÑĮÑģÑı":140240,"ĠополÑĩениÑı":140241,"ĠоппозиÑĨиÑİ":140242,"ĠопÑĢеделив":140243,"ĠопÑĢеделиÑĤ":140244,"ĠопÑĥÑģÑĤоÑĪен":140245,"ĠопÑĮÑıнениÑı":140246,"ĠоÑĢÑĦогÑĢаÑĦи":140247,"ĠоÑģобеннÑĭм":140248,"ĠоÑģознавал":140249,"ĠоÑģознаниÑı":140250,"ĠоÑģÑĤановиÑĤ":140251,"ĠоÑģÑĤановке":140252,"ĠоÑģÑĤаÑĤками":140253,"ĠоÑĤбÑĢоÑģиÑĤÑĮ":140254,"ĠоÑĤвеÑĢÑģÑĤий":140255,"ĠоÑĤдаленно":140256,"ĠоÑĤеÑĩеÑģÑĤва":140257,"ĠоÑĤкладÑĭва":140258,"ĠоÑĤкÑĢÑĭваÑİÑĤ":140259,"ĠоÑĤозвалÑģÑı":140260,"ĠоÑĤÑĢиÑĨаниÑı":140261,"ĠоÑĤÑģÑĤаивал":140262,"ĠоÑħаÑĢакÑĤеÑĢ":140263,"ĠоÑħоÑĤниÑĩÑĮе":140264,"ĠоÑħоÑĤниÑĩÑĮи":140265,"ĠоÑĩеÑĢеднаÑı":140266,"ĠоÑĩеÑĢедное":140267,"ĠоÑĩеÑĢедном":140268,"ĠоÑīÑĥÑīаеÑĤÑģÑı":140269,"ĠпеÑĢвиÑĩнÑĭÑħ":140270,"ĠпеÑĢеводил":140271,"ĠпеÑĢедвижн":140272,"ĠпеÑĢеднего":140273,"ĠпеÑĢееÑħаÑĤÑĮ":140274,"ĠпеÑĢеиздан":140275,"ĠпеÑĢеклÑİÑĩи":140276,"ĠпеÑĢекÑĢÑĭва":140277,"ĠпеÑĢекÑĢÑijÑģÑĤ":140278,"ĠпеÑĢемиÑĢие":140279,"ĠпеÑĢемиÑĢиÑı":140280,"ĠпеÑĢенеÑģли":140281,"ĠпеÑĢеноÑģÑıÑĤ":140282,"ĠпеÑĢепиÑģка":140283,"ĠпеÑĢепиÑģке":140284,"ĠпеÑĢепиÑģки":140285,"ĠпеÑĢепиÑģкÑĥ":140286,"ĠпеÑĢеÑģÑĤаÑĤÑĮ":140287,"ĠпеÑĢеÑģÑĤаÑİÑĤ":140288,"ĠпеÑģÑģимиÑģÑĤ":140289,"ĠпланиÑĢовк":140290,"ĠпобеÑĢежÑĮÑİ":140291,"ĠповÑĢедиÑĤÑĮ":140292,"ĠповÑĤоÑĢÑıÑİÑĤ":140293,"ĠповÑĭÑĪении":140294,"ĠпогибнÑĥÑĤÑĮ":140295,"ĠподбоÑĢодк":140296,"ĠподелилÑģÑı":140297,"ĠподземнÑĭе":140298,"ĠподкÑĢеплÑı":140299,"Ġподлинник":140300,"ĠподлиннÑĭе":140301,"ĠподлиннÑĭй":140302,"ĠподлиннÑĭм":140303,"ĠподогÑĢева":140304,"ĠподÑĢажаÑĤÑĮ":140305,"ĠподÑĢобнÑĭе":140306,"ĠподÑĢобнÑĭй":140307,"ĠподÑĢоÑģÑĤки":140308,"ĠподÑĢоÑģÑĤок":140309,"ĠподÑģиÑģÑĤем":140310,"ĠподÑģÑĤÑĥпаÑħ":140311,"ĠподÑħваÑĤил":140312,"ĠпоздÑĢавил":140313,"ĠпоздÑĢавлÑı":140314,"ĠпоинÑĤеÑĢеÑģ":140315,"ĠпоколениÑİ":140316,"ĠпокÑĢÑĭваÑİÑĤ":140317,"ĠпокÑĥÑĪение":140318,"ĠполоÑĤенÑĨе":140319,"ĠполÑĥÑĪаÑĢии":140320,"Ġпомилован":140321,"Ġпонижение":140322,"Ġпопадание":140323,"ĠпопÑĢобÑĥем":140324,"ĠпопÑĥлÑıÑĢен":140325,"ĠпоÑĢабоÑīен":140326,"ĠпоÑģÑĤаменÑĤ":140327,"ĠпоÑģÑĤолÑĮкÑĥ":140328,"ĠпоÑģÑĤÑĢойке":140329,"ĠпоÑĨеловал":140330,"ĠпÑĢавиÑĤели":140331,"ĠпÑĢебÑĭваеÑĤ":140332,"ĠпÑĢедвидел":140333,"ĠпÑĢедложив":140334,"ĠпÑĢедпоÑĩел":140335,"ĠпÑĢедÑĬÑıвил":140336,"ĠпÑĢекÑĢаÑīал":140337,"ĠпÑĢеподнеÑģ":140338,"ĠпÑĢеÑĤендÑĥÑİ":140339,"ĠпÑĢеÑĤеÑĢпел":140340,"ĠпÑĢеÑĨеденÑĤ":140341,"ĠпÑĢибавиÑĤÑĮ":140342,"ĠпÑĢивлекла":140343,"ĠпÑĢивÑĭÑĩнÑĭм":140344,"ĠпÑĢиемлемо":140345,"ĠпÑĢиземлен":140346,"ĠпÑĢикоÑģнов":140347,"ĠпÑĢикÑĢеплÑı":140348,"ĠпÑĢименÑıли":140349,"ĠпÑĢимÑĭкаеÑĤ":140350,"ĠпÑĢимÑĭкаÑİÑī":140351,"ĠпÑĢинÑĨеÑģÑģÑĭ":140352,"ĠпÑĢиÑģÑıжнÑĭÑħ":140353,"ĠпÑĢобиÑĤÑĮÑģÑı":140354,"ĠпÑĢовеÑĢÑıем":140355,"ĠпÑĢовеÑĢÑıÑİÑĤ":140356,"ĠпÑĢоволоки":140357,"ĠпÑĢоделÑĭва":140358,"ĠпÑĢодолÑĮно":140359,"ĠпÑĢоживавÑĪ":140360,"ĠпÑĢомÑĭÑģлов":140361,"ĠпÑĢоникаÑĤÑĮ":140362,"ĠпÑĢоникаÑİÑĤ":140363,"ĠпÑĢоповедÑĥ":140364,"ĠпÑĢоповедÑĮ":140365,"ĠпÑĢоÑĢабоÑĤк":140366,"ĠпÑĢоÑģлавлÑı":140367,"ĠпÑĢоÑĤоиеÑĢе":140368,"ĠпÑĢоÑĦеÑģÑģиÑİ":140369,"ĠпÑĢоÑħладно":140370,"ĠпÑĢоÑĩÑĤениÑı":140371,"ĠпÑĥбликÑĥеÑĤ":140372,"ĠпÑĥблиÑĩнÑĭе":140373,"ĠпÑĮедеÑģÑĤал":140374,"ĠÑĢазделÑĮно":140375,"ĠÑĢаздÑĢажал":140376,"ĠÑĢазмаÑħива":140377,"ĠÑĢазмеÑīаÑĤÑĮ":140378,"ĠÑĢазмÑĭÑĪлÑıл":140379,"ĠÑĢазоблаÑĩа":140380,"ĠÑĢазоÑĢваÑĤÑĮ":140381,"ĠÑĢаÑģкаÑĩива":140382,"ĠÑĢаÑģкÑĢÑĭÑĤиÑı":140383,"ĠÑĢаÑģпоÑĢÑıжа":140384,"ĠÑĢаÑģÑģкажем":140385,"ĠÑĢаÑģÑģкажеÑĤ":140386,"ĠÑĢаÑģÑģлаблÑı":140387,"ĠÑĢаÑģÑģÑĤÑĢоен":140388,"ĠÑĢаÑģÑģÑĥждал":140389,"ĠÑĢаÑģÑĤвоÑĢим":140390,"ĠÑĢаÑģÑĩленен":140391,"ĠÑĢаÑģÑĪиÑĢÑıÑĤÑĮ":140392,"ĠÑĢеагиÑĢÑĥÑİÑĤ":140393,"ĠÑĢеализÑĥем":140394,"ĠÑĢеализÑĥеÑĤ":140395,"ĠÑĢеализÑĥÑİÑĤ":140396,"ĠÑĢеволÑİÑĨий":140397,"ĠÑĢезеÑĢвÑĥаÑĢ":140398,"ĠÑĢезолÑİÑĨиÑİ":140399,"ĠÑĢепеÑĤиÑĨии":140400,"ĠÑĢепÑĢеÑģÑģии":140401,"ĠÑĢепÑĥÑĤаÑĨии":140402,"ĠÑĢепÑĥÑĤаÑĨиÑı":140403,"ĠÑĢеÑĨензенÑĤ":140404,"ĠÑĢеÑĪимоÑģÑĤи":140405,"ĠÑĢеÑĪимоÑģÑĤÑĮ":140406,"ĠÑĢиÑģковаÑĤÑĮ":140407,"ĠÑĢиÑĤÑĥалÑĮно":140408,"ĠÑĢоÑģÑģиÑıнин":140409,"ĠÑĢÑĥководим":140410,"ĠÑģамобÑĭÑĤно":140411,"ĠÑģамоделÑĮн":140412,"ĠÑģамооÑĨенк":140413,"ĠÑģближение":140414,"ĠÑģближениÑı":140415,"ĠÑģвеÑĢжениÑı":140416,"ĠÑģвидеÑĤели":140417,"ĠÑģвободнаÑı":140418,"ĠÑģвободнÑĥÑİ":140419,"ĠÑģвÑıзаÑĤÑĮÑģÑı":140420,"ĠÑģвÑıÑīеннÑĭе":140421,"ĠÑģвÑıÑīеннÑĭй":140422,"ĠÑģвÑıÑīеннÑĭм":140423,"ĠÑģвÑıÑīеннÑĭÑħ":140424,"ĠÑģеÑĢÑĮезнÑĥÑİ":140425,"ĠÑģеÑĢÑĮÑijзнÑĭе":140426,"ĠÑģиммеÑĤÑĢии":140427,"ĠÑģкопление":140428,"ĠÑģкоÑĢоÑģÑĤей":140429,"ĠÑģливоÑĩное":140430,"ĠÑģлÑĥжебной":140431,"ĠÑģлÑĥÑĩаÑİÑĤÑģÑı":140432,"ĠÑģлÑĥÑĩилаÑģÑĮ":140433,"ĠÑģмеÑĪанной":140434,"ĠÑģмеÑĪаннÑĭе":140435,"ĠÑģмеÑĪаннÑĭÑħ":140436,"ĠÑģмеÑĪиваÑİÑĤ":140437,"ĠÑģмиÑĢиÑĤÑĮÑģÑı":140438,"ĠÑģнизилаÑģÑĮ":140439,"ĠÑģобÑĢалаÑģÑĮ":140440,"ĠÑģовеÑĢÑĪаем":140441,"ĠÑģоединÑıÑİÑī":140442,"ĠÑģожаление":140443,"ĠÑģозвездии":140444,"ĠÑģоздаÑĤели":140445,"ĠÑģоиÑģкание":140446,"ĠÑģолнеÑĩнÑĭе":140447,"ĠÑģообÑīениÑİ":140448,"ĠÑģопеÑĢниÑĩа":140449,"ĠÑģопоÑģÑĤави":140450,"ĠÑģоÑģеднего":140451,"ĠÑģоÑģÑĤоÑıÑīее":140452,"ĠÑģоÑģÑĤоÑıÑīие":140453,"ĠÑģоÑĤÑĢÑĥдниÑĨ":140454,"ĠÑģоÑĩинении":140455,"ĠÑģоÑĩÑĥвÑģÑĤвÑĥ":140456,"ĠÑģпаÑģиÑĤелÑĮ":140457,"ĠÑģпеÑĨиÑĦикÑĥ":140458,"ĠÑģпÑĢавилÑģÑı":140459,"ĠÑģпÑĥÑģÑĤилÑģÑı":140460,"ĠÑģÑĢавнивал":140461,"ĠÑģÑģÑĭлаеÑĤÑģÑı":140462,"ĠÑģÑĤажиÑĢовк":140463,"ĠÑģÑĤановÑıÑģÑĮ":140464,"ĠÑģÑĤаÑĢалаÑģÑĮ":140465,"ĠÑģÑĤаÑĢейÑĪин":140466,"ĠÑģÑĤаÑĢейÑĪиÑħ":140467,"ĠÑģÑĤаÑĢиннÑĭе":140468,"ĠÑģÑĤаÑĢиннÑĭÑħ":140469,"ĠÑģÑĤаÑĢÑĤовом":140470,"ĠÑģÑĤаÑĤиÑĩеÑģк":140471,"ĠÑģÑĤеклÑıнно":140472,"ĠÑģÑĤÑĢаÑĤегий":140473,"ĠÑģÑĨенаÑĢиев":140474,"ĠÑģÑĩиÑĤаннÑĭе":140475,"ĠÑĤанÑĨеваÑĤÑĮ":140476,"ĠÑĤанÑĨовÑīиÑĨ":140477,"ĠÑĤаÑĤÑĥиÑĢовк":140478,"ĠÑĤенниÑģиÑģÑĤ":140479,"ĠÑĤогдаÑĪней":140480,"ĠÑĤоÑĢговаÑĤÑĮ":140481,"ĠÑĤоÑĢговÑĨев":140482,"ĠÑĤоÑĢопливо":140483,"ĠÑĤÑĢадиÑĨией":140484,"ĠÑĤÑĢадиÑĨиÑıÑħ":140485,"ĠÑĤÑĢебÑĥÑİÑīиÑħ":140486,"ĠÑĤÑĢивиалÑĮн":140487,"ĠÑĤÑıгоÑĤениÑı":140488,"ĠÑĥбедилиÑģÑĮ":140489,"ĠÑĥвеÑĢеннÑĭм":140490,"ĠÑĥвлекалÑģÑı":140491,"ĠÑĥвлеÑĩениÑı":140492,"ĠÑĥголовнÑĭм":140493,"ĠÑĥделÑıеÑĤÑģÑı":140494,"ĠÑĥдеÑĢжаниÑı":140495,"ĠÑĥдобÑĢений":140496,"ĠÑĥказанном":140497,"ĠÑĥкомплекÑĤ":140498,"ĠÑĥкÑĢаÑĪение":140499,"ĠÑĥкÑĢеплÑijнн":140500,"ĠÑĥлÑĭбаеÑĤÑģÑı":140501,"ĠÑĥменÑĮÑĪаеÑĤ":140502,"ĠÑĥниÑĩÑĤожал":140503,"ĠÑĥниÑĩÑĤожив":140504,"ĠÑĥпоÑĢÑıдоÑĩи":140505,"ĠÑĥпÑĢавлÑıÑİÑĤ":140506,"ĠÑĥпÑĢоÑģÑĤиÑĤÑĮ":140507,"ĠÑĥÑģÑĤÑĢоилÑģÑı":140508,"ĠÑĥÑģÑĭновлен":140509,"ĠÑĥÑĤвеÑĢждаÑİ":140510,"ĠÑĦаÑĢмаÑĨевÑĤ":140511,"ĠÑĦедеÑĢаÑĨиÑı":140512,"ĠÑĦизиономи":140513,"ĠÑĦиналÑĮной":140514,"ĠÑĦиналÑĮном":140515,"ĠÑĦоÑĢмиÑĢÑĥÑİÑĤ":140516,"ĠÑĨеÑĢковнÑĭе":140517,"ĠÑĨеÑĢковнÑĭй":140518,"ĠÑĨеÑĢковнÑĭм":140519,"ĠÑĩеÑĢнокожи":140520,"ĠÑĩеÑģÑĤноÑģÑĤÑĮ":140521,"ĠÑĩеÑĤвеÑĢÑĤаÑı":140522,"ĠÑĩеÑĤвÑijÑĢÑĤÑĭй":140523,"ĠÑĪаÑħмаÑĤиÑģÑĤ":140524,"ĠÑĪведÑģкого":140525,"ĠÑįкономиÑĩн":140526,"ĠÑįкÑģкÑĥÑĢÑģии":140527,"ĠÑįкÑģÑĤÑĢенно":140528,"ĠÑįлеганÑĤно":140529,"ĠÑįлекÑĤÑĢиÑĩк":140530,"ĠÑįлекÑĤÑĢонÑĭ":140531,"ĠÑįÑĢиÑĤÑĢоÑĨиÑĤ":140532,"ÐķÑģÑĤеÑģÑĤвенн":140533,"ÐĹдÑĢавÑģÑĤвÑĥй":140534,"ÐĺмпеÑĢаÑĤÑĢиÑĨ":140535,"ÐľÐ¾ÑģковÑģкий":140536,"ÐŁÑĢедполага":140537,"бÑīевойÑģков":140538,"взаимооÑĤно":140539,"геÑĢманÑģком":140540,"дивеÑĢÑģионн":140541,"доÑģÑĤаÑĤоÑĩно":140542,"елезобеÑĤон":140543,"еÑĤÑħозавеÑĤн":140544,"замÑĭÑģловаÑĤ":140545,"инÑģÑĤÑĢÑĥменÑĤ":140546,"иÑĦиÑĨиÑĢовал":140547,"казÑĭваеÑĤÑģÑı":140548,"коÑĢиÑĩневÑĭе":140549,"коÑĢиÑĩневÑĭй":140550,"коÑģмополиÑĤ":140551,"менÑĤиÑĢовал":140552,"меÑĤеоÑĢолог":140553,"молниеноÑģн":140554,"неÑģанкÑĨион":140555,"нÑģÑĤÑĢÑĥкÑĨией":140556,"обоÑĢÑĥдован":140557,"обÑĢазÑĨовое":140558,"овлеÑĤвоÑĢен":140559,"одиннадÑĨаÑĤ":140560,"оположного":140561,"опоÑģÑĤавиÑĤÑĮ":140562,"оппозиÑĨион":140563,"оÑĢганизмов":140564,"оÑģноваÑĤелÑĮ":140565,"оÑĤвеÑĢженно":140566,"пиÑģÑĭвалиÑģÑĮ":140567,"полномоÑĩен":140568,"пÑĢавивÑĪиÑģÑĮ":140569,"пÑĢедполага":140570,"ÑĢоводников":140571,"ÑģенÑģаÑĨионн":140572,"ÑģмаÑĤÑĢиваÑİÑĤ":140573,"ÑģовмеÑģÑĤимÑĭ":140574,"ÑģоÑģÑĢедоÑĤоÑĩ":140575,"ÑģоÑģÑĥдиÑģÑĤой":140576,"ÑģÑĤÑĥпаÑİÑīего":140577,"ÑĤÑĢанÑģмиÑģÑģи":140578,"ÑĤÑĥбеÑĢкÑĥлÑijз":140579,"ÑĥÑĢкеÑģÑĤанÑģк":140580,"ÑĥÑīеÑģÑĤвовал":140581,"ÑĩÑĥвÑģÑĤвовал":140582,"ÑįмпиÑĢиÑĩеÑģк":140583,"Ġdiscontinu":140584,"ĠÐIJбÑģолÑİÑĤнаÑı":140585,"ĠÐIJвÑĤомобилÑĮ":140586,"ĠÐIJмеÑĢиканÑĨÑĭ":140587,"ĠÐIJнглийÑģкий":140588,"ĠÐijалÑĤийÑģком":140589,"ĠÐijогомаÑĤеÑĢи":140590,"ĠÐĴÑĢеменного":140591,"ĠÐĴÑĭÑıÑģнилоÑģÑĮ":140592,"ĠÐĶалÑĮнейÑĪее":140593,"ĠÐķвгенÑĮевиÑĩ":140594,"ĠÐĸÑĥковÑģкого":140595,"ĠÐĹакавказÑĮе":140596,"ĠÐĺнÑģÑĤÑĢÑĥменÑĤ":140597,"ĠÐĺÑģклÑİÑĩение":140598,"ĠÐļомпозиÑĤоÑĢ":140599,"ĠÐľÐ°Ð´Ð°Ð³Ð°ÑģкаÑĢ":140600,"ĠÐľÐ°ÐºÑģимовиÑĩ":140601,"ĠÐľÐµÐ¹ÐµÑĢÑħолÑĮд":140602,"ĠÐľÐµÑĢежковÑģк":140603,"ĠÐĿаиболÑĮÑĪее":140604,"ĠÐĿаÑĩинаеÑĤÑģÑı":140605,"ĠÐĿеизвеÑģÑĤно":140606,"ĠÐŀÑģноваÑĤелÑĮ":140607,"ĠÐŁÐ¾Ð´Ð´ÐµÑĢжива":140608,"ĠÐŁÐ¾ÑģполиÑĤой":140609,"ĠÐŁÑĢоиÑģÑħодиÑĤ":140610,"ĠÐłÐµÐ°Ð»Ð¸Ð·Ð°ÑĨиÑı":140611,"ĠСвÑıÑīенного":140612,"ĠСоглаÑĪение":140613,"ĠСÑĤÑĢемление":140614,"ĠТамбовÑģкой":140615,"ĠТвоÑĢÑĩеÑģÑĤво":140616,"ĠТеÑħнологиÑı":140617,"ĠТимоÑĦеевиÑĩ":140618,"ĠТÑĢебованиÑı":140619,"ĠУÑģÑĤÑĢойÑģÑĤво":140620,"ĠЧеÑĢногоÑĢии":140621,"ĠШопенгаÑĥÑįÑĢ":140622,"ĠШоÑģÑĤаковиÑĩ":140623,"ĠаванÑĤÑİÑĢиÑģÑĤ":140624,"ĠавÑĤономной":140625,"ĠавÑĤономнÑĭÑħ":140626,"ĠакÑĤивиÑģÑĤов":140627,"ĠакÑĤÑĥалÑĮнÑĭм":140628,"Ġалкоголизм":140629,"ĠамеÑĢиканеÑĨ":140630,"ĠанализаÑĤоÑĢ":140631,"ĠаналогиÑĩна":140632,"ĠанглийÑģкое":140633,"ĠанглоÑıзÑĭÑĩн":140634,"ĠанимаÑĨионн":140635,"ĠанÑĤагониÑģÑĤ":140636,"ĠанÑĤиÑĩноÑģÑĤи":140637,"ĠаÑĢеÑģÑĤоваÑĤÑĮ":140638,"ĠаÑĢÑĤиллеÑĢиÑİ":140639,"ĠаÑĥдиÑĤоÑĢией":140640,"ĠбазиÑĢÑĥеÑĤÑģÑı":140641,"ĠбанковÑģкой":140642,"ĠбеÑģплаÑĤнÑĭй":140643,"ĠбеÑģпомоÑīнÑĭ":140644,"ĠбеÑģпоÑĢÑıдка":140645,"ĠбеÑģпоÑĢÑıдки":140646,"ĠбеÑģпоÑīадно":140647,"ĠбеÑģÑĤÑģеллеÑĢ":140648,"ĠблагодаÑĢиÑĤ":140649,"ĠблагодаÑĢнÑĭ":140650,"ĠбÑĢиÑĤанÑģкаÑı":140651,"ĠбÑĢиÑĤанÑģком":140652,"ĠбÑĢонепоезд":140653,"ĠбÑĥÑĢжÑĥазнÑĭÑħ":140654,"ĠвелиÑĩайÑĪим":140655,"ĠвелиÑĩеÑģÑĤва":140656,"ĠвенÑĤилÑıÑĤоÑĢ":140657,"ĠвеÑĢÑħовного":140658,"ĠвидеозапиÑģ":140659,"ĠвидеокамеÑĢ":140660,"ĠвклÑİÑĩаÑİÑīий":140661,"ĠводоÑģбоÑĢно":140662,"ĠвозвÑĢаÑīаем":140663,"ĠвозглавиÑĤÑĮ":140664,"ĠвоздвигнÑĥÑĤ":140665,"ĠвоздеÑĢжива":140666,"ĠвозмеÑīениÑı":140667,"ĠвозмÑĥÑīениÑı":140668,"ĠвозÑĢажений":140669,"ĠвообÑĢазиÑĤÑĮ":140670,"ĠвоÑģпалениÑı":140671,"ĠвоÑģпиÑĤаниÑİ":140672,"ĠвоÑģпÑĢиÑıÑĤии":140673,"ĠвоÑģпÑĢиÑıÑĤиÑİ":140674,"ĠвоÑģÑģÑĤавÑĪиÑħ":140675,"ĠвоÑģÑĤоковед":140676,"ĠвÑģевозможн":140677,"ĠвÑģпоминаÑİÑĤ":140678,"ĠвÑģÑĤÑĥплении":140679,"ĠвÑĭдаÑİÑīимÑģÑı":140680,"ĠвÑĭигÑĢÑĭваеÑĤ":140681,"ĠвÑĭÑĢабоÑĤаÑĤÑĮ":140682,"ĠгенеÑĢиÑĢÑĥеÑĤ":140683,"ĠгеÑĢманÑģкий":140684,"ĠгиганÑĤÑģкие":140685,"ĠгиганÑĤÑģкиÑħ":140686,"ĠгиÑĤлеÑĢовÑĨÑĭ":140687,"ĠглобалÑĮнÑĭÑħ":140688,"ĠголливÑĥдÑģк":140689,"ĠгоÑģбезопаÑģ":140690,"ĠгÑĢавиÑĤаÑĨии":140691,"ĠгÑĢаммаÑĤики":140692,"ĠгÑĢанаÑĤомеÑĤ":140693,"ĠгÑĢÑĥппового":140694,"ĠдалÑĮнейÑĪÑĥÑİ":140695,"ĠдаÑĤиÑĢÑĥеÑĤÑģÑı":140696,"ĠдвоÑĢÑıнÑģÑĤво":140697,"ĠдвÑĥÑħÑįÑĤажнÑĭ":140698,"ĠдинозавÑĢов":140699,"ĠдипломаÑĤии":140700,"ĠдиÑģкомÑĦоÑĢÑĤ":140701,"ĠдлиÑĤелÑĮнÑĭе":140702,"ĠдлиÑĤелÑĮнÑĭÑħ":140703,"Ġдолгожданн":140704,"ĠдоÑģÑĤижениÑİ":140705,"ĠдÑĢеÑģÑģиÑĢовк":140706,"ĠевангелÑĮÑģк":140707,"ĠегипеÑĤÑģкиÑħ":140708,"ĠегипеÑĤÑģкой":140709,"ĠединодÑĥÑĪно":140710,"ĠжаловаÑĤÑĮÑģÑı":140711,"ĠживоÑĤновод":140712,"Ġзавоевание":140713,"ĠзаканÑĩивал":140714,"ĠзаклÑİÑĩалÑģÑı":140715,"ĠзанимавÑĪий":140716,"ĠзапеÑĩаÑĤлен":140717,"ĠзаÑĢÑĥбежнÑĭе":140718,"ĠзаÑģÑĤÑĢойÑīик":140719,"ĠзаÑĪиÑĦÑĢован":140720,"ĠзнакомиÑĤÑģÑı":140721,"ĠзнаÑĩиÑĤелÑĮн":140722,"ĠидеалÑĮного":140723,"ĠизвлеÑĩениÑı":140724,"ĠизгоÑĤовиÑĤÑĮ":140725,"ĠизменÑıÑİÑĤÑģÑı":140726,"ĠизмеÑĢиÑĤелÑĮ":140727,"ĠизобÑĢажаÑĤÑĮ":140728,"ĠизобÑĢажаÑİÑĤ":140729,"ĠинÑģÑĤÑĢÑĥкÑĨий":140730,"ĠинÑĤегÑĢаÑĨиÑı":140731,"ĠиÑĢониÑĩеÑģки":140732,"ĠиÑĤалÑĮÑıнÑĨев":140733,"ĠкаÑģаÑĤелÑĮно":140734,"ĠкаÑģаÑİÑīиÑħÑģÑı":140735,"ĠкаÑĤегоÑĢиÑıм":140736,"ĠкаÑĤолиÑĨизм":140737,"ĠкибеÑĢнеÑĤик":140738,"ĠкинеÑĤиÑĩеÑģк":140739,"ĠкиноÑģÑĤÑĥдии":140740,"ĠклавиаÑĤÑĥÑĢÑĭ":140741,"ĠкомбинаÑĨиÑı":140742,"ĠкоммÑĥÑĤаÑĤоÑĢ":140743,"ĠкомплименÑĤ":140744,"ĠкомпозиÑĨий":140745,"ĠкомпÑĢеÑģÑģоÑĢ":140746,"ĠкондиÑĤеÑĢÑģк":140747,"ĠконкÑĢеÑĤнÑĥÑİ":140748,"ĠконÑģÑĤаÑĤиÑĢÑĥ":140749,"ĠконÑĦиденÑĨи":140750,"ĠконÑĦиÑģкаÑĨи":140751,"ĠконÑĬÑİнкÑĤÑĥÑĢ":140752,"ĠкоÑĢолевÑģÑĤв":140753,"ĠкоÑĢпоÑĢаÑĨий":140754,"ĠкÑĢепоÑģÑĤнÑĭÑħ":140755,"ĠкÑĢÑĥпнейÑĪей":140756,"ĠкÑĢÑĥпнейÑĪие":140757,"ĠкÑĥбомеÑĤÑĢов":140758,"ĠлогиÑĩеÑģкой":140759,"ĠмаловеÑĢоÑıÑĤ":140760,"ĠмаÑģÑĤеÑĢÑģкÑĥÑİ":140761,"ĠмежпланеÑĤн":140762,"ĠмемоÑĢандÑĥм":140763,"ĠменÑĤалиÑĤеÑĤ":140764,"ĠмеÑģÑĤноÑģÑĤÑıÑħ":140765,"ĠмеÑħанизаÑĨи":140766,"ĠмигÑĢаÑĨионн":140767,"ĠмилоÑģеÑĢдиÑı":140768,"ĠмиÑĢозданиÑı":140769,"ĠмиÑĤоÑħондÑĢи":140770,"ĠмобилÑĮного":140771,"ĠмогÑĥÑīеÑģÑĤва":140772,"ĠмолодÑijжной":140773,"ĠмоногÑĢаÑĦии":140774,"ĠмоногÑĢаÑĦий":140775,"ĠмÑıÑĤежников":140776,"ĠнаводнениÑı":140777,"ĠнаиболÑĮÑĪий":140778,"ĠнаконеÑĩник":140779,"Ġнакопление":140780,"Ġналогового":140781,"ĠнапÑĢÑıжÑijнно":140782,"ĠнаÑĢÑĥÑĪаеÑĤÑģÑı":140783,"ĠнаÑģледÑģÑĤве":140784,"ĠнаÑģледÑģÑĤвÑĥ":140785,"ĠнаÑģÑĤÑĢоений":140786,"ĠнаÑĩалÑĮного":140787,"ĠнаÑĩиналаÑģÑĮ":140788,"ĠнаÑĩиналоÑģÑĮ":140789,"ĠнаÑĩинаÑİÑīиÑħ":140790,"Ġневозможен":140791,"Ġневозможна":140792,"ĠневозмÑĥÑĤим":140793,"ĠневÑĭноÑģимо":140794,"ĠнегаÑĤивнÑĭÑħ":140795,"ĠнедоÑģÑĤÑĥпно":140796,"ĠнезаконнÑĭм":140797,"ĠнекоÑĢÑĢекÑĤн":140798,"ĠнеодноÑĢодн":140799,"ĠнеподалÑijкÑĥ":140800,"ĠнепÑĢивÑĭÑĩно":140801,"ĠнепÑĢиемлем":140802,"ĠнепÑĢиÑģÑĤойн":140803,"ĠнепÑĢиÑģÑĤÑĥпн":140804,"ĠнепÑĢиÑıÑĤнÑĭе":140805,"ĠнепÑĢиÑıÑĤнÑĭй":140806,"ĠнепÑĢиÑıÑĤнÑĭм":140807,"ĠнепÑĢиÑıÑĤнÑĭÑħ":140808,"ĠнепÑĢоÑħодим":140809,"ĠнеÑĢазÑĢеÑĪим":140810,"ĠнеÑģпоÑģобнÑĭ":140811,"ĠнеÑģÑĩаÑģÑĤнÑĭй":140812,"ĠнеÑĤеÑĢпелив":140813,"ĠноминалÑĮно":140814,"ĠноÑĢмалÑĮнаÑı":140815,"ĠноÑĢмалÑĮнÑĭе":140816,"ĠобвинÑıемÑĭÑħ":140817,"ĠобладаÑĤелÑı":140818,"ĠобладаÑİÑīие":140819,"ĠобладаÑİÑīий":140820,"ĠобладаÑİÑīиÑħ":140821,"ĠобознаÑĩиÑĤÑĮ":140822,"ĠобоÑģноваÑĤÑĮ":140823,"ĠобÑĢабоÑĤÑĩик":140824,"ĠобÑĢазоваÑĤÑĮ":140825,"ĠобÑĢазÑĥÑİÑīие":140826,"ĠобÑĢазÑĥÑİÑīиÑħ":140827,"ĠобÑģледован":140828,"ĠобÑģÑĤÑĢелива":140829,"ĠоказавÑĪиÑģÑĮ":140830,"ĠокÑĢÑĥжаÑİÑīем":140831,"ĠокÑĢÑĥжаÑİÑīий":140832,"ĠокÑĢÑĥжаÑİÑīÑĥÑİ":140833,"ĠопаÑģноÑģÑĤей":140834,"ĠоплаÑĩиваÑĤÑĮ":140835,"ĠопÑĢавданиÑı":140836,"ĠопÑĢеделено":140837,"ĠопÑĢоÑĪеннÑĭÑħ":140838,"ĠопÑĤиÑĩеÑģкиÑħ":140839,"ĠоÑĢганизÑĥÑİÑĤ":140840,"ĠоÑĢиенÑĤаÑĨиÑı":140841,"ĠоÑģложнений":140842,"ĠоÑģложнениÑı":140843,"ĠоÑģознаваÑĤÑĮ":140844,"ĠоÑģÑĤавÑĪийÑģÑı":140845,"ĠоÑģÑĤавÑĪÑĥÑİÑģÑı":140846,"ĠоÑģÑĤалÑĮного":140847,"ĠоÑģÑĤановоÑĩн":140848,"ĠоÑĤкÑĢовение":140849,"ĠоÑĤкÑĢовениÑı":140850,"ĠоÑĤноÑģилоÑģÑĮ":140851,"ĠоÑĤÑĢазилоÑģÑĮ":140852,"ĠоÑĤÑģÑĤаиваÑĤÑĮ":140853,"ĠоÑĤÑĩеÑĤноÑģÑĤи":140854,"ĠоÑħлаждение":140855,"ĠпаÑĢикмаÑħеÑĢ":140856,"ĠпеÑĢебÑĢоÑĪен":140857,"ĠпеÑĢевеÑĢнÑĥÑĤ":140858,"ĠпеÑĢеводиÑĤÑĮ":140859,"ĠпеÑĢевооÑĢÑĥж":140860,"ĠпеÑĢедаваем":140861,"ĠпеÑĢедаÑĤÑĩик":140862,"ĠпеÑĢемеÑģÑĤил":140863,"ĠпеÑĢеоÑģмÑĭÑģл":140864,"ĠпеÑĢеплеÑĤен":140865,"ĠпеÑĢеÑģÑĤавал":140866,"ĠпеÑĢеÑģÑĤанеÑĤ":140867,"ĠпиÑģÑĮменной":140868,"ĠпиÑģÑĮменнÑĭÑħ":140869,"ĠпобÑĥждениÑı":140870,"ĠповеÑģÑĤвова":140871,"ĠпоглоÑīениÑı":140872,"ĠпогÑĢебалÑĮн":140873,"ĠпогÑĢебениÑı":140874,"ĠпогÑĢÑĥжениÑı":140875,"Ġподавление":140876,"ĠподбаÑģÑģейн":140877,"ĠподкÑĢеплен":140878,"ĠподнималÑģÑı":140879,"ĠподозÑĢениÑİ":140880,"ĠподÑĢажаниÑı":140881,"ĠподÑģолнеÑĩн":140882,"ĠподÑħодÑıÑīий":140883,"ĠподÑħодÑıÑīим":140884,"ĠпожаловаÑĤÑĮ":140885,"Ġпознакомил":140886,"ĠпоказалиÑģÑĮ":140887,"ĠпоклонениÑı":140888,"ĠпокÑĥпаÑĤели":140889,"ĠполагалоÑģÑĮ":140890,"ĠполиÑįÑĤилен":140891,"ĠполководеÑĨ":140892,"ĠполÑĥÑĩеннÑĭм":140893,"ĠполÑĥÑĩивÑĪаÑı":140894,"ĠполÑĥÑĩивÑĪие":140895,"ĠполÑĥÑĩивÑĪиÑħ":140896,"ĠполÑıÑĢизаÑĨи":140897,"ĠпонÑĢавиÑĤÑģÑı":140898,"ĠпооÑĩеÑĢедно":140899,"ĠпопеÑĩиÑĤелÑĮ":140900,"ĠпополнениÑı":140901,"ĠпопÑĭÑĤалаÑģÑĮ":140902,"ĠпоÑģелилиÑģÑĮ":140903,"ĠпоÑģеÑĤиÑĤели":140904,"ĠпоÑģÑĢедÑģÑĤве":140905,"ĠпоÑģÑĤановкÑĥ":140906,"ĠпоÑģÑĤаÑĢалÑģÑı":140907,"ĠпоÑģÑĤаÑĢаÑİÑģÑĮ":140908,"ĠпоÑĤÑĢÑıÑģаÑİÑīе":140909,"ĠпÑĢедвидеÑĤÑĮ":140910,"ĠпÑĢеддвеÑĢии":140911,"ĠпÑĢедоÑħÑĢанÑı":140912,"ĠпÑĢедпоÑģÑĭлк":140913,"ĠпÑĢедÑģказал":140914,"ĠпÑĢедÑģÑĤавиÑĤ":140915,"ĠпÑĢедÑĬÑıвиÑĤÑĮ":140916,"ĠпÑĢекÑĢаÑģнÑĥÑİ":140917,"ĠпÑĢекÑĢаÑīено":140918,"ĠпÑĢеобÑĢажен":140919,"ĠпÑĢеÑģеÑĩениÑı":140920,"ĠпÑĢеÑģледÑĥÑİÑĤ":140921,"ĠпÑĢеÑģÑĤÑĥпнÑĭÑħ":140922,"ĠпÑĢеÑĤендÑĥеÑĤ":140923,"ĠпÑĢеÑĤеÑĢпева":140924,"ĠпÑĢибегнÑĥÑĤÑĮ":140925,"ĠпÑĢибÑĢежнÑĭÑħ":140926,"ĠпÑĢивилегий":140927,"ĠпÑĢиглаÑĪаеÑĤ":140928,"ĠпÑĢиговоÑĢÑijн":140929,"ĠпÑĢигодиÑĤÑģÑı":140930,"ĠпÑĢидвоÑĢнÑĭÑħ":140931,"ĠпÑĢимиÑĢениÑı":140932,"ĠпÑĢинимавÑĪи":140933,"ĠпÑĢиÑĢавнива":140934,"ĠпÑĢиÑĤÑıжениÑı":140935,"ĠпÑĢиÑĤÑıзаниÑı":140936,"ĠпÑĢоговоÑĢил":140937,"ĠпÑĢоизнеÑģÑĤи":140938,"ĠпÑĢомежÑĥÑĤка":140939,"ĠпÑĢопаганде":140940,"ĠпÑĢопагандÑĥ":140941,"ĠпÑĢоÑĢваÑĤÑĮÑģÑı":140942,"ĠпÑĢоÑģлежива":140943,"ĠпÑĢоÑĪеÑģÑĤвии":140944,"ĠпÑģиÑħиаÑĤÑĢии":140945,"ĠпÑĥбликаÑĨиÑİ":140946,"ĠÑĢабоÑĤавÑĪий":140947,"ĠÑĢавнодÑĥÑĪие":140948,"ĠÑĢавнодÑĥÑĪно":140949,"ĠÑĢавнодÑĥÑĪнÑĭ":140950,"ĠÑĢадоваÑĤÑĮÑģÑı":140951,"ĠÑĢазгÑĢаблен":140952,"ĠÑĢаздÑĢажаеÑĤ":140953,"ĠÑĢаздÑĢоблен":140954,"ĠÑĢазложениÑı":140955,"ĠÑĢазÑĢеÑĪении":140956,"ĠÑĢаÑģплаÑĩива":140957,"ĠÑĢаÑģÑģелениÑı":140958,"ĠÑĢаÑģÑģÑĤановк":140959,"ĠÑĢаÑģÑģÑĤÑĢаива":140960,"ĠÑĢаÑģÑģÑĥждаÑĤÑĮ":140961,"ĠÑĢаÑģÑģÑĩиÑĤаÑĤÑĮ":140962,"ĠÑĢаÑģÑħодÑıÑĤÑģÑı":140963,"ĠÑĢаÑģÑĪиÑĢениÑİ":140964,"ĠÑĢаÑģÑĪиÑĦÑĢовк":140965,"ĠÑĢеагиÑĢовал":140966,"ĠÑĢеализовал":140967,"ĠÑĢегÑĥлиÑĢÑĥем":140968,"ĠÑĢегÑĥлиÑĢÑĥÑİÑĤ":140969,"ĠÑĢегÑĥлÑıÑĢнÑĭÑħ":140970,"ĠÑĢенÑĤабелÑĮн":140971,"ĠÑĢоÑģÑģийÑģкÑĥÑİ":140972,"ĠÑģвеÑĤилÑĮник":140973,"ĠÑģемидеÑģÑıÑĤи":140974,"ĠÑģемнадÑĨаÑĤÑĮ":140975,"ĠÑģепаÑĢаÑĤиÑģÑĤ":140976,"ĠÑģеÑĢебÑĢÑıнÑĭÑħ":140977,"ĠÑģилÑĮнейÑĪиÑħ":140978,"ĠÑģказанного":140979,"ĠÑģклонноÑģÑĤи":140980,"ĠÑģлавÑıноÑĦил":140981,"ĠÑģлÑĥжебного":140982,"ĠÑģмеÑĢÑĤноÑģÑĤи":140983,"ĠÑģнаÑĢÑıжение":140984,"ĠÑģнаÑĢÑıжениÑı":140985,"ĠÑģновидений":140986,"ĠÑģобиÑĢаемÑģÑı":140987,"ĠÑģобиÑĢаÑĤелÑĮ":140988,"ĠÑģоблÑİдении":140989,"ĠÑģовмеÑģÑĤнÑĭе":140990,"ĠÑģовмеÑģÑĤнÑĭм":140991,"ĠÑģовпадениÑı":140992,"ĠÑģоглаÑģиÑĤÑģÑı":140993,"ĠÑģодейÑģÑĤвиÑı":140994,"ĠÑģодеÑĢжаÑīаÑı":140995,"ĠÑģодеÑĢжаÑīей":140996,"ĠÑģозÑĢеваниÑı":140997,"ĠÑģомневаÑİÑģÑĮ":140998,"ĠÑģопоÑģÑĤавлÑı":140999,"ĠÑģоÑģÑĤавлÑıвÑĪ":141000,"ĠÑģоÑģÑĤоÑıвÑĪий":141001,"ĠÑģоÑģÑĤÑıзаниÑı":141002,"ĠÑģоÑħÑĢанениÑİ":141003,"ĠÑģоÑĩеÑĤаеÑĤÑģÑı":141004,"ĠÑģпекÑĤаклей":141005,"ĠÑģпоÑĢÑĤивнÑĥÑİ":141006,"ĠÑģпоÑĢÑĤивнÑĭм":141007,"ĠÑģÑĢавниваеÑĤ":141008,"ĠÑģÑĤаÑĤиÑģÑĤикÑĥ":141009,"ĠÑģÑĤилизован":141010,"ĠÑģÑĤомаÑĤолог":141011,"ĠÑģÑĤÑĢелковÑĭÑħ":141012,"ĠÑģÑĤÑĢемилаÑģÑĮ":141013,"ĠÑģÑĥбÑģÑĤанÑĨии":141014,"ĠÑģÑįкономиÑĤÑĮ":141015,"ĠÑĤаможеннÑĭÑħ":141016,"ĠÑĤвоÑĢÑĩеÑģкаÑı":141017,"ĠÑĤвоÑĢÑĩеÑģкое":141018,"ĠÑĤвоÑĢÑĩеÑģком":141019,"ĠÑĤвоÑĢÑĩеÑģкÑĥÑİ":141020,"ĠÑĤелегÑĢамма":141021,"ĠÑĤелегÑĢаммÑĭ":141022,"ĠÑĤогдаÑĪнего":141023,"ĠÑĤоÑĢможениÑı":141024,"ĠÑĤÑĢанÑģлÑıÑĨии":141025,"ĠÑĤÑĢинадÑĨаÑĤи":141026,"ĠÑĤÑĢинадÑĨаÑĤÑĮ":141027,"ĠÑĤÑĢÑĥдоÑĥÑģÑĤÑĢо":141028,"ĠÑĥглÑĥбление":141029,"ĠÑĥдеÑĢживаеÑĤ":141030,"ĠÑĥдоÑģÑĤовеÑĢи":141031,"ĠÑĥдоÑģÑĤоилÑģÑı":141032,"ĠÑĥкÑĢаинÑģкаÑı":141033,"ĠÑĥлÑĭбнÑĥлаÑģÑĮ":141034,"ĠÑĥлÑĮÑĤимаÑĤÑĥм":141035,"ĠÑĥникалÑĮнÑĭе":141036,"ĠÑĥникалÑĮнÑĭÑħ":141037,"ĠÑĥниÑĩÑĤожаÑĤÑĮ":141038,"ĠÑĥниÑĩÑĤожаÑİÑĤ":141039,"ĠÑĥпоÑĤÑĢеблен":141040,"ĠÑĥÑģмоÑĤÑĢениÑİ":141041,"ĠÑĥÑĤомиÑĤелÑĮн":141042,"ĠÑĥÑıзвимоÑģÑĤи":141043,"ĠÑĦанÑĤаÑģÑĤика":141044,"ĠÑĦигÑĥÑĢиÑĢÑĥеÑĤ":141045,"ĠÑĦилоÑģоÑĦией":141046,"ĠÑĦÑĥÑĤболÑĮнÑĭÑħ":141047,"ĠÑħимиÑĩеÑģкаÑı":141048,"ĠÑħладнокÑĢов":141049,"ĠÑħолеÑģÑĤеÑĢин":141050,"ĠÑĩеÑĢедовани":141051,"ĠÑĩÑĥвÑģÑĤвÑĥеÑĪÑĮ":141052,"ĠÑĪиÑĦÑĢованиÑı":141053,"ĠÑįкономикой":141054,"ĠÑįкÑģпедиÑĨий":141055,"ĠÑįÑģкадÑĢилÑĮÑı":141056,"ĠÑįÑĤниÑĩеÑģкой":141057,"ĠÑıвлÑıÑİÑīиеÑģÑı":141058,"ĠÑıвлÑıÑİÑīийÑģÑı":141059,"ĠÑıвлÑıÑİÑīиÑħÑģÑı":141060,"ĠÑıзÑĭкознани":141061,"ÐIJпокалипÑģиÑģ":141062,"ÐĹамеÑĩаÑĤелÑĮн":141063,"ÐŀбÑīеÑģÑĤвенно":141064,"ÐŁÑĢиклÑİÑĩениÑı":141065,"ÐŃнÑĨиклопеди":141066,"депаÑĢÑĤаменÑĤ":141067,"евÑĢопейÑģкаÑı":141068,"зажигаÑĤелÑĮн":141069,"инÑĤокÑģикаÑĨи":141070,"кладÑĭвалиÑģÑĮ":141071,"конÑĦеÑĢенÑĨий":141072,"конÑĨенÑĤÑĢиÑĢÑĥ":141073,"коÑĢиÑĩневого":141074,"ологиÑĩеÑģком":141075,"ообÑĢазноÑģÑĤи":141076,"опÑĢеделение":141077,"оÑĢганизован":141078,"оÑģвободиÑĤел":141079,"оÑģпÑĢоизводÑı":141080,"оÑĤÑģÑĥÑĤÑģÑĤвÑĥÑİÑī":141081,"пеÑĢвоклаÑģÑģн":141082,"повÑģÑĤанÑĩеÑģк":141083,"поÑĤÑĥÑģÑĤоÑĢонн":141084,"пÑĢавозаÑīиÑĤн":141085,"пÑĢедоÑģÑĤоÑĢож":141086,"ÑģеманÑĤиÑĩеÑģк":141087,"ÑģÑĤабилизаÑĨи":141088,"ÑģÑĤÑĢаиваеÑĤÑģÑı":141089,"ÑĤеÑħниÑĩеÑģкие":141090,"ÑĦаÑĪиÑģÑĤÑģкими":141091,"ÑĩÑĥвÑģÑĤвоваÑĤÑĮ":141092,"ÑįллипÑĤиÑĩеÑģк":141093,"ÑįнÑĨиклопеди":141094,"ĠÐIJнаÑĤолÑĮевиÑĩ":141095,"ĠÐijелоÑĢÑĥÑģÑģкой":141096,"ĠÐĴаÑĢÑĪавÑģкого":141097,"ĠÐĴладикавказ":141098,"ĠÐĴоÑģпиÑĤанник":141099,"ĠÐĴÑģеÑģоÑİзного":141100,"ĠÐķвÑĢопейÑģкий":141101,"ĠÐĹаконодаÑĤел":141102,"ĠÐĹамеÑģÑĤиÑĤелÑĮ":141103,"ĠÐĺзобÑĢажение":141104,"ĠÐĺÑģполÑĮзÑĥйÑĤе":141105,"ĠÐļомандÑĥÑİÑīий":141106,"ĠÐļомменÑĤаÑĢии":141107,"ĠÐļомÑģомолÑĮÑģк":141108,"ĠÐļонÑģÑĤиÑĤÑĥÑĨиÑı":141109,"ĠÐļоÑĢолевÑģÑĤва":141110,"ĠÐļоÑģÑĤÑĢомÑģкой":141111,"ĠÐľÐ°ÐºÑģимилиан":141112,"ĠÐĿидеÑĢландаÑħ":141113,"ĠÐĿижегоÑĢодÑģк":141114,"ĠÐĿобелевÑģкой":141115,"ĠÐŀбÑıзаÑĤелÑĮно":141116,"ĠÐŀпÑĥбликован":141117,"ĠÐŀÑĢганизаÑĤоÑĢ":141118,"ĠÐŀÑģобенноÑģÑĤи":141119,"ĠÐŁÐ¾Ð´Ð¼Ð¾ÑģковÑĮе":141120,"ĠÐŁÑĢодолжение":141121,"ĠÐŁÑĢоÑģвеÑīениÑı":141122,"ĠÐłÐ°ÑģÑģмаÑĤÑĢива":141123,"ĠÐłÐµÑģпÑĥбликой":141124,"ĠСеваÑģÑĤополе":141125,"ĠСимÑĦеÑĢополÑĮ":141126,"ĠСовÑĢеменное":141127,"ĠСодÑĢÑĥжеÑģÑĤва":141128,"ĠСоединÑijннÑĭÑħ":141129,"ĠСпеÑĨиалÑĮнÑĭй":141130,"ĠСÑĢедиземном":141131,"ĠСÑĥÑīеÑģÑĤвовал":141132,"ĠТавÑĢиÑĩеÑģкой":141133,"ĠТемпеÑĢаÑĤÑĥÑĢа":141134,"ĠТÑĢадиÑĨионно":141135,"ĠФедеÑĢалÑĮнÑĭй":141136,"ĠФÑĢанÑĨÑĥзÑģкий":141137,"ĠХаÑĢÑĮковÑģкой":141138,"ĠаббÑĢевиаÑĤÑĥÑĢ":141139,"ĠавиаÑĨионнаÑı":141140,"ĠавÑģÑĤÑĢийÑģкий":141141,"ĠавÑģÑĤÑĢийÑģкой":141142,"ĠадапÑĤиÑĢован":141143,"ĠаллеÑĢгиÑĩеÑģк":141144,"ĠапеллÑıÑĨионн":141145,"ĠаÑĢÑħиÑĤекÑĤÑĥÑĢÑĥ":141146,"ĠаÑģпиÑĢанÑĤÑĥÑĢÑĥ":141147,"ĠбазиÑĢованиÑı":141148,"ĠбанкÑĢоÑĤÑģÑĤва":141149,"ĠбезгÑĢаниÑĩно":141150,"ĠбезоÑĪибоÑĩно":141151,"ĠбезÑĢабоÑĤиÑĨÑĭ":141152,"ĠбезÑĢазлиÑĩно":141153,"ĠбелоÑĢÑĥÑģÑģкий":141154,"ĠбелоÑĢÑĥÑģÑģкиÑħ":141155,"ĠбелоÑĢÑĥÑģÑģкой":141156,"ĠбеÑģконеÑĩнÑĭе":141157,"ĠбеÑģконеÑĩнÑĭм":141158,"ĠбеÑģпоÑĢÑıдков":141159,"ĠбеÑģпÑĢеделÑĮн":141160,"ĠбеÑģпÑĢеÑĢÑĭвно":141161,"ĠблагоÑģловиÑĤ":141162,"ĠблагоÑĤвоÑĢно":141163,"ĠбомбаÑĢдиÑĢом":141164,"ĠбÑĥÑĢжÑĥазного":141165,"ĠвдоÑħновение":141166,"ĠвдоÑħновениÑı":141167,"ĠвеÑĢоиÑģповед":141168,"ĠвзаимоÑģвÑıзÑĮ":141169,"ĠвиногÑĢадник":141170,"ĠвиÑĢÑĤÑĥалÑĮнÑĭÑħ":141171,"ĠвмеÑĪиваÑĤÑĮÑģÑı":141172,"Ġвоеннопленн":141173,"ĠвозвÑĢаÑīаÑıÑģÑĮ":141174,"ĠвоздейÑģÑĤвии":141175,"ĠвоздейÑģÑĤвий":141176,"ĠвозлÑİбленнÑĭ":141177,"ĠвозобновиÑĤÑĮ":141178,"ĠвообÑĢажении":141179,"ĠвоодÑĥÑĪевлен":141180,"ĠвоÑģемÑĮдеÑģÑıÑĤ":141181,"ĠвоÑģпиÑĤÑĭваÑĤÑĮ":141182,"ĠвоÑģÑĤоÑĢженно":141183,"ĠвÑģеобÑĬемлÑİÑī":141184,"ĠвÑĭдаÑİÑīегоÑģÑı":141185,"ĠвÑĭдеÑĢживаеÑĤ":141186,"ĠвÑĭÑģказÑĭваеÑĤ":141187,"ĠвÑĭÑģÑĤÑĥпавÑĪий":141188,"ĠвÑĭÑģÑĤÑĥпаÑİÑīий":141189,"ĠвÑĭÑģÑĤÑĥплении":141190,"ĠвÑĭÑĪеÑĥказанн":141191,"ĠгендиÑĢекÑĤоÑĢ":141192,"ĠгиÑĤлеÑĢовÑĨев":141193,"ĠглобализаÑĨи":141194,"ĠголоÑģовании":141195,"ĠгÑĢажданÑģкаÑı":141196,"ĠгÑĢажданÑģком":141197,"ĠгÑĢажданÑģкÑĥÑİ":141198,"ĠгÑĢÑĥппиÑĢовкÑĥ":141199,"ĠдвÑĥÑģмÑĭÑģленн":141200,"ĠдвÑĥÑģÑĤоÑĢонне":141201,"ĠдиÑģÑĤÑĢибÑĥÑĤив":141202,"ĠдолжноÑģÑĤнÑĭм":141203,"ĠдÑĢагоÑĨеннÑĭе":141204,"ĠдÑĢагоÑĨеннÑĭÑħ":141205,"ĠдÑĢамаÑĤÑĥÑĢгии":141206,"ĠдÑĭÑħаÑĤелÑĮнÑĭÑħ":141207,"ĠевÑĢопейÑģкий":141208,"ĠединобоÑĢÑģÑĤв":141209,"ĠединоглаÑģно":141210,"ĠзаблÑĥждениÑı":141211,"ĠзаведÑĥÑİÑīего":141212,"ĠзавеÑĢÑĪилоÑģÑĮ":141213,"ĠзагÑĢаждениÑı":141214,"ĠзагÑĢÑıзнениÑı":141215,"ĠзаÑģлÑĥживаÑİÑĤ":141216,"ĠзаÑģлÑĥживаÑİÑī":141217,"ĠзаÑħваÑĤÑĩиков":141218,"ĠзаÑħваÑĤÑĭваеÑĤ":141219,"ĠиллÑİÑģÑĤÑĢаÑĨиÑı":141220,"ĠимпÑĢовизаÑĨи":141221,"ĠиноÑģÑĤÑĢаннÑĭй":141222,"ĠиÑģкÑĢенноÑģÑĤÑĮ":141223,"ĠиÑģполниÑĤели":141224,"ĠиÑĤалÑĮÑıнÑģкие":141225,"ĠиÑĤалÑĮÑıнÑģким":141226,"ĠиÑĤалÑĮÑıнÑģком":141227,"ĠкаÑĢдиналÑĮно":141228,"ĠкаÑĤализаÑĤоÑĢ":141229,"ĠклаÑģÑģиÑĨизма":141230,"ĠколоколÑĮÑĩик":141231,"ĠколоÑģÑģалÑĮно":141232,"ĠкомандоваÑĤÑĮ":141233,"ĠкомиÑģÑģаÑĢиаÑĤ":141234,"ĠкомпенÑģаÑĨиÑİ":141235,"ĠконкÑĥÑĢенÑĨиÑİ":141236,"ĠконкÑĥÑĢенÑĨиÑı":141237,"ĠконÑģолидаÑĨи":141238,"ĠконÑĦиÑģкован":141239,"ĠкопиÑĢованиÑı":141240,"ĠкоÑĢолевÑģкий":141241,"ĠкоÑĢолевÑģкиÑħ":141242,"ĠкоÑģмиÑĩеÑģким":141243,"ĠкоÑģмиÑĩеÑģком":141244,"ĠкÑĢиминалиÑģÑĤ":141245,"ĠкÑĢипÑĤовалÑİÑĤ":141246,"ĠкÑĢÑĥпнейÑĪего":141247,"ĠлогиÑĩеÑģкого":141248,"ĠлокализаÑĨии":141249,"ĠмалоизвеÑģÑĤн":141250,"ĠмалоÑĩиÑģленн":141251,"ĠманипÑĥлÑıÑĨии":141252,"ĠмаÑĢкеÑĤингов":141253,"ĠмаÑģÑģиÑĢованн":141254,"ĠмедиÑĨинÑģким":141255,"ĠмедиÑĨинÑģкое":141256,"ĠмедиÑĨинÑģком":141257,"ĠмедиÑĨинÑģкÑĥÑİ":141258,"ĠменеджменÑĤа":141259,"ĠмеÑĤаллÑĥÑĢгии":141260,"ĠмеÑĤодологии":141261,"ĠминеÑĢалÑĮнÑĭÑħ":141262,"ĠминималÑĮнÑĭй":141263,"ĠмодиÑĦикаÑĨий":141264,"ĠмÑĥзÑĭкалÑĮнаÑı":141265,"ĠмÑĥзÑĭкалÑĮнÑĭм":141266,"ĠмÑĥлÑĮÑĤÑģеÑĢиал":141267,"ĠнаблÑİдалоÑģÑĮ":141268,"ĠнаблÑİдаÑĤели":141269,"ĠнапÑĢавилиÑģÑĮ":141270,"ĠнаÑģелÑijнного":141271,"ĠнаÑģлаждениÑı":141272,"ĠнаÑħодÑıÑīейÑģÑı":141273,"ĠнаÑħодÑıÑīимÑģÑı":141274,"ĠневеÑĢоÑıÑĤнÑĭм":141275,"Ġнегодование":141276,"ĠнеизвеÑģÑĤнÑĭй":141277,"ĠнейÑĤÑĢалиÑĤеÑĤ":141278,"ĠнеоднокÑĢаÑĤн":141279,"ĠнеоÑĤÑĬемлемо":141280,"Ġнепоколебим":141281,"Ġнепонимание":141282,"ĠнеÑĢавенÑģÑĤво":141283,"ĠнеÑģÑĢавненно":141284,"ĠнеÑĥпÑĢавлÑıем":141285,"ĠноминиÑĢован":141286,"ĠобеÑģпеÑĩиваÑı":141287,"ĠобнаÑĢодован":141288,"ĠобнаÑĢÑĥжение":141289,"ĠобнаÑĢÑĥживал":141290,"ĠобоÑģнованиÑı":141291,"ĠобоÑģобленно":141292,"ĠобÑĢазовалÑģÑı":141293,"ĠобÑģеÑĢваÑĤоÑĢи":141294,"ĠобÑģÑĤановкой":141295,"ĠобÑīедоÑģÑĤÑĥпн":141296,"ĠодиннадÑĨаÑĤи":141297,"ĠодновÑĢеменн":141298,"ĠожеÑģÑĤоÑĩенно":141299,"ĠоконеÑĩноÑģÑĤи":141300,"ĠолимпийÑģкий":141301,"ĠопоÑģÑĢедован":141302,"ĠопÑĢавдÑĭваеÑĤ":141303,"ĠопÑĢеделений":141304,"ĠоÑģкоÑĢбление":141305,"ĠоÑģкоÑĢблениÑı":141306,"ĠоÑģноваÑĤелем":141307,"ĠоÑģновÑĭваÑıÑģÑĮ":141308,"ĠоÑĤкÑĢÑĭваÑİÑĤÑģÑı":141309,"ĠоÑĤобÑĢажение":141310,"ĠоÑĤÑģлеживаÑĤÑĮ":141311,"ĠпалеонÑĤолог":141312,"ĠпеÑĢедвижени":141313,"ĠпеÑĢеÑĢабоÑĤке":141314,"ĠпеÑĢеÑģÑĤÑĢаива":141315,"ĠпиÑīеваÑĢениÑı":141316,"ĠплодоÑĤвоÑĢно":141317,"ĠпогÑĢаниÑĩной":141318,"ĠпогÑĢаниÑĩнÑĭÑħ":141319,"ĠподвеÑĢгалÑģÑı":141320,"ĠподвеÑĢглаÑģÑĮ":141321,"ĠподвеÑĢгнÑĥÑĤÑĮ":141322,"ĠподвижноÑģÑĤÑĮ":141323,"ĠподдеÑĢживаÑı":141324,"ĠподжелÑĥдоÑĩн":141325,"ĠподклÑİÑĩение":141326,"ĠподнималиÑģÑĮ":141327,"ĠподнимаÑİÑĤÑģÑı":141328,"ĠподозÑĢеваеÑĤ":141329,"ĠподпиÑģÑĩиков":141330,"ĠподÑĤвеÑĢждал":141331,"ĠподÑĩиненнÑĭм":141332,"ĠпожеÑĢÑĤвован":141333,"ĠпозволÑıÑİÑīаÑı":141334,"ĠпозволÑıÑİÑīиÑħ":141335,"ĠпозвоноÑĩник":141336,"ĠпозвоноÑĩнÑĭÑħ":141337,"ĠпоздÑĢавлени":141338,"ĠпоказаÑĤелем":141339,"ĠполноÑĨеннÑĭй":141340,"ĠполÑĥÑĩивÑĪего":141341,"ĠпоÑģледÑĥÑİÑīее":141342,"ĠпоÑģÑĤавÑīиков":141343,"ĠпоÑģÑĤаÑĢаÑĤÑĮÑģÑı":141344,"ĠпоÑģÑĤÑģовеÑĤÑģк":141345,"ĠпоÑĩÑĥвÑģÑĤвÑĥеÑĤ":141346,"ĠпÑĢавоÑģлавие":141347,"ĠпÑĢавоÑģлавиÑı":141348,"ĠпÑĢакÑĤиковал":141349,"ĠпÑĢевÑĢаÑĤиÑĤÑģÑı":141350,"ĠпÑĢеданноÑģÑĤи":141351,"ĠпÑĢедиÑģловие":141352,"ĠпÑĢедиÑģловии":141353,"ĠпÑĢедложении":141354,"ĠпÑĢедоÑģÑĤеÑĢег":141355,"ĠпÑĢедпиÑģаниÑı":141356,"ĠпÑĢедполагаÑİ":141357,"ĠпÑĢедпÑĢинÑıÑĤа":141358,"ĠпÑĢедпÑĢинÑıÑĤÑĭ":141359,"ĠпÑĢедÑģказаÑĤÑĮ":141360,"ĠпÑĢедÑģказÑĥем":141361,"ĠпÑĢедÑģÑĤавлÑıÑı":141362,"ĠпÑĢедÑģÑĤоÑıÑīей":141363,"ĠпÑĢедÑģÑĤоÑıÑīиÑħ":141364,"ĠпÑĢеобладаеÑĤ":141365,"ĠпÑĢеодоление":141366,"ĠпÑĢеподаваÑĤÑĮ":141367,"ĠпÑĢеÑĤендовал":141368,"ĠпÑĢиближениÑı":141369,"ĠпÑĢиблизилÑģÑı":141370,"ĠпÑĢиглаÑĪениÑİ":141371,"ĠпÑĢиглаÑĪениÑı":141372,"ĠпÑĢиказÑĭваеÑĤ":141373,"ĠпÑĢинÑĥждениÑı":141374,"ĠпÑĢоводилоÑģÑĮ":141375,"ĠпÑĢодикÑĤован":141376,"ĠпÑĢоживаÑİÑīиÑħ":141377,"ĠпÑĢоизноÑģиÑĤÑĮ":141378,"ĠпÑĢонзиÑĤелÑĮн":141379,"ĠпÑĢоÑĢоÑĩеÑģÑĤва":141380,"ĠпÑĢоÑĢоÑĩеÑģÑĤво":141381,"ĠпÑĢоÑĦилакÑĤик":141382,"ĠпÑĢоÑħождение":141383,"ĠпÑģиÑħиÑĩеÑģкое":141384,"ĠпÑĥÑĤеÑĪеÑģÑĤвии":141385,"ĠÑĢазвлеÑĩений":141386,"ĠÑĢаздÑĢажениÑı":141387,"ĠÑĢазмеÑīалиÑģÑĮ":141388,"ĠÑĢазноглаÑģий":141389,"ĠÑĢаÑģположиÑĤÑĮ":141390,"ĠÑĢаÑģÑģÑĤÑĢелÑıли":141391,"ĠÑĢаÑģÑĪиÑĢÑıеÑĤÑģÑı":141392,"ĠÑĢеализаÑĨией":141393,"ĠÑĢегиÑģÑĤÑĢаÑĨиÑİ":141394,"ĠÑĢегиÑģÑĤÑĢаÑĨиÑı":141395,"ĠÑĢекомендÑĥем":141396,"ĠÑĢекомендÑĥеÑĤ":141397,"ĠÑĢелигиознаÑı":141398,"ĠÑĢеÑĪиÑĤелÑĮнÑĭй":141399,"ĠÑĢеÑĪиÑĤелÑĮнÑĭм":141400,"ĠÑĢодÑģÑĤвеннÑĭÑħ":141401,"ĠÑĢÑĥководÑıÑīиÑħ":141402,"ĠÑģамообоÑĢонÑĭ":141403,"ĠÑģвидеÑĤелÑıми":141404,"ĠÑģвоеобÑĢазие":141405,"ĠÑģвойÑģÑĤвенна":141406,"ĠÑģегоднÑıÑĪней":141407,"ĠÑģекÑĢеÑĤаÑĢиаÑĤ":141408,"ĠÑģекÑģÑĥалÑĮное":141409,"ĠÑģкепÑĤиÑĩеÑģки":141410,"ĠÑģловеÑģноÑģÑĤи":141411,"ĠÑģлÑĥÑĩайноÑģÑĤи":141412,"ĠÑģобиÑĢаеÑĤеÑģÑĮ":141413,"ĠÑģовеÑĢÑĪеннÑĭе":141414,"ĠÑģовеÑĢÑĪеннÑĭм":141415,"ĠÑģоглаÑģовÑĭва":141416,"ĠÑģодеÑĢжимого":141417,"ĠÑģоединÑıÑİÑĤÑģÑı":141418,"ĠÑģокÑĢаÑĤилоÑģÑĮ":141419,"ĠÑģокÑĢаÑīаеÑĤÑģÑı":141420,"ĠÑģооÑĤноÑĪении":141421,"ĠÑģопÑĢикоÑģнов":141422,"ĠÑģоÑģÑĤавлении":141423,"ĠÑģоÑħÑĢанноÑģÑĤи":141424,"ĠÑģоÑĨиалиÑģÑĤов":141425,"ĠÑģпокойÑģÑĤвиÑı":141426,"ĠÑģпÑĢавлÑıеÑĤÑģÑı":141427,"ĠÑģÑĢабаÑĤÑĭвани":141428,"ĠÑģÑĤалкивалÑģÑı":141429,"ĠÑģÑĤановление":141430,"ĠÑģÑĤимÑĥлиÑĢÑĥеÑĤ":141431,"ĠÑģÑĤÑĢаÑħование":141432,"ĠÑģÑĥпеÑĢмаÑĢкеÑĤ":141433,"ĠÑĤаланÑĤливÑĭй":141434,"ĠÑĤаланÑĤливÑĭÑħ":141435,"ĠÑĤелекомпани":141436,"ĠÑĤелепеÑĢедаÑĩ":141437,"ĠÑĤÑĢагиÑĩеÑģкой":141438,"ĠÑĤÑĢанÑģкÑĢипÑĨи":141439,"ĠÑĤÑĭÑģÑıÑĩелеÑĤий":141440,"ĠÑĥведомление":141441,"ĠÑĥведомлениÑı":141442,"ĠÑĥвелиÑĩиваÑİÑĤ":141443,"ĠÑĥглеводоÑĢод":141444,"ĠÑĥнаÑģледован":141445,"ĠÑĥпоминалоÑģÑĮ":141446,"ĠÑĥпоÑĤÑĢеблÑıем":141447,"ĠÑĥпÑĢавлÑıÑİÑīим":141448,"ĠÑĥпÑĢавлÑıÑİÑīиÑħ":141449,"ĠÑĥÑĢавновеÑĪен":141450,"ĠÑĥÑģÑĤÑĢемлениÑı":141451,"ĠÑĥÑĤвеÑĢждении":141452,"ĠÑĥÑĩаÑģÑĤвÑĥÑİÑīиÑħ":141453,"ĠÑĥÑĩиÑĤелÑĮниÑĨа":141454,"ĠÑĦÑĢанÑĨÑĥзÑģкое":141455,"ĠÑĦÑĢанÑĨÑĥзÑģкÑĥÑİ":141456,"ĠÑĨелеÑģообÑĢаз":141457,"ĠÑĪеÑģÑĤидеÑģÑıÑĤи":141458,"ĠÑĪеÑģÑĤнадÑĨаÑĤи":141459,"ĠÑĪеÑģÑĤнадÑĨаÑĤÑĮ":141460,"ĠÑįлекÑĤÑĢоники":141461,"ĠÑįлекÑĤÑĢоннÑĭй":141462,"ĠÑįÑĦÑĦекÑĤивнее":141463,"ĠÑİжнокоÑĢейÑģк":141464,"ĠÑİÑĢидиÑĩеÑģкие":141465,"ĠÑİÑĢидиÑĩеÑģкое":141466,"СÑĤиÑħоÑĤвоÑĢени":141467,"воÑģпалиÑĤелÑĮн":141468,"конÑĨепÑĤÑĥалÑĮн":141469,"меÑħаниÑĩеÑģкий":141470,"немаÑĤеÑĢиалÑĮн":141471,"оппозиÑĨионеÑĢ":141472,"оÑĢÑĤодокÑģалÑĮн":141473,"пневмаÑĤиÑĩеÑģк":141474,"полиÑĤиÑĩеÑģкиÑħ":141475,"пÑĢовинÑĨиалÑĮн":141476,"пÑĢовокаÑĨионн":141477,"пÑĢоизводÑģÑĤво":141478,"ÑģледоваÑĤелей":141479,"ÑģледÑģÑĤвенной":141480,"ÑģледÑģÑĤвеннÑĭе":141481,"ÑģпеÑĨиÑĦиÑĩеÑģки":141482,"ÑģÑĤанавливаÑĤÑĮ":141483,"ÑįкÑģпедиÑĨионн":141484,"ĠÐIJмеÑĢиканÑģкаÑı":141485,"ĠÐIJмеÑĢиканÑģкие":141486,"ĠÐIJмеÑĢиканÑģкой":141487,"ĠÐijлаговеÑīенÑģк":141488,"ĠÐĴладимиÑĢовна":141489,"ĠÐĴÑģеÑĢоÑģÑģийÑģки":141490,"ĠÐĶзеÑĢжинÑģкого":141491,"ĠÐķдинÑģÑĤвеннаÑı":141492,"ĠÐĺздаÑĤелÑĮÑģÑĤво":141493,"ĠÐĺÑģполÑĮзÑĥеÑĤÑģÑı":141494,"ĠÐļомандование":141495,"ĠÐļоÑĢолевÑģкого":141496,"ĠÐľÐ¸ÐºÐµÐ»Ð°Ð½Ð´Ð¶ÐµÐ»Ð¾":141497,"ĠÐľÐ¸Ð½Ð¸ÑģÑĤеÑĢÑģÑĤве":141498,"ĠÐĿаÑĨионалÑĮном":141499,"ĠÐĿовоÑĩеÑĢкаÑģÑģк":141500,"ĠÐŀÑĢджоникидзе":141501,"ĠÐŀÑĢенбÑĥÑĢгÑģкой":141502,"ĠÐŁÐµÑĤÑĢозаводÑģк":141503,"ĠÐŁÑĢедÑģедаÑĤелÑı":141504,"ĠСоÑĢевнованиÑı":141505,"ĠСÑĢедиземного":141506,"ĠТеоÑĢеÑĤиÑĩеÑģки":141507,"ĠФоÑĢмиÑĢование":141508,"ĠÐŃнÑĨиклопедиÑı":141509,"ĠавиакомпаниÑı":141510,"ĠавÑģÑĤÑĢийÑģкого":141511,"ĠадапÑĤиÑĢоваÑĤÑĮ":141512,"ĠамеÑĢиканÑģкое":141513,"ĠамеÑĢиканÑģкÑĥÑİ":141514,"ĠанÑĤиÑģемиÑĤизм":141515,"ĠанÑĤÑĢопологии":141516,"ĠаÑĢиÑģÑĤокÑĢаÑĤии":141517,"ĠаÑĢиÑĦмеÑĤиÑĩеÑģк":141518,"ĠбалеÑĤмейÑģÑĤеÑĢ":141519,"ĠбаÑģкеÑĤболиÑģÑĤ":141520,"Ġбезвозмездно":141521,"Ġбезнаказанно":141522,"ĠбелоÑĢÑĥÑģÑģкого":141523,"ĠбеÑĢеменноÑģÑĤÑĮ":141524,"ĠбеÑģпокоиÑĤÑĮÑģÑı":141525,"ĠбеÑģпокойÑģÑĤва":141526,"ĠбеÑģÑĩиÑģленнÑĭе":141527,"ĠбеÑģÑĩиÑģленнÑĭÑħ":141528,"ĠблагополÑĥÑĩие":141529,"ĠблагополÑĥÑĩиÑı":141530,"ĠблагоÑģклонно":141531,"ĠбогоÑģлÑĥжениÑı":141532,"ĠвклÑİÑĩиÑĤелÑĮно":141533,"ĠвмеÑĪаÑĤелÑĮÑģÑĤв":141534,"ĠвозвÑĢаÑĤиÑĤÑĮÑģÑı":141535,"ĠвозлÑİбленной":141536,"ĠвозможноÑģÑĤÑıм":141537,"ĠвозможноÑģÑĤÑıÑħ":141538,"ĠвоÑģемнадÑĨаÑĤи":141539,"ĠвоÑģемнадÑĨаÑĤÑĮ":141540,"ĠвоÑģÑģоединени":141541,"ĠвÑĭÑģказÑĭваний":141542,"ĠвÑĭÑĪеÑĥпомÑıнÑĥÑĤ":141543,"ĠгÑĥманиÑĤаÑĢнÑĭÑħ":141544,"ĠдлиÑĤелÑĮноÑģÑĤи":141545,"ĠдокÑĥменÑĤаÑĨиÑİ":141546,"ĠдомоÑħозÑıйÑģÑĤв":141547,"ĠдÑĢеÑģÑģиÑĢовÑīик":141548,"ĠединÑģÑĤвеннÑĥÑİ":141549,"ĠжизнеÑģпоÑģобн":141550,"ĠжÑĥÑĢналиÑģÑĤики":141551,"ĠзаблокиÑĢован":141552,"ĠзамаÑģкиÑĢован":141553,"ĠзанимаÑİÑīиÑħÑģÑı":141554,"ĠзаÑĦикÑģиÑĢовал":141555,"ĠзлоÑĥпоÑĤÑĢеблÑı":141556,"ĠигноÑĢиÑĢоваÑĤÑĮ":141557,"ĠиденÑĤиÑĩноÑģÑĤÑĮ":141558,"ĠизгоÑĤовлении":141559,"ĠинвеÑģÑĤиÑĢован":141560,"ĠинÑģÑĤинкÑĤивно":141561,"ĠиÑģполÑĮзÑĥемÑĭй":141562,"ĠкандидаÑĤÑģкÑĥÑİ":141563,"ĠквалиÑĦикаÑĨиÑİ":141564,"ĠклаÑģÑģиÑĩеÑģкие":141565,"ĠклаÑģÑģиÑĩеÑģком":141566,"ĠкомандованиÑİ":141567,"ĠкоммÑĥникаÑĨиÑı":141568,"ĠконÑĤÑĢолиÑĢÑĥÑİÑĤ":141569,"ĠконÑĦигÑĥÑĢаÑĨиÑı":141570,"ĠкÑĢиÑĤиÑĩеÑģкого":141571,"ĠкÑĢовопÑĢолиÑĤн":141572,"ĠкÑĢÑĥглоÑģÑĥÑĤоÑĩн":141573,"ĠкÑĥлÑĮÑĤивиÑĢова":141574,"ĠлабоÑĢаÑĤоÑĢией":141575,"ĠлиÑĤеÑĢаÑĤÑĥÑĢнаÑı":141576,"ĠлÑİбознаÑĤелÑĮн":141577,"ĠмакÑģималÑĮнÑĥÑİ":141578,"ĠмакÑģималÑĮнÑĭй":141579,"ĠмаÑĤеÑĢиалÑĮнÑĥÑİ":141580,"ĠмаÑĤеÑĢиалÑĮнÑĭм":141581,"ĠмемоÑĢиалÑĮнаÑı":141582,"ĠмеÑħаниÑĩеÑģкой":141583,"ĠмногообÑĢазие":141584,"ĠнаполеоновÑģк":141585,"ĠнаÑģлаждаÑĤÑĮÑģÑı":141586,"ĠнаÑģÑĤоÑıÑĤелÑĮно":141587,"ĠнедоволÑĮÑģÑĤва":141588,"ĠнезамеÑĩеннÑĭм":141589,"ĠнеоднознаÑĩно":141590,"ĠнепÑĢедвиденн":141591,"ĠнепÑĢинÑĥжденн":141592,"ĠнеÑĢавномеÑĢно":141593,"ĠнеÑģовмеÑģÑĤимÑĭ":141594,"ĠнÑĢавÑģÑĤвеннÑĭе":141595,"ĠнÑĢавÑģÑĤвеннÑĭÑħ":141596,"ĠобÑĢабаÑĤÑĭваеÑĤ":141597,"ĠобÑĢазовалиÑģÑĮ":141598,"ĠобÑĢазоваÑĤелÑĮ":141599,"ĠобÑģледование":141600,"ĠобÑģÑĤоÑıÑĤелÑĮно":141601,"ĠобÑĬединилиÑģÑĮ":141602,"ĠобÑĭкновеннаÑı":141603,"ĠобÑĭкновеннÑĭй":141604,"ĠогÑĢаниÑĩиваеÑĤ":141605,"ĠогÑĢаниÑĩиваÑĤÑĮ":141606,"ĠодноимÑijнного":141607,"ĠодноклаÑģÑģник":141608,"ĠолимпийÑģкого":141609,"ĠопÑĢеделÑıÑİÑīим":141610,"ĠопÑĢеделÑijннÑĭе":141611,"ĠопÑĢовеÑĢгнÑĥÑĤÑĮ":141612,"ĠопÑĥбликоваÑĤÑĮ":141613,"ĠоÑĢганиÑĩеÑģкой":141614,"ĠоÑģвобождениÑİ":141615,"ĠоÑģобенноÑģÑĤÑıÑħ":141616,"ĠоÑĤказÑĭвалиÑģÑĮ":141617,"ĠоÑĤказÑĭваÑİÑĤÑģÑı":141618,"ĠоÑĤÑĢеагиÑĢовал":141619,"ĠпаÑĢадокÑģалÑĮн":141620,"ĠпаÑģÑģажиÑĢÑģкиÑħ":141621,"ĠпеÑĢвоÑģÑĤепенн":141622,"ĠпеÑĢевоÑĢаÑĩива":141623,"ĠпеÑĢемеÑīаÑĤÑĮÑģÑı":141624,"ĠпеÑĢеÑģеленÑĨев":141625,"ĠпеÑĢеÑģмоÑĤÑĢеÑĤÑĮ":141626,"ĠпеÑĢиÑĦеÑĢиÑĩеÑģк":141627,"ĠпиÑģаÑĤелÑĮниÑĨа":141628,"ĠповеÑĢÑħноÑģÑĤей":141629,"ĠподконÑĤÑĢолÑĮн":141630,"ĠподкÑĢепление":141631,"ĠподкÑĢеплениÑı":141632,"ĠподÑĢазÑĥмевал":141633,"ĠподÑĢобноÑģÑĤÑıÑħ":141634,"ĠпожеÑĢÑĤвоваÑĤÑĮ":141635,"ĠпозабоÑĤиÑĤÑĮÑģÑı":141636,"ĠполномеÑĤÑĢажн":141637,"ĠполÑĮзовалаÑģÑĮ":141638,"ĠпоÑģлевоеннÑĭе":141639,"ĠпоÑģовеÑĤоваÑĤÑĮ":141640,"ĠпоÑģÑĤаÑĢайÑĤеÑģÑĮ":141641,"ĠпоÑģÑĤÑĢадавÑĪим":141642,"ĠпоÑĤеÑĢпевÑĪего":141643,"ĠпоÑįÑĤиÑĩеÑģкого":141644,"ĠпÑĢавилÑĮноÑģÑĤи":141645,"ĠпÑĢавилÑĮноÑģÑĤÑĮ":141646,"ĠпÑĢавоÑģлавнаÑı":141647,"ĠпÑĢавоÑģлавнÑĭе":141648,"ĠпÑĢавоÑģлавнÑĭй":141649,"ĠпÑĢавоÑģлавнÑĭм":141650,"ĠпÑĢазднованиÑı":141651,"ĠпÑĢакÑĤиÑĩеÑģкое":141652,"ĠпÑĢевÑĢаÑĤилоÑģÑĮ":141653,"ĠпÑĢедлагалоÑģÑĮ":141654,"ĠпÑĢеднамеÑĢенн":141655,"ĠпÑĢедоÑģÑĤавлÑıл":141656,"ĠпÑĢедпоÑĩÑĤениÑı":141657,"ĠпÑĢедпÑĢинимал":141658,"ĠпÑĢедÑģÑĤавлÑıем":141659,"ĠпÑĢедÑĥпÑĢеждаÑİ":141660,"ĠпÑĢедÑĪеÑģÑĤвÑĥеÑĤ":141661,"ĠпÑĢекÑĢаÑĤилиÑģÑĮ":141662,"ĠпÑĢекÑĢаÑīаеÑĤÑģÑı":141663,"ĠпÑĢеподавание":141664,"ĠпÑĢеподобного":141665,"ĠпÑĢеÑģÑĤÑĥплении":141666,"ĠпÑĢеÑĤендоваÑĤÑĮ":141667,"ĠпÑĢеÑĥвелиÑĩива":141668,"ĠпÑĢиблизиÑĤÑĮÑģÑı":141669,"ĠпÑĢивеÑĢженÑĨев":141670,"ĠпÑĢивеÑĤÑģÑĤвÑĥеÑĤ":141671,"ĠпÑĢинадлежаÑĤÑĮ":141672,"ĠпÑĢиоÑģÑĤановил":141673,"ĠпÑĢиÑĩаÑģÑĤноÑģÑĤи":141674,"ĠпÑĢоизводÑıÑĤÑģÑı":141675,"ĠпÑĢоиÑģÑħодÑıÑīем":141676,"ĠпÑĢоиÑģÑħодÑıÑīие":141677,"ĠпÑĢоиÑģÑħодÑıÑīим":141678,"ĠпÑĢоиÑģÑħодÑıÑīиÑħ":141679,"ĠпÑĢоиÑģÑĪеÑģÑĤвие":141680,"ĠпÑĢоиÑģÑĪеÑģÑĤвий":141681,"ĠпÑĢоповедовал":141682,"ĠпÑĢоÑĤивоÑĢеÑĩаÑĤ":141683,"ĠпÑĢоÑĤивоÑģÑĤоиÑĤ":141684,"ĠпÑĢоÑĤивоÑģÑĤоÑıл":141685,"ĠпÑĢоÑĤивоÑģÑĤоÑıÑī":141686,"ĠпÑĢÑıмолинейно":141687,"ĠÑĢадиоÑģÑĤанÑĨиÑı":141688,"ĠÑĢазнообÑĢазиÑı":141689,"ĠÑĢаÑģкÑĢÑĭваеÑĤÑģÑı":141690,"ĠÑĢаÑģÑģлабиÑĤÑĮÑģÑı":141691,"ĠÑĢаÑģÑĤиÑĤелÑĮное":141692,"ĠÑĢаÑģÑĤиÑĤелÑĮнÑĭм":141693,"ĠÑĢаÑģÑĤиÑĤелÑĮнÑĭÑħ":141694,"ĠÑĢеагиÑĢованиÑı":141695,"ĠÑĢегионалÑĮнÑĭе":141696,"ĠÑĢегÑĥлиÑĢоваÑĤÑĮ":141697,"ĠÑĢеконÑģÑĤÑĢÑĥкÑĨи":141698,"ĠÑģамоÑģознаниÑı":141699,"ĠÑģовеÑĢÑĪенÑģÑĤве":141700,"ĠÑģовеÑĢÑĪенÑģÑĤво":141701,"ĠÑģоглаÑģованиÑı":141702,"ĠÑģокÑĢÑĥÑĪиÑĤелÑĮн":141703,"ĠÑģолидаÑĢноÑģÑĤи":141704,"ĠÑģоÑĢевнование":141705,"ĠÑģоÑģÑĤавлÑıÑİÑīаÑı":141706,"ĠÑģÑĤабилизаÑĤоÑĢ":141707,"ĠÑģÑĤолкновении":141708,"ĠÑģÑĤÑĢоиÑĤелÑĮнÑĭе":141709,"ĠÑģÑĤÑĥденÑĩеÑģкиÑħ":141710,"ĠÑģÑĥÑīеÑģÑĤвеннÑĥÑİ":141711,"ĠÑģÑĥÑīеÑģÑĤвеннÑĭй":141712,"ĠÑģÑĥÑīеÑģÑĤвÑĥÑİÑīий":141713,"ĠÑĤоваÑĢиÑīеÑģÑĤва":141714,"ĠÑĥдивиÑĤелÑĮнÑĭм":141715,"ĠÑĥдовлеÑĤвоÑĢил":141716,"ĠÑĥлÑĮÑĤÑĢаÑĦиолеÑĤ":141717,"ĠÑĥпоÑĤÑĢеблении":141718,"ĠÑĥÑģÑĤановлениÑİ":141719,"ĠÑĦилоÑģоÑĦÑģкого":141720,"ĠÑĦоÑĢмиÑĢований":141721,"ĠÑĦоÑĢмÑĥлиÑĢовка":141722,"ĠÑĦоÑĢмÑĥлиÑĢовки":141723,"ĠÑħÑĢиÑģÑĤианÑģкие":141724,"ĠÑħÑĢиÑģÑĤианÑģким":141725,"ĠÑĨаÑĢÑģÑĤвование":141726,"ĠÑĩеÑĤÑĭÑĢнадÑĨаÑĤи":141727,"ĠÑĩеÑĤÑĭÑĢнадÑĨаÑĤÑĮ":141728,"ĠÑĩÑĢезвÑĭÑĩайнÑĭÑħ":141729,"ĠÑįкÑģплÑĥаÑĤаÑĨиÑı":141730,"ĠÑįлекÑĤÑĢонного":141731,"ÐĸелезнодоÑĢожн":141732,"ÐŁÐµÑĤеÑĢбÑĥÑĢгÑģкий":141733,"болÑĮÑĪевиÑģÑĤÑģки":141734,"далÑĮневоÑģÑĤоÑĩн":141735,"диагноÑģÑĤиÑĩеÑģк":141736,"егиÑģÑĤÑĢиÑĢовано":141737,"земледелÑĮÑĩеÑģк":141738,"злокаÑĩеÑģÑĤвенн":141739,"конÑĨенÑĤÑĢиÑĢова":141740,"оздоÑĢовиÑĤелÑĮн":141741,"полиÑĤиÑĩеÑģкого":141742,"пÑĢиклÑİÑĩенÑĩеÑģк":141743,"пÑĢимеÑĩаÑĤелÑĮно":141744,"пÑĢоизводиÑĤелÑĮ":141745,"ÑįкономиÑĩеÑģкиÑħ":141746,"ÑįкономиÑĩеÑģкой":141747,"ĠÐIJдминиÑģÑĤÑĢаÑĨиÑı":141748,"ĠÐIJдмиÑĢалÑĤейÑģÑĤв":141749,"ĠÐķкаÑĤеÑĢиноÑģлав":141750,"ĠÐļонÑģÑĤиÑĤÑĥÑĨионн":141751,"ĠÐļÑĢаÑģноÑıÑĢÑģкого":141752,"ĠÐĽÐµÐ½Ð¸Ð½Ð³ÑĢадÑģком":141753,"ĠÐľÐµÐ¶Ð´ÑĥнаÑĢодном":141754,"ĠÐĿеобÑħодимоÑģÑĤÑĮ":141755,"ĠÐĿеÑĥдивиÑĤелÑĮно":141756,"ĠÐŁÐ¾ÑģÑĤановление":141757,"ĠÐŁÑĢигоÑĤовление":141758,"ĠÐŁÑĢоиÑģÑħождение":141759,"ĠСопÑĢоÑĤивлениÑı":141760,"ĠСÑĢедиземномоÑĢ":141761,"ĠСÑĢедневековÑĮÑı":141762,"ĠакадемиÑĩеÑģкой":141763,"ĠаналиÑĤиÑĩеÑģкой":141764,"ĠаÑĢÑĤиллеÑĢийÑģко":141765,"ĠаÑĢÑħиÑĤекÑĤÑĥÑĢнÑĭÑħ":141766,"ĠаÑģÑģоÑĨииÑĢÑĥеÑĤÑģÑı":141767,"ĠаÑĥÑĤенÑĤиÑĦикаÑĨи":141768,"ĠбезоговоÑĢоÑĩно":141769,"ĠбеÑģпозвоноÑĩнÑĭ":141770,"ĠбеÑģпÑĢеÑĨеденÑĤн":141771,"ĠблагопÑĢиÑıÑĤнÑĭе":141772,"ĠблагопÑĢиÑıÑĤнÑĭÑħ":141773,"ĠбожеÑģÑĤвенного":141774,"ĠбомбаÑĢдиÑĢовки":141775,"ĠвелиÑĩеÑģÑĤвенно":141776,"ĠводоÑģнабжениÑı":141777,"ĠводоÑħÑĢанилиÑīе":141778,"ĠвозвÑĭÑĪенноÑģÑĤи":141779,"ĠвоÑģпÑĢоизвеÑģÑĤи":141780,"ĠвÑĭздоÑĢовлениÑı":141781,"ĠгаÑĢанÑĤиÑĢоваÑĤÑĮ":141782,"ĠгоÑģподÑģÑĤвовал":141783,"ĠдиÑģкÑĢиминаÑĨии":141784,"ĠдобÑĢоволÑĮÑĩеÑģк":141785,"ĠдоÑģÑĤовеÑĢноÑģÑĤи":141786,"ĠдÑĢамаÑĤиÑĩеÑģкий":141787,"ĠзадолженноÑģÑĤÑĮ":141788,"ĠзамеÑĩаÑĤелÑĮнÑĭе":141789,"ĠзамеÑĩаÑĤелÑĮнÑĭм":141790,"ĠзамеÑĩаÑĤелÑĮнÑĭÑħ":141791,"ĠзаÑĦикÑģиÑĢоваÑĤÑĮ":141792,"ĠземлеÑĤÑĢÑıÑģение":141793,"ĠизбиÑĢаÑĤелÑĮнÑĭÑħ":141794,"ĠиздеваÑĤелÑĮÑģÑĤв":141795,"ĠинÑĤеллигенÑĨиÑı":141796,"ĠинÑĤеÑĢнаÑĨионал":141797,"ĠинÑĤеÑĢпÑĢеÑĤаÑĨиÑı":141798,"ĠиÑģкÑĥÑģÑģÑĤвеннÑĭе":141799,"ĠиÑģкÑĥÑģÑģÑĤвеннÑĭй":141800,"ĠиÑģкÑĥÑģÑģÑĤвеннÑĭм":141801,"ĠиÑģÑĤоÑĢиогÑĢаÑĦии":141802,"ĠкавалеÑĢийÑģкой":141803,"ĠквалиÑĦиÑĨиÑĢова":141804,"ĠкиноÑĦеÑģÑĤивале":141805,"ĠкиноÑĦеÑģÑĤивалÑı":141806,"ĠкоммеÑĢÑĩеÑģкого":141807,"ĠконÑģÑĤаÑĤиÑĢовал":141808,"ĠкоÑĢпоÑĢаÑĤивнÑĭÑħ":141809,"ĠмеждÑĥнаÑĢодное":141810,"ĠмеждÑĥнаÑĢоднÑĥÑİ":141811,"ĠмеÑģÑĤоÑĢождение":141812,"ĠмеÑĤаллиÑĩеÑģкий":141813,"ĠмеÑĤаллиÑĩеÑģким":141814,"ĠмеÑĤаллиÑĩеÑģкой":141815,"ĠмеÑħаниÑĩеÑģкого":141816,"ĠмоделиÑĢование":141817,"ĠмодиÑĦиÑĨиÑĢован":141818,"ĠнапÑĢÑıженноÑģÑĤи":141819,"ĠнапÑĢÑıженноÑģÑĤÑĮ":141820,"ĠнаÑĨионалиÑģÑĤов":141821,"ĠнепÑĢиÑıÑĤноÑģÑĤей":141822,"ĠнеÑģовеÑĢÑĪенÑģÑĤв":141823,"ĠнеÑģоÑģÑĤоÑıÑĤелÑĮн":141824,"ĠнеÑĥдивиÑĤелÑĮно":141825,"ĠоÑĢганизовÑĭвал":141826,"ĠоÑģÑĥÑīеÑģÑĤвлениÑİ":141827,"ĠоÑĤвеÑĤÑģÑĤвеннÑĭй":141828,"ĠоÑĤвеÑĤÑģÑĤвеннÑĭÑħ":141829,"ĠоÑĤвÑĢаÑĤиÑĤелÑĮно":141830,"ĠоÑĤождеÑģÑĤвлени":141831,"ĠоÑĤÑĢиÑĨаÑĤелÑĮнÑĭй":141832,"ĠоÑĤÑĢиÑĨаÑĤелÑĮнÑĭм":141833,"ĠоÑĤÑĢиÑĨаÑĤелÑĮнÑĭÑħ":141834,"ĠпаÑĢадокÑģалÑĮно":141835,"ĠпеÑĢвоиÑģÑĤоÑĩник":141836,"ĠпеÑĢедвигаÑĤÑĮÑģÑı":141837,"ĠпиÑīеваÑĢиÑĤелÑĮн":141838,"ĠподозÑĢеваемÑĭÑħ":141839,"ĠпожеÑĢÑĤвованиÑı":141840,"ĠпознакомилаÑģÑĮ":141841,"ĠполÑĮзоваÑĤелем":141842,"ĠпоÑģÑĤановлениÑİ":141843,"ĠпоÑģÑĤÑĢадавÑĪего":141844,"ĠпоÑģÑıгаÑĤелÑĮÑģÑĤв":141845,"ĠпоÑĤенÑĨиалÑĮнÑĭм":141846,"ĠпÑĢавоÑģлавного":141847,"ĠпÑĢевоÑģÑħодÑģÑĤва":141848,"ĠпÑĢедаÑĤелÑĮÑģÑĤво":141849,"ĠпÑĢедопÑĢеделен":141850,"ĠпÑĢедоÑģÑĤавлÑıем":141851,"ĠпÑĢедÑģÑĤавлениÑİ":141852,"ĠпÑĢедÑĥпÑĢеждаеÑĤ":141853,"ĠпÑĢеждевÑĢеменн":141854,"ĠпÑĢенебÑĢежение":141855,"ĠпÑĢеподаваÑĤели":141856,"ĠпÑĢепÑıÑĤÑģÑĤвовал":141857,"ĠпÑĢивÑıзанноÑģÑĤи":141858,"ĠпÑĢивÑıзанноÑģÑĤÑĮ":141859,"ĠпÑĢидеÑĢживалÑģÑı":141860,"ĠпÑĢимеÑĩаÑĤелÑĮнÑĭ":141861,"ĠпÑĢинадлежаÑīие":141862,"ĠпÑĢинадлежаÑīий":141863,"ĠпÑĢиÑģоединение":141864,"ĠпÑĢиÑģпоÑģаблива":141865,"ĠпÑĢоизводилиÑģÑĮ":141866,"ĠпÑĢоизоÑĪедÑĪего":141867,"ĠпÑĢомежÑĥÑĤоÑĩнÑĭÑħ":141868,"ĠпÑĢоникновение":141869,"ĠпÑĢоÑĤиволодоÑĩн":141870,"ĠпÑĢоÑĤÑıжÑijнноÑģÑĤÑĮ":141871,"ĠпÑĥÑĤеÑĪеÑģÑĤвовал":141872,"ĠÑĢазвеÑĢÑĤÑĭваниÑı":141873,"ĠÑĢазвиваÑİÑīиÑħÑģÑı":141874,"ĠÑĢазÑĢÑĥÑĪиÑĤелÑĮно":141875,"ĠÑĢаÑģпознаваниÑı":141876,"ĠÑĢаÑģположилиÑģÑĮ":141877,"ĠÑĢаÑģпоÑĢÑıжаÑĤÑĮÑģÑı":141878,"ĠÑĢаÑģÑģледованиÑİ":141879,"ĠÑĢеализовÑĭваÑĤÑĮ":141880,"ĠÑĢеволÑİÑĨионнÑĭм":141881,"ĠÑĢемеÑģленников":141882,"ĠÑĢеоÑĢганизован":141883,"ĠÑĢепÑĢеÑģÑģиÑĢован":141884,"ĠÑĢодонаÑĩалÑĮник":141885,"ĠÑĢоманÑĤиÑĩеÑģкой":141886,"ĠÑģбаланÑģиÑĢован":141887,"ĠÑģинÑħÑĢонизаÑĨии":141888,"ĠÑģопÑĢовождение":141889,"ĠÑģоÑģÑĢедоÑĤоÑĩиÑĤÑĮ":141890,"ĠÑģоÑħÑĢанивÑĪиÑħÑģÑı":141891,"ĠÑģпеÑĨиализаÑĨии":141892,"ĠÑģпеÑĨиалÑĮноÑģÑĤÑĮ":141893,"ĠÑģпеÑĨиÑĦиÑĩеÑģкие":141894,"ĠÑģпеÑĨиÑĦиÑĩеÑģким":141895,"ĠÑģпеÑĨиÑĦиÑĩеÑģкиÑħ":141896,"ĠÑģÑĢедневековÑĮÑı":141897,"ĠÑģÑĤабилизиÑĢова":141898,"ĠÑģÑĤилиÑģÑĤиÑĩеÑģки":141899,"ĠÑĤелевизионнÑĭÑħ":141900,"ĠÑĥдовлеÑĤвоÑĢÑıеÑĤ":141901,"ĠÑĥдовлеÑĤвоÑĢÑıÑĤÑĮ":141902,"ĠÑĥдоÑģÑĤовеÑĢение":141903,"ĠÑĥкомплекÑĤован":141904,"ĠÑĥнивеÑĢÑģалÑĮнÑĭй":141905,"ĠÑĥÑģÑĤанавливаем":141906,"ĠÑħозÑıйÑģÑĤвеннÑĭй":141907,"ĠÑĨивилизованно":141908,"ĠÑĩÑĥвÑģÑĤвиÑĤелÑĮно":141909,"ĠÑįкологиÑĩеÑģкой":141910,"ĠÑįлекÑĤÑĢиÑĩеÑģким":141911,"ĠÑįмоÑĨионалÑĮнÑĭе":141912,"ĠÑįмоÑĨионалÑĮнÑĭй":141913,"ĠÑįмоÑĨионалÑĮнÑĭÑħ":141914,"ÑįкÑģплÑĥаÑĤаÑĨионн":141915,"ĠÐIJÑĤланÑĤиÑĩеÑģкого":141916,"ĠÐĴеликобÑĢиÑĤаниÑİ":141917,"ĠÐĴÑģеÑĢоÑģÑģийÑģкого":141918,"ĠÐļÑĢаÑģнодаÑĢÑģкого":141919,"ĠÐľÐ½Ð¾Ð³Ð¾ÑĩиÑģленнÑĭе":141920,"ĠÐŁÑĢедполагалоÑģÑĮ":141921,"ĠавÑĤобиогÑĢаÑĦиÑĩе":141922,"ĠавÑĤомаÑĤиÑĩеÑģкой":141923,"ĠадминиÑģÑĤÑĢаÑĨией":141924,"ĠакадемиÑĩеÑģкого":141925,"ĠаÑĢÑĤиллеÑĢийÑģкие":141926,"ĠаÑĢÑĤиллеÑĢийÑģким":141927,"ĠбиологиÑĩеÑģкого":141928,"ĠблагоÑģоÑģÑĤоÑıниÑı":141929,"ĠвзаимодейÑģÑĤвий":141930,"ĠвоенноÑģлÑĥжаÑīие":141931,"ĠвоздейÑģÑĤвоваÑĤÑĮ":141932,"ĠвознагÑĢаждениÑı":141933,"ĠвÑĭÑĩиÑģлиÑĤелÑĮной":141934,"ĠгÑĢадоÑģÑĤÑĢоиÑĤелÑĮ":141935,"ĠдейÑģÑĤвиÑĤелÑĮнÑĭй":141936,"ĠдейÑģÑĤвиÑĤелÑĮнÑĭм":141937,"ĠдемонÑģÑĤÑĢаÑĤивно":141938,"ĠдокÑĥменÑĤалÑĮнÑĭй":141939,"ĠдополниÑĤелÑĮнаÑı":141940,"ĠдÑĢамаÑĤиÑĩеÑģкого":141941,"ĠединомÑĭÑĪленник":141942,"ĠеÑģÑĤеÑģÑĤвознаниÑı":141943,"ĠзакономеÑĢноÑģÑĤÑĮ":141944,"ĠзападноевÑĢопей":141945,"ĠзаÑĤÑĢÑĥдниÑĤелÑĮно":141946,"ĠидеологиÑĩеÑģкой":141947,"ĠизбиÑĢаÑĤелÑĮного":141948,"ĠимпеÑĢиалиÑģÑĤиÑĩе":141949,"ĠинвеÑģÑĤиÑĨионнÑĭÑħ":141950,"ĠиндивидÑĥалÑĮнÑĭй":141951,"ĠинÑĦоÑĢмаÑĨионнÑĭе":141952,"ĠинÑĦоÑĢмаÑĨионнÑĭй":141953,"ĠинÑĦоÑĢмаÑĨионнÑĭм":141954,"ĠиÑģклÑİÑĩиÑĤелÑĮнÑĭÑħ":141955,"ĠкомпенÑģиÑĢоваÑĤÑĮ":141956,"ĠконÑģÑĤиÑĤÑĥÑĨионно":141957,"ĠкÑĢовообÑĢаÑīениÑı":141958,"ĠлаÑĤиноамеÑĢикан":141959,"ĠмеÑĤодологиÑĩеÑģк":141960,"ĠмногоÑĩиÑģленнÑĭм":141961,"ĠнаÑģÑĤÑĥпаÑĤелÑĮной":141962,"ĠнаÑģÑĤÑĥпаÑĤелÑĮнÑĭÑħ":141963,"ĠнаÑĨионалиÑģÑĤиÑĩе":141964,"ĠнеблагопÑĢиÑıÑĤно":141965,"ĠнеÑĥдовлеÑĤвоÑĢен":141966,"ĠобеÑģпеÑĩиваÑİÑīие":141967,"ĠобеÑģпеÑĩиваÑİÑīиÑħ":141968,"ĠобоÑĢониÑĤелÑĮнÑĭе":141969,"ĠобоÑĢониÑĤелÑĮнÑĭÑħ":141970,"ĠобÑīенаÑĨионалÑĮн":141971,"ĠобÑīеÑĩеловеÑĩеÑģк":141972,"ĠогнеÑģÑĤÑĢелÑĮного":141973,"ĠопÑĥбликованном":141974,"ĠоÑĢганизовÑĭваÑĤÑĮ":141975,"ĠоÑģновополагаÑİÑī":141976,"ĠоÑģновоположник":141977,"ĠоÑģÑĥÑīеÑģÑĤвлÑıлаÑģÑĮ":141978,"ĠоÑģÑĥÑīеÑģÑĤвлÑıлоÑģÑĮ":141979,"ĠпедагогиÑĩеÑģкий":141980,"ĠпедагогиÑĩеÑģкиÑħ":141981,"ĠпедагогиÑĩеÑģкой":141982,"ĠпеÑĢвонаÑĩалÑĮнÑĭй":141983,"ĠпеÑĢеобоÑĢÑĥдован":141984,"ĠпеÑĢеÑĦоÑĢмиÑĢован":141985,"ĠпеÑĤеÑĢбÑĥÑĢгÑģкого":141986,"ĠповеÑģÑĤвоваÑĤелÑĮ":141987,"ĠподÑĢазделÑıÑİÑĤÑģÑı":141988,"ĠподÑģознаÑĤелÑĮно":141989,"ĠположиÑĤелÑĮного":141990,"ĠпÑĢедоÑħÑĢаниÑĤелÑĮ":141991,"ĠпÑĢедпоÑĩÑĤиÑĤелÑĮн":141992,"ĠпÑĢедÑĢаÑģположен":141993,"ĠпÑĢедÑģÑĤавлÑıлоÑģÑĮ":141994,"ĠпÑĢедÑģÑĤавлÑıÑİÑīие":141995,"ĠпÑĢедÑģÑĤавлÑıÑİÑīий":141996,"ĠпÑĢедÑģÑĤавлÑıÑİÑīиÑħ":141997,"ĠпÑĢедÑĪеÑģÑĤвÑĥÑİÑīиÑħ":141998,"ĠпÑĢеждевÑĢеменно":141999,"ĠпÑĢивеÑĢженноÑģÑĤÑĮ":142000,"ĠпÑĢидеÑĢживаеÑĤÑģÑı":142001,"ĠпÑĢидеÑĢживаÑİÑĤÑģÑı":142002,"ĠпÑĢиÑģоединилаÑģÑĮ":142003,"ĠпÑĢиÑģоединÑıеÑĤÑģÑı":142004,"ĠпÑĢиÑģпоÑģобление":142005,"ĠпÑĢиÑģÑĥÑĤÑģÑĤвовавÑĪ":142006,"ĠпÑĢогнозиÑĢовани":142007,"ĠпÑĢоекÑĤиÑĢовании":142008,"ĠпÑĢоÑģлеживаеÑĤÑģÑı":142009,"ĠпÑĢоÑģÑĥÑīеÑģÑĤвовал":142010,"ĠпÑĢоÑĤивопоказан":142011,"ĠпÑĢоÑĦеÑģÑģионалов":142012,"ĠпÑĥÑĤеÑĪеÑģÑĤвоваÑĤÑĮ":142013,"ĠÑĢадиолокаÑĨионн":142014,"ĠÑĢазновидноÑģÑĤей":142015,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢаниÑĤÑĮ":142016,"ĠÑĢаÑģÑĤиÑĤелÑĮноÑģÑĤи":142017,"ĠÑĢедакÑĤиÑĢованиÑı":142018,"ĠÑģамооÑĤвеÑĢженно":142019,"ĠÑģовеÑĢÑĪенÑģÑĤвова":142020,"ĠÑģопÑĢоÑĤивлÑıÑĤÑĮÑģÑı":142021,"ĠÑģÑĢедневекового":142022,"ĠÑģÑĤÑĢаÑĤегиÑĩеÑģкой":142023,"ĠÑģÑĥдоÑģÑĤÑĢоиÑĤелÑĮн":142024,"ĠÑĤÑĢанÑģÑĦоÑĢмиÑĢова":142025,"ĠÑĥÑĢегÑĥлиÑĢованиÑı":142026,"ĠÑĦÑĥнкÑĨионалÑĮнÑĭе":142027,"ĠÑĦÑĥнкÑĨионалÑĮнÑĭÑħ":142028,"ĠÑĦÑĥнкÑĨиониÑĢовал":142029,"ĠÑħаÑĢакÑĤеÑĢизовал":142030,"ĠÑħозÑıйÑģÑĤвенного":142031,"ĠÑħÑĥдожеÑģÑĤвеннаÑı":142032,"ĠÑħÑĥдожеÑģÑĤвеннÑĥÑİ":142033,"ĠÑįлекÑĤÑĢоÑģÑĤанÑĨии":142034,"ĠÑįлекÑĤÑĢоÑģÑĤанÑĨий":142035,"ĠÑįмоÑĨионалÑĮного":142036,"ĠÑįнеÑĢгеÑĤиÑĩеÑģкой":142037,"воÑģÑģÑĤановиÑĤелÑĮн":142038,"демокÑĢаÑĤиÑĩеÑģкаÑı":142039,"оÑģвободиÑĤелÑĮной":142040,"пÑĢавиÑĤелÑĮÑģÑĤвенн":142041,"ÑĤеÑĢÑĢиÑĤоÑĢиалÑĮнаÑı":142042,"ĠÐIJдминиÑģÑĤÑĢаÑĤивно":142043,"ĠÐĵоÑģÑĥдаÑĢÑģÑĤвенном":142044,"ĠÐĵоÑģÑĥдаÑĢÑģÑĤвеннÑĥÑİ":142045,"ĠÐļонÑģÑĤанÑĤинополÑı":142046,"ĠÐĿепоÑģÑĢедÑģÑĤвенно":142047,"ĠаÑĢиÑģÑĤокÑĢаÑĤиÑĩеÑģк":142048,"ĠаÑĢÑħеологиÑĩеÑģкиÑħ":142049,"ĠвоÑģполÑĮзовалиÑģÑĮ":142050,"ĠвоÑģпÑĢоизведениÑı":142051,"ĠвоÑģÑģÑĤанавливаÑĤÑĮ":142052,"ĠвÑģпомогаÑĤелÑĮнÑĭе":142053,"ĠвÑģпомогаÑĤелÑĮнÑĭÑħ":142054,"ĠвÑĭÑģококаÑĩеÑģÑĤвен":142055,"ĠгеогÑĢаÑĦиÑĩеÑģкого":142056,"ĠгоÑģбезопаÑģноÑģÑĤи":142057,"ĠдипломаÑĤиÑĩеÑģкой":142058,"ĠдиÑĦÑĦеÑĢенÑĨиÑĢован":142059,"ĠжелезнодоÑĢожник":142060,"ĠжелезнодоÑĢожнÑĭе":142061,"ĠжелезнодоÑĢожнÑĭй":142062,"ĠзаблаговÑĢеменно":142063,"ĠзакономеÑĢноÑģÑĤей":142064,"ĠзаÑĢегиÑģÑĤÑĢиÑĢовал":142065,"ĠзлоÑĥпоÑĤÑĢеблениÑı":142066,"ĠинÑĤеллекÑĤÑĥалÑĮно":142067,"ĠинÑĤеÑĢнаÑĨионалÑĮн":142068,"ĠконÑĤиненÑĤалÑĮнÑĭй":142069,"ĠконÑĦиденÑĨиалÑĮно":142070,"ĠконÑĨенÑĤÑĢиÑĢованн":142071,"ĠмеÑģÑĤонаÑħождение":142072,"ĠмеÑĤаллÑĥÑĢгиÑĩеÑģко":142073,"ĠмеÑĤеоÑĢологиÑĩеÑģк":142074,"ĠмикÑĢооÑĢганизмов":142075,"ĠнаÑĨионалÑĮноÑģÑĤей":142076,"ĠнеблагопÑĢиÑıÑĤнÑĭÑħ":142077,"ĠнепÑĢодолжиÑĤелÑĮн":142078,"ĠоÑħаÑĢакÑĤеÑĢизовал":142079,"ĠпеÑĢеÑĢаÑģпÑĢеделен":142080,"ĠпоинÑĤеÑĢеÑģовалÑģÑı":142081,"ĠполÑĥпÑĢоводников":142082,"ĠпÑĢедводиÑĤелÑĮÑģÑĤв":142083,"ĠпÑĢедпÑĢинимаÑĤели":142084,"ĠпÑĢоÑĤиводейÑģÑĤвие":142085,"ĠпÑĢоÑĤивоположнÑĥÑİ":142086,"ĠпÑĢоÑĤивоÑĤанковÑĭÑħ":142087,"ĠпÑĢоÑĦеÑģÑģионализм":142088,"ĠпÑģиÑħологиÑĩеÑģкаÑı":142089,"ĠпÑģиÑħологиÑĩеÑģкое":142090,"ĠÑĢазвоÑĢаÑĩиваеÑĤÑģÑı":142091,"ĠÑĢаÑģÑģмаÑĤÑĢивалиÑģÑĮ":142092,"ĠÑĢеконÑģÑĤÑĢÑĥиÑĢован":142093,"ĠÑĢеÑģпÑĥбликанÑģкой":142094,"ĠÑĢÑĥководÑģÑĤвоваÑĤÑĮ":142095,"ĠÑģамоÑģÑĤоÑıÑĤелÑĮнÑĥÑİ":142096,"ĠÑģамоÑģÑĤоÑıÑĤелÑĮнÑĭе":142097,"ĠÑģамоÑģÑĤоÑıÑĤелÑĮнÑĭй":142098,"ĠÑģамоÑģÑĤоÑıÑĤелÑĮнÑĭм":142099,"ĠÑģамоÑģÑĤоÑıÑĤелÑĮнÑĭÑħ":142100,"ĠÑģобÑģÑĤвенноÑĢÑĥÑĩно":142101,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīаÑı":142102,"ĠÑģооÑĤвеÑĤÑģÑĤвÑĥÑİÑīем":142103,"ĠÑģопÑĢикоÑģновениÑı":142104,"ĠÑĤÑĢанÑģпоÑĢÑĤиÑĢовки":142105,"ĠÑĦÑĥндаменÑĤалÑĮнÑĭе":142106,"ĠÑĦÑĥнкÑĨиониÑĢоваÑĤÑĮ":142107,"ĠÑħаÑĢакÑĤеÑĢизÑĥÑİÑĤÑģÑı":142108,"ĠÑįкÑģпеÑĢименÑĤаÑĤоÑĢ":142109,"ĠÑįлекÑĤÑĢодвигаÑĤел":142110,"ĠÑįнÑĨиклопедиÑĩеÑģк":142111,"ÐŁÑĢедположиÑĤелÑĮно":142112,"админиÑģÑĤÑĢаÑĤивной":142113,"админиÑģÑĤÑĢаÑĤивнÑĭе":142114,"амоÑģÑĤоÑıÑĤелÑĮноÑģÑĤÑĮ":142115,"апиÑĤалиÑģÑĤиÑĩеÑģкиÑħ":142116,"беÑģпÑĢепÑıÑĤÑģÑĤвенно":142117,"беÑģÑģознаÑĤелÑĮного":142118,"взаимооÑĤноÑĪениÑıÑħ":142119,"воÑģполÑĮзовавÑĪиÑģÑĮ":142120,"вÑĭÑģокоÑĤеÑħнологиÑĩ":142121,"жеÑĢÑĤвопÑĢиноÑĪениÑı":142122,"заимодейÑģÑĤвоваÑĤÑĮ":142123,"заÑĢегиÑģÑĤÑĢиÑĢовано":142124,"иденÑĤиÑĦиÑĨиÑĢоваÑĤÑĮ":142125,"индивидÑĥалÑĮноÑģÑĤи":142126,"индивидÑĥалÑĮноÑģÑĤÑĮ":142127,"инÑĤеллекÑĤÑĥалÑĮнÑĭÑħ":142128,"инÑĤеÑĢпÑĢеÑĤиÑĢоваÑĤÑĮ":142129,"иÑģÑģледоваÑĤелÑĮÑģки":142130,"квалиÑĦиÑĨиÑĢованнÑĭ":142131,"коммÑĥниÑģÑĤиÑĩеÑģкиÑħ":142132,"неопÑĢеделенноÑģÑĤи":142133,"неÑģанкÑĨиониÑĢован":142134,"неÑģпÑĢаведливоÑģÑĤи":142135,"нÑĤеллекÑĤÑĥалÑĮного":142136,"обÑĢазоваÑĤелÑĮного":142137,"овеÑĢÑĪенÑģÑĤвованиÑİ":142138,"поÑģледоваÑĤелÑĮнÑĭÑħ":142139,"пÑĢедоÑģÑĤоÑĢожноÑģÑĤи":142140,"пÑĢедÑģÑĤавиÑĤелÑĮÑģÑĤв":142141,"пÑĢогÑĢаммиÑĢование":142142,"пÑĢокомменÑĤиÑĢовал":142143,"пÑĢоÑĤивоположного":142144,"пÑĢоÑĤивопоÑģÑĤавиÑĤÑĮ":142145,"пÑĢоÑĦеÑģÑģионалÑĮнаÑı":142146,"ÑĢазведÑĭваÑĤелÑĮной":142147,"ÑĢазведÑĭваÑĤелÑĮнÑĭÑħ":142148,"ÑĢаÑģпÑĢоÑģÑĤÑĢаненнÑĭÑħ":142149,"ÑĢеÑģпÑĥбликанÑģкого":142150,"ÑģамоÑģÑĤоÑıÑĤелÑĮного":142151,"ÑģвидеÑĤелÑĮÑģÑĤвовал":142152,"ÑģовеÑĢÑĪенÑģÑĤвоваÑĤÑĮ":142153,"ÑģÑģледоваÑĤелÑĮÑģкой":142154,"ÑĤеÑĢÑĢоÑĢиÑģÑĤиÑĩеÑģкиÑħ":142155,"ÑĦÑĥнкÑĨионалÑĮноÑģÑĤÑĮ":142156,"ÑĦÑĥнкÑĨиониÑĢование":142157,"ÑħаÑĢакÑĤеÑĢиÑģÑĤиками":142158,"ÑĨелеÑģообÑĢазноÑģÑĤи":142159,"ÐIJÑħ":142160,"ÐIJÑı":142161,"ÐijÑħ":142162,"ÐĴÐĽ":142163,"ÐĵТ":142164,"ÐĶÐĿ":142165,"ÐĶв":142166,"ÐĹÑĥ":142167,"ÐļÐ¥":142168,"ÐľÑĥ":142169,"ÐŀЧ":142170,"ÐŀÑĩ":142171,"СÐĶ":142172,"ЮÐij":142173,"аÑĨ":142174,"аÑį":142175,"гÑĤ":142176,"дÑĤ":142177,"мп":142178,"оÑij":142179,"ÑĦÑĮ":142180,"ÑĦÑİ":142181,"PLA":142182,"rrh":142183,"xsl":142184,"ĠÐIJÑį":142185,"ĠÐĴд":142186,"ĠÐĵн":142187,"ĠÐļÐĺ":142188,"ĠÐļÑĭ":142189,"ĠÐļÑij":142190,"ĠÐĽÐĶ":142191,"ĠÐĿС":142192,"ĠÐŀÑī":142193,"ĠÐŁÑħ":142194,"ĠÐŁÑĮ":142195,"ĠТв":142196,"ĠШв":142197,"ĠШк":142198,"ĠЮÑģ":142199,"Ġай":142200,"ĠаÑĦ":142201,"ĠаÑĨ":142202,"Ġви":142203,"ĠеÑĢ":142204,"ĠмÑı":142205,"ĠÑģа":142206,"ĠÑģг":142207,"ĠÑģи":142208,"ĠÑĨа":142209,"ĠÑįй":142210,"ÐijаÑĤ":142211,"ÐijÑįÑĤ":142212,"ÐĴÐŀÐĽ":142213,"ÐĴеÑĤ":142214,"ÐĴиÑĪ":142215,"ÐĵÐijТ":142216,"ÐĵиÑĢ":142217,"ÐĶÐIJÐŁ":142218,"ÐĶÐĿÐ¥":142219,"Ðĸиг":142220,"ÐĸÑijл":142221,"ÐĹаб":142222,"ÐĺÐĹÐŀ":142223,"Ðĺнг":142224,"ÐĺÑĤа":142225,"ÐļÑĥз":142226,"ÐĽÐIJÐĵ":142227,"ÐĽÐµÐº":142228,"ÐľÐµÑĦ":142229,"ÐľÐ¾Ð´":142230,"ÐĿУТ":142231,"ÐĿем":142232,"ÐĿоÑĢ":142233,"ÐŀÐłÐľ":142234,"ÐŀЧÐĿ":142235,"ÐŀÑģÑĤ":142236,"ÐŁÐķТ":142237,"ÐłÐ°Ñħ":142238,"ÐłÑĭб":142239,"Сим":142240,"СпÑĢ":142241,"СÑĥл":142242,"ТиÑĤ":142243,"ТÑĥп":142244,"УÐijÐĶ":142245,"Уим":142246,"ХоÑĤ":142247,"ЧÐĺТ":142248,"Чай":142249,"ЧÑĥд":142250,"ШаÑħ":142251,"ÐŃкз":142252,"ÐŃÑĤÑĮ":142253,"Ябл":142254,"адÑĥ":142255,"ажи":142256,"ако":142257,"анÑĪ":142258,"апÑģ":142259,"аÑĢн":142260,"аÑĤк":142261,"баг":142262,"бом":142263,"вае":142264,"взÑı":142265,"вие":142266,"воб":142267,"вÑĥÑģ":142268,"вÑıж":142269,"вÑijÑĢ":142270,"гем":142271,"гÑĩе":142272,"даж":142273,"дап":142274,"дил":142275,"еби":142276,"евк":142277,"ееÑĨ":142278,"емк":142279,"еÑĤн":142280,"еÑĪк":142281,"жао":142282,"жид":142283,"жне":142284,"жÑĥж":142285,"заг":142286,"заÑģ":142287,"заÑī":142288,"зÑĭл":142289,"иал":142290,"ижк":142291,"ийÑĨ":142292,"инз":142293,"ипи":142294,"иÑģе":142295,"иÑĦÑĤ":142296,"иÑħÑĥ":142297,"ккÑĥ":142298,"кни":142299,"лий":142300,"лÑĭл":142301,"мпÑĦ":142302,"мÑĭк":142303,"мÑįн":142304,"мÑıÑĤ":142305,"нгл":142306,"нел":142307,"ноб":142308,"нÑıг":142309,"овÑĨ":142310,"озÑĮ":142311,"оим":142312,"оиÑĨ":142313,"ойÑģ":142314,"онÑĦ":142315,"ооÑī":142316,"оÑģÑĢ":142317,"оÑģÑħ":142318,"оÑĦÑĢ":142319,"оÑĪа":142320,"оÑĪл":142321,"оÑīа":142322,"оÑijв":142323,"пеп":142324,"пеÑĨ":142325,"поÑħ":142326,"пÑĭл":142327,"ÑĢеÑī":142328,"ÑĢÑĥÑİ":142329,"ÑĢÑĭж":142330,"ÑģÑıн":142331,"ÑĤев":142332,"ÑĤкн":142333,"ÑĤое":142334,"ÑĤÑĭе":142335,"ÑĤÑĮÑİ":142336,"Ñĥбн":142337,"ÑĥгÑĢ":142338,"Ñĥле":142339,"ÑĥлÑĥ":142340,"Ñĥпл":142341,"ÑĥпÑĮ":142342,"ÑĥÑĢи":142343,"ÑĥÑīе":142344,"ÑĦиб":142345,"ÑĦли":142346,"ÑĦÑıн":142347,"Ñħае":142348,"Ñħаз":142349,"ÑħиÑĤ":142350,"Ñħни":142351,"ÑĨек":142352,"ÑĨог":142353,"ÑĪеи":142354,"ÑĬез":142355,"ÑĬÑijм":142356,"ÑĭÑģл":142357,"ÑĮез":142358,"ÑĮоÑĢ":142359,"ÑĮÑıÑħ":142360,"Ñįйв":142361,"ÑįйÑİ":142362,"Ñįкв":142363,"ÑįÑĤл":142364,"ÑİÑįл":142365,"ÑİÑİÑī":142366,"ÑıдÑı":142367,"Ñıнк":142368,"Ġibn":142369,"Benz":142370,"Lith":142371,"ambo":142372,"eiss":142373,"glyc":142374,"greS":142375,"hark":142376,"hief":142377,"phor":142378,"phyl":142379,"shev":142380,"wicz":142381,"ĠÐIJÑĢÑģ":142382,"ĠÐĴÐIJШ":142383,"ĠÐĴаÑħ":142384,"ĠÐĴаÑĨ":142385,"ĠÐĴÑıз":142386,"ĠÐĵÐĵÑĨ":142387,"ĠÐĵлÑı":142388,"ĠÐĵÑİн":142389,"ĠÐĶип":142390,"ĠÐĶиÑĤ":142391,"ĠÐĶÑıг":142392,"ĠÐķвÑĦ":142393,"ĠÐĸÐļÐ¥":142394,"ĠÐĸел":142395,"ĠÐĸиз":142396,"ĠÐĺпп":142397,"ĠÐļаг":142398,"ĠÐļеп":142399,"ĠÐļÑĢÑİ":142400,"ĠÐĽÐ¡ÐĶ":142401,"ĠÐĽÐ®Ðij":142402,"ĠÐĽÐ¾Ð¿":142403,"ĠÐĿÑįн":142404,"ĠÐŀÐIJÐŃ":142405,"ĠÐŀнÑĤ":142406,"ĠÐŁÑĭл":142407,"ĠÐŁÑĭÑĤ":142408,"ĠÐłÐµÐ¼":142409,"ĠСÐIJÐĿ":142410,"ĠСкв":142411,"ĠСпи":142412,"ĠСÑĥз":142413,"ĠСÑĥÑī":142414,"ĠСÑĬе":142415,"ĠТÑİм":142416,"ĠТÑıг":142417,"ĠУин":142418,"ĠУок":142419,"ĠУоÑĤ":142420,"ĠФоÑĤ":142421,"ĠШÑĥк":142422,"ĠÐŃле":142423,"ĠÐŃÑĦÑĦ":142424,"Ġагл":142425,"ĠаÑĢÑĮ":142426,"ĠаÑįÑĢ":142427,"ĠбÑİл":142428,"Ġвик":142429,"Ġвон":142430,"ĠвоÑĨ":142431,"ĠвÑĭй":142432,"ĠгиÑĢ":142433,"Ġзиг":142434,"Ġзод":142435,"ĠиÑģл":142436,"ĠиÑģÑĨ":142437,"Ġког":142438,"Ġлез":142439,"ĠлÑĥн":142440,"ĠмиÑĩ":142441,"ĠмоÑĩ":142442,"ĠмÑģÑĤ":142443,"ĠниÑī":142444,"ĠнÑĥм":142445,"ĠоÑĢе":142446,"ĠоÑĤк":142447,"Ġпаг":142448,"ĠпгÑĤ":142449,"Ġпед":142450,"ĠÑĢаÑĤ":142451,"ĠÑĢел":142452,"ĠÑģав":142453,"ĠÑģиÑĦ":142454,"ĠÑģÑģÑĭ":142455,"ĠÑģÑĥг":142456,"ĠÑĤеÑĤ":142457,"ĠÑĥÑĩа":142458,"ĠÑĦей":142459,"ĠÑĦеÑĤ":142460,"ĠÑĦеÑħ":142461,"ĠÑĦиÑĤ":142462,"ĠÑĦÑĥг":142463,"ĠÑħлÑĭ":142464,"ĠÑĨиÑĢ":142465,"ĠÑĨÑĥн":142466,"ĠÑĩаÑĢ":142467,"ĠÑĩеп":142468,"ĠÑĪаÑĪ":142469,"ĠÑĪиз":142470,"ĠÑĪкв":142471,"ĠÑīег":142472,"ĠÑįÑĢÑĨ":142473,"ĠÑİÑĢÑĤ":142474,"ĠÑıиÑĩ":142475,"ÐIJван":142476,"ÐIJÑıкÑģ":142477,"ÐijÐ£ÐłÐĵ":142478,"ÐijаÑĢÑģ":142479,"ÐijÑĢÑĥк":142480,"ÐijÑħаг":142481,"ÐĴедÑĮ":142482,"ÐĴоÑģÑĤ":142483,"ÐĴоÑģÑĮ":142484,"ÐĴÑģем":142485,"ÐĴÑĭÑģо":142486,"ÐĵТÐŀÐĿ":142487,"ÐĵиÑĢе":142488,"ÐĶени":142489,"ÐĶожд":142490,"ÐķниÑģ":142491,"ÐĸÑijлÑĤ":142492,"ÐĹÑĥев":142493,"ÐĺнÑĨи":142494,"Ðļажд":142495,"Ðļлив":142496,"ÐļÑĢов":142497,"ÐľÐ°Ð½Ñģ":142498,"ÐľÐ°Ñıк":142499,"ÐľÐµÐºÑģ":142500,"ÐľÐµÑĤе":142501,"ÐĿаÑĨи":142502,"ÐŀÐĴÐĺЧ":142503,"ÐŀпÑĭÑĤ":142504,"ÐŀÑħоÑĤ":142505,"ÐŁÐ»Ð°Ð½":142506,"ÐŁÑĢак":142507,"ÐŁÑĢиз":142508,"ÐŁÑĢов":142509,"ÐŁÑĢок":142510,"СÐļÐĺÐķ":142511,"СТÐĴÐIJ":142512,"Ð¡Ð¢ÐłÐŀ":142513,"СедÑĮ":142514,"СиÑĢи":142515,"Сказ":142516,"СлÑĥж":142517,"Созд":142518,"СпаÑģ":142519,"СÑĤÑĢо":142520,"ТÑĢаг":142521,"ТÑĢак":142522,"ФÐŀÐłÐľ":142523,"ФеÑģÑĤ":142524,"ХоÑĤÑı":142525,"ЦиÑĢк":142526,"ЧÐIJСТ":142527,"ЧиÑģл":142528,"ЧÑĥдо":142529,"ШаÑħÑĤ":142530,"ШÑĤÑĥÑĤ":142531,"ÐŃнеÑĢ":142532,"абол":142533,"авиÑı":142534,"адан":142535,"адÑģк":142536,"адÑĮб":142537,"айÑĪе":142538,"алеÑİ":142539,"алии":142540,"алÑĮÑģ":142541,"амей":142542,"амÑģк":142543,"аной":142544,"аноÑį":142545,"анÑĤн":142546,"анÑĮÑĩ":142547,"апно":142548,"аÑĢди":142549,"аÑĢев":142550,"аÑĢио":142551,"аÑĢиÑİ":142552,"аÑĢнÑĭ":142553,"аÑĢÑıг":142554,"аÑģий":142555,"аÑģÑĨи":142556,"аÑĤки":142557,"аÑĤÑĤл":142558,"аÑĤÑĭÑħ":142559,"аÑĨеÑĤ":142560,"аÑīим":142561,"аÑįдÑĢ":142562,"бежк":142563,"белл":142564,"бÑĥкÑģ":142565,"бÑĥÑĢн":142566,"бÑĮÑijÑĤ":142567,"ваÑģÑĤ":142568,"веÑĢк":142569,"веÑģи":142570,"вооÑĤ":142571,"вÑģÑıк":142572,"вÑĨев":142573,"вÑıзи":142574,"вÑijÑĢк":142575,"гадк":142576,"ганг":142577,"гаÑĢÑĤ":142578,"глÑıÑħ":142579,"голо":142580,"гÑĢиÑİ":142581,"гÑĩен":142582,"даÑĦи":142583,"деÑĤн":142584,"джÑĥк":142585,"днеп":142586,"дÑĥÑĨи":142587,"дÑĭма":142588,"ебнÑĭ":142589,"евед":142590,"егал":142591,"егид":142592,"едло":142593,"екен":142594,"екÑĤÑĢ":142595,"елин":142596,"елÑģÑı":142597,"елÑĮÑĨ":142598,"елÑİб":142599,"емал":142600,"емеÑı":142601,"енов":142602,"енÑıм":142603,"еппе":142604,"еппо":142605,"епÑģи":142606,"еÑĢÑĪа":142607,"еÑģей":142608,"еÑģоÑģ":142609,"еÑĤан":142610,"еÑĨиÑİ":142611,"еÑĨко":142612,"еÑĩей":142613,"еÑīив":142614,"жидк":142615,"жимо":142616,"заве":142617,"запÑĢ":142618,"заÑĨи":142619,"зией":142620,"злÑİб":142621,"зойд":142622,"зоÑģÑĤ":142623,"ианÑĤ":142624,"ивии":142625,"изод":142626,"икам":142627,"икÑģк":142628,"илиÑģ":142629,"иллÑİ":142630,"имÑģк":142631,"имÑĭÑħ":142632,"инад":142633,"инÑģÑĤ":142634,"инÑĥÑĤ":142635,"иÑĢиÑģ":142636,"иÑĢÑıз":142637,"иÑģон":142638,"иÑĨиÑĢ":142639,"иÑĩей":142640,"йдÑijм":142641,"каÑģп":142642,"каÑģÑĤ":142643,"ковÑĭ":142644,"колÑĭ":142645,"конÑĦ":142646,"коÑĤÑĮ":142647,"кÑĢай":142648,"кÑĢÑİÑĩ":142649,"лабо":142650,"лажк":142651,"лапÑģ":142652,"лаÑģк":142653,"лаÑĤе":142654,"ледж":142655,"лейк":142656,"лейÑĦ":142657,"лемм":142658,"леÑģÑĤ":142659,"лией":142660,"лика":142661,"лимп":142662,"линз":142663,"лиÑĤк":142664,"лиÑĩн":142665,"лойк":142666,"лонн":142667,"лоÑĤÑĮ":142668,"лÑĤав":142669,"лÑĥÑĩÑĪ":142670,"лÑıнÑĭ":142671,"майк":142672,"мако":142673,"мани":142674,"мемÑĥ":142675,"меÑĪк":142676,"миак":142677,"множ":142678,"мозг":142679,"мÑĥÑĢн":142680,"мÑıгÑĩ":142681,"наза":142682,"ндок":142683,"нело":142684,"нелÑĮ":142685,"ниел":142686,"ниÑĩе":142687,"ниÑĪÑĮ":142688,"нойÑģ":142689,"нÑĭÑĪк":142690,"обнÑĭ":142691,"обÑĥÑģ":142692,"овнÑĥ":142693,"овоÑģ":142694,"огоÑĢ":142695,"одиÑĩ":142696,"однÑĭ":142697,"одоз":142698,"одоÑģ":142699,"одÑģк":142700,"оева":142701,"оемк":142702,"озли":142703,"озно":142704,"озоÑĢ":142705,"окон":142706,"окоÑĢ":142707,"онаÑħ":142708,"оноÑĢ":142709,"опон":142710,"оÑĢге":142711,"оÑĢеж":142712,"оÑĢно":142713,"оÑĢоп":142714,"оÑĢоÑħ":142715,"оÑĢÑĥк":142716,"оÑĤал":142717,"оÑĤид":142718,"оÑĤин":142719,"оÑĩÑĥв":142720,"оÑĪло":142721,"оÑĪни":142722,"плин":142723,"ппин":142724,"пÑĢаг":142725,"пÑĢиÑĨ":142726,"пÑĢоз":142727,"пÑĢÑĭÑģ":142728,"пÑĥдÑĢ":142729,"пÑĥÑĤи":142730,"ÑĢавл":142731,"ÑĢадÑĮ":142732,"ÑĢажи":142733,"ÑĢанÑĮ":142734,"ÑĢаÑħе":142735,"ÑĢейк":142736,"ÑĢеÑģе":142737,"ÑĢеÑħÑĤ":142738,"ÑĢике":142739,"ÑĢинн":142740,"ÑĢнÑĭÑħ":142741,"ÑĢово":142742,"ÑĢоÑģп":142743,"ÑĢоÑĤм":142744,"ÑĢÑģÑĤв":142745,"ÑĢÑĥди":142746,"ÑĢÑĥдн":142747,"ÑĢÑĥÑģн":142748,"ÑĢÑĥÑĪк":142749,"ÑģалÑĮ":142750,"Ñģдам":142751,"ÑģенÑĤ":142752,"ÑģиÑĢи":142753,"Ñģкав":142754,"Ñģлив":142755,"Ñģмей":142756,"ÑģпÑĥÑĤ":142757,"ÑģÑĤаг":142758,"ÑģÑĤег":142759,"ÑģÑĤим":142760,"ÑģÑĤнÑĭ":142761,"ÑģÑĤÑĥÑĩ":142762,"ÑģÑĥлÑĮ":142763,"ÑģÑĭлк":142764,"ÑģÑıÑĩи":142765,"ÑĤанг":142766,"ÑĤани":142767,"ÑĤедж":142768,"ÑĤеон":142769,"ÑĤиво":142770,"ÑĤико":142771,"ÑĤиÑĨи":142772,"ÑĤолк":142773,"ÑĤÑĢев":142774,"ÑĤÑĥлк":142775,"Ñĥбно":142776,"ÑĥдаÑĩ":142777,"Ñĥдок":142778,"ÑĥемÑĭ":142779,"ÑĥлиÑģ":142780,"ÑĥнаÑģ":142781,"Ñĥпов":142782,"ÑĥÑĢаÑģ":142783,"ÑĥÑĢеÑĤ":142784,"ÑĥÑĢод":142785,"ÑĥÑĤеÑĢ":142786,"ÑĥÑĩиÑĤ":142787,"ÑĥÑīей":142788,"ÑĥÑīим":142789,"ÑĥÑİÑīи":142790,"ÑĦейÑģ":142791,"ÑĦика":142792,"ÑĦиоз":142793,"ÑĦлеÑĤ":142794,"ÑĦолÑĤ":142795,"ÑĦоÑĢи":142796,"Ñħого":142797,"Ñħодн":142798,"ÑĨеби":142799,"ÑĨенд":142800,"ÑĨиÑģÑģ":142801,"ÑĩаÑĤо":142802,"ÑĩаÑĤÑĭ":142803,"Ñĩейн":142804,"Ñĩелл":142805,"ÑĩжÑįн":142806,"ÑĪеÑģÑĤ":142807,"ÑĪнем":142808,"ÑīинÑĥ":142809,"ÑĭнÑģк":142810,"ÑĭÑģки":142811,"ÑĭÑĤож":142812,"ÑįÑĢÑĤо":142813,"Ñıнов":142814,"ÑıÑīÑijн":142815,"Ñijзов":142816,"Ñijмки":142817,"ĠBonn":142818,"ĠCosm":142819,"Brien":142820,"Mobil":142821,"etian":142822,"llows":142823,"patri":142824,"ravel":142825,"toler":142826,"tooth":142827,"ĠÐIJгÑĢи":142828,"ĠÐIJзеÑĦ":142829,"ĠÐIJким":142830,"ĠÐIJÑĢиз":142831,"ĠÐIJÑĢÑĤи":142832,"ĠÐijанг":142833,"ĠÐijлÑİм":142834,"ĠÐĴÐĶÐĿÐ¥":142835,"ĠÐĴолж":142836,"ĠÐĴÑıÑĤк":142837,"ĠÐĵваÑĢ":142838,"ĠÐĵваÑĤ":142839,"ĠÐĵинз":142840,"ĠÐĵонд":142841,"ĠÐĵоÑĢÑĩ":142842,"ĠÐĵÑĢег":142843,"ĠÐĶеÑĢб":142844,"ĠÐĶжÑĥз":142845,"ĠÐĶобÑĭ":142846,"ĠÐĶÑįйв":142847,"ĠÐĶÑıдÑı":142848,"ĠÐķвÑĤÑĥ":142849,"ĠÐķлиÑģ":142850,"ĠÐĸеÑģÑĤ":142851,"ĠÐĺлли":142852,"ĠÐĺмен":142853,"ĠÐļÐĺÐķÐĴ":142854,"ĠÐļлÑįÑĢ":142855,"ĠÐļоÑģм":142856,"ĠÐļÑĢоп":142857,"ĠÐļÑįмп":142858,"ĠÐĽÐĵÐijТ":142859,"ĠÐĽÐĶÐŁÐł":142860,"ĠÐľÐ°ÐºÐ´":142861,"ĠÐľÐ¸Ð»Ñİ":142862,"ĠÐľÐ½Ð¾Ð³":142863,"ĠÐľÐ¾ÐºÑĢ":142864,"ĠÐĿанÑģ":142865,"ĠÐĿаÑĥÑĩ":142866,"ĠÐĿеап":142867,"ĠÐĿикÑĥ":142868,"ĠÐŀбол":142869,"ĠÐŀÑīÑĥÑī":142870,"ĠÐŁÐ¸ÐºÐ°":142871,"ĠÐŁÐ¾Ñĩв":142872,"ĠÐŁÑĢаж":142873,"ĠÐŁÑĢог":142874,"ĠÐŁÑĤол":142875,"ĠÐŁÑĮеÑĤ":142876,"ĠÐŁÑıÑĤи":142877,"ĠÐłÐµÐ»Ð¸":142878,"ĠСÐĺÐĹÐŀ":142879,"ĠСУÐijÐĶ":142880,"ĠСаак":142881,"ĠСвоÑij":142882,"ĠСебе":142883,"ĠСебÑı":142884,"ĠСкоб":142885,"ĠСлÑĥÑħ":142886,"ĠСлÑĥÑĩ":142887,"ĠСоÑĨи":142888,"ĠСÑĨип":142889,"ĠСÑĮеÑĢ":142890,"ĠСÑįйÑİ":142891,"ĠТвоÑı":142892,"ĠУваÑĢ":142893,"ĠУÑĢÑĥг":142894,"ĠУÑĦим":142895,"ĠХайд":142896,"ĠЧеÑħо":142897,"ĠЧжао":142898,"ĠЧжÑįн":142899,"ĠШалÑı":142900,"ĠШÑĤÑĢа":142901,"ĠЮзеÑĦ":142902,"ĠЯÑĨен":142903,"Ġамаз":142904,"Ġамби":142905,"ĠамоÑĢ":142906,"Ġаном":142907,"ĠаÑĤеÑĢ":142908,"ĠбалÑĮ":142909,"ĠбеÑģÑĪ":142910,"ĠбинÑĤ":142911,"Ġбомж":142912,"ĠбÑĢиÑĦ":142913,"ĠбÑĢож":142914,"ĠбÑĥбн":142915,"ĠбÑĥгÑĢ":142916,"ĠбÑĥдк":142917,"ĠбÑĥлл":142918,"Ġвизг":142919,"Ġвиол":142920,"Ġвнеб":142921,"ĠвÑĤай":142922,"ĠвÑĭна":142923,"ĠвÑĭно":142924,"ĠгалÑĮ":142925,"ĠгонÑĩ":142926,"ĠгÑĢеÑĨ":142927,"ĠгÑĢоÑģ":142928,"ĠгÑĢÑĭж":142929,"ĠгÑĢÑĭз":142930,"ĠджÑĥн":142931,"ĠдзÑįн":142932,"ĠдÑĢог":142933,"ĠдÑĥпл":142934,"ĠдÑıдÑİ":142935,"Ġжидк":142936,"Ġзаим":142937,"Ġимпл":142938,"ĠиÑĢак":142939,"ĠколÑĭ":142940,"ĠкÑĥпÑĨ":142941,"ĠлаÑģÑĤ":142942,"Ġломк":142943,"ĠмиоÑĦ":142944,"ĠмоÑĢÑĦ":142945,"ĠнаÑĥÑĪ":142946,"ĠнаÑijм":142947,"ĠнекÑĤ":142948,"ĠнеоÑģ":142949,"ĠнеÑĥз":142950,"ĠобоÑĩ":142951,"ĠоглÑĭ":142952,"ĠогнÑİ":142953,"Ġодев":142954,"Ġозаг":142955,"ĠокиÑģ":142956,"Ġолед":142957,"Ġопаз":142958,"ĠоÑĢак":142959,"ĠоÑģва":142960,"ĠоÑĤов":142961,"ĠоÑĤод":142962,"ĠоÑĨеп":142963,"ĠоÑĩнÑĥ":142964,"ĠоÑĪей":142965,"ĠпеÑĢг":142966,"ĠпеÑĪи":142967,"ĠпÑĤен":142968,"ĠÑĢаÑĨи":142969,"ĠÑĢеÑģп":142970,"ĠÑĢожд":142971,"ĠÑģакÑĢ":142972,"ĠÑģкаÑĦ":142973,"ĠÑģооÑĢ":142974,"ĠÑģпек":142975,"ĠÑģÑĤиÑĢ":142976,"ĠÑģÑĦоÑĤ":142977,"ĠÑĤали":142978,"ĠÑĤекÑĤ":142979,"ĠÑĤÑıжб":142980,"ĠÑĥбеÑĢ":142981,"ĠÑĥвол":142982,"ĠÑĥмиÑĢ":142983,"ĠÑĥниÑĤ":142984,"ĠÑĥÑĢоÑĩ":142985,"ĠÑĥÑģÑĭп":142986,"ĠÑĦоÑĤк":142987,"ĠÑĩакÑĢ":142988,"ĠÑĩаÑĪа":142989,"ĠÑĩÑĥлк":142990,"ĠÑĩÑijÑĢÑĤ":142991,"ĠÑĪаÑĤк":142992,"ĠÑĪепÑĩ":142993,"ĠÑĪеÑĢо":142994,"ĠÑĪкаÑĤ":142995,"ĠÑįлли":142996,"ĠÑįпиг":142997,"ĠÑįпил":142998,"ĠÑİбил":142999,"ĠÑıзÑĭÑĩ":143000,"ÐIJÑħмаÑĤ":143001,"ÐĴоÑģÑĮм":143002,"ÐĴÑĭпол":143003,"ÐĵоÑĢиз":143004,"ÐĶождÑĮ":143005,"ÐķвÑĢаз":143006,"ÐĸигÑĥл":143007,"ÐĹабав":143008,"ÐĹелен":143009,"ÐĺнгÑĥÑĪ":143010,"ÐĺниÑĨи":143011,"ÐĺоÑģиÑĦ":143012,"ÐļнигÑĥ":143013,"ÐĽÐµÐºÐ°ÑĢ":143014,"ÐĽÐ¸ÑĤов":143015,"ÐĽÑĥÑĩÑĪе":143016,"ÐľÐ¾Ð¶Ð½Ð¾":143017,"ÐŀÑģенÑĮ":143018,"ÐŀÑĩенÑĮ":143019,"ÐŁÐķТÐķÐł":143020,"ÐŁÐ°Ñĥза":143021,"ÐŁÐ°ÑĥлÑĥ":143022,"ÐŁÐ¾ÑĩеÑĤ":143023,"ÐŁÐ¾ÑĩÑĤа":143024,"ÐŁÑĢеод":143025,"СанкÑĤ":143026,"СедÑĮм":143027,"СиÑįÑĤл":143028,"Сладк":143029,"СлÑĥжб":143030,"СÑĢеди":143031,"ТаймÑģ":143032,"Тамож":143033,"ТеÑĢек":143034,"Тогда":143035,"УбийÑĨ":143036,"Уимбл":143037,"Уника":143038,"Чайка":143039,"ÐŃÑĤÑĮен":143040,"авиÑģÑĤ":143041,"аводк":143042,"авÑĪиÑħ":143043,"аганд":143044,"агиÑģÑĤ":143045,"адаев":143046,"аделÑĮ":143047,"аевой":143048,"аемÑĭй":143049,"азвиÑĤ":143050,"аздел":143051,"азÑĩик":143052,"аймак":143053,"акива":143054,"акÑĨий":143055,"алива":143056,"алини":143057,"алког":143058,"амоÑĢÑĦ":143059,"андаÑĥ":143060,"андеÑģ":143061,"аневÑĢ":143062,"анино":143063,"анном":143064,"аÑĢдеÑĢ":143065,"аÑĢиÑĦм":143066,"аÑĢÑģел":143067,"аÑģенÑģ":143068,"аÑģÑĤик":143069,"аÑĤиÑĩн":143070,"аÑĤлан":143071,"аÑĤÑĥÑĢе":143072,"аÑĤÑĥÑĢк":143073,"аÑĤÑĮев":143074,"аÑĩкал":143075,"аÑīего":143076,"беÑĢиÑħ":143077,"бÑĢеÑħÑĤ":143078,"бÑĥдим":143079,"валив":143080,"веÑģÑĤÑĢ":143081,"взÑıÑĤо":143082,"визан":143083,"виÑĤеÑĢ":143084,"виÑĤиÑı":143085,"вÑıжеÑĤ":143086,"гемог":143087,"гноÑģÑĤ":143088,"годно":143089,"гомеÑĢ":143090,"гоÑĢÑģк":143091,"гÑĢоби":143092,"гÑĢÑĥзк":143093,"делим":143094,"деÑĢеÑı":143095,"дÑĥмÑĮÑı":143096,"ебниÑĨ":143097,"ебойн":143098,"евенн":143099,"евиÑĩÑĮ":143100,"еволе":143101,"евÑĢей":143102,"еггеÑĢ":143103,"едиÑĨи":143104,"едник":143105,"езжей":143106,"ейник":143107,"екомп":143108,"еликÑĤ":143109,"еллан":143110,"елонÑĭ":143111,"елÑĮев":143112,"елÑıÑİÑī":143113,"емкин":143114,"енени":143115,"еннон":143116,"енÑĨиÑİ":143117,"енÑĮÑıн":143118,"еÑĢаÑĨи":143119,"еÑĢега":143120,"еÑĢÑĮÑĤе":143121,"еÑģкой":143122,"еÑģпон":143123,"еÑĤанÑĤ":143124,"еÑĤÑĢан":143125,"еÑĩенÑĮ":143126,"еÑĩкин":143127,"жевÑĭй":143128,"живоÑĤ":143129,"жизнÑĮ":143130,"жÑĢаÑĤÑĮ":143131,"жÑĥжжа":143132,"звÑijзд":143133,"зÑĢени":143134,"зÑĢеÑĤÑĮ":143135,"ивнÑĭÑħ":143136,"идаÑĤÑĮ":143137,"идной":143138,"идÑĭва":143139,"изиÑĢÑĥ":143140,"излиÑı":143141,"илÑĮнÑĭ":143142,"ипеÑĤи":143143,"ипноÑĤ":143144,"иÑĢнаÑı":143145,"иÑģипи":143146,"иÑģкан":143147,"иÑģÑģаÑĢ":143148,"иÑģÑģÑijÑĢ":143149,"иÑģÑĤик":143150,"иÑģÑĤÑģк":143151,"иÑĤаем":143152,"иÑĤиÑĩе":143153,"иÑĤоли":143154,"иÑħÑĥан":143155,"йÑģкой":143156,"кваÑĢÑĤ":143157,"кипеÑĢ":143158,"книжн":143159,"кнÑĥÑĤо":143160,"кобеж":143161,"конÑģк":143162,"коÑĨиÑĤ":143163,"кÑĢÑĥÑĤк":143164,"кÑĥбка":143165,"кÑĥлеÑģ":143166,"кÑĥÑĢиÑı":143167,"лагал":143168,"ладеÑĪ":143169,"ладин":143170,"лажан":143171,"лакал":143172,"лаÑĤан":143173,"лаÑĤеÑĢ":143174,"лемеÑĤ":143175,"леÑĤок":143176,"лилÑģÑı":143177,"лимÑĦо":143178,"линно":143179,"лиÑĤÑģÑı":143180,"лиÑıеÑĤ":143181,"лобин":143182,"лодно":143183,"лÑĥжда":143184,"лÑĥÑĩен":143185,"лÑİден":143186,"маÑĤоз":143187,"маÑĤÑĥÑĢ":143188,"маÑĩеÑħ":143189,"меннÑĭ":143190,"менÑĤÑĭ":143191,"меÑĢон":143192,"меÑĢÑĪи":143193,"меÑģÑĤн":143194,"меÑĤик":143195,"моÑĤÑĢе":143196,"моÑĤÑĢÑİ":143197,"мÑıгÑĩе":143198,"наÑģел":143199,"нглоÑģ":143200,"неÑģоÑĤ":143201,"нижне":143202,"ниÑĦеÑĢ":143203,"новеÑĢ":143204,"нÑĥÑĤÑģÑı":143205,"обежн":143206,"ободÑĭ":143207,"оваÑĢÑĮ":143208,"овеÑĢн":143209,"оводн":143210,"овозд":143211,"оволн":143212,"овоÑĢÑĭ":143213,"одева":143214,"одеÑĤн":143215,"ожаÑĢн":143216,"оздки":143217,"оздов":143218,"олжÑģк":143219,"олжÑĮÑı":143220,"оллаÑĢ":143221,"оллеÑĢ":143222,"олнов":143223,"олÑĮÑĪи":143224,"оменн":143225,"омоÑīи":143226,"онали":143227,"онÑģал":143228,"онÑĤов":143229,"онÑĮко":143230,"онÑıми":143231,"ооÑĤеÑĩ":143232,"ооÑīÑĥÑī":143233,"ополк":143234,"опÑĢед":143235,"опÑĥÑĤн":143236,"оÑĢова":143237,"оÑĢого":143238,"оÑĢозк":143239,"оÑĢоÑĤÑĮ":143240,"оÑģвеÑĤ":143241,"оÑģкоÑĢ":143242,"оÑģÑĤÑĭн":143243,"оÑģÑĤÑıÑħ":143244,"оÑĤкин":143245,"оÑħодн":143246,"оÑĩаÑģÑĤ":143247,"оÑĩиÑĤо":143248,"оÑīник":143249,"оÑijван":143250,"паÑĤÑģк":143251,"пеÑĢÑģи":143252,"планк":143253,"поиÑģк":143254,"попеÑĩ":143255,"поÑģад":143256,"пÑĢÑĭÑģк":143257,"ÑĢавнÑĭ":143258,"ÑĢапин":143259,"ÑĢаÑģнÑĭ":143260,"ÑĢаÑģÑģе":143261,"ÑĢеале":143262,"ÑĢежда":143263,"ÑĢемон":143264,"ÑĢеÑĨеп":143265,"ÑĢигеÑģ":143266,"ÑĢидон":143267,"ÑĢикоÑģ":143268,"ÑĢобаÑĤ":143269,"ÑĢовÑĭй":143270,"ÑĢодиÑĤ":143271,"ÑĢодÑĥк":143272,"ÑĢоком":143273,"ÑĢопоÑĢ":143274,"ÑĢоÑĤеÑħ":143275,"ÑĢÑĥйÑģк":143276,"Ñģамод":143277,"ÑģедеÑģ":143278,"Ñģонаж":143279,"ÑģÑĤвов":143280,"ÑģÑĤмод":143281,"ÑģÑĤÑĢаÑı":143282,"ÑģÑĤÑĢоÑĦ":143283,"ÑģÑİжеÑĤ":143284,"ÑģÑıÑĤÑĭÑħ":143285,"ÑĤимон":143286,"ÑĤовÑĭй":143287,"ÑĤоÑĢоп":143288,"ÑĤÑĢино":143289,"Ñĥгода":143290,"ÑĥжнÑĭм":143291,"Ñĥлива":143292,"ÑĥлиÑģÑĮ":143293,"ÑĥлÑıнÑĤ":143294,"ÑĥÑĤÑĮÑģÑı":143295,"ÑĥÑĩени":143296,"ÑĥÑĪной":143297,"ÑĦобии":143298,"ÑĦÑĮоÑĢд":143299,"ÑĦÑİмеÑĢ":143300,"ÑĦÑİÑĢÑģÑĤ":143301,"ÑħоваÑĤ":143302,"Ñħодно":143303,"ÑħожиÑħ":143304,"ÑħоÑĤал":143305,"ÑĨелÑĥй":143306,"ÑĨенÑĤн":143307,"ÑĩаÑĤки":143308,"ÑĩаÑĤов":143309,"ÑĩÑĤиво":143310,"ÑĪелек":143311,"ÑĪемÑģÑı":143312,"ÑĪилÑĮд":143313,"ÑĬезжа":143314,"ÑĭвавÑĪ":143315,"Ñıжени":143316,"Ñıзвим":143317,"ÑıÑĢÑĥÑģн":143318,"ÑijÑĢнÑĥÑĤ":143319,"ĠMetac":143320,"ĠRhine":143321,"Claude":143322,"Execut":143323,"Gregor":143324,"Surviv":143325,"cephal":143326,"easing":143327,"eopard":143328,"opolis":143329,"uanian":143330,"ĠÐIJгенÑĤ":143331,"ĠÐIJÑĢеÑģÑĤ":143332,"ĠÐIJÑĢÑħиÑĤ":143333,"ĠÐIJÑįÑĢоп":143334,"ĠÐijендж":143335,"ĠÐijенÑĥа":143336,"ĠÐijланк":143337,"ĠÐijлейк":143338,"ĠÐijлиже":143339,"ĠÐĴÐIJШÐĺÐĿ":143340,"ĠÐĴезде":143341,"ĠÐĴидел":143342,"ĠÐĴиÑĪнÑĥ":143343,"ĠÐĴклÑİÑĩ":143344,"ĠÐĴконÑĤ":143345,"ĠÐĴоÑģÑģÑĤ":143346,"ĠÐĴÑĢанг":143347,"ĠÐĴÑĭÑģоÑĩ":143348,"ĠÐĴÑıзÑĮм":143349,"ĠÐĵÐ£ÐĽÐIJÐĵ":143350,"ĠÐĵваÑĢд":143351,"ĠÐĵейÑĤÑģ":143352,"ĠÐĵлÑıдÑı":143353,"ĠÐĵнезд":143354,"ĠÐĶжойÑģ":143355,"ĠÐĶÑĢейк":143356,"ĠÐķмелÑĮ":143357,"ĠÐĸизне":143358,"ĠÐĹимни":143359,"ĠÐĹоÑĢге":143360,"ĠÐĺллаÑĢ":143361,"ĠÐĺÑģÑĩез":143362,"ĠÐļалаÑĪ":143363,"ĠÐļаÑĢÑĤо":143364,"ĠÐļондÑĢ":143365,"ĠÐļÑĥдÑĢÑı":143366,"ĠÐļÑĭзÑĭл":143367,"ĠÐļÑijлÑĮн":143368,"ĠÐĽÐ¾Ð¿ÐµÑģ":143369,"ĠÐľÐ°ÑĤви":143370,"ĠÐľÐ¾Ñħам":143371,"ĠÐľÑįÑĤÑĮÑİ":143372,"ĠÐĿСÐĶÐIJÐŁ":143373,"ĠÐĿеодн":143374,"ĠÐĿÑĥжна":143375,"ĠÐĿÑĥжнÑĭ":143376,"ĠÐĿÑįнÑģи":143377,"ĠÐŀбÑĬÑijм":143378,"ĠÐŀгÑĢом":143379,"ĠÐŀдоев":143380,"ĠÐŀкÑĢаÑģ":143381,"ĠÐŀкÑĤав":143382,"ĠÐŀпиÑĢа":143383,"ĠÐŁÐ°Ð¾Ð»Ð¾":143384,"ĠÐŁÐµÑĢег":143385,"ĠÐŁÐµÑĢмÑĮ":143386,"ĠÐŁÐ¾ÐºÐ°Ð·":143387,"ĠÐŁÐ¾ÑģÑĤа":143388,"ĠÐŁÑĢÑĥÑģÑĤ":143389,"ĠÐŁÑĥнкÑĤ":143390,"ĠÐŁÑĮеÑģа":143391,"ĠÐłÑĥбин":143392,"ĠСÐIJÐĿÐļТ":143393,"ĠСвиÑĦÑĤ":143394,"ĠСеÑģил":143395,"ĠСингÑħ":143396,"ĠСлабо":143397,"ĠСоÑĦÑĮи":143398,"ĠСоÑĩин":143399,"ĠСÑĢавн":143400,"ĠСÑĤоÑıл":143401,"ĠСÑĤÑĢаÑģ":143402,"ĠСÑĤÑĢог":143403,"ĠСÑĥдÑĮб":143404,"ĠСÑĥÑħÑĥм":143405,"ĠТÑİмен":143406,"ĠУвели":143407,"ĠУлÑĥÑĩÑĪ":143408,"ĠУокеÑĢ":143409,"ĠХаÑĢмÑģ":143410,"ĠЧелов":143411,"ĠШклов":143412,"ĠШколÑĭ":143413,"ĠÐŃÑĢмиÑĤ":143414,"ĠЯмайк":143415,"ĠабÑħаз":143416,"ĠадепÑĤ":143417,"ĠазбÑĥк":143418,"ĠамбаÑĢ":143419,"ĠамбÑĥл":143420,"ĠамÑĦиб":143421,"ĠанноÑĤ":143422,"ĠанонÑģ":143423,"ĠанÑĤив":143424,"Ġаплод":143425,"ĠаÑĢанж":143426,"ĠаÑģÑĤÑĢо":143427,"ĠаÑĤолл":143428,"ĠаÑĦган":143429,"ĠаÑĨÑĤек":143430,"ĠбезÑĭÑģ":143431,"ĠбеÑĢÑijз":143432,"ĠбилÑĮÑı":143433,"ĠбÑĢанÑĮ":143434,"ĠбÑĥÑħÑĤÑĥ":143435,"ĠвалÑĮÑģ":143436,"ĠваÑĢÑıг":143437,"ĠваÑĢÑıÑĤ":143438,"ĠвзÑĭÑģк":143439,"ĠвиÑģÑıÑī":143440,"ĠвоззÑĢ":143441,"ĠвоиÑģÑĤ":143442,"Ġволог":143443,"ĠволÑħв":143444,"ĠвонÑİÑĩ":143445,"ĠвоÑģкÑĢ":143446,"ĠвоÑİÑİÑī":143447,"ĠвÑĤÑĥлк":143448,"ĠвÑĭемк":143449,"ĠгилÑĮд":143450,"Ġдемоб":143451,"ĠдемоÑĢ":143452,"ĠдÑĢожÑĮ":143453,"ĠдÑĥÑĢаÑĩ":143454,"ĠдÑĭÑĪал":143455,"ĠездиÑĤ":143456,"ĠеÑĢеÑģÑĮ":143457,"ĠжаднÑĭ":143458,"ĠжалеÑİ":143459,"ĠжÑĥлик":143460,"ĠзавоÑĢ":143461,"ĠзагоÑĢ":143462,"Ġзажиг":143463,"ĠзажиÑĤ":143464,"ĠзамеÑĪ":143465,"Ġиголк":143466,"ĠиеÑĢом":143467,"Ġизвоз":143468,"ĠизÑĬÑıн":143469,"ĠиÑģкÑĥп":143470,"ĠиÑģÑĨел":143471,"ĠканоÑį":143472,"ĠкаÑĤап":143473,"ĠкиоÑģк":143474,"ĠклоÑĩк":143475,"ĠкогÑĤи":143476,"ĠкоÑĢиÑĨ":143477,"ĠкÑĢажи":143478,"ĠкÑĢÑĥÑĩе":143479,"ĠкÑĥзен":143480,"ĠкÑĥкла":143481,"ĠкÑĥклÑĭ":143482,"ĠкÑĥлаÑĩ":143483,"ĠкÑĥпли":143484,"ĠлагÑĥн":143485,"ĠлазаÑĢ":143486,"Ġлакон":143487,"ĠлеÑĩиÑĤ":143488,"Ġложке":143489,"ĠлоÑģоÑģ":143490,"ĠлоÑĤоÑģ":143491,"ĠлÑĮдин":143492,"ĠманÑĮÑĩ":143493,"ĠмилиÑĨ":143494,"ĠмоллÑİ":143495,"ĠмоноÑĤ":143496,"ĠмоÑģкв":143497,"Ġналож":143498,"ĠнеÑĩаÑı":143499,"ĠнеÑįÑĦÑĦ":143500,"Ġновов":143501,"ĠоблиÑĨ":143502,"ĠобÑĢам":143503,"ĠовÑģÑıн":143504,"ĠодÑĭÑĪк":143505,"Ġозлоб":143506,"Ġозноб":143507,"Ġолимп":143508,"Ġопеки":143509,"Ġоплод":143510,"ĠопÑĢиÑĩ":143511,"ĠоÑĢанж":143512,"ĠоÑĢеол":143513,"ĠоÑģанк":143514,"ĠоÑģÑĤео":143515,"ĠоÑĤÑģÑĤÑĢ":143516,"ĠоÑīÑĥпÑĮ":143517,"ĠпеÑģнÑĮ":143518,"ĠпловÑĨ":143519,"Ġпобои":143520,"Ġповин":143521,"ĠпогаÑĪ":143522,"Ġпозол":143523,"ĠпообÑī":143524,"ĠпоÑĢад":143525,"ĠпоÑĢож":143526,"ĠпоÑģоÑħ":143527,"ĠпÑĢезÑĢ":143528,"ĠпÑĢоза":143529,"ĠпÑĥÑĤÑıм":143530,"ĠпÑĭлÑĮÑĨ":143531,"ĠпÑĭÑĤки":143532,"ĠÑĢаÑĤÑĥÑĪ":143533,"ĠÑĢемнÑı":143534,"ĠÑĢовеÑģ":143535,"ĠÑĢолÑıм":143536,"ĠÑĢÑĭнкÑĥ":143537,"ĠÑģалÑİÑĤ":143538,"ĠÑģапÑijÑĢ":143539,"ĠÑģаÑĥнд":143540,"ĠÑģбÑĢаÑģ":143541,"ĠÑģвиÑĤк":143542,"ĠÑģдаÑĩе":143543,"ĠÑģейÑģм":143544,"ĠÑģидим":143545,"ĠÑģиÑĢий":143546,"ĠÑģлоÑijв":143547,"ĠÑģмÑĥгл":143548,"ĠÑģозид":143549,"ĠÑģпÑĥÑģÑĤ":143550,"ĠÑģпÑıÑīе":143551,"ĠÑģÑĤанд":143552,"ĠÑģÑĤаÑĩк":143553,"ĠÑģÑĥмаÑģ":143554,"ĠÑģÑĥÑħаÑı":143555,"ĠÑģÑĬеÑģÑĤ":143556,"ĠÑģÑĭÑīик":143557,"ĠÑĤваÑĢÑĮ":143558,"ĠÑĤекÑĥÑĩ":143559,"ĠÑĤиÑħим":143560,"ĠÑĤолеÑĢ":143561,"ĠÑĤолÑĩе":143562,"ĠÑĤÑĢалÑĮ":143563,"ĠÑĤÑĢаÑħе":143564,"ĠÑĤÑĢоиÑĨ":143565,"ĠÑĤÑĥÑĦли":143566,"ĠÑĤÑĭлов":143567,"ĠÑĥвижÑĥ":143568,"ĠÑĥглек":143569,"ĠÑĥзкаÑı":143570,"ĠÑĥлиÑĤк":143571,"ĠÑĥнÑĭло":143572,"ĠÑĥÑģмеÑħ":143573,"ĠÑĥÑĤонÑĩ":143574,"ĠÑĦабÑĥл":143575,"ĠÑĦалÑĮÑĪ":143576,"ĠÑĦейеÑĢ":143577,"ĠÑĦеÑĤиÑĪ":143578,"ĠÑĦлажк":143579,"ĠÑĦолÑĮг":143580,"ĠÑĦоÑĢÑĤи":143581,"ĠÑĦÑĢазе":143582,"ĠÑĦÑĥгаÑģ":143583,"ĠÑħаÑĢÑĤи":143584,"ĠÑĨаÑĢÑijм":143585,"ĠÑĩепÑĥÑħ":143586,"ĠÑĩÑĥдак":143587,"ĠÑĩÑĥжак":143588,"ĠÑĪаÑĤÑĤл":143589,"ĠÑĪквал":143590,"ĠÑĪлейÑĦ":143591,"ĠÑĪоÑĢоÑħ":143592,"ĠÑĪпÑĢиÑĨ":143593,"ĠÑīегол":143594,"ĠÑīелÑĩк":143595,"ĠÑīиÑĤов":143596,"ĠÑįлеги":143597,"ĠÑįÑģÑĤеÑĤ":143598,"ĠÑįÑĦиоп":143599,"ĠÑİноÑĪÑĥ":143600,"ĠÑıйÑĨек":143601,"ĠÑıÑĢдов":143602,"ĠÑıÑĢоÑģл":143603,"ÐijалÑĤик":143604,"ÐijаÑĤÑİÑĪк":143605,"ÐijеÑģкон":143606,"ÐijÑįÑĤмен":143607,"ÐĴÐĽÐķÐĿÐĺÐķ":143608,"ÐĴиÑĪнев":143609,"ÐĴозÑĮми":143610,"ÐĴÑĥлкан":143611,"ÐĴÑĭÑģоÑĨк":143612,"ÐĵиганÑĤ":143613,"ÐķниÑģей":143614,"Ðĸелезн":143615,"ÐĹапÑĢеÑī":143616,"ÐĺÑģÑĤÑĢеб":143617,"ÐĺÑĤалиÑı":143618,"ÐļаждÑĭй":143619,"ÐļÑĢовав":143620,"ÐļÑĥÑĢилÑĮ":143621,"ÐľÐ°ÐºÑģим":143622,"ÐľÐ°ÑĤеÑĢи":143623,"ÐľÐµÑĤеоÑĢ":143624,"ÐľÐµÑĦоди":143625,"ÐľÐ¾Ð´ÐµÑĢн":143626,"ÐľÐ¾Ð½Ð°ÐºÐ¾":143627,"ÐľÐ¾Ñģков":143628,"ÐŀÐĴСÐļÐĺÐĻ":143629,"ÐŀÑģÑĤÑĢов":143630,"ÐŀÑĤелло":143631,"ÐŁÐ¸ÑģÑĮмо":143632,"ÐŁÐ¾Ñģлед":143633,"ÐŁÑĢавдÑĭ":143634,"ÐłÐ°Ñħман":143635,"ÐłÐ¾ÑģкоÑģ":143636,"СвадÑĮб":143637,"СиÑĢиÑĥÑģ":143638,"Сказка":143639,"СпекÑĤÑĢ":143640,"СпÑĢинг":143641,"ХаÑĢбоÑĢ":143642,"ШаÑħмаÑĤ":143643,"ШаÑħÑĤÑijÑĢ":143644,"ÐŃнеÑĢго":143645,"Яблоко":143646,"абоÑĤки":143647,"аженнÑĭ":143648,"акÑģаÑĨи":143649,"аллÑıÑĨи":143650,"алонии":143651,"алÑĮбом":143652,"алÑĮниÑĨ":143653,"амейке":143654,"ановиÑĩ":143655,"аÑĢдино":143656,"аÑĢенко":143657,"аÑĢмееÑĨ":143658,"аÑĤоÑĢиÑİ":143659,"аÑĨеÑĤил":143660,"багÑĢов":143661,"беÑĢлен":143662,"бÑĢандÑĤ":143663,"бÑĢеÑĤÑĤо":143664,"веннÑĭм":143665,"венÑĨим":143666,"веÑĢпен":143667,"веÑĢÑĤÑĭй":143668,"вÑĤоÑĢой":143669,"геоÑĦиз":143670,"геÑĢÑĨог":143671,"гидÑĢаÑĤ":143672,"гомеÑĢи":143673,"гоÑģпиÑĤ":143674,"гÑĢозил":143675,"делÑıÑİÑĤ":143676,"денÑĨии":143677,"дивизи":143678,"дÑĥкÑĨиÑı":143679,"евожен":143680,"елаеÑĪÑĮ":143681,"еликок":143682,"еменно":143683,"енджеÑĢ":143684,"енÑĤÑĮев":143685,"енÑĨией":143686,"енÑĩаÑĤо":143687,"еодези":143688,"еÑĢвооÑĤ":143689,"еÑĢгаÑĢд":143690,"еÑĢнизм":143691,"еÑĢÑĤони":143692,"еÑģпÑĮеÑĢ":143693,"еÑģÑĤиÑĤÑĮ":143694,"еÑĩеÑģÑĤв":143695,"жаÑĢива":143696,"жимаем":143697,"жÑijлÑĤÑĭе":143698,"жÑijлÑĤÑĭй":143699,"зволил":143700,"зволиÑĤ":143701,"илÑĮнÑĭм":143702,"илÑıÑĨии":143703,"инамик":143704,"иÑĢаÑĤоÑĢ":143705,"иÑĢовиÑĩ":143706,"иÑĢÑıзев":143707,"иÑģлого":143708,"иÑģпÑĥÑģк":143709,"иÑģпÑĭÑĤа":143710,"иÑĤанÑĨи":143711,"иÑĤеÑħни":143712,"иÑĩеÑģÑĤв":143713,"кадÑĢов":143714,"каÑĤаÑĤÑĮ":143715,"ккÑĥÑĢаÑĤ":143716,"ковÑģко":143717,"комÑĭÑģл":143718,"конÑģÑĥл":143719,"кÑĢайне":143720,"кÑĥÑĢива":143721,"кÑĥÑĢÑĥзÑĭ":143722,"кÑĥÑģÑĭва":143723,"лавлен":143724,"ладеÑĤÑĮ":143725,"ладÑĭва":143726,"леÑĤене":143727,"лÑİбезн":143728,"лÑİдоед":143729,"лÑıннÑĭе":143730,"маÑĤизм":143731,"мелива":143732,"мемÑĥаÑĢ":143733,"меÑĢимо":143734,"многие":143735,"мÑĢаÑĩен":143736,"мÑĥника":143737,"наваем":143738,"наÑĢком":143739,"нелÑĮзÑı":143740,"неÑģÑĥÑīе":143741,"неÑĦÑĤег":143742,"ниÑģÑĤии":143743,"ниÑĩной":143744,"ннибал":143745,"ноÑģÑĤаÑģ":143746,"облада":143747,"обÑĢажа":143748,"овоÑĢоÑĤ":143749,"огаÑĤив":143750,"огоÑĢÑģк":143751,"одоблÑı":143752,"одоÑģий":143753,"одÑģÑĤво":143754,"озданн":143755,"оловно":143756,"ологеÑĤ":143757,"олÑİбие":143758,"омменÑĤ":143759,"оноÑģно":143760,"оноÑģнÑĭ":143761,"онÑĩели":143762,"ополÑĮн":143763,"опоÑĢÑıд":143764,"оÑĢгнÑĥÑĤ":143765,"оÑĢодиÑı":143766,"оÑĢожно":143767,"оÑĢолик":143768,"оÑģвÑıзи":143769,"оÑģнежн":143770,"оÑĤипнÑĭ":143771,"оÑĤовки":143772,"оÑĩиÑĤел":143773,"паÑĢÑĤии":143774,"пепÑĤид":143775,"пеÑĨназ":143776,"пеÑĩаÑĤл":143777,"пиÑĪеÑĪÑĮ":143778,"подÑĢоб":143779,"поÑħмел":143780,"пÑĢаÑĢод":143781,"пÑĢедÑĥÑģ":143782,"пÑĥÑĤÑĭва":143783,"ÑĢаÑģÑĤно":143784,"ÑĢаÑĩива":143785,"ÑĢаÑĩнÑĭм":143786,"ÑĢиÑģÑĤов":143787,"ÑĢобанк":143788,"ÑĢождÑijн":143789,"ÑĢоможд":143790,"Ñģелоне":143791,"ÑģмеÑĢÑĤн":143792,"ÑģпеÑĪнÑĭ":143793,"ÑģÑĤвами":143794,"ÑģÑĤвÑĥÑİÑī":143795,"ÑģÑĤÑĢека":143796,"ÑģÑĤÑĢонг":143797,"ÑģÑĤÑĢÑĥкÑĤ":143798,"ÑģÑĥлÑĤан":143799,"ÑĤепеÑĢÑĮ":143800,"ÑĤеÑĢдам":143801,"ÑĤизаÑĨи":143802,"ÑĤиÑĨизм":143803,"ÑĤовани":143804,"ÑĤоваÑĤо":143805,"ÑĥлÑĮÑĤеÑĤ":143806,"ÑĥлÑıÑĨий":143807,"ÑĥÑĢаÑĤÑĥÑĢ":143808,"ÑĥÑģÑĤимÑĭ":143809,"ÑĥÑīиÑħÑģÑı":143810,"ÑĦеллеÑĢ":143811,"ÑĦоломе":143812,"ÑħозÑıин":143813,"ÑĨвеÑĤнÑĭ":143814,"ÑĩенÑģко":143815,"Ñĩиваем":143816,"ÑĪедÑĪÑĥÑİ":143817,"ÑīÑĥпаÑĤÑĮ":143818,"Ñĭвании":143819,"ÑĭÑĪалÑģÑı":143820,"ÑįкÑģпеÑĢ":143821,"Ñıзаний":143822,"ÑıÑīаÑıÑģÑı":143823,"ĠElectr":143824,"ĠGustav":143825,"ĠJesuit":143826,"ĠREGNUM":143827,"ĠSparta":143828,"ĠStakes":143829,"ĠVentur":143830,"Ġimitat":143831,"Ġobscur":143832,"Ġrevolv":143833,"Ġsmuggl":143834,"Continu":143835,"Donnell":143836,"Princip":143837,"cigaret":143838,"induced":143839,"patriot":143840,"steroid":143841,"ĠÐIJгÑĢипп":143842,"ĠÐIJкимов":143843,"ĠÐIJлеппо":143844,"ĠÐIJÑĢавиÑı":143845,"ĠÐIJÑĢизон":143846,"ĠÐIJÑģÑģиÑĢи":143847,"ĠÐijаÑĥман":143848,"ĠÐijаÑħÑĤин":143849,"ĠÐijеÑĢкли":143850,"ĠÐijиблиÑİ":143851,"ĠÐijлÑİÑħеÑĢ":143852,"ĠÐijÑİджеÑĤ":143853,"ĠÐĴаÑĨлав":143854,"ĠÐĴоздÑĥÑħ":143855,"ĠÐĴплоÑĤÑĮ":143856,"ĠÐĴÑĭÑģÑĪаÑı":143857,"ĠÐĴÑĭÑģÑĪее":143858,"ĠÐĴÑĭÑģÑĪие":143859,"ĠÐĴÑĭÑģÑĪий":143860,"ĠÐĵваÑĢди":143861,"ĠÐĵеÑĢмеÑģ":143862,"ĠÐĵÑİнÑĤеÑĢ":143863,"ĠÐĶанÑĨиг":143864,"ĠÐĶемÑĮÑıн":143865,"ĠÐĶенниÑģ":143866,"ĠÐĶиплом":143867,"ĠÐĶиÑĤÑĢиÑħ":143868,"ĠÐĶобÑĢÑĭн":143869,"ĠÐĶобÑĭÑĩа":143870,"ĠÐĶÑįниел":143871,"ĠÐķвÑĦÑĢаÑĤ":143872,"ĠÐĸеÑģÑĤок":143873,"ĠÐĹапÑĢеÑĤ":143874,"ĠÐĺзмаил":143875,"ĠÐĺменем":143876,"ĠÐĺмпеÑĢи":143877,"ĠÐĺндекÑģ":143878,"ĠÐĺноÑģÑĤÑĢ":143879,"ĠÐļанзаÑģ":143880,"ĠÐļапÑĥÑģÑĤ":143881,"ĠÐļаÑĥнаÑģ":143882,"ĠÐļеплеÑĢ":143883,"ĠÐļоломн":143884,"ĠÐļÑĢизиÑģ":143885,"ĠÐļÑĢÑİков":143886,"ĠÐĽÐ°Ð½Ð´Ð°Ñĥ":143887,"ĠÐĽÐµÐ½Ð½Ð¾Ð½":143888,"ĠÐĽÑĥбÑıнк":143889,"ĠÐĽÑĥÑĩÑĪим":143890,"ĠÐĽÑİдмил":143891,"ĠÐľÐ°Ð³Ð½Ð¸ÑĤ":143892,"ĠÐľÐ°ÑĤвей":143893,"ĠÐľÐµÑħмед":143894,"ĠÐľÐ¸ÑħаÑįл":143895,"ĠÐľÐ½Ð¾Ð³Ð¸Ð¼":143896,"ĠÐĿанÑģен":143897,"ĠÐĿеÑĥдаÑĩ":143898,"ĠÐŀÑģиÑĢиÑģ":143899,"ĠÐŀÑģобÑĥÑİ":143900,"ĠÐŀÑģобÑĭй":143901,"ĠÐŀÑĤлиÑĩа":143902,"ĠÐŁÐ¾Ð³Ð¾Ð´Ð°":143903,"ĠÐŁÐ¾Ð»ÑĮзÑĥ":143904,"ĠÐŁÐ¾Ð¼Ð¾Ð³Ð°":143905,"ĠÐŁÐ¾ÑĢÑĦиÑĢ":143906,"ĠÐŁÐ¾ÑıвлÑı":143907,"ĠÐŁÑĢажÑģк":143908,"ĠÐŁÑĥÑįÑĢÑĤо":143909,"ĠÐŁÑĮеÑĤÑĢо":143910,"ĠÐłÐ¸ÑħÑĤеÑĢ":143911,"ĠÐłÐ¾ÐºÐ¾ÑģÑģ":143912,"ĠÐłÐ¾Ñģком":143913,"ĠСаддам":143914,"ĠСвÑıÑīен":143915,"ĠСделав":143916,"ĠСелевк":143917,"ĠСеÑĢиал":143918,"ĠСигнал":143919,"ĠСквозÑĮ":143920,"ĠСледÑĥÑı":143921,"ĠСмоÑĤÑĢÑİ":143922,"ĠСобаки":143923,"ĠСобÑĩак":143924,"ĠСокÑĢаÑī":143925,"ĠСолнÑĨÑĥ":143926,"ĠСÑĤÑĢаÑģÑĤ":143927,"ĠСÑĬÑijмки":143928,"ĠСÑĮеÑĢÑĢа":143929,"ĠСÑįмÑİÑįл":143930,"ĠТалмÑĥд":143931,"ĠТиÑħвин":143932,"ĠТÑĢоиÑĨе":143933,"ĠТÑĢÑĥмÑįн":143934,"ĠТÑĥлÑĮÑģк":143935,"ĠТÑĥÑĢниÑĢ":143936,"ĠТÑĭÑģÑıÑĩи":143937,"ĠТÑİмени":143938,"ĠУваÑĢов":143939,"ĠУоллеÑģ":143940,"ĠУоÑĤÑģон":143941,"ĠУÑĦимÑģк":143942,"ĠУÑĩенÑĭй":143943,"ĠШанÑħае":143944,"ĠШанÑħай":143945,"ĠШвеÑĨиÑİ":143946,"ĠШевÑĩÑĥк":143947,"ĠШÑĤÑĢаÑĥÑģ":143948,"ĠШÑĥкÑĪин":143949,"ĠÐŃдиÑģон":143950,"ĠÐŃнÑĢике":143951,"ĠÐŃпизод":143952,"ĠЮÑģÑĥпов":143953,"ĠЯпонÑĨÑĭ":143954,"ĠЯÑĨенÑİк":143955,"ĠаваÑĢиÑİ":143956,"Ġамазон":143957,"Ġаммиак":143958,"ĠаннÑĥли":143959,"ĠаÑĤеизм":143960,"ĠаÑĤÑĤÑĢак":143961,"ĠбаннеÑĢ":143962,"ĠбегÑĥÑīи":143963,"ĠбедноÑĤ":143964,"ĠбеднÑıг":143965,"ĠбезмÑıÑĤ":143966,"ĠбеллеÑĤ":143967,"ĠбеÑĢеÑĩÑĮ":143968,"ĠбеÑģпеÑĢ":143969,"ĠбеÑģÑĩиÑģ":143970,"ĠбиоÑħим":143971,"ĠбоÑĤани":143972,"ĠбоÑıзни":143973,"ĠбÑĢевен":143974,"ĠбÑĢевна":143975,"ĠбÑĢодÑıÑĩ":143976,"ĠвенгеÑĢ":143977,"ĠвенÑĤил":143978,"ĠвеÑĤÑĢÑıн":143979,"ĠвзвеÑģи":143980,"ĠвздÑĭма":143981,"ĠвиджеÑĤ":143982,"ĠвиконÑĤ":143983,"ĠвоÑĨаÑĢи":143984,"ĠвÑĢаждÑĥ":143985,"ĠвÑĢаждÑĭ":143986,"ĠвÑģкÑĢÑĭл":143987,"ĠвÑģплÑĭл":143988,"ĠвÑģпÑĭÑħн":143989,"ĠвÑĤайне":143990,"ĠвÑĬеÑħал":143991,"ĠвÑĭдаÑĩÑĥ":143992,"ĠвÑĭйдÑĥÑĤ":143993,"ĠвÑĭпеÑĩк":143994,"ĠвÑĭÑģвоб":143995,"ĠвÑĭÑģÑĭлк":143996,"ĠвÑĭÑĪивк":143997,"ĠгибнеÑĤ":143998,"ĠглÑıдиÑĤ":143999,"ĠгонÑĩаÑĢ":144000,"ĠгоÑĢдÑĭн":144001,"ĠгÑĢанÑĥл":144002,"ĠгÑĢеÑĨки":144003,"ĠгÑĢÑĥбÑĭй":144004,"ĠгÑĢÑĥбÑĭÑħ":144005,"ĠгÑĥÑģÑĤÑĭе":144006,"Ġдвижок":144007,"ĠдевиÑĩÑĮ":144008,"ĠдеÑĦолÑĤ":144009,"ĠдеÑıний":144010,"Ġдилемм":144011,"ĠдобÑĭÑĤо":144012,"ĠдобÑĭÑĤÑĭ":144013,"ĠдоÑģÑĥга":144014,"ĠдÑĢожаÑī":144015,"Ġежегод":144016,"ĠжалеÑĤÑĮ":144017,"ĠжелÑĩно":144018,"ĠжелÑĩнÑĭ":144019,"ĠжÑĥÑĢавл":144020,"ĠзагÑĢад":144021,"ĠзаднÑİÑİ":144022,"ĠзадÑĥмк":144023,"ĠзаклÑıÑĤ":144024,"ĠзамеÑīа":144025,"ĠзамкнÑĥ":144026,"ĠзаÑģадÑĥ":144027,"ĠзаÑĤева":144028,"ĠзаÑıвка":144029,"Ġзваний":144030,"ĠзваниÑİ":144031,"ĠзданиÑİ":144032,"ĠземÑģÑĤв":144033,"Ġзигзаг":144034,"Ġзимнее":144035,"ĠзнаÑħаÑĢ":144036,"ĠизвеÑĢж":144037,"ĠизлиÑĪк":144038,"ĠизÑĥÑĢод":144039,"ĠимееÑĪÑĮ":144040,"ĠиндийÑĨ":144041,"ĠиÑģпаÑĢи":144042,"ĠиÑģпаÑĢÑı":144043,"ĠиÑģÑĤоÑīа":144044,"ĠиÑģÑĤÑıза":144045,"ĠиÑģÑĨели":144046,"ĠиÑģÑĨелÑı":144047,"ĠкабаÑĩк":144048,"ĠказнÑijн":144049,"ĠкалиÑĤк":144050,"ĠкалмÑĭк":144051,"ĠкалÑĮкÑĥ":144052,"ĠкампÑĥÑģ":144053,"ĠкаÑģÑģиÑĢ":144054,"ĠкаÑĦÑĤан":144055,"ĠклаÑģÑĤÑĮ":144056,"Ġкнопке":144057,"Ġколони":144058,"ĠколÑİÑĩи":144059,"Ġкомбин":144060,"ĠкоÑĢеÑĪк":144061,"ĠкоÑĢоÑĩк":144062,"ĠкоÑģÑĤÑijл":144063,"ĠкÑĥзниÑĨ":144064,"ĠкÑĥплеÑĤ":144065,"ĠкÑĥÑĢÑĮез":144066,"ĠкÑĥÑģков":144067,"ĠлавоÑĩк":144068,"Ġлезвие":144069,"ĠлиÑĢики":144070,"ĠлиÑĤовÑĨ":144071,"Ġлодкой":144072,"ĠлокоÑĤÑĮ":144073,"ĠлокÑĤев":144074,"ĠлопнÑĥл":144075,"ĠлоÑģкÑĥÑĤ":144076,"ĠлÑijгкие":144077,"ĠмакÑĥÑĪк":144078,"ĠмаÑĦиоз":144079,"ĠмаÑħнÑĥл":144080,"ĠмелкаÑı":144081,"ĠмеÑĪков":144082,"ĠмикÑĢов":144083,"ĠмикÑĢок":144084,"ĠмиÑģÑģий":144085,"ĠмиÑĩман":144086,"ĠмиÑĪени":144087,"Ġмладен":144088,"Ġмногок":144089,"ĠмодÑĥле":144090,"Ġмолоке":144091,"ĠмÑıгкаÑı":144092,"ĠмÑıкоÑĤÑĮ":144093,"Ġнабеги":144094,"ĠнамеÑģÑĤ":144095,"ĠнаÑģлад":144096,"ĠнегÑĢов":144097,"ĠнедвÑĥÑģ":144098,"ĠнекÑĤаÑĢ":144099,"Ġнеодин":144100,"ĠнепÑĢев":144101,"ĠнепÑĢек":144102,"ĠнепÑĢиг":144103,"ĠнеÑĦÑĤег":144104,"Ġнижним":144105,"Ġникоим":144106,"ĠниÑīеÑĤÑĭ":144107,"Ġобзаве":144108,"Ġобнажи":144109,"ĠоглаÑģк":144110,"ĠоговоÑĢ":144111,"ĠогоÑĢÑĩи":144112,"Ġодолел":144113,"ĠоÑĢакÑĥл":144114,"ĠоÑģедло":144115,"ĠоÑģмÑĭÑģл":144116,"ĠоÑģÑĤÑĢÑĥÑİ":144117,"ĠоÑģÑĤÑĭва":144118,"ĠоÑĤважи":144119,"ĠоÑĤÑĤиÑģк":144120,"Ġпаводк":144121,"ĠпаÑĢолÑı":144122,"ĠпевÑĨов":144123,"ĠпеданÑĤ":144124,"ĠпеÑĢвоÑģ":144125,"ĠпеÑĢÑģид":144126,"ĠпеÑģоÑĩн":144127,"ĠпеÑħоÑĤе":144128,"ĠпеÑħоÑĤÑĥ":144129,"ĠпиÑģÑĮмÑĥ":144130,"ĠпиÑĪÑĥÑīи":144131,"Ġпоблаг":144132,"Ġпожени":144133,"Ġпознав":144134,"Ġпознал":144135,"ĠполÑĮзе":144136,"ĠпоÑģелк":144137,"ĠпÑĢидÑijÑĤ":144138,"ĠпÑĢииÑģк":144139,"ĠпÑĢиÑĤÑıг":144140,"ĠпÑĢопаж":144141,"ĠпÑĥÑģÑĤÑĭÑĢ":144142,"ĠпÑĭÑĤкам":144143,"ĠÑĢавноп":144144,"ĠÑĢазбой":144145,"ĠÑĢаÑģÑĨве":144146,"ĠÑĢеалÑĮн":144147,"ĠÑĢеванÑĪ":144148,"ĠÑĢелÑĮÑģÑĭ":144149,"ĠÑĢеменÑĮ":144150,"ĠÑĢеÑģниÑĨ":144151,"ĠÑĢомаÑĪк":144152,"ĠÑĢоÑģÑģÑĭп":144153,"ĠÑĢоÑĥÑĤеÑĢ":144154,"ĠÑĢÑĭнком":144155,"ĠÑģаванн":144156,"ĠÑģбеÑĢеж":144157,"ĠÑģвеÑĢÑģÑĤ":144158,"ĠÑģвеÑĩей":144159,"ĠÑģвинÑĮи":144160,"ĠÑģвиÑĤеÑĢ":144161,"ĠÑģгÑĥÑīен":144162,"ĠÑģекÑĨий":144163,"ĠÑģеÑģÑĤÑijÑĢ":144164,"ĠÑģинÑĮоÑĢ":144165,"ĠÑģканеÑĢ":144166,"ĠÑģкаÑĩок":144167,"ĠÑģкоÑĢÑĥÑİ":144168,"ĠÑģкоÑĤов":144169,"ĠÑģкÑĥдно":144170,"ĠÑģложив":144171,"ĠÑģлÑĭÑĪен":144172,"ĠÑģлÑĭÑĪнÑĭ":144173,"ĠÑģолнÑĨÑĥ":144174,"ĠÑģоÑĢнÑıк":144175,"ĠÑģпекÑĥл":144176,"ĠÑģплоÑĤи":144177,"ĠÑģÑĤепей":144178,"ĠÑģÑĤепÑıÑħ":144179,"ĠÑģÑĤойкÑĥ":144180,"ĠÑģÑĤопÑĢо":144181,"ĠÑģÑĤÑĢаже":144182,"ĠÑģÑĤÑĢаÑĥÑģ":144183,"ĠÑģÑĤÑĢижк":144184,"ĠÑģÑĤÑĥÑĩиÑĤ":144185,"ĠÑģÑĥгÑĢоб":144186,"ĠÑģÑĥмоÑĩк":144187,"ĠÑģÑĦокÑĥÑģ":144188,"ĠÑģÑĬеÑħал":144189,"ĠÑĤвоÑĢÑĨа":144190,"ĠÑĤекÑĤон":144191,"ĠÑĤеÑĢмод":144192,"ĠÑĤиÑĪинÑĥ":144193,"ĠÑĤиÑĪинÑĭ":144194,"ĠÑĤоваÑĢо":144195,"ĠÑĤонÑĮÑĪе":144196,"ĠÑĤоÑĢÑĦÑıн":144197,"ĠÑĤоÑĢÑĩал":144198,"ĠÑĤÑĢепеÑī":144199,"ĠÑĤÑĢогал":144200,"ĠÑĤÑĢÑĥппÑĥ":144201,"ĠÑĤÑĥÑģкло":144202,"ĠÑĤÑĥÑģклÑĭ":144203,"ĠÑĤÑıжкиÑħ":144204,"ĠÑĥвидал":144205,"ĠÑĥдалÑģÑı":144206,"ĠÑĥлÑĭбки":144207,"ĠÑĥмÑĥдÑĢÑı":144208,"ĠÑĥниÑĤаз":144209,"ĠÑĥплаÑĤе":144210,"ĠÑĥÑģмеÑĪк":144211,"ĠÑĥÑĤваÑĢÑĮ":144212,"ĠÑĦаÑĢиÑģе":144213,"ĠÑĦиÑĤнеÑģ":144214,"ĠÑĦлакон":144215,"ĠÑĦÑĥÑĤлÑıÑĢ":144216,"ĠÑħлÑĭнÑĥл":144217,"ĠÑħÑĢанÑıÑī":144218,"ĠÑĨинизм":144219,"ĠÑĨÑĥнами":144220,"ĠÑĩаÑĢоде":144221,"ĠÑĩаÑĪеÑĩк":144222,"ĠÑĩÑijÑĢнаÑı":144223,"ĠÑĪапоÑĩк":144224,"ĠÑĪаÑĢниÑĢ":144225,"ĠÑĪаÑĪлÑĭк":144226,"ĠÑĪеÑĢенг":144227,"ĠÑĪизоÑĦÑĢ":144228,"ĠÑįйÑĦоÑĢи":144229,"ĠÑįкÑģкав":144230,"ĠÑįллипÑģ":144231,"ĠÑİбилеÑı":144232,"ĠÑıвиÑĤÑģÑı":144233,"ĠÑıгодиÑĨ":144234,"ĠÑıиÑĩник":144235,"ĠÑıÑģÑĤÑĢеб":144236,"ÐijолÑĮÑĪаÑı":144237,"ÐijÑĢÑĥклин":144238,"ÐijÑħагава":144239,"ÐĴеликаÑı":144240,"ÐĴеликий":144241,"ÐĴенгÑĢии":144242,"ÐĴеÑĤеÑĢан":144243,"ÐĴикипед":144244,"ÐĴÑģпомни":144245,"ÐĴÑĭполнÑı":144246,"ÐĶвадÑĨаÑĤ":144247,"ÐĹаконод":144248,"ÐĺмпеÑĢиÑı":144249,"ÐļваÑĢÑĤиÑĢ":144250,"ÐļÑĢаÑĤкий":144251,"ÐļÑĥзбаÑģÑģ":144252,"ÐĽÐ¸ÑĤовÑģк":144253,"ÐľÐµÐºÑģико":144254,"ÐľÐ¾Ð»Ð¾Ð´ÐµÐ¶":144255,"ÐľÑĥниÑĨип":144256,"ÐĿемеÑĨко":144257,"ÐŀднаждÑĭ":144258,"ÐŀÑģÑĤоÑĢож":144259,"ÐŀÑħоÑĤник":144260,"ÐŁÐ»Ð°Ð½ÐµÑĤа":144261,"ÐŁÐ¾ÑħоÑĢон":144262,"ÐŁÑĢизÑĢак":144263,"ÐŁÑĢованÑģ":144264,"ÐŁÑĢоклÑıÑĤ":144265,"ÐłÐ°Ð±Ð¾ÑĩаÑı":144266,"ÐłÑĥковод":144267,"СимÑĦони":144268,"СоздаÑĤÑĮ":144269,"СпаÑģибо":144270,"ТиÑĤаник":144271,"ТоваÑĢиÑī":144272,"ТÑĢакÑĤоÑĢ":144273,"ТÑĥполев":144274,"УпÑĢавлÑı":144275,"ЮгоÑģлав":144276,"аболизм":144277,"абÑģолÑİÑĤ":144278,"авÑģÑĤÑĢий":144279,"агÑĢегаÑĤ":144280,"аемоÑģÑĤи":144281,"азиÑĢова":144282,"амоÑĢÑĦоз":144283,"аÑĢÑģелон":144284,"аÑĤегоÑĢи":144285,"аÑĤелÑĮна":144286,"аÑĤивной":144287,"бавлÑıÑĤÑĮ":144288,"бавлÑıÑİÑĤ":144289,"бÑĥддиÑģÑĤ":144290,"ваÑĢдÑģко":144291,"вижениÑİ":144292,"влаÑģÑĤнÑĭ":144293,"влекаÑİÑĤ":144294,"гипоÑĦиз":144295,"глÑĥбоко":144296,"добÑĢово":144297,"дÑĥмаеÑĪÑĮ":144298,"екÑĤивнÑĭ":144299,"екÑĤоÑĢаÑĤ":144300,"елÑĮджÑĥк":144301,"енеÑĢаÑĨи":144302,"еÑģенний":144303,"еÑģÑĤанно":144304,"еÑīивани":144305,"забоÑĤно":144306,"заповед":144307,"заÑīиÑĤнÑĭ":144308,"заÑīиÑīен":144309,"зелÑijнÑĭÑħ":144310,"золоÑĩен":144311,"изиÑĢова":144312,"изиÑĢÑĥÑİÑī":144313,"излиÑıни":144314,"иллиаÑĢд":144315,"индикаÑĤ":144316,"ипноÑĤиз":144317,"иÑģловие":144318,"иÑģменÑĤÑĭ":144319,"иÑĨионеÑĢ":144320,"каплива":144321,"кнÑĥлаÑģÑĮ":144322,"конÑĦеÑģÑģ":144323,"коÑĤоÑĢое":144324,"коÑĤоÑĢÑĭÑħ":144325,"кÑĢадÑĭва":144326,"кÑĢаевед":144327,"леÑģÑĤнÑĭй":144328,"мандаÑĤн":144329,"манинов":144330,"меÑīениÑİ":144331,"множиÑĤÑĮ":144332,"наÑĢÑĥжен":144333,"наÑģÑĭÑīен":144334,"ндÑĥкÑĤоÑĢ":144335,"нелегал":144336,"новоднÑĭ":144337,"номоÑĢÑģк":144338,"ноÑĢеÑĩив":144339,"обÑĢазил":144340,"овавÑĪаÑı":144341,"овалоÑģÑĮ":144342,"овиднаÑı":144343,"овидной":144344,"одаÑĢиÑĤÑĮ":144345,"одозÑĢил":144346,"ознанно":144347,"озобнов":144348,"оконник":144349,"олÑĥÑĩиÑĤÑĮ":144350,"олÑĮÑģкаÑı":144351,"омеÑĢаÑĨи":144352,"оминавÑĪ":144353,"онализм":144354,"оноÑģÑĨев":144355,"опеÑĢаÑĨи":144356,"опиÑģани":144357,"опоннеÑģ":144358,"оÑĢазвиÑĤ":144359,"оÑĢмоÑĤал":144360,"оÑĢоÑĤник":144361,"оÑģеÑĢдие":144362,"оÑģледок":144363,"оÑģÑħиÑīен":144364,"оÑĤвоÑĢен":144365,"оÑĤвоÑĢÑĨа":144366,"пиÑĦагоÑĢ":144367,"плавлен":144368,"позвоно":144369,"понÑıÑĤно":144370,"поÑĩвенн":144371,"пÑĢакÑĤик":144372,"пÑĢедÑģед":144373,"пÑĢоблем":144374,"пÑĥлемеÑĤ":144375,"пÑĭлеÑģоÑģ":144376,"ÑĢабоÑĤки":144377,"ÑĢавнÑıÑĤÑĮ":144378,"ÑĢазвлек":144379,"ÑĢепÑĢеÑģÑģ":144380,"ÑĢÑģÑĤвова":144381,"ÑĢÑĥжелÑİб":144382,"ÑģклеÑĢоз":144383,"ÑģоединÑı":144384,"ÑģпоÑĢÑĤеÑĢ":144385,"ÑģпÑĥÑĤник":144386,"ÑģÑĤанÑģки":144387,"ÑģÑĤвеннÑĭ":144388,"ÑģÑĤегива":144389,"ÑģÑĤÑĢÑĥаÑĨи":144390,"ÑģÑĤÑĥкива":144391,"ÑģÑĤÑĥÑĩаÑĤÑĮ":144392,"ÑģÑĥдопÑĢо":144393,"ÑģÑĥлÑĮÑĦаÑĤ":144394,"ÑĤаплива":144395,"ÑĤелеÑĦон":144396,"ÑĤемнело":144397,"ÑĤизаÑĤоÑĢ":144398,"ÑĤÑĥалÑĮно":144399,"ÑĥÑģловнÑĭ":144400,"ÑĦикаÑĨии":144401,"ÑĦÑĢовÑĭва":144402,"ÑĦÑĦеÑĢÑģон":144403,"Ñħлажден":144404,"ÑħлопÑĭва":144405,"ÑħоÑħоÑĤал":144406,"ÑĨебиени":144407,"ÑĨионной":144408,"ÑĩеÑĢпаем":144409,"ÑĪколÑĮно":144410,"ÑĪÑĤампов":144411,"ÑĪÑĤÑĢаÑģÑģе":144412,"ÑįкÑģпоÑĢÑĤ":144413,"ÑįкÑģÑĤÑĢем":144414,"ÑıÑīимиÑģÑı":144415,"ĠBavaria":144416,"ĠCavalry":144417,"ĠCrusade":144418,"ĠMidland":144419,"Ġdenounc":144420,"Ġdiocese":144421,"Ġharmoni":144422,"Ġparasit":144423,"Ġpilgrim":144424,"flection":144425,"produced":144426,"utrition":144427,"ĠÐIJвÑĤобÑĥÑģ":144428,"ĠÐIJкÑģенов":144429,"ĠÐIJлекÑģеÑİ":144430,"ĠÐIJÑĢкÑĤике":144431,"ĠÐIJÑĦÑĢодиÑĤ":144432,"ĠÐijаваÑĢии":144433,"ĠÐijаваÑĢÑģк":144434,"ĠÐijеÑĢезин":144435,"ĠÐijеÑĢÑijзов":144436,"ĠÐijоливии":144437,"ĠÐijÑĥÑĢÑıÑĤии":144438,"ĠÐĴаÑħÑĤанг":144439,"ĠÐĴенгÑĢиÑİ":144440,"ĠÐĴеÑĢÑģалÑĮ":144441,"ĠÐĴеÑĤÑħого":144442,"ĠÐĴинÑģенÑĤ":144443,"ĠÐĴнеÑĪний":144444,"ĠÐĴнеÑĪнÑıÑı":144445,"ĠÐĴнÑĥÑĤÑĢен":144446,"ĠÐĴолжÑģко":144447,"ĠÐĴолокол":144448,"ĠÐĴпеÑĩаÑĤл":144449,"ĠÐĵаÑĢолÑĮд":144450,"ĠÐĵлÑĥбина":144451,"ĠÐĵоÑģдÑĥмÑĥ":144452,"ĠÐĵÑĢегоÑĢи":144453,"ĠÐĵÑĢозном":144454,"ĠÐĶелегаÑĤ":144455,"ĠÐĶеÑĢбенÑĤ":144456,"ĠÐĶеÑĢевÑıн":144457,"ĠÐĶмиÑĤÑĢиÑİ":144458,"ĠÐĶобавим":144459,"ĠÐĶÑĢоздов":144460,"ĠÐĶÑıгилев":144461,"ĠÐķвÑĢоком":144462,"ĠÐĹавеÑĢÑĪа":144463,"ĠÐĹавоева":144464,"ĠÐĹаÑĢанее":144465,"ĠÐĺдеолог":144466,"ĠÐĺеÑĢоним":144467,"ĠÐĺпполиÑĤ":144468,"ĠÐĺÑģполнÑı":144469,"ĠÐĺÑĤалией":144470,"ĠÐĺÑĤалÑĮÑıн":144471,"ĠÐļаддаÑĦи":144472,"ĠÐļазаÑħÑģк":144473,"ĠÐļалÑĥжÑģк":144474,"ĠÐļамеÑĢÑĥн":144475,"ĠÐļанадÑģк":144476,"ĠÐļиÑĪинев":144477,"ĠÐļиÑĪинÑijв":144478,"ĠÐļлеменÑĤ":144479,"ĠÐļолледж":144480,"ĠÐļоллинз":144481,"ĠÐļонÑģеÑĢв":144482,"ĠÐļонÑĤакÑĤ":144483,"ĠÐļоÑĢабли":144484,"ĠÐļоÑĢолÑijв":144485,"ĠÐļÑĥзÑĮмиÑĩ":144486,"ĠÐļÑįмеÑĢон":144487,"ĠÐĽÐ¾Ð±Ð°Ð½Ð¾Ð²":144488,"ĠÐľÐ°Ð³Ð°Ð´Ð°Ð½":144489,"ĠÐľÐ°Ð³Ð¸ÑģÑĤÑĢ":144490,"ĠÐľÐ°ÑĢÑĪÑĢÑĥÑĤ":144491,"ĠÐľÐ°ÑģÑĪÑĤаб":144492,"ĠÐľÐ°ÑĤилÑĮд":144493,"ĠÐľÐ¸Ð»Ñİков":144494,"ĠÐľÐ¸ÑģÑģÑĥÑĢи":144495,"ĠÐľÐ¸ÑĤÑĩелл":144496,"ĠÐľÐ¸ÑĩÑĥÑĢин":144497,"ĠÐĿавеÑĢно":144498,"ĠÐĿагоÑĢно":144499,"ĠÐĿаÑĤалÑĮи":144500,"ĠÐĿаÑĥÑĩнÑĭе":144501,"ĠÐĿаÑĩинаÑİ":144502,"ĠÐĿеаполе":144503,"ĠÐĿепÑĢиÑıÑĤ":144504,"ĠÐĿикÑĥлин":144505,"ĠÐŀблаÑģÑĤÑĮ":144506,"ĠÐŀбÑĬедин":144507,"ĠÐŀбÑĬÑıÑģни":144508,"ĠÐŀбÑĬÑıÑģнÑı":144509,"ĠÐŀкÑĢаÑģка":144510,"ĠÐŀнÑĤаÑĢио":144511,"ĠÐŀÑģвалÑĮд":144512,"ĠÐŀÑģновой":144513,"ĠÐŀÑģÑĤаÑĤки":144514,"ĠÐŁÐ¸ÐºÐ°ÑģÑģо":144515,"ĠÐŁÐ¸ÑģаÑĢев":144516,"ĠÐŁÐ¸ÑģаÑĤел":144517,"ĠÐŁÐ¾Ð²ÑģÑİдÑĥ":144518,"ĠÐŁÐ¾Ð³Ð¾Ð´Ð¸Ð½":144519,"ĠÐŁÐ¾ÑĤÑģдам":144520,"ĠÐŁÑĢиближ":144521,"ĠÐŁÑĢинÑıÑĤо":144522,"ĠÐŁÑĢиÑıÑĤно":144523,"ĠÐŁÑĢовеÑĢÑı":144524,"ĠÐŁÑĢогноз":144525,"ĠÐŁÑĢÑĥÑģÑģиÑı":144526,"ĠÐŁÑħенÑĮÑıн":144527,"ĠÐŁÑĭÑĤаÑıÑģÑĮ":144528,"ĠÐłÐ°Ð´Ð¸Ñīев":144529,"ĠÐłÐ°ÑģколÑĮ":144530,"ĠÐłÐµÐ»Ð¸Ð³Ð¸Ñı":144531,"ĠÐłÑĥмÑĭнÑģк":144532,"ĠСиÑģÑĤемÑĭ":144533,"ĠСловаÑĢÑĮ":144534,"ĠСобÑıнин":144535,"ĠСоÑĦийÑģк":144536,"ĠСÑĤепенÑĮ":144537,"ĠСÑĤÑĢелÑĮÑĨ":144538,"ĠСÑĥздалÑĮ":144539,"ĠСÑĨипион":144540,"ĠТаÑĤиÑīев":144541,"ĠТÑĢиполи":144542,"ĠУинÑģÑĤон":144543,"ĠУÑĢÑĥгваÑı":144544,"ĠУÑģпеÑĪно":144545,"ĠÐ¥ÑĢиÑģÑĤом":144546,"ĠЧаадаев":144547,"ĠШалÑıпин":144548,"ĠШаÑħовÑģк":144549,"ĠÐŃлеоноÑĢ":144550,"ĠÐŃÑĢикÑģон":144551,"ĠЯвлÑıлÑģÑı":144552,"ĠабÑĢикоÑģ":144553,"ĠавиаÑĨиÑİ":144554,"ĠагÑĢаÑĢнÑĭ":144555,"ĠайÑģбеÑĢг":144556,"ĠакÑĢобаÑĤ":144557,"ĠамбиÑĨии":144558,"ĠанÑĤимон":144559,"ĠаÑĢмаÑĤÑĥÑĢ":144560,"ĠаÑĤеÑĢоÑģк":144561,"ĠбабоÑĩек":144562,"ĠбабоÑĩки":144563,"ĠбабÑĥÑĪке":144564,"ĠбалеÑĢин":144565,"ĠбалÑĮзам":144566,"ĠбаÑĢÑĢелÑĮ":144567,"ĠбездеÑĤн":144568,"ĠбезлиÑĩн":144569,"ĠбеÑģкоÑĢÑĭ":144570,"ĠбилÑĮÑıÑĢд":144571,"Ġблиндаж":144572,"Ġбоекомп":144573,"Ġбомбежк":144574,"ĠбÑĢаÑħман":144575,"ĠбÑĢезенÑĤ":144576,"ĠбÑĢиÑĦинг":144577,"ĠбÑĢонÑħиÑĤ":144578,"ĠбÑĭÑģÑĤÑĢаÑı":144579,"ĠваÑĢенÑĮе":144580,"ĠведÑĥÑīее":144581,"ĠвеÑĢевки":144582,"ĠвеÑĢевкÑĥ":144583,"ĠвлиÑıний":144584,"ĠвлÑİблÑijн":144585,"ĠвнÑĥÑĪаеÑĤ":144586,"ĠвнÑĥÑĪиÑĤÑĮ":144587,"ĠвооÑĢÑĥжа":144588,"ĠвоÑģÑģеда":144589,"ĠвоÑģÑģÑĤал":144590,"ĠвÑĭмеÑĢÑĪи":144591,"ĠвÑĭпÑĥклÑĭ":144592,"ĠвÑĭÑĢабаÑĤ":144593,"ĠвÑĭÑĢÑĥÑĩки":144594,"ĠвÑĭÑĢÑĥÑĩкÑĥ":144595,"ĠгалеÑĢеÑİ":144596,"ĠгалÑĮван":144597,"ĠгилÑĮдии":144598,"ĠгиÑĢлÑıнд":144599,"ĠгоÑĢкома":144600,"ĠгоÑĢÑĤани":144601,"ĠгÑĥманно":144602,"Ġдвойное":144603,"ĠдвойнÑĥÑİ":144604,"ĠдевоÑĩке":144605,"ĠдикÑĤÑĥеÑĤ":144606,"ĠдиÑģплей":144607,"Ġдождлив":144608,"ĠдолгоÑģÑĢ":144609,"ĠдоÑĢожке":144610,"ĠдÑĢевнÑİÑİ":144611,"ĠдÑĢогнÑĥл":144612,"ĠдÑĢожжей":144613,"ĠдÑĭÑħании":144614,"ĠепаÑĢÑħиÑı":144615,"ĠживÑĥÑīий":144616,"ĠживÑĥÑīим":144617,"Ġжидкого":144618,"ĠжилÑĮÑĨов":144619,"ĠзавеÑīал":144620,"ĠзагадкÑĥ":144621,"Ġзагадок":144622,"ĠзакÑĥлиÑģ":144623,"ĠзакÑĥпок":144624,"Ġзаменой":144625,"ĠзаменÑijн":144626,"ĠзамеÑĤим":144627,"ĠзамеÑĤкÑĥ":144628,"ĠзамеÑĤок":144629,"ĠзамеÑĩаÑİ":144630,"ĠзамеÑĩаÑı":144631,"ĠзамеÑīен":144632,"ĠзамÑĭÑģлÑĭ":144633,"ĠзапиÑģок":144634,"ĠзапиÑģÑıÑħ":144635,"ĠзаÑĢабаÑĤ":144636,"ĠзаÑģнÑĥÑĤÑĮ":144637,"ĠзаÑģÑĤÑĢаÑħ":144638,"ĠзаÑĤÑĭлок":144639,"ĠзаÑīиÑīÑijн":144640,"ĠздÑĢавÑĭй":144641,"ĠзÑĥбÑĩаÑĤÑĭ":144642,"Ġизлагал":144643,"ĠизменÑijн":144644,"ĠизÑĥмÑĢÑĥд":144645,"ĠимевÑĪим":144646,"ĠимеÑİÑīем":144647,"ĠимеÑİÑīÑĥÑİ":144648,"ĠимпланÑĤ":144649,"ĠинвеÑĢÑģи":144650,"Ġиндонез":144651,"ĠиндÑĥизм":144652,"ĠинÑģÑĤиÑĤÑĥ":144653,"ĠинÑĤегÑĢи":144654,"ĠинÑĦиÑĨиÑĢ":144655,"ĠиÑĢакÑģки":144656,"ĠиÑĢландÑĨ":144657,"ĠиÑĢонией":144658,"ĠиÑģконно":144659,"ĠиÑģполин":144660,"ĠкалÑĮмаÑĢ":144661,"ĠкаÑĢÑĤоÑĩн":144662,"ĠкиноÑĢеж":144663,"ĠколлапÑģ":144664,"ĠколÑİÑĩей":144665,"ĠкомедиÑİ":144666,"ĠконÑĩено":144667,"ĠкоÑĢаблÑİ":144668,"ĠкоÑĤÑĤедж":144669,"ĠкоÑĪелек":144670,"ĠкÑĢаÑĤкие":144671,"ĠкÑĢаÑĤким":144672,"ĠкÑĢивизн":144673,"ĠкÑĢÑĥжоÑĩк":144674,"ĠкÑĥколÑĮн":144675,"ĠлазаÑĢеÑĤ":144676,"ĠлаÑģÑĤоÑĩк":144677,"ĠлекÑģики":144678,"Ġлинейки":144679,"ĠлиÑĩинок":144680,"ĠлоÑĪадÑıÑħ":144681,"ĠлÑĥнного":144682,"Ġманекен":144683,"ĠмаÑĢинад":144684,"ĠмаÑģкиÑĢÑĥ":144685,"ĠмаÑģлÑıнÑĭ":144686,"Ġмедведи":144687,"ĠмедÑĢеÑģе":144688,"ĠменÑĮÑĪие":144689,"ĠмеÑĢзоÑģÑĤ":144690,"ĠмиÑģÑģией":144691,"ĠмладÑĪаÑı":144692,"ĠмладÑĪие":144693,"Ġмонголо":144694,"ĠнагÑĢÑĥдн":144695,"ĠнажаÑĤии":144696,"ĠнажаÑĤиÑı":144697,"ĠнапÑĢоÑĩÑĮ":144698,"ĠнаÑĢÑĥÑĪив":144699,"ĠнаÑĢÑĨиÑģÑģ":144700,"ĠнаÑģилиÑİ":144701,"ĠнаÑijмник":144702,"ĠневеÑģÑĤÑĥ":144703,"ĠнемалÑĥÑİ":144704,"ĠнемалÑĭе":144705,"ĠнепокоÑĢ":144706,"ĠнепоÑģÑĤи":144707,"ĠнеÑĤоÑĢоп":144708,"ĠнеÑĩеÑģÑĤн":144709,"ĠникоÑĤин":144710,"ĠноÑĢманн":144711,"ĠноÑģоÑĢог":144712,"ĠобидеÑĤÑĮ":144713,"ĠобиÑĤаем":144714,"ĠобиÑĤали":144715,"Ġобновил":144716,"ĠобоÑĩине":144717,"ĠобÑĥÑĩаем":144718,"ĠобÑĥÑĩаÑİÑĤ":144719,"ĠодолеÑĤÑĮ":144720,"ĠозвÑĥÑĩил":144721,"ĠоÑģвÑıÑīÑijн":144722,"ĠоÑģложни":144723,"ĠоÑģнаÑīÑijн":144724,"ĠоÑĤважно":144725,"ĠоÑĤлÑĥÑĩен":144726,"ĠоÑĤмеÑĩаÑı":144727,"ĠоÑĤпÑĢÑĭÑģк":144728,"ĠоÑĤÑĢедак":144729,"ĠоÑĤÑĢезка":144730,"ĠоÑĤÑĢемон":144731,"ĠоÑĤÑĭÑģкал":144732,"ĠоÑĨепене":144733,"ĠоÑĪейник":144734,"ĠоÑīÑĥÑīаем":144735,"ĠпагÑĥбно":144736,"ĠпамÑĦлеÑĤ":144737,"ĠпанÑĤеон":144738,"ĠпапиÑĢÑĥÑģ":144739,"ĠпаÑģмÑĥÑĢн":144740,"ĠпаÑĤÑĢиÑĨи":144741,"ĠпеÑĤÑĢÑĥÑĪк":144742,"Ġпианино":144743,"ĠпиÑīеваÑı":144744,"ĠплеваÑĤÑĮ":144745,"ĠповезеÑĤ":144746,"ĠповеÑĢиÑĤ":144747,"Ġповинов":144748,"ĠпогÑĥбил":144749,"ĠподкаÑģÑĤ":144750,"Ġподобен":144751,"ĠподобнÑĭ":144752,"ĠподÑĢÑĥгÑĥ":144753,"ĠподÑĭÑĤож":144754,"ĠпожилÑĭе":144755,"ĠпокÑĥпок":144756,"ĠполпÑĥÑĤи":144757,"ĠпомеÑĩен":144758,"ĠпомниÑĪÑĮ":144759,"ĠпоÑĢазив":144760,"ĠпоÑĢовнÑĥ":144761,"ĠпоÑĤÑĢÑĥди":144762,"ĠпоÑħваÑģÑĤ":144763,"ĠпоÑĨелÑĥй":144764,"ĠпоÑįзией":144765,"ĠпÑĢавнÑĥк":144766,"ĠпÑĢежнÑİÑİ":144767,"ĠпÑĢилиÑĩи":144768,"ĠпÑĢиобÑīи":144769,"ĠпÑĢиÑģлон":144770,"ĠпÑĢобоин":144771,"ĠпÑĢовизи":144772,"ĠпÑĢоиллÑİ":144773,"ĠпÑĢоÑĪлÑĭе":144774,"ĠпÑĢоÑıÑģнÑı":144775,"ĠпÑģиÑħикÑĥ":144776,"ĠпÑĤенÑĨов":144777,"ĠпÑĥÑĢиÑĤан":144778,"ĠпÑĥÑģÑĤÑĭнÑĮ":144779,"ĠÑĢазбоÑĢк":144780,"ĠÑĢазвеÑĤв":144781,"ĠÑĢазвÑĢаÑī":144782,"ĠÑĢазгадк":144783,"ĠÑĢазмÑıгÑĩ":144784,"ĠÑĢазозли":144785,"ĠÑĢамками":144786,"ĠÑĢеÑģпонд":144787,"ĠÑĢеÑĤÑĢоÑģп":144788,"ĠÑĢеÑĩевой":144789,"ĠÑĢеÑĪеÑĤки":144790,"ĠÑĢеÑĪеÑĤкÑĥ":144791,"ĠÑĢÑĥбаÑĪки":144792,"ĠÑĢÑĥбаÑĪкÑĥ":144793,"ĠÑģамопÑĢо":144794,"ĠÑģамоÑĩÑĥв":144795,"ĠÑģближен":144796,"ĠÑģвалива":144797,"ĠÑģваÑģÑĤик":144798,"ĠÑģвеÑĢнÑĥÑĤ":144799,"ĠÑģвиÑĢепо":144800,"ĠÑģвиÑĢепÑĭ":144801,"ĠÑģекÑĤанÑĤ":144802,"ĠÑģеÑĢдиÑĤо":144803,"ĠÑģиÑĦилиÑģ":144804,"ĠÑģковÑĭва":144805,"ĠÑģлобода":144806,"ĠÑģлободÑĭ":144807,"ĠÑģловеÑĩк":144808,"ĠÑģмазанн":144809,"ĠÑģмеÑıлÑģÑı":144810,"ĠÑģмÑıгÑĩен":144811,"ĠÑģнабдил":144812,"ĠÑģокÑĢÑĥÑĪа":144813,"ĠÑģолнÑĭÑĪк":144814,"ĠÑģообÑīив":144815,"ĠÑģоÑĢодиÑĩ":144816,"ĠÑģоÑĨÑģеÑĤи":144817,"ĠÑģпалÑĮне":144818,"ĠÑģпалÑĮни":144819,"ĠÑģпалÑĮнÑİ":144820,"ĠÑģпÑĥÑĤниÑĨ":144821,"ĠÑģÑģÑĭлÑĮнÑĭ":144822,"ĠÑģÑĤебелÑĮ":144823,"ĠÑģÑĤоÑıнке":144824,"ĠÑģÑĤоÑıÑīим":144825,"ĠÑģÑĤÑĢогиÑħ":144826,"ĠÑģÑĥбÑĤÑĢоп":144827,"ĠÑģÑĥмеÑĢки":144828,"ĠÑģÑĥÑĢовÑĭе":144829,"ĠÑģÑĥÑĢовÑĭй":144830,"ĠÑģÑħваÑĤка":144831,"ĠÑģÑĬемоÑĩн":144832,"ĠÑģÑĬÑijмоÑĩн":144833,"ĠÑĤабÑĥÑĢеÑĤ":144834,"ĠÑĤакÑĤике":144835,"ĠÑĤакÑĤико":144836,"ĠÑĤамоÑĪни":144837,"ĠÑĤаÑĢелка":144838,"ĠÑĤекÑĥÑīее":144839,"ĠÑĤекÑĥÑīим":144840,"ĠÑĤекÑĥÑīÑĥÑİ":144841,"ĠÑĤеÑĤÑĢадÑĮ":144842,"ĠÑĤолÑīинÑĥ":144843,"ĠÑĤоненÑĮк":144844,"ĠÑĤоÑĢопил":144845,"ĠÑĤоÑĩеÑĩнÑĭ":144846,"ĠÑĤÑĢамвае":144847,"ĠÑĤÑĢанÑĪеи":144848,"ĠÑĤÑĥннелÑĮ":144849,"ĠÑĤÑıжÑijлÑĭй":144850,"ĠÑĥбеждÑijн":144851,"ĠÑĥбеÑĢеÑĩÑĮ":144852,"ĠÑĥвеÑĢова":144853,"ĠÑĥвеÑĢÑıеÑĤ":144854,"ĠÑĥвлекÑģÑı":144855,"ĠÑĥволиÑĤÑĮ":144856,"ĠÑĥгÑĢожаÑı":144857,"ĠÑĥделÑıеÑĤ":144858,"ĠÑĥзнаеÑĪÑĮ":144859,"ĠÑĥкÑĢаÑģÑĤÑĮ":144860,"ĠÑĥниÑĦоÑĢм":144861,"ĠÑĥпÑĢажнÑı":144862,"ĠÑĥÑĢоÑĩиÑīе":144863,"ĠÑĥÑģадÑĮбе":144864,"ĠÑĥÑģвоиÑĤÑĮ":144865,"ĠÑĥÑģложни":144866,"ĠÑĥÑģÑĥгÑĥби":144867,"ĠÑĥÑĩиÑĤелÑİ":144868,"ĠÑĦанаÑĤик":144869,"ĠÑĦаÑĢмако":144870,"ĠÑĦÑĢейлин":144871,"ĠÑħиÑīениÑı":144872,"ĠÑħоÑģÑĤинг":144873,"ĠÑĨаÑĢапин":144874,"ĠÑĨаÑĢÑģкие":144875,"ĠÑĨаÑĢÑģким":144876,"ĠÑĨелебнÑĭ":144877,"ĠÑĨепоÑĩке":144878,"ĠÑĨиниÑĩно":144879,"ĠÑĩеÑĤвÑijÑĢк":144880,"ĠÑĩиÑģÑĤейÑĪ":144881,"ĠÑĪеÑģÑĤиде":144882,"ĠÑĪкаÑĤÑĥлк":144883,"ĠÑĪÑĤÑĥÑĢвал":144884,"ĠÑįпигÑĢаÑĦ":144885,"ĠÑįÑģминеÑĨ":144886,"ĠÑıÑĢмаÑĢка":144887,"ĠÑıÑĢмаÑĢки":144888,"ÐIJвангаÑĢд":144889,"ÐIJвÑģÑĤÑĢали":144890,"ÐĴоÑģÑĤоÑĩно":144891,"ÐĵеÑĢкÑĥлеÑģ":144892,"ÐĵоÑĢизонÑĤ":144893,"ÐĶанÑĩенко":144894,"ÐĺнÑĨиденÑĤ":144895,"Ðļливленд":144896,"ÐļÑĢиÑģÑĤалл":144897,"ÐļÑĥÑĢилÑĮÑģк":144898,"ÐĽÐµÐºÐ°ÑĢÑģÑĤв":144899,"ÐľÐ°Ð½ÑģийÑģк":144900,"ÐľÐ°ÑıковÑģк":144901,"ÐľÐµÑĢÑģедеÑģ":144902,"ÐľÐ¸Ð½Ð½ÐµÑģоÑĤ":144903,"ÐľÐ¾ÑģÑĦилÑĮм":144904,"ÐĿаÑĨионал":144905,"ÐĿоÑĢилÑĮÑģк":144906,"ÐŁÐ¾ÑĩеÑĤнÑĭй":144907,"ÐŁÑĢедÑĭдÑĥÑī":144908,"ÐŁÑĢеодоле":144909,"СкоÑĢпион":144910,"Таможенн":144911,"ТÑĢагедиÑı":144912,"Уимблдон":144913,"УникалÑĮн":144914,"ФонÑĤанка":144915,"ШÑĤÑĥÑĤгаÑĢÑĤ":144916,"ÐŃкÑģпÑĢеÑģÑģ":144917,"агиÑģÑĤÑĢал":144918,"аделÑĮÑĦии":144919,"акÑĤивнÑĭÑħ":144920,"алкоголÑĮ":144921,"алÑĮдегид":144922,"аÑĢÑĤизаÑĨи":144923,"аÑĤаÑģÑĤÑĢоÑĦ":144924,"беÑģÑģмÑĭÑģл":144925,"бÑĥкÑģиÑĢов":144926,"ваÑĢÑĤиÑĢнÑĭ":144927,"влеÑĩении":144928,"возбÑĥдим":144929,"волакива":144930,"вÑıÑīенник":144931,"головник":144932,"дапÑĤаÑĨиÑı":144933,"допÑĥÑģÑĤим":144934,"евÑĢейÑģки":144935,"едеÑĢаÑĨии":144936,"енноÑģÑĤей":144937,"еÑĤанковÑĭ":144938,"еÑħваÑĤÑĩик":144939,"жидкоÑģÑĤн":144940,"зÑĭÑģкание":144941,"зÑĭÑģканий":144942,"инÑģÑĤиÑĤÑĥÑĤ":144943,"инÑįконом":144944,"иÑĢованно":144945,"иÑĤелÑĮнее":144946,"иÑĤелÑĮном":144947,"иÑĤиковал":144948,"иÑĤиÑĢован":144949,"каÑĢпаÑĤÑģк":144950,"каÑģпийÑģк":144951,"кладÑĭваÑİ":144952,"колаÑĩива":144953,"комиÑģÑģаÑĢ":144954,"конÑģÑĤиÑĤÑĥ":144955,"кÑĢеплÑıÑİÑĤ":144956,"кÑĢÑĭваÑĤел":144957,"лизиÑĢова":144958,"лимÑĦоÑĨиÑĤ":144959,"линейнÑĭм":144960,"ллеÑĢийÑģк":144961,"лÑĥÑĩаÑĤелÑı":144962,"маÑĤозоид":144963,"мÑĥникаÑĨи":144964,"наÑĢоднÑĭе":144965,"ндокÑĢинн":144966,"ненавиÑģÑĤ":144967,"неÑĦÑĤегаз":144968,"ниÑĩеÑģÑĤве":144969,"ноÑĢеÑĩиво":144970,"обÑĢеÑĤаÑİÑĤ":144971,"оводÑĩеÑģк":144972,"овоÑģпали":144973,"ожеÑģÑĤвен":144974,"олÑĮзован":144975,"ониманиÑı":144976,"ооÑīÑĥÑīени":144977,"оположен":144978,"опоÑĢÑıдка":144979,"опÑĢеделÑı":144980,"оÑĢоженно":144981,"оÑģпÑĢепÑıÑĤ":144982,"оÑģÑĤаÑĤоÑĩн":144983,"оÑĤвоÑĢени":144984,"оÑĩаÑģÑĤоÑĤн":144985,"пиÑģÑĭваем":144986,"планкÑĤон":144987,"подлинно":144988,"пÑĢедпоÑĩÑĤ":144989,"пÑĢÑĥденÑĨи":144990,"пÑģиÑħиаÑĤÑĢ":144991,"ÑĢазвиÑĤиÑı":144992,"ÑĢазлиÑĩие":144993,"ÑĢедакÑĤоÑĢ":144994,"ÑĢежиÑģÑģÑijÑĢ":144995,"ÑĢеÑĨепÑĤоÑĢ":144996,"ÑĢождÑijнно":144997,"ÑĢоÑĤмиÑģÑĤÑĢ":144998,"ÑĢÑĥгоÑģвеÑĤ":144999,"ÑĢÑĥппиÑĢов":145000,"ÑģливоÑģÑĤÑĮ":145001,"ÑģмейÑģÑĤеÑĢ":145002,"ÑģÑĤÑĢиÑĢова":145003,"ÑĤÑĢевожил":145004,"ÑĥÑĩÑĢежден":145005,"ÑĦедеÑĢаÑĨи":145006,"ÑħÑĥдожник":145007,"ÑĨенноÑģÑĤи":145008,"ÑĭÑģкиваÑĤÑĮ":145009,"ÑįкваÑĤоÑĢи":145010,"ĠAnglican":145011,"ĠPostgreS":145012,"ĠValentin":145013,"ĠVenetian":145014,"Ġinducted":145015,"Ġnobility":145016,"Ġterminus":145017,"Philosoph":145018,"arrington":145019,"cigarette":145020,"developed":145021,"mputation":145022,"symmetric":145023,"tolerance":145024,"ĠÐIJзиаÑĤÑģки":145025,"ĠÐIJзиаÑĤÑģко":145026,"ĠÐIJлÑĮбÑĢеÑħÑĤ":145027,"ĠÐIJÑĢÑģенÑĮев":145028,"ĠÐIJÑĢÑħангел":145029,"ĠÐIJÑģÑĤÑĢоном":145030,"ĠÐIJÑĦанаÑģий":145031,"ĠÐIJÑħмаÑĤова":145032,"ĠÐIJÑįÑĢопоÑĢÑĤ":145033,"ĠÐijобÑĢÑĥйÑģк":145034,"ĠÐijолеÑģлав":145035,"ĠÐijÑĢазилиÑı":145036,"ĠÐijÑĢÑİÑģÑģелÑĮ":145037,"ĠÐĴдобавок":145038,"ĠÐĴенгеÑĢÑģк":145039,"ĠÐĴеÑĢнемÑģÑı":145040,"ĠÐĴклÑİÑĩаеÑĤ":145041,"ĠÐĴоздÑĥÑĪно":145042,"ĠÐĴолконÑģк":145043,"ĠÐĴÑĢангелÑı":145044,"ĠÐĴÑģпомнил":145045,"ĠÐĴÑĭделÑıÑİÑĤ":145046,"ĠÐĵанновеÑĢ":145047,"ĠÐĵваÑĤемал":145048,"ĠÐĵинзбÑĥÑĢг":145049,"ĠÐĵондÑĥÑĢаÑģ":145050,"ĠÐĵоÑĢбаÑĩÑijв":145051,"ĠÐĵоÑĢÑĩаков":145052,"ĠÐĶжÑĥзеппе":145053,"ĠÐĶимиÑĤÑĢов":145054,"ĠÐĶобавÑĮÑĤе":145055,"ĠÐķлиÑģавеÑĤ":145056,"ĠÐĹаказÑĩик":145057,"ĠÐĺзвеÑģÑĤна":145058,"ĠÐĺллаÑĢион":145059,"ĠÐĺллинойÑģ":145060,"ĠÐĺндонези":145061,"ĠÐļамÑĩаÑĤки":145062,"ĠÐļапиÑĤоли":145063,"ĠÐļаÑĢдинал":145064,"ĠÐļаÑĤегоÑĢи":145065,"ĠÐļÑĥÑĢÑĩаÑĤов":145066,"ĠÐļÑįмпбелл":145067,"ĠÐĽÑĥкÑĮÑıнов":145068,"ĠÐľÐ°Ð³ÐµÐ»Ð»Ð°Ð½":145069,"ĠÐľÐ°Ð¼Ð¾Ð½ÑĤов":145070,"ĠÐľÐ°ÑħаÑĩкал":145071,"ĠÐľÐµÐ´Ð»ÐµÐ½Ð½Ð¾":145072,"ĠÐľÐµÐ»ÑĮбÑĥÑĢн":145073,"ĠÐľÐµÐ½ÐµÐ´Ð¶ÐµÑĢ":145074,"ĠÐľÐµÑĢкÑĥÑĢиÑı":145075,"ĠÐľÐ¾Ð½ÑĢеале":145076,"ĠÐľÐ¾Ñħаммед":145077,"ĠÐĿапÑĢаÑģно":145078,"ĠÐĿаÑĢкомаÑĤ":145079,"ĠÐĿеÑĤÑĢÑĥдно":145080,"ĠÐŀбнаÑĢÑĥжи":145081,"ĠÐŀболенÑģк":145082,"ĠÐŀгÑĢомное":145083,"ĠÐŀкÑĤавиан":145084,"ĠÐŀпиÑĢаÑıÑģÑĮ":145085,"ĠÐŀпÑĢеделÑı":145086,"ĠÐŀÑģвенÑĨим":145087,"ĠÐŀÑīÑĥÑīение":145088,"ĠÐŁÐµÑĢеÑĩенÑĮ":145089,"ĠÐŁÐµÑĢÑģонаж":145090,"ĠÐŁÐ¾Ð²Ð¾Ð»Ð¶ÑĮÑı":145091,"ĠÐŁÐ¾Ð´Ð¾Ð±Ð½Ñĭм":145092,"ĠÐŁÐ¾Ð¼Ð¾Ñīник":145093,"ĠÐŁÐ¾ÑĤемкин":145094,"ĠÐŁÐ¾ÑĩÑĤовÑĭй":145095,"ĠÐŁÑĢепаÑĢаÑĤ":145096,"ĠÐŁÑĢодолжи":145097,"ĠÐŁÑĢодÑİÑģеÑĢ":145098,"ĠÐŁÑĤолемеÑı":145099,"ĠÐłÐ°Ð±Ð¾ÑĤник":145100,"ĠÐłÐ¾Ð±Ð¸Ð½Ñģон":145101,"ĠÐłÐ¾Ð´ÑĢигеÑģ":145102,"ĠÐłÐ¾ÑĤÑĪилÑĮд":145103,"ĠСавелÑĮев":145104,"ĠСавÑĩенко":145105,"ĠСделайÑĤе":145106,"ĠСкобелев":145107,"ĠСловении":145108,"ĠСпеÑĢанÑģк":145109,"ĠСпиÑĢидон":145110,"ĠСÑĢажение":145111,"ĠСÑĤÑĢемÑıÑģÑĮ":145112,"ĠСÑĥÑħопÑĥÑĤн":145113,"ĠСÑĥÑīноÑģÑĤÑĮ":145114,"ĠТаджикÑģк":145115,"ĠУÑĤвеÑĢжда":145116,"ĠФеодоÑģий":145117,"ĠФÑĢагменÑĤ":145118,"ĠÐ¥ÑĢиÑģÑĤово":145119,"ĠЦвеÑĤаева":145120,"ĠÐŃÑĢенбÑĥÑĢг":145121,"ĠÐŃÑĢмиÑĤажа":145122,"ĠÐŃÑĦÑĦекÑĤив":145123,"Ġавиалини":145124,"ĠагÑĢеÑģÑģиÑı":145125,"ĠамниÑģÑĤии":145126,"ĠанноÑĤаÑĨи":145127,"Ġаномалии":145128,"ĠапологеÑĤ":145129,"ĠаÑĥдиенÑĨи":145130,"ĠаÑĦганÑģки":145131,"ĠаÑįÑĢоÑģÑĤаÑĤ":145132,"ĠбабÑĥÑĪкой":145133,"Ġбаклажан":145134,"ĠбанкомаÑĤ":145135,"ĠбезмеÑĢно":145136,"ĠбеÑģпеÑĩно":145137,"ĠбеÑģпÑĢиÑģÑĤ":145138,"ĠбеÑģÑģÑĢоÑĩн":145139,"ĠбеÑģÑĪÑĥмно":145140,"Ġблаженно":145141,"ĠблаженнÑĭ":145142,"ĠблизоÑĢÑĥк":145143,"ĠблокÑĩейн":145144,"ĠболезнÑıÑħ":145145,"ĠбÑĢиÑĤанÑĨÑĭ":145146,"ĠбÑĢожениÑı":145147,"ĠвеÑĢнÑĥÑĤÑģÑı":145148,"ĠвзаимнÑĭÑħ":145149,"Ġвложений":145150,"ĠвнебÑĢаÑĩн":145151,"ĠвниманиÑİ":145152,"ĠвоиÑģÑĤинÑĥ":145153,"ĠвокалÑĮно":145154,"ĠвÑģеобÑīим":145155,"ĠвÑģÑĤÑĢеÑĤÑıÑĤ":145156,"ĠвÑĭнаÑĪива":145157,"ĠвÑĭÑĤеÑģнил":145158,"ĠгаÑĢмониÑı":145159,"ĠгенеÑĢаÑĨи":145160,"ĠгимназиÑı":145161,"ĠголкипеÑĢ":145162,"Ġголодовк":145163,"ĠгÑĢÑĭзÑĥнов":145164,"ĠгÑĥбеÑĢниÑİ":145165,"ĠдагеÑģÑĤан":145166,"ĠдевоÑĩкой":145167,"ĠденежнаÑı":145168,"ĠденежнÑĭй":145169,"ĠденежнÑĭм":145170,"ĠджÑĥнглÑıÑħ":145171,"ĠдикÑĤовал":145172,"ĠдилеÑĤанÑĤ":145173,"ĠдиÑģпеÑĢÑģи":145174,"ĠдополнÑıл":145175,"ĠдоÑģÑĤижим":145176,"ĠдÑĢевеÑģно":145177,"ĠеÑģÑĤеÑģÑĤво":145178,"ĠжалÑĥÑİÑĤÑģÑı":145179,"ĠжелаÑİÑīий":145180,"ĠжелаÑİÑīим":145181,"ĠзаблÑĥжда":145182,"ĠзавеÑĢÑĪÑijн":145183,"ĠзавоÑijван":145184,"Ġзаданном":145185,"ĠзаданнÑĭм":145186,"ĠзамедлиÑĤ":145187,"ĠзамеÑĩаем":145188,"ĠзамоÑĢозк":145189,"Ġзаплакал":145190,"ĠзаÑħоÑĤиÑĤе":145191,"ĠзвездоÑĩк":145192,"Ġзнаменем":145193,"ĠизвозÑĩик":145194,"Ġизобилие":145195,"Ġизобилии":145196,"ĠизобилиÑı":145197,"ĠимевÑĪего":145198,"ĠименÑĥемо":145199,"ĠименÑĥемÑĭ":145200,"ĠиммÑĥнной":145201,"ĠинÑĤÑĥиÑĨиÑı":145202,"ĠинÑĦекÑĨий":145203,"ĠиÑģклÑİÑĩÑijн":145204,"ĠиÑģкÑĥплен":145205,"ĠиÑģландÑģк":145206,"ĠиÑģÑĤÑĢеблÑı":145207,"ĠкаÑĢÑĤоÑĩек":145208,"ĠкаÑĢÑĤоÑĪкÑĥ":145209,"ĠкванÑĤово":145210,"ĠквиÑĤанÑĨи":145211,"ĠклеÑĤÑĩаÑĤк":145212,"ĠклÑİÑĩевÑĥÑİ":145213,"ĠковаÑĢÑģÑĤв":145214,"Ġкожевенн":145215,"ĠколÑĭбелÑĮ":145216,"ĠконвеÑĢÑģи":145217,"ĠконеÑĩнÑĭм":145218,"ĠконÑĦеÑģÑģи":145219,"ĠкоÑĢневиÑī":145220,"ĠкоÑĢÑĭÑģÑĤнÑĭ":145221,"ĠкоÑģмеÑĤик":145222,"ĠкÑĢаÑģоÑĩно":145223,"ĠкÑĢеÑīениÑı":145224,"ĠкÑĢиÑĤеÑĢиÑı":145225,"ĠкÑĢиÑĤиÑĩно":145226,"ĠкÑĢÑĥгозоÑĢ":145227,"ĠкÑĥкÑĥÑĢÑĥзÑĭ":145228,"ĠкÑĥÑĢÑĦÑİÑĢÑģÑĤ":145229,"ĠлавÑĢовÑĭй":145230,"ĠладонÑıми":145231,"ĠлейкоÑĨиÑĤ":145232,"ĠлеÑģоÑģÑĤеп":145233,"ĠлеÑģÑĤниÑĨÑĥ":145234,"ĠлеÑĤопиÑģн":145235,"ĠлеÑĩебниÑĨ":145236,"ĠлеÑĩебнÑĭÑħ":145237,"ĠлибÑĢеÑĤÑĤо":145238,"ĠлидиÑĢÑĥÑİÑī":145239,"ĠлинейнÑĭй":145240,"ĠлиÑĨензий":145241,"ĠлиÑĨензиÑı":145242,"ĠлогаÑĢиÑĦм":145243,"ĠлогиÑģÑĤик":145244,"ĠлÑİбовнÑĭе":145245,"ĠманÑĮÑĩжÑĥÑĢ":145246,"ĠмаÑĢиÑħÑĥан":145247,"Ġмедведей":145248,"ĠмедиÑĨинÑĥ":145249,"ĠмелÑĮкнÑĥл":145250,"ĠмемÑĥаÑĢов":145251,"ĠмилоÑģÑĤÑĭн":145252,"ĠмиоÑĦаÑģÑĨи":145253,"ĠмиÑĢолÑİби":145254,"ĠмладенеÑĨ":145255,"ĠмолодÑijжÑĮ":145256,"ĠмонÑĤиÑĢов":145257,"ĠмоÑĩевого":145258,"ĠмÑģÑĤиÑĤелÑĮ":145259,"ĠмÑĥÑĢавÑĮев":145260,"ĠнадгÑĢоби":145261,"ĠнадеÑİÑĤÑģÑı":145262,"ĠнадпиÑģей":145263,"ĠназемнÑĭм":145264,"ĠналиÑĩнÑĭÑħ":145265,"ĠналожниÑĨ":145266,"ĠнапÑĢаÑģнÑĭ":145267,"ĠнаÑĢоÑĩиÑĤо":145268,"ĠнаÑĢÑĢаÑĤив":145269,"ĠнаÑģелÑıÑİÑī":145270,"ĠнаÑĥÑĪники":145271,"Ġнедавнем":145272,"ĠнедоÑĢого":145273,"ĠнейÑĤÑĢино":145274,"ĠненавижÑĥ":145275,"ĠненÑĥжнÑĭм":145276,"ĠнеÑĥклÑİже":145277,"ĠнеÑĥклÑİжи":145278,"ĠнеÑĥÑıзвим":145279,"ĠнеÑħваÑĤка":145280,"ĠнеÑĩаÑıнно":145281,"ĠнеÑĩеÑģÑĤив":145282,"ĠнизменнÑĭ":145283,"ĠноÑĩеваÑĤÑĮ":145284,"ĠнÑĥмеÑĢаÑĨи":145285,"ĠобвиниÑĤÑĮ":145286,"ĠоблегÑĩил":145287,"ĠоблиÑĨовк":145288,"ĠобманÑĩив":145289,"ĠобогÑĢева":145290,"ĠоболоÑĩке":145291,"ĠобоÑĢоннÑĭ":145292,"ĠобÑĢамлен":145293,"ĠобÑģÑĤоÑıло":145294,"ĠобÑīалиÑģÑĮ":145295,"ĠобÑĭгÑĢÑĭва":145296,"ĠоговоÑĢен":145297,"Ġозлоблен":145298,"ĠопаздÑĭва":145299,"ĠопеÑĢедив":145300,"ĠопÑĥÑģÑĤоÑĪа":145301,"ĠопÑĥÑħолей":145302,"ĠоÑĢанжево":145303,"ĠоÑģколков":145304,"ĠоÑģложнен":145305,"ĠоÑģмелива":145306,"ĠоÑģÑĤанков":145307,"ĠоÑģÑĤеÑĢега":145308,"ĠоÑĤзÑĭвÑĩив":145309,"ĠоÑĤлиÑĩнÑĥÑİ":145310,"ĠоÑĤноÑĪÑĥÑģÑĮ":145311,"ĠоÑĤовÑģÑİдÑĥ":145312,"ĠоÑĤодвига":145313,"ĠоÑĤÑĢаÑģлÑıм":145314,"ĠоÑĤÑĭÑģкива":145315,"ĠоÑħÑĢанÑıеÑĤ":145316,"ĠоÑĩевиден":145317,"ĠпакиÑģÑĤан":145318,"ĠпаÑĢÑĦÑİмеÑĢ":145319,"ĠпеÑĢежиÑĤк":145320,"ĠпеÑĢемежа":145321,"ĠпеÑĢеÑģÑĭлк":145322,"ĠпеÑĢеÑĪейк":145323,"ĠпеÑĢипеÑĤи":145324,"ĠпеÑĢиÑģкоп":145325,"ĠпеÑģÑĩаник":145326,"ĠпеÑħоÑĤнаÑı":145327,"ĠпеÑħоÑĤнÑĭе":145328,"ĠпиÑĤомник":145329,"ĠпиÑĤÑĮевой":145330,"Ġплавании":145331,"ĠплоÑīадÑıÑħ":145332,"ĠпобоÑĢоÑĤÑĮ":145333,"ĠпобоÑĩнÑĭÑħ":145334,"ĠпобÑĭвавÑĪ":145335,"Ġповелева":145336,"ĠповеÑĢÑĮÑĤе":145337,"ĠповеÑģÑĤей":145338,"ĠповеÑģÑĤкÑĥ":145339,"ĠповидаÑĤÑĮ":145340,"ĠповлиÑıеÑĤ":145341,"ĠповÑĢежда":145342,"ĠпогоднÑĭÑħ":145343,"ĠпогÑĥбиÑĤÑĮ":145344,"ĠподобаеÑĤ":145345,"ĠподпиÑģкÑĥ":145346,"ĠподполÑĮÑı":145347,"ĠпожелаеÑĤ":145348,"Ġпожилого":145349,"ĠпокоиÑĤÑģÑı":145350,"ĠполÑĥгода":145351,"ĠполÑĥÑĩиÑĪÑĮ":145352,"ĠполÑıÑĢнÑĭÑħ":145353,"ĠпомеÑĪаеÑĤ":145354,"Ġпоневоле":145355,"ĠпопÑĢобÑĥÑİ":145356,"ĠпопÑĥÑĤÑĩик":145357,"ĠпоÑĢажаÑİÑĤ":145358,"ĠпоÑĢазиÑĤÑĮ":145359,"ĠпоÑĢÑĤÑĦелÑı":145360,"ĠпоÑģлÑĥжиÑĤ":145361,"ĠпоÑĩÑijÑĤное":145362,"ĠпоÑĩÑijÑĤнÑĭм":145363,"ĠпоÑįÑĤапно":145364,"ĠпÑĢевзоÑĪл":145365,"ĠпÑĢевÑĭÑģиÑĤ":145366,"ĠпÑĢедваÑĢÑı":145367,"ĠпÑĢиведÑijÑĤ":145368,"ĠпÑĢиглаÑģи":145369,"ĠпÑĢимеÑģей":145370,"ĠпÑĢиобÑīен":145371,"ĠпÑĢиÑıÑĤнее":145372,"ĠпÑĢобÑĥдил":145373,"ĠпÑĢовианÑĤ":145374,"ĠпÑĢогÑĢева":145375,"ĠпÑĢодавÑĨÑĭ":145376,"ĠпÑĢоезжей":145377,"ĠпÑĢоигÑĢан":145378,"ĠпÑĢоизвед":145379,"ĠпÑĢоÑģлойк":145380,"ĠпÑĢоÑħожиÑħ":145381,"ĠпÑĥбликой":145382,"ĠÑĢазгÑĢÑĥзк":145383,"ĠÑĢаздвоен":145384,"ĠÑĢаздÑĥмÑĮÑı":145385,"ĠÑĢазÑĬезжа":145386,"ĠÑĢаÑģÑģкажи":145387,"ĠÑĢаÑģÑģлаби":145388,"ĠÑĢаÑģÑģÑĥдок":145389,"ĠÑĢаÑģÑĤÑĥÑīей":145390,"ĠÑĢедÑĥкÑĤоÑĢ":145391,"ĠÑĢезиденÑĤ":145392,"ĠÑĢейÑħÑģÑĤаг":145393,"ĠÑĢепÑĢодÑĥк":145394,"ĠÑĢеÑĨензий":145395,"ĠÑĢиÑģÑĥнком":145396,"ĠÑĢовеÑģник":145397,"ĠÑĢÑĭноÑĩнÑĭÑħ":145398,"ĠÑĢÑĭÑĨаÑĢÑģки":145399,"ĠÑģамодеÑĢж":145400,"ĠÑģвеÑĩение":145401,"ĠÑģделаеÑĪÑĮ":145402,"ĠÑģимпаÑĤиÑİ":145403,"ĠÑģкамейке":145404,"ĠÑģкаÑĦандÑĢ":145405,"ĠÑģкÑĢÑĭлиÑģÑĮ":145406,"ĠÑģмеÑĤаной":145407,"ĠÑģмоÑĤÑĢиÑĪÑĮ":145408,"ĠÑģнегопад":145409,"ĠÑģоблÑİден":145410,"ĠÑģовеÑĢÑĪиÑĤ":145411,"ĠÑģоглаÑģна":145412,"ĠÑģоздадим":145413,"ĠÑģоломенн":145414,"ĠÑģооÑĢÑĥдил":145415,"ĠÑģопеÑĢниÑĨ":145416,"ĠÑģоÑģловий":145417,"ĠÑģпеÑĨназа":145418,"ĠÑģÑĢедизем":145419,"ĠÑģÑĤеÑĢженÑĮ":145420,"ĠÑģÑĤиÑĢалÑĮн":145421,"ĠÑģÑĤÑĢелÑıеÑĤ":145422,"ĠÑģÑĤÑĥпенÑıм":145423,"ĠÑģÑĥдоÑħодн":145424,"ĠÑģÑĥмеÑĢкаÑħ":145425,"ĠÑģÑĥммаÑĢнÑĭ":145426,"ĠÑģÑĬедобнÑĭ":145427,"ĠÑĤаблеÑĤок":145428,"ĠÑĤаблиÑĩка":145429,"ĠÑĤаблиÑĩки":145430,"ĠÑĤалиÑģман":145431,"ĠÑĤелеÑģнÑĭÑħ":145432,"ĠÑĤипиÑĩнÑĭÑħ":145433,"ĠÑĤиÑħонÑĮко":145434,"ĠÑĤÑĢагедий":145435,"ĠÑĤÑĢалÑĮÑīик":145436,"ĠÑĤÑĢамплин":145437,"ĠÑĤÑĢÑĥдоемк":145438,"ĠÑĤÑĥÑĢеÑĨкие":145439,"ĠÑĤÑıжÑijлого":145440,"ĠÑĥгÑĢожаÑĤÑĮ":145441,"ĠÑĥмиÑĢаÑİÑīе":145442,"ĠÑĥпаковке":145443,"ĠÑĥподоблÑı":145444,"ĠÑĥпÑĢоÑīаеÑĤ":145445,"ĠÑĥÑģпеÑĪнÑĥÑİ":145446,"ĠÑĥÑģпокоиÑĤ":145447,"ĠÑĥÑĤÑĢенней":145448,"ĠÑĥÑĩаÑģÑĤвÑĥÑı":145449,"ĠÑĥÑĩаÑģÑĤком":145450,"ĠÑĥÑĩÑĢеждÑijн":145451,"ĠÑĦабÑĢиÑĩно":145452,"ĠÑĦилиппин":145453,"ĠÑĦлоÑĤилиÑı":145454,"ĠÑĨиÑĢкÑĥлÑıÑĢ":145455,"ĠÑĩеÑĤвеÑĢÑĭÑħ":145456,"ĠÑĪаÑĢлаÑĤан":145457,"ĠÑįлекÑĤÑĢоп":145458,"ĠÑįпилепÑģи":145459,"ÐijаÑĢÑģелонÑĭ":145460,"ÐijеÑģконеÑĩн":145461,"ÐĴаÑĪингÑĤон":145462,"ÐĴикипедиÑı":145463,"ÐĴÑģемиÑĢнаÑı":145464,"ÐķвÑĢазийÑģк":145465,"ÐĺнгÑĥÑĪеÑĤии":145466,"ÐĺниÑĨиаÑĤив":145467,"ÐŀÑģÑĤоÑĢожно":145468,"ÐŁÐķТÐķÐłÐijÐ£ÐłÐĵ":145469,"ÐŁÐ¾Ñģледний":145470,"ÐłÐ¾ÑģкоÑģмоÑģ":145471,"СибиÑĢÑģкий":145472,"СоÑĨиалиÑģÑĤ":145473,"СÑĤÑĢаÑĤегиÑı":145474,"СÑĤÑĢоиÑĤелÑĮ":145475,"УпÑĢавлÑıÑİÑī":145476,"ФеÑģÑĤивалÑĮ":145477,"ЧÑĢезвÑĭÑĩай":145478,"ЮгоÑģлавиÑı":145479,"ализоваÑĤÑĮ":145480,"аналиÑĤиÑĩе":145481,"бÑĢонеÑĤÑĢан":145482,"возвÑĢаÑĤно":145483,"воздÑĥÑĪнÑĥÑİ":145484,"диÑģÑĨиплин":145485,"днепÑĢовÑģк":145486,"доволÑĮÑģÑĤв":145487,"доминикан":145488,"дÑĥÑĨиÑĢован":145489,"езжалоÑģÑĤн":145490,"еÑģÑĤвеннаÑı":145491,"завиÑģимÑĭÑħ":145492,"заинÑĤеÑĢеÑģ":145493,"злÑİбленно":145494,"изводÑģÑĤва":145495,"изиÑĢованн":145496,"инамиÑĩеÑģк":145497,"иненÑĤалÑĮн":145498,"инÑĤеÑĢÑĦейÑģ":145499,"инÑĦоÑĢмаÑĨи":145500,"иÑĢовавÑĪие":145501,"иÑģпÑĥÑģкани":145502,"иÑĤелÑĮÑģÑĤвÑĥ":145503,"конÑģÑĤÑĢÑĥкÑĤ":145504,"кÑĢÑĭвалаÑģÑĮ":145505,"лаÑĤеÑĢалÑĮн":145506,"меÑģÑıÑĩного":145507,"наÑģелÑijнно":145508,"ноÑĢмандÑģк":145509,"нÑĥклеоÑĤид":145510,"ованноÑģÑĤÑĮ":145511,"озаÑīиÑĤник":145512,"окÑĢÑĥжение":145513,"онÑģалÑĤинг":145514,"онÑĤÑĢоллеÑĢ":145515,"онÑĦиденÑĨи":145516,"оÑĢанжевÑĭй":145517,"оÑģкоÑĢоÑģÑĤн":145518,"оÑģнованно":145519,"оÑħаÑĢакÑĤеÑĢ":145520,"подполÑĮнÑĭ":145521,"подÑĢобнее":145522,"позвоноÑĩн":145523,"полиÑĤеÑħни":145524,"поминаний":145525,"попеÑĩиÑĤел":145526,"пÑĢиÑģÑĥÑĤÑģÑĤв":145527,"пÑĢоизноÑģи":145528,"пÑĢопаганд":145529,"ÑĢождаеÑĤÑģÑı":145530,"ÑĢоÑĤеÑħниÑĩе":145531,"ÑģледÑĥÑİÑīаÑı":145532,"ÑģÑĤавлÑıеÑĪÑĮ":145533,"ÑģÑĤавлÑıйÑĤе":145534,"ÑģÑĤоÑĢоннÑıÑı":145535,"ÑģÑĤÑĥпавÑĪиÑħ":145536,"ÑĤоÑĢопилÑģÑı":145537,"ÑĤÑĢинадÑĨаÑĤ":145538,"ÑĥмÑĥлÑıÑĤивн":145539,"ÑĦоÑĢмалÑĮно":145540,"ÑħваÑĤÑĭваÑĤÑĮ":145541,"ÑĨионалÑĮна":145542,"ÑįлекÑĤÑĢонн":145543,"ĠArtillery":145544,"Ġcontamina":145545,"Ġdisbanded":145546,"Ġguerrilla":145547,"Ġilluminat":145548,"Ġpsychiatr":145549,"Ġundertook":145550,"Lithuanian":145551,"songwriter":145552,"ĠÐIJвÑģÑĤÑĢалиÑİ":145553,"ĠÐIJгенÑĤÑģÑĤво":145554,"ĠÐIJнÑĤвеÑĢпен":145555,"ĠÐIJÑĢеÑģÑĤован":145556,"ĠÐIJÑĢмÑģÑĤÑĢонг":145557,"ĠÐIJÑģÑģамблеи":145558,"ĠÐIJÑĤланÑĤики":145559,"ĠÐijангладеÑĪ":145560,"ĠÐijаÑĢÑģелоне":145561,"ĠÐijенджамин":145562,"ĠÐĴÐIJШÐĺÐĿÐĵТÐŀÐĿ":145563,"ĠÐĴаÑĢÑĦоломе":145564,"ĠÐĴконÑĤакÑĤе":145565,"ĠÐĴолÑĮÑĦганг":145566,"ĠÐĴоÑģÑģÑĤание":145567,"ĠÐĴоÑģÑĤоÑĩнÑĥÑİ":145568,"ĠÐĴÑģемиÑĢнÑĭй":145569,"ĠÐĴÑĭÑģоÑĩайÑĪе":145570,"ĠÐĵваÑĢдейÑģк":145571,"ĠÐĵенпÑĢокÑĥÑĢ":145572,"ĠÐĵолландÑģк":145573,"ĠÐĶженниÑĦеÑĢ":145574,"ĠÐķвÑĤÑĥÑĪенко":145575,"ĠÐķмелÑĮÑıнов":145576,"ĠÐļабаÑĢдино":145577,"ĠÐļагановиÑĩ":145578,"ĠÐļаÑĢамазов":145579,"ĠÐļаÑĢÑĤоÑĦелÑĮ":145580,"ĠÐļаÑĤалонии":145581,"ĠÐļеÑĢÑĩенÑģко":145582,"ĠÐļомпаÑĢÑĤии":145583,"ĠÐļомпозиÑĨи":145584,"ĠÐļоÑĢоленко":145585,"ĠÐļÑĢопоÑĤкин":145586,"ĠÐļÑĥдÑĢÑıвÑĨев":145587,"ĠÐĽÐ¸ÑĤеÑĢаÑĤÑĥÑĢ":145588,"ĠÐľÐ°ÑĢгаÑĢиÑĤÑĭ":145589,"ĠÐľÐ°ÑĤвиенко":145590,"ĠÐľÐ¸ÑģÑģиÑģипи":145591,"ĠÐĿавеÑĢнÑıка":145592,"ĠÐĿаиболÑĮÑĪи":145593,"ĠÐĿедоÑģÑĤаÑĤк":145594,"ĠÐĿекоÑĤоÑĢÑĭм":145595,"ĠÐĿемиÑĢовиÑĩ":145596,"ĠÐŀбнаÑĢÑĥжен":145597,"ĠÐŀдеÑģÑģкого":145598,"ĠÐŁÐ¾Ð»ÑĮзÑĥÑıÑģÑĮ":145599,"ĠÐŁÐ¾Ð½Ð¸Ð¼Ð°Ð½Ð¸Ðµ":145600,"ĠÐŁÐ¾Ð¿ÑĢобÑĥем":145601,"ĠÐŁÑĢеоблада":145602,"ĠÐŁÑĢиволжÑģк":145603,"ĠÐŁÑĢоизоÑĪло":145604,"ĠÐŁÑıÑĤигоÑĢÑģк":145605,"ĠÐłÐ°ÑģÑģмоÑĤÑĢе":145606,"ĠÐłÐµÐ¼Ð±ÑĢандÑĤ":145607,"ĠÐłÐ¾Ð±ÐµÑģпÑĮеÑĢ":145608,"ĠÐłÐ¾Ð·ÐµÐ½Ð±ÐµÑĢг":145609,"ĠÐłÐ¾ÐºÑĦеллеÑĢ":145610,"ĠÐłÐ¾ÑĤÑĤеÑĢдам":145611,"ĠÐłÑĥководил":145612,"ĠСвÑıÑĤополк":145613,"ĠСвÑıÑīенник":145614,"ĠСилÑĮвеÑģÑĤÑĢ":145615,"ĠСлÑĥÑĩилоÑģÑĮ":145616,"ĠСовнаÑĢком":145617,"ĠСообÑīение":145618,"ĠСоÑĤÑĢÑĥдник":145619,"ĠСоÑĨиалÑĮно":145620,"ĠСоÑĩинениÑı":145621,"ĠСÑĢавнение":145622,"ĠСÑĤÑĢаÑģбÑĥÑĢг":145623,"ĠСÑĤÑĢоганов":145624,"ĠСÑĩиÑĤалоÑģÑĮ":145625,"ĠТеÑĢÑĢиÑĤоÑĢи":145626,"ĠТимиÑĢÑıзев":145627,"ĠТиÑħомиÑĢов":145628,"ĠТÑİменÑģкой":145629,"ĠФакÑĥлÑĮÑĤеÑĤ":145630,"ĠФеÑĢнандеÑģ":145631,"ĠФизиÑĩеÑģки":145632,"ĠФинлÑıндиÑİ":145633,"ĠФинлÑıндÑģк":145634,"ĠФоÑĢмалÑĮно":145635,"ĠХайдеггеÑĢ":145636,"ĠÐ¥ÑĢиÑģÑĤоÑĦоÑĢ":145637,"ĠЦвеÑĤаевой":145638,"ĠЧембеÑĢлен":145639,"ĠЧеÑĤвеÑĢÑĤÑĭй":145640,"ĠЧÑĢезвÑĭÑĩай":145641,"ĠÐŃкÑģпедиÑĨи":145642,"ĠамбÑĥлаÑĤоÑĢ":145643,"ĠанÑĤивиÑĢÑĥÑģ":145644,"ĠанÑĤиÑĩного":145645,"ĠаÑĢанжиÑĢов":145646,"ĠаÑĢмейÑģкие":145647,"ĠаÑĢÑĮеÑĢгаÑĢд":145648,"ĠаÑģÑģамблеи":145649,"ĠбезÑĭÑģÑħодн":145650,"ĠбелоÑģнежн":145651,"ĠбеÑĢеменна":145652,"ĠбеÑģплодно":145653,"ĠбеÑģÑģилÑĮнÑĭ":145654,"ĠбеÑģÑģпоÑĢнÑĭ":145655,"ĠбеÑģÑĨвеÑĤнÑĭ":145656,"ĠблагодаÑĢÑİ":145657,"ĠблеÑģÑĤÑıÑīиÑħ":145658,"ĠбÑĢиÑĤанÑĨев":145659,"ĠбÑĥдилÑĮник":145660,"ĠбÑİллеÑĤене":145661,"ĠважнейÑĪей":145662,"ĠважнейÑĪий":145663,"ĠвеÑĢований":145664,"ĠвеÑĢоÑĥÑĩени":145665,"ĠвеÑĢÑħовÑĮÑıÑħ":145666,"ĠвзÑĭÑģканиÑı":145667,"Ġвидеоклип":145668,"ĠвиÑĢÑĤÑĥозно":145669,"ĠвлаÑģÑĤелин":145670,"ĠвмеÑĪаÑĤÑĮÑģÑı":145671,"ĠводиÑĤелем":145672,"ĠвоенкомаÑĤ":145673,"ĠвозбÑĥдиÑĤÑĮ":145674,"ĠвоздÑĥÑĪнаÑı":145675,"ĠвоззÑĢений":145676,"ĠвозможнÑĥÑİ":145677,"ĠвологодÑģк":145678,"ĠволÑĪебÑģÑĤв":145679,"ĠвоÑģкÑĢеÑĪен":145680,"ĠвоÑģполÑĮзÑĥ":145681,"ĠвоÑģÑĤоÑĩнÑĥÑİ":145682,"ĠвÑĢажеÑģкий":145683,"ĠвÑĢажеÑģким":145684,"ĠвÑĤоÑĢоÑģÑĤеп":145685,"ĠвÑĭздоÑĢове":145686,"ĠгипеÑĢÑĤони":145687,"ĠглавенÑģÑĤв":145688,"ĠгодовÑīинÑĥ":145689,"ĠгÑĢомоздки":145690,"ĠдвÑĥÑħмеÑģÑĤн":145691,"ĠделегаÑĨиÑİ":145692,"ĠдемоÑĢализ":145693,"ĠдепÑĢеÑģÑģиÑİ":145694,"Ġдиагонали":145695,"ĠдиагоналÑĮ":145696,"ĠдовеÑĢÑĩиво":145697,"ĠдополнÑıÑİÑĤ":145698,"ĠдоÑĢабоÑĤки":145699,"ĠдоÑĪколÑĮно":145700,"ĠежегоднÑĭй":145701,"ĠжелаÑĤелÑĮн":145702,"ĠжелÑĤоваÑĤо":145703,"ĠжеÑģÑĤоÑĩайÑĪ":145704,"ĠжидкоÑģÑĤей":145705,"ĠжиÑĤелÑĮниÑĨ":145706,"ĠзавеÑĢÑĪаÑİÑī":145707,"ĠзавладеÑĤÑĮ":145708,"ĠзагоÑĢелÑģÑı":145709,"ĠзагоÑĤовки":145710,"ĠзажиганиÑı":145711,"ĠзажиÑĤоÑĩнÑĭ":145712,"Ġзаложника":145713,"Ġзаложники":145714,"ĠзаÑģедаÑĤел":145715,"ĠзаÑģÑĤÑĢелен":145716,"ĠзаÑĤÑĢаÑĩива":145717,"ĠзлополÑĥÑĩн":145718,"ĠзодÑĩеÑģÑĤва":145719,"ĠиеÑĢомонаÑħ":145720,"ĠизмеÑĢении":145721,"ĠизÑĥÑĢодова":145722,"ĠизÑıÑīеÑģÑĤво":145723,"ĠиконоÑģÑĤаÑģ":145724,"ĠинÑĤонаÑĨии":145725,"ĠинÑĤонаÑĨиÑı":145726,"ĠиÑģкÑĢенним":145727,"ĠиÑģпанÑģкие":145728,"ĠиÑģпÑĭÑĤÑĭваÑı":145729,"ĠиÑģÑĨелениÑı":145730,"ĠкаÑĤапÑĥлÑĮÑĤ":145731,"ĠколлекÑĨий":145732,"ĠкомандаÑĢм":145733,"ĠконÑĦеÑĢенÑĨ":145734,"ĠконÑĩилиÑģÑĮ":145735,"ĠконÑĮкобеж":145736,"ĠкоÑĢолевой":145737,"ĠкоÑĢонован":145738,"ĠкоÑĢÑĢеÑģпон":145739,"ĠкоÑģвеннÑĭм":145740,"ĠкÑĢиÑĤеÑĢием":145741,"ĠлакониÑĩно":145742,"ĠлегкомÑĭÑģл":145743,"ĠлеÑĤопиÑģеÑĨ":145744,"ĠлеÑĤопиÑģÑıÑħ":145745,"ĠлÑİбиÑĤелÑıм":145746,"ĠмалÑĮÑĩиÑĪки":145747,"Ġмгновений":145748,"ĠмилиÑĨейÑģк":145749,"ĠмиÑģÑĤиÑĨизм":145750,"ĠмногодеÑĤн":145751,"ĠмногознаÑĩ":145752,"ĠмогилÑĮник":145753,"ĠмоллÑİÑģков":145754,"ĠмолоденÑĮк":145755,"ĠмонаÑģÑĤÑĭÑĢÑİ":145756,"ĠмоноÑĤонно":145757,"ĠмоÑģквиÑĩей":145758,"ĠнавеÑģÑĤиÑĤÑĮ":145759,"ĠнагÑĢоможд":145760,"ĠнадпиÑģÑıми":145761,"ĠнаказаниÑİ":145762,"ĠнакладÑĭва":145763,"ĠналиÑĩнÑĭми":145764,"ĠнаÑģилÑĮник":145765,"ĠнаÑģлажден":145766,"ĠнаÑģÑĤÑĢойке":145767,"ĠневÑĭгодно":145768,"ĠнедовеÑĢиÑı":145769,"ĠнезамеÑĤнÑĭ":145770,"ĠнеобиÑĤаем":145771,"ĠнеоÑĤделим":145772,"ĠнепомеÑĢно":145773,"ĠнеÑĢазÑĥмно":145774,"ĠнеÑģовмеÑģÑĤ":145775,"ĠнеÑĥдоволÑĮ":145776,"ĠнÑĢавилаÑģÑĮ":145777,"ĠобаÑıÑĤелÑĮн":145778,"Ġобладание":145779,"ĠоблаÑģÑĤном":145780,"ĠоблигаÑĨии":145781,"ĠобновлÑıÑĤÑĮ":145782,"ĠоболоÑĩкой":145783,"ĠобÑĥÑģловил":145784,"ĠобÑīежиÑĤие":145785,"ĠобÑīежиÑĤии":145786,"ĠобÑīиÑĤелÑĮн":145787,"ĠовладениÑı":145788,"ĠодеваÑĤÑĮÑģÑı":145789,"ĠодноÑĤипнÑĭ":145790,"ĠокиÑģлениÑı":145791,"Ġоледенени":145792,"ĠопÑĢокинÑĥл":145793,"ĠопÑĢокинÑĥÑĤ":145794,"ĠоÑĢганиÑĩно":145795,"ĠоÑģваиваÑĤÑĮ":145796,"ĠоÑģмÑĭÑģлиÑĤÑĮ":145797,"ĠоÑģÑĤалÑĮнаÑı":145798,"ĠоÑģÑĤановкÑĥ":145799,"ĠоÑĤеÑĩеÑģÑĤво":145800,"ĠоÑĤкажеÑĤÑģÑı":145801,"ĠоÑĤложений":145802,"ĠоÑĤобÑĢажен":145803,"ĠоÑĤÑĢабоÑĤки":145804,"ĠоÑĤÑģÑĤÑĢанил":145805,"ĠоÑħоÑĤиÑĤÑĮÑģÑı":145806,"ĠоÑĩеÑĢеднÑĭе":145807,"ĠоÑĩеÑĢеднÑĭм":145808,"ĠпаÑĢижÑģкиÑħ":145809,"ĠпаÑĢижÑģкой":145810,"ĠпеÑĢвенÑģÑĤв":145811,"ĠпеÑĢвиÑĩнÑĭе":145812,"ĠпеÑĢгаменÑĤ":145813,"ĠпеÑĢеклика":145814,"ĠпеÑĢеодева":145815,"ĠпеÑĢеоÑĨенк":145816,"ĠпеÑģÑģимизм":145817,"ĠплоÑīадкой":145818,"ĠповÑĢеждÑijн":145819,"ĠповÑģÑĤанÑĨÑĭ":145820,"ĠпогаÑĪениÑı":145821,"Ġпоголовно":145822,"Ġподвижной":145823,"ĠподелаеÑĪÑĮ":145824,"ĠподземнÑĭй":145825,"ĠподлиннаÑı":145826,"ĠподлиннÑĭÑħ":145827,"ĠподÑģÑĤÑĢека":145828,"Ġпозволено":145829,"ĠпозволÑıвÑĪ":145830,"ĠпоздоÑĢова":145831,"Ġпоколении":145832,"ĠполоÑĤниÑīа":145833,"ĠполоÑĤниÑīе":145834,"ĠпопÑĥлÑıÑĨиÑı":145835,"ĠпоÑĢадовал":145836,"ĠпоÑĢождаÑİÑĤ":145837,"ĠпоÑĢÑĤаÑĤивн":145838,"ĠпоÑģеÑīении":145839,"ĠпоÑĩÑijÑĤного":145840,"ĠпоÑıÑģнениÑı":145841,"ĠпÑĢаведник":145842,"ĠпÑĢевзойÑĤи":145843,"ĠпÑĢедвзÑıÑĤо":145844,"ĠпÑĢедложиÑĤ":145845,"ĠпÑĢедпоÑĩли":145846,"ĠпÑĢекÑĢаÑģна":145847,"ĠпÑĢеобÑĢажа":145848,"ĠпÑĢеобÑĢази":145849,"ĠпÑĢеÑģвиÑĤеÑĢ":145850,"ĠпÑĢеÑĤензиÑı":145851,"ĠпÑĢибÑĭвÑĪиÑħ":145852,"ĠпÑĢигÑĢозил":145853,"ĠпÑĢиподнÑıл":145854,"ĠпÑĢиÑģвоиÑĤÑĮ":145855,"ĠпÑĢиÑĪелÑĮÑĨа":145856,"ĠпÑĢоанализ":145857,"ĠпÑĢобÑĥдиÑĤÑĮ":145858,"ĠпÑĢоводивÑĪ":145859,"ĠпÑĢогÑĥлива":145860,"ĠпÑĢодавÑĨов":145861,"ĠпÑĢодавÑĨом":145862,"ĠпÑĢодлиÑĤÑģÑı":145863,"ĠпÑĢоÑĤекаÑİÑĤ":145864,"ĠпÑĢоÑĨвеÑĤал":145865,"ĠпÑĢоÑıÑģниÑĤÑĮ":145866,"ĠпÑĥблиÑĩнÑĭм":145867,"ĠÑĢадиоволн":145868,"ĠÑĢазвÑijÑĢнÑĥÑĤ":145869,"ĠÑĢаÑģкопкаÑħ":145870,"ĠÑĢаÑģÑĤÑıжени":145871,"ĠÑĢевмаÑĤизм":145872,"ĠÑĢезолÑİÑĨиÑı":145873,"ĠÑĢелакÑģаÑĨи":145874,"ĠÑĢиÑģованиÑı":145875,"ĠÑĢозниÑĩной":145876,"ĠÑĢÑĥкопиÑģнÑĭ":145877,"ĠÑģакÑĢалÑĮно":145878,"ĠÑģамолÑİбие":145879,"ĠÑģамоÑĥпÑĢав":145880,"ĠÑģамоÑħодно":145881,"ĠÑģаÑĥндÑĤÑĢек":145882,"ĠÑģбÑĢаÑģÑĭвал":145883,"ĠÑģекÑĢеÑĤаÑĢÑĪ":145884,"ĠÑģекÑĢеÑĤаÑĢÑİ":145885,"ĠÑģелÑĮдеÑĢеÑı":145886,"ĠÑģенÑĤименÑĤ":145887,"ĠÑģеÑĢдеÑĩник":145888,"ĠÑģибиÑĢÑģкиÑħ":145889,"ĠÑģиÑĢийÑģкой":145890,"ĠÑģкоÑĢоÑģÑĤÑıÑħ":145891,"ĠÑģлÑĥжаÑīего":145892,"ĠÑģлÑĥжебнÑĭе":145893,"ĠÑģлÑĥÑĩалиÑģÑĮ":145894,"ĠÑģмеÑĪаннÑĭм":145895,"ĠÑģовпадаÑİÑī":145896,"ĠÑģозвездие":145897,"ĠÑģозвездиÑı":145898,"ĠÑģообÑĢазил":145899,"ĠÑģооÑĤнеÑģен":145900,"ĠÑģоÑģÑĤоÑıÑīим":145901,"ĠÑģоÑģÑĤоÑıÑīиÑħ":145902,"ĠÑģоÑĩиниÑĤел":145903,"ĠÑģпекÑĥлÑıнÑĤ":145904,"ĠÑģпеÑĨиÑĦики":145905,"ĠÑģпокойнее":145906,"ĠÑģÑĤаÑĢаемÑģÑı":145907,"ĠÑģÑĤаÑĢинной":145908,"ĠÑģÑĤаÑĢиннÑĭй":145909,"ĠÑģÑĥдоÑĢожно":145910,"ĠÑģÑĥÑīноÑģÑĤей":145911,"ĠÑģÑĦоÑĤогÑĢаÑĦ":145912,"ĠÑĤеÑĢмомеÑĤÑĢ":145913,"ĠÑĤолеÑĢанÑĤн":145914,"ĠÑĤÑĢакÑĤовка":145915,"ĠÑĤÑĢакÑĤовке":145916,"ĠÑĤÑĢанÑģлиÑĢÑĥ":145917,"ĠÑĤÑĢанÑģÑĨенд":145918,"ĠÑĤÑĢебовавÑĪ":145919,"ĠÑĤÑĢебÑĥÑİÑīие":145920,"ĠÑĤÑĢидÑĨаÑĤÑĭÑħ":145921,"ĠÑĥбедиÑĤеÑģÑĮ":145922,"ĠÑĥважаемÑĭй":145923,"ĠÑĥведомлен":145924,"ĠÑĥвековеÑĩи":145925,"ĠÑĥголовнÑĭе":145926,"ĠÑĥдобÑĢениÑı":145927,"ĠÑĥказаÑĤелÑı":145928,"ĠÑĥниÑĦикаÑĨи":145929,"ĠÑĥÑĤонÑĩенно":145930,"ĠÑĥÑħÑĥдÑĪениÑı":145931,"ĠÑĦейеÑĢвеÑĢк":145932,"ĠÑĦеÑħÑĤовани":145933,"ĠÑĦинанÑģиÑģÑĤ":145934,"ĠÑĩеÑĤвеÑĢÑĤое":145935,"ĠÑĩиÑĤаÑĤелем":145936,"ĠÑĩÑĥвÑģÑĤвÑĥем":145937,"ĠÑĪеÑĢоÑħоваÑĤ":145938,"ĠÑĪÑĤÑĥкаÑĤÑĥÑĢк":145939,"ĠÑįкÑģÑĤÑĢеннÑĭ":145940,"ĠÑįлеганÑĤнÑĭ":145941,"ĠÑįÑĢÑĨгеÑĢÑĨог":145942,"ĠÑįÑģкадÑĢенн":145943,"ĠÑıзÑĭÑĩеÑģкиÑħ":145944,"ĠÑıзÑĭÑĩников":145945,"ĠÑıйÑĨеклеÑĤк":145946,"ÐĺÑģÑĤÑĢебиÑĤел":145947,"ÐľÐ¾ÑģковÑģкие":145948,"ÐŁÑĢакÑĤиÑĩеÑģк":145949,"ÐłÑĥководÑģÑĤв":145950,"ЧÑĢезвÑĭÑĩайн":145951,"авÑģÑĤÑĢийÑģко":145952,"ализиÑĢован":145953,"валиваеÑĤÑģÑı":145954,"гемоглобин":145955,"гноÑģÑĤиÑĩеÑģк":145956,"гÑĢеÑģÑģивнÑĭй":145957,"живоÑĤновод":145958,"заповедник":145959,"запÑĢогÑĢамм":145960,"коÑĢиÑĩневÑĭм":145961,"меÑĤодиÑĩеÑģк":145962,"моÑĤÑĢиÑĤелÑĮн":145963,"нодоÑĢожнаÑı":145964,"обÑģÑĤоÑıÑĤелÑĮ":145965,"оваÑĤелÑĮнÑĭм":145966,"овоздÑĥÑĪной":145967,"оÑĤвеÑĤÑģÑĤвен":145968,"пекÑĥлÑıÑĤивн":145969,"пеÑĢÑģпекÑĤив":145970,"подполÑĮÑīик":145971,"поÑģадоÑĩной":145972,"пÑĢаÑĢодиÑĤел":145973,"пÑĢозÑĢаÑĩнÑĭм":145974,"пÑĢоизведен":145975,"ÑĢаÑģноÑĢеÑĩив":145976,"ÑĢепÑĢеÑģÑģивн":145977,"ÑģобÑģÑĤвенно":145978,"ÑģÑĤимÑĥлÑıÑĤоÑĢ":145979,"ÑģÑĤÑĥпенÑĩаÑĤо":145980,"ÑĦÑĢанÑĨиÑģкан":145981,"ÑĪеÑģÑĤнадÑĨаÑĤ":145982,"ĠMetacritic":145983,"Ġinterrogat":145984,"Ġprecipitat":145985,"Ġrelegation":145986,"dimensional":145987,"threatening":145988,"ĠÐIJÑĢÑħиÑĤекÑĤоÑĢ":145989,"ĠÐijелоÑĢÑĥÑģÑģиÑı":145990,"ĠÐijондаÑĢенко":145991,"ĠÐĴнÑĥÑĤÑĢеннÑıÑı":145992,"ĠÐĴооÑĢÑĥжение":145993,"ĠÐĴÑģеÑģоÑİзной":145994,"ĠÐĵаÑĢваÑĢдÑģко":145995,"ĠÐĵоÑĢÑĮковÑģко":145996,"ĠÐĵÑĢажданÑģки":145997,"ĠÐĵÑĢажданÑģко":145998,"ĠÐĵÑĢенландии":145999,"ĠÐĶалÑĮнейÑĪие":146000,"ĠÐĶейÑģÑĤвÑĥÑİÑīи":146001,"ĠÐĶжеÑĦÑĦеÑĢÑģон":146002,"ĠÐĸелаÑĤелÑĮно":146003,"ĠÐĹакавказÑģк":146004,"ĠÐĺноÑģÑĤÑĢаннÑĭ":146005,"ĠÐĺÑģполÑĮзÑĥÑİÑĤ":146006,"ĠÐĺÑĤалÑĮÑıнÑģко":146007,"ĠÐļондÑĢаÑĤÑĮев":146008,"ĠÐļоÑģмиÑĩеÑģки":146009,"ĠÐĽÐ°Ð²ÑĢенÑĤÑĮев":146010,"ĠÐĽÐ°ÑĤвийÑģкой":146011,"ĠÐľÐ°ÐºÐ´Ð¾Ð½Ð°Ð»ÑĮд":146012,"ĠÐľÐ¸ÑĤÑĢополиÑĤ":146013,"ĠÐľÐ¾Ð½ÑĤгомеÑĢи":146014,"ĠÐľÐ¾ÑģковÑģкÑĥÑİ":146015,"ĠÐĿедоÑģÑĤаÑĤок":146016,"ĠÐŀказавÑĪиÑģÑĮ":146017,"ĠÐŀÑģÑĥÑīеÑģÑĤвлÑı":146018,"ĠÐŀÑĤеÑĩеÑģÑĤвом":146019,"ĠÐŁÐµÐ»Ð¾Ð¿Ð¾Ð½Ð½ÐµÑģ":146020,"ĠÐŁÐµÑĢеговоÑĢÑĭ":146021,"ĠÐŁÐ¾ÐºÐ°Ð·Ð°ÑĤелÑĮ":146022,"ĠÐŁÐ¾ÑıвлÑıеÑĤÑģÑı":146023,"ĠÐŁÑĢавоÑģлави":146024,"ĠÐŁÑĢоиÑģÑħодил":146025,"ĠÐŁÑĢокÑĥÑĢаÑĤÑĥÑĢ":146026,"ĠÐłÐ°Ð·ÑĢабоÑĤан":146027,"ĠÐłÐ°Ñħманинов":146028,"ĠÐłÐµÐ³Ð¸Ð¾Ð½Ð°Ð»ÑĮн":146029,"ĠÐłÐµÑģпÑĥбликÑĥ":146030,"ĠÐłÐ¾ÐºÐ¾ÑģÑģовÑģк":146031,"ĠÐłÑĥбинÑĪÑĤейн":146032,"ĠСаакаÑĪвили":146033,"ĠСообÑīаеÑĤÑģÑı":146034,"ĠСпеÑĨиалÑĮнÑĭ":146035,"ĠСÑĤоÑĢонники":146036,"ĠСÑĥпеÑĢкÑĥбка":146037,"ĠУвелиÑĩение":146038,"ĠФоÑĤогÑĢаÑĦии":146039,"ĠФÑĥнкÑĨионал":146040,"ĠЦенÑĤÑĢобанк":146041,"ĠЧÑĥдоÑĤвоÑĢÑĨа":146042,"ĠагломеÑĢаÑĨи":146043,"ĠакÑĤивизиÑĢÑĥ":146044,"ĠакÑĨионеÑĢнÑĭ":146045,"ĠамоÑĢÑĤизаÑĨи":146046,"ĠанглийÑģкÑĥÑİ":146047,"ĠаÑģÑĤÑĢоÑĦизик":146048,"ĠаÑĤÑĤÑĢакÑĨион":146049,"ĠбаÑĢабанÑīик":146050,"ĠбеззабоÑĤно":146051,"ĠбеззаÑīиÑĤнÑĭ":146052,"ĠбезмÑıÑĤежно":146053,"ĠбезÑĥÑģловнÑĭ":146054,"ĠбезÑĥÑģпеÑĪнÑĭ":146055,"ĠбеллеÑĤÑĢиÑģÑĤ":146056,"ĠбеÑģплаÑĤнÑĭе":146057,"ĠбеÑģплаÑĤнÑĭÑħ":146058,"ĠбеÑģпокойно":146059,"ĠбеÑģпокойнÑĭ":146060,"ĠблокиÑĢовка":146061,"ĠбодÑĢÑģÑĤвова":146062,"ĠбÑĢиÑĤанÑģкое":146063,"ĠвдоÑħновлен":146064,"ĠвелиÑĩайÑĪей":146065,"ĠвенгеÑĢÑģкий":146066,"ĠвидеоÑĢолик":146067,"ĠвиолонÑĩели":146068,"ĠвклÑİÑĩаÑİÑīаÑı":146069,"ĠвнеоÑĩеÑĢедн":146070,"ĠводоÑĢаздел":146071,"ĠвозÑĢажение":146072,"ĠвÑĢаждебнÑĭÑħ":146073,"ĠвÑĢедоноÑģнÑĭ":146074,"ĠвÑģÑĤÑĢевожен":146075,"ĠвÑĭдеÑĢживал":146076,"ĠвÑĭÑĢаÑīиваÑĤÑĮ":146077,"ĠвÑĭÑĢаÑīиваÑİÑĤ":146078,"ĠвÑĭÑģвобожда":146079,"ĠглобалÑĮнÑĭе":146080,"ĠглобалÑĮнÑĭй":146081,"ĠдалÑĮнейÑĪаÑı":146082,"ĠдалÑĮнейÑĪий":146083,"ĠдалÑĮнейÑĪим":146084,"ĠдвижÑĥÑīиÑħÑģÑı":146085,"ĠдеклаÑĢаÑĨиÑı":146086,"ĠделегиÑĢова":146087,"ĠдеÑĢевÑıннÑĥÑİ":146088,"ĠдеÑĤализаÑĨи":146089,"ĠдлиÑĤелÑĮнÑĭм":146090,"ĠдоблеÑģÑĤнÑĭй":146091,"ĠдождавÑĪиÑģÑĮ":146092,"ĠдоминиÑĢÑĥеÑĤ":146093,"ĠдÑĢевноÑģÑĤей":146094,"ĠегипеÑĤÑģкие":146095,"ĠжаловалиÑģÑĮ":146096,"ĠзавоÑĢажива":146097,"Ġзаголовком":146098,"ĠзагÑĢадиÑĤел":146099,"ĠзаподозÑĢил":146100,"ĠзаполÑĥÑĩиÑĤÑĮ":146101,"ĠземноводнÑĭ":146102,"ĠизвеÑĢжениÑı":146103,"ĠизвеÑģÑĤнÑıка":146104,"ĠиконогÑĢаÑĦи":146105,"ĠиноÑģÑĤÑĢанÑĨÑĭ":146106,"ĠинÑģÑĤаллÑıÑĨи":146107,"ĠиÑĢÑĢаÑĨионал":146108,"ĠиÑģкопаемÑĭе":146109,"ĠиÑģпÑĭÑĤÑĭваем":146110,"ĠказаÑĩеÑģÑĤва":146111,"ĠканониÑĩеÑģк":146112,"ĠкапиÑĤÑĥлÑıÑĨи":146113,"ĠкаÑģÑģаÑĨионн":146114,"ĠколоколÑĮни":146115,"ĠколоколÑĮнÑı":146116,"ĠкомбинаÑĨий":146117,"ĠкомбинаÑĨиÑİ":146118,"ĠкомпилÑıÑĨии":146119,"ĠконÑĨенÑĤÑĢаÑĤ":146120,"ĠконÑĨепÑĨией":146121,"ĠконÑĨлагеÑĢе":146122,"ĠконÑĨлагеÑĢÑı":146123,"ĠкоÑĢÑĢÑĥпÑĨией":146124,"ĠкоÑĩевников":146125,"ĠкÑĢÑĥговоÑĢоÑĤ":146126,"ĠкÑĢÑĥпнейÑĪаÑı":146127,"ĠкÑĥлÑĮÑĤивиÑĢÑĥ":146128,"ĠлегализаÑĨи":146129,"ĠликвидаÑĨиÑİ":146130,"ĠликвидаÑĨиÑı":146131,"ĠлоÑıлÑĮноÑģÑĤи":146132,"ĠлоÑıлÑĮноÑģÑĤÑĮ":146133,"ĠлÑİбопÑĭÑĤнÑĭй":146134,"ĠмаÑĢкеÑĤолог":146135,"ĠменÑģÑĤÑĢÑĥаÑĨи":146136,"ĠмеÑģÑģенджеÑĢ":146137,"ĠмеÑĤаболизм":146138,"ĠмеÑĤамоÑĢÑĦоз":146139,"ĠмиллиаÑĢдеÑĢ":146140,"ĠмилоÑģеÑĢдие":146141,"ĠмолодÑijжном":146142,"ĠмолодÑijжнÑĥÑİ":146143,"ĠмоногÑĢаÑĦиÑı":146144,"ĠмоÑģковÑģкое":146145,"ĠмÑĥÑĢавейник":146146,"ĠнаблÑİдении":146147,"ĠнаблÑİдениÑİ":146148,"ĠнаиболÑĮÑĪаÑı":146149,"ĠнаиболÑĮÑĪим":146150,"ĠнаиболÑĮÑĪÑĥÑİ":146151,"ĠнапоминавÑĪ":146152,"ĠнапоÑģледок":146153,"ĠнаÑģекомÑĭми":146154,"ĠнаÑģеленнÑĭе":146155,"ĠнаÑģледовал":146156,"ĠнаÑħодиÑĤеÑģÑĮ":146157,"ĠнедоÑģÑĤижим":146158,"ĠнезаконнÑĭÑħ":146159,"ĠнезнакомÑĭм":146160,"ĠнезнакомÑĭÑħ":146161,"ĠнеизвеÑģÑĤен":146162,"ĠнеизмеÑĢимо":146163,"ĠнеобÑĢаÑĤимо":146164,"ĠнеобÑĢаÑĤимÑĭ":146165,"ĠнеобÑĭÑĩайнÑĭ":146166,"Ġнеодинаков":146167,"ĠнепÑĢевзойд":146168,"ĠнепÑĢеклонн":146169,"ĠнепÑĢигоднÑĭ":146170,"ĠнеÑĢазбеÑĢиÑħ":146171,"ĠнеÑĥзнаваем":146172,"ĠнеÑĦÑĤегазов":146173,"ĠниÑĩÑĤожеÑģÑĤв":146174,"ĠноÑĢмалÑĮнÑĥÑİ":146175,"ĠноÑĤаÑĢиалÑĮн":146176,"ĠобознаÑĩаÑİÑī":146177,"ĠобÑģÑĥждений":146178,"ĠобÑģÑĥждениÑİ":146179,"ĠобÑĬединÑıÑĤÑĮ":146180,"ĠожеÑģÑĤоÑĩÑijнн":146181,"Ġозаглавлен":146182,"ĠоккÑĥпанÑĤов":146183,"ĠоплаÑĩиваем":146184,"ĠоплаÑĩиваеÑĤ":146185,"ĠоппозиÑĨией":146186,"ĠопÑĢокидÑĭва":146187,"ĠоÑĢиенÑĤаÑĨиÑİ":146188,"ĠоÑģвидеÑĤелÑĮ":146189,"ĠоÑĤÑĢедакÑĤиÑĢ":146190,"ĠоÑĤÑģÑĤавание":146191,"ĠпапоÑĢоÑĤник":146192,"ĠпеÑĢвозданн":146193,"ĠпеÑĢеделÑĭва":146194,"ĠпеÑĢеживаем":146195,"ĠпеÑĢекладин":146196,"ĠпеÑħоÑĤинÑĨев":146197,"ĠпиÑģÑĮменнÑĭм":146198,"ĠпланомеÑĢно":146199,"ĠплодоÑĢодиÑı":146200,"ĠпобедиÑĤели":146201,"ĠпобÑĥждений":146202,"ĠповелиÑĤелÑĮ":146203,"ĠповинноÑģÑĤи":146204,"ĠповÑģÑĤанÑĨам":146205,"ĠпогÑĢÑĥзилÑģÑı":146206,"ĠподбоÑĢодок":146207,"Ġподвижного":146208,"ĠподвлаÑģÑĤнÑĭ":146209,"Ġподземного":146210,"ĠподозÑĢеваÑı":146211,"ĠподозÑĢений":146212,"Ġподоконник":146213,"ĠподполÑĮной":146214,"ĠпоженилиÑģÑĮ":146215,"ĠпоздÑĢавиÑĤÑĮ":146216,"ĠпозолоÑĩенн":146217,"ĠпокÑĥпаÑĤелÑİ":146218,"ĠполномоÑĩнÑĭ":146219,"ĠпообÑīаÑĤÑĮÑģÑı":146220,"ĠпопÑĭÑĤаеÑĤÑģÑı":146221,"ĠпоÑģелиÑĤÑĮÑģÑı":146222,"ĠпоÑģлÑĭÑĪалÑģÑı":146223,"ĠпоÑģÑĩаÑģÑĤлив":146224,"ĠпÑĢавилÑĮнее":146225,"ĠпÑĢавомеÑĢно":146226,"ĠпÑĢавоÑģÑĥдие":146227,"ĠпÑĢаздновал":146228,"ĠпÑĢедÑģмеÑĢÑĤн":146229,"ĠпÑĢеподноÑģи":146230,"ĠпÑĢеÑĢогаÑĤив":146231,"ĠпÑĢеÑģÑĤÑĥпнÑĭм":146232,"ĠпÑĢивилегиÑı":146233,"ĠпÑĢигоÑĤовлÑı":146234,"ĠпÑĢимеÑĩаниÑı":146235,"ĠпÑĢиподнима":146236,"ĠпÑĢиÑĤÑıзаний":146237,"ĠпÑĢиÑĪелÑĮÑĨев":146238,"ĠпÑĢовокаÑĤоÑĢ":146239,"ĠпÑĢовокаÑĨии":146240,"ĠпÑĢокомменÑĤ":146241,"ĠпÑĢомежÑĥÑĤке":146242,"ĠпÑĢомежÑĥÑĤки":146243,"ĠпÑĢоÑĢоÑĩеÑģки":146244,"ĠпÑĢоÑĨвеÑĤаÑİÑī":146245,"ĠÑĢадиоÑģвÑıзи":146246,"ĠÑĢазмÑĭÑĪлÑıÑĤÑĮ":146247,"ĠÑĢаÑģплавлен":146248,"ĠÑĢаÑģÑģÑĤалиÑģÑĮ":146249,"ĠÑĢаÑģÑģÑĤоÑıний":146250,"ĠÑĢаÑģÑģÑĥждаеÑĤ":146251,"ĠÑĢаÑģÑĤоÑĢгнÑĥÑĤ":146252,"ĠÑĢаÑģÑĤоÑĩиÑĤел":146253,"ĠÑĢегенеÑĢаÑĨи":146254,"ĠÑĢегÑĥлиÑĢовк":146255,"ĠÑĢезиденÑĤÑĥÑĢ":146256,"ĠÑĢезиденÑĨиÑİ":146257,"ĠÑĢезиденÑĨиÑı":146258,"ĠÑĢекоÑĢдÑģмен":146259,"ĠÑĢепÑĢеÑģÑģиÑıм":146260,"ĠÑĢепÑĥÑĤаÑĨией":146261,"ĠÑĢеÑģпиÑĢаÑĤоÑĢ":146262,"ĠÑģбеÑĢежениÑı":146263,"ĠÑģейÑģмиÑĩеÑģк":146264,"ĠÑģеÑĢебÑĢÑıнаÑı":146265,"ĠÑģкепÑĤиÑĨизм":146266,"ĠÑģкÑĢеÑīивани":146267,"ĠÑģовмеÑģÑĤиÑĤÑĮ":146268,"ĠÑģовмеÑģÑĤнаÑı":146269,"ĠÑģовмеÑģÑĤнÑĥÑİ":146270,"ĠÑģовмеÑģÑĤнÑĭй":146271,"ĠÑģодеÑĢжаÑīее":146272,"ĠÑģодеÑĢжаÑīим":146273,"ĠÑģоÑĩÑĥвÑģÑĤвиÑı":146274,"ĠÑģпоÑĢÑĤивнаÑı":146275,"ĠÑģпоÑĢÑĤивном":146276,"ĠÑģпÑĢÑıÑĤаÑĤÑĮÑģÑı":146277,"ĠÑģпÑĥÑģÑĤилиÑģÑĮ":146278,"ĠÑģпÑĥÑģÑĤиÑĤÑĮÑģÑı":146279,"ĠÑģÑĢавниваÑİÑĤ":146280,"ĠÑģÑĤаÑĢайÑĤеÑģÑĮ":146281,"ĠÑģÑĤаÑĢинного":146282,"ĠÑģÑĤеклÑıннÑĭе":146283,"ĠÑģÑĤимÑĥлÑıÑĨии":146284,"ĠÑģÑĤÑĢадаÑİÑīиÑħ":146285,"ĠÑģÑĤÑĢаÑħовÑīик":146286,"ĠÑģÑĥпÑĢÑĥжеÑģки":146287,"ĠÑĤоÑĢможение":146288,"ĠÑĤоÑĢопиÑĤÑĮÑģÑı":146289,"ĠÑĤÑĢанзакÑĨии":146290,"ĠÑĤÑĢанзакÑĨий":146291,"ĠÑĥбедивÑĪиÑģÑĮ":146292,"ĠÑĥвековеÑĩен":146293,"ĠÑĥглÑĥблениÑı":146294,"ĠÑĥдоÑģÑĤовеÑĢÑı":146295,"ĠÑĥникалÑĮнÑĥÑİ":146296,"ĠÑĥпоÑĤÑĢебиÑĤÑĮ":146297,"ĠÑĥпÑĢавлений":146298,"ĠÑĥÑģмеÑħнÑĥлÑģÑı":146299,"ĠÑĥÑģпокаивал":146300,"ĠÑĥÑģÑĤойÑĩивÑĭе":146301,"ĠÑĥÑģÑĤойÑĩивÑĭм":146302,"ĠÑĥÑģÑĤойÑĩивÑĭÑħ":146303,"ĠÑĥÑģÑĭпалÑĮниÑĨ":146304,"ĠÑĥÑĤÑĢаÑĩиваеÑĤ":146305,"ĠÑĦикÑģиÑĢовал":146306,"ĠÑĦÑĢазеологи":146307,"ĠÑĦÑĥнкÑĨионеÑĢ":146308,"ĠÑħÑĢонологии":146309,"ĠÑĨенÑĤÑĢобежн":146310,"ĠÑĨеÑĢемониал":146311,"ĠÑĪизоÑĦÑĢении":146312,"ĠÑīиÑĤовидной":146313,"ĠÑįкÑģкаваÑĤоÑĢ":146314,"ĠÑįкÑģпозиÑĨиÑı":146315,"ĠÑįкÑģÑĤÑĢаÑģенÑģ":146316,"ĠÑįÑģкадÑĢилий":146317,"ĠÑįÑĦÑĦекÑĤивен":146318,"ÐIJвÑģÑĤÑĢалийÑģк":146319,"ÐĴозÑĢождение":146320,"ÐĹаÑģлÑĥженнÑĭй":146321,"ÐľÑĥниÑĨипалÑĮн":146322,"аÑĤланÑĤиÑĩеÑģк":146323,"галакÑĤиÑĩеÑģк":146324,"генеÑĤиÑĩеÑģки":146325,"геоÑĦизиÑĩеÑģк":146326,"динаÑģÑĤиÑĩеÑģк":146327,"евÑĢопейÑģкое":146328,"евÑĢопейÑģкой":146329,"единомÑĭÑĪлен":146330,"иÑģполниÑĤелÑĮ":146331,"иÑģполÑĮзован":146332,"колонизаÑĤоÑĢ":146333,"логоплаÑĤелÑĮ":146334,"обÑıзаÑĤелÑĮна":146335,"оплаÑĤелÑĮÑīик":146336,"оположников":146337,"опÑĥбликован":146338,"оÑģÑģÑĤанавлив":146339,"пеÑĢеÑħваÑĤÑĩик":146340,"пеÑĢмаÑĤозоид":146341,"ÑĢегиÑģÑĤÑĢиÑĢов":146342,"ÑĢезÑĥлÑĮÑĤаÑĤно":146343,"ÑĢомагниÑĤнÑĭÑħ":146344,"ÑģÑĤмодеÑĢнизм":146345,"ÑģÑĤойÑĩивоÑģÑĤи":146346,"ÑĤеÑħниÑĩеÑģким":146347,"ÑĤолкнÑĥвÑĪиÑģÑĮ":146348,"ÑĤÑĢÑĥдоÑģпоÑģоб":146349,"ÑįкÑģпеÑĢименÑĤ":146350,"ĠHeavyweight":146351,"Ġrehabilitat":146352,"ĠÐIJналогиÑĩнÑĭе":146353,"ĠÐIJÑĢÑħиепиÑģкоп":146354,"ĠÐIJÑĦанаÑģÑĮевиÑĩ":146355,"ĠÐĴозвÑĢаÑīаÑıÑģÑĮ":146356,"ĠÐĴолоколамÑģк":146357,"ĠÐĵÑĢажданÑģкаÑı":146358,"ĠÐķвÑĢокомиÑģÑģи":146359,"ĠÐķдинÑģÑĤвенно":146360,"ĠÐĹнаÑĩиÑĤелÑĮнÑĭ":146361,"ĠÐļалаÑĪникова":146362,"ĠÐļомменÑĤаÑĢий":146363,"ĠÐļонÑģÑĤÑĢÑĥкÑĨиÑı":146364,"ĠÐļонÑĦедеÑĢаÑĨи":146365,"ĠÐļоÑįÑĦÑĦиÑĨиенÑĤ":146366,"ĠÐĽÐ¸ÑĤеÑĢаÑĤÑĥÑĢно":146367,"ĠÐŁÐ¾Ð´Ð¼Ð¾ÑģковÑĮÑı":146368,"ĠÐŁÐ¾ÑģледÑģÑĤвиÑı":146369,"ĠÐŁÐ¾ÑģледÑĥÑİÑīие":146370,"ĠÐŁÑĢедиÑģловие":146371,"ĠСледÑģÑĤвеннÑĭ":146372,"ĠСоединеннÑĭм":146373,"ĠСÑĢедиземное":146374,"ĠТÑĢадиÑĨионнÑĭ":146375,"ĠТÑĥÑħаÑĩевÑģкий":146376,"ĠФиладелÑĮÑĦии":146377,"ĠФÑĢанÑĨÑĥзÑģкаÑı":146378,"ĠЧеловеÑĩеÑģÑĤв":146379,"ĠЧÑĢезвÑĭÑĩайно":146380,"ĠÐŃлекÑĤÑĢиÑĩеÑģк":146381,"ĠавиаÑĨионнÑĭе":146382,"ĠазеÑĢбайджан":146383,"ĠанализиÑĢÑĥеÑĤ":146384,"ĠаннÑĥлиÑĢован":146385,"ĠанонÑģиÑĢовал":146386,"ĠбезÑĢабоÑĤнÑĭÑħ":146387,"ĠбезÑĢазлиÑĩие":146388,"ĠбеÑģконеÑĩнÑĭÑħ":146389,"ĠбеÑģкоÑĢÑĭÑģÑĤно":146390,"ĠбеÑģпеÑĢебойн":146391,"ĠбеÑģÑĩиÑģленно":146392,"ĠблагоденÑģÑĤв":146393,"ĠблагоÑģловил":146394,"ĠблагоÑģловлÑı":146395,"ĠблизлежаÑīиÑħ":146396,"ĠбоекомплекÑĤ":146397,"ĠболÑĮÑĪевикам":146398,"ĠбоÑĤаниÑĩеÑģки":146399,"ĠвдоÑħновиÑĤел":146400,"ĠвмеÑģÑĤимоÑģÑĤÑĮ":146401,"ĠвозбÑĥдиÑĤелÑı":146402,"ĠвооÑĢÑĥжÑijннÑĭе":146403,"ĠвÑĭдаÑİÑīимиÑģÑı":146404,"ĠвÑĭдеÑĢживаÑĤÑĮ":146405,"ĠвÑĭÑĢаÑīивание":146406,"ĠвÑĭÑĢаÑīиваниÑı":146407,"ĠглÑĥбоководн":146408,"ĠдейÑģÑĤвÑĥÑİÑīее":146409,"ĠдейÑģÑĤвÑĥÑİÑīÑĥÑİ":146410,"ĠдекабÑĢиÑģÑĤов":146411,"ĠдеÑĢевÑıнного":146412,"ĠдеÑĦоÑĢмиÑĢова":146413,"ĠдиагноÑģÑĤика":146414,"ĠдиÑģквалиÑĦиÑĨ":146415,"ĠдоминиÑĢовал":146416,"ĠдÑĢевнеÑĢимÑģк":146417,"ĠегипеÑĤÑģкого":146418,"ĠзаимÑģÑĤвовал":146419,"ĠзаÑģÑĤÑĢаÑħован":146420,"ĠигноÑĢиÑĢовал":146421,"ĠизÑĢаилÑĮÑģкий":146422,"ĠизÑĢаилÑĮÑģкиÑħ":146423,"ĠизÑĢаилÑĮÑģкой":146424,"ĠиллÑİÑģÑĤÑĢаÑĨий":146425,"ĠимпеÑĢиалиÑģÑĤ":146426,"ĠиндонезийÑģк":146427,"ĠиниÑĨииÑĢовал":146428,"ĠиниÑĨииÑĢован":146429,"ĠиноÑģÑĤÑĢанном":146430,"ĠинÑĦоÑĢмаÑĤивн":146431,"ĠиÑģÑĤоÑĢиогÑĢаÑĦ":146432,"ĠкалÑĮкÑĥлÑıÑĤоÑĢ":146433,"ĠкаÑĤолиÑĩеÑģÑĤв":146434,"ĠкондиÑĨионеÑĢ":146435,"ĠкооÑĢдинаÑĤоÑĢ":146436,"ĠкоÑĢолевÑģким":146437,"ĠкоÑĢолевÑģком":146438,"ĠкоÑģмиÑĩеÑģкое":146439,"ĠкÑĢиÑĤиÑĩеÑģкое":146440,"ĠлабоÑĢаÑĤоÑĢий":146441,"ĠлеÑĤаÑĤелÑĮнÑĭÑħ":146442,"ĠлиÑĢиÑĩеÑģкого":146443,"ĠлиÑħоÑĢадоÑĩно":146444,"Ġлокализован":146445,"ĠлÑİбопÑĭÑĤÑģÑĤва":146446,"ĠманипÑĥлÑıÑĤоÑĢ":146447,"ĠманипÑĥлÑıÑĨий":146448,"ĠманиÑĦеÑģÑĤаÑĨи":146449,"ĠмеÑĢопÑĢиÑıÑĤии":146450,"ĠмикÑĢоволнов":146451,"ĠминималÑĮнÑĭÑħ":146452,"ĠмиÑĢооÑīÑĥÑīени":146453,"ĠмладенÑĩеÑģÑĤв":146454,"ĠмÑĥзÑĭкалÑĮнÑĥÑİ":146455,"ĠнаиболÑĮÑĪего":146456,"ĠнаÑģеленного":146457,"ĠнаÑģладиÑĤÑĮÑģÑı":146458,"ĠнаÑģÑĤоÑıÑĤелем":146459,"ĠнаÑģÑĤÑĥплениÑİ":146460,"ĠнаÑħодÑıÑīаÑıÑģÑı":146461,"ĠневеÑĢоÑıÑĤнÑĭе":146462,"ĠнедопÑĥÑģÑĤимÑĭ":146463,"ĠнедоÑģÑĤовеÑĢн":146464,"ĠнеиÑģÑĩеÑĢпаем":146465,"ĠнеоÑģознанно":146466,"ĠнепоÑģÑĤижимо":146467,"ĠнепÑĢеÑĢÑĭвнÑĭй":146468,"ĠнепÑĢеÑĢÑĭвнÑĭм":146469,"ĠнепÑĢиемлемо":146470,"ĠнепÑĢиемлемÑĭ":146471,"ĠнепÑĢимиÑĢимо":146472,"ĠнепÑĢимиÑĢимÑĭ":146473,"ĠнеÑĤоÑĢопливо":146474,"ĠобÑĭкновениÑİ":146475,"Ġодноименной":146476,"ĠолимпийÑģкиÑħ":146477,"ĠолимпийÑģкой":146478,"ĠоÑģÑĤановимÑģÑı":146479,"ĠоÑĦиÑĨиалÑĮнÑĥÑİ":146480,"ĠпаÑĢализован":146481,"ĠпеÑĢеговоÑĢам":146482,"ĠпеÑĢеÑģказÑĭва":146483,"ĠпеÑĢÑģидÑģкого":146484,"ĠпиÑĤаÑĤелÑĮнÑĭÑħ":146485,"ĠпобедоноÑģно":146486,"ĠпогÑĢÑĥзиÑĤÑĮÑģÑı":146487,"ĠподавлÑıÑİÑīем":146488,"ĠподвижноÑģÑĤи":146489,"ĠподозÑĢеваÑĤÑĮ":146490,"ĠподÑģознаниÑı":146491,"ĠподÑĩеÑĢкнÑĥÑĤо":146492,"ĠпожеÑĢÑĤвовал":146493,"ĠполноÑĨеннÑĭм":146494,"ĠпонадобÑıÑĤÑģÑı":146495,"ĠпонÑĢавилиÑģÑĮ":146496,"ĠпонÑĢавиÑĤÑĮÑģÑı":146497,"ĠпопеÑĢеменно":146498,"ĠпоÑģеÑĤиÑĤелÑıм":146499,"ĠпоÑģледÑĥÑİÑīий":146500,"ĠпоÑģÑĤаÑĢалиÑģÑĮ":146501,"ĠпоÑģÑĤоÑıнÑģÑĤво":146502,"ĠпоÑģÑĤÑĥплении":146503,"ĠпоÑĤÑĢебиÑĤели":146504,"ĠпÑĢевоÑģÑħодÑıÑĤ":146505,"ĠпÑĢедоÑģÑĤавив":146506,"ĠпÑĢедположим":146507,"ĠпÑĢедпоÑģÑĭлок":146508,"ĠпÑĢезенÑĤаÑĨиÑı":146509,"ĠпÑĢивеÑĤÑģÑĤвиÑı":146510,"ĠпÑĢигодиÑĤÑĮÑģÑı":146511,"ĠпÑĢиземлилÑģÑı":146512,"ĠпÑĢиоÑģÑĤановк":146513,"ĠпÑĢиÑģоединÑijн":146514,"ĠпÑĢобоÑĢмоÑĤал":146515,"ĠпÑĢодвижениÑİ":146516,"ĠпÑĢозаиÑĩеÑģки":146517,"ĠпÑĢоизводнÑĭе":146518,"ĠпÑĢокÑĥÑĢаÑĤÑĥÑĢе":146519,"ĠпÑĢокÑĥÑĢаÑĤÑĥÑĢÑĥ":146520,"ĠпÑĢопагандой":146521,"ĠпÑĢоÑĤекÑĤоÑĢаÑĤ":146522,"ĠпÑĢоÑĨвеÑĤаниÑı":146523,"ĠÑĢавнопÑĢавнÑĭ":146524,"ĠÑĢазбойников":146525,"ĠÑĢазвеÑĤвленн":146526,"ĠÑĢазмножение":146527,"ĠÑĢазоÑĩаÑĢовал":146528,"ĠÑĢаÑģÑĤвоÑĢиÑĤел":146529,"ĠÑĢаÑĨионализм":146530,"ĠÑĢезиденÑĨией":146531,"ĠÑĢелигиознÑĥÑİ":146532,"ĠÑĢиÑĤоÑĢиÑĩеÑģки":146533,"ĠÑĢодÑģÑĤвенниÑĨ":146534,"ĠÑĢождаемоÑģÑĤи":146535,"ĠÑĢÑĥководÑıÑīие":146536,"ĠÑĢÑĥкоположен":146537,"ĠÑģвеÑĢÑģÑĤников":146538,"ĠÑģегоднÑıÑĪнем":146539,"ĠÑģекÑģÑĥалÑĮнÑĭм":146540,"ĠÑģеÑĢдÑĨебиени":146541,"ĠÑģложивÑĪиÑħÑģÑı":146542,"ĠÑģложивÑĪÑĥÑİÑģÑı":146543,"ĠÑģлÑĥÑĩивÑĪееÑģÑı":146544,"ĠÑģлÑĥÑĩивÑĪемÑģÑı":146545,"ĠÑģоавÑĤоÑĢÑģÑĤве":146546,"ĠÑģобÑĢавÑĪиÑħÑģÑı":146547,"ĠÑģоглаÑģиÑĤеÑģÑĮ":146548,"ĠÑģоглаÑģоваÑĤÑĮ":146549,"ĠÑģоглаÑģÑĥеÑĤÑģÑı":146550,"ĠÑģодеÑĢжаÑīего":146551,"ĠÑģозидаÑĤелÑĮн":146552,"ĠÑģоÑģÑĤÑĢадание":146553,"ĠÑģоÑģÑĤÑĢаданиÑı":146554,"ĠÑģоÑħÑĢанноÑģÑĤÑĮ":146555,"ĠÑģпеÑĨопеÑĢаÑĨи":146556,"ĠÑģпланиÑĢован":146557,"ĠÑģÑĤановлении":146558,"ĠÑģÑĤолкнÑĥлаÑģÑĮ":146559,"ĠÑģÑĤопÑĢоÑĨенÑĤн":146560,"ĠÑģÑĥмаÑģÑĪедÑĪий":146561,"ĠÑģÑĥпÑĢÑĥжеÑģкой":146562,"ĠÑģÑĦокÑĥÑģиÑĢова":146563,"ĠÑĤекÑĤониÑĩеÑģк":146564,"ĠÑĤеÑħнологией":146565,"ĠÑĥважиÑĤелÑĮно":146566,"ĠÑĥглекиÑģлого":146567,"ĠÑĥмиÑĢоÑĤвоÑĢен":146568,"ĠÑĥÑģпокаиваеÑĤ":146569,"ĠÑĥÑĩиÑĤÑĭваÑİÑĤÑģÑı":146570,"ĠÑĦедеÑĢалÑĮнÑĭе":146571,"ĠÑĦикÑģиÑĢоваÑĤÑĮ":146572,"ĠÑĦоÑĢÑĤиÑĦикаÑĨи":146573,"ĠÑħÑĢониÑĩеÑģкой":146574,"ĠÑĨивилизаÑĨиÑİ":146575,"ĠÑĪÑĤÑĥÑĢмовиков":146576,"ĠÑįкÑģпедиÑĨией":146577,"ĠÑįлекÑĤÑĢоннÑĭм":146578,"ĠÑİÑĢидиÑĩеÑģком":146579,"ĠÑİÑĢидиÑĩеÑģкÑĥÑİ":146580,"СÑĤÑĢаÑĤегиÑĩеÑģк":146581,"еликокнÑıжеÑģк":146582,"нглоÑģакÑģонÑģк":146583,"обÑıзаÑĤелÑĮнÑĭй":146584,"озобновление":146585,"пÑĢагмаÑĤиÑĩеÑģк":146586,"пÑĢедÑģедаÑĤелÑĮ":146587,"пÑĢомÑĭÑĪленнаÑı":146588,"ÑĢеволÑİÑĨионеÑĢ":146589,"ÑĭÑģокоÑĩаÑģÑĤоÑĤн":146590,"ÑįкваÑĤоÑĢиалÑĮн":146591,"ÑįкÑģÑĤÑĢемиÑģÑĤÑģк":146592,"determination":146593,"ĠÐIJÑĢÑĤиллеÑĢийÑģк":146594,"ĠÐĵеогÑĢаÑĦиÑĩеÑģк":146595,"ĠÐĹнаÑĩиÑĤелÑĮнаÑı":146596,"ĠÐļÑĢаÑģнознамен":146597,"ĠÐľÐ°Ð³Ð½Ð¸ÑĤогоÑĢÑģк":146598,"ĠÐĿаÑĨионалÑĮное":146599,"ĠÐĿеоднокÑĢаÑĤно":146600,"ĠÐŀбÑĬединеннÑĭÑħ":146601,"ĠÐŁÐ¾ÑģÑĤаÑĢайÑĤеÑģÑĮ":146602,"ĠÐŁÑĢоизведениÑı":146603,"ĠÐłÐ°ÑģколÑĮников":146604,"ĠÐłÐ¾ÑģкомнадзоÑĢ":146605,"ĠТÑĥÑħаÑĩевÑģкого":146606,"ĠакÑĨионеÑĢного":146607,"ĠанаÑĤомиÑĩеÑģки":146608,"ĠанÑĤиÑģовеÑĤÑģки":146609,"ĠаплодиÑģменÑĤÑĭ":146610,"ĠаÑĤеÑĢоÑģклеÑĢоз":146611,"ĠбезвозвÑĢаÑĤно":146612,"ĠбеÑģпÑĢеÑģÑĤанно":146613,"ĠбиоÑħимиÑĩеÑģки":146614,"ĠбогоÑģлÑĥжение":146615,"ĠбÑĢонеÑĤанковÑĭ":146616,"ĠвзаимопомоÑīи":146617,"ĠвизанÑĤийÑģкой":146618,"ĠвизÑĥализаÑĨии":146619,"ĠвоздейÑģÑĤвÑĥеÑĤ":146620,"ĠвознагÑĢажден":146621,"ĠвоÑģÑĮмидеÑģÑıÑĤи":146622,"ĠвÑĭноÑģливоÑģÑĤÑĮ":146623,"ĠвÑĭÑģокоÑĢазвиÑĤ":146624,"ĠгаÑĢанÑĤиÑĢовал":146625,"ĠгенеÑĢиÑĢоваÑĤÑĮ":146626,"ĠгенеÑĤиÑĩеÑģкой":146627,"ĠгÑĢоÑģÑģмейÑģÑĤеÑĢ":146628,"ĠдезинÑĦоÑĢмаÑĨи":146629,"ĠдекоÑĢаÑĤивнÑĭе":146630,"ĠдекоÑĢаÑĤивнÑĭÑħ":146631,"ĠдемонÑģÑĤÑĢаÑĨиÑİ":146632,"ĠдинамиÑĩеÑģкой":146633,"ĠдобÑĢоволÑĮÑĨем":146634,"ĠдогадÑĭваÑĤÑĮÑģÑı":146635,"ĠдолгоÑģÑĢоÑĩной":146636,"ĠединÑģÑĤвеннÑĭе":146637,"ĠеженеделÑĮник":146638,"ĠеÑģÑĤеÑģÑĤвеннаÑı":146639,"ĠжизнеопиÑģани":146640,"ĠзаблокиÑĢовал":146641,"ĠзавиÑģимоÑģÑĤей":146642,"ĠзамеÑģÑĤиÑĤелей":146643,"ĠзаÑĢабаÑĤÑĭваеÑĤ":146644,"Ġземлевладени":146645,"ĠигноÑĢиÑĢовани":146646,"ĠиденÑĤиÑĦиÑĨиÑĢÑĥ":146647,"ĠиеÑĢаÑĢÑħиÑĩеÑģко":146648,"ĠизобÑĢеÑĤаÑĤелÑı":146649,"ĠинÑĤеÑĢакÑĤивно":146650,"ĠинÑĦоÑĢмиÑĢовал":146651,"ĠиÑģполниÑĤелем":146652,"ĠиÑģполÑĮзÑĥÑİÑīиÑħ":146653,"ĠказаÑħÑģÑĤанÑģки":146654,"ĠкаÑĤолиÑĩеÑģкий":146655,"ĠкаÑĤолиÑĩеÑģкиÑħ":146656,"ĠкиноÑĢежиÑģÑģÑijÑĢ":146657,"ĠколониалÑĮной":146658,"ĠкомандиÑĢован":146659,"ĠкомпенÑģиÑĢÑĥеÑĤ":146660,"ĠконÑģеÑĢваÑĤизм":146661,"ĠконÑģÑĥлÑĮÑĤаÑĨий":146662,"ĠконÑĦедеÑĢаÑĨии":146663,"ĠконÑĦигÑĥÑĢаÑĨиÑİ":146664,"ĠконÑĨенÑĤÑĢаÑĨиÑİ":146665,"ĠкоÑģмонавÑĤики":146666,"ĠкÑĢаÑģноаÑĢмееÑĨ":146667,"ĠкÑĢаÑģноÑĢеÑĩиво":146668,"ĠкÑĢеÑģÑĤоноÑģÑĨев":146669,"ĠкÑĢовоизлиÑıни":146670,"ĠкÑĢовопÑĢолиÑĤи":146671,"ĠликвидиÑĢовал":146672,"ĠлиÑĤеÑĢаÑĤÑĥÑĢнÑĥÑİ":146673,"ĠмеÑĤÑĢополиÑĤен":146674,"ĠмиÑĢовоззÑĢени":146675,"ĠмногообÑĢазиÑı":146676,"ĠмногообÑĢазнÑĭ":146677,"ĠмодеÑĢнизаÑĨиÑİ":146678,"Ġнаименований":146679,"ĠнапоминаÑİÑīие":146680,"ĠнапоминаÑİÑīий":146681,"ĠнаÑģÑĤоÑĢоженно":146682,"ĠнаÑħодивÑĪейÑģÑı":146683,"ĠнаÑħодÑıÑīимиÑģÑı":146684,"ĠнедоÑģÑĤаÑĤоÑĩна":146685,"ĠнепÑĢавилÑĮнÑĭм":146686,"ĠнеÑģовмеÑģÑĤимо":146687,"ĠнеÑįÑĦÑĦекÑĤивнÑĭ":146688,"ĠнововведениÑı":146689,"ĠноÑĢмализаÑĨии":146690,"ĠнÑĢавÑģÑĤвеннÑĭм":146691,"ĠобнаÑĢÑĥживаем":146692,"ĠобÑĢабаÑĤÑĭваем":146693,"ĠобÑĢазовалоÑģÑĮ":146694,"ĠобÑĭкновеннÑĭе":146695,"ĠобÑĭкновеннÑĭм":146696,"ĠобÑĭкновеннÑĭÑħ":146697,"ĠокÑĢеÑģÑĤноÑģÑĤей":146698,"ĠопеÑĢаÑĨионнÑĭÑħ":146699,"ĠопÑĢеделÑıÑİÑīие":146700,"ĠопÑĢеделÑıÑİÑīиÑħ":146701,"ĠпеÑĢвооÑĩеÑĢедн":146702,"ĠпеÑĢебазиÑĢова":146703,"ĠповиноваÑĤÑĮÑģÑı":146704,"ĠпонадобиÑĤÑĮÑģÑı":146705,"ĠпоÑħваÑģÑĤаÑĤÑĮÑģÑı":146706,"ĠпÑĢавопоÑĢÑıдка":146707,"ĠпÑĢазднование":146708,"ĠпÑĢакÑĤиÑĩеÑģкаÑı":146709,"ĠпÑĢакÑĤиÑĩеÑģком":146710,"ĠпÑĢакÑĤиÑĩеÑģкÑĥÑİ":146711,"ĠпÑĢедопÑĢеделÑı":146712,"ĠпÑĢедÑģедаÑĤелÑİ":146713,"ĠпÑĢезÑĢиÑĤелÑĮно":146714,"ĠпÑĢепÑıÑĤÑģÑĤвÑĥÑİÑī":146715,"ĠпÑĢиÑĤÑıгаÑĤелÑĮн":146716,"ĠпÑĢоблемаÑĤиÑĩн":146717,"ĠпÑĢодвинÑĥлиÑģÑĮ":146718,"ĠпÑĢодвинÑĥÑĤÑĮÑģÑı":146719,"ĠпÑĢоизноÑĪение":146720,"ĠпÑĢоизоÑĪедÑĪее":146721,"ĠпÑĢопагандиÑĢÑĥ":146722,"ĠÑĢабоÑĤодаÑĤелÑĮ":146723,"ĠÑĢаÑģÑĪиÑĦÑĢовÑĭва":146724,"ĠÑĢегионалÑĮном":146725,"ĠÑĢегионалÑĮнÑĭм":146726,"ĠÑĢепÑĢодÑĥкÑĤивн":146727,"ĠÑĢеÑģпонденÑĤов":146728,"ĠÑĢеÑĤÑĢоÑģпекÑĤив":146729,"ĠÑĢÑĥководиÑĤелÑİ":146730,"ĠÑģамодеÑĢжавиÑı":146731,"ĠÑģамоÑĥвеÑĢенно":146732,"ĠÑģамоÑĩÑĥвÑģÑĤвие":146733,"ĠÑģвоеобÑĢазнаÑı":146734,"ĠÑģеманÑĤиÑĩеÑģки":146735,"ĠÑģеÑĢÑĤиÑĦикаÑĨии":146736,"ĠÑģкоÑĤоводÑģÑĤво":146737,"ĠÑģлÑĥÑĩивÑĪегоÑģÑı":146738,"ĠÑģопÑĢовождаеÑĤ":146739,"ĠÑģоÑĢевновании":146740,"ĠÑģпеÑĨиÑĦикаÑĨии":146741,"ĠÑģÑĤалкиваемÑģÑı":146742,"ĠÑģÑĤалкивалиÑģÑĮ":146743,"ĠÑģÑĤалкиваÑĤÑĮÑģÑı":146744,"ĠÑģÑĤÑĥденÑĩеÑģкие":146745,"ĠÑģÑĤÑĥденÑĩеÑģкой":146746,"ĠÑĤеÑĢмодинамик":146747,"ĠÑĤоваÑĢообоÑĢоÑĤ":146748,"ĠÑĤÑĢадиÑĨионнаÑı":146749,"ĠÑĤÑĢанÑģÑĦоÑĢмиÑĢÑĥ":146750,"ĠÑĥниÑĦиÑĨиÑĢован":146751,"ĠÑĥÑĢавновеÑĪива":146752,"ĠÑĦинанÑģиÑĢовал":146753,"ĠÑħÑĢониÑĩеÑģкого":146754,"ĠÑĪеÑģÑĤидеÑģÑıÑĤÑĭÑħ":146755,"ĠÑįвакÑĥиÑĢоваÑĤÑĮ":146756,"ĠÑįволÑİÑĨионной":146757,"ĠÑįÑģÑĤеÑĤиÑĩеÑģкой":146758,"ĠÑİÑĢиÑģпÑĢÑĥденÑĨи":146759,"ÐļомÑģомолÑĮÑģкаÑı":146760,"ÐľÐµÐ¶Ð´ÑĥнаÑĢоднÑĭе":146761,"конÑģÑĥлÑĮÑĤаÑĤивн":146762,"кÑĢаеведÑĩеÑģкий":146763,"моÑĢÑĦологиÑĩеÑģк":146764,"онÑĦиденÑĨиалÑĮн":146765,"ÑĢазвлекаÑĤелÑĮн":146766,"ÑĢеволÑİÑĨионнаÑı":146767,"ÑĢопоÑĢÑĨионалÑĮн":146768,"ÑģамодоÑģÑĤаÑĤоÑĩн":146769,"ĠÐIJдминиÑģÑĤÑĢаÑĨии":146770,"ĠÐIJмеÑĢиканÑģкого":146771,"ĠÐĴозникновение":146772,"ĠÐĵенпÑĢокÑĥÑĢаÑĤÑĥÑĢ":146773,"ĠÐļонÑĤиненÑĤалÑĮн":146774,"ĠÐľÐµÐ¶Ð´ÑĥнаÑĢоднÑĭм":146775,"ĠÐŀÑĤеÑĩеÑģÑĤвеннаÑı":146776,"ĠÐŁÑĢавиÑĤелÑĮÑģÑĤве":146777,"ĠÐŁÑĢедÑģедаÑĤелем":146778,"ĠСледÑģÑĤвенного":146779,"ĠÐŃÑĦÑĦекÑĤивноÑģÑĤÑĮ":146780,"ĠавиакаÑĤаÑģÑĤÑĢоÑĦ":146781,"ĠавÑĤомагиÑģÑĤÑĢал":146782,"ĠадминиÑģÑĤÑĢаÑĨиÑİ":146783,"ĠакадемиÑĩеÑģкий":146784,"ĠакадемиÑĩеÑģкиÑħ":146785,"ĠанÑĤимонополÑĮн":146786,"ĠближневоÑģÑĤоÑĩн":146787,"ĠбомбаÑĢдиÑĢовка":146788,"ĠбÑĢакоÑģоÑĩеÑĤани":146789,"ĠвизанÑĤийÑģкого":146790,"ĠгипоÑĤеÑĤиÑĩеÑģки":146791,"ĠгоÑģпиÑĤализаÑĨи":146792,"ĠдемобилизаÑĨии":146793,"ĠдÑĢагоÑĨенноÑģÑĤи":146794,"ĠдÑĢамаÑĤиÑĩеÑģкиÑħ":146795,"ĠдÑĢамаÑĤиÑĩеÑģком":146796,"ĠзадейÑģÑĤвоваÑĤÑĮ":146797,"ĠиллÑİÑģÑĤÑĢиÑĢован":146798,"ĠинÑĤегÑĢиÑĢоваÑĤÑĮ":146799,"ĠинÑĤеÑĢпÑĢеÑĤаÑĤоÑĢ":146800,"ĠинÑĤеÑĢпÑĢеÑĤаÑĨиÑİ":146801,"ĠиÑĢÑĢаÑĨионалÑĮно":146802,"ĠкаÑĤолиÑĩеÑģкого":146803,"ĠклаÑģÑģиÑĦикаÑĨиÑİ":146804,"ĠконкÑĥÑĢиÑĢоваÑĤÑĮ":146805,"ĠконÑģеÑĢваÑĤоÑĢиÑİ":146806,"ĠконÑĨепÑĤÑĥалÑĮно":146807,"ĠкоÑĢпоÑĢаÑĤивной":146808,"ĠкоÑģмологиÑĩеÑģк":146809,"ĠлегкомÑĭÑģленно":146810,"ĠмаÑĢÑĪÑĢÑĥÑĤизаÑĤоÑĢ":146811,"ĠмежнаÑĨионалÑĮн":146812,"ĠмиоÑĦаÑģÑĨиалÑĮнÑĭ":146813,"ĠмоÑĩеиÑģпÑĥÑģкани":146814,"ĠмоÑĪенниÑĩеÑģÑĤва":146815,"ĠмоÑĪенниÑĩеÑģÑĤве":146816,"ĠмоÑĪенниÑĩеÑģÑĤво":146817,"ĠнамеÑģÑĤниÑĩеÑģÑĤв":146818,"ĠнаÑħодивÑĪегоÑģÑı":146819,"ĠнеобоÑģнованно":146820,"ĠнеопÑĢеделÑijнно":146821,"ĠнепÑĢавдоподоб":146822,"ĠнепÑĢоизволÑĮно":146823,"ĠнеÑģпоÑģобноÑģÑĤи":146824,"ĠоплодоÑĤвоÑĢени":146825,"ĠоÑĤеÑĩеÑģÑĤвеннÑĭе":146826,"ĠпеÑĢегÑĢÑĥппиÑĢов":146827,"ĠпеÑĤеÑĢбÑĥÑĢгÑģкиÑħ":146828,"ĠпеÑĤеÑĢбÑĥÑĢгÑģкой":146829,"ĠпоблагодаÑĢиÑĤÑĮ":146830,"ĠподÑĢазÑĥмеваÑİÑĤ":146831,"ĠпознаваÑĤелÑĮно":146832,"ĠположиÑĤелÑĮнÑĥÑİ":146833,"ĠпоÑģÑĢедÑģÑĤвенно":146834,"ĠпоÑģÑĤановлении":146835,"ĠпоÑģÑĤановлений":146836,"ĠпоÑĤенÑĨиалÑĮнÑĭе":146837,"ĠпÑĢавозаÑīиÑĤник":146838,"ĠпÑĢедположений":146839,"ĠпÑĢедÑģÑĤавиÑĤелÑİ":146840,"ĠпÑĢедÑĥÑģмоÑĤÑĢеÑĤÑĮ":146841,"ĠпÑĢеÑģледований":146842,"ĠпÑĢеÑģÑĤÑĥпноÑģÑĤÑĮÑİ":146843,"ĠпÑĢикоÑģновение":146844,"ĠпÑĢикоÑģновениÑı":146845,"ĠпÑĢиоÑģÑĤановиÑĤÑĮ":146846,"ĠпÑĢогÑĢеÑģÑģивнÑĭÑħ":146847,"ĠпÑĢомежÑĥÑĤоÑĩнÑĭе":146848,"ĠпÑĢоÑĤивопожаÑĢн":146849,"ĠпÑģиÑħоаналиÑĤик":146850,"ĠÑĢабоÑĤодаÑĤелей":146851,"ĠÑĢадиоакÑĤивнÑĭÑħ":146852,"ĠÑĢазÑĢабаÑĤÑĭваем":146853,"ĠÑĢаÑģкÑĢиÑĤиковал":146854,"ĠÑĢаÑģпÑĢоÑģÑĤÑĢанÑıл":146855,"ĠÑĢаÑģÑģледовании":146856,"ĠÑĢеволÑİÑĨионнÑĥÑİ":146857,"ĠÑĢекомендоваÑĤÑĮ":146858,"ĠÑģебеÑģÑĤоимоÑģÑĤи":146859,"ĠÑģебеÑģÑĤоимоÑģÑĤÑĮ":146860,"ĠÑģекÑģÑĥалÑĮноÑģÑĤи":146861,"ĠÑģимволизиÑĢÑĥÑİÑī":146862,"ĠÑģиÑģÑĤемаÑĤизаÑĨи":146863,"ĠÑģобеÑģедование":146864,"ĠÑģобеÑģедованиÑı":146865,"ĠÑģоблазниÑĤелÑĮн":146866,"ĠÑģовмеÑģÑĤимоÑģÑĤи":146867,"ĠÑģовÑĢеменноÑģÑĤÑĮ":146868,"ĠÑģодеÑĢжаÑĤелÑĮно":146869,"ĠÑģообÑĢазиÑĤелÑĮн":146870,"ĠÑģоÑħÑĢанивÑĪиеÑģÑı":146871,"ĠÑģпеÑĨиÑĦиÑĩеÑģкий":146872,"ĠÑģпеÑĨиÑĦиÑĩеÑģкой":146873,"ĠÑģпÑĢовоÑĨиÑĢовал":146874,"ĠÑģÑĢедневековÑĭе":146875,"ĠÑģÑĤандаÑĢÑĤизаÑĨи":146876,"ĠÑģÑĥбÑĤÑĢопиÑĩеÑģки":146877,"ĠÑĤелевизионной":146878,"ĠÑĤÑĢанÑģÑĦоÑĢмаÑĨиÑı":146879,"ĠÑĥнивеÑĢÑģалÑĮнÑĭм":146880,"ĠÑĦÑĥнкÑĨиониÑĢÑĥÑİÑĤ":146881,"ĠÑħаÑĢакÑĤеÑĢизÑĥÑİÑĤ":146882,"ĠÑįмоÑĨионалÑĮнаÑı":146883,"ĠÑįмоÑĨионалÑĮнÑĥÑİ":146884,"ĠÑįмоÑĨионалÑĮнÑĭм":146885,"ĠÑįÑģÑĤеÑĤиÑĩеÑģкого":146886,"влекаÑĤелÑĮноÑģÑĤÑĮ":146887,"еÑĢвооÑĤкÑĢÑĭваÑĤел":146888,"конÑĦеÑģÑģионалÑĮн":146889,"маÑĤемаÑĤиÑĩеÑģкий":146890,"пÑĢопагандиÑĢова":146891,"ÑĦÑĥнкÑĨионалÑĮнÑĭм":146892,"ĠConstantinople":146893,"ĠаÑĢÑĤиллеÑĢийÑģкаÑı":146894,"ĠаÑįÑĢодинамиÑĩеÑģк":146895,"ĠбезÑĢезÑĥлÑĮÑĤаÑĤно":146896,"ĠбеÑģпÑĢиÑģÑĤÑĢаÑģÑĤно":146897,"ĠблагоÑģоÑģÑĤоÑıние":146898,"ĠвзаимодейÑģÑĤвиÑİ":146899,"ĠвоенноÑģлÑĥжаÑīим":146900,"ĠвÑģпомогаÑĤелÑĮно":146901,"ĠвÑĤоÑĢоÑģÑĤепеннÑĭÑħ":146902,"ĠвÑĭÑĢабаÑĤÑĭваеÑĤÑģÑı":146903,"ĠвÑĭÑģокоÑģкоÑĢоÑģÑĤн":146904,"ĠвÑĭÑĩиÑģлиÑĤелÑĮнÑĭÑħ":146905,"ĠголовокÑĢÑĥжение":146906,"ĠдиÑģквалиÑĦикаÑĨи":146907,"ĠеÑģÑĤеÑģÑĤвоиÑģпÑĭÑĤа":146908,"ĠживоÑĤноводÑģÑĤва":146909,"ĠживоÑĤноводÑģÑĤво":146910,"ĠзаинÑĤеÑĢеÑģоваÑĤÑĮ":146911,"ĠзаклÑİÑĩиÑĤелÑĮной":146912,"ĠзаклÑİÑĩиÑĤелÑĮном":146913,"ĠзамеÑĪаÑĤелÑĮÑģÑĤво":146914,"ĠиндивидÑĥалÑĮнаÑı":146915,"ĠинÑĦоÑĢмаÑĨионнаÑı":146916,"ĠиÑģклÑİÑĩиÑĤелÑĮнÑĭм":146917,"ĠкавалеÑĢийÑģкого":146918,"ĠкомбиниÑĢованно":146919,"ĠконÑģеÑĢвиÑĢованн":146920,"ĠконÑģÑĤаÑĤиÑĢоваÑĤÑĮ":146921,"ĠконÑĨенÑĤÑĢаÑĨионн":146922,"ĠкÑĢÑĥпномаÑģÑĪÑĤабн":146923,"ĠманипÑĥлиÑĢоваÑĤÑĮ":146924,"ĠмаÑĤеÑĢиалиÑģÑĤиÑĩе":146925,"ĠмаÑĪиноÑģÑĤÑĢоение":146926,"ĠмногокваÑĢÑĤиÑĢнÑĭ":146927,"ĠмоÑĢÑĦологиÑĩеÑģки":146928,"ĠнедвÑĥÑģмÑĭÑģленно":146929,"ĠнеÑĥдоволÑĮÑģÑĤвие":146930,"ĠобоÑĢониÑĤелÑĮной":146931,"ĠопÑĤимизиÑĢоваÑĤÑĮ":146932,"ĠоÑĤÑĢемонÑĤиÑĢован":146933,"ĠпеÑĢвонаÑĩалÑĮнÑĭÑħ":146934,"ĠпеÑĢвоÑģвÑıÑīенник":146935,"ĠподÑĤвеÑĢждаÑİÑīие":146936,"ĠпÑĢедÑĥпÑĢедиÑĤелÑĮ":146937,"ĠпÑĢедÑĪеÑģÑĤвовавÑĪ":146938,"ĠпÑĢепÑıÑĤÑģÑĤвоваÑĤÑĮ":146939,"ĠпÑĢоизводиÑĤелем":146940,"ĠпÑĢоÑĤивовоÑģпали":146941,"ĠпÑĢоÑĤивоÑģÑĤоÑıнии":146942,"ĠпÑģиÑħоаналиÑĤиÑĩе":146943,"ĠÑĢадиоÑįлекÑĤÑĢонн":146944,"ĠÑĢаÑģпÑĢеделиÑĤелÑĮ":146945,"ĠÑĢеабилиÑĤиÑĢован":146946,"ĠÑĢеÑģпÑĥбликанÑĨев":146947,"ĠÑģамоÑģоÑħÑĢанениÑı":146948,"ĠÑģамоÑĥпÑĢавление":146949,"ĠÑģенÑĤименÑĤалÑĮно":146950,"ĠÑģконÑģÑĤÑĢÑĥиÑĢован":146951,"ĠÑģпеÑĨиализиÑĢова":146952,"ĠÑģпÑĢовоÑĨиÑĢоваÑĤÑĮ":146953,"ĠÑģÑĤÑĢаÑĤегиÑĩеÑģкое":146954,"ĠÑģÑĤÑĢÑĥкÑĤÑĥÑĢиÑĢован":146955,"ĠÑģÑĥÑīеÑģÑĤвовавÑĪаÑı":146956,"ĠÑģÑĥÑīеÑģÑĤвовавÑĪиÑħ":146957,"ĠÑģÑĦоÑĤогÑĢаÑĦиÑĢова":146958,"ĠÑĤелевизионного":146959,"ĠÑĤеоÑĢеÑĤиÑĩеÑģкого":146960,"ĠÑĤеÑĢÑĢиÑĤоÑĢиалÑĮно":146961,"ĠÑĥÑĢегÑĥлиÑĢованиÑİ":146962,"ĠÑĨеленапÑĢавленн":146963,"ĠÑĪиÑĢокомаÑģÑĪÑĤабн":146964,"ĠÑįкологиÑĩеÑģкого":146965,"ĠÑįлекÑĤÑĢопеÑĢедаÑĩ":146966,"ĠÑįлекÑĤÑĢоÑĤеÑħниÑĩе":146967,"логоплаÑĤелÑĮÑīика":146968,"ÑģоÑģÑĤоÑıÑĤелÑĮноÑģÑĤÑĮ":146969,"ÑĤеÑĢÑĢиÑĤоÑĢиалÑĮное":146970,"responsibilities":146971,"ĠÐĴеликобÑĢиÑĤанией":146972,"ĠÐĸелезнодоÑĢожнаÑı":146973,"ĠÐŀÑĤвеÑĤÑģÑĤвенноÑģÑĤÑĮ":146974,"ĠСÑĢедиземномоÑĢÑĮе":146975,"ĠСÑĢедиземномоÑĢÑĮÑı":146976,"ĠазеÑĢбайджанÑģкий":146977,"ĠанÑĤÑĢопологиÑĩеÑģк":146978,"ĠвеÑĢоиÑģповеданиÑı":146979,"ĠвзаимодейÑģÑĤвÑĥеÑĤ":146980,"ĠвзаимодейÑģÑĤвÑĥÑİÑĤ":146981,"ĠвзаимопониманиÑı":146982,"ĠвоÑģпÑĢоизводÑģÑĤва":146983,"ĠдоговоÑĢенноÑģÑĤей":146984,"ĠжелезнодоÑĢожном":146985,"ĠжелезнодоÑĢожнÑĭм":146986,"ĠизобÑĢазиÑĤелÑĮнÑĭÑħ":146987,"ĠимпÑĢовизиÑĢованн":146988,"ĠинвеÑģÑĤиÑĨионного":146989,"ĠинÑģÑĤиÑĤÑĥÑĨионалÑĮн":146990,"ĠкоÑĢÑĢеÑģпонденÑĨии":146991,"ĠмикÑĢоконÑĤÑĢоллеÑĢ":146992,"ĠмногознаÑĩиÑĤелÑĮн":146993,"ĠмногонаÑĨионалÑĮн":146994,"ĠнаÑĨионализиÑĢова":146995,"ĠнеполноÑĨенноÑģÑĤи":146996,"ĠобÑĢазоваÑĤелÑĮной":146997,"ĠобÑĢазоваÑĤелÑĮнÑĭе":146998,"ĠоÑĢганизаÑĨионнÑĭе":146999,"ĠоÑĢганизаÑĨионнÑĭÑħ":147000,"ĠоÑģвидеÑĤелÑĮÑģÑĤвов":147001,"ĠпоÑģÑĩаÑģÑĤливилоÑģÑĮ":147002,"ĠпÑĢедваÑĢиÑĤелÑĮнÑĭе":147003,"ĠпÑĢедваÑĢиÑĤелÑĮнÑĭй":147004,"ĠпÑĢедваÑĢиÑĤелÑĮнÑĭÑħ":147005,"ĠпÑĢедÑĥÑģмаÑĤÑĢиваÑİÑī":147006,"ĠпÑĢеемÑģÑĤвенноÑģÑĤи":147007,"ĠпÑĢеемÑģÑĤвенноÑģÑĤÑĮ":147008,"ĠпÑĢоанализиÑĢовал":147009,"ĠпÑĢоиллÑİÑģÑĤÑĢиÑĢова":147010,"ĠпÑĢокомменÑĤиÑĢова":147011,"ĠпÑĢопоÑĢÑĨионалÑĮна":147012,"ĠпÑĢоÑĦеÑģÑģионалÑĮнÑĭ":147013,"ĠÑĢазÑĢабаÑĤÑĭваÑİÑĤÑģÑı":147014,"ĠÑģамопÑĢоизволÑĮно":147015,"ĠÑģиÑģÑĤемаÑĤизиÑĢова":147016,"ĠÑģÑĢедиземномоÑĢÑģк":147017,"ĠÑĤелекоммÑĥникаÑĨи":147018,"ĠÑĤеÑħнологиÑĩеÑģкой":147019,"ĠÑĤеÑħнологиÑĩеÑģком":147020,"ÐĴоÑģполÑĮзовавÑĪиÑģÑĮ":147021,"ÐĹаконодаÑĤелÑĮного":147022,"СоÑĨиалиÑģÑĤиÑĩеÑģкой":147023,"админиÑģÑĤÑĢаÑĤивнаÑı":147024,"амоÑģÑĤоÑıÑĤелÑĮноÑģÑĤи":147025,"бÑĢонеÑĤÑĢанÑģпоÑĢÑĤеÑĢ":147026,"видеÑĤелÑĮÑģÑĤвоваÑĤÑĮ":147027,"гоÑģпиÑĤализиÑĢован":147028,"доволÑĮÑģÑĤвоваÑĤÑĮÑģÑı":147029,"единомÑĭÑĪленников":147030,"заинÑĤеÑĢеÑģованнÑĭÑħ":147031,"запÑĢогÑĢаммиÑĢован":147032,"индÑĥÑģÑĤÑĢиализаÑĨии":147033,"инÑĤеллекÑĤÑĥалÑĮнÑĭе":147034,"инÑĤеллекÑĤÑĥалÑĮнÑĭй":147035,"инÑĤеллекÑĤÑĥалÑĮнÑĭм":147036,"инÑĤеÑĢеÑģованноÑģÑĤÑĮ":147037,"инÑįкономÑĢазвиÑĤиÑı":147038,"конÑģÑĤиÑĤÑĥÑĨионного":147039,"налогоплаÑĤелÑĮÑīик":147040,"наÑģледÑģÑĤвенноÑģÑĤи":147041,"неопÑĢеделенноÑģÑĤÑĮ":147042,"непоÑģÑĢедÑģÑĤвеннÑĭй":147043,"непоÑģÑĢедÑģÑĤвеннÑĭÑħ":147044,"неÑģпÑĢаведливоÑģÑĤÑĮ":147045,"обÑģÑĤоÑıÑĤелÑĮÑģÑĤвами":147046,"ооÑĤеÑĩеÑģÑĤвенников":147047,"оÑģвободиÑĤелÑĮного":147048,"оÑģновоположников":147049,"оÑģпÑĢепÑıÑĤÑģÑĤвоваÑĤÑĮ":147050,"оÑģÑģÑĤанавливаеÑĤÑģÑı":147051,"оÑģÑĥдаÑĢÑģÑĤвенноÑģÑĤи":147052,"оÑĤвеÑĤÑģÑĤвенноÑģÑĤÑĮÑİ":147053,"оÑħаÑĢакÑĤеÑĢизоваÑĤÑĮ":147054,"полиÑĤеÑħниÑĩеÑģкого":147055,"поÑģледоваÑĤелÑĮнÑĭм":147056,"пÑĢедпоÑĩÑĤиÑĤелÑĮнее":147057,"пÑĢедÑĥÑģмоÑĤÑĢиÑĤелÑĮн":147058,"пÑĢикоÑģновенноÑģÑĤи":147059,"пÑĢикоÑģновенноÑģÑĤÑĮ":147060,"пÑĢодолжиÑĤелÑĮного":147061,"пÑĢоÑĤивовоздÑĥÑĪной":147062,"пÑĢоÑĦеÑģÑģионалÑĮном":147063,"пÑĥÑĤеÑĪеÑģÑĤвенников":147064,"ÑĢазведÑĭваÑĤелÑĮнÑĭе":147065,"ÑĢаÑģпÑĢоÑģÑĤÑĢанилаÑģÑĮ":147066,"ÑĢаÑģпÑĢоÑģÑĤÑĢанилиÑģÑĮ":147067,"ÑĢаÑģпÑĢоÑģÑĤÑĢанилоÑģÑĮ":147068,"ÑĢегиÑģÑĤÑĢиÑĢоваÑĤÑĮÑģÑı":147069,"ÑģовмеÑģÑĤиÑĤелÑĮÑģÑĤвÑĥ":147070,"ÑģÑĥдопÑĢоизводÑģÑĤва":147071,"ÑĤÑĢÑĥдоÑģпоÑģобноÑģÑĤи":147072,"ÑĦÑĥнкÑĨионалÑĮноÑģÑĤи":147073,"ÑįлекÑĤÑĢомагниÑĤнÑĭÑħ":147074} \ No newline at end of file